CN116509371A - 一种音频检测的方法及电子设备 - Google Patents
一种音频检测的方法及电子设备 Download PDFInfo
- Publication number
- CN116509371A CN116509371A CN202210073455.0A CN202210073455A CN116509371A CN 116509371 A CN116509371 A CN 116509371A CN 202210073455 A CN202210073455 A CN 202210073455A CN 116509371 A CN116509371 A CN 116509371A
- Authority
- CN
- China
- Prior art keywords
- audio
- signal
- electronic device
- user
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 134
- 230000009471 action Effects 0.000 claims description 129
- 206010011224 Cough Diseases 0.000 claims description 58
- 201000010099 disease Diseases 0.000 claims description 55
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 55
- 238000012216 screening Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 20
- 208000015181 infectious disease Diseases 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000000241 respiratory effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 34
- 230000000875 corresponding effect Effects 0.000 description 64
- 230000006870 function Effects 0.000 description 35
- 238000013461 design Methods 0.000 description 34
- 230000005236 sound signal Effects 0.000 description 31
- 230000008569 process Effects 0.000 description 30
- 206010057190 Respiratory tract infections Diseases 0.000 description 25
- 238000004891 communication Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 230000036541 health Effects 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 13
- 210000002345 respiratory system Anatomy 0.000 description 11
- 238000010295 mobile communication Methods 0.000 description 10
- 208000023504 respiratory system disease Diseases 0.000 description 9
- 238000007726 management method Methods 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000012806 monitoring device Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013186 photoplethysmography Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0823—Detecting or evaluating cough events
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pulmonology (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请提供一种音频检测的方法及电子设备,该方法应用于电子设备,包括:采集第一音频,并识别所述第一音频的类型;通过一个或多个传感器采集第一信号,其中,所述电子设备包括所述一个或多个传感器;当识别到所述第一音频为设定类型时,根据所述第一音频确定第一时间区间,所述第一时间区间包括起始时间和结束时间;根据所述第一时间区间及所述第一信号,确定第二信号;若所述第二信号与所述第一音频匹配,显示第一信息。本申请实施例提供的方案能够检测电子设备采集到的音频与其它信号之间的匹配关系,进而可以根据该匹配关系进行后续处理。
Description
技术领域
本申请涉及电子设备技术领域,尤其涉及一种音频检测的方法及电子设备。
背景技术
呼吸系统疾病是一种常见病、多发病,且其中一些疾病还存在传染性,因此对一些呼吸系统疾病进行简便高效的检测是很有必要的。
当前检测呼吸系统疾病的常规方法主要有医生问诊、胸部影像学检查、痰培养等方式,这些方式一般都需要人工干预,且成本较高,检测花费的时间较长,因此检测效率很低,也因此催生了更多基于咳嗽音、呼吸音等检测呼吸系统疾病(例如哮喘、慢阻肺、新冠肺炎等)的研究。由于大部分呼吸系统疾病都具有相似的症状如咳嗽、发热、呼吸困难等,因此可以基于这些症状特征,通过智能算法进行分析来检测是否是发生呼吸系统疾病。
当前基于咳嗽音检测呼吸系统疾病的方法主要应用于可穿戴设备中,通过可穿戴设备对用户的咳嗽音进行实时检测,可以较快的分析用户患呼吸系统疾病的风险。但是,在该方法中,当可穿戴设备所在环境中存在多个用户(例如佩戴可穿戴设备的用户处于公共环境的场景)时,可穿戴设备在根据实时检测到的咳嗽音进行患病风险分析的过程中,可能会存在误将其它用户的咳嗽音作为佩戴该可穿戴设备的用户的咳嗽音进行检测的问题,就会造成误检情况,导致佩戴该可穿戴设备的用户的检测结果出现误差。
发明内容
本申请提供一种音频检测的方法及电子设备,用以检测电子设备采集到的音频与其它信号之间的匹配关系,进而可以根据该匹配关系进行后续处理。
第一方面,本申请提供一种音频检测的方法,应用于电子设备,该方法包括:采集第一音频,并识别第一音频的类型;通过一个或多个传感器采集第一信号,其中,电子设备包括一个或多个传感器;当识别到第一音频为设定类型时,根据第一音频确定第一时间区间,第一时间区间包括起始时间和结束时间;根据第一时间区间及第一信号,确定第二信号;若第二信号与第一音频匹配,显示第一信息。
在该方法中,电子设备可以针对设定类型的音频,进行该音频与该音频产生期间内的其它信号之间的匹配,进而确定该音频与其它信号之间的匹配关系,并可以在该音频与其它信号匹配时进行相应的后续处理。基于此,该方法能够实现特定音频与其它信号之间的匹配,进而能够根据音频与其它信号之间的匹配关系进行后续处理,例如进一步实现音频与其它信号所对应的对象之间的匹配。例如,当其它信号为针对用户测得的信号时,基于该方法则可以通过进行音频与其它信号之间的匹配,实现音频与用户之间的匹配,进而可以明确音频与用户之间的对应关系,从而根据该对应关系进行后续处理,进而提高后续处理过程的准确度。例如在确定音频与用户匹配后,可以根据该音频检测该用户的患病风险等,从而提高检测的准确度,降低误差。
在一种可能的设计中,该方法还包括:若第二信号与第一音频不匹配,显示第二信息。
在该方法中,音频和信号匹配的情况下与音频和信号不匹配的情况下,电子设备执行的处理不同。因此,通过进行音频和信号的匹配,电子设备可以基于确定的匹配关系进行相应的处理,保证后续处理过程的顺利执行,一定程度上能够提高后续处理过程的准确性和灵活性。
在一种可能的设计中,在根据第一音频确定第一时间区间之前,该方法还包括:根据第一音频确定第一风险参数,第一风险参数大于或等于设定阈值,其中,第一风险参数用于指示第一音频对应的疾病风险。
在该方法中,电子设备可以基于音频确定对应的风险参数,当风险参数较大时,有必要进行风险应对处理,因此电子设备可以继续执行后续的匹配过程。当风险参数较小时,可以不进行风险应对处理,因此电子设备可以不进行后续的匹配过程,并可以开始下一次的音频采集和处理过程。基于此,电子设备可以根据风险参数的取值情况灵活切换处理方式,并提高后续处理过程的准确度。
在一种可能的设计中,第一信息用于指示:第一音频来源于第一用户,和/或,第一用户存在患病风险,其中,第一用户为佩戴电子设备的用户;第二信息用于指示:第一音频不是来源于第一用户,和/或,第一用户所在的环境存在感染风险。
在该方法中,第二信号可以是针对第一用户采集的信号。在第一音频与第二信号匹配时,可以确定第一音频也与第一用户匹配,在第一音频与第二信号不匹配时,可以确定第一音频与第一用户也不匹配。进一步的,在第一风险参数较大的情况下,若第一音频与第二信号匹配,则可以确定第一用户的患病风险较大,若第一音频与第二信号不匹配,则可以确定第一用户所在的环境中存在感染风险。基于此,电子设备可以针对第一用户进行更加全面准确的风险提示,以便第一用户主动采取相应措施来降低风险,进而提高用户使用体验。
在一种可能的设计中,根据第一音频确定第一风险参数,包括:从第一音频中提取特征数据;其中,特征数据用于表征第一音频的时域特征和/或频域特征;根据设定的疾病筛查模型和特征数据,确定第一风险参数;其中,疾病筛查模型用于表示音频的时域特征和/或频域特征与音频对应的风险参数之间的关系。
在该方法中,基于音频的时域特征、频域特征等特征可以进行较为全面的音频分析,而利用模型可以提高进行音频分析的准确度,进而更加准确的确定第一音频对应的风险参数,提高进行音频分析的准确度。
在一种可能的设计中,在若第二信号与第一音频匹配,显示第一信息之前,该方法还包括:根据第一音频,确定第一音频对应的第一动作,以及,根据第二信号,确定第二信号对应的第二动作;第二信号与第一音频匹配,包括:第二信号对应的第二动作的类型与第一音频对应的第一动作的类型相同。
在该方法中,音频与其它信号是不同类型的信息,但是,若音频和其它信号来源于同一对象,则均可以反映该对象的一些特征。因此,基于音频和其它信号是否对应相同的特征,可以确定音频与其它信号是否匹配。在该方法中,相同的特征可以是动作的类型,则通过比较音频和信号对应的动作的类型是否相同,可以实现音频与信号之间的匹配。例如,当音频和信号均来自于用户时,动作可以是用户所执行的动作,则当音频和信号对应的动作的类型相同时,可以确定音频与信号来自于同一用户。
在一种可能的设计中,根据第二信号,确定第二信号对应的第二动作,包括:根据设定的动作识别模型和第二信号,确定第二动作及第二动作的置信度,其中,动作识别模型用于表示第二信号与第二动作及置信度之间的关系,置信度用于表征动作识别模型的识别准确度;确定置信度大于或等于设定的第一阈值;或者,确定置信度大于或等于设定的第二阈值且小于或等于设定的第三阈值;显示第一指示信息,第一指示信息用于指示:确认是否执行第二动作;接收第二指示信息,第二指示信息用于指示:确认执行第二动作。
在该方法中,一方面,利用模型可以提高进行动作识别的准确度,进而更加准确的确定第二信号对应的动作及其类型,进而提高匹配时的准确度。另一方面,第一指示信息可以是发送给用户,第二指示信息可以是来自于用户。电子设备可以基于动作识别模型的准确度参数即置信度,灵活切换后续的处理过程来保证最终匹配结果的准确度。当置信度较小时,可以认为第一音频与第二信号不匹配,因此电子设备可以不进行后续的匹配过程,并可以开始下一次的音频采集和处理过程。而当置信度处于一个中间取值的范围内时,可以额外进行确认,从而根据确认结果确定是否进行后续的匹配过程,保证处理的准确度。基于此,电子设备可以根据置信度的取值情况灵活切换处理方式,进而提高后续匹配过程的准确度。
在一种可能的设计中,第二信号包括以下至少一项:通过加速度传感器采集的信号;通过陀螺仪传感器采集的信号;通过光电传感器采集的信号。
在该方法中,加速度传感器或陀螺仪测得的信号可以表征用户的运动和姿态特征,光电传感器测得的信号可以表征用户的生理特征,这些信号均可以反映用户执行动作时的相关特征,因此,基于这些信号能够准确的确定第二信号对应的动作及其类型,进而提高与音频匹配时的准确度。
在一种可能的设计中,设定类型包括以下至少一项:咳嗽音,呼吸音,喷嚏音,关节弹响。
在该方法中,基于用户发出的咳嗽音、呼吸音等类型的音频,可以对用户的患病风险进行预测。因此,通过将该种类型的音频与其它信号进行匹配,可以结合匹配结果和患病风险的预测结果,更加准确的确定可能存在患病或感染风险的对象,从而进一步进行响应提示,提高用户使用体验。
第二方面,本申请提供一种音频检测的方法,应用于第一电子设备,该方法包括:采集第一音频,并识别第一音频的类型;当识别到第一音频为设定类型时,根据第一音频确定第一时间区间,第一时间区间包括起始时间和结束时间;向第二电子设备发送请求信息,请求信息用于请求获取第一时间区间对应的信号;接收来自第二电子设备的第一信号,第一信号是第二电子设备通过一个或多个传感器采集得到的,其中,第二电子设备包括一个或多个传感器;若第一信号与第一音频匹配,显示第一信息。
在一种可能的设计中,该方法还包括:若第一信号与第一音频不匹配,显示第二信息。
在一种可能的设计中,在根据第一音频确定第一时间区间之前,该方法还包括:根据第一音频确定第一风险参数,第一风险参数大于或等于设定阈值,其中,第一风险参数用于指示第一音频对应的疾病风险。
在一种可能的设计中,第一信号为第二电子设备在第一时间区间内采集到的信号。
在一种可能的设计中,第一信息用于指示:第一音频来源于第一用户,和/或,第一用户存在患病风险,其中,第一用户为佩戴第二电子设备的用户;第二信息用于指示:第一音频不是来源于第一用户,和/或,第一用户所在的环境存在感染风险。
在一种可能的设计中,根据第一音频确定第一风险参数,包括:从第一音频中提取特征数据;其中,特征数据用于表征第一音频的时域特征和/或频域特征;根据设定的疾病筛查模型和特征数据,确定第一风险参数;其中,疾病筛查模型用于表示音频的时域特征和/或频域特征与音频对应的风险参数之间的关系。
在一种可能的设计中,在若第一信号与第一音频匹配,显示第一信息之前,该方法还包括:根据第一音频,确定第一音频对应的第一动作,以及,根据第一信号,确定第一信号对应的第二动作;第一信号与第一音频匹配,包括:第一信号对应的第二动作的类型与第一音频对应的第一动作的类型相同。
在一种可能的设计中,根据第一信号,确定第一信号对应的第二动作,包括:根据设定的动作识别模型和第一信号,确定第二动作及第二动作的置信度,其中,动作识别模型用于表示第一信号与第二动作及置信度之间的关系,置信度用于表征动作识别模型的识别准确度;确定置信度大于或等于设定的第一阈值;或者,确定置信度大于或等于设定的第二阈值且小于或等于设定的第三阈值;显示第一指示信息,第一指示信息用于指示:确认是否执行第二动作;接收第二指示信息,第二指示信息用于指示:确认执行第二动作。
在一种可能的设计中,第一信号包括以下至少一项:通过加速度传感器采集的信号;通过陀螺仪传感器采集的信号;通过光电传感器采集的信号。
在一种可能的设计中,设定类型包括以下至少一项:咳嗽音,呼吸音,喷嚏音,关节弹响。
第三方面,本申请提供一种音频检测的方法,应用于第一电子设备与第二电子设备组成的系统,该方法包括:第一电子设备采集第一音频,并识别第一音频的类型;以及,第二电子设备通过一个或多个传感器采集第一信号,其中,第二电子设备包括一个或多个传感器;第一电子设备当识别到第一音频为设定类型时,根据第一音频确定第一时间区间,第一时间区间包括起始时间和结束时间;第一电子设备向第二电子设备发送请求信息,请求信息用于请求获取第一时间区间对应的信号;第二电子设备根据接收到的请求信息确定第一时间区间,并根据第一时间区间及第一信号,确定第二信号;第二电子设备向第一电子设备发送第二信号;第一电子设备若确定接收到的第二信号与第一音频匹配,显示第一信息。
在一种可能的设计中,该方法还包括:第一电子设备若确定第二信号与第一音频不匹配,显示第二信息。
在一种可能的设计中,在第一电子设备根据第一音频确定第一时间区间之前,该方法还包括:第一电子设备根据第一音频确定第一风险参数,第一风险参数大于或等于设定阈值,其中,第一风险参数用于指示第一音频对应的疾病风险。
在一种可能的设计中,第一信息用于指示:第一音频来源于第一用户,和/或,第一用户存在患病风险,其中,第一用户为佩戴第二电子设备的用户;第二信息用于指示:第一音频不是来源于第一用户,和/或,第一用户所在的环境存在感染风险。
在一种可能的设计中,第一电子设备根据第一音频确定第一风险参数,包括:第一电子设备从第一音频中提取特征数据;其中,特征数据用于表征第一音频的时域特征和/或频域特征;第一电子设备根据设定的疾病筛查模型和特征数据,确定第一风险参数;其中,疾病筛查模型用于表示音频的时域特征和/或频域特征与音频对应的风险参数之间的关系。
在一种可能的设计中,在第一电子设备若确定第二信号与第一音频匹配,显示第一信息之前,该方法还包括:第一电子设备根据第一音频,确定第一音频对应的第一动作,以及,根据第二信号,确定第二信号对应的第二动作;第二信号与第一音频匹配,包括:第二信号对应的第二动作的类型与第一音频对应的第一动作的类型相同。
在一种可能的设计中,第一电子设备根据第二信号,确定第二信号对应的第二动作,包括:第一电子设备根据设定的动作识别模型和第二信号,确定第二动作及第二动作的置信度,其中,动作识别模型用于表示第二信号与第二动作及置信度之间的关系,置信度用于表征动作识别模型的识别准确度;第一电子设备确定置信度大于或等于设定的第一阈值;或者,第一电子设备确定置信度大于或等于设定的第二阈值且小于或等于设定的第三阈值;显示第一指示信息,第一指示信息用于指示:确认是否执行第二动作;接收第二指示信息,第二指示信息用于指示:确认执行第二动作。
在一种可能的设计中,第二信号包括以下至少一项:通过加速度传感器采集的信号;通过陀螺仪传感器采集的信号;通过光电传感器采集的信号。
在一种可能的设计中,设定类型包括以下至少一项:咳嗽音,呼吸音,喷嚏音,关节弹响。
第四方面,本申请提供一种系统,该系统包括上述第三方面所述的第一电子设备和第二电子设备。
第五方面,本申请提供一种电子设备,该电子设备包括显示屏,存储器和一个或多个处理器;其中,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;当计算机指令被一个或多个处理器执行时,使得电子设备执行上述第一方面或第一方面的任一可能的设计所描述的方法,或者执行上述第二方面或第二方面的任一可能的设计所描述的方法,或者执行上述第三方面或第三方面的任一可能的设计中由第一电子设备或第二电子设备所执行的方法。
第六方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行上述第一方面或第一方面的任一可能的设计所描述的方法,或者执行上述第二方面或第二方面的任一可能的设计所描述的方法,或者执行上述第三方面或第三方面的任一可能的设计中由第一电子设备或第二电子设备所执行的方法。
第七方面,本申请提供一种计算机程序产品,该计算机程序产品包括计算机程序或指令,当计算机程序或指令在计算机上运行时,使得计算机执行上述第一方面或第一方面的任一可能的设计所描述的方法,或者执行上述第二方面或第二方面的任一可能的设计所描述的方法,或者执行上述第三方面或第三方面的任一可能的设计中由第一电子设备或第二电子设备所执行的方法。
上述第二方面到第七方面的有益效果,请参见上述第一方面的有益效果的描述,这里不再重复赘述。
附图说明
图1为本申请实施例提供的一种电子设备的硬件架构示意图;
图2为本申请实施例提供的一种电子设备的软件架构示意图;
图3为本申请实施例提供的一种音频检测的方法的示意图;
图4为本申请实施例提供的一种手机显示提示信息的界面示意图;
图5为本申请实施例提供的另一种手机显示提示信息的界面示意图;
图6为本申请实施例提供的又一种手机显示提示信息的界面示意图;
图7为本申请实施例提供的再一种手机显示提示信息的界面示意图;
图8为本申请实施例提供的一种检测用户呼吸道感染风险的方法的流程示意图;
图9为本申请实施例提供的一种智能手表的功能控制界面的示意图;
图10为本申请实施例提供的一种智能手表显示患病风险提示信息的界面示意图;
图11为本申请实施例提供的另一种智能手表显示患病风险提示信息的界面示意图;
图12为本申请实施例提供的一种智能手表的提示界面的界面示意图;
图13为本申请实施例提供的一种音频检测的方法的示意图;
图14为本申请实施例提供的一种音频检测的方法的示意图;
图15为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例作进一步地详细描述。其中,在本申请实施例的描述中,以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
为了便于理解,示例性的给出了与本申请相关概念的说明以供参考。
电子设备,可以为具有无线连接功能的设备。本申请一些实施例中,电子设备还可以具备音频检测(声音检测)和/或传感功能。本申请实施例中,音频也可以称为声音。
本申请一些实施例中电子设备可以是便携式设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴设备(例如,手表、手环、头盔、耳机等)、车载终端设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)、智能家居设备(例如,智能电视、智能音箱等)、智能机器人、车间设备、无人驾驶(Self Driving)中的无线终端、远程手术(Remote Medical Surgery)中的无线终端、智能电网(Smart Grid)中的无线终端、运输安全(Transportation Safety)中的无线终端、智慧城市(Smart City)中的无线终端,或智慧家庭(Smart Home)中的无线终端、飞行设备(例如,智能机器人、热气球、无人机、飞机)等。
其中,可穿戴设备为用户可以直接穿戴在身上或者整合到用户的衣服或配件上的一种便携式设备。本申请实施例中的可穿戴设备可以为具备传感功能和音频检测功能的便携式设备。
在本申请一些实施例中,电子设备还可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式终端设备。便携式终端设备的示例性实施例包括但不限于搭载或者其它操作系统的便携式终端设备。上述便携式终端设备也可以是其它便携式终端设备,诸如具有触敏表面(例如触控面板)的膝上型计算机(Laptop)等。还应当理解的是,在本申请其它一些实施例中,上述电子设备也可以不是便携式终端设备,而是具有触敏表面(例如触控面板)的台式计算机。
应理解,本申请实施例中“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a、b、c可以是单个,也可以是多个。
针对当前可穿戴设备基于咳嗽音进行呼吸系统疾病检测的方法存在的难以识别咳嗽音来源的问题,本申请实施例提供了一种音频检测的方法及电子设备,该方案可以较为准确的识别发出音频的对象,提高识别音频来源的准确度。
示例性的,本申请实施例提供的方法可以用于可穿戴设备中,当本申请实施例提供的方法应用于可穿戴设备中时,可穿戴设备可以准确的识别检测到的咳嗽音是否属于佩戴该可穿戴设备的用户,进而可以根据属于该用户的咳嗽音,针对该用户进行更为准确的患病风险检测。
下面参阅图1,对本申请实施例提供的方法适用的电子设备的结构进行介绍。
如图1所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,USB接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及SIM卡接口195等。
其中传感器模块180可以包括陀螺仪传感器、加速度传感器、接近光传感器、指纹传感器、触摸传感器、温度传感器、压力传感器、距离传感器、磁传感器、环境光传感器、气压传感器、骨传导传感器等。
可以理解的是,图1所示的电子设备100仅仅是一个范例,并不构成对电子设备的限定,并且电子设备可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
本申请实施例提供的音频检测的方法的执行可以由处理器110来控制或调用其他部件来完成,比如调用内部存储器121中存储的本申请实施例的处理程序,或者通过外部存储器接口120调用第三方设备中存储的本申请实施例的处理程序,来控制无线通信模块160向其它设备进行数据通信,提高电子设备100的智能化、便捷化程度,提升用户的体验。处理器110可以包括不同的器件,比如集成CPU和GPU时,CPU和GPU可以配合执行本申请实施例提供的音频检测的方法,比如音频检测的方法中部分算法由CPU执行,另一部分算法由GPU执行,以得到较快的处理效率。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。显示屏194可用于显示由用户输入的信息或提供给用户的信息以及各种图形用户界面(graphical user interface,GUI)。例如,显示屏194可以显示照片、视频、网页、或者文件等。
在本申请实施例中,显示屏194可以是一个一体的柔性显示屏,也可以采用两个刚性屏以及位于两个刚性屏之间的一个柔性屏组成的拼接显示屏。
摄像头193(前置摄像头或者后置摄像头,或者一个摄像头既可作为前置摄像头,也可作为后置摄像头)用于捕获静态图像或视频。通常,摄像头193可以包括感光元件比如镜头组和图像传感器,其中,镜头组包括多个透镜(凸透镜或凹透镜),用于采集待拍摄物体反射的光信号,并将采集的光信号传递给图像传感器。图像传感器根据光信号生成待拍摄物体的原始图像。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,应用程序(比如音频检测的功能等)的代码等。存储数据区可存储电子设备100使用过程中所创建的数据等。
内部存储器121还可以存储本申请实施例提供的音频检测的算法对应的一个或多个计算机程序。该一个或多个计算机程序被存储在上述内部存储器121中并被配置为被一个或多个处理器110执行,该一个或多个计算机程序包括指令,上述指令可以用于执行以下实施例中的各个步骤。
此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
当然,本申请实施例提供的音频检测的算法的代码还可以存储在外部存储器中。这种情况下,处理器110可以通过外部存储器接口120运行存储在外部存储器中的音频检测的算法的代码。
传感器模块180可以包括陀螺仪传感器、加速度传感器、接近光传感器、指纹传感器、触摸传感器等。
触摸传感器,也称“触控面板”。触摸传感器可以设置于显示屏194,由触摸传感器与显示屏194组成触摸显示屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
示例性的,电子设备100的显示屏194显示主界面,主界面中包括多个应用(比如相机应用、微信应用等)的图标。用户通过触摸传感器点击主界面中相机应用的图标,触发处理器110启动相机应用,打开摄像头193。显示屏194显示相机应用的界面,例如取景界面。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。在本申请实施例中,移动通信模块150还可以用于与其它设备进行信息交互。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频装置(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。本申请实施例中,无线通信模块160,用于与其它电子设备建立连接,进行数据交互。或者无线通信模块160可以用于接入接入点设备,向其它电子设备发送控制指令,或者接收来自其它电子设备发送的数据。
另外,电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。电子设备100可以接收按键190输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。电子设备100可以利用马达191产生振动提示(比如来电振动提示)。电子设备100中的指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。电子设备100中的SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。
应理解,在实际应用中,电子设备100可以包括比图1所示的更多或更少的部件,本申请实施例不作限定。图示电子设备100仅是一个范例,并且电子设备100可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备的软件结构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。如图2所示,该软件架构可以分为四层,从上至下分别为应用程序层,应用程序框架层(framework,FWK),安卓运行时和系统库,以及Linux内核层。
应用程序层是操作系统的最上一层,包括操作系统的原生应用程序,例如相机、图库、日历、蓝牙、音乐、视频、信息等等。本申请实施例涉及的应用程序简称应用(application,APP),为能够实现某项或多项特定功能的软件程序。通常,电子设备中可以安装多个应用。比如,相机应用、邮箱应用、智能家居控制应用等。下文中提到的应用,可以是电子设备出厂时已安装的系统应用,也可以是用户在使用电子设备的过程中从网络下载或从其他电子设备获取的第三方应用。
当然,对于开发者来说,开发者可以编写应用程序并安装到该层。一种可能的实现方式中,应用程序可以使用Java语言开发,通过调用应用程序框架层所提供的应用程序编程接口(application programming interface,API)来完成,开发者可以通过应用程序框架来与操作系统的底层(例如内核层等)进行交互,开发自己的应用程序。
应用程序框架层为应用程序层的应用程序提供API和编程框架。应用程序框架层可以包括一些预先定义的函数。应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括文件(例如文档、视频、图像、音频),文本等信息。
视图系统包括可视控件,例如显示文字、图片、文档等内容的控件等。视图系统可用于构建应用程序。显示窗口中的界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备的通信功能。通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。
安卓运行时包括核心库和虚拟机。安卓运行时负责安卓系统的调度和管理。
安卓系统的核心库包含两部分:一部分是Java语言需要调用的功能函数,另一部分是安卓系统的核心库。应用程序层和应用程序框架层运行在虚拟机中。以Java举例,虚拟机将应用程序层和应用程序框架层的Java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器,媒体库,三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维和三维图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.564,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。二维图形引擎是二维绘图的绘图引擎。
内核(Kernel)层提供操作系统的核心系统服务,如安全性、内存管理、进程管理、网络协议栈和驱动模型等都基于内核层实现。内核层同时也作为硬件和软件栈之间的抽象层。该层有许多与电子设备相关的驱动程序,主要的驱动有:显示驱动;作为输入设备的键盘驱动;基于内存技术设备的Flash驱动;照相机驱动;音频驱动;蓝牙驱动;WiFi驱动等。
需要理解的是,如上的功能服务只是一种示例,在实际应用中,电子设备也可以按照其他因素来划分为更多或更少的功能服务,或者可以按照其他方式来划分各个服务的功能,或者也可以不划分功能服务,而是按照整体来工作。
下面结合具体实施例,对本申请提供的方案进行详细说明。
参阅图3,本申请实施例提供的音频检测的方法包括:
S301:电子设备确定采集到的音频中包含目标音频,该目标音频的类型为设定类型。
在本申请一些实施例中,目标用户可以为佩戴或携带电子设备的用户,或者,目标用户也可以为预先设定的、与电子设备所关联的用户。
示例性的,上述目标音频(或设定类型)可以为咳嗽音、呼吸音、喷嚏音、关节弹响(即人体的关节在运动时发出的声音)等。
在本申请一些实施例中,电子设备可以为具备音频检测功能的设备,则电子设备可以对所在环境中的音频(或声音)进行实时的采集和检测,从而获得目标音频信号(即目标音频的音频信号)。电子设备也可以是具备无线连接功能的设备,则电子设备可以接收其它音频检测设备所采集的目标音频信号。当然,电子设备也可以是上述音频检测功能和无线连接功能均具备的设备,则电子设备可以采用上述任一种方式获取目标音频信号。
示例性的,目标音频可以是电子设备所在环境中的任一用户发出的声音。例如,电子设备与目标用户处于同一环境中时,电子设备可以对该环境中出现的音频进行实时的接收和识别,当电子设备识别到接收的音频为设定类型例如咳嗽音时,可以确定该环境中存在一个用户正在咳嗽,因此,电子设备可以获得该用户咳嗽发生期间的音频信号,得到对应的咳嗽音信号。
在本申请一些实施例中,电子设备采集到目标音频后,可以根据目标音频识别目标音频对应的目标动作。具体识别时可以借助已训练的网络模型实现。
在本申请一些实施例中,电子设备在获取目标音频信号后,可以先根据目标音频信号检测发出目标音频的用户是否存在患病风险。具体的,电子设备获取到目标音频信号后,可以先对目标音频信号进行预处理,例如去噪、预加重、分帧、加窗等处理。然后可以从预处理后的目标音频信号中提取目标音频的特征数据,并根据提取到的特征数据检测目标音频所属的用户是否存在患病风险。
其中,目标音频的特征数据可以包括但不限于以下至少一项:
1)时域特征。
示例性的,时域特征可以为音频信号的过零率(zero crossing rate,ZCR)。过零率是指在每帧音频信号中,信号通过零点(从正变为负或从负变为正)的次数。时域特征还可以包括起音时间、自相关参数或音频信号的波形特征等。其中,起音时间指音频能量在上升阶段的时长。自相关参数指音频信号与其沿时间位移后的信号的相似度。
2)频域特征。
示例性的,频域特征可以为梅尔频率倒谱系数(Mei-freguency ceptraicoefficients,MFCC)、功率谱密度、谱质心、频谱平坦度、频谱通量等。其中,MFCC是在梅尔标度频率域提取出来的倒谱系数,梅尔标度描述了人耳对频率感知的非线性特性。功率谱密度指信号单位频带内的功率(均方值)。谱质心指信号频谱中能量的集中点,用于描述信号音色的明亮度。频谱平坦度指量化信号和噪音间的相似度。频谱通量指量化信号相邻帧间的变化程度。
3)能量特征。
示例性的,能量特征可以为均方根能量等。均方根能量指信号在一定时间范围内的能量均值。
4)乐理特征。
示例性的,乐理特征可以为基音频率、失谐度等。其中,基音频率指声音的音高的频率。失谐度指信号泛音频率与基音频率的整数倍间偏离程度。
5)感知特征。
示例性的,感知特征可以为声音响度(强度)、尖锐度等。其中,响度指人耳感受到的信号强弱(例如声音的大小等)。尖锐度用于表示音频信号中高频部分的能量大小,高频部分能量越大,尖锐度越高,人耳感受到的声音越尖锐。
在本申请一些实施例中,电子设备可以采用模型识别的方式,根据提取到的目标音频的特征数据检测是否存在患病风险。具体的,电子设备提取得到目标音频的特征数据后,可以将提取的特征数据输入已训练的疾病筛查模型中,得到疾病筛查模型输出的患病风险参数,该参数可以用于指示患病风险的等级分类(如高风险、中风险、低风险等),或者该参数可以用于指示表征患病风险大小的具体值。可选的,患病风险参数还可以用于指示疾病类型。
其中,电子设备采用的疾病筛查模型可以是对采用逻辑回归算法(logisticregression,LR)、极致梯度提升(eXtreme Gradient Boosting,XGBoost)算法等算法的网络模型进行训练后得到的。
在本申请一些实施例中,电子设备可以在根据目标音频信号检测到发出目标音频的用户存在患病风险或患病风险较高(例如疾病筛查模型输出的患病风险参数大于或等于设定的风险阈值的情况)时,执行以下步骤S302,获取目标用户的生理数据,并根据目标用户的生理数据来确定目标音频是否是目标用户发出的音频。可选的,电子设备在根据目标音频信号检测发出目标音频的用户不存在患病风险或患病风险较低(例如疾病筛查模型输出的患病风险参数小于设定的风险阈值的情况)时,可以不进行额外处理,例如只需继续执行原本的音频监测即可。
S302:电子设备获取目标用户的生理数据,该生理数据用于表征目标用户的生理特征。
在实际场景中,一方面,用户在发出声音的过程中一般都伴随一些动作的执行,例如用户发出咳嗽音时伴随用户执行咳嗽的动作,用户发出呼吸音时伴随呼吸的动作,因此,用户发出的声音与用户执行的动作之间具有对应关系,即用户发出的声音的类型与用户执行的动作的类型是相对应的,可以认为用户发出的声音是在执行动作过程中产生的。因此,本申请实施例中,目标音频可以为目标音频所属的用户在执行目标动作过程中发出的声音,其中,目标音频为设定类型,目标动作的类型与设定类型相对应。例如,目标音频为上述的咳嗽音、呼吸音、喷嚏音、关节弹响时,对应的动作分别为咳嗽、呼吸、打喷嚏、关节运动。
另一方面,用户在执行不同动作的过程中,其生理特征会发生不同的变化,因此,用户执行不同动作时的生理特征一般不同,基于用户的生理特征可以识别用户所执行的对应的动作。进一步的,可以基于用户执行的动作将用户发出的声音和用户的生理数据关联起来,进而将用户发出的声音与用户关联起来。因此,本申请实施例中,电子设备可以基于目标用户的生理特征对目标用户所执行的动作进行识别,再根据目标用户执行的动作与电子设备检测到的音频对应的动作之间的关系,确定电子设备检测到的目标音频与目标用户的关系。
在本申请一些实施例中,电子设备可以为具备传感功能或传感器的设备,则电子设备可以对用户的生理特征进行实时检测,并可以采集用于表征用户生理特征的生理参数。电子设备也可以是具备无线连接功能的设备,则电子设备可以接收其它生理监测设备所采集的生理数据。当然,电子设备也可以是上述传感功能和无线连接功能均具备的设备,则电子设备可以采用上述任一种方式获取用户的生理数据。
在本申请一些实施例中,电子设备采集用户的生理数据或者接收生理监测设备的生理数据过程中,可以对距当前时间最近的一段时间内采集的生理数据进行保存。该段时间的时长可以为设定时长。
示例性的,电子设备可以为智能手表或手机。当电子设备为智能手表时,目标用户则为佩戴该智能手表的用户,智能手表自身可以对目标用户的生理特征进行监测,并实时采集和保存用户的生理数据。当电子设备为手机时,目标用户可以是手持该手机的用户或者已注册的该手机的所有者。目标用户可以佩戴用于进行生理特征监测的可穿戴设备例如手环,则手环可以实时监测目标用户的生理特征并将采集的生理数据发送至手机,手机可以保存来自手环的生理数据。可选的,手环采集生理数据后也可以暂时不上报给电子设备,而是手环自身先保存采集的生理数据,待电子设备需要时,再根据电子设备的指示进行生理数据的上报。
基于以上方法,电子设备在执行步骤S302时,可以从自身已保存的生理数据中获取所需的生理数据,或者可以指示生理监测设备上报电子设备所需的生理数据。
在本申请一些实施例中,电子设备获取的目标用户的生理数据是目标时间段内采集到的该用户的生理数据。目标时间段为电子设备或音频检测设备采集目标音频信号的时间段,也是目标音频产生的时间段。基于此,可以保证电子设备获取到的生理数据的产生时间与目标音频的产生时间是一致的,从而可以根据同一时间段内的音频信号和生理数据进行匹配,以保证匹配的准确度。
电子设备或生理监测设备中可以配置各种传感器来检测得到生理数据。在本申请一些实施例中,电子设备获取的生理数据至少包括运动姿态参数和/或心率参数。其中,运动姿态参数用于指示被测用户的运动或姿态特征,可以由加速度传感器(accelerationtransducer,ACC)、陀螺仪等器件测得。心率参数用于指示被测用户的心率、脉搏特征,可以由光电传感器采用光电容积描记(photo plethysmography,PPG)法测得。可选的,生理数据还可以包括但不限于以下至少一项:呼吸率参数、血氧参数、血压参数、脉搏参数等,这些参数可以通过对ACC、陀螺仪、光电传感器等传感器测得的数据进行分析计算后获得。
上述生理数据可以用于检测对应用户执行的动作,进而根据用户执行的动作与目标音频对应的动作是否一致,来确定目标音频是否属于该用户。例如,当ACC测得的运动姿态参数随时间变化产生较大的峰值或出现较为明显的波动,且心率参数有较为明显的增幅时,可以确定用户执行了咳嗽的动作,若目标音频信息信号为咳嗽音信号,则可以确定目标音频属于该用户。
S303:电子设备根据该生理数据,确定目标音频是否来源于目标用户。
电子设备获取到目标用户的生理数据后,可以根据该生理数据确定目标音频是否来源于(属于)目标用户。具体的,电子设备可以利用预先训练得到的动作识别模型,根据目标用户的生理数据,识别目标用户是否执行目标音频对应的目标动作,再根据目标用户是否执行目标动作确定目标音频和目标用户是否匹配,其中,目标动作的类型与目标音频的类型相对应,目标动作可以根据目标音频确定。在本申请一些实施例中,动作识别模型可以是对采用支持向量机(support vector machines,SVM)、LR等算法的网络模型进行训练后得到的。
作为一种可选的实施方式,在模型训练阶段可以采集用户执行各类动作时的生理样本参数,构成各类生理参数的模型数据库。在匹配阶段,动作识别模型可以将输入模型的生理数据与模型数据库中的生理参数进行匹配,如果某类动作的生理参数与输入动作识别模型的生理数据的匹配度最高或者匹配度大于设定的匹配度阈值,则确定该类动作为输入动作识别模型的生理数据对应的动作。若该类动作与目标动作相同,则可以确定该生理数据所属的用户即目标用户执行了目标动作,进而可以确定目标音频是目标用户在执行目标动作过程中发出的声音。反之,若该类动作与目标动作不同,则可以得到目标音频不是目标用户在执行目标动作过程中发出的声音的判断结果。
作为另一种可选的实施方式,在针对特定类型的音频进行来源检测时,例如针对目标动作被执行时的音频进行来源检测时,在模型训练阶段也可以仅获取不同用户执行目标动作时的生理样本参数,构成该类生理参数对应的模型数据库。在匹配阶段,动作识别模型可以将输入模型的生理参数与模型数据库中的生理参数进行匹配,若输入的生理数据与模型数据库中超过设定数量的生理参数的匹配度均大于设定的匹配度阈值,则可以确定目标音频是目标用户在执行目标动作过程中发出的声音,反之,确定目标音频不是目标用户在执行目标动作过程中发出的声音。
作为又一种可选的实施方式,动作识别模型可以用于识别输入的生理数据所对应的用户状态或用户动作姿态等,当确定该生理数据对应的用户执行的动作是目标动作时,也可以确定该生理数据所属的目标用户执行了目标动作,则可以认为该生理数据与目标音频信号是匹配的,进而确定目标音频是目标用户在执行目标动作过程中发出的声音。该方式中,在模型训练阶段可以利用采集到的用户执行不同动作时的生理数据和对应的动作指示标签组成数据对,并作为训练数据,对网络模型进行训练。
在本申请一些实施例中,动作识别模型的输入数据可以为电子设备获取到的生理数据,动作识别模型的输出数据可以为目标用户是否执行目标动作的判断结果,或者为该动作识别模型的置信度,该置信度用于表示用户执行目标动作的可能性。置信度越高,说明用户执行目标动作的可能性越大。电子设备将获取到的生理数据输入到动作识别模型,就可以得到动作识别模型输出的用户是否执行目标动作的识别结果或者对应的置信度,进而据此判断目标音频是否是目标用户发出的声音。
具体的,当输出结果为目标用户执行了目标动作或者模型的置信度大于或等于设定的第一置信度阈值时,电子设备可以确定目标音频来源于目标用户。当输出结果为目标用户未执行目标动作或者模型的置信度小于或等于设定的第二置信度阈值时,电子设备可以确定目标音频不是来源于目标用户。当输出结果为模型的置信度小于第一置信度阈值且大于第二置信度阈值时,电子设备可以通过提示目标用户确认的方式,来进一步判断目标音频与目标用户关系。其中,第一置信度阈值大于第二置信度阈值。
可选的,电子设备也可以在确定上述模型的置信度大于或等于设定的第三置信度阈值时,确定目标音频来源于目标用户,在确定模型的置信度小于第三置信度阈值时,确定目标音频不是来源于目标用户。
在提示目标用户确认时,电子设备可以显示提示信息以询问用户是否执行了目标动作,并根据用户反馈的信息确定用户是否执行了目标动作,若是,则最终确定目标音频来源于目标用户,否则,确定目标音频不是来源于目标用户。
例如,当电子设备为智能手表、目标动作为咳嗽时,电子设备在提示目标用户确认时,可以通过振动等方式提示目标用户查看该电子设备的显示屏,并在显示屏中显示提示信息的界面,该界面中包括提示信息例如“刚刚您是否咳嗽了?”,还包括可供用户操作的控制选项例如“是”和“否”的选项。则目标用户可以根据是否咳嗽的实际情况点击对应的选项。电子设备接收用户的操作后可以确定目标用户的状态。
上述电子设备在确定目标音频不是来源于目标用户时,确定目标音频来源于目标用户所在环境中存在的其它用户。
在本申请一些实施例中,电子设备在确定目标音频来源于目标用户时,可以进一步确定目标用户的患病风险(包括所患疾病的类型和对应的风险大小);电子设备在确定目标音频来源于目标用户所在环境中的其它用户时,也可以进一步确定其它用户的患病风险,当确定其它用户可能患传染性疾病时,可以对目标用户进行相关提示,以使目标用户根据提示进行应对,从而避免或降低从环境中感染疾病的可能。
以下仅以电子设备确定目标用户的患病风险为例进行说明,电子设备确定其它用户的患病风险时采用的方式与电子设备确定目标用户的患病风险时采用的方法相同,下文中不再重复介绍。
作为一种可选的实施方式,电子设备确定目标用户的患病风险时,可以将上述步骤S301中根据目标音频的特征数据检测到的患病风险参数作为目标用户的患病风险参数,从而得到目标用户的患病风险。
作为另一种可选的实施方式,电子设备可以结合更多方面的信息对目标用户的患病风险进行识别分析。例如,电子设备可以根据目标音频的特征数据、目标用户的个人信息、目标用户的生理数据中的至少一种信息,利用已训练的疾病筛查模型识别对应的患病风险参数,从而得到目标用户的患病风险。
示例性的,目标音频的特征数据可以包括上述实施例提供的特征中的至少一种特征。目标用户的个人信息可以包括目标用户的性别、年龄、身高、体重等信息,这些信息可以是用户预先录入电子设备的。
作为又一种可选的实施方式,电子设备可以根据至少一种特征数据,在预设的不同特征与风险级别的对应关系中选择对应的风险级别,并将选择的风险级别作为目标用户患病的风险级别,从而得到目标用户的患病风险。
示例性的,特征数据可以包括上述的多种特征数据,还可以包括以下至少一种特征参数:用于指示目标音频强弱特征的参数;在预设时长内电子设备或音频检测设备检测到目标音频信号的次数;上述疾病筛查模型输出的风险等级;电子设备或音频检测设备多次检测到的目标音频信号中,持续时间最长的目标音频信号的持续时长等。当然,至少一种参数也可以作为音频的特征数据,用于上述利用疾病筛查模型识别患病风险的过程中。
在一种可能的情况中,当上述电子设备确定目标用户存在患病风险或患病风险较高时,可以提示目标用户存在患病风险,以使目标用户进一步及时就诊等。
示例性的,当电子设备为手机、目标动作为咳嗽时,电子设备可以通过通知消息提示等方式来提示目标用户存在患病风险。例如,当目标用户患病风险较低时,电子设备可以显示图4中所示的界面。当目标用户患病风险较高时,电子设备可以显示图5中所示的界面。在图4或图5所示的界面中,电子设备可以显示风险提示信息(如图4中所示的“可能存在呼吸感染风险”或图5中所示的“呼吸感染高风险(疑似肺炎)”),还可以显示日期时间和相对应的建议等信息。例如,在确定用户可能存在呼吸感染风险时,电子设备还可以显示以下建议信息:根据您近段时间的检测数据,您可能存在呼吸道感染风险,请进行主动测量或就医检测等。在确定用户存在呼吸感染高风险时,电子设备还可以显示以下建议信息:根据您近段时间的检测数据,您可能存在较高的呼吸道感染风险,请及时就医。可选的,电子设备还可以显示“本次检测不作为呼吸系统健康的专业临床诊断依据”等提示信息。
可选的,当上述电子设备根据目标音频信号检测到发出目标音频的用户不存在患病风险或患病风险很低,电子设备也可以定时显示通知信息来提示用户的健康状况。例如,电子设备可以定时显示图6所示的界面,以提示用户当前患病风险,还可以显示“通过分析您的近期测量数据,您的呼吸道感染风险较低,属于健康的范围,继续保持良好的生活习惯,将为您带来持续的健康”、“本次检测不作为呼吸系统健康的专业临床诊断依据”等相应的建议和提示信息。
在另一种可能的情况中,当上述电子设备确定其它用户存在患病风险或患病风险较高,且其它用户可能患病的疾病类型为传染性疾病时,可以提示目标用户周围环境中可能存在疾病感染风险,并提示目标用户进行防护等。
示例性的,当电子设备为手机、目标动作为咳嗽时,电子设备可以通过通知消息提示等方式来提示目标用户当前环境中可能存在呼吸系统感染风险。例如,电子设备可以显示图7中所示的界面,该界面中可以包括用于提示环境中存在呼吸系统感染的风险等级的信息。可选的,该界面中还可以显示目标用户当前所处的位置、检测到的相关特征参数(例如环境中检测到的咳嗽音的次数)、相应的建议等,例如该界面中还可以包括“您当前位于X地,XX时间内周围环境中的咳嗽次数为XXX,建议您离开此地或做好防护措施”、“本次检测不作为呼吸系统健康的专业临床诊断依据”等提示信息。
可选的,上述电子设备在显示界面中还可以显示检测到的咳嗽音的波形等信息,本申请实施例中不做具体限定。
上述实施例中,电子设备可以根据检测到目标音频时目标用户的生理参数确定目标音频与目标用户关系,从而对目标用户的音频与其它用户的音频加以区分。进一步的,在后续处理过程中也可以根据目标音频的来源对目标音频进行处理。例如,若确定目标音频的来源是目标用户,则目标音频对于检测目标用户的患病风险具有较高的参考意义,基于目标音频信号检测到的结果也具有较高的可信度,因此可以基于目标音频检测目标用户自身的患病情况。若确定目标音频的来源不是目标用户,则目标音频对于检测目标用户的患病风险具有较低的参考意义,则可以避免误将该目标音频作为目标用户的音频进行患病风险检测的情况,从而提高相关检测的准确度。
下面以本申请实施例提供的方案应用于检测用户呼吸道感染风险的场景中为例,对本申请实施例提供的方案进行介绍。
以下以电子设备为目标用户佩戴的可穿戴设备、目标用户通过可穿戴设备检测是否存在呼吸道感染风险为例进行说明。其中,目标音频为咳嗽音。可穿戴设备具备音频检测功能,可以检测所在环境中存在的咳嗽音并根据检测到的咳嗽音检测呼吸道感染风险。并且,可穿戴设备具备生理监测功能,可以实时监测目标用户的生理特征。
参照图8,本申请实施例提供的检测用户呼吸道感染风险的方法的流程包括:
S801:可穿戴设备实时采集和检测环境中产生的音频,以及,实时检测并保存目标用户的生理数据。
其中,可穿戴设备检测用户呼吸道感染风险的功能可以通过可穿戴设备中安装的健康监测应用进行控制和实现。当可穿戴设备的健康监测应用中的呼吸道监测的功能被打开后,可穿戴设备可以执行本实例提供的方法进行呼吸道感染风险的检测等处理,当可穿戴设备的健康监测应用中的呼吸道监测的功能被关闭后,可穿戴设备可以停止执行本实例提供的方法进行呼吸道感染风险的检测等处理。
示例性的,如图9中所示,可穿戴设备的健康监测应用中可以提供呼吸道监测功能的控制开关,用户通过对该控制开关进行操作,可以控制打开或关闭对呼吸道健康进行监测的功能。在呼吸道健康监测的功能打开后,可穿戴设备可以执行本申请实施例提供的方法,对佩戴该可穿戴设备的用户的呼吸道健康进行监测。
可选的,用户打开呼吸道健康监测的功能后,可穿戴设备可后台运行该功能,其前台显示的界面可随用户操作进行更新。
S802:可穿戴设备通过识别环境中的音频,确定存在咳嗽音时,确定对应的咳嗽音信号。
可选的,可穿戴设备可以利用已训练的音频识别模型识别采集到的音频是否为咳嗽音。
S803:可穿戴设备提取咳嗽音信号的特征数据。
S804:可穿戴设备将咳嗽音信号的特征数据输入至已训练的疾病筛查模型。
S805:可穿戴设备利用疾病筛查模型判断咳嗽音是否对应存在呼吸道感染风险;若是,执行步骤S806,否则,执行步骤S801。
上述步骤的具体实施方式可参照上述步骤S301中所述的利用疾病筛查模型检测是否存在患病风险的方法,此处不再赘述。
S806:可穿戴设备确定咳嗽音发生的时间段。
其中,该时间段至少包括咳嗽音发生的起始时间和停止时间,还可以包括咳嗽音的时长。
S807:可穿戴设备获取已保存的、该时间段内检测到的生理数据。
该步骤的具体实施方式可参照上述步骤S302中相关的方法,此处不再赘述。
S808:可穿戴设备将生理数据输入至已训练的动作识别模型。
S809:可穿戴设备根据动作识别模型确定生理数据是否对应执行目标动作,并确定对应的置信度。
该步骤的具体实施方式可参照上述步骤S303中所述的利用动作识别模型识别生理数据的方法,此处不再赘述。
S810:可穿戴设备确定置信度是否大于或等于设定的第一置信度阈值;若是,执行步骤S811,否则,执行步骤S812。
S811:可穿戴设备确定咳嗽音属于目标用户,并显示提示信息,以提示目标用户存在呼吸道感染风险。
示例性的,可穿戴设备可以显示图10中所示的界面,该界面中包含提示目标用户存在呼吸道感染风险的提示信息。
S812:可穿戴设备确定置信度是否小于或等于设定的第二置信度阈值;若是,执行步骤S813,否则,执行步骤S814。
其中,第二置信度阈值小于第一置信度阈值。
S813:可穿戴设备确定咳嗽音不属于目标用户,并显示提示信息,以提示目标用户其所在环境中存在呼吸道感染风险。
示例性的,可穿戴设备可以显示图11中所示的界面,该界面中包含提示目标用户其所在环境中存在呼吸道感染风险的提示信息。
S814:可穿戴设备显示提示信息,以询问目标用户是否咳嗽。并执行步骤S815。
示例性的,可穿戴设备可以显示图12所示的界面,该界面中包含询问用户是否咳嗽的提示信息。
S815:可穿戴设备根据用户反馈的信息确定目标用户是否咳嗽;若是,执行步骤S811,否则,执行步骤S813。
上述步骤的具体执行可参照上述实施例中的相关介绍,本实例中不再赘述。
需要说明的是,上述实例提供的具体实施流程,仅是对本申请实施例适用方法流程的举例说明,其中各步骤的执行顺序可根据实际需求进行相应调整,还可以增加其它步骤,或减少部分步骤。
上述实施例中,可穿戴设备通过检测咳嗽音的来源,可以确保进行呼吸道患病风险预测的咳嗽音是来自目标用户本身的声音,降低了错误采集的音频信号对预测过程的干扰,进而可以提高预测的准确度。此外,通过区分咳嗽音的来源是佩戴可穿戴设备的目标用户还是环境中的其它用户,可以分别针对目标用户自身的呼吸道感染风险和环境中的呼吸道感染风险进行预测。一方面可以提高目标用户自身咳嗽音的采集效果和预测效果,另一方面可以通过判断环境中存在的感染源和风险,及时提醒目标用户做好个人防护等应对措施,减少感染风险。综上,该方案能够快速识别咳嗽音的来源,并进一步进行呼吸道感染风险的预测和预警,实时性和实施成本等都较低,且能够极大提升用户使用的体验度。此外,该方案在室内等公共场景中的应用价值较大,可实施性很高。
基于以上实施例及相同构思,本申请实施例还提供一种音频检测的方法,如图13中所示,该方法包括:
S1301:电子设备采集第一音频,并识别第一音频的类型。
示例性的,电子设备可以为上述实施例(图3)中所述的电子设备,也可以为上述实施例(图8)中所述的可穿戴设备。
S1302:电子设备通过一个或多个传感器采集第一信号,其中,电子设备包括一个或多个传感器。
其中,第一信号为针对第一用户采集的信号。示例性的,第一用户可以为上述实施例中所述的目标用户。第一信号可以为上述实施例中所述的生理数据对应的信号,电子设备可以根据采集到的第一信号确定上述实施例中所述的生理数据。
S1303:电子设备当识别到第一音频为设定类型时,根据第一音频确定第一时间区间,第一时间区间包括起始时间和结束时间。
示例性的,设定类型的第一音频可以是上述实施例中所述的目标音频,第一时间区间为第一音频产生的时间区间,可以为上述实施例中所述的目标时间段。
S1304:电子设备根据第一时间区间及第一信号,确定第二信号。
示例性的,第二信号可以为上述实施例中所述的目标时间段内的生理数据对应的信号,电子设备可以根据采集到的第二信号确定该生理数据。
S1305:若第二信号与第一音频匹配,电子设备显示第一信息。
可选的,若第二信号与第一音频不匹配,电子设备显示第二信息。
示例性的,第一信息可以为上述实施例中所述的用于通知目标用户存在患病风险的通知信息,例如图6或图10中所示的信息。第一信息可以为上述实施例中所述的用于通知目标用户所在的环境中存在感染风险的通知信息,例如图7或图11中所示的信息。
具体的,该方法中电子设备所执行的具体步骤可参阅前述实施例中的相关介绍,在此不再过多赘述。
基于以上实施例及相同构思,本申请实施例还提供一种音频检测的方法,应用于包括第一电子设备与第二电子设备的系统,如图14中所示,该方法包括:
S1401:第一电子设备采集第一音频,并识别第一音频的类型。
示例性的,第一电子设备可以为上述实施例(图3)中所述的电子设备。例如,第一电子设备可以为手机等移动终端设备。
S1402:第二电子设备通过一个或多个传感器采集第一信号,其中,第二电子设备包括一个或多个传感器。
示例性的,第二电子设备可以为上述实施例中所述的生理监测设备。例如,第二电子设备可以为手表、手环等可穿戴设备。
第一信号为针对第一用户采集的信号。示例性的,第一用户可以为上述实施例中所述的目标用户。第一信号可以为上述实施例中所述的生理数据对应的信号。
需要说明的是,上述步骤S1401与步骤S1402的执行并无严格的时序限制,例如,步骤S1401可以早于步骤S1402执行,也可以晚于步骤S1402执行,或者与步骤S1402同时(或同步)执行。
S1403:第一电子设备当识别到第一音频为设定类型时,根据第一音频确定第一时间区间,第一时间区间包括起始时间和结束时间。
示例性的,设定类型的第一音频可以是上述实施例中所述的目标音频,第一时间区间为第一音频产生的时间区间,可以为上述实施例中所述的目标时间段。
S1404:第一电子设备向第二电子设备发送请求信息,请求信息用于请求获取第一时间区间对应的信号。
S1405:第二电子设备根据接收到的请求信息确定第一时间区间,并根据第一时间区间及第一信号,确定第二信号。
示例性的,第二信号可以为上述实施例中所述的目标时间段内的生理数据对应的信号。
S1406:第二电子设备向第一电子设备发送第二信号。
S1407:第一电子设备若确定接收到的第二信号与第一音频匹配,显示第一信息。
可选的,若第二信号与第一音频不匹配,电子设备显示第二信息。
示例性的,第一信息可以为上述实施例中所述的用于通知目标用户存在患病风险的通知信息,例如图6或图10中所示的信息。第一信息可以为上述实施例中所述的用于通知目标用户所在的环境中存在感染风险的通知信息,例如图7或图11中所示的信息。
具体的,该方法中第一电子设备或第二电子设备所执行的具体步骤可参阅前述实施例中的相关介绍,在此不再过多赘述。
基于以上实施例及相同构思,本申请实施例还提供一种电子设备,该电子设备用于实现本申请实施例提供的音频检测的方法。如图15中所示,电子设备1500可以包括:显示屏1501,存储器1502,一个或多个处理器1503,以及一个或多个计算机程序(图中未示出)。上述各器件可以通过一个或多个通信总线1504耦合。
其中,显示屏1501用于显示图像、视频、应用界面等相关用户界面。存储器1502中存储有一个或多个计算机程序(代码),一个或多个计算机程序包括计算机指令;一个或多个处理器1503调用存储器1502中存储的计算机指令,使得电子设备1500执行本申请实施例提供的音频检测的方法。
具体实现中,存储器1502可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器1502可以存储操作系统(下述简称系统),例如ANDROID,IOS,WINDOWS,或者LINUX等嵌入式操作系统。存储器1502可用于存储本申请实施例的实现程序。存储器1502还可以存储网络通信程序,该网络通信程序可用于与一个或多个附加设备,一个或多个用户设备,一个或多个网络设备进行通信。一个或多个处理器1503可以是一个通用中央处理器(CentralProcessing Unit,CPU),微处理器,特定应用集成电路(Application-SpecificIntegrated Circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
需要说明的是,图15仅仅是本申请实施例提供的电子设备1500的一种实现方式,实际应用中,电子设备1500还可以包括更多或更少的部件,这里不作限制。
基于以上实施例及相同构思,本申请实施例还提供一种系统,该系统包括上述的第一电子设备和第二电子设备。
基于以上实施例及相同构思,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,当计算机程序在计算机上运行时,使得计算机执行上述实施例提供的方法。
基于以上实施例及相同构思,本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序或指令,当计算机程序或指令在计算机上运行时,使得计算机执行上述实施例提供的方法。
本申请实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,简称DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,简称DVD)、或者半导体介质(例如,SSD)等。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (20)
1.一种音频检测的方法,应用于电子设备,其特征在于,所述方法包括:
采集第一音频,并识别所述第一音频的类型;
通过一个或多个传感器采集第一信号,其中,所述电子设备包括所述一个或多个传感器;
当识别到所述第一音频为设定类型时,根据所述第一音频确定第一时间区间,所述第一时间区间包括起始时间和结束时间;
根据所述第一时间区间及所述第一信号,确定第二信号;
若所述第二信号与所述第一音频匹配,显示第一信息。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述第二信号与所述第一音频不匹配,显示第二信息。
3.如权利要求2所述的方法,其特征在于,在根据所述第一音频确定第一时间区间之前,所述方法还包括:
根据所述第一音频确定第一风险参数,所述第一风险参数大于或等于设定阈值,其中,所述第一风险参数用于指示所述第一音频对应的疾病风险。
4.如权利要求3所述的方法,其特征在于,
所述第一信息用于指示:所述第一音频来源于第一用户,和/或,所述第一用户存在患病风险,其中,所述第一用户为佩戴所述电子设备的用户;
所述第二信息用于指示:所述第一音频不是来源于所述第一用户,和/或,所述第一用户所在的环境存在感染风险。
5.如权利要求3或4所述的方法,其特征在于,所述根据所述第一音频确定第一风险参数,包括:
从所述第一音频中提取特征数据;其中,所述特征数据用于表征所述第一音频的时域特征和/或频域特征;
根据设定的疾病筛查模型和所述特征数据,确定所述第一风险参数;其中,所述疾病筛查模型用于表示音频的时域特征和/或频域特征与所述音频对应的风险参数之间的关系。
6.如权利要求1~5任一所述的方法,其特征在于,在若所述第二信号与所述第一音频匹配,显示第一信息之前,所述方法还包括:根据所述第一音频,确定所述第一音频对应的第一动作,以及,根据所述第二信号,确定所述第二信号对应的第二动作;
所述第二信号与所述第一音频匹配,包括:所述第二信号对应的所述第二动作的类型与所述第一音频对应的所述第一动作的类型相同。
7.如权利要求6所述的方法,其特征在于,根据所述第二信号,确定所述第二信号对应的第二动作,包括:
根据设定的动作识别模型和所述第二信号,确定所述第二动作及所述第二动作的置信度,其中,所述动作识别模型用于表示所述第二信号与所述第二动作及所述置信度之间的关系,所述置信度用于表征所述动作识别模型的识别准确度;
确定所述置信度大于或等于设定的第一阈值;或者
确定所述置信度大于或等于设定的第二阈值且小于或等于设定的第三阈值;显示第一指示信息,所述第一指示信息用于指示:确认是否执行所述第二动作;接收第二指示信息,所述第二指示信息用于指示:确认执行所述第二动作。
8.如权利要求1~7任一所述的方法,其特征在于,所述第二信号包括以下至少一项:
通过加速度传感器采集的信号;
通过陀螺仪传感器采集的信号;
通过光电传感器采集的信号。
9.如权利要求1~8任一所述的方法,其特征在于,所述设定类型包括以下至少一项:
咳嗽音,呼吸音,喷嚏音,关节弹响。
10.一种音频检测的方法,应用于第一电子设备,其特征在于,所述方法包括:
采集第一音频,并识别所述第一音频的类型;
当识别到所述第一音频为设定类型时,根据所述第一音频确定第一时间区间,所述第一时间区间包括起始时间和结束时间;
向第二电子设备发送请求信息,所述请求信息用于请求获取所述第一时间区间对应的信号;
接收来自所述第二电子设备的第一信号,所述第一信号是所述第二电子设备通过一个或多个传感器采集得到的,其中,所述第二电子设备包括所述一个或多个传感器;
若所述第一信号与所述第一音频匹配,显示第一信息。
11.如权利要求10所述的方法,其特征在于,所述方法还包括:
若所述第一信号与所述第一音频不匹配,显示第二信息。
12.如权利要求11所述的方法,其特征在于,在根据所述第一音频确定第一时间区间之前,所述方法还包括:
根据所述第一音频确定第一风险参数,所述第一风险参数大于或等于设定阈值,其中,所述第一风险参数用于指示所述第一音频对应的疾病风险。
13.如权利要求12所述的方法,其特征在于,
所述第一信息用于指示:所述第一音频来源于第一用户,和/或,所述第一用户存在患病风险,其中,所述第一用户为佩戴所述第二电子设备的用户;
所述第二信息用于指示:所述第一音频不是来源于所述第一用户,和/或,所述第一用户所在的环境存在感染风险。
14.如权利要求12或13所述的方法,其特征在于,根据所述第一音频确定第一风险参数,包括:
从所述第一音频中提取特征数据;其中,所述特征数据用于表征所述第一音频的时域特征和/或频域特征;
根据设定的疾病筛查模型和所述特征数据,确定所述第一风险参数;其中,所述疾病筛查模型用于表示音频的时域特征和/或频域特征与所述音频对应的风险参数之间的关系。
15.如权利要求10~14任一所述的方法,其特征在于,在若所述第一信号与所述第一音频匹配,显示第一信息之前,所述方法还包括:根据所述第一音频,确定所述第一音频对应的第一动作,以及,根据所述第一信号,确定所述第一信号对应的第二动作;
所述第一信号与所述第一音频匹配,包括:所述第一信号对应的所述第二动作的类型与所述第一音频对应的所述第一动作的类型相同。
16.如权利要求15所述的方法,其特征在于,根据所述第一信号,确定所述第一信号对应的第二动作,包括:
根据设定的动作识别模型和所述第一信号,确定所述第二动作及所述第二动作的置信度,其中,所述动作识别模型用于表示所述第一信号与所述第二动作及所述置信度之间的关系,所述置信度用于表征所述动作识别模型的识别准确度;
确定所述置信度大于或等于设定的第一阈值;或者
确定所述置信度大于或等于设定的第二阈值且小于或等于设定的第三阈值;显示第一指示信息,所述第一指示信息用于指示:确认是否执行所述第二动作;接收第二指示信息,所述第二指示信息用于指示:确认执行所述第二动作。
17.如权利要求10~16任一所述的方法,其特征在于,所述第一信号包括以下至少一项:
通过加速度传感器采集的信号;
通过陀螺仪传感器采集的信号;
通过光电传感器采集的信号。
18.如权利要求10~17任一所述的方法,其特征在于,所述设定类型包括以下至少一项:
咳嗽音,呼吸音,喷嚏音,关节弹响。
19.一种电子设备,其特征在于,所述电子设备包括显示屏,存储器和一个或多个处理器;
其中,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述计算机指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1~9任一所述的方法,或者执行如权利要求10~18任一所述的方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1~9任一所述的方法,或者执行如权利要求10~18任一所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210073455.0A CN116509371A (zh) | 2022-01-21 | 2022-01-21 | 一种音频检测的方法及电子设备 |
PCT/CN2023/073167 WO2023138660A1 (zh) | 2022-01-21 | 2023-01-19 | 一种音频检测的方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210073455.0A CN116509371A (zh) | 2022-01-21 | 2022-01-21 | 一种音频检测的方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116509371A true CN116509371A (zh) | 2023-08-01 |
Family
ID=87347891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210073455.0A Pending CN116509371A (zh) | 2022-01-21 | 2022-01-21 | 一种音频检测的方法及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116509371A (zh) |
WO (1) | WO2023138660A1 (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007125360A (ja) * | 2005-10-05 | 2007-05-24 | Konica Minolta Medical & Graphic Inc | 咳検出装置 |
CN204744109U (zh) * | 2015-06-09 | 2015-11-11 | 同济大学 | 一种基于加速度计的咳嗽判别系统 |
US11272864B2 (en) * | 2015-09-14 | 2022-03-15 | Health Care Originals, Inc. | Respiratory disease monitoring wearable apparatus |
US20220167917A1 (en) * | 2015-09-14 | 2022-06-02 | Health Care Originals, Inc. | Respiratory disease monitoring wearable apparatus |
CA3103625A1 (en) * | 2018-06-14 | 2019-12-19 | Strados Labs, Inc. | Apparatus and method for detection of physiological events |
JP7312037B2 (ja) * | 2019-06-25 | 2023-07-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 咳検出装置、咳検出装置の作動方法及びプログラム |
CN111653273A (zh) * | 2020-06-09 | 2020-09-11 | 杭州叙简科技股份有限公司 | 一种基于智能手机的院外肺炎初步识别方法 |
CN112233700A (zh) * | 2020-10-09 | 2021-01-15 | 平安科技(深圳)有限公司 | 基于音频的用户状态识别方法、装置及存储介质 |
US20240156389A1 (en) * | 2021-03-18 | 2024-05-16 | Ortho Biomed Inc. | Health monitoring system and method |
-
2022
- 2022-01-21 CN CN202210073455.0A patent/CN116509371A/zh active Pending
-
2023
- 2023-01-19 WO PCT/CN2023/073167 patent/WO2023138660A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023138660A1 (zh) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10229565B2 (en) | Method for producing haptic signal and electronic device supporting the same | |
KR102446811B1 (ko) | 복수의 디바이스들로부터 수집된 데이터 통합 및 제공 방법 및 이를 구현한 전자 장치 | |
US10372894B2 (en) | Iris authentication method and device using display information | |
KR102386398B1 (ko) | 촬영 모드에 따라 이미지에 대한 표시자를 다르게 제공하는 방법 및 그 전자 장치 | |
US10917552B2 (en) | Photographing method using external electronic device and electronic device supporting the same | |
WO2021238995A1 (zh) | 用于肌肤检测的电子设备的交互方法及电子设备 | |
CN110024370A (zh) | 电子装置以及在电子装置中显示用于虹膜辨识的图像的方法 | |
CN108388390A (zh) | 控制指纹传感器的设备和方法 | |
KR102401932B1 (ko) | 생체 정보를 측정하는 전자 장치와 이의 동작 방법 | |
KR20170071159A (ko) | 이미지 관련 서비스를 제공하기 위한 방법, 저장 매체 및 전자 장치 | |
CN113591517A (zh) | 一种活体检测方法及相关设备 | |
KR102358849B1 (ko) | 스마트 워치에 대한 정보를 제공하는 전자 장치와 이의 동작 방법 | |
US20180033463A1 (en) | Electronic device and operation method thereof | |
WO2022193973A1 (zh) | 图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
WO2022179604A1 (zh) | 一种分割图置信度确定方法及装置 | |
CN115525372B (zh) | 显示界面的方法和装置 | |
WO2023273834A1 (zh) | 一种检测方法及相关设备 | |
KR20180023555A (ko) | 전자장치, 이를 활용한 적외선 센서 기반의 심장 박동 수 측정 방법 | |
KR102457247B1 (ko) | 이미지를 처리하는 전자 장치 및 그 제어 방법 | |
KR102405886B1 (ko) | 아키텍처 변경을 위한 소스 변환 솔루션 제공 장치 및 방법 | |
KR20180065203A (ko) | 영상을 표시하는 전자 장치 및 방법 | |
WO2023138660A1 (zh) | 一种音频检测的方法及电子设备 | |
KR102315341B1 (ko) | 객체의 구성 정보에 대응하는 그래픽 효과를 제공하기 위한 방법 및 그 전자 장치 | |
WO2022017270A1 (zh) | 外表分析的方法和电子设备 | |
US20200341556A1 (en) | Pattern embeddable recognition engine and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |