CN112166475A

CN112166475A - 基于呼吸系统的声音管理呼吸状况

Info

Publication number: CN112166475A
Application number: CN201980035460.9A
Authority: CN
Inventors: A·卡兰科维奇; V·杜比内特斯基; Y·纳鲁谢维奇; M·兹阿布科; L·比内特斯卡雅
Original assignee: Health Network Co
Current assignee: Chestpa Co.,Ltd.
Priority date: 2018-05-29
Filing date: 2019-05-17
Publication date: 2021-01-01
Also published as: DE202019005960U1; JP2021524958A; US20210145306A1; WO2019229543A1; EA201800377A1; EP3776586A1

Abstract

通过听诊在对象上的声音捕获点处从对象捕获的声音记录被分类在声音类别当中，等等。可以从声音记录和其它信息推断出呼吸状况。为了管理呼吸状况的目的，可以将关于呼吸状况的信息呈现给对象或医疗保健提供者。

Description

基于呼吸系统的声音管理呼吸状况

背景技术

本专利申请享有于2018年5月29日提交的欧亚专利组织专利申请序列号201800377的申请日的优先权的权益，其全部内容通过引用并入本文。

本说明书尤其涉及基于人类呼吸系统的声音来管理呼吸状况。

发明内容

通常，在一方面，接收表示对象的通过听诊获取的呼吸音的声音记录。通过机器将所接收到的声音记录变换成时频域图形表示。通过机器，将时频域图形表示应用于分类器模型，以确定对象的呼吸音的声音类别。通过机器，至少基于由分类器模型确定的声音类别来推断对象的呼吸状况。

实现方式可以包括以下特征中的一个或者两个或更多个的组合。时频域图形表示包括梅尔频谱图(Mel spectrogram)。时频域图形表示包括彩色梅尔频谱图。分类器模型包括神经网络模型。使用专家系统至少基于由分类器模型确定的声音类别来推断对象的呼吸状况。专家系统还基于关于对象的其它信息来推断对象的呼吸状况。从对象对问卷的回答中接收关于对象的其它信息。关于对象的其它信息包括人口统计信息。关于对象的其它信息包括关于呼吸状况的信息。通过设备的用户界面呈现关于所推断的呼吸状况的信息。通过用户界面呈现的信息包括在一时间段期间的声音记录的图形表示。声音记录的图形表示是根据声音类别进行颜色编码的。通过用户界面呈现的关于推断的呼吸状况的信息包括关于呼吸状况的管理的信息。接收在对象的不同声音捕获点处获取的多个声音记录。声音捕获点是基于呼吸状况通过算法确定的，并且通过移动设备的用户界面呈现给对象。接收在对象的特定声音捕获点处获取的多个声音记录。机器对多个声音记录执行主成分分析或其它相关性分析或多维分析。声音记录具有降低的质量。该降低的质量基于噪声或听诊不当或它们的组合。

通常，在一方面，接收第一数量的声音记录。声音记录中的每个声音记录表示对象的通过听诊获取的呼吸音。声音记录中的每个声音记录具有由一个或更多个专家确定的已知声音类别。使用不一定与声音记录有关的第二数量的已知频谱图来对神经网络的初始卷积层进行预训练。在预训练之后，使用第一数量的声音记录和已知声音类别来对神经网络的初始卷积层进行训练。第二数量的声音记录至少比第一数量的声音记录多一个数量级。接收尚未确定声音类别的声音记录。将所接收的声音记录应用于神经网络，以确定声音记录的声音类别。

实现方式可以包括以下特征中的一个或者两个或更多个的组合。通过以下项中的一个或更多个来增强神经网络的工作：检测并消除声音记录中的伪影、区分不同类别的声音记录或者基于具有由一个或更多个专家确定的已知声音类别的新声音记录来添加新声音类别。神经网络包括截断模型(truncated model)。截断模型包括SqueezeNET模型。截断模型在移动设备上执行。截断模型在ARM处理器上执行。专家系统使用声音记录的所确定的声音类别来推断对象的呼吸状况。通过设备的用户界面呈现关于所推断的呼吸状况的信息。将所接收的声音记录应用于神经网络以确定声音记录的声音类别是在远离捕获声音记录的位置的服务器处执行的。将所接收的声音记录应用于神经网络以确定声音记录的声音类别是在移动设备处执行的。将所接收的声音记录应用于神经网络以确定声音记录的声音类别是在移动设备和远离该移动设备的服务器的组合处执行的。将所接收的声音记录应用于神经网络以确定声音记录的声音类别包括针对所接收的声音记录生成梅尔频谱图。将所接收的声音记录应用于神经网络以确定声音记录的声音类别包括针对声音记录中的每个声音记录确定键值对(key-value pair)，其中，键包括对象上的声音捕获点，并且值包括声音类别。声音类别包括以下项中的至少一者：正常声音、喘鸣、干啰音、细湿啰音、粗湿啰音、皮肤摩擦、干扰伪影和心跳伪影。

通常，在一方面，从移动设备上运行的应用接收与对象的一个或更多个呼吸状况相关的信息。该信息包括通过听诊从对象捕获的呼吸音。该信息在服务器处进行处理。从移动设备上运行的应用接收的与对象的一个或更多个呼吸状况相关的信息通过设备的用户界面呈现给医疗保健提供者。在服务器处，从医疗保健提供者接收关于管理一个或更多个呼吸状况的确定。

实现方式可以包括以下特征中的一个或者两个或更多个的组合。从移动设备上运行的应用接收的信息包括对象通过移动设备上的用户界面输入的信息。在服务器处对信息的处理包括将呼吸音应用于分类模型，以确定呼吸音的声音类别。在服务器处对信息的处理包括对对象的一个或更多个呼吸状况进行推断。对象的一个或更多个呼吸状况的推断基于呼吸音并且基于通过移动设备从对象接收的其它信息。通过移动设备向对象呈现医疗保健提供者关于管理一个或更多个呼吸状况的确定。关于管理一个或更多个呼吸状况的确定包括诊断、治疗处方、训练、指导或问题中的一个或更多个。关于管理一个或更多个呼吸状况的确定包括二元确定，并且该二元确定通过移动设备呈现给对象。呈现给对象的二元确定包括确定呼吸状况是危险的还是不危险的，或者对象应该去看医生还是不需要去看医生。

通常，在一方面，从移动设备接收对象对关于该对象的一个或更多个问题的回答。在服务器处，将回答应用于专家系统以推断对象的呼吸状况。专家系统还基于通过对象的听诊捕获的声音记录来推断对象的呼吸状况。

实现方式可以包括以下特征中的一个或者两个或更多个的组合。问题是诊断问卷或定期问卷的一部分。诊断问卷或定期问卷涉及特定呼吸状况。通过对象的听诊捕获的声音记录也是从对象的设备接收的。

通常，在一方面，在一时间段内的连续时间处通过听诊在对象上的一个或更多个声音捕获点处捕获声音记录。基于连续时间处捕获的声音记录，对对象的呼吸状况变化进行推断。通过移动设备呈现关于对象的呼吸状况变化的信息。

实现方式可以包括以下特征中的一个或者两个或更多个的组合。对象的呼吸状况变化的推断包括对连续时间中的每个连续时间处的对象的呼吸状况进行推断，并比较所推断的呼吸状况。连续时间中的每个连续时间处的对象的呼吸状况的推断包括将声音记录中的至少一个声音记录分类成表示一个或更多个声音类别。连续时间中的每个连续时间处的对象的呼吸状况的推断包括将专家系统应用于一个或更多个声音类别。呼吸状况变化的推断至少部分地在移动设备处执行。呼吸状况变化的推断至少部分地在服务器处执行。呼吸状况包括慢性呼吸状况。慢性呼吸状况包括COPD。所推断的对象的呼吸状况变化包括病情恶化。通过设备的用户界面将关于对象的呼吸状况变化的信息呈现给医疗保健提供者。

这些和其它方面、特征、实现方式和优势(a)可以表示成方法、装置、系统、组件、程序产品、商业方法、用于执行功能的装置或步骤并且可以以其它方式表示，并且(b)将从以下说明和权利要求书中变得明显。

附图说明

图1和图2是框图。

图3至图23是智能电话显示屏的屏幕截图。

图24至图28呈现了五类肺音(分别为喘鸣(wheeze)(图24)、干啰音(rhonchi)(图25)、细湿啰音(fine crackles)(图27)、粗湿啰音(coarse crackles)(图26)和正常呼吸(图28))的源数据的频谱图的示例。

图29呈现了信号幅度-时间表示标记的可视化的示例。

图30呈现了向医生显示检验结果的示例。

图31呈现了向患者显示检验结果的示例。

具体实施方式

在此我们描述了称为“呼吸状况技术”的技术。这种呼吸状况技术尤其对于基于呼吸音来感测、分析、表征、报告和管理人类呼吸系统的状况有用。

呼吸状况技术可以具有广泛的应用，包括在医疗护理、体育训练、育儿、家庭保健活动等方面。在医疗护理的背景下，呼吸状况技术可以有助于筛查、监测、诊断、跟踪和管理呼吸状况，诸如老年人中普遍存在的呼吸疾病(例如，COPD)、父母或照顾者所关心的儿童呼吸状况以及其它呼吸状况，诸如慢性支气管炎、哮喘、哮喘-COPD重叠综合征(ACOS)、肺气肿、肺癌、囊性纤维化、肺炎、特发性肺纤维化和胸腔积液等。尽管呼吸状况技术可以用于筛查、监测、诊断、跟踪和治疗呼吸系统疾病，但是其也可以用于一般了解、监测和管理其它呼吸状况(诸如健康的呼吸状况)或区分上呼吸道感染与下呼吸道感染。

我们广泛地使用术语“呼吸系统”和“呼吸”来包括肺、气道和呼吸肌。气道包括鼻子、嘴、咽、喉、气管、支气管和细支气管，并且尤其为肺与外界之间的空气提供通道。

呼吸状况可以包括、反映呼吸疾病和呼吸功能或尤其与呼吸疾病和呼吸功能相关。呼吸功能可以包括吸气、呼气、气体交换以及其它功能，这些其它功能与呼吸系统支持正常人类活动、体育运动以及其它高要求的人类活动、身体健康和人类生活其它方面的能力相关。

由于呼吸功能在生活质量中起着重要作用，所以能够用于准确地感测、分析、表征、筛查、监测、诊断、报告和管理(我们有时广泛地使用术语“管理”来包括所有此类活动及其它活动)呼吸状况。传统地，呼吸状况的管理部分地基于对在称为听诊的过程中由呼吸系统或在呼吸系统附近产生的声音进行感测和分析。用于听诊的常见设备是声学听诊器，声学听诊器在躯干皮肤表面上的听诊声音捕获点接收呼吸音(例如，在10Hz至25,000Hz频率范围内的振动)并将呼吸音声学地传导到听诊器的放置在听诊器用户耳朵中或附近的一部分。用户通常具有知识和经验以解释通过听诊器听到的声音与呼吸状况之间的关系。

电子听诊器使用电子技术来执行传统声学听诊器的至少一些功能。电子听诊器尤其可以提供表示在皮肤表面处获取的呼吸音的呼吸信号。呼吸信号可以经过旨在改善信号的质量并产生表示处理后的呼吸信号或从处理后的呼吸信号得出的呼吸音数据的各种模拟或数字信号处理技术。可以使用各种硬件和软件来存储和分析呼吸音数据，以产生关于呼吸状况的信息。

呼吸音数据可以与呼吸(换气)的不同阶段相关联，例如，两个主要呼吸阶段：吸气和呼气。呼吸音数据也可以与各种呼吸音类别相关联。呼吸音类别又可以与各种呼吸状况相关联。呼吸音类别包括正常吸气和呼气(肺泡的(vesicular)、支气管的、气管的)和异常的类别：喘鸣、干啰音、细湿啰音、粗湿啰音，以及正常呼吸。

呼吸音数据仅包括一种呼吸信息。其它种类的呼吸信息可以是主观的或客观的，并且可以包括关于呼吸系统的文本、图像、视频和数字信息，包括年龄、体重、地理位置、病史、生活方式和各种其它人口统计和简档信息，以及特定人对关于的呼吸系统的问题的回答。

我们在此描述的呼吸状况技术的一个目标是在呼吸音类别当中对呼吸音数据进行自动或半自动地分类，将分类的呼吸音类别与呼吸状况或者呼吸状况的恶化或改善或者两者相关联，然后提供对管理呼吸状况有用的信息。

个体和人群的呼吸信息、呼吸音类别和呼吸状况被个体自身(有时称他们为“对象”)、医生和其它医疗护理提供者、家庭成员、教练和培训者以及机构和政府等(我们有时将这些人和实体称为“利害相关方”)关注。除了从此类利害相关方接收和提供给这些利害相关方之外，由呼吸状况技术生成和使用的呼吸信息还可以通过电子方式从以下设备接收或传送到以下设备或由以下设备使用：移动设备、平板电脑、计算机、数据库或用于分析、汇总、存储和分发等目的的其它电子设备。

如上所述，关于呼吸音数据、呼吸音分类和呼吸状况的呼吸信息在管理呼吸状况的各种情况下都是有用的。在涉及医疗护理的情况下，呼吸信息可以用作正式管理呼吸系统疾病的一个基础(有时与其它信息结合)。在一些情况下，个体和家庭成员可能不那么正式地使用呼吸信息，例如，以了解、跟踪、理解和管理诸如呼吸道病毒的进展或哮喘的影响(举两个例子)之类的状况。有时，例如，可以在患者、家庭成员和医疗护理提供者之间协同地确定和使用呼吸信息。关于呼吸状况的信息可能有用的其它背景包括体育活动、天气影响和其它环境影响等。管理呼吸状况的过程可以包括理解或了解呼吸状况、提供和施用药物和其它疗法、观察对象、报告和警示呼吸状况，以及被设计成维持良好呼吸健康、阻止呼吸健康衰退以及在一些情况下改善呼吸健康等的其它步骤。

在呼吸状况技术中，可以使用各种呼吸音传感器(包括声学听诊器、电子听诊器、麦克风以及其它类型的接触换能器和声学换能器)来感测并提供呼吸信号。

作为呼吸状况技术的功能，从对象获取呼吸信息，并且以多种方式呈现给利害相关方。在很大程度上，呼吸信息的获取和呈现是通过在智能电话、平板电脑、其它移动设备、计算机和其它用户设备上运行的应用的用户界面实现的，这些应用可以视为呼吸状况技术的一部分。呼吸信息通过无线和有线通信网络(包括例如蜂窝电话网络和Wi-Fi)进行传送。通常，呼吸状况技术将包括一个或更多个服务器，呼吸信息通过该服务器传递并进行存储和处理，如后面所述。

在呼吸状况技术的组件中获取、分析、处理和呈现呼吸信息(包括呼吸音数据、呼吸音类别和呼吸状况)的一部分，例如，这些组件可以包括服务器和用户设备。当例如通过移动设备和其它设备的用户界面将呼吸信息呈现给利害相关方时，呼吸信息可以采取任何呈现形式，包括文本、声音、表格、图表、图像、图形、视频及其组合。

呼吸状况技术执行的处理的关键部分是将呼吸音数据分类到呼吸音类别中，并基于呼吸音数据和其它呼吸信息来推断呼吸状况。各种各样的技术都可以用于这些活动，包括人工和卷积神经网络、预测建模和其它机器学习方法、专家系统等。这些技术中的一些依赖于经验证的数据示例的集合，诸如呼吸音数据记录，这些呼吸音数据记录已经由医生或其它专家标记以识别与它们正确相关的呼吸音类别。呼吸状况技术的性能质量可以取决于各种呼吸音类别的可用的正确标记的呼吸音数据记录的数量。

如图2所示，我们在此描述的呼吸状况技术200包括一个或更多个呼吸音传感器202、204和206，每个呼吸音传感器可以与一个或更多个对象208、210、212一起使用。每个呼吸音传感器包括对对象的皮肤表面处或附近(例如，通过衣服)的声音的振动敏感的换能器，并且能够将声音的振动直接或间接地转换成一个或更多个模拟信号。每个系统声音传感器的换能器可以是例如声学听诊器的一部分，或电子听诊器中的麦克风，或其它音频换能器，或其组合。在一些实现方式中，声音传感器不需要与皮肤直接接触；能够检测对象的呼吸音并将其转换成呼吸信号的任何设备都可以用作呼吸音传感器。

每个呼吸音传感器可以以电子方式(无线地或通过电线)或者以机械方式或者以电子和机械方式连接到一个或更多个用户设备203、205、207。在一些情况下，呼吸音传感器可以是用户设备的一部分(诸如，智能电话的一个或更多个麦克风)。在一些示例中，锥形头(cone)或其它声音传导设备可以位于这种用户设备麦克风与对象的皮肤之间，以将呼吸音传导到麦克风。

如图2所示，呼吸状况技术还包括处理器210，该处理器210具有一个或更多个呼吸音处理器212以处理来自声音传感器的呼吸信号。声音处理器212可以执行各种信号处理功能，包括使用例如正向和逆向小波变换来降低噪声、使用例如有限脉冲响应滤波器(FIR滤波器)进行频率滤波、信号归一化、消除恒定幅度偏移(DC偏移)、绘制时间-频率表示(诸如梅尔频谱图计算)和其它技术以及它们的组合。通常，声音处理器212可以按对于随后的处理步骤(包括由机器学习模型216、专家系统218以及数据库管理器220等执行的那些处理步骤)有用的形式执行产生高质量低噪声呼吸音数据214所必需或期望的任何处理。声音处理器的一个示例是后面提到的音频预处理子系统。

呼吸音信号可以被捕获、存储和处理成数字化声音记录224，每个数字化声音记录具有已知的开始时间、已知的结束时间和已知的持续时间，并且与对象上的特定声音捕获点相关联。可以在用户(诸如，医生或家庭成员或对象自己)将呼吸音传感器定位成感测该声音捕获点处的呼吸音的时段内感测和处理每个声音记录。

每个捕获的声音记录包括以特定数字格式表示的呼吸音数据，并且可以包括声音样本，各个声音样本在构成声音记录的声音样本的时间序列内各自具有幅度和位置。

尽管图2将捕获的声音记录示出为通过用户设备并通过网络208发送以在声音处理器212(其可以在远程服务器中)处进行处理，但是声音记录的处理可以在用户设备处或(至少部分地在)在声音传感器处进行，或者该处理可以分布在声音传感器、用户设备和声音处理器中的两者或更多者当中。声音记录的这种处理的结果是已准备好在呼吸状况技术中进一步使用的处理后的声音记录214。处理后的声音记录可以包括声音样本的数字化版本，关于对象身份、声音记录的捕获时间和声音捕获点的元数据，以及要由例如机器学习模型216用于分类目的的梅尔频谱图的彩色图像文件。

除了发送到机器学习模型之外，每个处理后的声音记录还可以作为捕获的声音记录222存储在数据库220的表中。数据库的表还可以包括与捕获的声音记录相关联并且由对象或其它利害相关方通过用户设备的用户界面输入的呼吸信息。例如，对象可以输入对在移动设备上运行的app结合捕获的声音记录而提出的问题的回答。或者，医生可以输入关于捕获的声音记录的发现。

机器学习模型(例如，随后提到的呼吸音自动分类子系统)可以直接从呼吸音处理器接收声音记录或在声音记录已经被存储后从数据库接收声音记录。

机器学习模型216使用关于其它声音记录和相关的呼吸音类别(诸如，各种类别的喘鸣)的已知信息来将每个传入的捕获声音分类成落入一个或更多个呼吸音类别内。机器学习模型可以将各种各样的机器学习技术应用于对传入的呼吸音记录进行分类。在一些情况下，机器学习模型可以基于神经网络，例如人工神经网络或卷积神经网络。在一些情况下，可以使用其它数据比较技术将传入的捕获声音与已知声音及它们的对应类别进行比较，以执行分类。

在一些实现方式中，在“运行时间”之前使用例如已经被医生利用对应呼吸音类别正确地标记的已知声音记录的实例的训练集来训练机器学习模型。这些训练记录可以作为呼吸状况技术的操作的一部分获得，或者可以从第三方获得。在任一情况下，训练记录都可以存储在数据库的训练记录表224中，并可以从数据库提供给机器学习模型用于训练目的。

机器学习模型在图2中示出为处理器210的一部分，但在一些实现方式中，其功能可以在声音传感器中、在用户设备中或在声音传感器、用户设备和服务器处的处理器中的两者或更多者的组合中执行。

机器学习模型可以为每个传入的捕获声音生成针对每个类别的概率；具有最高概率的类别被解释成分类的结果。在一些情况下，声音类别是利用所谓的确定性规定的。在一些情况下，代替规定明确的声音类别，机器学习模型可以规定正确类别的概率，并将这些概率并入到模型输出中。模型输出226可以被传递到数据库管理器进行存储，并且可以直接地或从所存储的版本间接地传递到专家系统218等等。

专家系统218将模型输出与其它呼吸信息228(以及可能的附加信息，一起统称为“专家系统输入”)结合应用于推断引擎。其它呼吸信息可以包括存储在数据库220或专家系统中并且被检索以用于运行推断引擎的知识库230。专家系统可以使用除模型输出和知识库以外的各种各样的其它呼吸信息，包括关于对象的人口统计数据，关于地理位置、天气、时间和其它环境背景的信息，关于对象的群体(populations)的人口统计信息，以及对象或其它利害相关方输入的信息(仅举几例)。专家系统输入可以与特定时刻(例如，当前)和特定对象相关，并且还可以包括关于其它对象(诸如，对象的家庭成员或朋友、或对象的群体，例如，居住在瑞典斯德哥尔摩的人，或居住在特定公寓楼中的人)的信息。

专家系统知识库包括主题专家提供的信息，这些信息捕获了他们关于可以从专家系统输入的组合(简单或复杂)得出的推断的知识。例如，医生可以提供以下信息：如果冬季期间在西伯利亚经历了长持续时间段的喘鸣，并且对象是10岁至15岁之间的人，则可以很好地推断出呼吸状况是普通感冒。

专家系统输出234包括关于一个或更多个对象、或者对象的群组或群体的呼吸状况的一个或更多个推断，该一个或更多个推断是通过使用专家系统输入和专家知识来运行推断引擎而生成的。除了存储在数据库中之外，专家系统输出234还被提供给呼吸状况处理器232，该呼吸状况处理器232可以使用在多个时间并针对多个对象和群体生成的各种专家系统输出以及其它呼吸状况信息来生成(并存储在数据库中)呼吸状况确定236，以用于向对象和其它利害相关方报告。呼吸状况处理器还可以生成及存储页面数据238，该页面数据238与呼吸状况确定相关联并被格式化以用于向应用和浏览器提供页面。

处理器120包括页面服务器220，该页面服务器220通过网络208将包含呼吸信息的页面提供给呈现在用户252、254、256的用户设备240、242、244上的用户界面246、248、250。用户可以是对象或其它利害相关方或他们的组合，并且设备可以与用户设备203、205、207相同或不同。页面服务器所提供的页面中可以包括各种各样的信息，包括存储在数据库中的信息和来自其它来源的信息(诸如，新闻、天气、人口统计、研究、文章、统计数据等的外部来源)。提供的页面中包括的信息当中包括对象和其它利害相关方要回答的问题、关于对象和对象群体的呼吸状况的信息、警示、图表、建议、指南、提醒、文本、数字、图像、视频、培训、历史数据汇总、统计概要等及其组合。

除了呼吸音记录之外，处理器在入站信息处理器260处接收其它入站信息，在该入站信息处理器260处，这些入站信息被组织、重新格式化并发送以存储在数据库的入站信息262中。入站信息可以包括对问题的回答、图像、视频、评论、注释、发现、诊断、更正、说明、指南和其它信息及其组合，包括由机器学习模型、专家系统模型、处理器210或服务器的其它组件以及页面服务器使用的信息。

对象、利害相关方和呼吸状况技术的其它用户可以通过经由他们的设备的用户界面与处理器210的参与者管理器268进行交互来注册为用户，提供简档信息并管理他们的帐户。参与者管理器还可以管理与用户设备进行交互所需的安全性和认证功能。尽管示出为处理器210的一部分，但是参与者管理器的工作可以与用户设备中的处理器共享。简档数据可以存储在数据库的参与者数据表266中。简档数据不限于对象或其它利害相关方明确提供的信息，还可以从公开和私有的第三方来源接收和获取。除了使得能够维护和更新用户帐户外，简档数据还可以由机器学习模型、专家系统、呼吸状况处理器、处理器210或服务器的其它组件以及页面服务器及其组合使用。

图2中的处理器210可以是单个服务器中的单个处理器，或者可以是位于两个或更多个位置处的两个或更多个不同服务器中的两个或更多个处理器。数据库管理器220也是如此。

尽管呼吸状况技术的许多用途涉及个体对象及他们的特定的呼吸状况，但在一些实现方式中，该技术可以用于积累、分析、作用于以及报告关于对象群体和呼吸状况史的汇总信息。例如，呼吸状况技术可以跟踪呼吸状况随时间推移、跨群体以及相对于地理位置的发展，从而开发出在提供警告和警示方面有用的信息，以减少或限制影响群体的不利呼吸状况。

在此，我们结合并补充了本文献第一段中指出的欧亚专利申请中提供的说明，并提供了呼吸状况技术的附加说明。

在一些实现方式中，呼吸状况技术可以包括以下组件，这些组件针对对象的呼吸系统的呼吸状况执行至少以下功能：

1.处理器(例如，信号采样单元)使用用于听诊的工具来记录呼吸音信号。呼吸信号通过脉冲编码调制(PCM)进行数字化，并通过信号采样单元中的记录设备以PCM格式存储，

2.处理器(例如，问卷子系统)向对象呈现定期健康问卷或诊断健康问卷的问题，并接收和分析对问题的回答，

3.处理器(例如，音频预处理子系统)执行噪声抑制、频率滤波以及通过计算梅尔频谱图来绘制频率-时间表示，

4.处理器(例如，呼吸音自动分类子系统)使用包括神经网络或其它机器学习算法的机器学习模型来对呼吸音进行分类。分类模型生成表示将呼吸音正确地分类成正常呼吸、喘鸣、干啰音、细湿啰音和粗湿啰音这五个呼吸音类别中的每个类别以及分类成伪影类别(包括心跳、振膜皮肤摩擦和干扰)的概率的值。

5.在一些实现方式中，处理器(例如，呼吸阶段确定子系统)将呼吸信号划分成吸气和呼气阶段以及记录特定呼吸类别(诸如喘鸣)的呼吸音的时间段，尽管在一些实现方式中，该步骤可能没有必要或无用。

6.专家系统(其输入连接到子系统的输出)基于呼吸音类别、诊断问卷和定期问卷的答案以及吸气和呼气阶段的持续时间来确定呼吸状况，

7.通过设备的用户界面(例如，信息输出和显示单元)来呈现关于专家系统操作的确定的信息。

尤其是，我们在此描述的呼吸状况技术与医学相关，特别是与肺病学相关，并且与先前描述的其它背景相关。尤其是，呼吸状况技术被设计成(a)获取和处理呼吸信号、呼吸信号的数字版本、呼吸音数据和其它呼吸状况信息，(b)确定呼吸紊乱、监测肺部状况，(c)得出呼吸状况信息，以及(d)将呼吸状况信息提供给利害相关方，以在各种背景下使用。呼吸状况技术和呼吸状况信息既可以由患者(或其它对象)在家中使用，也可以由医师在医疗机构中的工作场所或经由远程医疗使用，或者可以由任何其它利害相关方以及在前面建议的任何其它背景中使用。

如前所述，基于监听和主观评估发生在肺部的声音现象(肺部听诊)来筛查监测和诊断人类肺部变化的声学方法是众所周知的，并且在临床实践中得到了广泛使用。

例如，肺部听诊是通过将监听设备放在胸前来进行的。

已知呼吸音听诊的方法[2009.05.10公开的俄罗斯专利No.2354285]和人类肺部的局灶性变化的声学诊断(支气管音(bronchophony))的方法[1992.11.23公开的USSR专利No.1777560]。

用于诊断呼吸器官疾病的已知方法及其实现系统[2007.08.27公开的俄罗斯专利No.2304928(原型)]包括以下串联连接的组件：用于使用听诊工具记录呼吸音音频信号的信号采样单元、音频信号预处理子系统、呼吸音自动分类子系统、基于呼吸活动检测算法的呼吸阶段确定子系统、数据处理单元以及信息输出和显示单元。传导到胸部表面的呼吸音的估计属性是位于谐波相关频率处并且具有第一最大值水平的至少60dB水平的第一(A1，f1)、第二(A2，f2)和第三(A3，f3)频谱最大值的幅度和频率。接下来，计算以下值：比率A12/f21等于(A1-A2)与(f2-f1)的比率，比率A23/f32等于(A2-A3)与(f3-f2)的比率，以及对象右侧(D)与左侧(S)的对称测量点之间的A1和A2值的差ΔA12。然后将获得的值与特定疾病类别的对应阈值进行比较。

这种方法允许通过识别新的、更具信息性的、客观且自动评估的传导到胸部表面的具有高辨别能力的呼吸音的属性来诊断人类肺部中的病理性局灶性疾病。

该方法的主要缺点是任何音频信号采样都对噪声或无关动作敏感；例如，如果患者不小心敲打振膜或者在患者附近有音乐播放或人们大声讲话，则将会生成错误信号，这将使得无法从其提取呼吸噪声。

该方法的其它缺点是由于缺乏简单的个人呼吸健康监测工具，需要住院和进行身体检查，如果该人已经很长时间没有去医院或去了其它医院，则没有长期病历，并且无法远程查看患者的状况以听到他们的记录并警告他们有危险或要求他们去看医生。

我们在此描述的新呼吸状况技术尤其旨在基于以下内容来创建一种用于筛查、监测和诊断呼吸器官疾病的简单、负担得起且可靠的个人方法和系统：确保呼吸健康监测，编制和维护长期病历，向医生提供远程查看患者的状况的机会，使得患者能够听到听诊记录，以及警告患者危险或要求他们进行就诊。

这些目标已经通过我们在此描述的呼吸状况技术得以实现。在一些实现方式中，此呼吸状况技术提供了呼吸器官疾病的诊断，这包括以下步骤：

1.使用信号采样单元来记录由听诊工具感测到的呼吸音音频信号，记录通过脉冲编码调制(PCM)数字化的音频信号并将其以PCM格式存储到信号采样单元中的记录设备中，

2.使用问卷子系统，形成对定期健康问卷或诊断健康问卷的问题的回答并对其进行评级，

3.使用音频预处理子系统，通过计算梅尔频谱和梅尔频率倒谱系数来执行噪声抑制、频率滤波和频率-时间表示可视化，

4.使用呼吸音自动分类子系统，使用神经网络机器学习算法对呼吸音进行分类评估，从而可以将呼吸音分配给以下五个类别之一：正常呼吸、喘鸣、干啰音、粗湿啰音和细湿啰音，并且例如还分配给包括心跳、振膜皮肤摩擦和干扰在内的各种伪影的类别，

5.在一些实现方式中，使用呼吸阶段确定子系统，将源信号分成吸气阶段和呼气阶段，以及分成记录诸如喘鸣的特征性呼吸音的时间段，

6.使用专家系统，在考虑对呼吸音的分类评估以及对诊断问卷问题和定期问卷问题的回答的情况下，生成对患者的呼吸健康状态的最终评估。

专家系统的操作结果经由信息输出和显示单元呈现。

在一些实现方式中，用于筛查、监测和诊断呼吸器官疾病的系统(包括依次连接的用于利用听诊工具记录呼吸音音频信号的信号采样单元、音频信号预处理子系统、呼吸音自动分类子系统、基于语音活动检测算法的呼吸阶段确定子系统、数据处理单元以及信息输出和显示单元)成功实现了这一目标，这是因为附加地(a)该系统配备有问卷子系统，(b)数据处理单元被设计成专家系统，该专家系统的输入连接到所有子系统的输出，(c)一些实现方式可能包括(可选地)，呼吸阶段确定子系统被设计成将原始音频信号分成吸气阶段和呼气阶段并标记检测到喘鸣的时间区间，(d)呼吸音自动分类子系统基于机器学习算法进行工作，并可以获得将呼吸音正确分配给正常呼吸、喘鸣、干啰音、细湿啰音和粗湿啰音这五个类别之一以及分配给伪影类别(包括心跳、振膜皮肤摩擦和干扰)的概率集合形式的结果，以及(e)通过用户设备运行的应用显露出为患者提供重大价值的交互式特征和建议。

机器学习是一项众所周知的技术，例如，可以使用如在[2016年12月12日公布的美国专利No.7,149,347]中描述的或——在此说明书的技术领域中——如在[A.Kandaswamyaet al.,Neural classification of lung sounds using waveletcoefficients.Computers in Biology and Medicine,34(2004)523–537]中描述的机器学习。

在此处描述的呼吸状况技术中，机器学习使用例如先前由医师从明显患病的人和健康人收集的呼吸音的一组音频信号。在一些实现方式中，每个音频信号可以是5秒长，以脉冲编码调制(PCM)16位格式表示，并使用Android智能电话以44,100Hz的采样频率收集。在一些实现方式中，采样频率不需要那么高，并且可以是40Hz至8kHz范围内的采样频率。每个音频信号表示肺音。最初收集的肺音由医生委员会验证，其目标是通过将每种声音分配给五种呼吸音类别(正常呼吸、喘鸣、干啰音、细湿啰音、粗湿啰音)之一来给出对每个声音的定性评估(例如，标记)，例如从而形成声音记录的标记的呼吸(例如肺)音数据集。

在一个示例中，数据集是由白俄罗斯医院的医师收集的，白俄罗斯医院是一个名为白俄罗斯医学研究生教育学院(BelMAPO)的科学小组的成员。数据集的所有记录都是使用Android智能电话上的Android app捕获的。该app的唯一功能是记录肺音。通过附接麦克风并将麦克风通过电线连接至智能电话来对基础医师声学听诊器进行修改。在记录完肺音后，医师会聆听数据集的每个记录。由三位医师组成的小组就数据集的每个已记录声音(声音记录)所表示的肺音的类别达成了共识。数据集的大小包括要由训练集覆盖的五个不同类别中的每个类别的121条记录以及测试集中五个不同类别中的每个类别的60条记录，数据集中共有905条记录。在一些实现方式中，数据集将具有更多(例如，多得多)数量的记录。例如，数据集可能包括6000条训练记录和3000条测试记录。

然后，在一些实现方式中，为每个信号构建对数梅尔频谱图，将结果保存成.PNG格式的彩色(RGB)图像；正是这些图像(梅尔频谱图是针对集合中的信号，即，集合中的各个声音记录)充当了机器学习的初始训练数据集(学习样本)。在一些实现方式中，训练数据集中的标记的信号的数量相对较小(例如，每个声音类别少于1000个标记的信号)。在这种情况下，由于学习样本的大小有限，无法在深度模型学习中使用标准方法，因此决定使用学习迁移方法。学习迁移方法的此类实现方式基于作为特征提取器(从学习样本中提取特征以用于将信号分配给类别)的卷积神经网络(CNN)。在一些实现方式中，该技术还可以基于以一个全连接层结束的递归神经网络(RNN)，以获得呈分配给上述类别中的一者的概率形式的分类结果。即，神经网络输出是将输入样本分配给类别之一的概率的列表。处理序列中的后续组件可以简单地使用具有最高概率的类别。

在一些实现方式中，Xception模型[Xception：Deep Learning with DepthwiseSeparable Convolutions,Francois Chollet,Google,Inc.,http:// openaccess.thecvf.com/content_cvpr_2017/papers/Chollet_Xception_Deep_ Learning_CVPR_2017_paper.pdf]被用作特征提取器(上面称为CNN)，而RNN是基于长短期记忆模型(LSTM)实现的。这些模型使用学习样本来顺序地学习：首先是CNN，并且只有已经训练CNN后，才进行RNN。两种模型都使用误差反向传播方法来学习。交叉熵被用作损失函数，Adam(自适应矩估计)被用作RNN的优化算法，而CNN使用RMSprop[https://towardsdatascience.com/understanding-rmsprop-faster-neural-network-learning-62e116fcf29a]作为其优化算法。因此，声音识别的问题(即，对未知声音记录进行分类的问题)成为图像(频谱图)识别的问题，这是使用最初在ImageNet[http://image-net.org/index]数据集上(使用在ImageNet上找到的较小频谱图数据集)训练并使用可用学习样本数据进行附加训练的模型解决的；这就是学习迁移方法的实现方式。在学习完成后，对训练后的模型进行测试以确定其准确性。为了进行测试，将500条记录(例如，存储的声音信号，例如，存储的声音记录)遍历所得的训练后模型，并将所得的类别与从医生接收到的标准标记进行比较。

一旦对训练后的模型进行了测试并确认是准确的，服务器的训练后模型(神经网络)就会永久加载到随机存取存储器中，并且从外部进入服务器以进行分类的所有当前请求都由训练后的模型进行处理，该训练后的模型输出上述结果。在一些实现方式中，呼吸状况技术的专家系统部分不需要人工干预；之所以称为专家系统，是因为它使用了与专家所使用的相同的决策方法——大致来说，是因为它是由专家构建以执行与在没有专家系统的情况下专家人类将执行的相同动作。

本发明以非限制性附图在欧亚专利申请中呈现：

如图1所示，在一些实现方式中，呼吸状况技术包括依次连接的信号采样单元101(用于使用听诊工具102并且在一些情况下使用智能电话110来记录呼吸音音频信号)、音频信号预处理子系统103、呼吸音自动分类子系统104、基于语音活动检测算法的呼吸阶段确定子系统105(不是必需的)以及包括诊断问卷子系统106和定期问卷子系统107的问卷子系统。数据处理单元被设计成专家系统108，其输入连接到所有子系统的输出。还存在信息输出和显示单元109(其可以包括智能电话110)，其输入连接到专家系统108的输出。如所示的，一些组件是服务器112的一部分。

在一些实现方式中，所有处理都在服务器上进行，显示单元位于医生的PC上和患者的智能电话上，并且数据获取在智能电话上进行。在一些情况下，一些或全部处理可能发生在患者的智能电话上。在一些情况下，处理发生在服务器和患者的智能电话的组合上。在一些实现方式中，一些处理可以在电子听诊器或类似设备上进行。

在一些实现方式中，听诊工具102可以被设计成具有蓝牙模块的电子听诊器的形式，其包括模数转换器、用于将数据发送到数据处理单元的蓝牙发射器、向蓝牙模块供电的电池和麦克风放大器；在一些实现方式中，听诊工具可以被设计成智能电话的听诊器附件的形式。包括可商购的组件的听诊工具的多种实现方式是可能的。在一些情况下，使用智能电话麦克风直接记录肺音。

在一些实现方式中，音频信号预处理子系统103使用来自信号数字处理领域的算法，即，使用正向和逆向小波变换来降低噪声，使用有限脉冲响应滤波器(具有例如8kHz的截止频率的FIR滤波器)进行频率滤波，通过消除恒定幅度偏移(DC偏移)进行信号归一化(例如，峰值归一化)，以及时间-频率表示，尤其是梅尔频谱图计算，这对于准备用于机器学习算法的输入数据而言是期望的。在涉及较大数据集的情况下，可以减少噪声抑制滤波步骤，并对处理步骤的序列进行其它更改。

在一些实现方式中，呼吸阶段确定子系统105将原始当前音频信号分成吸气阶段和呼气阶段以及检测到喘鸣的时段。该划分定义了一组时间区间，每个时间区间由检测到的吸气、呼气或喘鸣的开始时间和结束时间定义。呼吸阶段确定子系统基于所有呼吸音活动检测算法。针对每个音频信号单独地进行该算法的输入信息的选择(诸如所分析的声音活动中的上频率、下频率)。在一些实现方式中，不需要将音频信号分成吸气阶段和呼气阶段以及检测到喘鸣的时段。

在一些情况下，所得的具有呼吸阶段和喘鸣的肺音的时间区间集合可以用于在视觉上标记信号的幅度-时间表示，从而为观察者标识阶段和喘鸣(这显示在医生的可视化单元中，例如，看起来近似如图30所示)，并计算每个阶段的幅度和持续时间。在–20dB至–40dB之间的区间中的最大值被用作幅度。每个时间区间的持续时间通常在400毫秒至5,000毫秒之间(整个信号有时可以只包括吸气或呼气)。在一些实现方式中，幅度和持续时间可以随后在专家系统108中使用。

在一些实现方式中，可以将信息提供给除了医生和患者以外的参与者，并且分别呈现给医生和患者的信息的划分可以是不同的。在一些情况下，呼吸状况技术提供了供外部远程医疗系统使用的API，该API可以以多种方式使用肺音类别的分类和基础声音记录。远程医疗系统还可以使用基础声音记录执行它们自己的分类。

在一些实现方式中，呼吸音自动分类子系统104基于深度机器学习算法并且如上所述进行组织。如上所述，将训练后的模型(神经网络)加载到随机存取存储器中，并且通过训练后的模型处理从外部传入到服务器的所有分类请求，训练后的模型输出分类结果，该分类结果呈将呼吸音分别正确分配给正常呼吸、喘鸣、干啰音、细湿啰音和粗湿啰音这五个类别的概率以及伪影类别(包括心跳、振膜皮肤摩擦和干扰)的概率的集合的形式。尽管呼吸音的这五个类别是常用的并且得到了公认，但是在一些实现方式中，可以将其它呼吸音类别分类用于各种目的。这样的其它呼吸音类别可能包括儿童进行的某种呼吸或支气管呼吸以及前面提到的其它声音类别。需要创建数据集的附加训练记录以支持此类其它类别。在一些实现方式中，呼吸状况技术的目标是例如对表明COPD和慢性哮喘或病情恶化或恢复到基线的疾病进展的呼吸音进行分类。对于那些呼吸状况，喘鸣和湿啰音以及正常呼吸是要分类的呼吸音的重要方面。该分类结果随后由专家系统使用。

在一些实现方式中，可以将模型部署在智能电话上而不是服务器上，或者可以在智能电话和服务器的组合中执行模型的多个方面。

在一些实现方式中，诊断问卷子系统106包括向患者提出的问题的列表；结果(即答案)在专家系统中使用。所准许的答案的性质确定了问题的几个类别：单选答案、多个选项当中的一个选择以及数值答案。每个答案都分配有自身的权重，这会影响专家系统做出的最终决策。诊断问卷被呈现给患者，以确定他们当前的呼吸健康状况，以便获得表明最可能的问题的信息。

在一些实现方式中，定期问卷子系统107使用与诊断问卷本质上相似(但是在不同语境中)的定期问卷，不同之处在于定期问卷是定期提供的，用于连续监测呼吸健康并且包含旨在获取在特定患者的情况下不断变化的信息的问题，因为随着时间的推移，患者早期识别的不同疾病的信息集可能显著不同。定期问卷与诊断问卷之间在语境方面的一个差异是，定期问卷提供了在了解已知疾病的动态方面有用的患者信息，而诊断问卷提供了关于出了什么问题的信息，该信息可以指示可能的筛查、监测和诊断。

经过测试和验证的定期问卷和诊断问卷的示例可以在万维网上(例如，https://ccq.nl/？page_id＝342.、https://catestonline.org、https://mdcalc.com以及https:// asthmacontroltest.com)获得(供公众使用或在许可下使用)，并且在此通过引用并入。可以相对于特定呼吸状况(诸如，哮喘患者、慢性阻塞性肺疾病(COPD)患者、肺炎和支气管炎)针对用户专门配置定期问卷和诊断问卷。

在临床方面，COPD患者更有可能在病情恶化的几率很高的冬季时段期间连续使用技术。他们总是会出现一些症状，并且总是出现异常的肺音。具有纵向数据(随时间积累的数据)对于及早检测到COPD恶化至关重要。对于哮喘，通常是相反的。那些哮喘不严重的患者更有可能使用技术作为峰流速之后的第二验证点。他们通常不会在受控状况下出现喘鸣，因此喘鸣的出现非常有指示性。严重的哮喘情况应像COPD一样进行监测。

在一些实现方式中，使用问卷格式来获取信息，因为其类似于医生在正常检查中会问患者的问题。在这个意义上讲，问卷模仿医生的行为。问卷格式的使用还使得能够基于不同的可能呼吸状况、基于医生提供的专家建议以及根据不同患者的简档数据的差异来使(不同问卷上的)问题和答案差异化。例如，向哮喘患者询问与她的哮喘状况相关的问题，而可以向COPD患者询问与她的COPD状况相关的问题。由于系统做出的分类是供医生使用的，并且医生对不同呼吸状况的患者有标准的有效问题，所以问卷格式合理且有效。

另外，无论信息收集的格式是以问卷格式还是以其它方式表达，除记录的声音外，积累呼吸状况信息也很重要和有用，以便获得临床上有意义的结果和呼吸状况的其它有效管理。在一些实现方式中，可以通过使用诸如患者的言语或身体活动(仅举两个例子)之类的其它种类的信息来缩小范围或完全取消问卷。

在一些实现方式中，呼吸状况技术的目标是基于肺音的类别(声音类别)或问卷结果和简档数据或两者来了解关于患者的两件事：用户是否为其它方面健康的患者；以及对于患有慢性疾病的患者，其健康状况是否有所改善或恶化。问卷提供了在筛查、监测以及诊断疾病和慢性疾病中有用的信息。

在一些实现方式中，专家系统108的输入从上述子系统接收信息，该信息包括：呼吸音自动分类的结果，在某些情况下标识呼吸阶段和喘鸣的时间区间的集合，以及诊断问卷、定期问卷或这两种问卷的答案。除其它目标外，专家系统108的目的是汇总来自所有子系统的信息，以便就患者呼吸健康中最可能出现的问题及其随时间的可能变化(更好或更坏)做出最终决策。所有数据的处理都是专家性质的：对于每种呼吸疾病，都存在用于将当前数据集和其它输入信息分配给特定疾病的单独的决策分支；决策分支考虑问卷的答案和呼吸音自动分类结果的所有可能组合。

尽管在某些实现方式中，系统旨在基于两种信息来源(基于声音记录的呼吸状况的类别和对问卷上的问题的回答)来提供建议和统计数据，但这些建议可以仅基于其中一种来源(在没有另一来源的情况下)，并且在某些实现中也可以基于其它来源。

在一些实现方式中，信息输出和显示单元109可以被组织成两个部分，一部分用于主治医生(图30)并且一部分用于患者(图31)。

在一些实现方式中，当使用呼吸状况技术时，例如，患者使用听诊工具102定期(例如，每天一次，或者在病情恶化的情况下，每天两次，尽管在一些实现方式中，可能以低于一天一次或高于一天两次的频率进行)记录音频信号并获得关于他们的健康状态的可视化统计数据，这在例如在Android平台上开发的移动应用中并基于专家系统108的操作的结果来实现。

使用移动应用来从电子听诊器收集呼吸音音频信号，以使用户能够输入对诊断问卷和定期问卷的回答，并维护统计数据。在一些实现方式中，可以自动地从其它医疗设备接收峰流速和/或肺活量测定数据。在一些实现方式中，也可以基于活动跟踪来接收信息。在许多基本实现方式中，步骤是：收集肺音数据和问卷结果，对肺音进行分类，对答案和分类结果进行处理，以及向患者或其它利害相关方提供详细的统计数据和及时建议以管理呼吸状况。

这些功能是涉及显示单元的部分(图31中示出了这种显示单元的用户界面的示例)。在图31所示的示例中，所显示的患者统计数据例示了在该示例中由根据以下描述的字母A至D指定的几个区域：A)症状动态图和最大呼气流速(峰流速)图，B)呼吸音的自动分析结果，包括自动总结，C)基于测量历史及其结果的个性化统计数据，以及D)自动建议。在一些实现方式中，通过显示单元的用户界面，患者接收到他们在网站上的“卡片”的链接，以便能够将其发送给另一医生(如果需要)，并且在急需联系他们的情况下接收来自医生的通知。

通常，患者可以通过移动app的用户界面访问患者的统计数据。通常，医生可以通过网页访问更全面的信息集。在一些实现方式中，医生可以使用只读网页来共享关于患者的信息。

在一些实现方式中，医生可以通过经由PC或移动设备上的浏览器显示的远程网站的网页来访问服务器上维护的患者的呼吸健康统计数据(以及关于呼吸状况的可能的其它信息)，如果需要，包括组织医生与患者之间的通信会话的能力。医生接收的数据示例如图30所示。数据也分成多个区域，在本示例中，多个区域由根据以下描述的字母E至K指定：E)基于听诊、诊断问卷的结果和先前的呼吸状况历史的关于用户可能的疾病或其它呼吸状况的神经网络假设，F)指示检测到喘鸣的声音捕获点的用户最近听诊的结果，G)用户对问卷(针对选定的一天)的回答，H)用户的状况图表(基于听诊)，J)通过针对选定的一天的问卷(每天、每周或诊断的)识别出的危险症状，以及K)通过针对选定的一天的问卷(每天、每周或诊断的)识别出的症状。

在呼吸系统技术中，所记录的呼吸音音频信号是经过处理的呼吸音，随后对信号的时频特性进行分析，从而允许对呼吸音进行分类并筛查、监测和诊断患者的健康状态。

在一些实现方式中，所记录的呼吸音音频信号的处理如下执行：电子听诊器的振膜紧紧地贴在病人身上。声音捕获点与医生在检查期间进行的典型听诊期间的声音捕获点一致。声音捕获点位于患者的胸部、背部和侧面，以覆盖所有肺部区域。记录的状况包括在音频信号中存在至少一个呼吸阶段(患者的吸气或呼气)，因为是在这些时间检测到呼吸音。患者的智能电话上的用户界面中会显示具有声音捕获点的图表和一系列声音捕获点。图4、图5和图6示出了患者胸部的前面、侧面和后面的听诊声音捕获点，并且这些听诊声音捕获点在用户界面的显示器中标识。声音捕获点编号从1至15的顺序对应于听诊声音捕获点的优选应用顺序。在一些实现方式中，可以基于实验来识别和使用其它听诊声音捕获点。在一些情况下，例如，当由健康的人使用时，听诊声音捕获点的数量可以减少。在一些情况下，当涉及慢性疾病时，可以识别更具体的或其它听诊声音捕获点，并将其用于改善分类过程的质量。

在一些实现方式中，每个身体应用声音捕获点处的呼吸音记录根据相同的场景发生：电子听诊器102使用蓝牙技术连接至患者的智能电话，并且以8kHz采样频率(基于电子听诊器中使用的麦克风的能力)按脉冲编码调制格式记录5秒长的音频信号，并将其保存到患者智能电话的存储设备中。如果识别出病理性呼吸音，则可能会要求患者在检测到病理性呼吸音的点附近的2至3个点处进行听诊和记录；这有助于确认新发现的声音。在一些实现方式中，对于每个5秒长的音频信号记录，执行以下动作：将收集的音频信号上传到服务器，在该服务器中，分类系统判定音频信号是否表示病理(或更一般地，确定对应于与音频信号相关联的声音类别的呼吸状况)。服务器将答案(例如，所确定的呼吸状况)返回给移动设备，该移动设备检查是否值得让患者记录额外的声音捕获点；因此，在这样的实现方式中，声音分析是使用分类系统在服务器上进行的。

除了上面讨论的用户界面显示的示例外，图3至图23还例示了可以如何布置在对象的智能电话上运行的应用的用户界面的一些实现方式。

如图3所示，一旦对象已经向呼吸状况技术注册并在对象的智能电话上安装了对应应用，对象就可以开始听诊过程。该应用指示对象与听诊器302连接，并提供按钮304以使得对象能够进行连接。然后，智能电话通过蓝牙连接将自身与无线听诊器配对。在306处例示了配对的状态。

接下来，在三个连续的屏幕400(图4、图5和图6)上向对象示出身体的不同面(正面、背面和侧面)。各面由标识声音捕获点1至15的数字标记402标记。智能电话应用依次突出显示403各个声音捕获点，以向用户指示应在连续的声音捕获点捕获声音记录的顺序。在每种情况下，一旦对象已经将听诊器放在所标记的声音捕获点处，对象就可以点击“进行记录”按钮406。对象将听诊器保持在该声音捕获点处至少四秒钟。在要素404和进度指示部502(图5)处，将从点到点捕获声音记录的进度报告给对象。

一旦分类模型已经捕获并处理了特定声音捕获点的声音记录，智能电话上的应用就可以以图形方式显示声音记录，如图7的中间所示。声音记录的图形表示由竖直条形成，每个竖直条具有给定样本的声音记录的幅度。时刻由用点表示的时间指示符标识，这些时间指示符位于声音记录的图形表示上方从左到右的范围内。

应用分类模型以基于声音记录识别声音类别的结果由应用于图形表示的各个样本条的颜色或阴影指示。在所示的示例中，分类模型识别出四个声音类别：正常呼吸(normal breathing)、喘鸣(wheezing)、湿啰音(crackles)和伪影(artifacts)。在此之前，在声音记录的图形表示下方的四个按钮中通过声音类别的首字母标识了声音类别。通过点击四个按钮中的任何一个，可以为对象示出图形表示的样本条(分类模型在该样本条处识别出该声音类型)。例如，在图7中，在明亮颜色条702中识别出正常呼吸。在图8中，在明亮颜色条802中识别出粗湿啰音和细湿啰音。在图9中，右侧的明亮颜色条中示出了喘鸣和干啰音，并且向对象提供了四种声音类别的描述。图10更清楚地示出了喘鸣和干啰音条1004。每个图形表示显示部包括标题1002，标题1002标识与图形表示相关联的声音捕获点。

如图11所示，一旦对象已经完成了所有指示的声音捕获点的声音记录捕获，就可以按内容摘要(summary prose)格式1102呈现分类过程的结果以及将专家系统应用于分类过程结果的结果。提供了两个按钮。一个按钮1106使得对象能够获得完整结果报告。另一个按钮1104使得用户能够继续进行可以有助于专家系统的操作的问卷。

图12至图16例示了由智能电话上的应用作为问卷的一部分呈现的屏幕的特征。诊断问卷可以包括图12至图16所示种类的问题。

如图12所示，诊断问题可能会询问关于症状变化的信息。如图13所示，例如，应用可以要求1302对象使用圆形指示器1304来指示其当前体温。问卷中较早的诊断问题(如图14所示)可能会询问关于症状的非常笼统的问题。图15例示了用短语表达1504以列出特定已知的慢性呼吸状况的诊断问题1502，要求对象通过对勾1506对它们进行标识。当智能电话上运行的应用意识到需要询问澄清问题1602时，它可以提出该问题。如图所示，作为问卷的一部分的问题针对数字信息进行了注释，并要求对象确定要插入的适当数字作为回答。

如图17所示，在智能电话上运行的应用可以呈现日志，该日志示出一系列月份中给定月份1704的听诊会话的历史1706。该月份中每一天的竖直条例示了检测到的肺音。不同的颜色可以用于指示不同的声音类别。例如，绿色条可以表示“正常”，黄色可以表示“喘鸣/干啰音”，并且红色可以表示“细/粗湿啰音”。条越高，声音分布得越广泛(根据检测到声音的记录点的数量)。除了查看日志外，对象还可以点击按钮1710以输入关于新状况的信息并使得该信息被评估。图18和图19例示了对象可用以了解关于给定月份的状况的更多细节的“详细内容”1902屏幕。在图18中，用户具有四个控件1802，利用它们可以显示关于特定呼吸状况(在本例中为哮喘)的附加信息。可以调用题为“分析结果”的第四个按钮，以示出将呼吸状况技术应用于对象提供的声音记录的结果。肺1804的示意图被标注以示出在何处识别出特定声音类别。还包括内容描述1805。通过点击按钮1806，对象可以在更详细的报告中获得附加信息。图19例示了打开题为“哮喘控制”1904、“哮喘急救药”1906和“哮喘治疗”1908的链接的结果。竖直线1910标识此刻正在考虑的特定日期。屏幕显示的每个部分中的竖直条例示了成功完成的与管理哮喘相关联的活动。图20是治疗2002显示，其提供关于对象正在使用的特定治疗的信息2004。

智能电话上运行的应用还可以提供与呼吸状况相关的教育信息。例如，如图21所示，屏幕可以报告空气质量并向对象提供建议。在图22中，显示了来自百科全书2202的支气管炎的更长的内容解释2204。

图23示出了标识对象2302并提供关于与呼吸状况相关的因素的信息2304的屏幕。

在一些实现方式中，用于智能电话的听诊器附件被用于检测呼吸音并生成音频信号。如果使用听诊器附件，则不会建立蓝牙连接，并且智能电话的内置麦克风负责检测呼吸音并生成音频信号；听诊器附件通过锥形头将声音引导到智能电话麦克风中。除了记录信号，患者还可以完成定期问卷或诊断问卷或两者，该问卷可以在移动应用的用户界面中获得。问卷被设计成帮助监测或确定呼吸的健康状况，因为相似的呼吸音可能是不同疾病或其它呼吸状况的特性，因此可能有必要询问附加问题以便更准确地确定实际呼吸状况。

在一些示例中，问卷包含关于总体健康、是否存在病理性症状以及定量特性(诸如温度或ESR(红细胞沉降率))的问题。然后，对定期健康问卷或诊断健康问卷的问题的回答以及所记录的呼吸音音频信号的文件被发送到远程服务器进行处理，以便获得对呼吸音类别的分类评估，确定对应的呼吸状况，提供建议，以及保存收集的数据以维护对象的病历。

在一些实现方式中，音频信号的处理包括多个阶段：

1.音频信号预处理的阶段，即噪声抑制和频率-时间表示绘制，尤其是梅尔频谱和梅尔频率倒谱系数的计算及其在图像文件中的表示，这对于准备用于机器学习算法的输入音频信号以及扩充预处理数据是有用的。

2.尽管并不总是必需的并且因此是可选的，但是确定呼吸阶段的步骤(欧亚专利申请的附图示出了该算法的示例)包括根据在这些阶段检测到的呼吸阶段(吸气和呼气)和喘鸣(如果发生喘鸣)来标记幅度-时间特性。这是例如按以下方式进行的：

a.按脉冲编码调制形式(幅度-时间表示)获得原始音频信号。假设波形上的凹陷对应于吸气与呼气之间的停顿。

b.将原始音频信号压缩几个数量级(从212,000点压缩到大约2,500点)。

c.对得到的压缩后的音频信号进行逼近，其中，平滑并去除了小的凹陷。

d.然后标记所有低于阈值的凹陷(例如0.02分位数，即，图上仅2％的点)。

e.去除短的片段和阶段，包括所有小于片段和阶段的平均宽度的30％的。

f.基于吸气之后是呼气的假设，剩余区间被认为是呼吸阶段。

逼近算法是众所周知的；步骤a至步骤f的结果在图29中用标记例示，该标记可以突出显示时间轴上检测到吸气、呼气和喘鸣的区域。还示出了所记录声音的幅度-频率特性。

3.使用神经网络机器学习算法对呼吸音进行分类评估(确定声音类别)的阶段，这会得到将呼吸音正确分配给例如喘鸣类别或健康呼吸类别(无喘鸣)之一的概率。

4.专家系统使用分类结果并接收对定期问卷的回答的操作阶段。专家系统被设计成在考虑呼吸音的自动分类和问卷答案以及其它可能的因素的情况下，对患者的健康状况或其它呼吸状况给出最终评估。

下面给出呼吸系统技术的实现方式的非限制性示例。

示例：

临床诊断为COPD的患者回答诊断问卷：

我们从患者的答案中了解到关于患者的以下内容：

-疾病始于咳嗽

-温度没有升高

-咳嗽是湿咳、持续的并且持续了数年

-痰多

-呼吸困难有时会发生

-没有虚弱

-没有胸痛

-没有发冷或出汗

-有胃病

-最近几天没有进行血液检查

-已经吸烟很久了

-对花粉和灰尘过敏

接下来，患者经历听诊。

专家系统的输入接收来自问卷的答案、来自听诊的信号数据以及来自患者的简档的信息，并且专家系统可以考虑疾病的季节性。例如，过敏性哮喘的恶化是春夏时期的特性，而肺炎和COPD的恶化是湿季的特性。患者在移动应用中的他们的简档中指出他们的慢性疾病，使得系统可以考虑预期问题；例如，如果是在湿季，并且患者在他们的简档中有COPD，并且检测到湿啰音，则这将表示需要紧急就医。专家系统针对每种疾病或其它呼吸状况(单独患有每种疾病的概率)进行分析。基于问卷的回答和听诊(例如，在肺部的一些部位发现干啰音)，专家系统确定COPD的可能性很高。

之后，音频信号的分析结果和对定期问卷的回答可以被患者和主治医生二者获得。患者在移动应用的用户界面中接收到关于其当前健康状态或其它呼吸状况的建议(该建议在服务器上自动生成，并从服务器发送到患者的移动应用)，并且还可以监测他们的呼吸状况的改善或恶化的动态。

随着时间的推移，统计数据需要得到补充，并且为此目的，患者可以完成新问卷(例如，针对COPD)并进行听诊或接受听诊，并且将接收更新的统计数据。医生也接收有关患者呼吸状况的详细信息，并且如果对呼吸音自动分类的结果或视觉标记或两者的正确性存有疑问，则医生另外能够听到呼吸音音频信号。在患者从移动应用向服务器发送数据之后，数据保存在服务器的数据库中，在该服务器中，该数据可以由授权医生从网站获得并且可以由患者获得，该患者可以在移动应用中听到该数据并查看呼吸音自动分类的结果。一旦第一次完成上述过程后，医生和患者就可以相互主动联系。

除其它益处外，在此描述的呼吸系统技术的实际意义在于，提供一种负担得起且便宜的自动检测、筛查、监测和诊断呼吸疾病和其它呼吸状况的方法。一方面，所得的信息可以由患者在家中使用，这是旨在由于早期检查到肺部健康受损而改善具有呼吸疾病和呼吸状况(尤其是慢性疾病)的人的生活质量。另一方面，在此描述的呼吸状况技术旨在由于可获得的呼吸状况历史而减少患者在医疗机构的入院持续时间以及患者护理的费用，防止不合理就诊的情况，或者相反，在疾病恶化之前增加及时的治疗性干预的次数。

呼吸系统技术为家用提供了硬件和软件解决方案，并实现了用于自动确定呼吸音类别的算法的高准确度(大约80％)，这与医学检查相结合使得几乎可以消除呼吸疾病或其它呼吸状况的诊断或其它管理中的人为错误。

用于自动确定呼吸音类别的算法使机器学习中的已知方法适应对呼吸音进行分类的任务；适应性是通过呼吸音音频信号数据库的有限大小(就标记的信号而言)及其特异性来证明的，并且涉及在学习过程中使用适当的神经网络架构和学习迁移方法。

除了在欧亚专利申请中描述的实现方式和上面讨论的其它实现方式之外，以下实现方式以及它们的组合也可以是呼吸状况技术的一部分。

在一些实现方式中，分类模型可以使用基于SqueezeNET的架构(https://en.wikipedia.org/wiki/SqueezeNet)来减小神经网络的大小，并使模型的运行更快。在这样的实现方式中，输入可以是使用较少信息的梅尔频谱图。例如，对于声音记录的片段的预处理和分类，可以在大约80ms的时间框架内实现预处理和分类，并且文件的大小可以为2.85Mb左右。

在一些实现方式中，被呈现给医生、患者或另一利害相关方的肺音记录的标记可以突出显示检测到异常声音的确切区域。为此目的，可以将呼吸音记录分成多个片段，将每个片段都分别分类成呼吸状况的类别。例如，记录的第一片段可以被分类成“干啰音”，而随后的第二片段可以被分类成“湿啰音”。当通过用户界面呈现分类的结果时，可以向观看者提供关于与所记录的声音相关联的呼吸音类别的更多信息，这可以使得观看者能够准确地理解何时检测到各个分类声音。

如前所述，在一些实现方式中，分类模型可以作为在移动设备(如Android智能电话)上运行的应用的一部分执行。如果分类模型所占用的存储器空间足够小并且执行模型所需的处理资源足够小，则这是可能的。另外，可以通过使用量化技术、删除未使用的常量以及包括Tensorflow实用程序中的操作在内的其它常规调整来在移动设备上运行分类模型。

在一些实现方式中，可以在ARM M系列微控制器上实现经训练的机器语言(分类)模型，以形成独立的硬件和固件设备，这些设备可以在医疗设备、听诊器和其它器材中广泛使用。为此目的，可以对经训练的机器语言(分类)模型进行解析，以提取操作图形和权重；可以生成C++源代码文件，其包括仅包含量化权重作为静态常量的一个文件、包含ANN(人工神经网络)的配置信息(诸如层大小和维度)的第二文件、以及包含来自ARM可用的CMSIS-NN库的链式ANN层调用和音频处理代码的第三文件(https://community.arm.com/developer/ip-products/processors/b/processors-ip-blog/posts/new-neural-network-kernels-boost-efficiency-in-microcontrollers-by-5x)。

如前所述，在一些情况下，出于实现检测到异常声音的标记突出显示区域的目的，可以忽略使用检测算法分别识别声音记录的吸气和呼气部分。在一些实现方式中，声音记录的吸气和呼气部分的检测对于支气管呼吸检测可能是有用的，尽管为此目的使用机器学习技术可能更好。

在一些示例中，可以跨以下类别以93％的准确度水平将声音记录分类成呼吸音类别：喘鸣加干啰音、细湿啰音加粗湿啰音、正常状况和伪影。伪影可能包括例如心音、电磁和环境干扰以及听诊器振膜与皮肤的摩擦。

在一些实现方式中，代替使用机器学习分类模型，可以基于频率滤波和主频率检测来开发非机器学习算法。这可以用在可能无法创建足够干净的数据集以将机器学习技术应用于人类听觉确定的典型类别的背景下。除其它原因外，这是由于喘鸣和干啰音类别中可能存在显著的中频异常声音。在非机器学习环境中，数据集可以更干净，并且可以用作差异化因素(differentiator)。例如，可以使用人工神经网络(ANN)分类对喘鸣进行分类，然后区分算法(differentiating algorithm)可以指示喘鸣是处于高频、中频还是低频。

在一些实现方式中，可以生成能够进行多类分类的分类模型，该分类模型被配置成在细湿啰音与粗湿啰音之间进行区分，换句话说，在声音记录包含混合声音的情况下，诸如在同一声音记录期间干啰音与湿啰音相结合。

在一些情况下，机器学习分类模型可以基于两个阶段：数据集预处理和模型训练。对于第一阶段，可以基于自然数据来生成人工数据，例如，通过记录正常的呼吸音、从喘鸣记录中剪切出喘鸣音、增强喘鸣并将其自动添加到正常呼吸音中。然后可以将矩形添加到所得的频谱图中，以识别声音记录中的异常声音。然后，所得的数据集将包含频谱图和矩形元数据，这些元数据标识频谱图的包含异常声音的确切部分。对于第二阶段，可以训练单发多框检测器(SSD：single shot multi box detector)并将其用于移动设备应用中。

作为示例，呼吸状况技术的一些实现方式可以应用至以下用例。

案例1.一儿童正在咳嗽，但是咳嗽的含义不清楚。父母担心肺炎的可能性，并且想知道是否要带儿童去看医生。父母记录儿童的肺音，这些肺音被分析，然后在父母的移动设备的用户界面上呈现出来。该呈现可以包括记录中出现异常声音的指示、与这些声音相关联的典型呼吸状况(例如，根据学术文献)以及关于是否带儿童去看医生的建议。

案例2.焦虑的吸烟者可能想知道他们是否已患上肺癌、COPD或其它与吸烟相关联的不利呼吸状况。

案例3.45岁至65岁年龄范围的健康意识强或精通技术的人可能对他们的呼吸状况持续关注。

案例4.生活在污染地区的人们可能容易患上频繁支气管炎和感冒，并希望能够追踪它们的进展并确定它们的存在。

在各种实现方式中，声音传感器可以是以足够的质量水平记录肺音的各种可商购硬件，诸如Littmann经典听诊器加eKuore附件、或者是定制的有线听诊器、批量生产的具有蓝牙功能的听诊器、或诸如在8+或更高版本上运行的Android设备或iPhone的智能电话。在一些情况下，声音传感器可以嵌入在衬衫或其它服装中。

在移动设备上的用户界面的一些实现方式中，用户界面通过捕获声音记录的过程引导对象，然后通过用户界面显示结果。可以使用链接来共享结果。

在一些情况下，可以从声音记录和一系列声音记录确定慢性肺部疾病类型恶化的早期迹象。可能会在所记录的声音中检测到湿啰音，这些湿啰音指示即将发生(例如，几天之内)的慢性肺部疾病恶化。可能与病情恶化相关的所记录声音的特性可以包括肺音的类别、对象内的位置以及强度。在一些情况下，记录的声音的变化和症状的变化的组合可能在预测病情恶化方面最有效，并向对象提供最少的病情恶化。声音、症状和预期的未来恶化之间的相关性的确定可以基于记录的声音样本的收集和医生对这些声音的标记。

案例5.患有COPD的患者因症状恶化而入院。医院的护士向她发放了用于捕获声音记录的记录设备，在患者的移动设备上安装了应用，并将其益处和用法教给患者。患者将设备带回家并在1个月至2个月的时段期间每天进行自我监测，以检测后续病情恶化的早期迹象。当检测到预计的后续病情恶化时，患者被警示，并且可以被转诊以进行治疗或去看医生。例如，可以通过因特网将对这种患者的确定自动发送到医疗护理提供者的现有计算机系统中。

由对象或其它利害相关方使用的移动设备应用及其用户界面的一些实现方式被设计用于慢性或其它呼吸状况的自我管理。该应用可以包括多个特征，使得用户能够轻松地不时记录所经历的症状，使得用户能够捕获声音记录并教用户如何这样做，在图表中并且通过其它用户界面技术显示慢性呼吸状况的发展和进展，并且提供了一种用于联系医疗护理提供者或其它助手的机制。

在一些应用中，呼吸状况技术可以用作与呼吸状况的诊断或解释结合的第二验证来源。

案例5.哮喘患者可能会使用峰流速仪或智能吸入器来向他们警示他们的呼吸状况即将恶化，但这些技术可能并不精确。呼吸状况技术可以用于补充峰流速仪或智能吸入器提供的信息，以更准确地预测或验证病情即将恶化并且减少假阳性(false positives)和假阴性(false negatives)。在一些实现方式中，呼吸状况技术的移动设备应用(通常可以使用其自己的峰流速信息并显示相关曲线)可以从单独的智能峰流速仪接受该信息。

案例6.囊性纤维化(CF)患者由于天生患有CF并且需要不间断的治疗，所以他们是自身健康的专家。但是，此类患者可以从关于他们的疾病的客观警告的单独来源受益，这可以帮助决定治疗水平和评估他们的常规的身体康复技术。呼吸状况技术可以与其它信息来源一起提供此类评估的来源。

案例7.在一些情况下，不仅可以提供关于呼吸状况的诊断、信息或建议，还可以使用呼吸状况技术来提供关于治疗的建议。这样的建议可能与治疗跟踪、如上所述的病情恶化预测、用药提醒或空气污染数据相关。例如，可以向患者提供信息，以建议在病情恶化期间何时服用COPD抗生素以及何时仅使用类固醇就足够了。在一些情况下，呼吸状况技术可以评估患者对治疗的反应，并可以使用群体数据的相关性分析来建议哪种疗法在给定时间段内最好。

在一些实现方式中，呼吸状况技术不仅积累、分析和报告从个体的声音记录得出的呼吸状况，而且还可以分析和报告从用户群体得出的汇总和统计信息。例如，可以基于人口统计、地理和其它因素来积累和分析信息。在一些情况下，可以生成并提供地图以通过移动设备的用户界面显示，以例示整个国家、政治分区或多民族地区的一种或更多种呼吸状况的患病率、严重程度或历史。例如，可以通过显示的地图上的可视化技术来例示关于跨地理区域的上呼吸道感染(URTI)进展的信息。

在一些情况下，可以将统计分析的结果报告给用户。例如，数据库中大量正常记录(大概是由因URTI而开始咳嗽的健康个体捕获的)的出现可能表明对COPD患者的威胁(因为COPD患者所感染的URTI半数会导致病情恶化)，这可以通过用户界面报告给他们。在另一示例中，如果大量哮喘患者在访问某个地方后经历病情恶化，则可以警示其它哮喘患者。

可以使用呼吸状况技术进行筛查、监测和诊断的其它呼吸系统疾病包括：IPF(特发性肺纤维化)，其可能需要在公共场所对大量群体进行广泛筛查；癌症(基于先前成功的COPD治疗的失败)；通过分析心音和呼吸音而确定的心血管和呼吸综合状况，随后进行干预以降低严重性；呼吸音的变化，其表明警示用户进行更精确的测量；以及筛查、监测和诊断肺移植患者，以及早检测到下肺部感染。

其它实现方式也在所附权利要求的范围内。

Claims

1.一种基于机器的方法，所述方法包括：

接收表示对象的通过听诊获取的呼吸音的声音记录，

通过机器，将所接收的声音记录变换成时频域图形表示，

通过机器，将所述时频域图形表示应用于分类器模型，以确定所述对象的所述呼吸音的声音类别，以及

通过机器，至少基于由所述分类器模型确定的所述声音类别来推断所述对象的呼吸状况。

2.根据权利要求1所述的方法，其中，所述时频域图形表示包括梅尔频谱图。

3.根据权利要求2所述的方法，其中，所述时频域图形表示包括彩色梅尔频谱图。

4.根据权利要求1所述的方法，其中，所述分类器模型包括神经网络模型。

5.根据权利要求1所述的方法，所述方法包括：使用专家系统至少基于由所述分类器模型确定的所述声音类别来推断所述对象的所述呼吸状况。

6.根据权利要求5所述的方法，其中，所述专家系统还基于关于所述对象的其它信息来推断所述对象的所述呼吸状况。

7.根据权利要求6所述的方法，其中，关于所述对象的所述其它信息是从所述对象对问卷的回答中接收的。

8.根据权利要求6所述的方法，其中，关于所述对象的所述其它信息包括人口统计信息。

9.根据权利要求6所述的方法，其中，关于所述对象的所述其它信息包括关于呼吸状况的信息。

10.根据权利要求1所述的方法，所述方法包括：通过设备的用户界面来呈现关于所推断的呼吸状况的信息。

11.根据权利要求10所述的方法，其中，通过所述用户界面呈现的所述信息包括在一时间段期间的所述声音记录的图形表示。

12.根据权利要求11所述的方法，其中，所述声音记录的所述图形表示是根据声音类别来进行颜色编码的。

13.根据权利要求10所述的方法，其中，通过所述用户界面呈现的关于所推断的呼吸状况的所述信息包括关于呼吸状况的管理的信息。

14.根据权利要求1所述的方法，所述方法包括：接收在所述对象上的不同声音捕获点处获取的多个声音记录。

15.根据权利要求14所述的方法，其中，所述声音捕获点是基于所述呼吸状况通过算法确定的，并且通过移动设备的用户界面呈现给所述对象。

16.根据权利要求1所述的方法，所述方法包括：接收在所述对象上的特定声音捕获点处获取的多个声音记录。

17.根据权利要求16所述的方法，所述方法包括：通过机器对所述多个声音记录执行主成分分析或其它相关性分析或多维分析。

18.根据权利要求1所述的方法，其中，所述声音记录具有降低的质量。

19.根据权利要求18所述的方法，其中，所述降低的质量是基于噪声或听诊不当或它们的组合的。

20.一种基于机器的方法，所述方法包括以下步骤：

接收第一数量的声音记录，所述声音记录中的每个声音记录表示对象的通过听诊获取的呼吸音，所述声音记录中的每个声音记录具有由一个或更多个专家确定的已知声音类别，

使用不一定与声音记录有关的第二数量的已知频谱图来对神经网络的初始卷积层进行预训练，

在所述预训练之后，使用所述第一数量的声音记录和所述已知声音类别来对所述神经网络的所述初始卷积层进行训练，

所述第二数量的声音记录至少比所述第一数量的声音记录多一个数量级，

接收尚未确定声音类别的声音记录，

将所接收的声音记录应用于所述神经网络，以确定所述声音记录的声音类别。

21.根据权利要求20所述的方法，所述方法包括通过以下项中的一项或更多项来增强所述神经网络的工作：检测并消除所述声音记录中的伪影，区分不同类别的声音记录，或者基于具有由所述一个或更多个专家确定的已知声音类别的新声音记录来添加新声音类别。

22.根据权利要求20所述的方法，其中，所述神经网络包括截断模型。

23.根据权利要求22所述的方法，其中，所述截断模型包括SqueezeNET模型。

24.根据权利要求22所述的方法，其中，所述截断模型在移动设备上执行。

25.根据权利要求22所述的方法，其中，所述截断模型在ARM处理器上执行。

26.根据权利要求20所述的方法，所述方法包括执行专家系统，所述专家系统使用所述声音记录的所确定的声音类别来推断所述对象的呼吸状况。

27.根据权利要求26所述的方法，所述方法包括：通过所述设备的用户界面来呈现关于所推断的呼吸状况的信息。

28.根据权利要求20所述的方法，其中，将所接收的声音记录应用于所述神经网络以确定所述声音记录的声音类别的步骤是在远离捕获所述声音记录的位置的服务器处执行的。

29.根据权利要求20所述的方法，其中，将所接收的声音记录应用于所述神经网络以确定所述声音记录的声音类别的步骤是在移动设备处执行的。

30.根据权利要求20所述的方法，其中，将所接收的声音记录应用于所述神经网络以确定所述声音记录的声音类别的步骤是在移动设备和远离所述移动设备的服务器的组合处执行的。

31.根据权利要求20所述的方法，其中，将所接收的声音记录应用于所述神经网络以确定所述声音记录的声音类别的步骤包括针对所接收的声音记录生成梅尔频谱图。

32.根据权利要求20所述的方法，其中，将所接收的声音记录应用于所述神经网络以确定所述声音记录的声音类别的步骤包括针对所述声音记录中的每个声音记录确定键值对，其中，所述键包括所述对象上的所述声音捕获点，并且所述值包括所述声音类别。

33.根据权利要求20所述的方法，其中，所述声音类别包括以下项中的至少一项：正常声音、喘鸣、干啰音、细湿啰音、粗湿啰音、皮肤摩擦伪影、干扰伪影和心跳伪影。

34.一种基于机器的方法，所述方法包括：

从移动设备上运行的应用接收与对象的一个或更多个呼吸状况有关的对象信息，所述信息包括通过听诊从所述对象捕获的呼吸音，

在服务器处对所述信息进行处理，以及

通过设备的用户界面向医疗保健提供者呈现从所述移动设备上运行的所述应用接收的与所述对象的所述一个或更多个呼吸状况有关的所述信息，以及

在所述服务器处从所述医疗保健提供者接收关于管理所述一个或更多个呼吸状况的确定。

35.根据权利要求34所述的方法，其中，从所述移动设备上运行的所述应用接收的所述信息包括所述对象通过所述移动设备上的用户界面输入的信息。

36.根据权利要求34所述的方法，其中，在所述服务器处对所述信息的所述处理包括将所述呼吸音应用于分类模型，以确定所述呼吸音的声音类别。

37.根据权利要求34所述的方法，其中，在所述服务器处对所述信息的所述处理包括对所述对象的一个或更多个呼吸状况进行推断。

38.根据权利要求37所述的方法，其中，对所述对象的所述一个或更多个呼吸状况的所述推断是基于所述呼吸音并且基于通过所述移动设备从所述对象接收的其它信息进行的。

39.根据权利要求34所述的方法，所述方法包括：通过所述移动设备向所述对象呈现所述医疗保健提供者关于管理所述一个或更多个呼吸状况的所述确定。

40.根据权利要求34所述的方法，其中，关于管理所述一个或更多个呼吸状况的所述确定包括以下项中的一项或更多项：诊断、治疗处方、训练、指导或问题。

41.根据权利要求34所述的方法，其中，关于管理所述一个或更多个呼吸状况的所述确定包括二元确定，并且所述方法包括通过移动设备将所述二元确定呈现给对象。

42.根据权利要求41所述的方法，其中，呈现给所述对象的所述二元确定包括确定所述呼吸状况是危险的还是不危险的，或者所述对象应该就医还是不需要就医。

43.一种基于机器的方法，所述方法包括：

从对象的设备接收对关于所述对象的一个或更多个问题的回答，以及

在服务器处，将所述回答应用于专家系统以推断所述对象的呼吸状况，所述专家系统还基于通过所述对象的听诊捕获的声音记录来推断所述对象的所述呼吸状况。

44.根据权利要求43所述的方法，其中，所述问题是诊断问卷或定期问卷的一部分。

45.根据权利要求44所述的方法，其中，所述诊断问卷或所述定期问卷涉及特定呼吸状况。

46.根据权利要求44所述的方法，其中，通过所述对象的听诊捕获的所述声音记录也是从所述对象的所述设备接收的。

47.一种基于机器的方法，所述方法包括：

在对象的移动设备处接收通过听诊在所述对象上的一个或更多个声音捕获点处捕获的声音记录，所述声音记录是在一时间段内的连续时间处捕获的，

基于在所述连续时间处捕获的所述声音记录，对所述对象的呼吸状况的变化进行推断，以及

通过所述移动设备呈现关于所述对象的所述呼吸状况的所述变化的信息。

48.根据权利要求47所述的方法，其中，对所述对象的所述呼吸状况的变化的所述推断包括对所述对象在所述连续时间中的每个连续时间处的所述呼吸状况进行推断，并比较所推断的呼吸状况。

49.根据权利要求48所述的方法，其中，对所述对象在所述连续时间中的每个连续时间处的所述呼吸状况的所述推断包括将所述声音记录中的至少一个声音记录分类成表示一个或更多个声音类别。

50.根据权利要求49所述的方法，其中，对所述对象在所述连续时间中的每个连续时间处的所述呼吸状况的所述推断包括将专家系统应用于所述一个或更多个声音类别。

51.根据权利要求47所述的方法，其中，对所述呼吸状况的所述变化的所述推断至少部分地是在所述移动设备处执行的。

52.根据权利要求47所述的方法，其中，对所述呼吸状况的所述变化的所述推断至少部分地是在服务器处执行的。

53.根据权利要求47所述的方法，其中，所述呼吸状况包括慢性呼吸状况。

54.根据权利要求53所述的方法，其中，所述慢性呼吸状况包括COPD。

55.根据权利要求47所述的方法，其中，所推断的所述对象的所述呼吸状况的变化包括病情恶化。

56.根据权利要求47所述的方法，所述方法包括：通过设备的用户界面将关于所述对象的所述呼吸状况的所述变化的信息呈现给医疗保健提供者。