CN112604084B - 音频数据的采集方法、装置、设备及可读存储介质 - Google Patents

音频数据的采集方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN112604084B
CN112604084B CN202011430627.2A CN202011430627A CN112604084B CN 112604084 B CN112604084 B CN 112604084B CN 202011430627 A CN202011430627 A CN 202011430627A CN 112604084 B CN112604084 B CN 112604084B
Authority
CN
China
Prior art keywords
data
injection
injection device
state
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011430627.2A
Other languages
English (en)
Other versions
CN112604084A (zh
Inventor
高梅
郭瑰琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huiyao Medical Instrument Technology Co ltd
Original Assignee
Hangzhou Huiyao Medical Instrument Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huiyao Medical Instrument Technology Co ltd filed Critical Hangzhou Huiyao Medical Instrument Technology Co ltd
Priority to CN202011430627.2A priority Critical patent/CN112604084B/zh
Publication of CN112604084A publication Critical patent/CN112604084A/zh
Application granted granted Critical
Publication of CN112604084B publication Critical patent/CN112604084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/178Syringes
    • A61M5/20Automatic syringes, e.g. with automatically actuated piston rod, with automatic needle injection, filling automatically
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/178Syringes
    • A61M5/31Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/178Syringes
    • A61M5/20Automatic syringes, e.g. with automatically actuated piston rod, with automatic needle injection, filling automatically
    • A61M2005/2006Having specific accessories
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/178Syringes
    • A61M5/31Details
    • A61M2005/3125Details specific display means, e.g. to indicate dose setting
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/18General characteristics of the apparatus with alarm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/58Means for facilitating use, e.g. by people with impaired vision
    • A61M2205/581Means for facilitating use, e.g. by people with impaired vision by audible feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/60General characteristics of the apparatus with identification means
    • A61M2205/609Biometric patient identification means
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data

Abstract

本申请关于一种音频数据的采集方法、装置、设备及可读存储介质,涉及注射设备工具领域。该方法包括:获取运动传感器采集得到的运动数据;基于运动数据确定注射设备的应用状态;响应于应用状态用于指示注射设备处于预备注射状态,通过声音采集单元采集得到音频数据。通过设置运动传感器以及声音采集单元,并以运动传感器接收到的运动数据作为声音采集单元是否进行音频数据采集的依据,在运动数据指示应用状态为注射状态的情况下,对于智能数据进行采集。通过运动数据直接确定注射设备是否处于预备注射状态,并在处于预备注射状态时进行音频数据采集的方式,保证了声音采集与注射过程的同步情况,提高了注射设备对于声音采集的效率。

Description

音频数据的采集方法、装置、设备及可读存储介质
技术领域
本申请涉及注射设备工具领域,特别涉及一种音频数据的采集方法、装置、设备及可读存储介质。
背景技术
注射设备是一种常见的医疗用具,其通过插入人体内的注射端将药物注入人体内。而随着科技的发展,注射设备具有了越来越多的功能,以辅助使用者进行药物注射。
相关技术中,注射设备在药物使用达到预设剂量时,将会发出提示音,以对使用者进行提示。此外,注射设备中对应设置有声音采集单元,在声音采集单元被开启后,注射设备即可同时对注射过程中环境内发出的声音进行采集,以采集到包括注射过程中自身发出的提示音在内的音频数据,并将音频数据发送至服务器中,由服务器生成注射建议,以供使用者在后续注射是进行参考。
然而,相关技术中,由于声音采集单元需要使用者手动开启,易导致声音采集与注射过程不同步的情况,致使注射设备对于音频数据的采集效率较低。
发明内容
本申请实施例提供了一种音频数据的采集方法、装置、设备及可读存储介质,能够提高注射设备对于音频数据的采集效率。该技术方案如下:
根据本申请的一个方面,提供了一种音频数据的采集方法,该方法包括:
获取运动传感器采集得到的运动数据,运动传感器为对应注射设备设置的传感器,运动数据用于指示注射设备在至少一个方向的运动情况;
基于运动数据确定注射设备的应用状态;
响应于应用状态用于指示注射设备处于预备注射状态,通过声音采集单元采集得到音频数据,预备注射状态指示注射设备处于注射工作的过程中,音频数据用于经过识别得到注射设备对应的注射数据。
另一方面,提供了一种音频数据的采集装置,该装置包括:
获取模块,用于获取运动传感器采集得到的运动数据,运动传感器为对应注射设备设置的传感器,运动数据用于指示注射设备在至少一个方向的运动情况;
确定模块,用于基于运动数据确定注射设备的应用状态;
采集模块,用于响应于应用状态用于指示注射设备处于预备注射状态,通过声音采集单元采集得到音频数据,预备注射状态指示注射设备处于注射工作的过程中,音频数据用于经过识别得到注射设备对应的注射数据。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中提供的音频数据的采集方法。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现上述任一所述的音频数据的采集方法。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的音频数据的采集方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过设置运动传感器以及声音采集单元,并以运动传感器接收到的运动数据作为声音采集单元是否进行音频数据采集的依据,在运动数据指示应用状态为注射状态的情况下,对于智能数据进行采集。通过运动数据直接确定注射设备是否处于预备注射状态,并在处于预备注射状态时进行音频数据采集的方式,保证了声音采集与注射过程的同步情况,提高了注射设备对于声音采集的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了相关技术中胰岛素注射设备的结构示意图;
图2示出了本申请一个示例性实施例提供的一种音频数据的采集方法的流程图;
图3示出了本申请一个示例性实施例提供的一种套接设备与注射设备连接情况的示意图;
图4示出了本申请一个示例性实施例提供的一种注射数据显示界面的示意图;
图5示出了本申请一个示例性实施例提供的一种根据运动数据确定应用状态的方法的示意图;
图6示出了本申请一个示例性实施例提供的一种对应静止状态,注射设备在空间坐标系中的运动情况的示意图;
图7示出了本申请一个示例性实施例提供的一种对应移动状态,注射设备在空间坐标系中的运动情况的示意图;
图8示出了本申请一个示例性实施例提供的一种音频数据的采集方法的流程图;
图9示出了本申请一个示例性实施例提供的一种注射设备和套接设备连接时的结构示意图;
图10示出了本申请一个示例性实施例提供的一种第一运动传感器和第二运动传感器在胰岛素笔中的位置关系示意图;
图11示出了本申请一个示例性实施例提供的一种注射设备在坐标系内运动过程的示意图;
图12示出了本申请一个示例性实施例提供的一种注射数据显示界面的示意图;
图13示出了本申请一个示例性实施例提供的一种音频数据的采集方法的过程示意图;
图14示出了本申请一个示例性实施例提供的一种服务器进行音频数据的分析的过程示意图;
图15示出了本申请一个示例性实施例提供的一种音频数据的采集装置的示意图;
图16示出了本申请一个示例性实施例提供的另一种音频数据的采集装置的示意图;
图17示出了本申请一个示例性实施例提供的电子设备的结构框图。
具体实施方式:
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,对本申请实施例中涉及的名词进行简单的介绍:
注射设备,是一种常见的医疗用具,通过将注射端插入人体内,实现将药物直接注射入人体的效果。在本申请中,注射设备可以实现为活塞式注射器,也可以为带有高速高压喷射功能的无针喷射器。
可选地,本申请的一个实施例中,注射设备可以实现为胰岛素注射设备。该胰岛素注射设备可以在注射过程中,响应于药物的使用量达到使用阈值,发出机械式声音,如:发出“咔”声,或,“咔哒”声,以向使用者提示当前的注射进度。图1示出了相关技术中胰岛素注射设备的结构示意图。胰岛素注射设备100中包括胰岛素笔主体110,胰岛素笔转动部分120以及读数屏幕130,其中,胰岛素笔主体110的一端为进行注射工作的无针喷射器,且胰岛素笔主体110内存储有药剂。胰岛素笔转动部分120位于读数屏幕130与胰岛素笔主体110之间。胰岛素笔转动部分120用于根据胰岛素笔主体110中的药剂量进行转动,当转动角度达到转动角度阈值,也即胰岛素笔主体110中的药剂量消耗至药剂量阈值时,胰岛素笔转动部分120将会发出“咔”声,向使用者进行注射进度的提示。读数屏幕130会向使用者展示胰岛素笔中的剩余药剂量,以供使用者知悉是否需要对胰岛素注射设备100中的药剂量进行增减。示意性的,读数屏幕130的初始读数为10,也即胰岛素笔主体110内的初始药剂量为10个单位,当使用者对胰岛素注射设备100进行应用时,通过按压胰岛素笔转动部分120的方式将药剂注入体内,同时,读数屏幕130内的读数随着对胰岛素笔转动部分120的按压而减小,并在减小至8时发出“咔”声,表示当前胰岛素笔主体110中的药剂量为8个单位,也即,注射量为2个单位。
需要说明的是,上述涉及的胰岛素注射设备仅为本申请所提供的注射设备的一种形态,本申请中的注射设备为包括胰岛素注射设备在内的,具有注射功能的一切装置,本申请对于注射设备的实际形式不作限定。
结合上述名词简介以及实施环境说明,对本申请实施例提供的音频数据的采集方法进行说明。图2示出了本申请一个示例性实施例提供的一种音频数据的采集方法的流程图,以该方法应用于电子设备中进行说明,该方法包括:
步骤201,获取运动传感器采集得到的运动数据,运动传感器为对应注射设备设置的传感器,运动数据用于指示注射设备在至少一个方向的运动情况。
本申请实施例的执行主体实现为与运动传感器之间建立有通信连接关系的电子设备。在一个示例中,该电子设备实现为注射设备的套接设备。该套接设备实现为圆柱体的笔帽,套接在注射设备的一端,且具有数据处理功能,套接设备与注射设备之间建立有电性连接,或,通信连接。通过二者之间建立的连接,套接设备可以对注射设备内的数据进行采集;在另一个示例中,电子设备实现为注射设备与套接设备的组合;在另一个示例中,电子设备实现为集成有套接设备的功能,即数据处理以及数据通信功能的注射设备。
本申请实施例对于电子设备的具体形式不作限定。在本申请实施例中,将以电子设备实现为套接设备为例进行说明。
在本申请实施例中,运动传感器的数量为至少一个。接下来,将对运动传感器的数量为一个和至少两个的情况进行分别说明,其中,当运动传感器的数量为至少两个时,以运动传感器的数量为2个为例进行举例说明:
(1)、运动传感器的数量为1个:
在一个示例中,该运动传感器位于套接设备内部,且套接设备固定于注射设备上。当注射设备处于应用过程中时,由于套接设备与注射设备之间保持相对静止,套接设备将会跟随注射设备进行运动。由于套接设备与注射设备的运动状态始终一致,运动传感器接收到的与套接设备对应的运动数据即为与注射设备对应的运动数据。
在另一个示例中,该运动传感器位于注射设备内部,且该运动传感器与套接设备之间建立有通信连接。当注射设备中处于应用过程中时,套接设备直接对注射设备内部的运动传感器进行运动数据的获取,此时,即使套接设备与运动传感器之间发生了相对运动,也不会对运动传感器收集到的运动数据产生影响。
(2)、运动传感器的数量为2个:
在一个示例中,两个运动传感器分别为第一运动传感器和第二运动传感器。第一运动传感器位于套接设备内的第一位置,第二运动传感器位于套接设备内的第二位置,且套接设备固定于注射设备上。当注射设备处于应用过程中时,套接设备对第一运动传感器产生的第一运动数据,以及第二运动传感器产生的第二运动数据进行获取。根据第一运动数据以及第二运动数据,套接设备即可确定第一位置的运动过程,以及第二位置的运动过程。同时,套接设备可以根据第一位置与第二位置在应用过程中的位置变化模拟出套接设备在应用过程中的位姿变化,而由于套接设备与注射设备之间保持相对静止,即可通过套接设备的位姿变化确定注射设备在应用过程当中的位姿变化。
在另一个示例中,两个运动传感器分别为第一运动传感器和第二运动传感器。第一运动传感器位于套接设备内,第二运动传感器位于注射设备内,且第二运动传感器与套接设备建立有通信连接。当注射设备处于应用过程中时,套接设备对第一运动传感器产生的第一运动数据,以及第二运动传感器产生的第二运动数据进行获取。套接设备可以根据第一运动传感器位于套接设备中的第三位置、第二运动传感器位于套接设备中的第四位置,以及套接设备与注射设备之间的运动规则,模拟出套接设备在应用过程中的位姿变化,以及注射设备在应用过程中的位姿变化。
在另一个示例中,两个运动传感器分别为第一运动传感器和第二运动传感器。第一运动传感器位于注射设备内的第五位置,第二运动传感器位于注射设备内的第六位置。且第一运动传感器与第二运动传感器均与套接设备建立有通信连接。当注射设备处于应用过程中时,套接设备对第一运动传感器产生的第一运动数据,以及第二运动传感器产生的第二运动数据进行获取,并根据第五位置以及第六位置的相对关系,直接模拟出注射设备在应用过程中的位姿变化。
可选地,运动传感器实现为加速度传感器;或,运动传感器实现为角加速度传感器;或,运动传感器实现为陀螺仪传感器。本申请实施例对于运动传感器的具体类型不作限制。
在本申请实施例中,无论注射设备处于何种状态,运动传感器始终开启。
步骤202,基于运动数据确定注射设备的应用状态。
在本申请实施例中,套接设备通过对于运动数据的分析,可以确定注射设备当前的运动状态,进而确定注射设备的应用状态。
可选地,当注射设备处于不同应用状态下时,其对应的运动状态也不相同。
在一个示例中,注射设备被放置于桌面上静置,在该情况下,运动传感器接收到的运动数据将指示注射设备当前未进行运动,而此时,注射设备对应的状态即为静止状态。
在另一个示例中,注射设备被放置于使用者的口袋内,并随着使用者共同移动。在此情况下,运动传感器接收到的运动数据将指示注射设备正在朝向单个方向进行移动,此时,注射设备对应的状态即为移动状态。
在另一个示例中,注射设备从使用者的口袋中被拿出,并进行震荡运动。在此情况下,运动传感器接收到的运动数据指示注射设备被剧烈摇晃,此时,注射设备对应的状态即为震荡状态。
本申请实施例对于注射设备的运动状态的具体类型不作限制。注射设备的应用状态还可以包括但不限于注射状态、整理状态、预备注射状态中的至少一种。
步骤203,响应于应用状态用于指示注射设备处于预备注射状态,通过声音采集单元采集得到音频数据。
在本申请实施例中,注射设备的应用状态还包括预备注射状态,预备注射状态即指示注射设备处于预备注射设备的过程中。在使用者将注射设备取出之后,并进行注射之前,注射设备即处于预备注射状态。在预备注射状态中,注射设备通常会被摇晃,并且在摇晃过后向目标位置进行缓慢移动。此时,当运动传感器接收到的运动数据指示注射设备的运动过程与上述运动过程相匹配,即可确定注射设备处于预备注射状态。
当确定注射设备处于预备注射状态之后,即可通过注射设备中的声音采集单元对于音频进行采集。
在本申请实施例中,注射设备为具有发声功能的注射设备。可选地,注射设备的发声功能为基于机械原理的发声功能。在一个示例中,注射设备具有旋转部分,且在该旋转部分中,每隔预设角度设置有旋转槽位,注射设备内还设置有与旋转槽位对应的限位件。在旋转部分的旋转过程中,限位件将与旋转槽位发生接触以及脱离,在限位件与旋转槽位发生接触以及脱离时,即发出“咔哒”声,以提示使用者注射药剂的进度。
可选地,注射设备的发声功能为基于电信号原理的发声功能。在一个示例中,注射设备中具有发声模块,且注射设备内具有实时检测存储药剂量的报警传感器。当注射设备内存储的药剂量低于药剂量阈值时,传感器即将报警信号发送至发声模块中,发声模块根据该提示音发出警示信号,以提示使用者注射设备用的药剂将被耗尽;在另一个示例中,当注射设备在药剂消耗过程中,每隔2秒发出提示音,以提示使用者当前处于注射过程中。
本申请实施例对于注射设备发声所代表的含义不作限制。
在本申请实施例中,注射设备中还包括声音采集单元。该声音采集单元可以是注射设备自带的声音采集单元,也可以是与注射设备连接的套接设备上设置的声音采集单元。在一个示例中,请参考图3,套接设备310套装在注射设备300上,套接设备310上包括声音采集单元301以及运动传感器302。声音采集单元301为设置在套接设备310上的,对于音频进行采集的设备,此时,运动传感器302也设置在套接设备上。由于套接设备310与注射设备300之间相对静止,故套接设备310可以对注射设备300的运动状态进行获取。由于声音采集单元也位于注射设备上,故声音采集单元可以采集到的音频数据为与注射设备周侧的声音相对应的音频数据。可选地,音频数据包括人声、设备声以及环境杂音中的至少一种。可选地,在采集得到音频数据后,套接设备将音频数据发送至服务器中,服务器可以对音频数据进行识别,得到与注射设备对应的注射数据。在一个示例中,服务器在确定注射数据后,向套接设备发送注射数据。请参考图4,在注射数据显示界面400中,包括注射结果410以及注射建议420,注射结果410为本次注射的结果,包括了注射时间411以及注射量412。注射建议420用于对使用者对于注射设备的使用提出建议,并为使用者后续对于注射设备的使用提出指导。
综上所述,本申请实施例提供的方法,通过设置运动传感器以及声音采集单元,并以运动传感器接收到的运动数据作为声音采集单元是否进行音频数据采集的依据,在运动数据指示应用状态为预备注射状态的情况下,对于智能数据进行采集。通过运动数据直接确定注射设备是否处于预备注射状态,并在处于预备注射状态时进行音频数据采集的方式,保证了声音采集与注射过程的同步情况,提高了注射设备对于声音采集的效率。
如上实施例所述,在本申请中,注射设备的应用状态是根据运动数据确定的。图5示出了本申请一个示例性实施例提供的一种根据运动数据确定应用状态的方法的示意图,以该方法应用于实现为套接设备的电子设备中为例进行说明,该方法可以替换图2所示实施例中的步骤202,并实现为步骤501至步骤503,该方法包括:
步骤501,响应于加速度数据的绝对值小于相对加速度数值阈值,确定应用状态为静止状态。
在本申请实施例中,应用状态包括静止状态、移动状态和预备注射状态中的至少一种。其中,静止状态指示注射设备未发生运动,移动状态指示注射设备处于被移动的过程中,预备注射状态指示注射设备处于注射工作的预备过程中。
在本申请实施例中,运动传感器实现为陀螺仪。该陀螺仪可以根据注射设备的运动情况,生成加速度数据以及位移矢量数据。
在本申请实施例中,加速度数据为绝对数据,指示陀螺仪接收到的瞬时加速度,进而指示注射设备在对应时刻的瞬时加速度;对应的,位移矢量数据为相对数据,指示一个时间段内,陀螺仪相对初始时刻的位置进行位移的位移量。可选地,加速度数据与位移矢量数据均为矢量。请参考图6,在笛卡尔空间坐标系中对应有X轴,Y轴和Z轴,其中,X轴对应注射设备运动610的第一方向601,Y轴对应注射设备610运动的第二方向602,Z轴对应注射设备610运动的第三方向603。在本申请实施例中,注射设备610上对应设置有一个运动传感器620,故在笛卡尔坐标系中,该注射设备610可以等效为与运动传感器620的位置对应的质点。在图6中,设置第一端点坐标为(0,0,0),当注射设备610静止,且其质点位置位于第一端点处时,运动传感器620的实时加速度数据为0,则运动传感器620指示注射设备610处于静止状态。
在一个示例中,套接设备中设置有加速度数值阈值,当运动传感器发送的加速度数据指示的加速度数值小于该加速度数值阈值时,即确定注射设备处于静止状态。
步骤502,响应于在目标加速度方向上的加速度数据持续改变,确定应用状态为移动状态。
请参考图7,在笛卡尔空间坐标系中对应有X轴,Y轴和Z轴,其中,X轴对应注射设备710的第一方向701,Y轴对应注射设备710的第二方向702,Z轴对应注射设备710的第三方向703。在本申请实施例中,注射设备710可以等效为与运动传感器720的位置对应的质点。当注射设备710以不规律的加速度自第一端点(0,0,0)开始移动,且最终通过第三端点(1,0,1)时,运动传感器720接收到的位移矢量数据指示位移的距离大小为
Figure BDA0002820460210000101
个单位长度。同时,当注射设备710通过第三端点时,其对应有加速度数据。可选地,加速度数据中包括加速度方向数据以及加速度数值数据,其中,加速度方向数据指示注射设备的加速度方向,加速度数值数据指示注射设备的加速度数值。当加速度数据持续改变时,即可确定当前的应用状态为移动状态。
步骤503,响应于目标加速度方向上的加速度数据持续改变,且目标位移方向上的位移矢量数据符合注射位移矢量要求,确定应用状态为预备注射状态。
在注射设备的应用过程中,预备注射过程即为将注射设备取出,并且进行注射前准备工作的过程。在一个示例中,预备注射过程包括使用者将注射设备从与注射设备相连接的外接设备当中取出,并进行摇晃,在摇晃过后,进行刻度校准。在此过程中,注射设备对应的运动为,向目标方向移动,并在移动到目标位置之后被摇晃。故,在一个示例中,若套接设备接收到的运动数据指示注射设备的加速度状态持续改变,且注射设备的位移矢量指示该注射设备向目标方向移动,并且注射设备被摇晃,即可确定应用状态为预备注射状态。本申请对于预备注射状态所对应的具体数据内容,以及注射设备的移动规律不做限定。
在本申请实施例中,套接装置中存储有与静止状态、移动状态以及预备注射状态对应的运动数据示例,当运动传感器发送至套接设备中的数据类型与套接设备中所存储的运动数据示例类似时,即可确定注射设备所处的应用状态。
综上所述,本申请实施例提供的方法,通过进行对应静止状态、移动状态以及预备注射状态的设置,使套接设备可以根据由运动传感器采集得到的运动数据,对注射设备的应用状态进行更加明确的分析与归纳,提高了对于注射设备的应用状态的分析效率,明确了声音采集单元的触发条件,进一步提高了注射设备对于音频数据的采集效率。
在本申请实施例中,为保证获取数据的准确性,需要进行多组运动数据的获取,并处理得到用于确定注射设备的应用状态的运动数据,图8示出了本申请一个示例性实施例提供的一种音频数据的采集方法的流程图,以该方法应用于电子设备中为例进行说明,该方法包括:
步骤801,获取第一运动传感器的第一运动数据,第一运动数据包括第一加速度数据和第一位移矢量数据。
在本申请实施例中,电子设备实现为与注射设备相连的套接设备。图9示出了本申请一个示例性实施例提供的一种注射设备和套接设备连接时的结构示意图。请参考图9,注射设备910包括装置主体911,装置转动部分912以及读数屏幕913。注射设备在如图9所示的示例中实现为胰岛素笔,套接设备920即实现为套接在胰岛素笔上的胰岛素笔帽。套接设备920中包括供电模块921、声音输入设备922、第一运动传感器923、第二运动传感器924、计算模块925以及通信单元926。
其中,供电模块921用于对胰岛素笔以及胰岛素笔帽进行供电。可选地,供电模块中包括一节纽扣电池。
声音输入设备922即为胰岛素笔帽的声音采集单元。在声音输入设备922被触发而开启后,其即可手机胰岛素笔周围的音频数据。
第一运动传感器923以及第二运动传感器924为设置于胰岛素笔帽内的两个运动传感器。该两个运动传感器位于与胰岛素笔内的不同位置处。如图9所示,第一运动传感器923位于胰岛素笔帽内,且位于胰岛素笔的顶部。第二运动传感器924位于胰岛素笔帽内,且位于胰岛素笔转动部分。
计算模块925为对第一运动传感器923以及第二运动传感器924进行采集,并进行进一步计算的模块。可选地,计算模块925还用于执行运动数据与应用状态的比对功能。
通信单元926为胰岛素笔帽与其他电子设备进行信息交互的模块。在一个示例中,胰岛素笔帽通过通信单元926将通过第一运动传感器923以及第二运动传感器924的运动数据,发送至其他电子设备当中。
在本申请实施例中,第一运动传感器位于注射设备的顶部,第二运动传感器位于注射设备的转动部分。请参考图10,第一运动传感器1001和第二运动传感器1002位于胰岛素笔1010中,且位于同一条直线上。
步骤802,获取第二运动传感器的第二运动数据,第二运动数据包括第二加速度数据和第二位移矢量数据。
在本申请实施例中,运动传感器的数量为两个,即可以通过两个运动传感器的相对位置关系,更好地模拟出注射设备的当前状态。在一个示例中,第一运动传感器和第二运动传感器在注射设备内,并处于同一直线上。请参考图11,在笛卡尔坐标系中,第一运动传感器1101从(0,0,0)运动到(1,0,0),第二运动传感器1102从(0,1,0)运动到(1,0,1),通过第一运动传感器1101和第二运动传感器1102的相对位置关系,即可模拟出注射设备1110的状态的变化。
步骤803,根据第一加速度数据和第二加速度数据得到与注射设备对应的加速度数据。
在本申请实施例中,第一运动传感器采集到的第一运动数据包括第一加速度数据和第一运动矢量数据,第二运动传感器采集到的第二运动数据包括第二加速度数据和第二运动矢量数据。
如步骤802中所述,第一运动数据和第二运动数据用于对注射设备的状态进行确定。在本申请实施例中,通过对第一加速度数据和第二加速度数据的拟合,即可得到与注射设备对应的加速度数据。在一个示例中,第一加速度数据指示第一运动传感器接收到的加速度方向为水平向右,大小为4m/s2,第二运动传感器接收到的加速度方向为水平向右,大小为4m/s2。由于第一加速度的大小和方向与第二加速度的大小和方向均相同,即可确定注射设备的当前加速度为方向水平向右,且大小为4m/s2
步骤804,根据第一位移矢量数据和第二位移矢量数据得到注射设备对应的位移矢量数据。
通过对第一位移矢量数据和第二位移矢量数据的拟合,即可得到与注射设备对应的位移矢量数据。在一个示例中,第一位移矢量数据指示第一运动传感器水平向右位移了10m,第二位移矢量数据指示第二运动传感器水平向右位移了10m。此时,即可确定注射设备整体水平向右位移了10m。
需要说明的是,步骤803与步骤804的实现基础为:套接设备中存储有与注射设备的形态,以及第一运动传感器和第二运动传感器在注射设备上的初始位置的对应数据。在此情况下,当接收到第一运动数据和第二运动数据时,套接设备即可确定注射设备对应的位移矢量数据加速度数据。
步骤805,根据位移矢量数据和加速度数据生成运动数据。
如步骤803以及步骤804中所述,根据每个运动传感器采集到的运动数据,生成指示注射设备整体的运动状态变化的运动数据。
在本申请实施例中,运动数据还包括运动持续时长、运动开始时刻和运动结束时刻中的至少一种。
步骤806,基于运动数据确定注射设备的应用状态。
本申请实施例中,注射设备的应用状态包括静止状态、移动状态和预备注射状态中的至少一种。注射设备的应用状态指示使用者对于注射设备的使用方式。当注射设备处于静止状态时,即指示使用者未与注射设备接触;当注射设备处于移动状态时,即指示使用者携带注射设备进行移动。当注射设备处于预备注射状态时,即指示使用者即将使用注射设备进行注射。而当使用者即将使用注射设备进行注射时,即需启动声音采集模块,进行音频数据的采集。
步骤807,响应于应用状态用于指示注射设备处于预备注射状态,通过声音采集单元采集得到音频数据。
在本申请实施例中,套接设备中存储有与预备注射状态对应的运动数据的示例,当通过运动传感器采集到的运动数据与该运动数据的示例匹配时,套接设备即进行声音采集单元的启动,并通过声音采集单元进行音频数据的采集。
步骤808,通过通信单元向服务器发送音频数据。
在本申请实施例中,套接设备还对应有通信单元。在一个示例中,套接设备通过通信单元与服务器之间建立有通信网络连接。在建立通信网络连接之后,套接设备即可通过该通信网络连接,向服务器进行音频数据的发送。
服务器在接收到音频数据后,首先对音频进行人声以及注射设备声音的提取,以及去噪,随后利用深度神经元网络对于提取的人声以及注射设备声音进行识别。在得到识别结果,并且经过识别结果的置信度检测后,即进行注射数据的记录。
可选地,服务器连接对应连接有终端设备,该终端设备可以实现为一部手机,在手机的应用程序界面上,可以进行注射数据的显示。在一个示例中,如图12所示,应用程序界面实现为注射数据显示界面1200,在注射数据显示界面1200中包括音频信息区域1210和结果提示区域1220。音频信息区域1210中,包括与该次注射对应的音频信息汇总。如图12所示,本次接收到的音频信息为“两次注射笔提示声,间隔20s,人声关键字‘打少了’”。结果提示区域1220中,包括该次注射对应的时间信息“第一次注射时间:2020年12月2日11:30:15、第二次注射时间:2020年12月2日11:30:35”由两次注射对应的时间信息,以及该次注射对应的音频信息汇总所得到的提示信息:“注射间隔时间过短,请下次注射时留意注射剂量”。使用者可以通过可视化界面获知此次的注射情况,并在下次注射过程中进行调整。
在本申请的另一个实施例中,当外接设备上的通信单元无法支持长距离数据传输时,通过具有长距离数据传输功能的其他电子设备,进行音频数据的转发。在一个示例中,外接设备中具有蓝牙单元,此时,外接设备通过蓝牙单元向手机发送音频数据,手机用于通过通信网络连接将该音频数据转发至服务器。
在本申请的另一个实施例中,注射设备以及套接设备对应有外接设备。在一个示例中,套接设备具有蓝牙单元,外接设备实现为胰岛素笔盒。当套接设备套接于注射设备上,并置于胰岛素笔盒内时,套接设备通过蓝牙单元向胰岛素笔盒发送音频数据,胰岛素笔盒即通过通信网络连接将音频数据转发至服务器。
综上所述,本申请实施例提供的方法,通过设置运动传感器以及声音采集单元,并以运动传感器接收到的运动数据作为声音采集单元是否进行音频数据采集的依据,在运动数据指示应用状态为注射状态的情况下,对于智能数据进行采集。通过运动数据直接确定注射设备是否处于预备注射状态,并在处于预备注射状态时进行音频数据采集的方式,保证了声音采集与注射过程的同步情况,提高了注射设备对于声音采集的效率。
通过对于进行两个运动传感器的设置,以对于注射设备在运动过程中的位姿进行确定,提高了对于注射设备的应用状态的判断的准确率。
通过服务器对于音频数据进行接收和处理,得到与注射设备对应的注射数据,在注射设备使用之后对使用者提出正确的反馈,进一步提高了使用者对于注射设备的使用效率。
图13示出了本申请一个示例性实施例提供的一种音频数据的采集方法的过程示意图,以该方法应用于电子设备中为例进行说明,该方法包括:
步骤1301,运动传感器数据收集。
该步骤即为运动传感器进行与注射设备对应的运动数据的采集的过程。在本申请实施例中,运动传感器的数量为至少两个。
步骤1302,生成胰岛素笔当前状态。
该步骤即为根据多个运动传感器的运动数据,最终生成注射设备的应用状态的过程,本申请实施例中,应用状态包括静止状态、移动状态和预备注射状态中的至少一种。
步骤1303,判断胰岛素笔的应用状态是否为注射状态。
该步骤即为根据电子设备中预存的,对应不同应用状态的数据示例,判断胰岛素笔的注射状态的过程。
当胰岛素笔的应用状态是注射状态,也即,前文实施例中所述的预备注射状态时,执行步骤1304。
步骤1304,启动声音输入设备并开始录音。
该步骤即为通过声音采集单元采集得到音频数据的过程。在本申请实施例中,通过对于注射设备的周侧的数据的采集,即可得到音频数据,音频数据中包括了人声、注射设备声音以及环境噪音。
步骤1305,捕获胰岛素注射期间的声音。
可选地,在声音采集单元启动后,电子设备对于注射设备周侧的声音数据进行持续采集,并将采集到的音频数据存储至电子设备中。
步骤1306,采样声音,并发送至智能移动设备或线上云服务器。
该步骤即为对音频数据进行采集,并发送至服务器中进行音频识别处理的过程。可选地,音频数据可以通过智能移动设备或与注射设备对应的外界设备进行转发,并最终发送至线上云服务器中。
步骤1307,关闭声音输入设备并结束录音。
在本申请实施例中,当对于声音的采样时间达到时间阈值后,即结束录音,在结束录音的同时,关闭声音采集单元。
步骤1308,休眠n秒。
在本申请实施例中,运动传感器对应有工作周期。在一个工作周期结束后,运动传感器即进入休眠状态。
在休眠状态结束后,即继续执行步骤1301,重新收集数据。
当胰岛素笔的应用状态是注射状态时,执行步骤1309。
步骤1309,判断声音输入设备是否开启。
该步骤即为判断声音采集单元是否开启的过程。由于当注射设备的应用状态不属于预备注射状态时,注射设备的声音采集单元无需开启。
当声音采集单元开启时,执行步骤1307;当声音采集单元未开启时,执行步骤1308。
综上所述,本申请实施例提供的方法,通过设置运动传感器以及声音采集单元,并以运动传感器接收到的运动数据作为声音采集单元是否进行音频数据采集的依据,在运动数据指示应用状态为注射状态的情况下,对于智能数据进行采集。通过运动数据直接确定注射设备是否处于预备注射状态,并在处于预备注射状态时进行音频数据采集的方式,保证了声音采集与注射过程的同步情况,提高了注射设备对于声音采集的效率。
基于图13的音频数据的采集方法的过程,图14示出了本申请一个示例性实施例提供的一种服务器进行音频数据的分析的过程示意图。请参考图14,该过程包括:
步骤1401,接收采样声音。
该步骤即为服务器进行音频数据的接收的过程。在本申请实施例中,服务器从电子设备中接收到音频数据,或,服务器接收到由终端设备转发的音频数据。
步骤1402,进行转笔声或人声的提取及去噪。
在本申请实施例中,音频数据对应有转笔声以及人声。转笔声以及人声为服务器需要提取的,对于识别读数有益的数据,故服务器对上述数据进行提取,对音频数据中的其他部分进行去噪处理。
步骤1403,利用深度神经元网络识别读数。
可选地,服务器中包括深度神经元网络识别模型,将音频数据输入该神经元网络识别模型后,即可输出得到对于音频数据的识别结果。
步骤1404,判断置信度是否高于设定阈值。
在本申请实施例中,对应识别结果由置信度,在输出识别结果后,即对于识别结果进行置信度判断。
当置信度低于设定阈值时,执行步骤1405。
步骤1405,人工核实数据。
当置信度低于置信阈值时,即通过人工核实的方法进行数据核实,并最终得到注射数据。
步骤1406,记录注射数据。
当置信度高于置信阈值时,即记录该注射数据。可选地,在记录注射数据后,服务器向具有可视化功能的终端设备发送该记录数据,终端设备即将记录数据显示于其记录显示界面中。
图15示出了本申请一个示例性实施例提供的一种音频数据的采集装置的示意图。该装置包括:
获取模块1501,用于获取运动传感器采集得到的运动数据,运动传感器为对应注射设备设置的传感器,运动数据用于指示注射设备在至少一个方向的运动情况;
确定模块1502,用于基于运动数据确定注射设备的应用状态;
采集模块1503,用于响应于应用状态用于指示注射设备处于预备注射状态,通过声音采集单元采集得到音频数据,预备注射状态指示注射设备处于注射工作的过程中,音频数据用于经过识别得到注射设备对应的注射数据。
在一个可选的实施例中,运动数据包括加速度数据和位移矢量数据,加速度数据指示注射设备的瞬时加速度,位移矢量数据指示注射设备在测量时间段内的位移量,加速度数据对应有目标加速度方向,位移矢量数据对应有目标位移方向;
确定模块1502,还用于响应于目标加速度方向上的加速度数据持续改变,且目标位移方向上的位移矢量数据符合注射位移矢量要求,确定应用状态为预备注射状态。
在一个可选的实施例中,运动传感器包括第一运动传感器和第二运动传感器,获取模块1501,还用于获取第一运动传感器的第一运动数据,第一运动数据包括第一加速度数据和第一位移矢量数据;
获取第二运动传感器的第二运动数据,第二运动数据包括第二加速度数据和第二位移矢量数据;
请参考图16,该装置,还包括处理模块1504,用于根据第一加速度数据和第二加速度数据处理得到与注射设备对应的加速度数据;
根据第一位移矢量数据和第二位移矢量数据处理得到注射设备对应的位移矢量数据;
该装置,还包括生成模块1505,用于根据位移矢量数据和加速度数据生成运动数据。
在一个可选的实施例中,应用状态还包括静止状态和移动状态中的至少一种;
静止状态指示注射设备未发生运动;
移动状态指示注射设备处于被移动的过程中。
在一个可选的实施例中,确定模块1502,还用于响应于加速度数据的绝对值小于相对加速度数值阈值,确定应用状态为静止状态;
或,
响应于在目标加速度方向上的加速度数据持续改变,确定应用状态为移动状态。
在一个可选的实施例中,响应于应用状态用于指示注射设备处于预备注射状态,通过声音采集单元采集得到音频数据之后,该装置,还包括发送模块1506,用于通过通信单元向服务器发送音频数据,服务器用于基于音频数据,通过神经网络模型生成与注射设备对应的注射数据。
在一个可选的实施例中,通信单元为蓝牙单元;
发送模块1506,还用于通过蓝牙单元向终端设备发送音频数据,终端设备用于通过通信网络连接将音频数据转发至服务器。
在一个可选的实施例中,通信单元为蓝牙单元;
发送模块1506,还用于通过蓝牙单元向外接设备发送音频数据,外接设备用于套装注射设备,并通过通信网络连接将音频数据转发至服务器。
综上所述,本申请实施例提供的方法,通过设置运动传感器以及声音采集单元,并以运动传感器接收到的运动数据作为声音采集单元是否进行音频数据采集的依据,在运动数据指示应用状态为注射状态的情况下,对于智能数据进行采集。通过运动数据直接确定注射设备是否处于预备注射状态,并在处于预备注射状态时进行音频数据采集的方式,保证了声音采集与注射过程的同步情况,提高了注射设备对于声音采集的效率。
需要说明的是:音频数据的采集装置仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分内容。
图17示出了本申请一个示例性实施例提供的电子设备1700的结构框图。该电子设备1700可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving PictureExperts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备1700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,电子设备1700包括有:处理器1701和存储器1702。
处理器1701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1701可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1701可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1701还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1702中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1701所执行以实现本申请中方法实施例提供的音频数据的采集方法。
在一些实施例中,电子设备1700还可选包括有:外围设备接口1703和至少一个外围设备。处理器1701、存储器1702和外围设备接口1703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1703相连。具体地,外围设备包括:射频电路1704、显示屏1705、摄像头组件1706、音频电路1707、定位组件1708和电源1709中的至少一种。
外围设备接口1703可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1701和存储器1702。在一些实施例中,处理器1701、存储器1702和外围设备接口1703被集成在同一芯片或电路板上;在一些其他实施例中,处理器1701、存储器1702和外围设备接口1703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1704用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1704包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1704还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1705用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1705是触摸显示屏时,显示屏1705还具有采集在显示屏1705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1701进行处理。此时,显示屏1705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1705可以为一个,设置在电子设备1700的前面板;在另一些实施例中,显示屏1705可以为至少两个,分别设置在电子设备1700的不同表面或呈折叠设计;在另一些实施例中,显示屏1705可以是柔性显示屏,设置在电子设备1700的弯曲表面上或折叠面上。甚至,显示屏1705还可以设置成非矩形的不规则图形,也即异形屏。显示屏1705可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1706用于采集图像或视频。可选地,摄像头组件1706包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种。在一些实施例中,摄像头组件1706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1701进行处理,或者输入至射频电路1704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备1700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1701或射频电路1704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1707还可以包括耳机插孔。
定位组件1708用于定位电子设备1700的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件1708可以是基于美国的GPS(Global Positioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1709用于为电子设备1700中的各个组件进行供电。电源1709可以是交流电、直流电、一次性电池或可充电电池。当电源1709包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,电子设备1700还包括有一个或多个传感器1710。该一个或多个传感器1710包括但不限于:加速度传感器1711、陀螺仪传感器1712、压力传感器1713、指纹传感器1714、光学传感器1715以及接近传感器1716。
加速度传感器1711可以检测以电子设备1700建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1711可以用于检测重力加速度在三个坐标轴上的分量。处理器1701可以根据加速度传感器1711采集的重力加速度信号,控制显示屏1705以横向视图或纵向视图进行用户界面的显示。加速度传感器1711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1712可以检测电子设备1700的机体方向及转动角度,陀螺仪传感器1712可以与加速度传感器1711协同采集用户对电子设备1700的3D动作。处理器1701根据陀螺仪传感器1712采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1713可以设置在电子设备1700的侧边框和/或显示屏1705的下层。当压力传感器1713设置在电子设备1700的侧边框时,可以检测用户对电子设备1700的握持信号,由处理器1701根据压力传感器1713采集的握持信号进行左右手识别或快捷操作。当压力传感器1713设置在显示屏1705的下层时,由处理器1701根据用户对显示屏1705的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1714用于采集用户的指纹,由处理器1701根据指纹传感器1714采集到的指纹识别用户的身份,或者,由指纹传感器1714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1701授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1714可以被设置在电子设备1700的正面、背面或侧面。当电子设备1700上设置有物理按键或厂商Logo时,指纹传感器1714可以与物理按键或厂商Logo集成在一起。
光学传感器1715用于采集环境光强度。在一个实施例中,处理器1701可以根据光学传感器1715采集的环境光强度,控制显示屏1705的显示亮度。
接近传感器1716,也称距离传感器,通常设置在电子设备1700的前面板。接近传感器1716用于采集用户与电子设备1700的正面之间的距离。在一个实施例中,当接近传感器1716检测到用户与电子设备1700的正面之间的距离逐渐变小时,由处理器1701控制显示屏1705从亮屏状态切换为息屏状态;当接近传感器1716检测到用户与电子设备1700的正面之间的距离逐渐变大时,由处理器1701控制显示屏1705从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图17中示出的结构并不构成对电子设备1700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例还提供一种计算机可读存储介质,该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述音频数据的采集方法。
本申请还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的音频数据的采集方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述音频数据的采集方法。
可选地,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种音频数据的采集方法,其特征在于,所述方法包括:
获取运动传感器采集得到的运动数据,所述运动数据中包括套接设备在注射设备处于应用过程中的第一位姿变化,以及所述注射设备在应用过程中的第二位姿变化,所述运动传感器包括第一运动传感器和第二运动传感器,所述第一运动传感器位于所述套接设备内,所述第二运动传感器位于所述注射设备内,且所述第二运动传感器与所述套接设备建立有通信连接,所述套接设备固定于所述注射设备上,所述第一位姿变化和所述第二位姿变化是根据所述第一运动传感器在所述套接设备中的第三位置、所述第二运动传感器在所述注射设备中的第四位置,以及所述套接设备与所述注射设备之间的运动规则确定的;
响应于所述套接设备接收到的所述运动数据指示所述注射设备的加速度状态持续改变,所述注射设备的唯一矢量指示所述注射设备向目标方向移动,且所述注射设备被摇晃,确定所述注射设备的应用状态为预备注射状态,所述预备注射状态是所述注射设备取出之后,并进行注射之前的状态;
响应于所述注射设备的应用状态为所述预备注射状态,启动声音采集单元进行音频数据的采集;
响应于所述应用状态用于指示所述注射设备处于所述预备注射状态,通过声音采集单元采集得到音频数据,所述音频数据用于指示服务器基于对采集的所述音频数据进行降噪处理得到的转笔声以及人声确定的所述注射设备对应的注射数据。
2.根据权利要求1所述的方法,其特征在于,所述运动数据包括加速度数据和位移矢量数据,所述加速度数据指示所述注射设备的瞬时加速度,所述位移矢量数据指示所述注射设备在测量时间段内的位移量,所述加速度数据对应有目标加速度方向,所述位移矢量数据对应有目标位移方向;
所述基于所述运动数据确定所述注射设备的应用状态,包括:
响应于所述目标加速度方向上的加速度数据持续改变,且所述目标位移方向上的所述位移矢量数据符合注射位移矢量要求,确定所述应用状态为所述预备注射状态。
3.根据权利要求2所述的方法,其特征在于,所述运动传感器包括第一运动传感器和第二运动传感器;
所述基于所述运动数据确定所述注射设备的应用状态之前,还包括:
获取所述第一运动传感器的第一运动数据,所述第一运动数据包括第一加速度数据和第一位移矢量数据;
获取所述第二运动传感器的第二运动数据,所述第二运动数据包括第二加速度数据和第二位移矢量数据;
根据所述第一加速度数据和所述第二加速度数据处理得到与所述注射设备对应的所述加速度数据;
根据所述第一位移矢量数据和所述第二位移矢量数据处理得到所述注射设备对应的所述位移矢量数据;
根据所述位移矢量数据和所述加速度数据生成所述运动数据。
4.根据权利要求2所述的方法,其特征在于,所述应用状态还包括静止状态和移动状态中的至少一种;
所述静止状态指示所述注射设备未发生运动;
所述移动状态指示所述注射设备处于被移动的过程中。
5.根据权利要求4所述的方法,其特征在于,所述基于所述运动数据确定所述注射设备的应用状态,包括:
响应于所述加速度数据的绝对值小于相对加速度数值阈值,确定所述应用状态为所述静止状态;
或,
响应于在所述目标加速度方向上的所述加速度数据持续改变,确定所述应用状态为所述移动状态。
6.根据权利要求1至3任一所述的方法,其特征在于,所述响应于所述应用状态用于指示所述注射设备处于所述预备注射状态,通过声音采集单元采集得到音频数据之后,还包括:
通过通信单元向服务器发送所述音频数据,所述服务器用于基于所述音频数据,通过神经网络模型生成与所述注射设备对应的注射数据。
7.根据权利要求6所述的方法,其特征在于,所述通信单元为蓝牙单元;
所述方法,还包括:
通过蓝牙单元向终端设备发送所述音频数据,所述终端设备用于通过通信网络连接将所述音频数据转发至所述服务器。
8.根据权利要求6所述的方法,其特征在于,所述通信单元为蓝牙单元;
所述方法,还包括:
通过蓝牙单元向外接设备发送所述音频数据,所述外接设备用于套装所述注射设备,并通过通信网络连接将所述音频数据转发至所述服务器。
9.一种音频数据的采集装置,其特征在于,所述装置包括:
获取模块,用于获取运动传感器采集得到的运动数据,所述运动数据中包括套接设备在注射设备处于应用过程中的第一位姿变化,以及所述注射设备在应用过程中的第二位姿变化,所述运动传感器包括第一运动传感器和第二运动传感器,所述第一运动传感器位于所述套接设备内,所述第二运动传感器位于所述注射设备内,且所述第二运动传感器与所述套接设备建立有通信连接,所述套接设备固定于所述注射设备上,所述第一位姿变化和所述第二位姿变化是根据所述第一运动传感器在所述套接设备中的第三位置、所述第二运动传感器在所述注射设备中的第四位置,以及所述套接设备与所述注射设备之间的运动规则确定的;
用于响应于所述套接设备接收到的所述运动数据指示所述注射设备的加速度状态持续改变,所述注射设备的唯一矢量指示所述注射设备向目标方向移动,且所述注射设备被摇晃,确定所述注射设备的应用状态为预备注射状态的模块,所述预备注射状态是所述注射设备取出之后,并进行注射之前的状态;
用于响应于所述注射设备的应用状态为所述预备注射状态,启动声音采集单元进行音频数据的采集的模块;
采集模块,用于响应于所述应用状态用于指示所述注射设备处于所述预备注射状态,通过声音采集单元采集得到音频数据,所述音频数据用于指示服务器基于对采集的所述音频数据进行降噪处理得到的转笔声以及人声确定的所述注射设备对应的注射数据。
10.根据权利要求9所述的装置,其特征在于,所述运动数据包括加速度数据和位移矢量数据,所述加速度数据指示所述注射设备的瞬时加速度,所述位移矢量数据指示所述注射设备在测量时间段内的位移量,所述加速度数据对应有目标加速度方向,所述位移矢量数据对应有目标位移方向;
确定模块,用于响应于所述目标加速度方向上的加速度数据持续改变,且所述目标位移方向上的所述位移矢量数据符合注射位移矢量要求,确定所述应用状态为所述预备注射状态。
11.根据权利要求10所述的装置,其特征在于,所述运动传感器包括第一运动传感器和第二运动传感器;
所述基于所述运动数据确定所述注射设备的应用状态之前,所述获取模块,还用于获取所述第一运动传感器的第一运动数据,所述第一运动数据包括第一加速度数据和第一位移矢量数据;
获取所述第二运动传感器的第二运动数据,所述第二运动数据包括第二加速度数据和第二位移矢量数据;
该装置,还包括处理模块,用于根据所述第一加速度数据和所述第二加速度数据处理得到与所述注射设备对应的所述加速度数据;
根据所述第一位移矢量数据和所述第二位移矢量数据处理得到所述注射设备对应的所述位移矢量数据;
该装置,还包括生成模块,用于根据所述位移矢量数据和所述加速度数据生成所述运动数据。
12.根据权利要求10所述的装置,其特征在于,所述应用状态还包括静止状态和移动状态中的至少一种;
所述静止状态指示所述注射设备未发生运动;
所述移动状态指示所述注射设备处于被移动的过程中。
13.根据权利要求12所述的装置,其特征在于,
所述确定模块,还用于响应于所述加速度数据的绝对值小于相对加速度数值阈值,确定所述应用状态为所述静止状态;
或,
响应于在所述目标加速度方向上的所述加速度数据持续改变,确定所述应用状态为所述移动状态。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一段程序,所述至少一段程序由所述处理器加载并执行以实现如权利要求1至8任一所述的音频数据的采集方法。
15.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有至少一段程序,所述至少一段程序由处理器加载并执行以实现如权利要求1至8任一所述的音频数据的采集方法。
CN202011430627.2A 2020-12-07 2020-12-07 音频数据的采集方法、装置、设备及可读存储介质 Active CN112604084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011430627.2A CN112604084B (zh) 2020-12-07 2020-12-07 音频数据的采集方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011430627.2A CN112604084B (zh) 2020-12-07 2020-12-07 音频数据的采集方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112604084A CN112604084A (zh) 2021-04-06
CN112604084B true CN112604084B (zh) 2023-04-07

Family

ID=75229650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011430627.2A Active CN112604084B (zh) 2020-12-07 2020-12-07 音频数据的采集方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112604084B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1662358B1 (en) * 2004-11-24 2009-10-21 Research In Motion Limited System and Method for Selectively Activating a Communication Device
AT506690B1 (de) * 2008-06-16 2009-11-15 Pharma Consult Ges M B H & Co Injektionsvorrichtung
JP2016526471A (ja) * 2013-07-12 2016-09-05 オシラリ リミテッド ライアビリティ カンパニー 音声に基づく薬物送達モニター
CA2875843A1 (en) * 2013-12-20 2015-06-20 Solutions Novika Activity, posture and heart monitoring system and method
CH713114A2 (de) * 2016-11-09 2018-05-15 Tecpharma Licensing Ag Elektronisches Zusatzmodul für Injektionsgeräte.
US10332623B2 (en) * 2017-01-17 2019-06-25 Kaleo, Inc. Medicament delivery devices with wireless connectivity and event detection
CN107158522A (zh) * 2017-05-31 2017-09-15 北京糖护科技有限公司 一种胰岛素注射器智能化装置
CN111511423A (zh) * 2017-12-28 2020-08-07 赛诺菲 用于附接到注射装置的传感器装置
CN211157841U (zh) * 2019-10-21 2020-08-04 北京糖护科技有限公司 一种具有高精度注射数据采集装置的胰岛素笔

Also Published As

Publication number Publication date
CN112604084A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112911182B (zh) 游戏互动方法、装置、终端及存储介质
CN110971930B (zh) 虚拟形象直播的方法、装置、终端及存储介质
CN107885533B (zh) 管理组件代码的方法及装置
CN110136228B (zh) 虚拟角色的面部替换方法、装置、终端及存储介质
EP3654335A1 (en) Method and apparatus for displaying pitch information in live broadcast room, and storage medium
CN109327608B (zh) 歌曲分享的方法、终端、服务器和系统
CN110992493A (zh) 图像处理方法、装置、电子设备及存储介质
CN111382624A (zh) 动作识别方法、装置、设备及可读存储介质
CN109922356B (zh) 视频推荐方法、装置和计算机可读存储介质
CN110059686B (zh) 字符识别方法、装置、设备及可读存储介质
CN110572716B (zh) 多媒体数据播放方法、装置及存储介质
WO2019127899A1 (zh) 歌词添加方法及装置
CN111290948B (zh) 测试数据获取方法、装置、计算机设备及可读存储介质
CN109982129A (zh) 短视频的播放控制方法、装置及存储介质
CN112468884A (zh) 动态资源显示方法、装置、终端、服务器及存储介质
CN110209316B (zh) 类别标签显示方法、装置、终端及存储介质
CN108319712A (zh) 获取歌词数据的方法和装置
CN108509127B (zh) 启动录屏任务的方法、装置及计算机设备
CN110275655A (zh) 歌词显示方法、装置、设备及存储介质
CN113032590A (zh) 特效展示方法、装置、计算机设备及计算机可读存储介质
CN110134902B (zh) 资料信息生成方法、装置及存储介质
CN112612387A (zh) 展示信息的方法、装置、设备及存储介质
CN114827651B (zh) 信息处理方法、装置、电子设备及存储介质
CN112604084B (zh) 音频数据的采集方法、装置、设备及可读存储介质
CN114595019A (zh) 应用程序的主题设置方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant