CN110400639B - 一种基于人工智能技术的多模婴儿语言生活管理车 - Google Patents
一种基于人工智能技术的多模婴儿语言生活管理车 Download PDFInfo
- Publication number
- CN110400639B CN110400639B CN201910630225.8A CN201910630225A CN110400639B CN 110400639 B CN110400639 B CN 110400639B CN 201910630225 A CN201910630225 A CN 201910630225A CN 110400639 B CN110400639 B CN 110400639B
- Authority
- CN
- China
- Prior art keywords
- infant
- basic information
- server
- mobile terminal
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 11
- 238000005516 engineering process Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000013135 deep learning Methods 0.000 claims abstract description 37
- 206010011469 Crying Diseases 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000008921 facial expression Effects 0.000 claims abstract description 21
- 230000036760 body temperature Effects 0.000 claims abstract description 10
- 230000006854 communication Effects 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims abstract description 8
- 230000007175 bidirectional communication Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 23
- 230000014509 gene expression Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 5
- 239000013604 expression vector Substances 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 208000009205 Tinnitus Diseases 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 231100000886 tinnitus Toxicity 0.000 description 2
- 208000000884 Airway Obstruction Diseases 0.000 description 1
- 206010008589 Choking Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000035922 thirst Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供了一种基于人工智能技术的多模婴儿语言生活管理车，包括车体，车体包括：检测装置，包括控制器及与其连接的检测模块，检测模块用于采集基础信息，基础信息包括婴儿的人体特征信息、车体受到的压力、车体的平衡度及纸尿裤的湿度，人体特征信息包括面部表情、哭声和体温；移动终端，用于接收基础信息；服务器，与移动终端建立双向通讯连接；运算终端，与服务器建立双向通讯连接，用于通过服务器接收移动终端发送的基础信息，并用于使用预设的训练模型对转化为深度学习格式的基础信息进行运算，并将获得的运算结果通过服务器返回至移动终端。
Description
技术领域
本发明涉及婴儿车技术领域，特别涉及一种基于人工智能技术的多模婴儿语言生活管理车。
背景技术
当今社会，很多人们第一次照顾婴儿的时候，不了解婴儿的特性，而婴儿不会说话，只能通过哭声和各种肢体语言表达他们的想法，所以人们无法正确获知婴儿的需求，不能更好地照顾婴儿。若人们从婴儿的面部表情或哭声获取到错误的信息，对婴儿做出错误的照顾方式，轻则降低婴儿生活的舒适性，重则影响婴儿的发育。
本发明的目的就是通过深度学习模型把经验性的总结转化数据化的标准，转而翻译婴儿的想法，通过移动端传递给父母。为婴儿和父母之间建立一个沟通交流的平台。以此解决父母在育儿过程中缺乏经验的问题。
发明内容
本发明提供一种基于人工智能技术的多模婴儿语言生活管理车，用以获得准确性远高于单一变量的判断的运算结果，为用户提供更加贴近婴儿想法的运算结果，建立一个婴儿与用户之间准确沟通的平台，解决用户在育婴过程中缺乏经验的问题。
为解决上述技术问题，本发明提出的一种基于人工智能技术的多模婴儿语言生活管理车，包括车体，所述车体包括：
检测装置，包括控制器及与其连接的检测模块，所述检测模块用于采集基础信息，所述基础信息包括婴儿的人体特征信息、车体受到的压力、车体的平衡度及纸尿裤的湿度，所述人体特征信息包括面部表情、哭声和体温；
移动终端，用于接收所述基础信息；
服务器，与所述移动终端建立双向通讯连接；
运算终端，与所述服务器建立双向通讯连接，用于通过所述服务器接收所述移动终端发送的所述基础信息，并用于使用预设的训练模型对转化为适于进行深度学习的格式的基础信息进行运算，并将获得的运算结果通过所述服务器返回至所述移动终端。
优选的，所述运算终端包括：
传输层：用于和所述服务器之间建立双向通讯连接；
数据分析层：用于对所述基础信息的格式进行分析，并确定将所述基础信息的格式转化为适于进行深度学习计算的格式的转化方式；
数据处理层：用于将所述基础信息转化成适于进行深度学习计算的格式；
数据计算层：用于使用所述训练模型对转化后的所述基础信息进行深度学习计算，获得运算结果。
优选的，所述移动终端还用于实时向用户展示所述基础信息和接收到的所述运算结果，所述移动终端还能根据所述运算结果向用户提供相应的育婴建议；
所述服务器根据向所述移动终端发出的所述基础信息和接收所述运算终端发送的运算结果建立用户的历史记录列表文件。
优选的，所述训练模型包括面部表情训练模型和哭声训练模型，其中，
形成所述面部表情训练模型包括：
采集婴儿不止一个表情状态的视频文件，形成表情视频包；
对所述表情视频包中的视频文件逐帧提取，对婴儿的表情状态进行多步骤处理形成第一数据集，所述多步骤处理包括筛选、像素处理、图片剪裁、灰度转化、重命名及分类打标；
将所述第一数据集发送至所述服务器，通过Tensor flow机器学习框架对所述第一数据集进行训练，获得训练后的第一数据集；
对训练后的第一数据集进行若干次调试、调优，以获得面部表情训练模型；
形成所述哭声训练模型包括：
采集婴儿不止一种状态下的哭声，形成哭声音频包；
对所述哭声音频包中的哭声进行采样，记录各所述哭声的声波和振幅，将所述哭声进行分类形成第二数据集；
将所述第二数据集发送至所述服务器，通过Tensor flow机器学习框架对所述第二数据集进行训练，获得训练后的第二数据集；
对训练后的第二数据集进行若干次调试、调优，以获得哭声训练模型。
优选的，所述检测模块包括摄像头模块和传感器模块，其中，
所述摄像头模块用于采集婴儿的面部表情和哭声；所述摄像头模块还用于实时向所述移动终端发送婴儿的视频信息；
所述传感器模块设于所述车体上，包括温度传感器、压力传感器、湿度传感器和陀螺仪，所述温度传感器用于检测婴儿的体温；所述压力传感器用于检测车体的受到的压力；所述湿度传感器用于检测婴儿的纸尿裤的湿度；所述陀螺仪用于检测所述车体的平衡度。
优选的，所述运算终端还包括：
深度学习数据库：深度学习数据库中包含有P条不同婴儿在不同情况的记录的指标数值化后的值，其中每条记录中的指标都包括在该情况下的婴儿的n1种人体特征信息指标和n2种外界环境指标指标，共n个指标数值化后的值，形成一个相应的学习矩阵A，其中所述人体特征信息包括面部表情、哭声、婴儿年龄、体重等，其中所述外界环境指标包括太阳强度、体温、车体受到的压力、车体的平衡度及纸尿裤的湿度等，同时对于每条记录都在记录的最后标注该记录所对应的婴儿的表现形式，所述表现形式则为该条记录所对应的婴儿的需求，形成表现向量B,所述向量B拥有P个值，每个值都表示为所述记录对应的婴儿的表现形式(即个值均为一段文字叙述，并不是一个数字)；所述数值化则为将一些不能用数值所表示的东西用数值进行表示，例如哭声可以为大哭、呜咽、哽咽、啜泣、抽泣等，这些表现为非数值的东西，则可以用1代表大哭、2代表呜咽等，将所述哭声分别用不同的数值表现出来。
训练中心：所述训练中心用于对深度学习数据库中的矩阵A进行机器学习，其中机器学习的具体步骤如下101-102所述
101将矩阵A中的数据利用公式(1)进行数据的归一化
其中为at归一化后的值，at表示需要归一化的数据为第t个指标的值，At为矩阵A中的第t个指标所有的值组成的集合，e为自然常数，t＝1、2、3……n,将矩阵A中的所有数据都利用公式(1)归一化后，可以得到新矩阵A*；
102将矩阵A*带入公式(2)求解出每个指标的权重系数，
|A*-λE|＝0
(2)
其中E为单位矩阵，所求解出来的λ则为所需的权重系数，且λ为包含有n个值的一个向量集合；
运算中心：利用所述检测装置中的检测模块，采集婴儿所述深度学习数据库中的n个指标的值，并将该所述指标的值数值化，然后利用公式(1)将所述指标的值归一化，形成向量C，将归一化后的向量带入公式(3)，求解出向量C与所述深度学习数据库中的每条记录的匹配度
其中，ρt为向量C与深度学习数据库中第t条记录之间的匹配度，Ci为向量C中的第i个值，λi利用公式(2)计算所得的权重系数中的第i个值，为矩阵A*第t行第i列的值，i＝1、2、3……n,t＝1、2、3……p,计算出所有的ρt，寻找ρt中的最大值ρj，j小于等于P，则所述最大值所对应的Bj则为所述检测模块所采集的基础信息所获得的运算结果，其中Bj为深度学习数据库中所述标注该记录形成的向量B的第j个值。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例的整体框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本实施例提供的一种基于人工智能技术的多模婴儿语言生活管理车，包括车体，车体包括：
检测装置，包括控制器及与其连接的检测模块，检测模块用于采集基础信息，基础信息包括婴儿的人体特征信息、车体受到的压力、车体的平衡度及纸尿裤的湿度，人体特征信息包括面部表情、哭声和体温；
移动终端，用于接收基础信息；
服务器，与移动终端建立双向通讯连接；
运算终端，与服务器建立双向通讯连接，用于通过服务器接收移动终端发送的基础信息，并用于使用预设的训练模型对转化为适于进行深度学习的格式的基础信息进行运算，并将获得的运算结果通过服务器返回至移动终端。
上述技术方案的工作原理：如图1所示，在本实施例中，检测装置上还设有wifi模块，控制器能控制检测模块将其采集的基础信息通过wifi模块发送至移动终端，该移动终端可以是用户的手机；移动终端通过上行传输网络将基础信息发送至服务器；服务器将接收到的基础信息发送至运算终端，由运算终端对基础信息进行运算，获得运算结果，该运算结果即为婴儿当前想要表达的想法，例如：饥饿、疼痛、口渴等，并将运算结果返回至服务器；服务器通过下行传输网络将运算结果发送至移动终端；移动终端先将该运算结果转化成可读形式的运算结果，然后将可读形式的运算结果展示给用户。
上述技术方案的有益效果：在本技术方案中，基础信息包括婴儿的人体特征信息、车体受到的压力、车体的平衡度及纸尿裤的湿度，使得运算终端能结合多种性质数据进行综合判断，从而获得准确性远高于单一变量的判断的运算结果，为用户提供更加贴近婴儿想法的运算结果，建立一个婴儿与用户之间准确沟通的平台，以解决用户在育婴过程中缺乏经验的问题；很多人第一次做父母，并不明白婴儿的哭声和肢体动作的含义，例如早上6点哭，或者肢体动，代表的可能是饥饿，而中10点哭可能代表的是尿了，需要更换衣服等，系统通过传感器获取婴儿的声音和各种肢体动作的判断婴儿的想法，把婴儿的想法翻译成语言通过客户端通知给父母，使用这婴儿车的人越多，婴儿语言的翻译越准确。
在一个实施例中，运算终端包括：
传输层：用于和服务器之间建立双向通讯连接；
数据分析层：用于对基础信息的格式进行分析，并确定将基础信息的格式转化为适于进行深度学习计算的格式的转化方式；
数据处理层：用于将基础信息转化成适于进行深度学习计算的格式；
数据计算层：用于使用训练模型对转化后的基础信息进行深度学习计算，获得运算结果。
上述技术方案的工作原理：在本实施例中，运算终端通过传输层接收服务器发送的基础信息，也可以通过传输层将数据计算层获得的运算结果返回至服务器；数据分析层可以分析传输层接收到的基础信息的格式，并确定将基础信息的当前格式转化为适于进行深度学习计算的格式的转化方式；数据处理层可以根据数据分析层确定的转化方式将基础信息转化为适于进行深度学习计算的格式；数据计算层对转化格式后的基础信息进行深度学习计算，获得运算结果。
上述技术方案的有益效果：在本技术方案中，运算终端根据基础信息最终获得表示婴儿想法的运算结果，为本发明提供重要的数据依据。
在一个实施例中，移动终端还用于实时向用户展示基础信息和接收到的运算结果，移动终端还能根据运算结果向用户提供相应的育婴建议；
服务器根据移动终端发出的基础信息和接收运算终端发送的运算结果建立用户的历史记录列表文件。
上述技术方案的工作原理及有益效果：在本实施例中，移动终端能实时向用户展示基础信息，使得用户能时刻掌握婴儿的信息；移动终端还能根据运算结果向用户提供与运算结果对应的育婴建议，有助于用户更好地照顾婴儿；服务器根据基础信息和运算结果建立用户的历史记录列表文件，该历史记录列表文件能全面记录婴儿的成长情况，当婴儿生病时，能为医生提供婴儿最为全面、准确的信息，有助于医生对婴儿的治疗。
在一个实施例中，训练模型包括面部表情训练模型和哭声训练模型，其中，
形成面部表情训练模型包括：
采集婴儿不止一个表情状态的视频文件，形成表情视频包；
对表情视频包中的视频文件逐帧提取，对婴儿的表情状态进行多步骤处理形成第一数据集，多步骤处理包括筛选、像素处理、图片剪裁、灰度转化、重命名及分类打标；
将第一数据集发送至服务器，通过Tensor flow机器学习框架对第一数据集进行训练，获得训练后的第一数据集；
对训练后的第一数据集进行若干次调试、调优，以获得面部表情训练模型；
形成哭声训练模型包括：
采集婴儿不止一种状态下的哭声，形成哭声音频包；
对哭声音频包中的哭声进行采样，记录各哭声的声波和振幅，将哭声进行分类形成第二数据集；
将第二数据集发送至服务器，通过Tensor flow机器学习框架对第二数据集进行训练，获得训练后的第二数据集；
对训练后的第二数据集进行若干次调试、调优，以获得哭声训练模型。
上述技术方案的工作原理及有益效果：在本实施例中，通过采集婴儿不止一个表情状态的视频文件和不止一种状态下的哭声，最终形成面部表情训练模型和哭声训练模型，能提高面部表情训练模型和哭声训练模型对基础信息运算的准确性，进而提高运算结果的准确性，为用户和婴儿之间提供一个有效沟通的平台。
在一个实施例中，检测模块包括摄像头模块和传感器模块，其中，
摄像头模块用于采集婴儿的面部表情和哭声；摄像头模块还用于实时向移动终端发送婴儿的视频信息；
传感器模块设于车体上，包括温度传感器、压力传感器、湿度传感器和陀螺仪，温度传感器用于检测婴儿的体温；压力传感器用于检测车体的受到的压力；湿度传感器用于检测婴儿的纸尿裤的湿度；陀螺仪用于检测车体的平衡度。
上述技术方案的工作原理及有益效果：在本实施例中，摄像头模块能通过wifi模块实时向移动终端传送婴儿的视频信息，有助于用户随时掌握婴儿的动态信息；传感器模块将采集到的婴儿的体温、车体受到的压力、纸尿裤的湿度、纸尿裤的湿度和车体的平衡度，为运算终端进行计算提供数据源。
优选的，所述运算终端包括，
深度学习数据库：深度学习数据库中包含有P条不同婴儿在不同情况的记录的指标数值化后的值，其中每条记录中的指标都包括在该情况下的婴儿的n1种人体特征信息指标和n2种外界环境指标指标，共n个指标，形成一个相应的学习矩阵A，其中所述人体特征信息包括面部表情、哭声、婴儿年龄、体重等，其中所述外界环境指标包括太阳强度、体温、车体受到的压力、车体的平衡度及纸尿裤的湿度等，同时对于每条记录都在记录的最后标注该记录所对应的婴儿的表现形式，形成表现向量B；
训练中心：所述训练中心用于对深度学习数据库中的矩阵A进行机器学习，其中机器学习的具体步骤如下101-102所述
101将矩阵A中的数据利用公式(1)进行数据的归一化
其中为at归一化后的值，at表示需要归一化的数据为第t个指标的值，At为矩阵A中的第t个指标所有的值组成的集合，e为自然常数，t＝1、2、3……n,将矩阵A中的所有数据都利用公式(1)归一化后，可以得到新矩阵A*；
利用公式(1)可以将矩阵A中的不同的值之间的差异减小，避免某个指标过大而对其他指标产生影响，同时去除单位对结果产生的影响，同时利用公式(1)时只需要考虑矩阵中的该指标的最大值，时计算量大幅度减小。
102将矩阵A*带入公式(2)求解出每个指标的权重系数，
|A*-λE|＝0
(2)
其中E为单位矩阵，所求解出来的λ则为所需的权重系数，且λ为包含有n个值的一个向量集合；
利用公式(2)可以将根据每个指标所包含信息量的不同给予一定的权重值，并且该权重值是根据数据的信息量计算所得，并非人为主观的给予，从而可以去除冗余信息，让后面计算匹配度的时候能够更科学的得到不同情况下的匹配度。
运算中心：利用所述检测装置中的检测模块，采集婴儿所述深度学习数据库中的n个指标的值，并将该所述指标的值数值化，然后利用公式(1)将所述指标的值归一化，形成向量C，将归一化后的向量带入公式(3)，求解出向量C与所述深度学习数据库中的每条记录的匹配度
其中，ρt为向量C与深度学习数据库中第t条记录之间的匹配度，Ci为向量C中的第i个值，λi利用公式(2)计算所得的权重系数中的第i个值，为矩阵A*第t行第i列的值，i＝1、2、3……n,t＝1、2、3……p,计算出所有的ρt，寻找ρt中的最大值ρj，j小于等于P，则所述最大值所对应的Bj则为所述检测模块所采集的基础信息所获得的运算结果，其中Bj为深度学习数据库中所述标注该记录形成的向量B的第j个值。
利用公式(3)在求解匹配度的时候，对匹配度所有的指标根据所得到的权重的不同，在计算的时候给予了不同的权重系数，让匹配度能更好的考虑到了不同指标的重要性，而并不是多个指标的堆积。
同时利用上述技术，通过简单的机器学习，可以将采集模块所采集的基础信息通过简单的运算得到相应的运算结果，完成信息的匹配。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (4)
1.一种基于人工智能技术的多模婴儿语言生活管理车，包括车体，其特征在于，所述车体包括：
检测装置，包括控制器及与其连接的检测模块，所述检测模块用于采集基础信息，所述基础信息包括婴儿的人体特征信息、车体受到的压力、车体的平衡度及纸尿裤的湿度，所述人体特征信息包括面部表情、哭声和体温；
移动终端，用于接收所述基础信息；
服务器，与所述移动终端建立双向通讯连接；
运算终端，与所述服务器建立双向通讯连接，用于通过所述服务器接收所述移动终端发送的所述基础信息，并用于使用预设的训练模型对转化为适于进行深度学习的格式的基础信息进行运算，并将获得的运算结果通过所述服务器返回至所述移动终端；
其中，所述训练模型包括面部表情训练模型和哭声训练模型，其中，
形成所述面部表情训练模型包括：
采集婴儿不止一个表情状态的视频文件，形成表情视频包；
对所述表情视频包中的视频文件逐帧提取，对婴儿的表情状态进行多步骤处理形成第一数据集，所述多步骤处理包括筛选、像素处理、图片剪裁、灰度转化、重命名及分类打标；
将所述第一数据集发送至所述服务器，通过Tensor flow机器学习框架对所述第一数据集进行训练，获得训练后的第一数据集；
对训练后的第一数据集进行若干次调试、调优，以获得面部表情训练模型；
形成所述哭声训练模型包括：
采集婴儿不止一种状态下的哭声，形成哭声音频包；
对所述哭声音频包中的哭声进行采样，记录各所述哭声的声波和振幅，将所述哭声进行分类形成第二数据集；
将所述第二数据集发送至所述服务器，通过Tensor flow机器学习框架对所述第二数据集进行训练，获得训练后的第二数据集；
对训练后的第二数据集进行若干次调试、调优，以获得哭声训练模型；
所述运算终端还包括：
深度学习数据库：深度学习数据库中包含有P条不同婴儿在不同情况的记录的指标数值化后的值，其中每条记录中的指标都包括在该情况下的婴儿的n1种人体特征信息指标和n2种外界环境指标，共n个指标数值化后的值，形成一个相应的学习矩阵A，同时对于每条记录都在记录的最后标注该记录所对应的婴儿的表现形式，所述表现形式则为该条记录所对应的婴儿的需求，形成表现向量B,所述向量B拥有P个值，每个值都表示为所述记录对应的婴儿的表现形式，则所述值均为一段文字叙述，并不是一个数字；
训练中心：所述训练中心用于对深度学习数据库中的矩阵A进行机器学习，其中机器学习的具体步骤如下101-102所述：
101、将矩阵A中的数据利用公式(1)进行数据的归一化
其中为at归一化后的值，at表示需要归一化的数据为第t个指标的值，At为矩阵A中的第t个指标所有的值组成的集合，e为自然常数，t＝1、2、3……n,将矩阵A中的所有数据都利用公式(1)归一化后，可以得到新矩阵A*；
102将矩阵A*带入公式(2)求解出每个指标的权重系数，
|A*-λE|＝0 (2)
其中E为单位矩阵，所求解出来的λ则为所需的权重系数，且λ为包含有n个值的一个向量集合；
运算中心：利用所述检测装置中的检测模块，采集婴儿所述深度学习数据库中的n个指标的值，并将该所述指标的值数值化，然后利用公式(1)将所述指标的值归一化，形成向量C，将归一化后的向量带入公式(3)，求解出向量C与所述深度学习数据库中的每条记录的匹配度
其中，ρt为向量C与深度学习数据库中第t条记录之间的匹配度，Ci为向量C中的第i个值，λi利用公式(2)计算所得的权重系数中的第i个值，为矩阵A*第t行第i列的值，i＝1、2、3……n,t＝1、2、3……p,计算出所有的ρt，寻找ρt中的最大值ρj，j小于等于P，则所述最大值所对应的Bj则为所述检测模块所采集的基础信息所获得的运算结果，其中Bj为深度学习数据库中所述标注该记录形成的向量B的第j个值。
2.根据权利要求1所述的一种基于人工智能技术的多模婴儿语言生活管理车，其特征在于，所述运算终端包括：
传输层：用于和所述服务器之间建立双向通讯连接；
数据分析层：用于对所述基础信息的格式进行分析，并确定将所述基础信息的格式转化为适于进行深度学习计算的格式的转化方式；
数据处理层：用于将所述基础信息转化成适于进行深度学习计算的格式；
数据计算层：用于使用所述训练模型对转化后的所述基础信息进行深度学习计算，获得运算结果。
3.根据权利要求1所述的一种基于人工智能技术的多模婴儿语言生活管理车，其特征在于，
所述移动终端还用于实时向用户展示所述基础信息和接收到的所述运算结果，所述移动终端还能根据所述运算结果向用户提供相应的育婴建议；
所述服务器根据向所述移动终端发出的所述基础信息和接收所述运算终端发送的运算结果建立用户的历史记录列表文件。
4.根据权利要求1所述的一种基于人工智能技术的多模婴儿语言生活管理车，其特征在于，
所述检测模块包括摄像头模块和传感器模块，其中，
所述摄像头模块用于采集婴儿的面部表情和哭声；所述摄像头模块还用于实时向所述移动终端发送婴儿的视频信息；
所述传感器模块设于所述车体上，包括温度传感器、压力传感器、湿度传感器和陀螺仪，所述温度传感器用于检测婴儿的体温；所述压力传感器用于检测车体的受到的压力；所述湿度传感器用于检测婴儿的纸尿裤的湿度；所述陀螺仪用于检测所述车体的平衡度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910630225.8A CN110400639B (zh) | 2019-07-12 | 2019-07-12 | 一种基于人工智能技术的多模婴儿语言生活管理车 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910630225.8A CN110400639B (zh) | 2019-07-12 | 2019-07-12 | 一种基于人工智能技术的多模婴儿语言生活管理车 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110400639A CN110400639A (zh) | 2019-11-01 |
| CN110400639B true CN110400639B (zh) | 2023-09-15 |
Family
ID=68325551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910630225.8A Active CN110400639B (zh) | 2019-07-12 | 2019-07-12 | 一种基于人工智能技术的多模婴儿语言生活管理车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110400639B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112347410B (zh) * | 2020-10-29 | 2022-11-15 | 同济大学 | 一种基于智能手机传感器的婴儿车街道推行环境评价方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN208325349U (zh) * | 2018-02-06 | 2019-01-04 | 西华师范大学 | 一种婴儿车 |
| CN109480868A (zh) * | 2018-11-02 | 2019-03-19 | 成都中技智慧企业管理咨询有限公司 | 一种智能婴儿监护系统 |
| CN109747699A (zh) * | 2018-12-25 | 2019-05-14 | 广东三水合肥工业大学研究院 | 一种用于监测婴儿状态的婴儿车 |
-
2019
- 2019-07-12 CN CN201910630225.8A patent/CN110400639B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN208325349U (zh) * | 2018-02-06 | 2019-01-04 | 西华师范大学 | 一种婴儿车 |
| CN109480868A (zh) * | 2018-11-02 | 2019-03-19 | 成都中技智慧企业管理咨询有限公司 | 一种智能婴儿监护系统 |
| CN109747699A (zh) * | 2018-12-25 | 2019-05-14 | 广东三水合肥工业大学研究院 | 一种用于监测婴儿状态的婴儿车 |
Non-Patent Citations (2)
| Title |
|---|
| 柯世民.《通用技术》.重庆大学出版社,2018,第110页. * |
| 田景熙.《物联网概论》.东南大学出版社,2017,第86-87页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110400639A (zh) | 2019-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102166011B1 (ko) | 터치입력을 이용한 인지장애 판단 시스템 및 방법 | |
| JP2020522817A (ja) | 意味分析方法、装置、および記憶媒体 | |
| CN109940627A (zh) | 一种面向绘本阅读机器人的人机交互方法和系统 | |
| WO2021147394A1 (zh) | 基于传感器判断读写状态的方法 | |
| CN106614273A (zh) | 基于物联网大数据分析的宠物喂养方法及系统 | |
| CN110400639B (zh) | 一种基于人工智能技术的多模婴儿语言生活管理车 | |
| CN108489585A (zh) | 一种智能识别的电子秤 | |
| CN111755120B (zh) | 一种基于边缘智能和多模感知的认知障碍预测方法 | |
| CN112334989A (zh) | 用于表征婴幼儿粪便模式的方法和系统 | |
| KR101587462B1 (ko) | 뇌파인식형 학습 문제 제공시스템 | |
| CN207113999U (zh) | 智能营养秤系统 | |
| JP6802332B1 (ja) | 情報処理方法および情報処理装置 | |
| Clayton et al. | Guidelines for the measurement of rein tension in equestrian sport | |
| CN210472133U (zh) | 一种基于智能红外感知的桌面伴侣系统 | |
| CN107582076B (zh) | 一种基于无线动作采集模块的注意力检测装置及检测方法 | |
| CN106778040B (zh) | 一种功能评估与干预系统 | |
| KR102388909B1 (ko) | 외국어 학습자의 어휘 실력 예측과 향상을 위한 딥러닝 기반의 단어 추천 시스템 | |
| CN108629362A (zh) | 一种面向移动环境的学习行为习惯发现量化系统及方法 | |
| CN105528505A (zh) | 线上自动化诊断学习风格系统及方法 | |
| CN111951967A (zh) | 一种智能家庭健康管理系统及装置 | |
| CN210810998U (zh) | 一种智能体检仪 | |
| CN113130047A (zh) | 一种儿童心理行为评测系统 | |
| KR20220016754A (ko) | 숟가락을 이용한 음식 정보 제공 시스템 | |
| CN107085815B (zh) | 一种通过监测互动行为自动评估儿童社交能力的方法 | |
| Yu et al. | Research on children’s classroom behavior based on pressure cushion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240904 Address after: 100000 Room 101, first floor, building 10, No. 28, gaoliangqiao Xiejie street, Haidian District, Beijing 262 Patentee after: TEDA prediction (Beijing) Software Co.,Ltd. Country or region after: China Address before: Room 311, North District, No. 158 Quyang Road, Hongkou District, Shanghai, 200000 Patentee before: Shanghai qibeisheng Health Technology Co.,Ltd. Country or region before: China |