CN113191288A - 用于手语交流的人工智能云平台系统及智能药盒 - Google Patents
用于手语交流的人工智能云平台系统及智能药盒 Download PDFInfo
- Publication number
- CN113191288A CN113191288A CN202110502573.4A CN202110502573A CN113191288A CN 113191288 A CN113191288 A CN 113191288A CN 202110502573 A CN202110502573 A CN 202110502573A CN 113191288 A CN113191288 A CN 113191288A
- Authority
- CN
- China
- Prior art keywords
- sign language
- image
- frame
- semantic
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000003814 drug Substances 0.000 title claims abstract description 107
- 238000004891 communication Methods 0.000 title claims abstract description 13
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 73
- 229940079593 drug Drugs 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 230000036541 health Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims 1
- 238000011176 pooling Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 210000001503 joint Anatomy 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 210000002310 elbow joint Anatomy 0.000 description 4
- 210000001145 finger joint Anatomy 0.000 description 4
- 210000000323 shoulder joint Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 210000003857 wrist joint Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010059866 Drug resistance Diseases 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于手语交流的人工智能云平台系统及智能药盒，涉及互联网医疗技术领域，系统包括患者终端用于获取包含预设人物关节的手语视频；卫生管理部门用终端用于将手语视频中的每帧图像进行关节分割处理，获得每帧关节分割图像；对所有帧关节分割图像进行语义分割，获得各组语义帧图像集；将每组语义帧图像集中的所有帧图像进行合并，获得语义图像；将所有语义图像输入训练好的卷积神经网络模型中，获得相应的文本信息并据此获得相应的处方信息；智能医盒用于根据处方信息在服药时间调取并播放预设手语视频。本发明可以根据患者手语视频出具处方，分配药品，并通过预设手语视频提醒患者服药。
Description
技术领域
本发明涉及互联网医疗技术领域，具体涉及一种用于手语交流的人工智能云平台系统及智能药盒。
背景技术
慢病患者，例如哮喘病患者，能否全程、规律地服药是治疗成功的关键，也是避免产生耐药的重要措施。现有技术中提供了一些设备，以试图帮助患者服药依从性，但是这些设备大多仅包括具有声音提示功能的模块，通过设置定时提醒控制发出提示音等以提醒患者服药，但对听力有缺陷的人却无能为力。
所以利用手势识别能够很好的解决上述问题，但是目前尚没有一种能够通过手语实现对患者自动服药提醒的系统。手势识别一般是通过图像的方式识别出手部、上躯部等姿势，从而对手势进行分类，但是由于手指之间相似性较高，且比较灵活容易相互遮挡；而且在手势追踪过程中噪声较大，所以导致识别精度较低。
发明内容
因此，为了克服上述缺陷，本发明实施例提供一种用于手语交流的人工智能云平台系统及智能药盒，可以根据患者手语出具处方，分配药品，并通过手语视频提醒患者服药。
为此，本发明实施例的一种用于手语交流的人工智能云平台系统，包括通过网络连接的患者终端、卫生管理部门用终端和智能医盒；
所述患者终端包括视频获取模块和视频发送模块；
视频获取模块用于获取包含预设人物关节的手语视频并输出；
视频发送模块用于获取所述手语视频并发送给所述卫生管理部门用终端；所述卫生管理部门用终端包括图像识别模块和控制模块；
图像识别模块包括：
视频接收单元，用于获取所述手语视频；
关节分割单元，用于将手语视频中的每帧图像进行关节分割处理，获得每帧关节分割图像；
语义分割单元，用于对所有帧关节分割图像进行语义分割，获得各组语义帧图像集；
语义合并单元，用于将每组语义帧图像集中的所有帧图像进行合并，获得语义图像；
文本转换单元，用于将所有语义图像输入训练好的卷积神经网络模型中，获得相应的文本信息并输出；
控制模块用于获取所述文本信息；根据文本信息查询处方数据库，获得相应的处方信息并输出，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；
所述智能医盒用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。
优选地，所述关节分割单元用于将手语视频中的每帧图像进行高斯平滑滤波处理，获得处理后的第一图像；
计算第一图像中每个像素点(x，y)的梯度特征Q(x，y)，计算公式为：
其中，
为x方向上相邻像素点的像素梯度均值，其计算公式为[|s(x，y)-s(x-1，y)|+|s(x+1，y)-s(x，y)|]/2，s(x，y)为像素点(x，y)的像素值；
为y方向上相邻像素点的像素梯度均值，其计算公式为[|s(x，y)-s(x，y-1)|+|s(x，y+1)-s(x，y)|]/2；
判断像素点(x，y)的梯度特征Q(x，y)是否为其8领域内的最大值；
当像素点(x，y)的梯度特征Q(x，y)是其8领域内的最大值时，将该像素点作为边缘像素点，获得所有边缘像素点，将所有边缘像素点连接，获得第一图像中包含预设人物关节的轮廓，获得每帧关节分割图像。
优选地，所述语义分割单元用于按照每帧关节分割图像的时间顺序顺次判断相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量是否超过形变阈值；
当相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量超过形变阈值时，将该相邻两帧关节分割图像中的前一帧关节分割图像分入上一组语义帧图像集，后一帧关节分割图像分入下一组语义帧图像集，获得各组语义帧图像集。
优选地，所述语义合并单元用于将每组语义帧图像集中的第一帧关节分割图像按照时间顺序依次叠加其分别与之后每帧关节分割图像作差运算后获得的差图像，获得该组语义帧图像集的一个语义图像。
优选地，所述患者终端还包括服药提醒模块；
服药提醒模块用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。
优选地，所述服药提醒模块还用于同时生成并输出振动信号和/或光提示信号。
本发明实施例的一种智能医盒，包括：控制装置、发光装置和视频播放装置；
控制装置用于获取上述的用于手语交流的人工智能云平台系统的卫生管理部门用终端输出的处方信息，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；在所述服药时间调取预设手语视频并输出，以及生成发光控制信号并输出，所述预设手语视频的内容包含服药药品名称及其对应的服药数量；
视频播放装置用于接收所述预设手语视频并播放，以提醒患者服药；
发光装置用于接收所述发光控制信号并在其控制下发光。
优选地，还包括：药品分配装置；
控制装置还用于根据所述处方信息在服药时间生成包含所需分配的服药药品名称及其对应的服药数量信息的分配控制信号并输出；
药品分配装置用于接收所述分配控制信号并在其控制下输出所需分配的服药药品名称对应的药品及服药数量。
本发明实施例的用于手语交流的人工智能云平台系统及智能药盒，具有如下优点：
1.通过根据梯度特征提取边缘像素点，滤除了背景、噪声等影响，提高了识别精度。
2.通过根据语义对所有帧关节分割图像进行分组，将表达一个语义的连续帧图像分为一组，并通过作差去重和叠加处理后，合并到一张图像内，提高了分辨率和精度，降低神经网络计算复杂度，提高运算效率。
3.通过卷积神经网络将手语视频转换成文本信息输出，进而根据文本信息获得了相应的处方信息，据此实现了药品的分配和服药提醒功能，并通过预设手语视频提醒患者服药，更加适用于听力有缺陷的人。
附图说明
为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中用于手语交流的人工智能云平台系统的一个具体示例的原理框图；
图2为本发明实施例1中卷积神经网络结构的一个具体示例的示意图；
图3为本发明实施例2中智能医盒的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式″一″、″一个″和″该″等意图也包括复数形式。使用″包括″和/或″包含″等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语″和/或″包括一个或多个相关列出项目的任何和所有组合。术语″第一″、″第二″、″第三″仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种用于手语交流的人工智能云平台系统，如图1所示，包括通过网络连接的患者终端200、卫生管理部门用终端100和智能医盒300；
所述患者终端200包括视频获取模块和视频发送模块；
视频获取模块用于获取包含预设人物关节的手语视频并输出；所述预设人物关节包括颈关节、左肩关节、左肘关节、左手腕关节、左手各指关节、右肩关节、右肘关节、右手腕关节和右手各指关节。
视频发送模块用于获取所述手语视频并发送给所述卫生管理部门用终端；所述卫生管理部门用终端100包括图像识别模块和控制模块；
图像识别模块包括：
视频接收单元，用于获取所述手语视频；
关节分割单元，用于将手语视频中的每帧图像进行关节分割处理，获得每帧关节分割图像；
语义分割单元，用于对所有帧关节分割图像进行语义分割，获得各组语义帧图像集，每组语义帧图像集包含不同数量的关节分割图像；
语义合并单元，用于将每组语义帧图像集中的所有帧图像进行合并，获得语义图像；
文本转换单元，用于将所有语义图像输入训练好的卷积神经网络模型中，获得相应的文本信息并输出；
控制模块用于获取所述文本信息；根据文本信息查询处方数据库，获得相应的处方信息并输出，所述处方数据库存储有预设的文本信息与处方信息之间的对应关系，根据文本信息能够查询获得与其对应的处方信息，处方信息包括服药药品名称及其对应的服药数量和服药时间；
所述智能医盒300用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。优选地，预设手语视频的内容包含服药药品名称及其对应的服药数量。
优选地，所述关节分割单元用于将手语视频中的每帧图像进行高斯平滑滤波处理，滤除图像中的背景和噪声，获得处理后的第一图像；
计算第一图像中每个像素点(x，y)的梯度特征Q(x，y)，计算公式为：
其中，
为x方向上相邻像素点的像素梯度均值，其计算公式为[|s(x，y)-s(x-1，y)|+|s(x+1，y)一s(x，y)|]/2，s(x，y)为像素点(x，y)的像素值；
为y方向上相邻像素点的像素梯度均值，其计算公式为[|s(x，y)-s(x，y-1)|+|s(x，y+1)-s(x，y)|]/2；
判断像素点(x，y)的梯度特征Q(x，y)是否为其8领域内的最大值；当像素点(x，y)的梯度特征Q(x，y)不是其8领域内的最大值，可以将该像素点的像素值设为第一预设值，例如设为0；
当像素点(x，y)的梯度特征Q(x，y)是其8领域内的最大值时，将该像素点作为边缘像素点，例如可以将该像素点的像素值设为第二预设值(非0)，获得所有边缘像素点，将所有边缘像素点连接，获得第一图像中包含预设人物关节的轮廓，获得每帧关节分割图像。
优选地，所述语义分割单元用于按照每帧关节分割图像的时间顺序顺次判断相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量是否超过形变阈值；所述形变阈值可根据实际需求进行设置；
当相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量没有超过形变阈值时，表示该相邻两帧关节分割图像所要体现一种语义，不进行分割；
当相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量超过形变阈值时，表示该相邻两帧关节分割图像所要体现两种语义，将该相邻两帧关节分割图像中的前一帧关节分割图像分入上一组语义帧图像集，后一帧关节分割图像分入下一组语义帧图像集，获得各组语义帧图像集，每组语义帧图像集包含不同数量的关节分割图像。
优选地，所述语义合并单元用于将每组语义帧图像集中的第一帧关节分割图像按照时间顺序依次叠加其分别与之后每帧关节分割图像作差运算后获得的差图像，获得该组语义帧图像集的一个语义图像。具体为：第一帧关节分割图像的每个像素点的像素值分别加每个差图像的相同位置处的像素点的像素值后，获得语义图像，差图像的个数为该组语义帧图像集中总图像数减1，任一差图像的每个像素点的像素值为第一帧关节分割图像的每个像素点的像素值分别减去第一帧关节分割图像之后的对应帧关节分割图像的相同位置处的像素点的像素值。从而将表示一个语义的各帧动作合并到一张图像内，经作差去重和叠加后，该语义只有一个动作的能够获得更高分辨率的图像，提高精度，该语义具有多个分解动作的，合并到一个图像里，提高了分辨率、精度的同时，也可以在一个图像内容纳更多的信息，从而降低后续神经网络计算复杂度，提高运算效率。
优选地，所述训练好的卷积神经网络模型的获得方法包括以下步骤：
步骤101、获取多段包含预设人物关节的标准手语视频，一段标准手语视频代表一种语义，即一种文本信息，组成训练样本集；
步骤102、将每段标准手语视频(即一个训练样本)中的每帧图像进行关节分割处理，获得每帧标准关节分割图像；具体为：
将每段标准手语视频中的每帧图像进行高斯平滑滤波处理，滤除图像中的背景和噪声，获得处理后的第二图像；
计算第二图像中每个像素点(x，y)的梯度特征Q(x，y)，计算公式为：
其中，
为x方向上相邻像素点的像素梯度均值，其计算公式为[|s(x，y)-s(x-1，y)|+|s(x+1，y)-s(x，y)|]/2，s(x，y)为像素点(x，y)的像素值；
为y方向上相邻像素点的像素梯度均值，其计算公式为[|s(x，y)-s(x，y-1)|+|s(x，y+1)-s(x，y)|]/2；
判断像素点(x，y)的梯度特征Q(x，y)是否为其8领域内的最大值；当像素点(x，y)的梯度特征Q(x，y)不是其8领域内的最大值，可以将该像素点的像素值设为第一预设值，例如设为0；
当像素点(x，y)的梯度特征Q(x，y)是其8领域内的最大值时，将该像素点作为边缘像素点，例如可以将该像素点的像素值设为第二预设值(非0)，获得所有边缘像素点，将所有边缘像素点连接，获得第二图像中包含预设人物关节的轮廓，获得每帧标准关节分割图像。
步骤103、将每段标准手语视频对应的所有帧标准关节分割图像中的第一帧标准关节分割图像按照时间顺序依次叠加其分别与之后每帧标准关节分割图像作差运算后获得的差图像，获得该段标准手语视频的一个语义图像，从而获得训练样本集的所有语义图像。具体步骤与上述语义合并单元中的相类似。
步骤104、将所有语义图像输入卷积神经网络进行识别，获得每个语义图像对应的文本信息，网络的目标函数J为：
其中，xi为卷积神经网络的输入样本，yi为输入样本对应的标签值，M为输入样本的个数，λ为惩罚系数，f(xi)为输入样本对应的网络预测值，ω为网络权重，||ω||2为网络权重的L2范数；训练目标是求解最优的网络权重值，以使目标函数J的值最小；将最终训练得到的网络权重保存起来，获得训练好的卷积神经网络模型；
优选地，所述卷积神经网络包括顺次连接的N级降分辨率层和全连接层等，N级降分辨率层包括顺次连接的由第一卷积层和第一池化层构成的1级降分辨率层、由第二卷积层和第二池化层构成的2级降分辨率层、......、由第N卷积层和第N池化层构成的N级降分辨率层，随着从1级降分辨率层向N级降分辨率层所输出的特征图的大小变小，N为正整数，可根据语义图像的大小和N级降分辨率层输出的特征图的尺寸大小确定，例如N级降分辨率层输出的特征图的大小为4像素×4像素。如图2所示为一个具体示例的卷积神经网络结构，包括输入层151；第一卷积层152-1和第一池化层153-1组成的1级降分辨率层，第一卷积层152-1对输入层151输入的图像进行卷积，生成10个特征图M1-M10，尺寸与输入的图像的尺寸1024像素×1024像素相同，第一池化层153-1对M1-M10进行池化，生成10个特征图M11-M20，尺寸为512像素×512像素；第二卷积层152-2和第二池化层153-2组成的2级降分辨率层，第二卷积层152-2对M11-M20进行卷积，生成10个特征图M21-M30，尺寸为512像素×512像素，第二池化层153-2对M21-M30进行池化，生成10个的特征图M31-M40，尺寸为256像素×256像素；第三卷积层152-3和第三池化层153-3组成的3级降分辨率层，第三卷积层152-3对M31-M40进行卷积，生成10个特征图M41-M50，尺寸为256像素×256像素，第三池化层153-3对M41-M50进行池化，生成10个特征图M151-M60，尺寸为128像素×128像素；第四卷积层152-4和第四池化层153-4组成的4级降分辨率层，第四卷积层152-4对M51-M60进行卷积，生成10个特征图M61-M70，尺寸为128像素×128像素，第四池化层153-4对M61-M70进行池化，生成10特征图M71-M80，尺寸为64像素×64像素；第五卷积层152-5和第五池化层153-5组成的5级降分辨率层，第五卷积层152-5对M71-M80进行卷积，生成10个特征图M81-M90，尺寸为64像素×64像素，第五池化层153-5对M81-M90进行池化，生成10个特征图M91-M100，尺寸为32像素×32像素；在可选的实施例中，可不具有池化层；RPN层154，根据特征图M91-M100的特征，检测出的人物OB及其位置信息P；RoI池化层155，对关注区域R进行池化，提取出特征信息F1-F10；全结合层156，对特征信息F1-F10进行回归分析，推定人物0B的预设人物关节的位置，包括颈关节、左肩关节、左肘关节、左手腕关节、左手各指关节、右肩关节、右肘关节、右手腕关节和右手各指关节，并根据推定的位置生成文本信息RR；输出层157，输出所述文本信息。
优选地，所述患者终端200还包括服药提醒模块；
服药提醒模块用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药；还用于同时生成并输出振动信号和/或光提示信号，以进一步辅助提醒。
上述用于手语交流的人工智能云平台系统，通过根据梯度特征提取边缘像素点，滤除了背景、噪声等影响，提高了识别精度。通过根据语义对所有帧关节分割图像进行分组，将表达一个语义的连续帧图像分为一组，并通过作差去重和叠加处理后，合并到一张图像内，提高了分辨率和精度，降低神经网络计算复杂度，提高运算效率。通过卷积神经网络将手语视频转换成文本信息输出，进而根据文本信息获得了相应的处方信息，据此实现了药品的分配和服药提醒功能，并通过预设手语视频提醒患者服药，更加适用于听力有缺陷的人。
实施例2
本实施例提供一种智能医盒，如图3所示，智能医盒300包括：控制装置、发光装置和视频播放装置；
控制装置用于获取卫生管理部门用终端输出的处方信息，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；在所述服药时间调取预设手语视频并输出，以及生成发光控制信号并输出，所述预设手语视频的内容包含服药药品名称及其对应的服药数量；
视频播放装置用于接收所述预设手语视频并播放，以提醒患者服药；
发光装置用于接收所述发光控制信号并在其控制下发光，例如发彩色光，以进一步提醒患者。
优选地，智能医盒还包括：药品分配装置；
控制装置还用于根据所述处方信息在服药时间生成包含所需分配的服药药品名称及其对应的服药数量信息的分配控制信号并输出；
药品分配装置用于接收所述分配控制信号并在其控制下输出所需分配的服药药品名称对应的药品及服药数量。
上述智能医盒，通过根据处方信息实现了药品的分配和服药提醒功能，并通过预设手语视频提醒患者服药，更加适用于听力有缺陷的人。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (8)
1.一种用于手语交流的人工智能云平台系统，其特征在于，包括通过网络连接的患者终端、卫生管理部门用终端和智能医盒；
所述患者终端包括视频获取模块和视频发送模块；
视频获取模块用于获取包含预设人物关节的手语视频并输出；
视频发送模块用于获取所述手语视频并发送给所述卫生管理部门用终端；
所述卫生管理部门用终端包括图像识别模块和控制模块；
图像识别模块包括：
视频接收单元，用于获取所述手语视频；
关节分割单元，用于将手语视频中的每帧图像进行关节分割处理，获得每帧关节分割图像；
语义分割单元，用于对所有帧关节分割图像进行语义分割，获得各组语义帧图像集；
语义合并单元，用于将每组语义帧图像集中的所有帧图像进行合并，获得语义图像；
文本转换单元，用于将所有语义图像输入训练好的卷积神经网络模型中，获得相应的文本信息并输出；
控制模块用于获取所述文本信息；根据文本信息查询处方数据库，获得相应的处方信息并输出，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；
所述智能医盒用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。
2.根据权利要求1所述的系统，其特征在于，所述关节分割单元用于将手语视频中的每帧图像进行高斯平滑滤波处理，获得处理后的第一图像；
计算第一图像中每个像素点(x，y)的梯度特征Q(x，y)，计算公式为：
其中，
为x方向上相邻像素点的像素梯度均值，其计算公式为[|s(x，y)-s(x-1，y)|+|s(x+1，y)-s(x，y)|]/2，s(x，y)为像素点(x，y)的像素值；
为y方向上相邻像素点的像素梯度均值，其计算公式为[|s(x，y)-s(x，y-1)|+|s(x，y+1)-s(x，y)|]/2；
判断像素点(x，y)的梯度特征Q(x，y)是否为其8领域内的最大值；
当像素点(x，y)的梯度特征Q(x，y)是其8领域内的最大值时，将该像素点作为边缘像素点，获得所有边缘像素点，将所有边缘像素点连接，获得第一图像中包含预设人物关节的轮廓，获得每帧关节分割图像。
3.根据权利要求1或2所述的系统，其特征在于，所述语义分割单元用于按照每帧关节分割图像的时间顺序顺次判断相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量是否超过形变阈值；
当相邻两帧关节分割图像中的所有边缘像素点连接所围图形的变形量超过形变阈值时，将该相邻两帧关节分割图像中的前一帧关节分割图像分入上一组语义帧图像集，后一帧关节分割图像分入下一组语义帧图像集，获得各组语义帧图像集。
4.根据权利要求1-3任一项所述的系统，其特征在于，所述语义合并单元用于将每组语义帧图像集中的第一帧关节分割图像按照时间顺序依次叠加其分别与之后每帧关节分割图像作差运算后获得的差图像，获得该组语义帧图像集的一个语义图像。
5.根据权利要求1-4任一项所述的系统，其特征在于，所述患者终端还包括服药提醒模块；
服药提醒模块用于获取所述处方信息并据此在服药时间调取并播放预设手语视频，以提醒患者服药。
6.根据权利要求5所述的系统，其特征在于，所述服药提醒模块还用于同时生成并输出振动信号和/或光提示信号。
7.一种智能医盒，其特征在于，包括：控制装置、发光装置和视频播放装置；
控制装置用于获取如权利要求1-6任一项所述的用于手语交流的人工智能云平台系统的卫生管理部门用终端输出的处方信息，所述处方信息包括服药药品名称及其对应的服药数量和服药时间；在所述服药时间调取预设手语视频并输出，以及生成发光控制信号并输出，所述预设手语视频的内容包含服药药品名称及其对应的服药数量；
视频播放装置用于接收所述预设手语视频并播放，以提醒患者服药；
发光装置用于接收所述发光控制信号并在其控制下发光。
8.根据权利要求7所述的智能医盒，其特征在于，还包括：药品分配装置；
控制装置还用于根据所述处方信息在服药时间生成包含所需分配的服药药品名称及其对应的服药数量信息的分配控制信号并输出；
药品分配装置用于接收所述分配控制信号并在其控制下输出所需分配的服药药品名称对应的药品及服药数量。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110502573.4A CN113191288A (zh) | 2021-05-09 | 2021-05-09 | 用于手语交流的人工智能云平台系统及智能药盒 |
| CN202210331652.8A CN115019385B (zh) | 2021-05-09 | 2022-03-31 | 通过手语交流的人工智能医务系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110502573.4A CN113191288A (zh) | 2021-05-09 | 2021-05-09 | 用于手语交流的人工智能云平台系统及智能药盒 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113191288A true CN113191288A (zh) | 2021-07-30 |
Family
ID=76988698
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110502573.4A Withdrawn CN113191288A (zh) | 2021-05-09 | 2021-05-09 | 用于手语交流的人工智能云平台系统及智能药盒 |
| CN202210331652.8A Active CN115019385B (zh) | 2021-05-09 | 2022-03-31 | 通过手语交流的人工智能医务系统 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210331652.8A Active CN115019385B (zh) | 2021-05-09 | 2022-03-31 | 通过手语交流的人工智能医务系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN113191288A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113689951A (zh) * | 2021-08-04 | 2021-11-23 | 翼健(上海)信息科技有限公司 | 一种智能导诊方法、系统和计算机可读存储介质 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866825B (zh) * | 2015-05-17 | 2019-01-29 | 华南理工大学 | 一种基于Hu矩的手语视频帧序列分类方法 |
| CN108197589B (zh) * | 2018-01-19 | 2019-05-31 | 北京儒博科技有限公司 | 动态人体姿态的语义理解方法、装置、设备和存储介质 |
| CN109036544B (zh) * | 2018-05-31 | 2024-04-05 | 平安医疗科技有限公司 | 医疗信息推送方法、装置、计算机设备和存储介质 |
| CN108932500B (zh) * | 2018-07-09 | 2019-08-06 | 广州智能装备研究院有限公司 | 一种基于深度神经网络的动态手势识别方法及系统 |
| CN110202592A (zh) * | 2019-07-02 | 2019-09-06 | 江苏博子岛智能产业技术研究院有限公司 | 一种ai移动式医疗服务机器人 |
| CN110348420B (zh) * | 2019-07-18 | 2022-03-18 | 腾讯科技（深圳）有限公司 | 手语识别方法、装置、计算机可读存储介质和计算机设备 |
| CN110490884B (zh) * | 2019-08-23 | 2023-04-28 | 北京工业大学 | 一种基于对抗的轻量级网络语义分割方法 |
| CN110728191A (zh) * | 2019-09-16 | 2020-01-24 | 北京华捷艾米科技有限公司 | 手语翻译方法、基于mr的手语-语音交互方法及系统 |
| CN112183216A (zh) * | 2020-09-02 | 2021-01-05 | 温州大学 | 一种用于残障人士沟通的辅助系统 |
| CN112257513B (zh) * | 2020-09-27 | 2023-07-25 | 南京工业大学 | 一种手语视频翻译模型的训练方法、翻译方法及系统 |
| CN112233754A (zh) * | 2020-10-15 | 2021-01-15 | 刘明 | 萎缩性胃炎病管理云平台系统及电子智能药盒 |
-
2021
- 2021-05-09 CN CN202110502573.4A patent/CN113191288A/zh not_active Withdrawn
-
2022
- 2022-03-31 CN CN202210331652.8A patent/CN115019385B/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113689951A (zh) * | 2021-08-04 | 2021-11-23 | 翼健(上海)信息科技有限公司 | 一种智能导诊方法、系统和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115019385B (zh) | 2023-01-06 |
| CN115019385A (zh) | 2022-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109993093B (zh) | 基于面部和呼吸特征的路怒监测方法、系统、设备及介质 | |
| CN111523389A (zh) | 情绪智能识别方法、装置、电子设备及存储介质 | |
| WO2022237139A1 (zh) | 一种基于LaneSegNet的车道线检测方法及系统 | |
| CN109875579A (zh) | 情绪健康管理系统和情绪健康管理方法 | |
| CN111145865A (zh) | 一种基于视觉的手部精细动作训练指导系统及方法 | |
| CN115019385B (zh) | 通过手语交流的人工智能医务系统 | |
| CN111276159A (zh) | 一种婴儿发音分析方法及服务器 | |
| CN110321827A (zh) | 一种基于人脸疼痛表情视频的疼痛水平评估方法 | |
| CN113724859A (zh) | 基于人工智能的疾病提示设备、方法、装置及存储介质 | |
| CN113516017B (zh) | 服药过程的监督方法、装置、终端设备及存储介质 | |
| CN115661580A (zh) | 基于卷积神经网络的中药饮片图像识别方法及识别系统 | |
| CN113456031A (zh) | 一种脑状态预测模型的训练装置、预测装置及电子设备 | |
| CN116578704A (zh) | 文本情感分类方法、装置、设备及计算机可读介质 | |
| Minu | A extensive survey on sign language recognition methods | |
| CN109948569B (zh) | 一种利用粒子滤波框架的三维混合表情识别方法 | |
| CN111543985A (zh) | 一种基于新型深度学习模型的脑控混合智能康复方法 | |
| CN114999676A (zh) | 用于自动回复医疗咨询的方法、系统、装置和介质 | |
| CN111382294A (zh) | 一种基于人工智能图像识别的中医辅助判断方法 | |
| CN113571149A (zh) | 一种基于大数据的输液瓶换液顺序推荐方法及系统 | |
| CN117174341B (zh) | 基于人工智能的语音识别医疗助手系统及方法 | |
| CN113077894A (zh) | 基于图卷积神经网络的皮肤诊断系统、方法、设备及介质 | |
| CN113159002A (zh) | 一种基于自注意力权重辅助模块的人脸表情识别方法 | |
| CN111951940A (zh) | 一种智慧医疗的康复辅助方法 | |
| CN113240799B (zh) | 一种基于医疗大数据的牙齿三维模型构建系统 | |
| CN117671774A (zh) | 一种人脸情绪智能识别分析设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210730 |
|
| WW01 | Invention patent application withdrawn after publication |