CN111462867B - 基于5g网络和区块链的智能移动医疗方法及系统 - Google Patents

基于5g网络和区块链的智能移动医疗方法及系统 Download PDF

Info

Publication number
CN111462867B
CN111462867B CN202010261924.2A CN202010261924A CN111462867B CN 111462867 B CN111462867 B CN 111462867B CN 202010261924 A CN202010261924 A CN 202010261924A CN 111462867 B CN111462867 B CN 111462867B
Authority
CN
China
Prior art keywords
patient
face
face image
detection data
geometric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010261924.2A
Other languages
English (en)
Other versions
CN111462867A (zh
Inventor
程皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youbi AI Information Technology Co.,Ltd.
Original Assignee
Shenzhen Youbi Ai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Youbi Ai Information Technology Co ltd filed Critical Shenzhen Youbi Ai Information Technology Co ltd
Priority to CN202010261924.2A priority Critical patent/CN111462867B/zh
Publication of CN111462867A publication Critical patent/CN111462867A/zh
Application granted granted Critical
Publication of CN111462867B publication Critical patent/CN111462867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioethics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种基于5G网络和区块链的智能移动医疗方法及系统，通过患者检测移动端采集患者检测数据并传至云服务器；将检测数据备份至云备份储存服务器并发至医师远程会诊端；会诊医师出诊断结果及治疗方案并发至云服务器；将诊断结果及治疗方案备份至云备份储存服务器并返至患者检测移动端，将患者ID、检测数据、诊断结果、治疗方案及时间戳一起发送至区块链。通过将检测数据、诊断结果及治疗方案备份至云备份储存服务器，方便了日后查验过往病史；通过采用5G网络通讯可减少数据传输时间；将患者ID、检测数据、诊断结果、治疗方案及时间戳一起发送至区块链，这样可通过区块链查询患者过往病史，且由于区块链不可篡改，所以可防止恶意篡改患者的过往病史。

Description

基于5G网络和区块链的智能移动医疗方法及系统
技术领域
本发明涉及移动医疗领域，尤其涉及一种基于5G网络和区块链的智能移动医疗方法及系统。
背景技术
目前，随着融合移动互联网和云技术等新技术不断应用于在智能终端，移动医疗应运而生。相比于传统医疗，移动医疗实现了对医疗资源配置利用的优化，让患者和医师、医院管理者更省时、更省心。但由于数据的时效性，所以导致患者日后很难再次查验过往的诊断结果。而且由于现有的移动医疗系统大多还是采用3G或4G网络通讯，所以严重影响了移动医疗的会诊效率。而且，这几年随着区块链技术的不断发展，那么，如何将区块链技术应用到移动医疗中，也是我们急需解决的问题。
同时，现有的移动医疗系统在实际时，经常需要通过患者检测移动端采集患者的人脸图像，如只采集患者正面的一张人脸图像，则会遗漏患者两侧的面部特征，所以在实际采集患者的人脸图像时，一般会采集一张患者的左侧人脸图像和一张患者的右侧人脸图像，然后通过图像拼接技术得到一张完整的人脸图像，但现有的图像拼接技术存在重影或错位较多的问题。
而且，随着人脸识别技术的飞速发展，人们开始将人脸识别技术应用与医疗诊断上。具体地，通过采集患者不同时期的面部图像，通过人脸识别技术和变化检测技术即可快速计算出患者面部变化的区域和特征，以用于医疗诊断，但现有的变化检测技术的计算准确率较低。
发明内容
本发明的目的是为了解决背景技术中所发现的问题，而提出的一种基于5G网络和区块链的智能移动医疗方法及系统。
为了实现上述目的，本发明采用了如下技术方案：一种基于5G网络和区块链的智能移动医疗方法，包括以下步骤：
S1：通过患者检测移动端采集患者的检测数据，并将所述患者的检测数据通过5G网络传输至云服务器；
S2：所述云服务器接收到所述患者检测移动端采集的患者的检测数据后储存所述患者的检测数据，并将所述患者的检测数据备份至云备份储存服务器上，同时将所述患者的检测数据通过5G网络发送至医师远程会诊端；
S3：所述医师远程会诊端接收到所述云服务器发送的患者的检测数据后，向会诊医师展示所述患者的检测数据，会诊医师根据所述患者的检测数据出诊断结果及治疗方案，并通过所述医师远程会诊端将所述诊断结果及治疗方案发送至所述云服务器；
S4：所述云服务器接收到所述医师远程会诊端发送的诊断结果及治疗方案后，储存所述诊断结果及治疗方案并将其与所述患者的检测数据关联在一起，并将所述诊断结果及治疗方案备份至所述云备份储存服务器上对应所述患者的检测数据的位置，再将所述诊断结果及治疗方案返回至所述患者检测移动端，所述患者检测移动端向患者展示所述诊断结果及治疗方案；
S5：所述云服务器将所述患者ID、所述患者的检测数据、所述诊断结果、所述治疗方案以及对应的时间戳一起打包发送至区块链。
通过将患者的检测数据、诊断结果以及治疗方案备份至云备份储存服务器上，这样方便了患者日后再次查验过往的病史；同时，通过采用5G网络通讯，可大大地减少数据传输时间，从而提高了远程医疗的效率；而且，云服务器将患者ID、患者的检测数据、诊断结果、治疗方案以及对应的时间戳一起打包发送至区块链，这样一方面，进一步地方便了患者日后再次查验过往的病史，另一方面，由于区块链的不可篡改属性，所以可防止有人恶意篡改患者的过往病史。
进一步地，所述云备份储存服务器将存储所述患者的检测数据、诊断结果和治疗方案对应的链接地址发送至所述云服务器和所述患者检测移动端。
进一步地，所述患者检测移动端采集一张患者的左侧人脸图像和一张患者的右侧人脸图像，并通过5G网络将所述左侧人脸图像和右侧人脸图像传输至所述云服务器，所述云服务器收到所述患者检测移动端采集的一张患者的左侧人脸图像和一张患者的右侧人脸图像后，采用尺度不变特征变换算法对所述左侧人脸图像和右侧人脸图像进行人脸特征点提取及匹配得到匹配的人脸特征点，并采用直线检测算法、图像分割和边缘检测算法对所述左侧人脸图像和右侧人脸图像进行人脸局部区域的几何结构特征提取及匹配得到匹配的人脸几何结构，所述匹配的人脸特征点和所述匹配的人脸几何结构构成匹配的人脸特征组，通过构成的所述匹配的人脸特征组构建人脸网格模型：D＝k1D1+k2D2+k3D3+k4D4，k1为人脸特征点配准项对应的权重，D1为人脸特征点配准项，k2为人脸区域几何特征配准项对应的权重，D2为人脸区域几何特征配准项，k3为人脸局部相似项对应的权重，D3为人脸局部相似项，k4为人脸全局相似项对应的权重，D4为人脸全局相似项，所述人脸特征点配准项、人脸区域几何特征配准项、人脸局部相似项和人脸全局相似项均由网格顶点表示，将各项展开为矩阵，再将展开的矩阵按行组合得到各网格顶点坐标展开向量，采用调整网格顶点的坐标对网格顶点进行优化使得总误差D最小，得到配准的左侧人脸图像和右侧人脸图像，记拼接线L上的点为f，在配准的左侧人脸图像和右侧人脸图像上对应的像素值差异为Xcy(f)，在配准的左侧人脸图像和右侧人脸图像上的结构相似度为Xxs(f)，采用动态规划历遍找到符合
Figure GDA0002693065670000041
最小的拼接线，根据找到的拼接线，将配准的左侧人脸图像和右侧人脸图像重叠区域分为左区域和右区域，左区域保留视角偏左的图且右区域保留视角偏右的图，将拼接线两侧的人脸图像重叠区域进行曝光补偿后，沿着拼接线拼接得到患者完整的人脸图像。
通过人脸图像的局部区域的几何结构特征使存在视差的人脸图像尽可能配准，并利用拼接线拼接方法避开了配准方法不能解决的前景大视差物体的问题，减少了拼接出来的患者整张人脸图像中的重影或错位，提高了拼接图像的质量，便于会诊医师的诊断。
进一步地，患者每次就诊时，所述患者检测移动端采集患者的人脸图像，并将所述人脸图像发送至所述云服务器，患者下次就诊时，所述云服务器调取该患者的每次就诊时采集的人脸图像，并根据每次就诊时采集的人脸图像计算出该患者的面部变化结果。
进一步地，所述根据每次就诊时采集的人脸图像计算出该患者的面部变化结果具体如下：
计算患者就诊前后采集的人脸图像归一化参数，并对患者就诊前后采集的人脸图像进行归一化和人脸图像颜色校正，得到处理后的患者就诊前后采集的人脸图像，构建卷积神经网络模型，所述卷积神经网络模型包括就诊前后人脸图像变化特征增量编码单元和多模块几何约束求解单元，所述就诊前后人脸图像变化特征增量编码单元包括对应采集前期人脸图像的模块和对应采集后期人脸图像的模块，其中，所述采集前期人脸图像的模块又包括依次相连的三个模块，且每个模块均包括三个卷积层和一个池化层，采集后期人脸图像的模块也包括依次相连的三个模块，且每个子模块均包括三个卷积层和一个池化层，将就诊前后所有模块池化后特征相减得到差分特征，所述多模块几何约束求解单元又包括三个模块，第一模块用于前期人脸边缘计算，第二模块用于人脸变化区域计算，第三模块用于后期人脸边缘计算，第一模块和第三模块共享参数结构，第一模块和第三模块的结构和第二模块的结构通过代价函数相互作用，实现通过几何结构信息有效约束最终变化检测结果，所述就诊前后人脸图像变化特征增量编码单元通过差分特征作为输入与多模块几何约束求解单元相连，所述代价函数包括变化检测分类代价函数、边缘几何代价函数和几何变化代价函数，对构建好的卷积神经网络模型进行训练，并将处理后的患者就诊前后采集的人脸图像输入训练好的卷积神经网络模型，计算得到该患者的面部变化结果；其中，
所述变化检测分类代价函数A(bz,jz)为：
A(bz,jz)＝-yz×bz×log(Tanh(jz))-(1-bz)×log(1-Tanh(jz))
式中，bz代表患者人脸图像变化值，jz表示经过求解器后计算特征值，Tanh(·)为双曲正切函数，yz表示未变化区域和变化区域的均衡因子；
所述边缘几何代价函数A(bzby,jzby)为：
Figure GDA0002693065670000051
Figure GDA0002693065670000061
式中，bzby与jzby分别表示患者人脸边缘的真实值与患者人脸边缘的计算值，
Figure GDA0002693065670000062
表示第一模块与第三模块的第j组输出特征对应的边缘几何损失；
所述几何变化代价函数
Figure GDA0002693065670000063
为：
Figure GDA0002693065670000064
式中，
Figure GDA0002693065670000065
为前期患者人脸图像计算边缘的结果，
Figure GDA0002693065670000066
为后期患者人脸图像通过与前期患者人脸图像求解结构参数共享计算的边缘结果。
通过从几何约束和患者面部变化特征抽取网络两个层次来构建具有变化特征密集连接和几何约束的卷积神经网络模型，从而能有效提升患者面部变化特征抽取的准确性和稳定性；同时，通过采用密集连接的结构，提高了患者面部变化特征的可重复性，且通过采用几何信息作为多模块约束，可实现对几何信息变化的抽取；而且，通过采用以变化检测分类代价函数、边缘几何代价函数和几何变化代价函数三种代价函数融合一体的整体代价函数计算，进一步地提升了几何信息变化约束条件下的患者面部变化特征的可重复性。
进一步地，根据所述变化检测分类代价函数、边缘几何代价函数和几何变化代价函数，即得多模块几何约束的整体代价函数为：
Figure GDA0002693065670000067
一种基于5G网络和区块链的智能移动医疗系统，包括：患者检测移动端、云服务器、云备份储存服务器和医师远程会诊端；
所述患者检测移动端，用于采集患者的检测数据，并将所述患者的检测数据通过5G网络传输至云服务器；
所述云服务器，用于接收到所述患者检测移动端采集的患者的检测数据后储存所述患者的检测数据，并将所述患者的检测数据备份至云备份储存服务器上，同时将所述患者的检测数据通过5G网络发送至医师远程会诊端；
所述云备份储存服务器，用于备份数据；
所述医师远程会诊端，用于接收到所述云服务器发送的患者的检测数据后，向会诊医师展示所述患者的检测数据，会诊医师根据所述患者的检测数据出诊断结果及治疗方案，并通过所述医师远程会诊端将所述诊断结果及治疗方案发送至所述云服务器；
所述云服务器接收到所述医师远程会诊端发送的诊断结果及治疗方案后，储存所述诊断结果及治疗方案并将其与所述患者的检测数据关联在一起，并将所述诊断结果及治疗方案备份至所述云备份储存服务器上对应所述患者的检测数据的位置，再将所述诊断结果及治疗方案返回至所述患者检测移动端，所述患者检测移动端向患者展示所述诊断结果及治疗方案；同时，所述云服务器将所述患者ID、所述患者的检测数据、所述诊断结果、所述治疗方案以及对应的时间戳一起打包发送至区块链。
与现有的技术相比，本发明优点在于：
1、通过将患者的检测数据、诊断结果以及治疗方案备份至云备份储存服务器上，这样方便了患者日后再次查验过往的病史；
2、通过采用5G网络通讯，可大大地减少数据传输时间，从而提高了远程医疗的效率；
3、云服务器将患者ID、患者的检测数据、诊断结果、治疗方案以及对应的时间戳一起打包发送至区块链，这样一方面，进一步地方便了患者日后再次查验过往的病史，另一方面，由于区块链的不可篡改属性，所以可防止有人恶意篡改患者的过往病史；
4、通过人脸图像的局部区域的几何结构特征使存在视差的人脸图像尽可能配准，并利用拼接线拼接方法避开了配准方法不能解决的前景大视差物体的问题，减少了拼接出来的患者整张人脸图像中的重影或错位，提高了拼接图像的质量，便于会诊医师的诊断；
5、通过从几何约束和患者面部变化特征抽取网络两个层次来构建具有变化特征密集连接和几何约束的卷积神经网络模型，从而能有效提升患者面部变化特征抽取的准确性和稳定性；
6、通过采用密集连接的结构，提高了患者面部变化特征的可重复性，且通过采用几何信息作为多模块约束，可实现对几何信息变化的抽取；
7、通过采用以变化检测分类代价函数、边缘几何代价函数和几何变化代价函数三种代价函数融合一体的整体代价函数计算，进一步地提升了几何信息变化约束条件下的患者面部变化特征的可重复性。
附图说明
图1为本发明的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
参照图1，本实施例提供了一种基于5G网络和区块链的智能移动医疗方法，包括以下步骤：
S1：通过患者检测移动端采集患者的检测数据，并将所述患者的检测数据通过5G网络传输至云服务器；
S2：所述云服务器接收到所述患者检测移动端采集的患者的检测数据后储存所述患者的检测数据，并将所述患者的检测数据备份至云备份储存服务器上，同时将所述患者的检测数据通过5G网络发送至医师远程会诊端；
S3：所述医师远程会诊端接收到所述云服务器发送的患者的检测数据后，向会诊医师展示所述患者的检测数据，会诊医师根据所述患者的检测数据出诊断结果及治疗方案，并通过所述医师远程会诊端将所述诊断结果及治疗方案发送至所述云服务器；
S4：所述云服务器接收到所述医师远程会诊端发送的诊断结果及治疗方案后，储存所述诊断结果及治疗方案并将其与所述患者的检测数据关联在一起，并将所述诊断结果及治疗方案备份至所述云备份储存服务器上对应所述患者的检测数据的位置，再将所述诊断结果及治疗方案返回至所述患者检测移动端，所述患者检测移动端向患者展示所述诊断结果及治疗方案；
S5：所述云服务器将所述患者ID、所述患者的检测数据、所述诊断结果、所述治疗方案以及对应的时间戳一起打包发送至区块链；
S6：所述云备份储存服务器将存储所述患者的检测数据、诊断结果和治疗方案对应的链接地址发送至所述云服务器和所述患者检测移动端。
通过将患者的检测数据、诊断结果以及治疗方案备份至云备份储存服务器上，这样方便了患者日后再次查验过往的病史；同时，通过采用5G网络通讯，可大大地减少数据传输时间，从而提高了远程医疗的效率；而且，云服务器将患者ID、患者的检测数据、诊断结果、治疗方案以及对应的时间戳一起打包发送至区块链，这样一方面，进一步地方便了患者日后再次查验过往的病史，另一方面，由于区块链的不可篡改属性，所以可防止有人恶意篡改患者的过往病史。
上述患者检测移动端采集一张患者的左侧人脸图像和一张患者的右侧人脸图像，并通过5G网络将所述左侧人脸图像和右侧人脸图像传输至所述云服务器，所述云服务器收到所述患者检测移动端采集的一张患者的左侧人脸图像和一张患者的右侧人脸图像后，采用尺度不变特征变换算法对所述左侧人脸图像和右侧人脸图像进行人脸特征点提取及匹配得到匹配的人脸特征点，并采用直线检测算法、图像分割和边缘检测算法对所述左侧人脸图像和右侧人脸图像进行人脸局部区域的几何结构特征提取及匹配得到匹配的人脸几何结构，所述匹配的人脸特征点和所述匹配的人脸几何结构构成匹配的人脸特征组，通过构成的所述匹配的人脸特征组构建人脸网格模型：D＝k1D1+k2D2+k3D3+k4D4，k1为人脸特征点配准项对应的权重，D1为人脸特征点配准项，k2为人脸区域几何特征配准项对应的权重，D2为人脸区域几何特征配准项，k3为人脸局部相似项对应的权重，D3为人脸局部相似项，k4为人脸全局相似项对应的权重，D4为人脸全局相似项，所述人脸特征点配准项、人脸区域几何特征配准项、人脸局部相似项和人脸全局相似项均由网格顶点表示，将各项展开为矩阵，再将展开的矩阵按行组合得到各网格顶点坐标展开向量，采用调整网格顶点的坐标对网格顶点进行优化使得总误差D最小，得到配准的左侧人脸图像和右侧人脸图像，记拼接线L上的点为f，在配准的左侧人脸图像和右侧人脸图像上对应的像素值差异为Xcy(f)，在配准的左侧人脸图像和右侧人脸图像上的结构相似度为Xxs(f)，采用动态规划历遍找到符合
Figure GDA0002693065670000111
最小的拼接线，根据找到的拼接线，将配准的左侧人脸图像和右侧人脸图像重叠区域分为左区域和右区域，左区域保留视角偏左的图且右区域保留视角偏右的图，将拼接线两侧的人脸图像重叠区域进行曝光补偿后，沿着拼接线拼接得到患者完整的人脸图像。
通过人脸图像的局部区域的几何结构特征使存在视差的人脸图像尽可能配准，并利用拼接线拼接方法避开了配准方法不能解决的前景大视差物体的问题，减少了拼接出来的患者整张人脸图像中的重影或错位，提高了拼接图像的质量，便于会诊医师的诊断。
患者每次就诊时，所述患者检测移动端采集患者的人脸图像，并将所述人脸图像发送至所述云服务器，患者下次就诊时，所述云服务器调取该患者的每次就诊时采集的人脸图像，并根据每次就诊时采集的人脸图像计算出该患者的面部变化结果，具体如下：
计算患者就诊前后采集的人脸图像归一化参数，并对患者就诊前后采集的人脸图像进行归一化和人脸图像颜色校正，得到处理后的患者就诊前后采集的人脸图像，构建卷积神经网络模型，所述卷积神经网络模型包括就诊前后人脸图像变化特征增量编码单元和多模块几何约束求解单元，所述就诊前后人脸图像变化特征增量编码单元包括对应采集前期人脸图像的模块和对应采集后期人脸图像的模块，其中，所述采集前期人脸图像的模块又包括依次相连的三个模块，且每个模块均包括三个卷积层和一个池化层，采集后期人脸图像的模块也包括依次相连的三个模块，且每个子模块均包括三个卷积层和一个池化层，将就诊前后所有模块池化后特征相减得到差分特征，所述多模块几何约束求解单元又包括三个模块，第一模块用于前期人脸边缘计算，第二模块用于人脸变化区域计算，第三模块用于后期人脸边缘计算，第一模块和第三模块共享参数结构，第一模块和第三模块的结构和第二模块的结构通过代价函数相互作用，实现通过几何结构信息有效约束最终变化检测结果，所述就诊前后人脸图像变化特征增量编码单元通过差分特征作为输入与多模块几何约束求解单元相连，所述代价函数包括变化检测分类代价函数、边缘几何代价函数和几何变化代价函数，通过所述多模块几何约束的整体代价函数采用无模型优化算法，用于所述卷积神经网络模型的训练，训练完成后，得到卷积神经网络模型的训练拟合参数，再将处理后的患者就诊前后采集的人脸图像输入训练好的卷积神经网络模型，计算得到该患者的面部变化结果即可，仅有第二模块参与患者面部变化区域计算，同时输出第一模块与第三模块对患者就诊前后期人脸图像几何结构计算的结果；其中，
所述变化检测分类代价函数A(bz,jz)为：
A(bz,jz)＝-yz×bz×log(Tanh(jz))-(1-bz)×log(1-Tanh(jz))
式中，bz代表患者人脸图像变化值，jz表示经过求解器后计算特征值，Tanh(·)为双曲正切函数，yz表示未变化区域和变化区域的均衡因子；
所述边缘几何代价函数A(bzby,jzby)为：
Figure GDA0002693065670000121
Figure GDA0002693065670000122
式中，bzby与jzby分别表示患者人脸边缘的真实值与患者人脸边缘的计算值，
Figure GDA0002693065670000123
表示第一模块与第三模块的第j组输出特征对应的边缘几何损失；
所述几何变化代价函数
Figure GDA0002693065670000131
为：
Figure GDA0002693065670000132
式中，
Figure GDA0002693065670000133
为前期患者人脸图像计算边缘的结果，
Figure GDA0002693065670000134
为后期患者人脸图像通过与前期患者人脸图像求解结构参数共享计算的边缘结果；
根据上述变化检测分类代价函数、边缘几何代价函数和几何变化代价函数，即得多模块几何约束的整体代价函数为：
Figure GDA0002693065670000135
通过从几何约束和患者面部变化特征抽取网络两个层次来构建具有变化特征密集连接和几何约束的卷积神经网络模型，从而能有效提升患者面部变化特征抽取的准确性和稳定性；同时，通过采用密集连接的结构，提高了患者面部变化特征的可重复性，且通过采用几何信息作为多模块约束，可实现对几何信息变化的抽取；而且，通过采用以变化检测分类代价函数、边缘几何代价函数和几何变化代价函数三种代价函数融合一体的整体代价函数计算，进一步地提升了几何信息变化约束条件下的患者面部变化特征的可重复性。
本实施例还提供了一种基于5G网络和区块链的智能移动医疗系统，包括：患者检测移动端、云服务器、云备份储存服务器和医师远程会诊端；
所述患者检测移动端，用于采集患者的检测数据，并将所述患者的检测数据通过5G网络传输至云服务器；
所述云服务器，用于接收到所述患者检测移动端采集的患者的检测数据后储存所述患者的检测数据，并将所述患者的检测数据备份至云备份储存服务器上，同时将所述患者的检测数据通过5G网络发送至医师远程会诊端；
所述云备份储存服务器，用于备份数据；
所述医师远程会诊端，用于接收到所述云服务器发送的患者的检测数据后，向会诊医师展示所述患者的检测数据，会诊医师根据所述患者的检测数据出诊断结果及治疗方案，并通过所述医师远程会诊端将所述诊断结果及治疗方案发送至所述云服务器；
所述云服务器接收到所述医师远程会诊端发送的诊断结果及治疗方案后，储存所述诊断结果及治疗方案并将其与所述患者的检测数据关联在一起，并将所述诊断结果及治疗方案备份至所述云备份储存服务器上对应所述患者的检测数据的位置，再将所述诊断结果及治疗方案返回至所述患者检测移动端，所述患者检测移动端向患者展示所述诊断结果及治疗方案；同时，所述云服务器将所述患者ID、所述患者的检测数据、所述诊断结果、所述治疗方案以及对应的时间戳一起打包发送至区块链。

Claims (6)

1.一种基于5G网络和区块链的智能移动医疗方法，其特征在于，包括以下步骤：
S1：通过患者检测移动端采集患者的检测数据，并将所述患者的检测数据通过5G网络传输至云服务器；所述患者检测移动端采集一张患者的左侧人脸图像和一张患者的右侧人脸图像，并通过5G网络将所述左侧人脸图像和右侧人脸图像传输至所述云服务器，所述云服务器收到所述患者检测移动端采集的一张患者的左侧人脸图像和一张患者的右侧人脸图像后，采用尺度不变特征变换算法对所述左侧人脸图像和右侧人脸图像进行人脸特征点提取及匹配得到匹配的人脸特征点，并采用直线检测算法、图像分割和边缘检测算法对所述左侧人脸图像和右侧人脸图像进行人脸局部区域的几何结构特征提取及匹配得到匹配的人脸几何结构，所述匹配的人脸特征点和所述匹配的人脸几何结构构成匹配的人脸特征组，通过构成的所述匹配的人脸特征组构建人脸网格模型：D＝k1D1+k2D2+k3D3+k4D4，k1为人脸特征点配准项对应的权重，D1为人脸特征点配准项，k2为人脸区域几何特征配准项对应的权重，D2为人脸区域几何特征配准项，k3为人脸局部相似项对应的权重，D3为人脸局部相似项，k4为人脸全局相似项对应的权重，D4为人脸全局相似项，所述人脸特征点配准项、人脸区域几何特征配准项、人脸局部相似项和人脸全局相似项均由网格顶点表示，将各项展开为矩阵，再将展开的矩阵按行组合得到各网格顶点坐标展开向量，采用调整网格顶点的坐标对网格顶点进行优化使得总误差D最小，得到配准的左侧人脸图像和右侧人脸图像，记拼接线L上的点为f，在配准的左侧人脸图像和右侧人脸图像上对应的像素值差异为Xcy(f)，在配准的左侧人脸图像和右侧人脸图像上的结构相似度为Xxs(f)，采用动态规划历遍找到符合
Figure FDA0002718293910000021
最小的拼接线，根据找到的拼接线，将配准的左侧人脸图像和右侧人脸图像重叠区域分为左区域和右区域，左区域保留视角偏左的图且右区域保留视角偏右的图，将拼接线两侧的人脸图像重叠区域进行曝光补偿后，沿着拼接线拼接得到患者完整的人脸图像；
S2：所述云服务器接收到所述患者检测移动端采集的患者的检测数据后储存所述患者的检测数据，并将所述患者的检测数据备份至云备份储存服务器上，同时将所述患者的检测数据通过5G网络发送至医师远程会诊端；
S3：所述医师远程会诊端接收到所述云服务器发送的患者的检测数据后，向会诊医师展示所述患者的检测数据，会诊医师根据所述患者的检测数据出诊断结果及治疗方案，并通过所述医师远程会诊端将所述诊断结果及治疗方案发送至所述云服务器；
S4：所述云服务器接收到所述医师远程会诊端发送的诊断结果及治疗方案后，储存所述诊断结果及治疗方案并将其与所述患者的检测数据关联在一起，并将所述诊断结果及治疗方案备份至所述云备份储存服务器上对应所述患者的检测数据的位置，再将所述诊断结果及治疗方案返回至所述患者检测移动端，所述患者检测移动端向患者展示所述诊断结果及治疗方案；
S5：所述云服务器将患者ID、所述患者的检测数据、所述诊断结果、所述治疗方案以及对应的时间戳一起打包发送至区块链。
2.根据权利要求1所述的基于5G网络和区块链的智能移动医疗方法，其特征在于，所述云备份储存服务器将存储所述患者的检测数据、诊断结果和治疗方案对应的链接地址发送至所述云服务器和所述患者检测移动端。
3.根据权利要求1所述的基于5G网络和区块链的智能移动医疗方法，其特征在于，患者每次就诊时，所述患者检测移动端采集患者的人脸图像，并将所述人脸图像发送至所述云服务器，患者下次就诊时，所述云服务器调取该患者的每次就诊时采集的人脸图像，并根据每次就诊时采集的人脸图像计算出该患者的面部变化结果。
4.根据权利要求3所述的基于5G网络和区块链的智能移动医疗方法，其特征在于，所述根据每次就诊时采集的人脸图像计算出该患者的面部变化结果具体如下：
计算患者就诊前后采集的人脸图像归一化参数，并对患者就诊前后采集的人脸图像进行归一化和人脸图像颜色校正，得到处理后的患者就诊前后采集的人脸图像，构建卷积神经网络模型，所述卷积神经网络模型包括就诊前后人脸图像变化特征增量编码单元和多模块几何约束求解单元，所述就诊前后人脸图像变化特征增量编码单元包括对应采集前期人脸图像的模块和对应采集后期人脸图像的模块，其中，所述采集前期人脸图像的模块又包括依次相连的三个模块，且每个模块均包括三个卷积层和一个池化层，采集后期人脸图像的模块也包括依次相连的三个模块，且每个子模块均包括三个卷积层和一个池化层，将就诊前后所有模块池化后特征相减得到差分特征，所述多模块几何约束求解单元又包括三个模块，第一模块用于前期人脸边缘计算，第二模块用于人脸变化区域计算，第三模块用于后期人脸边缘计算，第一模块和第三模块共享参数结构，第一模块和第三模块的结构和第二模块的结构通过代价函数相互作用，实现通过几何结构信息有效约束最终变化检测结果，所述就诊前后人脸图像变化特征增量编码单元通过差分特征作为输入与多模块几何约束求解单元相连，所述代价函数包括变化检测分类代价函数、边缘几何代价函数和几何变化代价函数，对构建好的卷积神经网络模型进行训练，并将处理后的患者就诊前后采集的人脸图像输入训练好的卷积神经网络模型，计算得到该患者的面部变化结果；其中，
所述变化检测分类代价函数A(bz,jz)为：
A(bz,jz)＝-yz×bz×log(Tanh(jz))-(1-bz)×log(1-Tanh(jz))
式中，bz代表患者人脸图像变化值，jz表示经过求解器后计算特征值，Tanh(·)为双曲正切函数，yz表示未变化区域和变化区域的均衡因子；
所述边缘几何代价函数A(bzby,jzby)为：
Figure FDA0002718293910000041
Figure FDA0002718293910000042
式中，bzby与jzby分别表示患者人脸边缘的真实值与患者人脸边缘的计算值，
Figure FDA0002718293910000043
表示第一模块与第三模块的第j组输出特征对应的边缘几何损失；
所述几何变化代价函数
Figure FDA0002718293910000044
为：
Figure FDA0002718293910000045
式中，
Figure FDA0002718293910000046
为前期患者人脸图像计算边缘的结果，
Figure FDA0002718293910000047
为后期患者人脸图像通过与前期患者人脸图像求解结构参数共享计算的边缘结果。
5.根据权利要求4所述的基于5G网络和区块链的智能移动医疗方法，其特征在于，根据所述变化检测分类代价函数、边缘几何代价函数和几何变化代价函数，即得多模块几何约束的整体代价函数为：
Figure FDA0002718293910000051
6.一种基于5G网络和区块链的智能移动医疗系统，其特征在于，包括：患者检测移动端、云服务器、云备份储存服务器和医师远程会诊端；
所述患者检测移动端，用于采集患者的检测数据，并将所述患者的检测数据通过5G网络传输至云服务器；所述患者检测移动端采集一张患者的左侧人脸图像和一张患者的右侧人脸图像，并通过5G网络将所述左侧人脸图像和右侧人脸图像传输至所述云服务器，所述云服务器收到所述患者检测移动端采集的一张患者的左侧人脸图像和一张患者的右侧人脸图像后，采用尺度不变特征变换算法对所述左侧人脸图像和右侧人脸图像进行人脸特征点提取及匹配得到匹配的人脸特征点，并采用直线检测算法、图像分割和边缘检测算法对所述左侧人脸图像和右侧人脸图像进行人脸局部区域的几何结构特征提取及匹配得到匹配的人脸几何结构，所述匹配的人脸特征点和所述匹配的人脸几何结构构成匹配的人脸特征组，通过构成的所述匹配的人脸特征组构建人脸网格模型：D＝k1D1+k2D2+k3D3+k4D4，k1为人脸特征点配准项对应的权重，D1为人脸特征点配准项，k2为人脸区域几何特征配准项对应的权重，D2为人脸区域几何特征配准项，k3为人脸局部相似项对应的权重，D3为人脸局部相似项，k4为人脸全局相似项对应的权重，D4为人脸全局相似项，所述人脸特征点配准项、人脸区域几何特征配准项、人脸局部相似项和人脸全局相似项均由网格顶点表示，将各项展开为矩阵，再将展开的矩阵按行组合得到各网格顶点坐标展开向量，采用调整网格顶点的坐标对网格顶点进行优化使得总误差D最小，得到配准的左侧人脸图像和右侧人脸图像，记拼接线L上的点为f，在配准的左侧人脸图像和右侧人脸图像上对应的像素值差异为Xcy(f)，在配准的左侧人脸图像和右侧人脸图像上的结构相似度为Xxs(f)，采用动态规划历遍找到符合
Figure FDA0002718293910000061
最小的拼接线，根据找到的拼接线，将配准的左侧人脸图像和右侧人脸图像重叠区域分为左区域和右区域，左区域保留视角偏左的图且右区域保留视角偏右的图，将拼接线两侧的人脸图像重叠区域进行曝光补偿后，沿着拼接线拼接得到患者完整的人脸图像；
所述云服务器，用于接收到所述患者检测移动端采集的患者的检测数据后储存所述患者的检测数据，并将所述患者的检测数据备份至云备份储存服务器上，同时将所述患者的检测数据通过5G网络发送至医师远程会诊端；
所述云备份储存服务器，用于备份数据；
所述医师远程会诊端，用于接收到所述云服务器发送的患者的检测数据后，向会诊医师展示所述患者的检测数据，会诊医师根据所述患者的检测数据出诊断结果及治疗方案，并通过所述医师远程会诊端将所述诊断结果及治疗方案发送至所述云服务器；
所述云服务器接收到所述医师远程会诊端发送的诊断结果及治疗方案后，储存所述诊断结果及治疗方案并将其与所述患者的检测数据关联在一起，并将所述诊断结果及治疗方案备份至所述云备份储存服务器上对应所述患者的检测数据的位置，再将所述诊断结果及治疗方案返回至所述患者检测移动端，所述患者检测移动端向患者展示所述诊断结果及治疗方案；同时，所述云服务器将患者ID、所述患者的检测数据、所述诊断结果、所述治疗方案以及对应的时间戳一起打包发送至区块链。
CN202010261924.2A 2020-04-05 2020-04-05 基于5g网络和区块链的智能移动医疗方法及系统 Active CN111462867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010261924.2A CN111462867B (zh) 2020-04-05 2020-04-05 基于5g网络和区块链的智能移动医疗方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010261924.2A CN111462867B (zh) 2020-04-05 2020-04-05 基于5g网络和区块链的智能移动医疗方法及系统

Publications (2)

Publication Number Publication Date
CN111462867A CN111462867A (zh) 2020-07-28
CN111462867B true CN111462867B (zh) 2021-01-05

Family

ID=71680501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010261924.2A Active CN111462867B (zh) 2020-04-05 2020-04-05 基于5g网络和区块链的智能移动医疗方法及系统

Country Status (1)

Country Link
CN (1) CN111462867B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164100B (zh) * 2020-09-25 2023-12-12 闽江学院 一种基于图卷积神经网络的图像配准方法
TWI813914B (zh) * 2020-10-23 2023-09-01 遠傳電信股份有限公司 基於區塊鏈的採證存證系統和採證存證方法
CN112650580B (zh) * 2020-11-02 2021-07-20 北京迅达云成科技有限公司 一种基于边缘计算的工业大数据监测系统
CN113342271B (zh) * 2021-06-04 2023-02-21 上海蓝色帛缔智能工程有限公司 一种智能化区域采集医疗数据储存的方法及电子设备
CN113792864A (zh) * 2021-09-27 2021-12-14 高俊领 一种基于区块链的神经网络多端融合训练方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10076671B2 (en) * 2012-05-25 2018-09-18 Ojai Retinal Technology, Llc Apparatus for retina phototherapy
CN103942402A (zh) * 2013-01-18 2014-07-23 江苏睿博信息科技有限公司 基于云平台的远程医疗服务系统及远程医疗服务控制方法
CN107592318A (zh) * 2017-09-22 2018-01-16 深圳中迈数字医疗技术有限公司 一种通过区块链实现临床数据共享的方法及系统
WO2019116679A1 (ja) * 2017-12-13 2019-06-20 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN108881175A (zh) * 2018-05-28 2018-11-23 合肥工业大学 一种基于区块链的防篡改电子病历系统
CN110826844A (zh) * 2019-09-16 2020-02-21 王丽英 一种基于区块链的人口营养健康产业链质量追溯系统
CN110911000A (zh) * 2019-12-31 2020-03-24 齐鲁师范学院 一种基于物联网的院前医疗急救平台

Also Published As

Publication number Publication date
CN111462867A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111462867B (zh) 基于5g网络和区块链的智能移动医疗方法及系统
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN110662484B (zh) 用于全身测量结果提取的系统和方法
CN111462853B (zh) 基于区块链和5g通讯的移动医疗系统及方法
CN107274402A (zh) 一种基于胸部ct影像的肺结节自动检测方法及系统
CN108630303A (zh) 云标注系统
CN109830271A (zh) 一种基于边缘计算和云计算的健康数据管理系统及分析方法
CN111860651B (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN110738241A (zh) 一种基于神经网络的双目立体视觉匹配方法及其运算框架
CN112991534A (zh) 一种基于多粒度物体模型的室内语义地图构建方法及系统
CN114937293A (zh) 基于gis的农业服务管理方法及系统
CN114119987A (zh) 基于卷积神经网络的特征提取和描述子生成方法及系统
CN112215876B (zh) 一种双光谱图像配准融合方法、装置、设备及存储介质
CN117711066A (zh) 一种三维人体姿态估计方法、装置、设备及介质
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN112991207B (zh) 全景深度估计方法、装置、终端设备及存储介质
CN115705678A (zh) 一种图像数据处理方法、计算机设备以及介质
CN113421332A (zh) 一种三维重建方法、装置、电子设备及存储介质
CN112837321A (zh) 一种基于光场的场景语义分割系统及方法
CN112861699A (zh) 一种基于单张深度图像和多阶段神经网络的任意姿势人体身高估计方法
CN117423138B (zh) 基于多分支结构的人体跌倒检测方法、装置及系统
CN116244284B (zh) 一种基于立体内容的大数据处理方法
CN114419103A (zh) 一种骨架检测跟踪方法、装置及电子设备
CN117593195A (zh) 基于分层误差抑制的点云融合方法、装置、设备及介质
CN117670870A (zh) 关键点检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201023

Address after: 430000 Room C, 3 / F, unit 1, building 5, Wanda Plaza, lingjiaohu, Wuhan, No. 13, tangjiadun Road, Jianghan District, Wuhan City, Hubei Province

Applicant after: Cheng Hao

Address before: Room C, 3 / F, unit 1, building 5, Wanda Plaza, lingjiaohu, Wuhan, No. 13, tangjiadun Road, Jianghan District, Wuhan City, Hubei Province

Applicant before: Wuhan Ai Ai Ai Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201211

Address after: 518000 west block, phase II, chegongmiao innovation Plaza, Futian District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Youbi AI Information Technology Co.,Ltd.

Address before: 430000 Room C, 3 / F, unit 1, building 5, Wanda Plaza, lingjiaohu, Wuhan, No. 13, tangjiadun Road, Jianghan District, Wuhan City, Hubei Province

Applicant before: Cheng Hao

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant