CN112420214A - 超声会诊远程分享方法、平台和系统 - Google Patents
超声会诊远程分享方法、平台和系统 Download PDFInfo
- Publication number
- CN112420214A CN112420214A CN201910774361.4A CN201910774361A CN112420214A CN 112420214 A CN112420214 A CN 112420214A CN 201910774361 A CN201910774361 A CN 201910774361A CN 112420214 A CN112420214 A CN 112420214A
- Authority
- CN
- China
- Prior art keywords
- ultrasonic
- remote
- consultation
- image
- ultrasound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000002452 interceptive effect Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 11
- 238000002604 ultrasonography Methods 0.000 claims description 79
- 238000000586 desensitisation Methods 0.000 claims description 26
- 238000003745 diagnosis Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000004171 remote diagnosis Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000011282 treatment Methods 0.000 abstract description 10
- 238000004891 communication Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 7
- 238000011084 recovery Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000003754 fetus Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Bioethics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及人工智能医疗技术领域,具体涉及一种超声会诊远程分享方法、平台和系统。超声会诊远程分享方法具体包括:通过超声换能器扫描获取扫包含扫描对象信息的第一超声影像;获取超声设备操作人员的身份信息和第一交互信息;根据所述身份信息脱敏处理所述第一超声影像,生成本地超声影像;通过超分辨率重建网络处理所述本地超声影像得到远程超声会诊影像;将所述远程超声会诊影像和所述第一交互信息分享给远程专家。超声会诊远程分享平台用于执行所述的超声会诊远程分享方法。超声会诊远程分享系统包括:云服务器和终端设备。所述超声会诊远程分享方法、平台和系统能够方便用户之间的沟通交流的前提下保障患者隐私等敏感信息。
Description
技术领域
本发明涉及人工智能医疗技术领域,具体涉及一种超声会诊远程分享方法、平台和系统。
背景技术
超声远程诊断是超声影像医疗技术与互联网技术的产物,它可以应用到目前很多的应用场景,如:医联体远程专家会诊、分级诊疗远程服务、远程超声培训、远程超声设备维护与技术支持。通过现代化通信技术、计算机网络技术,多媒体通信网将病人的病例资料包括心电图、X线、CT、MR、超声、病理等影像资料进行远距离传输交流,同时专家与异地的医生以及病人对患者医学影像资料进行协同分析和讨论,进一步明确诊断,指导确定治疗方案,实现医学资源、专家资源、技术设备资源和医学科技成果信息资源共享,大大节省医疗开支,提高医疗水平,尤其对缩小城乡差异,提高边远地区医疗水平,降低病人医疗费用有重要的作用。
但是现有的超声远程医疗方法在超声影像分享过程中会存在泄漏患者隐私或者其他敏感信息的问题,安全可靠性较差。
发明内容
为了解决现有技术中存在的不足,本发明提供一种超声会诊远程分享方法、平台和系统,所述超声会诊远程分享方法、平台和系统能够方便用户之间的沟通交流的前提下保障患者隐私等敏感信息。
根据本发明提供的技术方案,作为本发明的第一方面,提供一种超声会诊远程分享方法,包括:
通过超声换能器扫描获取扫包含扫描对象信息的第一超声影像;
获取超声设备操作人员的身份信息和第一交互信息,所述身份信息为认证操作人员或者非认证操作人员;
根据所述身份信息脱敏处理所述第一超声影像,生成本地超声影像;
通过超分辨率重建网络处理所述本地超声影像得到远程超声会诊影像;
将所述远程超声会诊影像和所述第一交互信息分享给远程专家。
进一步地,还包括:
采集远程专家根据所述远程超声会诊影像和所述第一交互信息确定的诊断结果;或
获取远程专家根据所述远程超声会诊影像和所述第一交互信息向所述超声设备操作人员发送的第二交互信息,所述第二交互信息用于辅助所述远程专家进行远程诊断,
所述第二交互信息至少包括:指导所述超声设备操作人员操作的远程指示指令和/或远程调节所述本地超声影像的远程控制指令。
进一步地,所述获取超声设备操作人员的身份信息包括人脸识别、指纹识别或者声纹识别中的至少一种。
进一步地,还包括:
获取所述远程专家的认证等级,所述认证等级分为初级专家、中级专家和高级专家;
根据所述远程专家的认证等级脱敏处理所述远程超声会诊影像。
进一步地,所述脱敏处理包括:
通过训练好的识别神经网络模型确定所述第一超声影像中的敏感区域,所述敏感区域包括敏感影像区域;
模糊化处理所述第一超声影像中的敏感区域。
进一步地,所述根据所述身份信息脱敏处理所述第一超声影像,生成本地超声影像包括:
若所述操作人员为非认证操作人员,则脱敏处理所述第一超声影像,在本地显示器生成所述本地超声影像;
若所述操作人员为认证操作人员,则获取所述本地显示器视觉覆盖范围内是否有存在非认证操作人员,若存在,则脱敏处理所述第一超声影像,在本地显示器生成所述本地超声影像。
进一步地,所述脱敏处理为可恢复性脱敏处理,所述远程专家能够通过所述远程控制指令对所述本地超声图像进行脱敏还原。
进一步地,所述远程专家的权限配置为:
初级专家,所述初级专家拥有参会权限,所述参会权限定义为所述初级专家拥有参加远程会诊的权限;
中级专家,所述中级专家拥有诊断权限,所述诊断权限定义为所述中级专家拥有出具会诊结论的权限;
高级专家,所述高级专家拥有诊断权限和控制权限,所述控制权限定义为所述高级专家拥有远程控制本地超声影像成像的权限。
进一步地,所述超分辨率重建网络是预先通过超声影像视频料库对卷积神经网络进行训练所确定的;
所述超分辨率重建网络包括级联的光流网络、运动预估计算和超分辨率重建网络。
作为本发明的第二方面:
提供一种超声会诊远程分享平台,所述超声远程会诊平台用于存储执行如本发明第一方面所述超声会诊远程分享方法的程序。
作为本发明的第四方面:
提供一种超声会诊远程分享系统,包括:
云服务器,所述云服务器中搭建有超声会诊远程分享平台,云服务器的数据库中储存有操作人员和远程专家信息,且所述超声会诊远程分享平台能够访问所述数据库;
超声终端设备,所述超声终端设备中安装有软件,超声终端设备通过所述软件能够与云服务器进行信息交互。
从以上所述可以看出,本发明提供的超声会诊远程分享方法、平台和系统,与现有技术相比具备以下优点:
其一,在节省网络带宽的同时,大大地提高远程传输的超声图像质量,使得超声会诊参与用户能够更准确地获得超声会诊用户的会诊情况。
其二,使得超声会诊参与用户能够与超声会诊用户之间进行有效地沟通。
其三,能够对会诊信息中的敏感信息进行可靠保护。
附图说明
图1为本发明第一方面的流程图。
图2为本发明第一方面中S300的具体流程图。
图3为本发明第二方面的拓扑图。
图4为本发明第三方面的拓扑图。
100. 超声影像获取单元,200. 信息获取单元,300. 脱敏处理单元,400. 影像处理单元,500. 信息分享单元,600. 远程诊断信息获取单元。
具体实施方式
本发明详细描述了特别地参考目前优选的实施例中,但是应当理解,可以进行各种变化和修改在本发明的精神和范围。本发明所披露的实施例中,因此认为在所有的方面都是说明性的,而不是限制性的。指出本发明的范围由所附权利要求书中,所有的改变的意义和范围之内的等同物被打算包括在其中。
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中,很多细节描述是为了使得本发明能被更好的理解。然而,本领域技术人员可以毫不费力的认识到,其中部分特征在不同情况下是可以省略的,或者可以由其他元件、材料、方法所替代。在某些情况下,本发明相关的一些操作并没有在说明书中显示或者描述,这是为了避免本发明的核心部分被过多的描述所淹没,而对于本领域技术人员而言,详细描述这些相关操作并不是必要的,他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外,说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时,方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此,说明书和附图中的各种顺序只是为了清楚描述某一个实施例,并不意味着是必须的顺序,除非另有说明其中某个顺序是必须遵循的。本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。作为本发明第一方面:
提供一种超声会诊远程分享方法,如图1所示,超声会诊远程分享方法包括:
S100:通过超声换能器扫描获取包含扫描对象信息的第一超声影像;
需要理解的是,第一超声影像可以是单帧的超声图像,也可以是连续的多帧超声图像即超声视频。
S200:获取超声设备操作人员的身份信息和第一交互信息,身份信息为认证操作人员或者非认证操作人员;
现有的超声会诊远程分享方法在超声影像分享过程中会存在泄漏患者隐私或者其他敏感信息的问题,安全可靠性较差。本发明在使用超声换能器获取第一超声影像之前会对超声设备操作人员的身份信息进行识别。所述获取超声设备操作人员的身份信息包括人脸识别、指纹识别或者声纹识别中的至少一种。在一实施例中,通过摄像设备采集至少包括超声设备操作人员的图像视频,从图像视频中自动识别操作人员的面部特征进行人脸识别,进而获取操作人员的身份信息。操作人员的身份信息预先存储在存储器中,存储器中预先存储的操作人员为认证操作人员,未存储的操作人员为非认证操作人员,可以理解的是,认证操作人员和非认证操作人员还可以在存储到存储器中时进行定义区分。需要理解的是,第一交互信息也可以通过摄像设备采集获取。在另一实施例中,超声换能器上设有指纹识别模块,操作人员在激活使用超声换能器之前需要进行指纹识别,以获取超声设备操作人员的身份信息。
S300:根据身份信息脱敏处理第一超声影像,生成本地超声影像;
为了保护患者隐私或者其他敏感信息,本发明根据操作人员的身份信息判断是否对第一超声影像进行脱敏。本地超声影像通过本地显示器进行显示,本地显示器显示的超声影像数据(超声图像)可以是显示在一个显示器上,也可以同时显示在多个显示器上,当然也可以是将超声影像的部分分别同步显示在多个显示器上,在此本实施例也不作限制。可以理解的是,操作人员或者患者能够在本地显示器上看到的超声影像已经是经过脱敏处理之后的本地超声影像,防止先在本地显示器上显示再进行脱敏造成的患者隐私或敏感信息泄漏。
S400:通过超分辨率重建网络处理本地超声影像得到远程超声会诊影像;
在超声会诊远程分享的传输过程中往往会存在传输的图像等信息分表率较差,从而会影响远程专家的诊断,因此通过超分辨率重建网络能够实时对传输到的单张或多张视频帧进行重建,在节省网络带宽的同时,大大地提高远程传输的超声图像质量,使得超声会诊参与用户能够更准确地获得超声会诊用户的会诊情况。
S500:将远程超声会诊影像和第一交互信息分享给远程专家。
本发明的超声会诊远程分享方法通过根据身份信息脱敏处理第一超声影像,生成本地超声影像,从而能够根据不同身份信息对第一超声影像进行不同的脱敏处理,能够有效地保障诊疗者的隐私,通过超分辨率重建网络能够实时对传输到的单张或多张视频帧进行重建,在节省网络带宽的同时,大大地提高远程传输的超声图像质量,使得超声会诊参与用户能够更准确地获得超声会诊用户的会诊情况。
优选地,为了提高超声会诊用户和超声会诊参与用户之间的沟通与探讨,超声会诊远程分享方法还包括在S500之后进行的:
S600:采集远程专家根据远程超声会诊影像和第一交互信息确定的诊断结果;或
在一实施例中,需要理解的是,远程专家进行远程诊断时需要观察高质量的超声影像,操作人员的的专业程度决定了超声影像的影像质量。第一交互信息至少包括语音信息、打图手势的影像信息、操作流程的影像信息中的至少一种。打图手势是指操作人员使用超声换能器获取包含扫描对象信息的第一超声影像的手势动作。
S700:获取远程专家根据远程超声会诊影像和第一交互信息向超声设备操作人员发送的第二交互信息,第二交互信息用于辅助远程专家进行远程诊断;
如果操作人员采集生成的远程超声会诊影像无法使得远程专家直接进行诊断,远程专家会根据远程超声会诊影像和第一交互信息向超声设备超声人员发送第二交互信息,使用操作人员在第二交互信息的指导下能够获取远程专家想要的远程超声会诊影像,以用于辅助远程专家进行远程诊断。
第二交互信息至少包括:用于指导超声设备操作人员操作的远程指示指令和/或用于远程调节本地超声影像的远程控制指令。远程指示指令至少包括语音信息、文字信息和视频信息中的任意一种,用于指导超声设备操作人员进行扫描操作。扫描操作包括控制施加给超声换能器的压力、以及控制换能器进行平移、旋转等。远程专家通过第一交互信息进行远程监控,以指导操作人员进行扫描操作,进而提高第一超声影像的影像质量。
进一步地,远程专家还可以通过远程控制指令远程调节本地超声影像。远程控制指令至少包括:参数调节指令和脱敏调节指令。参数调节指令至少可以调节超声设备的焦点信息、驱动频率信息、驱动电压信息以及成像模式等扫描信息。也可以根据远程诊断所需成像模式的不同,对信号进行不同的处理,获得不同模式的超声图像数据,然后经对数压缩、动态范围调整、数字扫描变换等处理形成不同模式的超声图像,如B图像,C图像,D图像,多普勒血流图像,包含组织弹性特性的弹性图像等等,或者其他类型的二维超声图像或三维超声图像。
脱敏处理包括通过训练好的识别神经网络模型确定第一超声影像中的敏感区域,敏感区域包括敏感影像区域;模糊化处理第一超声影像中的敏感区域。识别神经网络模型通过大量手工标注的超声影像输入到神经网络中进行训练获得的死别神经网络模型。本发明的模糊化处理是可逆的。模糊化处理可以是对采集的第一超声影像覆盖预设透明度的蒙层。远程专家可以根据远程超声会诊影像判断是否存在泄漏患者隐私或者其他敏感信息的超声影像,例如识别胎儿性别的影像等,若不存在,远程专家通过脱敏调节指令可对脱敏处理后的本地超声影像进行还原,例如调节蒙层的透明度。
本发明通过远程专家反馈的诊断结果和用于辅助远程专家进行远程诊断的第二交互信息,从而能够使得远程专家、超声设备操作人员和患者之间能够进行有效地信息交互,有利于提高病灶判断和诊疗结果的正确性。
优选地,本发明还包括获取所述远程专家的认证等级,所述认证等级分为初级专家、中级专家和高级专家;根据所述远程专家的认证等级脱敏处理所述远程超声会诊影像。即远程专家在注册信息时会进行等级认证,认证等级存储在云服务器的数据库中;为了对不同认证等级的远程专家对远程超声会诊影像进行不同的脱敏处理,以保护敏感信息和用户隐私。
敏感信息包括商业敏感信息和隐私信息,商业敏感信息例如超声机器信息,包括机器型号,机器品牌等,隐私信息例如文件信息,包括文件名称等。脱敏模型是提前训练好的神经网络,训练样本是可以是从不同存储系统获取的原始样本以及通过人工脱敏处理后的样本图像组成。模型输出是去除基础信息后的影像图片。当然,脱敏的处理方式还可以包括但不限于模糊化、马赛克等方式。
不同认证等级的远程专家对远程超声会诊影像进行不同的脱敏处理具体过程包括:
根据远程专家的认证等级脱敏处理远程超声会诊影像。
具体地,远程专家的权限配置为:
初级专家,初级专家拥有参会权限,参会权限定义为初级专家拥有参加远程会诊的权限,只能查看远程超声会诊影像的影响区域;
中级专家,中级专家拥有诊断权限,诊断权限定义为中级专家拥有出具会诊结论的权限;
高级专家,高级专家拥有诊断权限和控制权限,控制权限定义为高级专家拥有远程控制本地超声影像成像的权限。
初级专家和中介专家可以通过考核升级成高级专家,可以通过在线答题获取积分、专家认证考核等形式进行认证升级。可以理解的是,为了对超声会诊影像的敏感信息进行可靠保护,在将超声会诊影像分享给超声会诊参与用户时,根据超声会诊参与用户的用户类型和专家等级来决定是否对远程超声会诊影像中的敏感信息进行脱敏处理。用户类型可以是患者、超声设备操作人员、算法工程师、影像医生或远程专家等。若超声会诊参与用户为高级专家时,高级专家可以根据超声会诊参与用户的需求来决定是否对敏感信息进行脱敏处理,需要理解的是高级专家可以对脱敏处理进行逆向去脱敏。
对于S300:根据身份信息脱敏处理第一超声影像,生成本地超声影像的步骤中超声设备操作人员的身份信息类型包括非认证操作人员和认证操作人员,如图2所示,具体包括:
S310:若操作人员为非认证操作人员,则脱敏处理第一超声影像,在本地显示器生成本地超声影像;
S320:若操作人员为认证操作人员,则获取本地显示器视觉覆盖范围内是否有存在非认证操作人员,若存在,则脱敏处理第一超声影像,在本地显示器生成本地超声影像。
可以了理解的是,有时候虽然操作人员为认证操作人员,但是患者还是可以看到显示器上的超声影像,仍然出现泄漏敏感信息的可能,例如超声影像包含识别胎儿性别的特征。
另外还需要理解的是:
超声影像的类型包括但不限于:
根据图片类型分类:2D图片,3D图片,视频等
根据扫描部位分类:腹部,踝关节,心脏,脑部等
根据图片来源分类:超声,核磁共振,CT等
根据病种分类:乳腺,颈动脉等。
本文中使用的术语 “单元”意指但不限于执行特定任务的软件或硬件组件,诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)或处理器,例如CPU、GPU。单元可以有利地被配置为驻留在可寻址存储介质中并且配置为在一个或多个处理器上执行。因此,作为示例,单元可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在模块中提供的功能性可以被组合成更少的组件和模块或者进一步分成附加的组件和模块。
作为本发明的第二方面:
如图3所示,提供一种超声会诊远程分享平台,包括:
超声影像获取单元100,超声影像获取单元100用于获取由超声换能器扫描获取包含扫描对象信息的第一超声影像;
信息获取单元200,信息获取单元200用于获取超声设备操作人员的身份信息和第一交互信息,身份信息为认证操作人员和非认证操作人员;
脱敏处理单元300,脱敏处理单元300用于根据身份信息脱敏处理第一超声影像,生成本地超声影像;
影像处理单元400,影像处理单元400用于通过超分辨率重建网络处理本地超声影像得到远程超声会诊影像;
信息分享单元500,影像分享单元用于将远程超声会诊影像和第一交互信息分享给远程专家。
远程诊断信息获取单元600,远程诊断信息获取单元600用于采集远程专家根据远程超声会诊影像和第一交互信息确定的诊断结果;或获取远程专家根据远程超声会诊影像和第一交互信息向超声设备操作人员发送的第二交互信息,第二交互信息用于辅助远程专家进行远程诊断,第二交互信息至少包括:指导超声设备操作人员操作的远程指示指令和/或远程调节本地超声影像的远程控制指令。
对于脱敏处理单元300包括:敏感区域识别模块和糊化处理模块;
敏感区域识别模块能够通过训练好的识别神经网络模型确定第一超声影像中的敏感区域,敏感区域包括敏感影像区域;
糊化处理模块能够模糊化处理第一超声影像中的敏感区域。
作为本发明的第三方面:
如图4所示,提供一种超声会诊远程分享系统,超声会诊远程分享系统具体包括:
云服务器,云服务器中搭建有如本发明第二方面的超声会诊远程分享平台,云服务器的数据库中储存有用户信息,且超声会诊远程分享平台能够访问数据库;
超声终端设备,超声终端设备中安装有软件,且终端设备通过软件能够与云服务器进行信息交互。
需要解释的是,用户可以是患者、超声设备操作人员、算法工程师、影像医生或远程专家等。远程专家的认证等级分为初级专家、中级专家和高级专家。用户通过终端设备向超声会诊远程分享平台发送请求远程诊断的预约指令(至少包括大致诊断时间、诊断类型、患者信息)。超声会诊远程分享平台响应预约指令生成访问该远程诊断请求的访问入口(会向其它超声终端设备进行消息推送);若至少两名远程专家访问并确认参加,则超声会诊远程分享平台向超声终端设备发送同意的反馈信息(反馈信息至少包括参加会诊的远程专家),若没有,则反馈预约失败和/或反馈建议的预约时间。
需要理解的是,同一个患者针对同一病情的远程会诊请求(复诊),超声会诊远程分享平台会优先预约上次的远程专家。若患者需要远程会诊的时间范围内,之前的远程专家无法出席会诊,则提前调取之前的会诊记录发送给新加入的远程专家。
在一实施例中,超声会诊远程分享平台响应预约指令后,用户通过超声终端设备将采集到的本地超声影像上传到云服务器中;超声会诊远程分享平台利用已经训练好的神经网络模型初步判断上传的本地超声影像是否符合远程诊断的影像质量要求,否则超声会诊远程分享平台提示用户重新上传。
本发明的超声会诊远程分享平台会对上传的本地超声影像的影像质量进行判断,提高了远程专家远程会诊的效率。需要解释的是,用户信息包括超声设备操作人员的身份信息和远程专家的认证等级信息;;
针对本发明第一方面和第二方面中的超分辨率重建网络,超分辨率重建网络包括级联的光流网络、运动预估计算和超分辨率重建网络;基于以上结构超分辨率架构网络进行如下处理:
S310:将超声影像视频中的前一帧图像和当前帧图像在通道上进行堆叠后输入光流网络;
S320:光流网络输出超声影像视频中帧尺寸为的前一帧图像和当前帧图像间的光流场,公知的是光流场为二通道矩阵,其包括等尺寸的第一通道矩阵和第二通道矩阵,能够表示相邻帧中对应像素单元的运动矢量,其中第一通道矩阵表示相邻帧中对应像素单元的横向运动矢量,第二通道矩阵表示相邻帧中对应像素单元的纵向运动矢量;
S330:对光流场和前一帧超分辨率重建图像进行运动预估计算,经运动预估计算处理预估出当前帧恢复预估图像;
S340:根据当前帧恢复预估图像、超声影像视频中当前帧图像以及超分辨率重建网络,得到当前帧高分辨率图像;
S350:对所有帧的高分辨率重建图像按顺序组合成超分辨率重建视频。
其中S330:对光流场和前一帧超分辨率重建图像进行运动预估计算,经运动预估计算处理预估出当前帧恢复预估图像的步骤具体包括:
S331:通过第一上采样层对光流场进行上采样处理,且上采样处理的上采样因子为S1,从而将光流场放大S1倍;
S332:将上采样处理后的光流场和前一帧超分辨率重建图像进行空间变换得到当前帧恢复预估图像;
S333:对当前帧恢复预估图像进行空间转深度操作;
S334:将空间转深度操作后的前帧恢复预估图像与超声影像视频中的当前帧图像在通道上进行堆叠后输入超分辨率重建网络。
可以理解的是,运动预估网络能够根据光流场预测出当前帧恢复预估图像,其中上采样层用于对光流场进行放大,使得光流场的宽*高与前一帧超分辨率重建图像一致;空间变换层用于根据光流场和前一帧超分辨率重建图像预估出当前帧恢复预估图像,从而避免最终画质动态模糊。
所属领域的普通技术人员应当理解:以上仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的主旨之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种超声会诊远程分享方法,其特征在于,包括:
通过超声换能器扫描获取包含扫描对象信息的第一超声影像;
获取超声设备操作人员的身份信息和第一交互信息,所述身份信息为认证操作人员或者非认证操作人员;
根据所述身份信息脱敏处理所述第一超声影像,生成本地超声影像;
通过超分辨率重建网络处理所述本地超声影像得到远程超声会诊影像;
将所述远程超声会诊影像和所述第一交互信息分享给远程专家。
2.如权利要求1所述的超声会诊远程分享方法,其特征在于,还包括:
采集远程专家根据所述远程超声会诊影像和所述第一交互信息确定的诊断结果;或
获取远程专家根据所述远程超声会诊影像和所述第一交互信息向所述超声设备操作人员发送的第二交互信息,所述第二交互信息用于辅助所述远程专家进行远程诊断,
所述第二交互信息至少包括:指导所述超声设备操作人员操作的远程指示指令和/或远程调节所述本地超声影像的远程控制指令。
3.如权利要求1或2所述的超声会诊远程分享方法,其特征在于,还包括:
获取所述远程专家的认证等级,所述认证等级分为初级专家、中级专家和高级专家;
根据所述远程专家的认证等级脱敏处理所述远程超声会诊影像。
4.如权利要求1或2所述的超声会诊远程分享方法,其特征在于,所述脱敏处理包括:
通过训练好的识别神经网络模型确定所述第一超声影像中的敏感区域,所述敏感区域包括敏感影像区域;
模糊化处理所述第一超声影像中的敏感区域。
5.如权利要求1或2所述的超声会诊远程分享方法,其特征在于,所述根据所述身份信息脱敏处理所述第一超声影像,生成本地超声影像包括:
若所述操作人员为非认证操作人员,则脱敏处理所述第一超声影像,在本地显示器生成所述本地超声影像;
若所述操作人员为认证操作人员,则获取所述本地显示器视觉覆盖范围内是否有存在非认证操作人员,若存在,则脱敏处理所述第一超声影像,在本地显示器生成所述本地超声影像。
6.如权利要求2所述的超声会诊远程分享方法,其特征在于,所述脱敏处理为可恢复性脱敏处理,所述远程专家能够通过所述远程控制指令对所述本地超声图像进行脱敏还原。
7.如权利要求1所述的超声会诊远程分享方法,其特征在于,所述获取超声设备操作人员的身份信息包括人脸识别、指纹识别或者声纹识别中的至少一种。
8.如权利要求1或2所述的超声会诊远程分享方法,其特征在于,所述超分辨率重建网络是预先通过超声影像视频料库对卷积神经网络进行训练所确定的;
所述超分辨率重建网络包括级联的光流网络、运动预估计算和超分辨率重建网络。
9.一种超声会诊远程分享平台,其特征在于,所述超声远程会诊平台用于存储执行权利要求1至8中任意一项所述超声会诊远程分享方法的程序。
10.一种超声会诊远程分享系统,其特征在于,包括:
云服务器,所述云服务器中搭建有如权利要求9所述的超声会诊远程分享平台,云服务器的数据库中储存有操作人员和远程专家信息,且所述超声会诊远程分享平台能够访问所述数据库;
超声终端设备,所述超声终端设备中安装有软件,超声终端设备通过所述软件能够与云服务器进行信息交互。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910774361.4A CN112420214B (zh) | 2019-08-21 | 2019-08-21 | 超声会诊远程分享方法、平台和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910774361.4A CN112420214B (zh) | 2019-08-21 | 2019-08-21 | 超声会诊远程分享方法、平台和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112420214A true CN112420214A (zh) | 2021-02-26 |
CN112420214B CN112420214B (zh) | 2023-11-21 |
Family
ID=74779272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910774361.4A Active CN112420214B (zh) | 2019-08-21 | 2019-08-21 | 超声会诊远程分享方法、平台和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112420214B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI801095B (zh) * | 2022-01-14 | 2023-05-01 | 宏碁股份有限公司 | 用於線上會議的通訊裝置和通訊方法 |
CN112420214B (zh) * | 2019-08-21 | 2023-11-21 | 无锡祥生医疗科技股份有限公司 | 超声会诊远程分享方法、平台和系统 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2008121271A (ru) * | 2005-10-28 | 2009-12-10 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. (De) | Способ неразрушающего контроля проверяемого тела с помощью ультразвука |
CN102194222A (zh) * | 2011-04-26 | 2011-09-21 | 浙江大学 | 一种基于联合运动估计与超分辨率重建的图像重建方法 |
CN202102440U (zh) * | 2011-05-23 | 2012-01-04 | 北京蓝卫通科技有限公司 | 一种远程医学服务平台系统 |
WO2014069862A1 (ko) * | 2012-10-29 | 2014-05-08 | 한국디지털병원수출사업협동조합 | 3차원 초음파 진단기를 이용한 원격자문 시스템 |
US9076201B1 (en) * | 2012-03-30 | 2015-07-07 | University Of Louisville Research Foundation, Inc. | Volumetric deformable registration method for thoracic 4-D computed tomography images and method of determining regional lung function |
US20170004630A1 (en) * | 2013-11-01 | 2017-01-05 | Invensense, Inc. | Method and apparatus for speed or velocity estimation using optical sensor |
CN106803930A (zh) * | 2017-02-10 | 2017-06-06 | 上海斐讯数据通信技术有限公司 | 一种基于路由器的智能视频监控方法及智能路由器 |
CN106886680A (zh) * | 2017-02-09 | 2017-06-23 | 无锡科美达医疗科技有限公司 | 一种超声远程实时会诊系统 |
CN107239666A (zh) * | 2017-06-09 | 2017-10-10 | 孟群 | 一种对医疗影像数据进行脱敏处理的方法及系统 |
CN108091388A (zh) * | 2016-11-10 | 2018-05-29 | 长沙博为软件技术股份有限公司 | 一种超声系统的远程会诊流程的实现方法 |
WO2018212110A1 (ja) * | 2017-05-19 | 2018-11-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
CN109255822A (zh) * | 2018-07-13 | 2019-01-22 | 中国人民解放军战略支援部队航天工程大学 | 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法 |
CN109300532A (zh) * | 2018-09-04 | 2019-02-01 | 广州广康医疗科技股份有限公司 | 一种超声影像远程会诊系统及方法 |
WO2019114766A1 (zh) * | 2017-12-14 | 2019-06-20 | 中兴通讯股份有限公司 | 一种数据脱敏方法、服务器、终端及计算机可读存储介质 |
CN110110588A (zh) * | 2019-03-21 | 2019-08-09 | 平安普惠企业管理有限公司 | 基于人脸识别在线办理业务的方法、装置计算机设备 |
CN112135136A (zh) * | 2019-06-24 | 2020-12-25 | 无锡祥生医疗科技股份有限公司 | 超声远程医疗发送方法、装置和接收方法、装置及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112420214B (zh) * | 2019-08-21 | 2023-11-21 | 无锡祥生医疗科技股份有限公司 | 超声会诊远程分享方法、平台和系统 |
-
2019
- 2019-08-21 CN CN201910774361.4A patent/CN112420214B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2008121271A (ru) * | 2005-10-28 | 2009-12-10 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. (De) | Способ неразрушающего контроля проверяемого тела с помощью ультразвука |
CN102194222A (zh) * | 2011-04-26 | 2011-09-21 | 浙江大学 | 一种基于联合运动估计与超分辨率重建的图像重建方法 |
CN202102440U (zh) * | 2011-05-23 | 2012-01-04 | 北京蓝卫通科技有限公司 | 一种远程医学服务平台系统 |
US9076201B1 (en) * | 2012-03-30 | 2015-07-07 | University Of Louisville Research Foundation, Inc. | Volumetric deformable registration method for thoracic 4-D computed tomography images and method of determining regional lung function |
WO2014069862A1 (ko) * | 2012-10-29 | 2014-05-08 | 한국디지털병원수출사업협동조합 | 3차원 초음파 진단기를 이용한 원격자문 시스템 |
US20170004630A1 (en) * | 2013-11-01 | 2017-01-05 | Invensense, Inc. | Method and apparatus for speed or velocity estimation using optical sensor |
CN108091388A (zh) * | 2016-11-10 | 2018-05-29 | 长沙博为软件技术股份有限公司 | 一种超声系统的远程会诊流程的实现方法 |
CN106886680A (zh) * | 2017-02-09 | 2017-06-23 | 无锡科美达医疗科技有限公司 | 一种超声远程实时会诊系统 |
CN106803930A (zh) * | 2017-02-10 | 2017-06-06 | 上海斐讯数据通信技术有限公司 | 一种基于路由器的智能视频监控方法及智能路由器 |
WO2018212110A1 (ja) * | 2017-05-19 | 2018-11-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
CN107239666A (zh) * | 2017-06-09 | 2017-10-10 | 孟群 | 一种对医疗影像数据进行脱敏处理的方法及系统 |
WO2019114766A1 (zh) * | 2017-12-14 | 2019-06-20 | 中兴通讯股份有限公司 | 一种数据脱敏方法、服务器、终端及计算机可读存储介质 |
CN109255822A (zh) * | 2018-07-13 | 2019-01-22 | 中国人民解放军战略支援部队航天工程大学 | 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法 |
CN109300532A (zh) * | 2018-09-04 | 2019-02-01 | 广州广康医疗科技股份有限公司 | 一种超声影像远程会诊系统及方法 |
CN110110588A (zh) * | 2019-03-21 | 2019-08-09 | 平安普惠企业管理有限公司 | 基于人脸识别在线办理业务的方法、装置计算机设备 |
CN112135136A (zh) * | 2019-06-24 | 2020-12-25 | 无锡祥生医疗科技股份有限公司 | 超声远程医疗发送方法、装置和接收方法、装置及系统 |
Non-Patent Citations (12)
Title |
---|
佟骏超;吴熙林;丁丹丹;: "时空域上下文学习的视频多帧质量增强方法", 北京航空航天大学学报, no. 12 * |
刘村;李元祥;周拥军;骆建华;: "基于卷积神经网络的视频图像超分辨率重建方法", 计算机应用研究, no. 04 * |
吕军;杨超;王跃东;刘林;王新宁;: "基于多业务场景的大数据脱敏技术研究及其在电力用户隐私信息保护中的应用", 电力大数据, no. 07 * |
岳鑫;高飞;: "利用立体光流估计运动物体状态", 现代计算机(专业版), no. 03 * |
张翼飞;李良福;王娇颖;郑宝忠;: "基于超分辨率重建的图像增强算法研究", 应用光学, no. 02 * |
沈焕锋;李平湘;张良培;王毅;: "图像超分辨率重建技术与方法综述", 光学技术, no. 02 * |
王毛路;华跃;: "数据脱敏在政府数据治理及开放服务中的应用", 电子政务, no. 05 * |
程家星;: "基于残差神经网络的高强度运动超分辨率图像重构", 科学技术与工程, no. 24 * |
胡荣磊等: "一种大数据环境下医疗隐私保护方案设计与实现", 信息网络安全, no. 9, pages 50 * |
赵应武;: "图像超分辨率重建", 中国新通信, no. 02 * |
邓根强;吕周平;祝苗苗;董超雄;朱岁松;: "基于卷积神经网络的食管癌图像智能诊断系统设计", 中国数字医学, no. 10 * |
陈天莹;陈剑锋;: "大数据环境下的智能数据脱敏系统", 通信技术, no. 07 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112420214B (zh) * | 2019-08-21 | 2023-11-21 | 无锡祥生医疗科技股份有限公司 | 超声会诊远程分享方法、平台和系统 |
TWI801095B (zh) * | 2022-01-14 | 2023-05-01 | 宏碁股份有限公司 | 用於線上會議的通訊裝置和通訊方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112420214B (zh) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10664979B2 (en) | Method and system for deep motion model learning in medical images | |
CN110060313B (zh) | 一种图像伪影校正方法和系统 | |
CN110889005B (zh) | 搜索医学参考图像 | |
US10726555B2 (en) | Joint registration and segmentation of images using deep learning | |
CN110517757B (zh) | 调谐的医学超声成像 | |
JP5665903B2 (ja) | 画像処理装置及び方法、画像処理システム、並びにプログラム | |
EP3932318A1 (en) | Learning method, learning system, learned model, program, and super-resolution image generation device | |
US11080889B2 (en) | Methods and systems for providing guidance for adjusting an object based on similarity | |
KR20140088434A (ko) | 환자별 특성을 기반으로 한 mri 다변수 영상 획득 지원 장치 및 방법 | |
JP7187244B2 (ja) | 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム | |
EP3850638B1 (en) | Processing fundus camera images using machine learning models trained using other modalities | |
CN112420214B (zh) | 超声会诊远程分享方法、平台和系统 | |
CN112071387A (zh) | 一种自动化医学影像的电子胶片和检查报告获取方法及系统 | |
CN111951272A (zh) | 脑部影像的分割方法、装置、计算机设备和可读存储介质 | |
WO2022252929A1 (zh) | 医学图像中组织结构的层级分割方法、装置、设备及介质 | |
CN111243052A (zh) | 图像重建方法、装置、计算机设备和存储介质 | |
CN112545777B (zh) | 用于提供至少一个图像数据集的方法、存储介质、数据服务器、成像设备及远程医疗系统 | |
US7558427B2 (en) | Method for analyzing image data | |
JP2005278991A (ja) | 遠隔画像読影サービスシステム | |
WO2022127318A1 (zh) | 一种扫描定位方法、装置、存储介质及电子设备 | |
CN115965785A (zh) | 图像分割方法、装置、设备、程序产品及介质 | |
US20230238151A1 (en) | Determining a medical professional having experience relevant to a medical procedure | |
JP2020010823A (ja) | 医用情報処理装置、医用情報処理システム及び医用情報処理プログラム | |
CN113989171A (zh) | 减影图生成方法及装置、存储介质、计算机设备 | |
CN113052930A (zh) | 一种胸部dr双能量数字减影图像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |