CN112135136A - 超声远程医疗发送方法、装置和接收方法、装置及系统 - Google Patents

超声远程医疗发送方法、装置和接收方法、装置及系统 Download PDF

Info

Publication number
CN112135136A
CN112135136A CN201910549667.XA CN201910549667A CN112135136A CN 112135136 A CN112135136 A CN 112135136A CN 201910549667 A CN201910549667 A CN 201910549667A CN 112135136 A CN112135136 A CN 112135136A
Authority
CN
China
Prior art keywords
image
video
ultrasonic
ultrasound
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910549667.XA
Other languages
English (en)
Other versions
CN112135136B (zh
Inventor
陆振宇
杨磊
龚栋梁
赵明昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Chison Medical Technologies Co Ltd
Original Assignee
Wuxi Chison Medical Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Chison Medical Technologies Co Ltd filed Critical Wuxi Chison Medical Technologies Co Ltd
Priority to CN201910549667.XA priority Critical patent/CN112135136B/zh
Publication of CN112135136A publication Critical patent/CN112135136A/zh
Application granted granted Critical
Publication of CN112135136B publication Critical patent/CN112135136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及超声图像处理技术领域，具体涉及超声远程医疗信息发送方法、超声远程医疗信息发送装置、超声远程医疗信息接收方法、超声远程医疗信息接收装置以及超声远程医疗系统。为了节省带宽，在发送端超声图像视频数据在传输前先下采样，然后再进行视频压缩；远程接收端先解压超声视频图像，然后再利用基于递归架构卷积神经网络的超分辨率技术恢复高分辨率视频。采用双通道的实时视频传输方式。传输超声图像的实时视频通道保证图像的高质量，而传输摄像头采集的医生打图操作方法的实时视频通道保证低延时高流畅；本发明可以在节省网络带宽的同时，大大地提高远程传输的超声图像质量，降低可能的误诊。

Description

超声远程医疗发送方法、装置和接收方法、装置及系统
技术领域
本发明涉及超声图像处理技术领域，具体涉及超声远程医疗信息发送方法、超声远程医疗信息发送装置、超声远程医疗信息接收方法、超声远程医疗信息接收装置以及超声远程医疗系统。
背景技术
超声远程医疗是超声影像医疗技术与互联网技术的产物，它可以应用到目前很多的应用场景，如：医联体远程专家会诊、分级诊疗远程服务、远程超声培训、远程超声设备维护与技术支持。
但现有的超声远程医疗方法操作较为复杂，需要使用其他第三方辅助的软硬件；特别地，传统的超声远程医疗中超声影像视频数据的传输效率较差，对网络带宽资源要求太高，实时性与质量无法保证，容易出现视频图像模糊、掉帧、卡顿等问题。
发明内容
为了解决现有技术中存在的不足，本发明提供一种超声远程医疗信息发送方法、装置和接收方法、装置及系统，所述超声远程医疗信息发送方法、装置和接收方法、装置及系统传输的超声图像视频在发送端采用下采样和压缩方法，接收端对接收到的超声图像视频基于全卷积神经网络的超分辨率技术对低分辨率视频进行实时重建恢复高分辨率视频。这样的技术方案有利于数据传输的实时性、数据的质量保证及节省网络带宽资源成本。
根据本发明提供的技术方案，本发明的第一方面：
提供一种超声远程医疗信息发送方法，所述超声远程医疗信息发送方法包括：
获取帧尺寸宽*高为W*H的原始超声影像视频；
对所述原始超声影像视频进行下采样处理得到帧尺寸宽*高为(W/ S1)*(H/ S1)的采样超声影像视频，其中，所述S1为下采样处理中的下采样因子；
对所述采样超声影像视频进行压缩编码并发送至接收端。
本发明的第二方面：
提供一种超声远程医疗信息发送装置，所述超声远程医疗信息发送装置包括超声影像发送装置、第一双工通信装置、打图手势影像采集装置和第一视频播放装置；
所述超声影像发送装置用于执行本发明第一方面所述的超声远程医疗信息发送方法。
本发明的第三方面：
提供一种超声远程医疗信息接收方法，所述超声远程医疗信息接收方法包括：
接收发送端发送的压缩超声影像视频信息；
将所述压缩超声影像视频信息进行解码得到帧尺寸宽*高为(W/ S1)*(H/ S1)的解码超声影像视频；
通过超分辨率架构网络将所述解码超声影像视频重建复原；所述超分辨率架构网络是预先通过超声影像视频料库对卷积神经网络进行训练所确定的。
进一步地，对于通过超分辨率架构网络将所述解码超声影像视频重建复原的步骤具体包括：
将解码超声影像视频中帧尺寸宽*高*通道数均为(W/ S1)*(H/ S1) *D1的前一帧图像和当前帧图像在通道上进行堆叠后形成帧尺寸宽*高*通道数为(W/ S1)*(H/ S1)*2D1的图像；
将堆叠后的帧尺寸宽*高*通道数为(W/ S1)*(H/ S1) *2D1的图像输入所述光流网络；
所述光流网络输出所述解码超声影像视频中的前一帧图像至当前帧图像间的光流场；所述光流场包括等尺寸的第一通道矩阵和第二通道矩阵；
对所述光流场和前一帧超分辨率重建图像进行运动预估计算，经运动预估计算预估出当前帧恢复预估图像；
根据所述当前帧恢复预估图像、解码超声影像视频中当前帧图像以及超分辨率重建网络，得到当前帧高分辨率图像，所述当前帧高分辨率图像的尺寸宽*高为W*H。
进一步地，所述运动预估计算包括第一上采样层、空间变换层和空间转深度层；
对所述光流场和前一帧超分辨率重建图像计算运动预估计算，经运动预估计算处理预估出当前帧恢复预估图像的步骤具体包括：
第一上采样层对所述光流场进行上采样处理，且所述上采样处理的上采样因子为S2，所述上采样因子S2的值与所述下采样因子为S1的值相等；
将上采样处理后的光流场和前一帧超分辨率重建图像进行空间变换得到当前帧恢复预估图像；
对当前帧恢复预估图像进行空间转深度操作，空间转深度操作后当前帧恢复预估图像的尺寸宽*高*通道数由W* H* D1变为(W/ S1) * (H/ S1) * D2，其中D2等于S1 的平方与的D1乘积。
进一步地，所述将上采样处理后的光流场和前一帧超分辨率重建图像进行空间变换得到当前帧恢复预估图像的步骤即为：
提取光流场第一通道矩阵中当前像素单元的横向运动矢量，以及第二通道矩阵中所述当前像素单元的纵向运动矢量；
根据光流场中所述当前像素单元的横向运动矢量和纵向运动矢量，在前一帧超分辨率重建图像中找到对应的最佳匹配像素单元；
提取所述最佳匹配像素单元中的值并置入当前像素单元中；
依照上述步骤遍历光流场中所有像素单元。
进一步地，若所提取的当前像素单元的横向运动矢量或纵向运动矢量非整数，则：
将前一帧超分辨率重建图像分割出亚像素，亚像素精度为n；
根据光流场中所述当前像素单元的横向运动矢量和纵向运动矢量，在前一帧超分辨率重建图像中找到对应的最佳匹配亚像素；
根据所述最佳匹配亚像素确定最佳匹配亚像素单元，提取所述最佳匹配亚像素单元中的值置入当前像素单元中。
进一步地，所述最佳匹配亚像素单元包括最佳匹配亚像素，以及以所述最佳匹配亚像素为中心的其他亚像素，所述最佳匹配亚像素单元中包括n*n个亚像素。
进一步地，
所述根据所述当前帧恢复预估图像、解码超声影像视频中当前帧图像以及超分辨率重建网络，得到当前帧高分辨率图像的步骤具体包括：
将所述当前帧恢复预估图像和解码超声影像视频中当前帧图像输入超分辨率重建网络，得到输出结果；
对解码超声影像视频中当前帧图像进行第四上采样处理，所述第四上采样的上采样因子S3的值与所述下采样因子S1的值相等；
将第四上采样后的结果与所述超分辨率重建网络输出的结果进行每个元素对应相加得到当前帧高分辨率图像。
本发明的第四方面：
提供一种超声远程医疗信息接收装置，所述超声远程医疗信息发送装置包括：超声影像接收装置、第二双工通信装置和第二视频播放装置；
所述超声影像接收装置用于执行如本发明第三方面所述的超声远程医疗信息接收方法。
本发明的第五方面：
提供一种超声远程医疗系统，所述超声远程医疗系统包括分发服务器、如第二方面所述的超声远程医疗信息发送装置以及如本发明第四方面所述的超声远程医疗信息发送装置；
所述超声远程医疗信息接收装置通过第一超声视频通道能够向所述分发服务器发送超声影像视频信息；
所述第一双工通信装置通过第一音频通道能够向所述分发服务器发送信息和/或接收分发服务器发送的音频信息；
所述打图手势影像采集装置和第一视频播放装置均通过第一视频通道能够向所述分发服务器发送信息和/或接收分发服务器发送的视频信息；
所述超声影像接收装置通过第二超声视频通道能够接收所述分发服务器发送的超声影像视频信息；
所述第二双工通信装置通过第二音频通道能够向所述分发服务器发送信息和/或接收分发服务器发送的音频信息；
指导影像采集装置和第二视频播放装置均通过第二视频通道能够向所述分发服务器发送信息和/或接收分发服务器发送的视频信息。
从以上可以看出，本发明提供的超声远程医疗信息发送方法与现有技术相比具备以下优点：在编码发送前对视频进行下采样处理能够降低视频编码传输后所需带宽以及存储空间。
本发明提供的超声远程医疗信息接收方法与现有技术相比具备以下优点：所述过超分辨率架构网络能够实时对传输到的单张或多张视频帧进行重建，在节省网络带宽的同时，大大地提高远程传输的超声图像质量，降低可能的误诊。
本发明提供的超声远程医疗系统与现有技术相比具备以下优点：所述双工通信装置能够医生在现场可以用超声设备直接与远程的专家进行实时的双向语音视频通话，沟通效率高，流程简易；所述打图手势影像采集装置和视频播放装置能够通过高清摄像头采集医生打图的手势及医生操作设备流程的视频。
附图说明
图1为本发明第一方面的流程图。
图2为本发明第三方面的流程图。
图3为本发明第三方面中步骤S3的第一种实施例流程图。
图4为本发明第三方面中步骤S3的第二种实施例流程图。
图5为本发明第三方面步骤S3中运动预估计算的计算流程图。
图6为本发明第三方面运动预估计算中空间转深度操作的实施例流程图。
图7为空间转深度计算过程中光流场第一通道坐标的结构示意图。
图8为空间转深度计算过程中光流场第二通道坐标的结构示意图。
图9为空间转深度计算第一种实施例过程中步骤S332a1后前一帧超分辨率重建图像的结构示意图。
图10为图9中A部分的放大结构示意图。
图11为空间转深度计算第一种实施例过程中步骤S332b1后的图9中B部分的放大结构示意图。
图12为空间转深度计算第二种实施例中S332c2过程示意图。
图13为本发明第三方面的流程框图。
图14为光流网络和超分辨率重建网络的训练过程图。
图15为本发明第五方面的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向。使用的词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
本发明的第一方面，如图1所示：
提供一种超声远程医疗信息发送方法，所述超声远程医疗信息发送方法包括：
第一步：获取帧尺寸宽*高为W*H的原始超声影像视频；其中W表示帧尺寸的宽，H表示帧尺寸的高；优选地，所述W为1280，所述H为1024，即原始超声影像视频的帧尺寸为1280*1024；
第二步：对所述原始超声影像视频进行下采样处理得到采样超声影像视频，所述下采样处理中的下采样因子为S1；在对帧尺寸宽*高为W*H的原始超声影像视频进行下采样处理后得到的采样超声影像视频的帧尺寸宽*高为(W/ S1)*(H/ S1)，其中所述S1为W和H的公约数；优选地，所述下采样因子S1的值为2，即采样超声影像视频的帧尺寸宽*高为640*512；
第三步：对所述采样超声影像视频进行压缩编码并发送至接收端。
可以理解的是，由于在超声远程医疗的场景中对超声图像的传输质量要求很高，所以超声图像占用的带宽很大，在现有的医疗网络环境中如果直接使用H264算法对超声图像进行编解码很难达到预期的图像质量效果，并且网络带宽成本较高。因此在编码发送前对视频进行下采样处理能够降低视频编码传输后所需带宽以及存储空间。
本发明的第二方面，如图15所示：
提供一种超声远程医疗信息发送装置，所述超声远程医疗信息发送装置包括：超声影像发送装置、第一双工通信装置、打图手势影像采集装置和第一视频播放装置；所述超声影像发送装置用于执行如本发明第一方面中步骤第一步至第三步。
可以理解的是，由于传统的超声远程医疗只上传一路视频数据，即超声影像视频数据或超声设备屏幕录屏视频，专家并不清楚现场医生的操作流程及打图手势是否合理；并且传统的超声远程医疗中现场医生与专家进的沟通是通过其他第三方通信设备，如：电脑或手机的社交软件、打固定电话，沟通效果较差，流程复杂。所述双工通信装置能够医生在现场可以用超声设备直接与远程的专家进行实时的双向语音视频通话，沟通效率高，流程简易；所述打图手势影像采集装置和视频播放装置能够通过高清摄像头采集医生打图的手势及医生操作设备流程的视频。
本发明的第三方面，如图2和图13所示：
提供一种超声远程医疗信息接收方法，所述超声远程医疗信息接收方法具体包括：
S1：接收发送端发送的压缩超声影像视频信息；所压缩样超声影像视频信息为本发明第一方面中所发送的信息；
S2：将所述压缩超声影像视频信息进行H264解码得到帧尺寸宽*高为(W/ S1)*(H/ S1)的解码超声影像视频；优选地，所述解码超声影像视频的帧尺寸宽*高为640*512；
S3：通过超分辨率架构网络将所述解码超声影像视频复原为帧尺寸宽*高为W*H的超分辨率重建视频，即超分辨率重建视频的帧尺寸宽*高为重建复原为1280*1024。
所述超分辨率架构网络是预先通过超声影像视频料库对卷积神经网络进行训练所确定的，所述超声影像视频料库包括若干超声影像视频，单个所述超声影像视频的帧数设置在10帧左右。
可以理解的是，所述超分辨率架构网络能够实时对传输到的单张或多张视频帧进行重建，在节省网络带宽的同时，大大地提高远程传输的超声图像质量，降低可能的误诊。
所述超分辨率架构网络包括级联的光流网络、运动预估计算和超分辨率重建网络；在所述超分辨率架构网络包括上述结构的基础上，请参考图3，所述S3步骤的第一种实施例包括：
S310：将解码超声影像视频中的前一帧图像和当前帧图像在通道上进行堆叠后输入所述光流网络；所述解码超声影像视频中图像的帧尺寸宽*高*通道数均为(W/ S1)*(H/ S1) *D1，即解码超声影像视频中的前一帧图像和当前帧图像的帧尺寸宽*高*通道数均为(W/S1)*(H/ S1)*D1，优选地，解码超声影像视频中的前一帧图像和当前帧图像的帧尺寸宽*高*通道数均为640*512*3；
所述解码超声影像视频中的前一帧图像和当前帧图像在通道上进行堆叠后的尺寸宽*高*通道数为(W/ S1)*(H/ S1) *2D1，优选地，所述(W/ S1)*(H/ S1) *2D1为640*512*6。
S320：所述光流网络输出所述解码超声影像视频中帧尺寸为的前一帧图像和当前帧图像间的光流场，公知的是所述光流场为二通道矩阵，其包括等尺寸的第一通道矩阵和第二通道矩阵，能够表示相邻帧中对应像素单元的运动矢量，其中所述第一通道矩阵表示相邻帧中对应像素单元的横向运动矢量，第二通道矩阵表示相邻帧中对应像素单元的纵向运动矢量。其中所述第一通道矩阵和第二通道矩阵的尺寸宽*高均(W/ S1)*(H/ S1)，优选地，所述第一通道矩阵和第二通道矩阵的尺寸宽*高均为640*512，即所述光流场的尺寸宽*高*通道数为640*512*2。
S330：对所述光流场和前一帧超分辨率重建图像进行运动预估计算，经运动预估计算处理预估出当前帧恢复预估图像；
S340：根据所述当前帧恢复预估图像、解码超声影像视频中当前帧图像以及超分辨率重建网络，得到当前帧高分辨率图像，所述当前帧高分辨率图像的尺寸宽*高*通道数为W*H* D1；
S350：对所有帧的高分辨率重建图像按顺序组合成超分辨率重建视频。
可以理解的是，所述光流网络用于计算视频中相邻两帧图像间的光流场，所述运动预估网络用于根据所述光流场预测出当前帧恢复预估图像，所述超分辨率重建网络用于根据当前帧恢复预估图像和当前帧图像的信息将解码超声影像视频中当前帧图像由低分辨率图像恢复成尺寸宽*高为W*H的高分辨率图像。
请参考图4，所述S3步骤的第二种实施例包括：
S310：将解码超声影像视频中的前一帧图像和当前帧图像在通道上进行堆叠后输入所述光流网络；所述解码超声影像视频中图像的帧尺寸宽*高*通道数均为(W/ S1)*(H/ S1) *D1，即解码超声影像视频中的前一帧图像和当前帧图像的帧尺寸宽*高*通道数均为(W/S1)*(H/ S1)*D1，优选地，解码超声影像视频中的前一帧图像和当前帧图像的帧尺寸宽*高*通道数均为640*512*3；
所述解码超声影像视频中的前一帧图像和当前帧图像在通道上进行堆叠后的尺寸宽*高*通道数为(W/ S1)*(H/ S1) *2D1，优选地，所述(W/ S1)*(H/ S1) *2D1为640*512*3。
S320：所述光流网络输出所述解码超声影像视频中帧尺寸为的前一帧图像和当前帧图像间的光流场，公知的是所述光流场为二通道矩阵，其包括等尺寸的第一通道矩阵和第二通道矩阵，能够表示相邻帧中对应像素单元的运动矢量，其中所述第一通道矩阵表示相邻帧中对应像素单元的横向运动矢量，第二通道矩阵表示相邻帧中对应像素单元的纵向运动矢量。其中所述第一通道矩阵和第二通道矩阵的尺寸宽*高均(W/ S1)*(H/ S1)，优选地，所述第一通道矩阵和第二通道矩阵的尺寸宽*高均为640*512，即所述光流场的尺寸宽*高*通道数为640*512*2。
S330：对所述光流场和前一帧超分辨率重建图像进行运动预估计算，经运动预估计算预估出当前帧恢复预估图像；
S340：根据所述当前帧恢复预估图像、解码超声影像视频中当前帧图像以及超分辨率重建网络中，得到输出结果；
S350：对解码超声影像视频中当前帧图像进行第四上采样处理，所述第四上采样的上采样因子S3的值与所述下采样因子S1的值相等；
S360：将第四上采样后的结果与所述超分辨率重建网络输出的结果进行每个元素对应相加得到当前帧高分辨率图像；
S370：对所有帧的高分辨率重建图像按顺序组合成超分辨率重建视频。
所述运动预估网络包括第一上采样层、空间变换层和空间转深度层；所述S330：对所述光流场和前一帧超分辨率重建图像进行运动预估计算，经运动预估计算处理预估出当前帧恢复预估图像的步骤具体包括，如图5所示：
S331：所述第一上采样层对所述光流场进行上采样处理，且所述上采样处理的上采样因子为S2，所述上采样因子S2的值与所述下采样因子为S1的值相等；从而将光流场放大S2倍，从而使得放大后的光流场第一通道矩阵和第二通道矩阵的尺寸宽*高均W*H，优选放大后第一通道矩阵和第二通道矩阵的尺寸宽*高均由640*512变为1280*1024；
S332：将上采样处理后的光流场和前一帧超分辨率重建图像进行空间变换得到当前帧恢复预估图像；由于所述前一帧超分辨率重建图像的尺寸宽*高为W*H，因此上述S330的作用是为了使得光流场的宽度和高度与前一帧超分辨率重建图像一致，从而才能将光流场和前一帧超分辨率重建图像进行空间变换；
S333：对当前帧恢复预估图像进行空间转深度操作，使得空间转深度操作后当前帧恢复预估图像的宽度和高度分别为(W/ S1)和(H/ S1)，从而所述前帧恢复预估图像的通道数为D2，所述D2 等于S1²×D1，即D2等于S1 的平方与的D1乘积。
S334：将空间转深度操作后尺寸宽*高*通道数为(W/ S1) * (H/ S1) * D2的当前帧恢复预估图像与解码超声影像视频中尺寸宽*高*通道数为(W/ S1) * (H/ S1) * D1的当前帧图像在通道上进行堆叠后输入超分辨率重建网络；尺寸宽*高*通道数为(W/ S1) *(H/ S1) * D2的当前帧恢复预估图像与解码超声影像视频中尺寸宽*高*通道数为(W/ S1)* (H/ S1) * D1的当前帧图像在通道上进行堆叠后的图像尺寸宽*高*通道数为(W/ S1) *(H/ S1) * (D1 + D2)；
可以理解的是，所述运动预估网络能够根据所述光流场预测出当前帧恢复预估图像，其中上采样层用于对光流场进行放大，使得光流场的宽*高与前一帧超分辨率重建图像一致；所述空间变换层用于根据光流场和前一帧超分辨率重建图像预估出当前帧恢复预估图像，从而避免最终画质动态模糊。
具体地，如图6所示，所述S332：将上采样处理后的光流场和前一帧超分辨率重建图像进行空间变换得到当前帧恢复预估图像的步骤具体包括：
S332a：提取光流场第一通道矩阵中当前像素单元的横向运动矢量，以及第二通道矩阵中所述当前像素单元的纵向运动矢量；
S332b：根据光流场中所述当前像素单元的横向运动矢量和纵向运动矢量，在前一帧超分辨率重建图像中找到对应的最佳匹配像素单元；
S332c：提取所述最佳匹配像素单元中的值并置入当前像素单元中；
S332d：依照上述步骤遍历光流场中所有像素单元。
对于S332的具体步骤，若所提取的当前像素单元的横向运动矢量或纵向运动矢量非整数，结合具体实施例一描述所述S332的步骤。为了便于解释，所述具体实施例一中假定放大后的光流场的宽*高为5*5，如图7~图11所示，放大后光流场中当前像素单元的像素位置坐标为（0,0），则grid0（0,0）为在第一通道坐标中当前像素单元位置处的横向运动矢量，grid1（0,0）为在第二通道坐标中当前像素单元位置处的纵向运动矢量，假定grid0（0,0）=3.2，grid1（0,0）=3.4，则在前一帧超分辨率重建图像中找到对应的最佳匹配像素单元坐标为（3.2，3.4）。
S332a1：将前一帧超分辨率重建图像中的各个像素单元分割出亚像素，亚像素精度为5*5；若各个像素单元分割出5*5个亚像素后，如图4~6所示，最佳匹配像素单元坐标由原先的（3.2，3.4）转换成了（20，21）
S332b1：如图6所示，根据光流场中所述当前像素单元的横向运动矢量和纵向运动矢量，在前一帧超分辨率重建图像中找到对应的最佳匹配亚像素t0，所述最佳匹配亚像素t0的坐标为（20，21），即最佳匹配亚像素t0的坐标为（20，21）；
S332c1：根据所述最佳匹配亚像素t0确定最佳匹配亚像素单元T，提取所述最佳匹配亚像素单元T中的值置入当前像素单元中；
S332d1：依照上述步骤遍历光流场中所有像素单元。
所述最佳匹配亚像素单元T包括最佳匹配亚像素t0，以及以所述最佳匹配亚像素为中心的其他亚像素，所述最佳匹配亚像素单元中包括5*5个亚像素。
对于S332的具体步骤，若所提取的当前像素单元的横向运动矢量或纵向运动矢量非整数，结合具体实施例二描述所述S332的步骤。为了便于解释，所述具体实施例二中假定放大后的光流场的宽*高为5*5，放大后光流场中当前像素单元的像素位置坐标为（0,0），则grid0（0,0）为在第一通道坐标中当前像素单元位置处的横向运动矢量，grid1（0,0）为在第二通道坐标中当前像素单元位置处的纵向运动矢量，假定grid0（0,0）=3.2，grid1（0,0）=3.4，则在前一帧超分辨率重建图像中找到对应的最佳匹配像素单元坐标为（3.2，3.4）。
S332a2：提取光流场第一通道矩阵中当前像素单元的横向运动矢量，以及第二通道矩阵中所述当前像素单元的纵向运动矢量；
S332b2：根据光流场中所述当前像素单元的横向运动矢量和纵向运动矢量，在前一帧超分辨率重建图像中找到对应的最佳匹配像素单元，由于当前像素单元的横向运动矢量和纵向运动矢量并非整数，因此在前一帧超分辨率重建图像找不出对应的最佳匹配像素单元；
S332c2：如图12所示，因此提取所述（3.2，3.4）周围的四个像素单元即（3,3）、（3,4）、（4,3）、（4,4），对所述四个像素单元的像素值进行双线性插值并置入当前像素单元中；
S332d2：依照上述步骤遍历光流场中所有像素单元。
可以理解的是，用于将放大后光流场像素单元的运动矢量在已经重建号好的相邻帧图像中（也就是前一帧超分辨率重建图像）找到与当前像素单元位置对应的最佳匹配像素单元，将所述最佳匹配像素单元中的信息恢复至当前像素单元中，遍历光流场中所有像素单元后得到当前帧恢复预估图像。
所述光流网络和超分辨率重建网络均是预先通过超声影像视频料库对卷积神经网络进行训练所确定的，训练过程是对光流网络和超分辨率重建网络进行参数优化的过程。所述光流网络包括：第一卷积层、第一激活函数层、池化层和第三上采样层，其中第一激活函数层一般选用泄露线性整流函数，池化层选用最大池化，第三上采样层一般有双线性插值；所述超分辨率重建网络包括：第二卷积层、残差块层、第二激活函数层和第二上采样层，与光流网络的第一激活函数不同，选用的第二激活函数为线性整流函数，第二上采样采用转置卷积、深度转空间方法、插值方法。
光流网络和超分辨率重建网络的训练过程均包括：
S100：获取超声影像视频料库，所述超声影像视频料库包括训练集和验证集，所述训练集和验证集中均包括若干组超声影像视频对，需要解释的是每组超声影像视频对均包括相对应的原始超声影像视频以及解码超声影像视频，所述的原始超声影像视频的帧尺寸宽*高*通道数为W*H*D1，所述解压后的超声影像视频的帧尺寸宽*高*通道数为(W/ S1) * (H/S1) *D1。
S200：基于所述超声影像视频料库中的训练集训练光流网络和超分辨率重建网络，在训练时观察训练集上的损失函数情况，当训练损失函数稳定下降且不再提升时时则得到卷积测量模型；
S300：向训练好的卷积测量模型中输入验证集中的超声影像视频对的解码超声影像视频，从而将该组超声影像视频对中的解码超声影像视频进行重建得到超分辨率视频；
S400：将所述超分辨率视频与该组超声影像视频对中的原始超声影像视频进行帧之间的峰值信噪比和结构相似度计算，以所有帧的计算结果的平均值作为评价指标，两者皆是越高越好。
为了保证每组超声影像视频对中的原始超声影像视频以及视频解码超声影像视频的对应关系，训练时将原始超声影像视频以及解码超声影像视频按顺序送入卷积神经网络训练，如此重复的不断送入其他组超声影像视频对。为了使经过超分辨率技术后的重建视频具有时间上的连续性，选用的卷积神经网络是递归结构，不仅可以学习两帧之间的光流估计，也称运动估计，而且每个视频的帧数量没有固定要求，受计算资源、卷积神经网络结构大小、输入的帧尺寸大小和训练效果的影响，
具体地，对于训练光流网络时，所述S200步骤中的损失函数为光流损失，所述光流损失为光流场进行运动预估计算后的图像视频和当前帧图像像素点平方误差或绝对误差；
具体地，对于训练超分辨率重建网络时，所述S200步骤中的损失函数为超分辨率重建损失，或者所述损失函数按需求添加感知损失，所述超分辨率重建损失为原始帧高分辨率图像与当前帧高分辨率图像之间像素点平方误差，所述感知损失为对原始视频图像和当前帧高分辨率图像利用特征提取网络进行特征提取，对提取的特征计算平方误差有助于重建超分辨率图像的高频信息，常用的特征提取网络主要有在ImageNet数据集上训练过的Vggnet、Resnet等。
作为本发明的第四方面，如图15所示：
提供一种超声远程医疗信息接收装置；所述超声远程医疗信息接收方法包括：超声影像接收装置，所述超声影像接收装置用于执行如本发明第三方面中所述的步骤。第二双工通信装置，所述双工通信装置用于其他终端进行双工通信。指导影像采集装置和第二视频播放装置
可以理解的是，由于传统的超声远程医疗只上传一路视频数据，即超声影像视频数据或超声设备屏幕录屏视频，专家并不清楚现场医生的操作流程及打图手势是否合理；并且传统的超声远程医疗中现场医生与专家进的沟通是通过其他第三方通信设备，如：电脑或手机的社交软件、打固定电话，沟通效果较差，流程复杂。所述双工通信装置能够医生在现场可以用超声设备直接与远程的专家进行实时的双向语音视频通话，沟通效率高，流程简易；所述打图手势影像采集装置和视频播放装置能够通过高清摄像头采集医生打图的手势及医生操作设备流程的视频。
作为本发明的第五方面，如图15所示：
提供一种超声远程医疗系统，所述超声远程医疗系统包括：分发服务器、如本发明第一方面所述的超声远程医疗信息发送装置以及本发明第四方面所述的超声远程医疗信息发送装置；
所述超声远程医疗信息接收装置通过第一超声视频通道能够向所述分发服务器发送超声影像视频信息；
所述第一双工通信装置通过第一音频通道能够向所述分发服务器发送信息和/或接收分发服务器发送的音频信息；
所述打图手势影像采集装置和第一视频播放装置均通过第一视频通道能够向所述分发服务器发送信息和/或接收分发服务器发送的视频信息；
所述超声影像接收装置通过第二超声视频通道能够接收所述分发服务器发送的超声影像视频信息；
所述第二双工通信装置通过第二音频通道能够向所述分发服务器发送信息和/或接收分发服务器发送的音频信息；
指导影像采集装置和第二视频播放装置均通过第二视频通道能够向所述分发服务器发送信息和/或接收分发服务器发送的视频信息。
可以理解的是，由于传统的超声远程医疗只上传一路视频数据，即超声影像视频数据或超声设备屏幕录屏视频，专家并不清楚现场医生的操作流程及打图手势是否合理；并且传统的超声远程医疗中现场医生与专家进的沟通是通过其他第三方通信设备，如：电脑或手机的社交软件、打固定电话，沟通效果较差，流程复杂。所述双工通信装置能够医生在现场可以用超声设备直接与远程的专家进行实时的双向语音视频通话，沟通效率高，流程简易；所述打图手势影像采集装置和视频播放装置能够通过高清摄像头采集医生打图的手势及医生操作设备流程的视频。
所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的主旨之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种超声远程医疗信息发送方法，其特征在于，所述超声远程医疗信息发送方法包括：
获取帧尺寸宽*高为W*H的原始超声影像视频；
对所述原始超声影像视频进行下采样处理得到帧尺寸宽*高为(W/ S1)*(H/ S1)的采样超声影像视频，其中，所述S1为下采样处理中的下采样因子；
对所述采样超声影像视频进行压缩编码并发送至接收端。
2.一种超声远程医疗信息接收方法，其特征在于，所述超声远程医疗信息接收方法包括：
接收发送端发送的压缩超声影像视频信息；
将所述压缩超声影像视频信息进行解码得到帧尺寸宽*高为(W/ S1)*(H/ S1)的解码超声影像视频；
通过超分辨率架构网络将所述解码超声影像视频重建复原；所述超分辨率架构网络是预先通过超声影像视频料库对卷积神经网络进行训练所确定的。
3.如权利要求2所述的超声远程医疗信息接收方法，其特征在于，对于通过超分辨率架构网络将所述解码超声影像视频重建复原的步骤具体包括：
将解码超声影像视频中帧尺寸宽*高*通道数均为(W/ S1)*(H/ S1) *D1的前一帧图像和当前帧图像在通道上进行堆叠后形成帧尺寸宽*高*通道数为(W/ S1)*(H/ S1)*2D1的图像；
将堆叠后的帧尺寸宽*高*通道数为(W/ S1)*(H/ S1) *2D1的图像输入所述光流网络；
所述光流网络输出所述解码超声影像视频中的前一帧图像至当前帧图像间的光流场；所述光流场包括等尺寸的第一通道矩阵和第二通道矩阵；
对所述光流场和前一帧超分辨率重建图像进行运动预估计算，经运动预估计算预估出当前帧恢复预估图像；
根据所述当前帧恢复预估图像、解码超声影像视频中当前帧图像以及超分辨率重建网络，得到当前帧高分辨率图像，所述当前帧高分辨率图像的尺寸宽*高为W*H。
4.如权利要求3所述的超声远程医疗信息接收方法，其特征在于，所述运动预估计算包括第一上采样层、空间变换层和空间转深度层；
对所述光流场和前一帧超分辨率重建图像进行运动预估计算，经运动预估计算预估出当前帧恢复预估图像的步骤具体包括：
第一上采样层对所述光流场进行上采样处理，且所述上采样处理的上采样因子为S2，所述上采样因子S2的值与所述下采样因子为S1的值相等；
将上采样处理后的光流场和前一帧超分辨率重建图像进行空间变换得到当前帧恢复预估图像；
对当前帧恢复预估图像进行空间转深度操作，空间转深度操作后当前帧恢复预估图像的尺寸宽*高*通道数由W* H* D1变为(W/ S1) * (H/ S1) * D2，其中D2等于S1 的平方与的D1乘积。
5.如权利要求4所述的超声远程医疗信息接收方法，其特征在于，所述将上采样处理后的光流场和前一帧超分辨率重建图像进行空间变换得到当前帧恢复预估图像的步骤即为：
提取光流场第一通道矩阵中当前像素单元的横向运动矢量，以及第二通道矩阵中所述当前像素单元的纵向运动矢量；
根据光流场中所述当前像素单元的横向运动矢量和纵向运动矢量，在前一帧超分辨率重建图像中找到对应的最佳匹配像素单元；
提取所述最佳匹配像素单元中的值并置入当前像素单元中；
依照上述步骤遍历光流场中所有像素单元。
6.如权利要5所述的超声远程医疗信息接收方法，其特征在于，若所提取的当前像素单元的横向运动矢量或纵向运动矢量非整数，则：
将前一帧超分辨率重建图像分割出亚像素，亚像素精度为n；
根据光流场中所述当前像素单元的横向运动矢量和纵向运动矢量，在前一帧超分辨率重建图像中找到对应的最佳匹配亚像素；
根据所述最佳匹配亚像素确定最佳匹配亚像素单元，提取所述最佳匹配亚像素单元中的值置入当前像素单元中。
7.如权利要求6所述的超声远程医疗信息接收方法，其特征在于，所述最佳匹配亚像素单元包括最佳匹配亚像素，以及以所述最佳匹配亚像素为中心的其他亚像素，所述最佳匹配亚像素单元中包括n*n个亚像素。
8.如权利要求3所述的超声远程医疗信息接收方法，其特征在于，所述根据所述当前帧恢复预估图像、解码超声影像视频中当前帧图像以及超分辨率重建网络，得到当前帧高分辨率图像的步骤具体包括：
将所述当前帧恢复预估图像和解码超声影像视频中当前帧图像输入超分辨率重建网络，得到输出结果；
对解码超声影像视频中当前帧图像进行第四上采样处理，所述第四上采样的上采样因子S3的值与所述下采样因子S1的值相等；
将第四上采样后的结果与所述超分辨率重建网络输出的结果进行每个元素对应相加得到当前帧高分辨率图像。
9.一种超声远程医疗信息发送装置，其特征在于，所述超声远程医疗信息发送装置包括超声影像发送装置、第一双工通信装置、打图手势影像采集装置和第一视频播放装置；
所述超声影像发送装置用于执行如权利要求1所述的超声远程医疗信息发送方法。
10.一种超声远程医疗信息接收装置，其特征在于，所述超声远程医疗信息发送装置包括：超声影像接收装置、第二双工通信装置和第二视频播放装置；
所述超声影像接收装置用于执行如权利要求2至8中任意一项权利要求所述的超声远程医疗信息接收方法。
11.一种超声远程医疗系统，其特征在于，所述超声远程医疗系统包括分发服务器、如权利要求9所述的超声远程医疗信息发送装置以及如权利要求10所述的超声远程医疗信息发送装置；
所述超声远程医疗信息接收装置通过第一超声视频通道向所述分发服务器发送超声影像视频信息；
所述第一双工通信装置通过第一音频通道向所述分发服务器发送信息和/或接收分发服务器发送的音频信息；
所述打图手势影像采集装置和第一视频播放装置均通过第一视频通道向所述分发服务器发送信息和/或接收分发服务器发送的视频信息；
所述超声影像接收装置通过第二超声视频通道接收所述分发服务器发送的超声影像视频信息；
所述第二双工通信装置通过第二音频通道向所述分发服务器发送信息和/或接收分发服务器发送的音频信息；
所述第二视频播放装置通过第二视频通道向所述分发服务器发送信息和/或接收分发服务器发送的视频信息。
CN201910549667.XA 2019-06-24 2019-06-24 超声远程医疗发送方法、装置和接收方法、装置及系统 Active CN112135136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910549667.XA CN112135136B (zh) 2019-06-24 2019-06-24 超声远程医疗发送方法、装置和接收方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910549667.XA CN112135136B (zh) 2019-06-24 2019-06-24 超声远程医疗发送方法、装置和接收方法、装置及系统

Publications (2)

Publication Number Publication Date
CN112135136A true CN112135136A (zh) 2020-12-25
CN112135136B CN112135136B (zh) 2022-09-30

Family

ID=73850068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910549667.XA Active CN112135136B (zh) 2019-06-24 2019-06-24 超声远程医疗发送方法、装置和接收方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112135136B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112420214A (zh) * 2019-08-21 2021-02-26 无锡祥生医疗科技股份有限公司 超声会诊远程分享方法、平台和系统
CN114025168A (zh) * 2021-09-30 2022-02-08 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质
CN115082574A (zh) * 2021-03-16 2022-09-20 上海软逸智能科技有限公司 网络模型训练方法和脏器超声切面编码生成方法、装置
CN116208586A (zh) * 2023-05-04 2023-06-02 广东珠江智联信息科技股份有限公司 一种低延时医疗影像数据传输方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104718761A (zh) * 2012-07-09 2015-06-17 日本电信电话株式会社 视频编码/解码方法、装置、程序、记录介质
CN106097251A (zh) * 2016-06-22 2016-11-09 深圳信息职业技术学院 非均匀稀疏采样视频超分辨率方法
CN109302608A (zh) * 2017-07-25 2019-02-01 华为技术有限公司 图像处理方法、设备及系统
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104718761A (zh) * 2012-07-09 2015-06-17 日本电信电话株式会社 视频编码/解码方法、装置、程序、记录介质
CN106097251A (zh) * 2016-06-22 2016-11-09 深圳信息职业技术学院 非均匀稀疏采样视频超分辨率方法
CN109302608A (zh) * 2017-07-25 2019-02-01 华为技术有限公司 图像处理方法、设备及系统
CN109919838A (zh) * 2019-01-17 2019-06-21 华南理工大学 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112420214A (zh) * 2019-08-21 2021-02-26 无锡祥生医疗科技股份有限公司 超声会诊远程分享方法、平台和系统
CN112420214B (zh) * 2019-08-21 2023-11-21 无锡祥生医疗科技股份有限公司 超声会诊远程分享方法、平台和系统
CN115082574A (zh) * 2021-03-16 2022-09-20 上海软逸智能科技有限公司 网络模型训练方法和脏器超声切面编码生成方法、装置
CN115082574B (zh) * 2021-03-16 2024-05-14 上海软逸智能科技有限公司 网络模型训练方法和脏器超声切面编码生成方法、装置
CN114025168A (zh) * 2021-09-30 2022-02-08 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质
CN116208586A (zh) * 2023-05-04 2023-06-02 广东珠江智联信息科技股份有限公司 一种低延时医疗影像数据传输方法及系统
CN116208586B (zh) * 2023-05-04 2023-06-30 广东珠江智联信息科技股份有限公司 一种低延时医疗影像数据传输方法及系统

Also Published As

Publication number Publication date
CN112135136B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN112135136B (zh) 超声远程医疗发送方法、装置和接收方法、装置及系统
CN110136066B (zh) 面向视频的超分辨率方法、装置、设备和存储介质
TWI624804B (zh) 利用超解析重建法生成高解析度影像的方法與系統
CN110222758B (zh) 一种图像处理方法、装置、设备及存储介质
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
JPH09505698A (ja) 反復誤差データコーディング方法を使用するビデオ圧縮
CN110798690B (zh) 视频解码方法、环路滤波模型的训练方法、装置和设备
CN112102163B (zh) 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法
US20180270497A1 (en) Segmentation-based parameterized motion models
JP2008541653A (ja) スムージング予測を用いた多階層基盤のビデオエンコーディング方法、デコーディング方法、ビデオエンコーダ及びビデオデコーダ
JP5174238B2 (ja) スパース変換を使用する画像／ビデオ品質向上及び超解像
WO2023000179A1 (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
WO2022011571A1 (zh) 视频处理方法、装置、设备、解码器、系统及存储介质
CN112203098A (zh) 基于边缘特征融合和超分辨率的移动端图像压缩方法
CN114757828A (zh) 基于Transformer的视频时空超分辨率方法
Yao et al. Bidirectional translation between uhd-hdr and hd-sdr videos
CN114202463B (zh) 面向云端融合的视频超分辨率方法及系统
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
CN112601095A (zh) 一种视频亮度和色度分数插值模型的创建方法及系统
CN115205117B (zh) 图像重建方法及装置、计算机存储介质、电子设备
Chen et al. Estimating the resize parameter in end-to-end learned image compression
CN114900717A (zh) 视频数据传输方法、装置、介质和计算设备
JP3759538B2 (ja) 画像信号処理方法及び画像信号伝送装置
CN114418845A (zh) 图像分辨率提升方法及装置、存储介质及电子设备
JP2022546774A (ja) イントラ予測のための補間フィルタリング方法と装置、コンピュータプログラム及び電子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant