CN116208586B - 一种低延时医疗影像数据传输方法及系统 - Google Patents

一种低延时医疗影像数据传输方法及系统 Download PDF

Info

Publication number
CN116208586B
CN116208586B CN202310482930.4A CN202310482930A CN116208586B CN 116208586 B CN116208586 B CN 116208586B CN 202310482930 A CN202310482930 A CN 202310482930A CN 116208586 B CN116208586 B CN 116208586B
Authority
CN
China
Prior art keywords
transmission
image data
real
value
time image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310482930.4A
Other languages
English (en)
Other versions
CN116208586A (zh
Inventor
谭鑫
曹莉琼
陈建长
温伟军
李明书
郑静雯
胡曾山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Zhujiang Chilink Information Technology Co ltd
Original Assignee
Guangdong Zhujiang Chilink Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Zhujiang Chilink Information Technology Co ltd filed Critical Guangdong Zhujiang Chilink Information Technology Co ltd
Priority to CN202310482930.4A priority Critical patent/CN116208586B/zh
Publication of CN116208586A publication Critical patent/CN116208586A/zh
Application granted granted Critical
Publication of CN116208586B publication Critical patent/CN116208586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医疗数据的信息及通信领域，具体涉及基于一种低延时医疗影像数据传输方法及系统，构建医疗设备与通讯设备之间的通讯网络，通过医疗设备中的视觉传感器采集实时影像数据，传输到通讯设备中，对实时影像数据进行训练和测试得到训练完成的神经网络模型，通过训练完成的神经网络模型提取实时影像数据中分割成若干个视频帧，对视频帧并行进行梯度计算，得到各视频帧的梯度矩阵，通过梯度矩阵判断视频帧中是否存在模糊区域，并对模糊区域进行调整。

Description

一种低延时医疗影像数据传输方法及系统
技术领域
本发明涉及医疗数据的信息及通信领域，具体涉及基于一种低延时医疗影像数据传输方法及系统。
背景技术
根据现在医疗设施不断完善，结合5G高速信息传递的医疗设备以及医疗方法都不断出现，许多的手术可以使用机器进行取代，机器手有着比人手更稳更精准的优势，但是在手术过程中手术的实时画面比起传输到主刀医生的画面有着一定的延时，这就导致了主刀医生在进行机器手代替操刀时不能实时根据患者情况迅速判断下一步动作，医疗设备的影像存在延时性，虽然延时并不会太高但是在一些特殊的手术状况时，还是需要主刀医生放弃机器手进行人工操刀，可以对患者的实时手术状况作出判断，申请号为CN2022111834923的中国发明专利（一种基于云计算的医疗物联网远程服务系统）中提到采用5G专属双向通道通信网络模块增加了远程数据信息传输高速的功能，达到了远程操控遥控机器人同步处理的低延时效果，而在采用5G专属双向通道通信网络模块增加了远程数据信息传输高速的功能之后影像传输的延时降低了，同时也让主刀医生更方便操作，但是面对一些需要更为精细以及时间较长的手术时，则需要低延时网络具备稳定性，让长时间的手术可以保持低延时状态并且网络波动小，才能让手术顺利进行，所以亟需一种低延时医疗影像数据传输方法及系统来解决上述的问题。
发明内容
鉴于以上所述现有方法的局限，本发明的目的在于提出基于5G网络的低延时医疗影像数据传输方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为了实现上述目的，根据本发明的一方面，提供基于一种低延时医疗影像数据传输方法，所述方法包括以下步骤：
S100：构建医疗设备与通讯设备之间的通讯网络；
S200：通过医疗设备中的视觉传感器采集实时影像数据，传输到通讯设备中；
S300：对实时影像数据进行训练和测试得到训练完成的神经网络模型；
S400：通过训练完成的神经网络模型提取实时影像数据中分割成若干个视频帧，对视频帧并行进行梯度计算，得到各视频帧的梯度矩阵；
S500：通过梯度矩阵判断视频帧中是否存在模糊区域，并对模糊区域进行调整。
进一步地，在步骤S100中，构建医疗设备与通讯设备之间的通讯网络，所述医疗设备包括机器手以及连接通讯设备的交换机，所述交换机同时连接液晶屏幕，将传感器中获取的实时影像传输液晶屏幕中，所述医疗设备与通讯设备之间的5G通道的通讯网络由数据加密传输及接口内嵌协议栈组成，在步骤S200中，所述视觉传感器为医疗镜头和医疗检测设施，所述医疗镜头获取手术时的实时状况，所述医疗检测设施则实时记录手术患者的基本状况，包括心跳、呼吸速率和呼吸量。
进一步地，在步骤S200中，对传输中的实时影像数据分别训练集和测试集，所述训练集为对实时影像数据进行卷积神经网络模型训练，所述测试集为通过测试集对所述卷积神经网络模型进行测试，训练并测试完成后得到稳定传输的实时影像数据流。
优选地，所述测试集即为首次获取的实时影像数据流，并对实时影像数据流进行分析判断，对测试集中的延时模糊等情况，通过训练集进行深度学习并且进行优化，当训练集训练完成之后再次转化为测试集对实时影像数据流进行分析判断，当确认所述实时影像数据流的稳定且清晰，对所述实时影像数据流进行输出。
进一步地，在步骤S300中，根据实时影响进行图像处理并且对获取的实时影像数据流，并将获取的影像数据流在对应网络中设置节点并通过节点对所述实时影像数据流进行多线程传输，对传输实时影像数据流设置一个状态标记A，A的值定义为True或False，当A为True时，表示实时影像数据流的传输状态处于平稳状态，当A为False时，表示实时影像数据流传输出现波动，初始化设置A的值为True，并对每一个节点传输对状态标记A进行更新；
S301：当出现A为False，取A为False的时间段，并将在此时间段的实时影像数据流传输流量传输速度波动根据固定间隔进行采集，并将采集获得的流量传输速度构建波动序列fluctuating，将波动序列中的流量传输速度构建曲线图，并获取曲线图的峰值，求出两个相近的峰值之间的差，得到流量传输速度差异值，将所述流量传输速度差异值构建序列流量传输速度差异值序列variance；
S302：根据处于A值为True时的流量传输速度与波动序列fluctuating中的元素计算获取在波动状态下的传输延时值，并构建传输延时序列delay，
Figure SMS_1
，/>
Figure SMS_2
为输延时序列delay中的第i位传输延时值，所述/>
Figure SMS_3
为波动序列fluctuating中的第i位元素，所述i的取值范围为[1,n]，n为序列fluctuating的元素总数量，也是序列delay的元素总数量，所述r为处于A值为True时的流量传输速度，所述p为在采集间隔时间内的输出帧数，p为常数值，获取延时差值Tl，Tl=max(/>
Figure SMS_4
)-min(/>
Figure SMS_5
),将所述的延时差值Tl与传输速度差异值序列variance中的速度进行计算，通过计算得到当前传输通道的延时系数σ，
Figure SMS_6
；
所述延时系数σ代表了A值为False时间段内在当前通道中实时影像数据流的传输帧数与A值为True时的传输帧数的差值系数，所述mean()为求序列平均数函数，所述max()为取序列最大值函数，所述min()为取序列最小值函数，所述exp为求指数函数；
（计算传输通道的延时系数σ的有益效果为：通过传输通道中的延时值以及延时速度，计算得到传输通道的延时系数σ，可以对传输通道中的延时程度对发生延时的传输通道进行判断，并且在对实时影像数据流传输转换通道可以由高到低进行有序转换）
S303：获取A值为True时的实时传输帧数q，获取q＜p时的传输通道，并将所述q＜p时的传输通道的q构建传输帧数序列Q，Q=[
Figure SMS_7
]，所述传输帧数序列Q的元素总数为m，取传输通道中两个视频帧之间的差值时间段t1的最大值max（t1）和最小值min（t1），取A值为False时的传输通道中延时系数σ最小值的通道的两个视频帧之间的差值时间段t2的平均值mean（t2），计算得到通道间的转换传输系数Cht，
Figure SMS_8
；
所述ln（）为对数函数，
Figure SMS_9
为序列Q中的第l位元素；
（计算通道间的转换传输系数Cht的有益效果为：将所述Cht与延时差值Tl进行对比，得到可以进行转换通道的差值时间段t1的最大值，可以快速对传输通道的转换进行判断，并完成转换）
S304：所述通道间的转换传输系数Cht需满足Cht≥Tl,若满足Cht≥Tl则将通道间的转换传输系数Cht转到步骤S305，若不满足Cht≥Tl，则将所述传输通道中两个视频帧之间的差值时间段t1的最大值max（t1）删除，并将对应的通道暂时移除，并重新回到步骤S303中；
S305：通过将所述实时影像数据流转移到差值时间段t1的最大值max（t1）对应的通道中进行传输，并不断循环步骤S303-S305，当A值为True时停止循环；
S306：通过卷积神经网络模型对上述方法进行深度学习，最终输出训练完成的神经网络模型。
进一步地，在步骤S400中，根据所述训练完成的神经网络模型提取实时影像数据中的视频帧，对视频帧中出现的像素点进行与原像素点进行对比分析，当出现像素点的RGB值被周围像素点的RGB值影响而发生改变，对所述视频帧中心位置标记为远点，并构建直角坐标系，对所述视频帧进行梯度计算，得到视频帧梯度矩阵G（x，y），G（x，y）=dx（i，j）+dy（i，j），所述（i，j）为像素点坐标值，所述dx（i，j）为像素点在x轴方向上的导数，所述dy（i，j）为像素点在y轴方向上的导数，设所述视频帧的大小为C×D，根据计算得到所述像素点的频域函数，
Figure SMS_10
，/>
Figure SMS_11
指图片经过傅里叶变换后频域函数，所述e为自然数，所述dw为求/>
Figure SMS_12
的导数，所述x、y为视频帧梯度矩阵G（x，y）中的行数和列数，所述u、v为像素点的x轴和y轴的坐标值，所述C、D为视频帧的长和宽的长度，通过所述频域函数/>
Figure SMS_13
对所述视频帧的像素点通过滤波器窗口进行遍历判断，当像素点的频域函数/>
Figure SMS_14
大于设定值时，则将所述像素点判定为噪点，若滤波器窗口中有像素点判断为噪点时，则增大滤波器窗口，对噪点进行滤波处理，然后继续判断下一像素，并对所述噪点进行集合，所述噪点集合判定为模糊区域，对模糊区域进行降噪处理。
一种低延时医疗影像数据传输系统，其特征在于，所述系统包括：视觉传感器，医疗设备，通讯设备，存储器和处理器，所述视觉传感器，医疗设备，通讯设备的数据可存储在存储器中，所述视觉传感器，医疗设备，通讯设备和存储器可在所述处理器上运行计算机程序，所述处理器执行所述计算机程序时实现上述方法中的任一一种低延时医疗影像数据传输方法中的步骤。
所述一种低延时医疗影像数据传输系统中各个模块的作用为：
视觉传感器：所属视觉传感器包括医疗镜头和视频处理器，主要是负责获取视频帧，并对所述视频帧传输至医疗设备中；
医疗设备：主要是各项检测患者身体各项指标的设备，通过身体的指标医生可以对患者的身体情况对手术的进度进行判断；
通讯设备：所属通讯设备包括通讯传输设备和通讯显示设备，通讯传输设备则负责传输视觉传感器中的实时影像数据流，通讯显示设备则负责接收并显示医疗实时影像。
本发明的有益效果为：通过判断当前实时影像数据流的传输速度，并对传输速度中的延时时间段进行分析处理，并通过卷积神经网络模型对分析方法进行深度学习，最终输出训练完成的神经网络模型，通过训练完成的神经网络模型可以让实时影像数据流在传输时更流畅和稳定。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种低延时医疗影像数据传输方法的流程图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示的一种低延时医疗影像数据传输方法：
S100：构建医疗设备与通讯设备之间的通讯网络；
S200：通过医疗设备中的视觉传感器采集实时影像数据，传输到通讯设备中；
S300：对实时影像数据进行训练和测试得到训练完成的神经网络模型；
S400：通过训练完成的神经网络模型提取实时影像数据中分割成若干个视频帧，对视频帧并行进行梯度计算，得到各视频帧的梯度矩阵；
S500：通过梯度矩阵判断视频帧中是否存在模糊区域，并对模糊区域进行调整。
进一步地，在步骤S100中，构建医疗设备与通讯设备之间的通讯网络，所述医疗设备包括机器手以及连接通讯设备的交换机，所述交换机同时连接液晶屏幕，将传感器中获取的实时影像传输液晶屏幕中，所述医疗设备与通讯设备之间的5G通道的通讯网络由数据加密传输及接口内嵌协议栈组成，在步骤S200中，所述视觉传感器为医疗镜头和医疗检测设施，所述医疗镜头获取手术时的实时状况，所述医疗检测设施则实时记录手术患者的基本状况，包括心跳、呼吸速率和呼吸量。
进一步地，在步骤S200中，对传输中的实时影像数据分别训练集和测试集，所述训练集为对实时影像数据进行卷积神经网络模型训练，所述测试集为通过测试集对所述卷积神经网络模型进行测试，训练并测试完成后得到稳定传输的实时影像数据流。
优选地，所述测试集即为首次获取的实时影像数据流，并对实时影像数据流进行分析判断，对测试集中的延时模糊等情况，通过训练集进行深度学习并且进行优化，当训练集训练完成之后再次转化为测试集对实时影像数据流进行分析判断，当确认所述实时影像数据流的稳定且清晰，对所述实时影像数据流进行输出。
进一步地，在步骤S300中，根据实时影响进行图像处理并且对获取的实时影像数据流，并将获取的影像数据流在对应网络中设置节点并通过节点对所述实时影像数据流进行多线程传输，对传输实时影像数据流设置一个状态标记A，A的值定义为True或False，当A为True时，表示实时影像数据流的传输状态处于平稳状态，当A为False时，表示实时影像数据流传输出现波动，初始化设置A的值为True，并对每一个节点传输对状态标记A进行更新；
S301：当出现A为False，取A为False的时间段，并将在此时间段的实时影像数据流传输流量传输速度波动根据固定间隔进行采集，并将采集获得的流量传输速度构建波动序列fluctuating，将波动序列中的流量传输速度构建曲线图，并获取曲线图的峰值，求出两个相近的峰值之间的差，得到流量传输速度差异值，将所述流量传输速度差异值构建序列流量传输速度差异值序列variance；
S302：根据处于A值为True时的流量传输速度与波动序列fluctuating中的元素计算获取在波动状态下的传输延时值，并构建传输延时序列delay，
Figure SMS_15
，/>
Figure SMS_16
为输延时序列delay中的第i位传输延时值，所述/>
Figure SMS_17
为波动序列fluctuating中的第i位元素，所述i的取值范围为[1,n]，n为序列fluctuating的元素总数量，也是序列delay的元素总数量，所述r为处于A值为True时的流量传输速度，所述p为在采集间隔时间内的输出帧数，p为常数值，获取延时差值Tl，Tl=max(/>
Figure SMS_18
)-min(/>
Figure SMS_19
),将所述的延时差值Tl与传输速度差异值序列variance中的速度进行计算，通过计算得到当前传输通道的延时系数σ，
Figure SMS_20
；
所述延时系数σ代表了A值为False时间段内在当前通道中实时影像数据流的传输帧数与A值为True时的传输帧数的差值系数，所述mean()为求序列平均数函数，所述max()为取序列最大值函数，所述min()为取序列最小值函数，所述exp为求指数函数；
（计算传输通道的延时系数σ的有益效果为：通过传输通道中的延时值以及延时速度，计算得到传输通道的延时系数σ，可以对传输通道中的延时程度对发生延时的传输通道进行判断，并且在对实时影像数据流传输转换通道可以由高到低进行有序转换）
S303：获取A值为True时的实时传输帧数q，获取q＜p时的传输通道，并将所述q＜p时的传输通道的q构建传输帧数序列Q，Q=[
Figure SMS_21
]，所述传输帧数序列Q的元素总数为m，取传输通道中两个视频帧之间的差值时间段t1的最大值max（t1）和最小值min（t1），取A值为False时的传输通道中延时系数σ最小值的通道的两个视频帧之间的差值时间段t2的平均值mean（t2），计算得到通道间的转换传输系数Cht，
Figure SMS_22
；
所述ln（）为对数函数，
Figure SMS_23
为序列Q中的第l位元素；
（计算通道间的转换传输系数Cht的有益效果为：将所述Cht与延时差值Tl进行对比，得到可以进行转换通道的差值时间段t1的最大值，可以快速对传输通道的转换进行判断，并完成转换）
S304：所述通道间的转换传输系数Cht需满足Cht≥Tl,若满足Cht≥Tl则将通道间的转换传输系数Cht转到步骤S305，若不满足Cht≥Tl，则将所述传输通道中两个视频帧之间的差值时间段t1的最大值max（t1）删除，并将对应的通道暂时移除，并重新回到步骤S303中；
S305：通过将所述实时影像数据流转移到差值时间段t1的最大值max（t1）对应的通道中进行传输，并不断循环步骤S303-S305，当A值为True时停止循环；
S306：通过卷积神经网络模型对上述方法进行深度学习，最终输出训练完成的神经网络模型。
进一步地，在步骤S400中，根据所述训练完成的神经网络模型提取实时影像数据中的视频帧，对视频帧中出现的像素点进行与原像素点进行对比分析，当出现像素点的RGB值被周围像素点的RGB值影响而发生改变，对所述视频帧中心位置标记为远点，并构建直角坐标系，对所述视频帧进行梯度计算，得到视频帧梯度矩阵G（x，y），G（x，y）=dx（i，j）+dy（i，j），所述（i，j）为像素点坐标值，所述dx（i，j）为像素点在x轴方向上的导数，所述dy（i，j）为像素点在y轴方向上的导数，设所述视频帧的大小为C×D，根据计算得到所述像素点的频域函数，
Figure SMS_24
，/>
Figure SMS_25
指图片经过傅里叶变换后频域函数，所述e为自然数，所述dw为求/>
Figure SMS_26
的导数，所述x、y为视频帧梯度矩阵G（x，y）中的行数和列数，所述u、v为像素点的x轴和y轴的坐标值，所述C、D为视频帧的长和宽的长度，通过所述频域函数/>
Figure SMS_27
对所述视频帧的像素点通过滤波器窗口进行遍历判断，当像素点的频域函数/>
Figure SMS_28
大于设定值时，则将所述像素点判定为噪点，若滤波器窗口中有像素点判断为噪点时，则增大滤波器窗口，对噪点进行滤波处理，然后继续判断下一像素，并对所述噪点进行集合，所述噪点集合判定为模糊区域，对模糊区域进行降噪处理。
一种低延时医疗影像数据传输系统，其特征在于，所述系统包括：视觉传感器，医疗设备，通讯设备，存储器和处理器，所述视觉传感器，医疗设备，通讯设备的数据可存储在存储器中，所述视觉传感器，医疗设备，通讯设备和存储器可在所述处理器上运行计算机程序，所述处理器执行所述计算机程序时实现上述方法中的任一一种低延时医疗影像数据传输方法中的步骤。
所述一种低延时医疗影像数据传输系统中各个模块的作用为：
视觉传感器：所属视觉传感器包括医疗镜头和视频处理器，主要是负责获取视频帧，并对所述视频帧传输至医疗设备中；
医疗设备：主要是各项检测患者身体各项指标的设备，通过身体的指标医生可以对患者的身体情况对手术的进度进行判断；
通讯设备：所属通讯设备包括通讯传输设备和通讯显示设备，通讯传输设备则负责传输视觉传感器中的实时影像数据流，通讯显示设备则负责接收并显示医疗实时影像。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立元器件门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种低延时医疗影像数据传输系统的控制中心，利用各种接口和线路连接整个一种低延时医疗影像数据传输系统的各个分区域。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种低延时医疗影像数据传输系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (5)

1.一种低延时医疗影像数据传输方法，其特征在于，所述方法包括以下步骤：
S100：构建医疗设备与通讯设备之间的通讯网络；
S200：通过医疗设备中的视觉传感器采集实时影像数据，传输到通讯设备中；
S300：对实时影像数据进行训练和测试得到训练完成的神经网络模型；
S400：通过训练完成的神经网络模型提取实时影像数据中分割成若干个视频帧，对视频帧并行进行梯度计算，得到各视频帧的梯度矩阵；
S500：通过梯度矩阵判断视频帧中是否存在模糊区域，并对模糊区域进行调整；
在步骤S300中，根据实时影响进行图像处理并且对获取的实时影像数据流，并将获取的影像数据流在对应网络中设置节点并通过节点对所述实时影像数据流进行多线程传输，对传输实时影像数据流设置一个状态标记A，A的值定义为True或False，当A为True时，表示实时影像数据流的传输状态处于平稳状态，当A为False时，表示实时影像数据流传输出现波动，初始化设置A的值为True，并对每一个节点传输对状态标记A进行更新；
S301：当出现A为False，取A为False的时间段，并将在此时间段的实时影像数据流传输流量传输速度波动根据固定间隔进行采集，并将采集获得的流量传输速度构建波动序列fluctuating，将波动序列中的流量传输速度构建曲线图，并获取曲线图的峰值，求出两个相近的峰值之间的差，得到流量传输速度差异值，将所述流量传输速度差异值构建序列流量传输速度差异值序列variance；
S302：根据处于A值为True时的流量传输速度与波动序列fluctuating中的元素计算获取在波动状态下的传输延时值，并构建传输延时序列delay，
Figure QLYQS_1
，/>
Figure QLYQS_2
为输延时序列delay中的第i位传输延时值，所述/>
Figure QLYQS_3
为波动序列fluctuating中的第i位元素，所述i的取值范围为[1,n]，n为序列fluctuating的元素总数量，也是序列delay的元素总数量，所述r为处于A值为True时的流量传输速度，所述p为在采集间隔时间内的输出帧数，p为常数值，获取延时差值Tl，Tl=max(/>
Figure QLYQS_4
)-min(/>
Figure QLYQS_5
),将所述的延时差值Tl与传输速度差异值序列variance中的速度进行计算，通过计算得到当前传输通道的延时系数σ，
Figure QLYQS_6
；
所述延时系数σ代表了A值为False时间段内在当前通道中实时影像数据流的传输帧数与A值为True时的传输帧数的差值系数，所述mean()为求序列平均数函数，所述max()为取序列最大值函数，所述min()为取序列最小值函数，所述exp为求指数函数；
S303：获取A值为True时的实时传输帧数q，获取q＜p时的传输通道，并将所述q＜p时的传输通道的q构建传输帧数序列Q，Q=[
Figure QLYQS_7
]，所述传输帧数序列Q的元素总数为m，取传输通道中两个视频帧之间的差值时间段t1的最大值max（t1）和最小值min（t1），取A值为False时的传输通道中延时系数σ最小值的通道的两个视频帧之间的差值时间段t2的平均值mean（t2），计算得到通道间的转换传输系数Cht，
Figure QLYQS_8
；
所述ln（）为对数函数，
Figure QLYQS_9
为序列Q中的第l位元素；
S304：所述通道间的转换传输系数Cht需满足Cht≥Tl,若满足Cht≥Tl则将通道间的转换传输系数Cht转到步骤S305，若不满足Cht≥Tl，则将所述传输通道中两个视频帧之间的差值时间段t1的最大值max（t1）删除，并将对应的通道暂时移除，并重新回到步骤S303中；
S305：通过将所述实时影像数据流转移到差值时间段t1的最大值max（t1）对应的通道中进行传输，并不断循环步骤S303-S305，当A值为True时停止循环；
S306：通过卷积神经网络模型对上述方法进行深度学习，最终输出训练完成的神经网络模型。
2.根据权利要求1所述的一种低延时医疗影像数据传输方法，其特征在于，在步骤S100中，构建医疗设备与通讯设备之间的通讯网络，所述医疗设备包括机器手以及连接通讯设备的交换机，所述交换机同时连接液晶屏幕，将传感器中获取的实时影像传输液晶屏幕中，所述医疗设备与通讯设备之间的5G通道的通讯网络由数据加密传输及接口内嵌协议栈组成，在步骤S200中，所述视觉传感器为医疗镜头和医疗检测设施，所述医疗镜头获取手术时的实时状况，所述医疗检测设施则实时记录手术患者的基本状况，包括心跳、呼吸速率和呼吸量。
3.根据权利要求1所述的一种低延时医疗影像数据传输方法，其特征在于，在步骤S200中，对传输中的实时影像数据分别训练集和测试集，所述训练集为对实时影像数据进行卷积神经网络模型训练，所述测试集为通过测试集对所述卷积神经网络模型进行测试，训练并测试完成后得到稳定传输的实时影像数据流。
4.根据权利要求1所述的一种低延时医疗影像数据传输方法，其特征在于，在步骤S400中，根据所述训练完成的神经网络模型提取实时影像数据中的视频帧，对视频帧中出现的像素点进行与原像素点进行对比分析，当出现像素点的RGB值被周围像素点的RGB值影响而发生改变，对所述视频帧中心位置标记为远点，并构建直角坐标系，对所述视频帧进行梯度计算，得到视频帧梯度矩阵G（x，y），G（x，y）=dx（u，v）+dy（u，v），所述（u，v）为像素点坐标值，所述dx（u，v）为像素点在x轴方向上的导数，所述dy（u，v）为像素点在y轴方向上的导数，设所述视频帧的大小为C×D，根据计算得到所述像素点的频域函数，
Figure QLYQS_10
，/>
Figure QLYQS_11
指图片经过傅里叶变换后频域函数，所述e为自然数，所述dw为求/>
Figure QLYQS_12
的导数，所述x、y为视频帧梯度矩阵G（x，y）中的行数和列数，所述u、v为像素点的x轴和y轴的坐标值，所述C、D为视频帧的长和宽的长度，通过所述频域函数/>
Figure QLYQS_13
对所述视频帧的像素点通过滤波器窗口进行遍历判断，当像素点的频域函数/>
Figure QLYQS_14
大于设定值时，则将所述像素点判定为噪点，若滤波器窗口中有像素点判断为噪点时，则增大滤波器窗口，对噪点进行滤波处理，然后继续判断下一像素，并对所述噪点进行集合，所述噪点集合判定为模糊区域，对模糊区域进行降噪处理。
5.一种低延时医疗影像数据传输系统，其特征在于，所述系统包括：视觉传感器，医疗设备，通讯设备，存储器和处理器，所述视觉传感器，医疗设备，通讯设备的数据可存储在存储器中，所述视觉传感器，医疗设备，通讯设备和存储器可在所述处理器上运行计算机程序，所述处理器执行所述计算机程序时实现权利要求1-4中的任一一种低延时医疗影像数据传输方法中的步骤。
CN202310482930.4A 2023-05-04 2023-05-04 一种低延时医疗影像数据传输方法及系统 Active CN116208586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310482930.4A CN116208586B (zh) 2023-05-04 2023-05-04 一种低延时医疗影像数据传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310482930.4A CN116208586B (zh) 2023-05-04 2023-05-04 一种低延时医疗影像数据传输方法及系统

Publications (2)

Publication Number Publication Date
CN116208586A CN116208586A (zh) 2023-06-02
CN116208586B true CN116208586B (zh) 2023-06-30

Family

ID=86508012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310482930.4A Active CN116208586B (zh) 2023-05-04 2023-05-04 一种低延时医疗影像数据传输方法及系统

Country Status (1)

Country Link
CN (1) CN116208586B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543889B (zh) * 2023-07-05 2023-12-08 深圳市依诺普医疗设备有限公司 基于医疗物联网的内窥镜远程操控系统及方法
CN117082155B (zh) * 2023-10-18 2024-01-23 北京健滨医药科技有限公司 基于5g技术的医疗影像传输系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985641B1 (en) * 1999-05-26 2006-01-10 Sony Corporation Picture processing method and apparatus
CN110324622A (zh) * 2018-03-28 2019-10-11 腾讯科技（深圳）有限公司 一种视频编码码率控制方法、装置、设备及存储介质
CN112001224A (zh) * 2020-07-02 2020-11-27 北京奥维视讯科技有限责任公司 基于卷积神经网络的视频采集方法和视频采集系统
CN112135136A (zh) * 2019-06-24 2020-12-25 无锡祥生医疗科技股份有限公司 超声远程医疗发送方法、装置和接收方法、装置及系统
CN114677310A (zh) * 2022-04-15 2022-06-28 中南大学 一种延迟增强磁共振图像降噪与重建方法及系统
CN115834924A (zh) * 2022-11-02 2023-03-21 华中科技大学 面向交互式视频的松耦合编码码率-传输速率调节方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985641B1 (en) * 1999-05-26 2006-01-10 Sony Corporation Picture processing method and apparatus
CN110324622A (zh) * 2018-03-28 2019-10-11 腾讯科技（深圳）有限公司 一种视频编码码率控制方法、装置、设备及存储介质
CN112135136A (zh) * 2019-06-24 2020-12-25 无锡祥生医疗科技股份有限公司 超声远程医疗发送方法、装置和接收方法、装置及系统
CN112001224A (zh) * 2020-07-02 2020-11-27 北京奥维视讯科技有限责任公司 基于卷积神经网络的视频采集方法和视频采集系统
CN114677310A (zh) * 2022-04-15 2022-06-28 中南大学 一种延迟增强磁共振图像降噪与重建方法及系统
CN115834924A (zh) * 2022-11-02 2023-03-21 华中科技大学 面向交互式视频的松耦合编码码率-传输速率调节方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Live555的实时视频传输系统设计及其方法;魏崇毓;田文鹏;;电子设计工程(23);全文 *

Also Published As

Publication number Publication date
CN116208586A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN116208586B (zh) 一种低延时医疗影像数据传输方法及系统
CN108198154B (zh) 图像去噪方法、装置、设备及存储介质
WO2020125495A1 (zh) 一种全景分割方法、装置及设备
WO2019210555A1 (zh) 一种基于深度神经网络的人数统计方法及装置、存储介质
CN104023230B (zh) 一种基于梯度关联性的无参考图像质量评价方法
CN110570435B (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
JP7278766B2 (ja) 画像処理装置、画像処理方法およびプログラム
DE112019007677T5 (de) Posenvorhersageverfahren, Modelltrainingsverfahren und Vorrichtung
CN111667504B (zh) 一种人脸追踪方法、装置及设备
WO2023082453A1 (zh) 一种图像处理方法及装置
CN111652175A (zh) 应用于机器人辅助手术视频分析的实时手术工具检测方法
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN111985281A (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
DE112020004920T5 (de) Verfolgen von datenstromobjekten mit verzögerter objekterkennung
EP4372671A1 (en) Blind image denoising method and apparatus, electronic device, and storage medium
CN110009664A (zh) 一种基于响应图融合的红外目标跟踪方法及装置
CN106937059A (zh) 基于Kinect的影像合成方法和系统
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN115861250A (zh) 自适应数据集的半监督医学图像器官分割方法及系统
WO2021097595A1 (zh) 图像的病变区域分割方法、装置及服务器
CN117710868B (zh) 一种对实时视频目标的优化提取系统及方法
CN112911171B (zh) 一种基于加速处理的智能光电信息处理系统及方法
CN110633630B (zh) 一种行为识别方法、装置及终端设备
EP3893197A1 (en) Image analysis method and system
CN114742774B (zh) 融合局部和全局特征的无参考图像质量评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A low latency medical imaging data transmission method and system

Granted publication date: 20230630

Pledgee: Haizhu sub branch of Bank of Guangzhou Co.,Ltd.

Pledgor: GUANGDONG ZHUJIANG CHILINK INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2024980029681

PE01 Entry into force of the registration of the contract for pledge of patent right