CN113706583A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113706583A
CN113706583A CN202111020745.0A CN202111020745A CN113706583A CN 113706583 A CN113706583 A CN 113706583A CN 202111020745 A CN202111020745 A CN 202111020745A CN 113706583 A CN113706583 A CN 113706583A
Authority
CN
China
Prior art keywords
image
volume data
pixel
sample
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111020745.0A
Other languages
English (en)
Other versions
CN113706583B (zh
Inventor
刘雯卿
张治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202111020745.0A priority Critical patent/CN113706583B/zh
Publication of CN113706583A publication Critical patent/CN113706583A/zh
Priority to EP21955849.1A priority patent/EP4377889A1/en
Priority to PCT/CN2021/142841 priority patent/WO2023029321A1/en
Priority to US18/589,389 priority patent/US20240203038A1/en
Application granted granted Critical
Publication of CN113706583B publication Critical patent/CN113706583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。该方法包括：计算机设备对待测对象的医疗体数据进行路径追踪，得到待测对象的低分辨率的初始图像，对医疗体数据进行光线投射处理，得到医疗体数据的投射参数，将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的高分辨率的目标医疗图像。在本方法中，在时域维度进行目标医疗图像的生成过程中，在相机位置发生变化时，计算机设备依然可以基于上一帧的部分图像结果进行图像处理，避免了现有技术中由于相机位置发生变化需要重新对体数据进行图像处理而造成的数据量大的情况，减少了图像处理的数据量，从而提高了图像处理的效率。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的不断发展，越来越多的医学后处理工作站开始采用光线追踪技术对医疗体数据进行物理渲染，医学体数据的物理渲染技术是通过对真实场景进行模拟，然后通过对光线在体数据场这一物理介质中的真实传播交互行为进行数学建模，完成场景的高逼真渲染出图。
现有技术多采用渐进式物理渲染技术来对医疗体数据进行物理渲染，通过蒙特卡罗抽样法对图像中的各个像素进行路径追踪，当相机或相机与物体的相对位置没有发生变化时，通过基于中间计算过程的HDR图像和所有该角度的过往帧对应的路径追踪计算结果求平均值；当相机或相机与物体的相对位置发生变化，则重新从头开始路径追踪的迭代计算。
然而，上述在相机或相机与物体的相对位置发生变化，需要重新从头开始迭代计算的方式，计算过程复杂，导致计算量大。
发明内容
基于此，有必要针对上述技术问题，提供一种提高图像处理速度的图像处理方法、装置、计算机设备和存储介质。
第一方面，提供一种图像处理方法，该方法包括：
对待测对象的医疗体数据进行路径追踪，得到待测对象的初始图像；
对医疗体数据进行光线投射处理，得到医疗体数据的投射参数；
将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像。
在其中一个可选的实施例中，对待测对象的医疗体数据进行路径追踪，得到待测对象的初始图像，包括：
针对医疗体数据在屏幕图像中的各个像素，生成各像素对应的空间偏移向量；
根据各像素的空间偏移向量，对医疗体数据进行N次路径追踪，计算得到各像素对应的N个路径追踪结果；
根据各像素对应的N个路径追踪结果，确定初始图像。
在其中一个可选的实施例中，对医疗体数据进行光线投射处理，得到医疗体数据的投射参数，包括：
根据预设的传递函数，在屏幕图像的各个像素上对医疗体数据进行光线投射处理，计算各像素的替代深度；
根据各像素的替代深度，确定各像素对应的移动向量、光学属性和医疗标签。
在其中一个可选的实施例中，根据预设的传递函数，在屏幕图像的各个像素上对医疗体数据进行光线投射处理，计算各像素的替代深度，包括：
根据预设的传递函数，对医疗体数据进行光线投射处理，得到每个光线在各像素上的不透明度；
沿着每个光线方向，对各像素的不透明度进行累积，得到每个光线方向上各像素的累积不透明度；
将每个光线方向上各像素的累积不透明度与预设的不透明度阈值进行对比，并根据不透明度对比结果，确定各像素的替代深度。
在其中一个可选的实施例中，根据各像素的替代深度，确定各像素对应的移动向量，包括：
根据相机的位置参数，确定当前帧的第一相机投影矩阵和上一帧的第二相机投影矩阵；
根据各像素的替代深度、第一相机投影矩阵、第二相机投影矩阵，计算各像素的上一帧坐标；
根据各像素的上一帧坐标和各像素的当前帧坐标，计算各像素的移动向量。
在其中一个可选的实施例中，神经网络模型的训练方法包括：
获取样本医疗体数据；
根据预设的传递函数对样本医疗体数据进行光线投射处理，确定样本医疗体数据对应的样本投射参数；
对样本医疗体数据进行路径追踪计算，确定样本医疗体数据对应的样本初始图像；
将样本投射参数、样本初始图像，作为初始神经网络的输入，将预设的标准图像作为参考输出，对初始神经网络进行训练，得到神经网络模型。
在其中一个可选的实施例中，将样本投射参数、样本初始图像，作为初始神经网络的输入参数，将预设的标准图像作为参考输出，对初始神经网络进行训练，得到神经网络模型，包括：
将样本投射参数、样本初始图像输入至初始神经网络模型，得到样本医疗体数据对应的预测图像；
计算预测图像与金标准图像之间的像素差异作为损失值；
根据像素损失值调整初始神经网络模型的参数，并基于样本医疗体数据的路径追踪次数和样本投射参数，对初始神经网络模型进行训练，得到神经网络模型。
在其中一个可选的实施例中，基于样本医疗体数据的路径追踪次数和样本投射参数，对初始神经网络模型进行训练，得到神经网络模型，包括：
根据路径追踪次数和预设的追踪次数阈值，确定当前帧的样本医疗体数据的路径追踪次数；
当损失值最小时，确定路径追踪总次数达到收敛，得到神经网络模型。
在其中一个可选的实施例中，根据路径追踪次数和预设的追踪次数阈值，确定当前帧的样本医疗体数据的路径追踪次数，包括：
若路径追踪次数小于预设的第一阈值，则将第一阈值与路径追踪次数的差值，确定为当前帧的样本医疗体数据的追踪次数；
若路径追踪次数大于第一阈值，且路径追踪次数小于预设的第二阈值，则根据预设步进，将预设步进与路径追踪次数的和，确定为当前帧的样本医疗体数据的追踪次数；第二采样阈值大于第一采样阈值；
若路径追踪次数大于第二阈值，则确定当前帧的样本医疗体数据的路径追踪次数为0。
在其中一个可选的实施例中，若初始图像为高动态图像；该方法还包括：
根据预设的去噪算法，对高动态图像进行去噪处理，得到去噪处理之后的高动态图像；
根据预设的映射算法，将去噪处理之后的高动态图像转换为低动态图像；
将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像，包括：
将低动态图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像。
第二方面，提供一种图像处理装置，该装置包括：
第一计算模块，用于对待测对象的医疗体数据进行路径追踪，得到待测对象的初始图像；
第二计算模块，用于对医疗体数据进行光线投射处理，得到医疗体数据的投射参数；
处理模块，用于将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像。
第三方面，提供一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述第一方面任一所述的图像处理方法。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面任一所述的图像处理方法。
上述图像处理方法、装置、计算机设备和存储介质，计算机设备对待测对象的医疗体数据进行路径追踪，得到待测对象的初始图像，对医疗体数据进行光线投射处理，得到医疗体数据的投射参数，将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像。在本方法中，在时域维度进行目标医疗图像的生成过程中，在相机位置发生变化时，计算机设备依然可以基于上一帧的部分图像结果进行图像处理，避免了现有技术中由于相机位置发生变化需要重新对医疗体数据进行路径追踪、光线投射等图像处理而造成的庞大的数据量的情况，减少了图像处理的数据量，从而加快了图像处理的速度，提高了图像处理的效率，并通过神经网络的方法，替代原有的启发式方法，对上一帧的部分内容是否沿用到当前帧，做更好的预测。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中图像处理方法的流程示意图；
图4为一个实施例中图像处理方法的流程示意图；
图5为一个实施例中图像处理方法的流程示意图；
图6为一个实施例中图像处理方法的流程示意图；
图7为一个实施例中图像处理方法的流程示意图；
图8为一个实施例中图像处理方法的流程示意图；
图9为一个实施例中图像处理方法的流程示意图；
图10为一个实施例中图像处理方法的流程示意图；
图11为一个实施例中图像处理方法的流程示意图；
图12为一个实施例中图像处理装置的结构框图；
图13为一个实施例中图像处理装置的结构框图；
图14为一个实施例中图像处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请图2-图11实施例提供的图像处理方法，其执行主体为计算机设备，也可以是图像处理装置，该图像处理装置可以通过软件、硬件或者软硬件结合的方式成为计算机设备的部分或全部。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。
在一个实施例中，如图2所示，提供了一种图像处理方法，涉及的是计算机设备对待测对象的医疗体数据进行路径追踪，得到待测对象的低分辨率的初始图像，对医疗体数据进行光线投射处理，得到医疗体数据的投射参数，将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的高分辨率的目标医疗图像的过程，包括以下步骤：
S201、对待测对象的医疗体数据进行路径追踪，得到待测对象的初始图像。
其中，初始图像为医疗体数据对应的第一分辨率图像，该第一分辨率图像为没有经过去噪处理、未收敛的低采样率的原始图像，待测对象的医疗体数据可以为待测对象的目标部位的医疗体数据，例如，医疗体数据可以为人体肺部对应的体数据。
在本实施例中，计算机设备根据待测对象的目标部位的体数据进行路径追踪，从体数据对应的屏幕图像中的各个像素的位置一次或者多次发射随机光线，对每个发射光线进行光线的路径追踪，并计算每次发射光线对应的辐射亮度，通过多次采样，对所有的发射光线的辐射亮度求平均值，得到待测对象的初始图像。一般来说，该初始图像第一分辨率的高动态范围图像。
S202、对医疗体数据进行光线投射处理，得到医疗体数据的投射参数。
在本实施例中，计算机设备根据预设的传递函数，基于医疗体数据对应的屏幕图像中的各个像素进行光线投射处理，其中，光线投射处理指的是从每一个体数据对应的屏幕图像的像素开始，沿固定方向发射一条光线，光线穿越整个图像序列，得到图像序列对应的投射参数，其中，投射参数包括屏幕图像中各像素的替代深度、移动向量、光学属性和医疗标签。其中，光学属性包括各像素的法向量；在图像器官识别和分割算法中，不同的医疗标签代表不同的组织；替代深度指的在医疗体数据进行光线投射处理之后，根据光线投射的计算过程，所确定的渲染结果的深度信息，本实施例对此不做限定。
S203、将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像。
其中，目标医疗图像为符合预设分辨率的医疗体数据对应的第二分辨率图像；该第二分辨率图像为收敛图像，且具有较低的噪声，需要说明的是，与步骤201中第一分辨率图像相比，第二分辨率高于或等于第一分辨率。
在本实施例中，可选的，计算机设备对医疗体数据进行路径追踪得到初始图像，对医疗体数据进行光线投射的得到对应的投射参数，将投射参数、初始图像输入至预设神经网络模型中，得到预测图像。在基于时域维度的采样过程中，计算机设备可以将上一帧F(t-1)的图像结果、初始图像和投射参数，输入至预设神经网络模型中，得到当前帧F(t)的预测图像，即得到满足分辨率需求的高分辨率医疗图像，本实施例对此不做限定。
上述图像处理方法中，计算机设备对待测对象的医疗体数据进行路径追踪，得到待测对象的低分辨率的初始图像，对医疗体数据进行光线投射处理，得到医疗体数据的投射参数，将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的高分辨率的目标医疗图像。在本方法中，在时域维度进行目标医疗图像的生成过程中，在相机位置发生变化时，计算机设备依然可以基于上一帧的部分图像结果进行图像处理，避免了现有技术中由于相机位置发生变化需要重新对医疗体数据进行路径追踪、光线投射等图像处理而造成的庞大的数据量的情况，减少了图像处理的数据量，从而加快了图像处理的速度，提高了图像处理的效率。
计算机设备通过对医疗体数据进行路径追踪确定低分辨率的初始图像，在一个实施例中，如图3所示，上述对待测对象的医疗体数据进行路径追踪，得到待测对象的初始图像，包括：
S301、针对医疗体数据在屏幕图像中的各个像素，生成各像素对应的空间偏移向量。
在本实施例中，计算机设备根据医疗体数据确定与其对应的屏幕图像中各个像素，基于每个像素的位置，为每个像素生成对应的一组二维随机数，根据各个像素对应的二维随机数，确定各个像素对应的空间偏移向量。
S302、根据各像素的空间偏移向量，对医疗体数据进行N次路径追踪，计算得到各像素对应的N个路径追踪结果。
其中，体数据路径追踪：根据当前像素偏移量，与相机产生连线，发射光线，进行一次路径追踪计算，N为大于1的自然数。
在本实施例中，计算机设备根据各个像素对应的空间偏移向量，对各个医疗体数据发射一次光线，进行一次路径追踪，得到一次路径追踪结果；发射多次光线，进行多次路径追踪，得到医疗体数据对应的多次路径追踪结果，其中，路径追踪结果包括医疗体数据对应的屏幕图像中各个像素的光线辐射亮度。
S303、根据各像素对应的N个路径追踪结果，确定初始图像。
在本实施例中，计算机设备根据各个像素的N个路径追踪结果，来确定初始图像，示例地，计算机设备可以将各个像素对应的N个路径追踪结果中的光线辐射亮度进行累加求平均，从而基于所有像素的所有路径追踪结果，生成低分辨率的初始图像。
在本实施例中，计算机设备通过对医疗体数据进行光线追踪处理，可以得到低分辨率的初始图像，低分辨率的初始图像在图像处理过程中耗费较少的计算资源，为提高图像处理效率提供了数据支撑。
计算机设备通过对医疗体数据进行光线投射处理，得到对应的投射参数，在一个实施例中，如图4所示，对医疗体数据进行光线投射处理，得到医疗体数据的投射参数，包括：
S401、根据预设的传递函数，在屏幕图像的各个像素上对医疗体数据进行光线投射处理，计算各像素的替代深度。
其中，预设的传递函数包括传递函数、以及材质信息等与显示风格相关的参数，其中，传递函数指的是灰度值与光学属性的映射关系，光学属性包括像素的法向量。
可选地，计算机设备根据传递函数对医疗体数据进行光线投射处理，计算各像素的替代深度，如图5所示，包括：
S501、根据预设的传递函数，对医疗体数据进行光线投射处理，得到每个光线在各像素上的不透明度。
在本实施例中，在屏幕图像的各个像素位置上对医疗体数据进行光线投射处理，计算机设备得到每个光线在医疗体数据的各个空间位置上的不透明度。
S502、沿着每个光线方向，对各像素的不透明度进行累积，得到每个光线方向上各像素的累积不透明度。
在本实施例中，沿着每个光线方向，计算机设备对医疗体数据的各个像素位置上的不透明度分别进行累积，得到每个光线方向上各个像素位置的累积不透明度。
示例地，每个光线方向上各个像素位置的累积颜色和累积不透明度的计算方式可表示为：
αdst＝αdst+(1-αdst)αsrc
其中，初始不透明度均为0。αdst为光线上一个位置所在体数据的累积不透明度；αsrc光线当前位置所在体数据的不透明度，沿着光线方向，对每个采样位置进行累加计算，得到每个光线方向上各个像素位置的累积不透明度。
可选地，计算机设备还可以沿着光线方向，计算每个采样位置所在体数据的不透明度，将当前光线方向上的所有采样位置中最大不透明度的值作为当前光线方向上的累积不透明度。
S503、将每个光线方向上各像素的累积不透明度与预设的不透明度阈值进行对比，并根据不透明度对比结果，确定各像素的替代深度。
在本实施例中，计算机设备将每个光线方向上各个空间位置的叠加不透明度和预设的不透明度阈值进行对比，并根据不透明度对比结果确定每个像素位置的深度，示例地，不透明阈值可以为0.95。其中，若光线的一个空间位置的叠加不透明度大于不透明度阈值，则将空间位置作为光线对应的像素位置的替代深度；若空间位置的叠加不透明度不大于不透明度阈值，则获取光线在各个空间位置的不透明度中的最大不透明度，并将最大不透明度对应的空间位置作为光线对应的像素位置的替代深度。
可选地，在光线的一个空间位置的叠加不透明度大于不透明度阈值的情况下，计算机设备还可以确定当前的三维位置信息，并根据三维位置信息计算各像素的替代深度。
S402、根据各像素的替代深度，确定各像素对应的移动向量、光学属性和医疗标签。
在本实施例中，计算机设备在计算得到各个像素的替代深度之后，基于各个像素的替代深度，可以计算各个像素的移动向量，进一步地，还可以确定各个像素的光学属性和医疗标签。
可选地，移动向量的具体计算方式，在一个实施例中，如图6所示，根据各像素的替代深度，确定各像素对应的移动向量，包括：
S601、根据相机的位置参数，确定当前帧的第一相机投影矩阵和上一帧的第二相机投影矩阵。
在本实施例中，计算机设备在时域采样过程中，可以获取当前帧对应的相机的位置参数，即，计算机设备可以获取相机对应的上一帧的相机投影矩阵和当前帧的相机投影矩阵。
S602、根据各像素的替代深度、第一相机投影矩阵、第二相机投影矩阵，计算各像素的上一帧坐标。
在本实施例中，计算机设备在获取到相机的第一相机投影矩阵、第二相机投影矩阵之后，根据计算得到的像素的替代深度确定像素的当前帧坐标，从而根据像素的替代深度、第一相机投影矩阵、第二相机投影矩阵、像素的当前帧坐标，计算像素的上一帧坐标，示例地，像素的上一帧坐标pn-1的计算方式可表示为：
pn-1＝Mn-1Mn -1pn
其中，pn(x,y,z，1)为某一像素的当前帧n的坐标，z为该计算得到的像素的替代深度，Mn-1为上一帧n-1的第二相机投影矩阵；Mn为当前帧n的第一相机投影矩阵。
S603、根据各像素的上一帧坐标和各像素的当前帧坐标，计算各像素的移动向量。
在本实施例中，计算机设备根据计算得到的各像素的上一帧坐标和各像素的当前帧坐标，确定各像素的移动向量，可选地，计算机设备可以将像素的当前帧坐标与上一帧坐标之间的向量差作为像素的移动向量，本实施例对此不做限定。
在本实施例中，计算机设备对医疗体数据进行光线投射处理，得到屏幕图像上与医疗体数据对应的各个像素的投射参数，投射参数作为后续进行图像梳理的神经网络模型的输入，为图像处理提供了数据支撑。
计算机设备通过预设的算法训练神经网络模型，在一个实施例中，如图7所示，上述神经网络模型的训练方法包括：
S701、获取样本医疗体数据。
在本实施例中，计算机设备可以从预设数据库中获取样本医疗体数据；也可以用户将样本医疗体数据导入至计算机设备中；样本医疗体数据可以为不同分辨率的体数据。
S702、根据预设的传递函数对样本医疗体数据进行光线投射处理，确定样本医疗体数据对应的样本投射参数。
在本实施例中，计算机设备根据预设的传递函数对样本医疗体数据进行光线投射处理，其具体过程与上述步骤202的处理过程类似，本实施例中得到的是样本医疗体数据对应的样本投射参数，包括，体数据对应的替代深度、移动向量、光学属性以及医疗标签。
S703、对样本医疗体数据进行路径追踪计算，确定样本医疗体数据对应的样本初始图像；样本初始图像为样本医疗体数据对应的低分辨率图像。
在本实施例中，计算机设备对样本医疗体数据进行路径追踪计算，其具体过程与上述步骤201的处理过程类似，本实施例中得到的是样本医疗体数据对应的对应样本初始图像，该样本初始图像同样为低分辨率图像。
S704、将样本投射参数、样本初始图像，作为初始神经网络的输入，将预设的标准图像作为参考输出，对初始神经网络进行训练，得到神经网络模型。
其中，预设的标准图像指的是符合分辨率标准的参考图像。
在本实施例中，计算机设备将上述步骤得到的低分辨率的样本初始图像、样本投射参数作为初始神经网络模型的输入，将符合分辨率标准的参考图像作为参考输出，训练该初始神经网络模型，可选地，计算机设备还可以计算每次训练结果的损失函数，根据损失值，确定该初始神经网络模型是否达到收敛，从而得到神经网络模型。
可选地，如图8所示，将样本投射参数、样本初始图像，作为初始神经网络的输入参数，将预设的标准图像作为参考输出，对初始神经网络进行训练，得到神经网络模型，包括：
S801、将样本投射参数、样本初始图像输入至初始神经网络模型，得到样本医疗体数据对应的预测图像。
其中，样本投射参数包括每个像素点的替代深度、移动向量、法向量等光学属性、医学标签。
在本实施例中，计算机设备将上述步骤得到的低分辨率的样本初始图像、每个像素点的替代深度、移动向量、法向量等光学属性、医学标签输入至初始神经网络模型中进行图像处理，得到样本医疗体数据对应的预测图像。其中医学标签来自于图像分割等预处理，例如将体数据打上左肺、右肺、器官等标签。
S802、计算预测图像与金标准图像之间的像素差异作为损失值。
在本实施例中，计算机设备根据初始神经网络模型输出的预测图像、预设的金标准图像、以及预设的损失函数，来计算预测图像与金标准图像之间的像素损失值，该像素损失值指的是预测图像与金标准图像中各个像素之间的差异。
S803、根据像素损失值调整初始神经网络模型的参数，并基于样本医疗体数据的路径追踪次数和样本投射参数，对初始神经网络模型进行训练，得到神经网络模型。
在本实施例中，计算机设备根据像素损失值来调整初始神经网络模型的参数，并对初始神经网络模型进行训练，使其满足收敛条件而得到神经网络模型。
可选地，如图9所示，基于样本医疗体数据的路径追踪次数和样本投射参数，对初始神经网络模型进行训练，得到神经网络模型，包括：
S901、根据路径追踪次数和预设的追踪次数阈值，确定当前帧的样本医疗体数据的路径追踪次数。
其中，预设的追踪次数阈值可以为神经网络模型训练得到的，也可以用户输入的。
在本实施例中，在一种情况下，若路径追踪次数小于预设的第一阈值，则将第一阈值与路径追踪次数的差值，确定为当前帧的样本医疗体数据的追踪次数。
其中，为了保证图像的每个像素点都能达到最低的收敛要求，设置预设的第一阈值，预设的第一阈值可以认为是最小采样次数Nmin，示例地，在推理过程中，之前帧的路径追踪总次数(采样次数)为m，如果m<Nmin，则确定当前帧的样本医疗体数据的追踪次数N为：Nmin-m。
在另一种情况下，若路径追踪次数大于第一阈值，且路径追踪次数小于预设的第二阈值，则根据预设步进，将预设步进与路径追踪次数的和，确定为当前帧的样本医疗体数据的追踪次数；第二采样阈值大于第一采样阈值。
其中，为了避免鬼影等现象，设置第二阈值，第二阈值可以认为是最大采样次数Nmax，示例地，之前帧的路径追踪总次数为m，当Nmin<m<Nmax，计算机设备可以将当前帧的样本医疗体数据的追踪次数N设定为一个固定的值；可选地，计算机设备也可以根据预设步进与路径追踪次数的和，确定当前帧的样本医疗体数据的追踪次数N。
在又一种情况下，若路径追踪次数大于第二阈值，则确定当前帧的样本医疗体数据的路径追踪次数为0。
其中，当之前帧的路径追踪总次数m>＝Nmax，认为当前采样过程(推理过程)已经收敛，此时，计算机设备确定当前帧的样本医疗体数据的路径追踪(采样次数)次数N＝0,不再进行路径追踪。
S902、当损失值最小时，确定路径追踪总次数达到收敛，得到神经网络模型。
在本实施例中，当损失值最小时，确定需要再追踪的次数为0，意味着当前对神经网络模型的推理过程达到收敛，基于当前推理过程达到收敛的神经网络模型的参数、样本投射参数，确定神经网络模型。
在本实施例中，为了保证图像的每个像素点都能达到最低的收敛要求，设置第一采样阈值(最小采样次数)，同时为了避免鬼影等现象,设置第二采样阈值(最大采样次数)，基于路径追踪次数与第一采样阈值、第二采样阈值的关系，确定当前帧的样本医疗体数据的追踪次数，在当前帧的样本医疗体数据的路径追踪次数为0的情况下，确定路径追踪总次数达到收敛，从而得到神经网络模型，神经网络模型可以提供输出图像的图像质量。
在本实施例中，计算机设备根据样本医疗体数据进行光线投射、路径追踪得到样本初始图像和样本投射参数，并基于样本初始图像和样本投射参数输入至初始神经网络模型中进行模型的训练，基于金标准图像与输出图像的损失值对初始神经网络模型的参数进行调整修改，最终得到达到收敛条件的神经网络模型，可以实现对图像的快速处理。
为了进一步地提高图像质量，在一个实施例中，如图10所示，若初始图像为高动态图像；该方法还包括：
S1001、根据预设的去噪算法，对高动态图像进行去噪处理，得到去噪处理之后的高动态图像。
在本实施例中，计算机设备在得到高动态的低分辨率的初始图像之后，可以根据预设的去噪算法对该初始图像进行去噪处理，得到去噪处理之后的高动态图像，其中，去噪算法包括非局部均值降噪、基于主成分分析和双边滤波的图像降噪算法、小波变换、小波阈值降噪、Contourlet变换等算法，本实施例对此不做限定。
S1002、根据预设的映射算法，将去噪处理之后的高动态图像转换为低动态图像。
在本实施例中，计算机设备在得到去噪处理之后的高动态初始图像之后，为了适应本实施例提供的神经网络模型进行图像处理，计算机设备可以通过Tone mapping变换将高动态图像转换为低动态图像。
S1003、将低动态图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像。
在本实施例中，计算机设备在得到低动态低分辨率的初始图像之后，将该初始图像、投射参数、以及上一帧的图像结果输入至预设的神经网络模型中，进行目标医疗图像的预测，本实施例对此不做限定。
在本实施例中，计算机设备在对医疗体数据进行路径追踪一般得到的都是高动态低分辨率图像，针对高动态图像可以方便地进行图像去噪处理，进一步提高了图像处理的质量，但是高动态图像不适用于本实施例提供的神经网络模型进行图像处理，因此，对高动态图像进行转换处理，最终得到去噪处理后的低动态低分辨率的初始图像作为神经网络模型的输入，提高了图像输出的质量。
为了更好的说明上述方法，如图11所示，本实施例提供一种图像处理方法，具体包括：
S101、获取样本医疗体数据；
S102、根据预设的传递函数对样本医疗体数据进行光线投射处理，确定样本医疗体数据对应的样本投射参数；
S103、对样本医疗体数据进行路径追踪计算，确定样本医疗体数据对应的样本初始图像；
S104、将样本投射参数、样本初始图像输入至初始神经网络模型，得到样本医疗体数据对应的预测图像；
S105、计算预测图像与金标准图像之间的像素差异作为损失值；
S106、根据像素损失值调整初始神经网络模型的参数，并基于样本医疗体数据的路径追踪次数和样本投射参数，对初始神经网络模型进行训练，得到神经网络模型；
S107、对待测对象的医疗体数据进行路径追踪，针对医疗体数据在屏幕图像中的各个像素，生成各像素对应的空间偏移向量；
S108、根据各像素的空间偏移向量，对医疗体数据进行N次路径追踪，计算得到各像素对应的N个路径追踪结果；
S109、根据各像素对应的N个路径追踪结果，确定高动态低分辨率的初始图像；
S110、根据预设的去噪算法，对高动态低分辨率的初始图像进行去噪处理，得到去噪处理之后的高动态低分辨率的初始图像；
S111、根据预设的映射算法，将去噪处理之后的高动态低分辨率的初始图像转换为低动态低分辨率的初始图像；
S112、根据预设的传递函数，在屏幕图像的各个像素上对医疗体数据进行光线投射处理，计算各像素的替代深度；
S113、根据各像素的替代深度，确定各像素对应的移动向量、光学属性和医疗标签；
S114、将低动态低分辨率的初始图像，各像素的替代深度、移动向量、光学属性和医疗标签，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的高分辨率的目标医疗图像。
在本实施例中，在时域维度进行目标医疗图像的生成过程中，在相机位置发生变化时，计算机设备依然可以基于上一帧的部分图像结果进行图像处理，避免了现有技术中由于相机位置发生变化需要重新对医疗体数据进行路径追踪、光线投射等图像处理而造成的庞大的数据量的情况，减少了图像处理的数据量，从而加快了图像处理的速度，提高了图像处理的效率。
上述实施例提供的图像处理方法，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
应该理解的是，虽然图2-11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图12所示，提供了一种图像处理装置，包括：
第一计算模块01，用于对待测对象的医疗体数据进行路径追踪，得到待测对象的初始图像；
第二计算模块02，用于对医疗体数据进行光线投射处理，得到医疗体数据的投射参数；
处理模块03，用于将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像。
在其中一个可选的实施例中，第一计算模块01，用于针对医疗体数据在屏幕图像中的各个像素，生成各像素对应的空间偏移向量；根据各像素的空间偏移向量，对医疗体数据进行N次路径追踪，计算得到各像素对应的N个路径追踪结果；根据各像素对应的N个路径追踪结果，确定初始图像。
在其中一个可选的实施例中，第二计算模块02，用于根据预设的传递函数，在屏幕图像的各个像素上对医疗体数据进行光线投射处理，计算各像素的替代深度；根据各像素的替代深度，确定各像素对应的移动向量、光学属性和医疗标签。
在其中一个可选的实施例中，第二计算模块02，用于根据预设的传递函数，对医疗体数据进行光线投射处理，得到每个光线在各像素上的不透明度；沿着每个光线方向，对各像素的不透明度进行叠加，得到每个光线方向上各像素的叠加不透明度；将每个光线方向上各像素的叠加不透明度与预设的不透明度阈值进行对比，并根据不透明度对比结果，确定各像素的替代深度。
在其中一个可选的实施例中，第二计算模块02，用于根据相机的位置参数，确定当前帧的第一相机投影矩阵和上一帧的第二相机投影矩阵；根据各像素的替代深度、第一相机投影矩阵、第二相机投影矩阵，计算各像素的上一帧坐标；根据各像素的上一帧坐标和各像素的当前帧坐标，计算各像素的移动向量。
在其中一个可选的实施例中，如图13所示，图像处理装置还包括训练模块04，用于获取样本医疗体数据；根据预设的传递函数对样本医疗体数据进行光线投射处理，确定样本医疗体数据对应的样本投射参数；对样本医疗体数据进行路径追踪计算，确定样本医疗体数据对应的样本初始图像；将样本投射参数、样本初始图像，作为初始神经网络的输入，将预设的标准图像作为参考输出，对初始神经网络进行训练，得到神经网络模型。
在其中一个可选的实施例中，训练模块04，用于将样本投射参数、样本初始图像输入至初始神经网络模型，得到样本医疗体数据对应的预测图像；计算预测图像与金标准图像之间的像素差异作为损失值；根据像素损失值调整初始神经网络模型的参数，并基于样本医疗体数据的路径追踪次数和样本投射参数，对初始神经网络模型进行训练，得到神经网络模型。
在其中一个可选的实施例中，训练模块04，用于根据路径追踪次数和预设的追踪次数阈值，确定当前帧的样本医疗体数据的路径追踪次数；当损失值最小时，确定路径追踪总次数达到收敛，得到神经网络模型。
在其中一个可选的实施例中，训练模块04，用于若路径追踪次数小于预设的第一阈值，则将第一阈值与路径追踪次数的差值，确定为当前帧的样本医疗体数据的追踪次数；若路径追踪次数大于第一阈值，且路径追踪次数小于预设的第二阈值，则根据预设步进，将预设步进与路径追踪次数的和，确定为当前帧的样本医疗体数据的追踪次数；第二采样阈值大于第一采样阈值；若路径追踪次数大于第二阈值，则确定当前帧的样本医疗体数据的路径追踪次数为0。
在其中一个可选的实施例中，若初始图像为高动态图像；如图14所示，图像处理装置还包括转换模块05，用于根据预设的去噪算法，对高动态图像进行去噪处理，得到去噪处理之后的高动态图像；根据预设的映射算法，将去噪处理之后的高动态图像转换为低动态图像；处理模块03，用于将低动态图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
对待测对象的医疗体数据进行路径追踪，得到待测对象的初始图像；
对医疗体数据进行光线投射处理，得到医疗体数据的投射参数；
将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像。
上述实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对待测对象的医疗体数据进行路径追踪，得到待测对象的初始图像；
对医疗体数据进行光线投射处理，得到医疗体数据的投射参数；
将初始图像和投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到待测对象当前帧的目标医疗图像。
上述实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
对待测对象的医疗体数据进行路径追踪，得到所述待测对象的初始图像；
对所述医疗体数据进行光线投射处理，得到所述医疗体数据的投射参数；
将所述初始图像和所述投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到所述待测对象当前帧的目标医疗图像。
2.根据权利要求1所述的方法，其特征在于，所述对待测对象的医疗体数据进行路径追踪，得到所述待测对象的初始图像，包括：
针对所述医疗体数据在屏幕图像中的各个像素，生成各所述像素对应的空间偏移向量；
根据各所述像素的空间偏移向量，对所述医疗体数据进行N次路径追踪，计算得到各所述像素对应的N个路径追踪结果；
根据各所述像素对应的N个路径追踪结果，确定所述初始图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述医疗体数据进行光线投射处理，得到所述医疗体数据的投射参数，包括：
根据预设的传递函数，在屏幕图像的各个像素上对所述医疗体数据进行光线投射处理，计算各所述像素的替代深度；
根据各所述像素的替代深度，确定各所述像素对应的移动向量、光学属性和医疗标签。
4.根据权利要求3所述的方法，其特征在于，所述根据预设的传递函数，在屏幕图像的各个像素上对所述医疗体数据进行光线投射处理，计算各所述像素的替代深度，包括：
根据预设的传递函数，对所述医疗体数据进行光线投射处理，得到每个光线在各所述像素上的不透明度；
沿着每个光线方向，对各所述像素的不透明度进行累积，得到每个光线方向上各所述像素的累积不透明度；
将每个光线方向上各所述像素的累积不透明度与预设的不透明度阈值进行对比，并根据不透明度对比结果，确定各所述像素的替代深度。
5.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练方法包括：
获取样本医疗体数据；
根据预设的传递函数对所述样本医疗体数据进行光线投射处理，确定所述样本医疗体数据对应的样本投射参数；
对所述样本医疗体数据进行路径追踪计算，确定所述样本医疗体数据对应的样本初始图像；
将所述样本投射参数、所述样本初始图像，作为初始神经网络的输入，将预设的标准图像作为参考输出，对所述初始神经网络进行训练，得到所述神经网络模型。
6.根据权利要求5所述的方法，其特征在于，所述将所述样本投射参数、所述样本初始图像，作为初始神经网络的输入参数，将预设的标准图像作为参考输出，对所述初始神经网络进行训练，得到所述神经网络模型，包括：
将所述样本投射参数、样本初始图像输入至所述初始神经网络模型，得到所述样本医疗体数据对应的预测图像；
计算所述预测图像与所述金标准图像之间的像素差异作为损失值；
根据所述像素损失值调整所述初始神经网络模型的参数，并基于所述样本医疗体数据的路径追踪次数和所述样本投射参数，对所述初始神经网络模型进行训练，得到所述神经网络模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述样本医疗体数据的路径追踪次数和所述样本投射参数，对所述初始神经网络模型进行训练，得到所述神经网络模型，包括：
根据所述路径追踪总次数和预设的追踪次数阈值，确定当前帧的样本医疗体数据的路径追踪次数；
当所述损失值最小时，确定所述路径追踪总次数达到收敛，得到所述神经网络模型。
8.一种图像处理装置，其特征在于，所述装置包括：
第一计算模块，用于对待测对象的医疗体数据进行路径追踪，得到所述待测对象的初始图像；
第二计算模块，用于对所述医疗体数据进行光线投射处理，得到所述医疗体数据的投射参数；
处理模块，用于将所述初始图像和所述投射参数，以及上一帧的图像结果输入至预设的神经网络模型中，得到所述待测对象当前帧的目标医疗图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111020745.0A 2021-09-01 2021-09-01 图像处理方法、装置、计算机设备和存储介质 Active CN113706583B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111020745.0A CN113706583B (zh) 2021-09-01 2021-09-01 图像处理方法、装置、计算机设备和存储介质
EP21955849.1A EP4377889A1 (en) 2021-09-01 2021-12-30 Systems and methods for volume data rendering
PCT/CN2021/142841 WO2023029321A1 (en) 2021-09-01 2021-12-30 Systems and methods for volume data rendering
US18/589,389 US20240203038A1 (en) 2021-09-01 2024-02-27 Systems and methods for volume data rendering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111020745.0A CN113706583B (zh) 2021-09-01 2021-09-01 图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113706583A true CN113706583A (zh) 2021-11-26
CN113706583B CN113706583B (zh) 2024-03-22

Family

ID=78658742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111020745.0A Active CN113706583B (zh) 2021-09-01 2021-09-01 图像处理方法、装置、计算机设备和存储介质

Country Status (4)

Country Link
US (1) US20240203038A1 (zh)
EP (1) EP4377889A1 (zh)
CN (1) CN113706583B (zh)
WO (1) WO2023029321A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029321A1 (en) * 2021-09-01 2023-03-09 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for volume data rendering
CN117726733A (zh) * 2023-05-30 2024-03-19 荣耀终端有限公司 图像处理方法和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429690B2 (en) * 2019-10-10 2022-08-30 Hover, Inc. Interactive path tracing on the web

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015110012A1 (en) * 2014-01-22 2015-07-30 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, and computer device
US9760690B1 (en) * 2016-03-10 2017-09-12 Siemens Healthcare Gmbh Content-based medical image rendering based on machine learning
US20180061111A1 (en) * 2016-08-31 2018-03-01 Siemens Healthcare Gmbh Method of visualizing a three-dimensional object from a data volume
EP3373245A2 (en) * 2017-03-10 2018-09-12 Siemens Healthcare GmbH Consistent 3d rendering in medical imaging
EP3511908A1 (en) * 2018-01-15 2019-07-17 Siemens Healthcare GmbH Hybrid interactive mode for rendering medical images with ray tracing
JP2019208903A (ja) * 2018-06-05 2019-12-12 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
CN111583099A (zh) * 2020-04-14 2020-08-25 上海联影智能医疗科技有限公司 图像摆正方法、计算机设备和存储介质
CN111681297A (zh) * 2020-05-28 2020-09-18 上海联影智能医疗科技有限公司 图像重建方法、计算机设备和存储介质
US20200312009A1 (en) * 2019-03-28 2020-10-01 Adobe Inc. Rendering images from deeply learned raytracing parameters
CN111932664A (zh) * 2020-08-27 2020-11-13 腾讯科技（深圳）有限公司 图像渲染方法、装置、电子设备及存储介质
US20200380763A1 (en) * 2019-06-03 2020-12-03 Nvidia Corporation Bayesian machine learning system for adaptive ray-tracing
AU2020102667A4 (en) * 2020-10-11 2021-01-14 George, Tony DR Adversarial training for large scale healthcare data using machine learning system
EP3770847A1 (en) * 2019-07-26 2021-01-27 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for processing image, and storage medium
CN112419153A (zh) * 2020-11-23 2021-02-26 深圳供电局有限公司 图像超分辨率重建方法、装置、计算机设备和存储介质
WO2021057174A1 (zh) * 2019-09-26 2021-04-01 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备、存储介质和计算机程序
CN112669941A (zh) * 2020-12-28 2021-04-16 上海联影医疗科技股份有限公司 医学图像的处理方法、装置、计算机设备和存储介质
WO2021077963A1 (zh) * 2019-10-25 2021-04-29 北京迈格威科技有限公司 图像融合的方法、装置、电子设备及可读存储介质
CN112767260A (zh) * 2020-12-30 2021-05-07 上海联影智能医疗科技有限公司 图像质量提升方法、装置、计算机设备和存储介质
US20210192810A1 (en) * 2019-12-20 2021-06-24 Varian Medical Systems International Ag Tomographic image analysis using artificial intelligence (ai) engines

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706583B (zh) * 2021-09-01 2024-03-22 上海联影医疗科技股份有限公司 图像处理方法、装置、计算机设备和存储介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015110012A1 (en) * 2014-01-22 2015-07-30 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, and computer device
US9760690B1 (en) * 2016-03-10 2017-09-12 Siemens Healthcare Gmbh Content-based medical image rendering based on machine learning
US20180061111A1 (en) * 2016-08-31 2018-03-01 Siemens Healthcare Gmbh Method of visualizing a three-dimensional object from a data volume
EP3373245A2 (en) * 2017-03-10 2018-09-12 Siemens Healthcare GmbH Consistent 3d rendering in medical imaging
EP3511908A1 (en) * 2018-01-15 2019-07-17 Siemens Healthcare GmbH Hybrid interactive mode for rendering medical images with ray tracing
JP2019208903A (ja) * 2018-06-05 2019-12-12 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US20200312009A1 (en) * 2019-03-28 2020-10-01 Adobe Inc. Rendering images from deeply learned raytracing parameters
US20200380763A1 (en) * 2019-06-03 2020-12-03 Nvidia Corporation Bayesian machine learning system for adaptive ray-tracing
EP3770847A1 (en) * 2019-07-26 2021-01-27 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for processing image, and storage medium
WO2021057174A1 (zh) * 2019-09-26 2021-04-01 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备、存储介质和计算机程序
WO2021077963A1 (zh) * 2019-10-25 2021-04-29 北京迈格威科技有限公司 图像融合的方法、装置、电子设备及可读存储介质
US20210192810A1 (en) * 2019-12-20 2021-06-24 Varian Medical Systems International Ag Tomographic image analysis using artificial intelligence (ai) engines
CN111583099A (zh) * 2020-04-14 2020-08-25 上海联影智能医疗科技有限公司 图像摆正方法、计算机设备和存储介质
CN111681297A (zh) * 2020-05-28 2020-09-18 上海联影智能医疗科技有限公司 图像重建方法、计算机设备和存储介质
CN111932664A (zh) * 2020-08-27 2020-11-13 腾讯科技（深圳）有限公司 图像渲染方法、装置、电子设备及存储介质
AU2020102667A4 (en) * 2020-10-11 2021-01-14 George, Tony DR Adversarial training for large scale healthcare data using machine learning system
CN112419153A (zh) * 2020-11-23 2021-02-26 深圳供电局有限公司 图像超分辨率重建方法、装置、计算机设备和存储介质
CN112669941A (zh) * 2020-12-28 2021-04-16 上海联影医疗科技股份有限公司 医学图像的处理方法、装置、计算机设备和存储介质
CN112767260A (zh) * 2020-12-30 2021-05-07 上海联影智能医疗科技有限公司 图像质量提升方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩宝如等: "基于Legendre混沌神经网络的医学体数据数字水印算法研究", 《计算机软件及计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029321A1 (en) * 2021-09-01 2023-03-09 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for volume data rendering
CN117726733A (zh) * 2023-05-30 2024-03-19 荣耀终端有限公司 图像处理方法和电子设备

Also Published As

Publication number Publication date
WO2023029321A1 (en) 2023-03-09
CN113706583B (zh) 2024-03-22
US20240203038A1 (en) 2024-06-20
EP4377889A1 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN111968235B (zh) 一种物体姿态估计方法、装置、系统和计算机设备
CN113706583B (zh) 图像处理方法、装置、计算机设备和存储介质
CN109493417B (zh) 三维物体重建方法、装置、设备和存储介质
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
US10893262B2 (en) Lightfield rendering based on depths from physically-based volume rendering
CN107851332B (zh) 经由拓扑知晓表面跟踪的一致细分
US11074752B2 (en) Methods, devices and computer program products for gradient based depth reconstructions with robust statistics
Tsoli et al. Patch-based reconstruction of a textureless deformable 3d surface from a single rgb image
CN112614140A (zh) 一种训练色斑检测模型的方法及相关装置
Iglesias-Guitian et al. Real-time denoising of volumetric path tracing for direct volume rendering
CN110415341B (zh) 一种三维人脸模型的生成方法、装置、电子设备及介质
Cui et al. TPET: two-stage perceptual enhancement transformer network for low-light image enhancement
Bahmani et al. Tc4d: Trajectory-conditioned text-to-4d generation
CN113902848A (zh) 对象重建方法、装置、电子设备及存储介质
CN117974890A (zh) 人脸图像的处理方法、装置、直播系统、电子设备及介质
CN111915587B (zh) 视频处理方法、装置、存储介质和电子设备
CN117274446A (zh) 一种场景视频处理方法、装置、设备及存储介质
Somraj et al. Temporal view synthesis of dynamic scenes through 3D object motion estimation with multi-plane images
CN114913287B (zh) 一种三维人体模型重建方法及系统
CN113496506A (zh) 图像处理方法、装置、设备及存储介质
CN108876713B (zh) 二维模板图像的映射方法、装置、终端设备和存储介质
CN117218007A (zh) 视频图像处理方法、装置、电子设备及存储介质
CN110830848B (zh) 图像插值方法、装置、计算机设备和存储介质
CN112669941A (zh) 医学图像的处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant