CN116843671A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116843671A CN116843671A CN202310900109.XA CN202310900109A CN116843671A CN 116843671 A CN116843671 A CN 116843671A CN 202310900109 A CN202310900109 A CN 202310900109A CN 116843671 A CN116843671 A CN 116843671A
- Authority
- CN
- China
- Prior art keywords
- image
- medical image
- medical
- view
- visual angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000000694 effects Effects 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 27
- 230000008439 repair process Effects 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000002575 gastroscopy Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000003708 urethra Anatomy 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本申请提供了图像处理方法、装置、电子设备及存储介质，涉及计算机视觉领域。该方法包括：基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定所述第一视角医学图像与第二视角医学图像之间的视差值；所述第一视角医学图像与所述第二视角医学图像为目标医学对象在不同视角下的医学图像；依据所述视差值，利用所述第一视角医学图像生成所述第二视角医学图像，以供指定显示设备可利用所述第一视角医学图像与所述第二视角医学图像，显示出具有三维立体视觉效果的医学图像。本申请的技术，能够在降低图像采集设备成本以及提高患者体验感的基础上，为相关人员提供具有三维立体视觉效果的医学图像。
Description
技术领域
本申请涉及计算机视觉领域，具体涉及图像处理方法、装置、电子设备及存储介质。
背景技术
医学图像是应用于医学领域的图像数据，能够辅助医生、临床医学专业人员等诊断、治疗和研究多种疾病，常见的医学图像有X射线图像、超声图像等。为了能够为相关人员提供更全面和准确的视觉信息，以使相关人员可以更好地判断病变的位置、形状、大小以及周围组织的空间关系，往往会利用3D内窥镜(3-Dimensional Endoscope)，针对目标医学对象(例如，胃肠道等)，以不同的视角采集两张医学图像，并通过指定显示设备(例如，3D显示器)利用以不同的视角采集两张医学图像，显示出具有三维立体视觉效果的医学图像。
但相对于使用传统的单目图像采集设备采集医学图像而言，使用3D内窥镜来采集医学图像，不仅仅会使图像采集设备的成本变高，并且由于3D内窥镜相对于单目图像采集设备具有更大的设备体积，使用3D内窥镜来采集医学图像，还会给患者带来更差的体验感。因此，如何在降低图像采集设备成本以及提高患者体验感的基础上，为相关人员提供具有三维立体视觉效果的医学图像，成为了亟待解决的技术问题。
发明内容
为解决上述一种或多种技术问题，本申请提供了图像处理方法、装置、电子设备及存储介质。
根据本申请的第一方面，提供了一种图像处理方法，包括：
基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定第一视角医学图像与第二视角医学图像之间的视差值；第一视角医学图像与第二视角医学图像为目标医学对象在不同视角下的医学图像；
依据视差值，利用第一视角医学图像生成第二视角医学图像，以供指定显示设备可利用第一视角医学图像与第二视角医学图像，显示出具有三维立体视觉效果的医学图像。
根据本申请的第二方面，提供了一种图像处理装置，包括：
视差值确定模块，用于基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定第一视角医学图像与第二视角医学图像之间的视差值；第一视角医学图像与第二视角医学图像为目标医学对象在不同视角下的医学图像；
图像生成模块，用于依据视差值，利用第一视角医学图像生成第二视角医学图像，以供指定显示设备可利用第一视角医学图像与第二视角医学图像，显示出具有三维立体视觉效果的医学图像。
根据本申请的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本申请任一实施例中的方法。
根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本申请任一实施例中的方法。
本申请的技术，在基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定第一视角医学图像与第二视角医学图像之间的视差值之后，会进一步依据视差值，利用第一视角医学图像生成第二视角医学图像，以供指定显示设备可利用第一视角医学图像与第二视角医学图像，显示出具有三维立体视觉效果的医学图像。
由于第二视角医学图像是利用第一视角医学图像生成的，并且第一视角医学图像是基于单目图像采集设备采集到的，因此，本申请的技术，通过单目图像采集设备即可获取到目标医学对象在不同视角下的医学图像，以供指定显示设备可利用目标医学对象在不同视角下的医学图像，显示出具有三维立体视觉效果的医学图像。同时，相对于使用3D内窥镜来采集医学图像而言，使用单目图像采集设备采集医学图像，不仅会使图像采集设备的成本相对较低，而且还能够在一定程度上提高患者的体验感。因此，本申请的技术，能够在降低图像采集设备成本以及提高患者体验感的基础上，为相关人员提供具有三维立体视觉效果的医学图像，从而为相关人员提供更全面和准确的视觉信息，以使相关人员可以更好地判断病变的位置、形状、大小以及周围组织的空间关系。
应当理解，本部分所描述的内容并非旨在标识本申请实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1示出了本申请实施例中提供的一种图像处理方法的流程图；
图2示出了本申请实施例中提供的一种深度值与视差值之间的关系示意图；
图3示出了本申请实施例中提供的一种图像深度估计模型训练过程的示意图；
图4示出了本申请实施例中提供的一种图像孔洞修复模型训练过程的示意图；
图5示出了本申请实施例中提供的一种图像处理过程的示意图；
图6示出了本申请实施例中提供的一种图像处理装置的示意图；以及
图7为本申请实施例中提供的一种电子设备的示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请提供一种图像处理方法，具体请参照图1，其为本申请实施例中提供的一种图像处理方法的流程图。该方法可以包括以下步骤：
步骤S101：基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定第一视角医学图像与第二视角医学图像之间的视差值；第一视角医学图像与第二视角医学图像为目标医学对象在不同视角下的医学图像。
步骤S102：依据视差值，利用第一视角医学图像生成第二视角医学图像，以供指定显示设备可利用第一视角医学图像与第二视角医学图像，显示出具有三维立体视觉效果的医学图像。
本申请实施例中提供的图像处理方法，在基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定第一视角医学图像与第二视角医学图像之间的视差值之后，会进一步依据视差值，利用第一视角医学图像生成第二视角医学图像，以供指定显示设备可利用第一视角医学图像与第二视角医学图像，显示出具有三维立体视觉效果的医学图像。
由于第二视角医学图像是利用第一视角医学图像生成的，并且第一视角医学图像是基于单目图像采集设备采集到的，因此，本申请实施例中提供的图像处理方法，通过单目图像采集设备即可获取到目标医学对象在不同视角下的医学图像，以供指定显示设备可利用目标医学对象在不同视角下的医学图像，显示出具有三维立体视觉效果的医学图像。同时，相对于使用3D内窥镜来采集医学图像而言，使用单目图像采集设备采集医学图像，不仅会使图像采集设备的成本相对较低，而且还能够在一定程度上提高患者的体验感。因此，本申请实施例中提供的图像处理方法，能够在降低图像采集设备成本以及提高患者体验感的基础上，为相关人员提供具有三维立体视觉效果的医学图像，从而为相关人员提供更全面和准确的视觉信息，以使相关人员可以更好地判断病变的位置、形状、大小以及周围组织的空间关系。
单目图像采集设备一般是指单目内窥镜(Endoscope)，包括但不限于胃镜(Gastroscopy)、结肠镜(Colonoscopy)、支气管镜(Bronchoscopy)、膀胱镜(Cystoscopy)以及腹腔镜(Laparoscopy)。本申请实施例中对单目图像采集设备的类型不做具体限定，具体的，单目图像采集设备的类型可依据目标医学对象确定。例如，在目标医学对象是食道、胃和十二指肠等时，单目图像采集设备可以是胃镜，在目标医学对象是结肠和直肠时，单目图像采集设备可以是结肠镜，在目标医学对象是气道和肺部时，单目图像采集设备可以是支气管镜，在目标医学对象是膀胱和尿道时，单目图像采集设备可以是膀胱镜。其中，目标医学对象是指患者待检查的器官、组织等。
深度信息用于标识第一视角医学图像中的各个像素点分别对应的深度值，像素点对应的深度值用于标识像素点在目标医学对象上对应的真实点与单目图像采集设备之间的距离。
第一视角医学图像与第二视角医学图像之间的视差值具体是指，第一视角医学图像中对应于指定真实点的像素点与第二视角医学图像中对应于该指定真实点的像素点，在水平方向上的位置差。其中，指定真实点是目标医学对象上的真实点。视差值的决定因素包括视觉角度(即，视角)深度值以及视觉基线等决定。因此，在不同视角、视觉基线等确定的情况下，即可获得深度值与视差值之间的关系。在一示例中，深度值与视差值之间的关系如图2所示，图2中横坐标用于表示视差值，纵坐标用于表示深度值。
不同视角可依据指定显示设备的展示需求预先配置。其中，指定显示设备包括但不限于VR(Virtual Reality)眼镜、3D显示器等。在一示例中，指定显示设备是VR眼镜，此时，可以将不同视角配置为人的左眼所对应的视角以及人的右眼所对应的视角。具体的，可以将第一视角医学图像配置为人的左眼所对应的视角下的医学图像，将第二视角医学图像配置为人的右眼所对应的视角下的医学图像，也可以将第一视角医学图像配置为人的右眼所对应的视角下的医学图像，将第二视角医学图像配置为人的左眼所对应的视角下的医学图像。
在一种可能的实现方式中，在获取深度信息时，可先对第一视角医学图像进行图像预处理，获得对应的待估计图像，然后，再将待估计图像输入至已训练的图像深度估计模型，获得图像深度估计模型输出的深度估计结果，并将深度估计结果作为深度信息。其中，深度估计结果的存在形式可以为深度图像，深度图像中包括第一视角医学图像的各个像素点分别对应的深度值。
利用已训练的图像深度估计模型来获得深度信息，不仅能够提高深度信息的获取效率，而且还能够提高所获得的深度信息的准确度。
如图3所示，已训练的图像深度估计模型可以通过如下步骤训练得到：步骤一，构建样本图像集，该样本图像集中包括多个医学图像样本。步骤二，将医学图像样本输入至待训练的图像深度估计模型，获得待训练的图像深度估计模型输出的深度估计结果。步骤三，依据深度估计结果以及针对医学图像样本标注的深度标注结果，计算损失函数值。步骤四，依据损失函数值调整待训练的图像深度估计模型的模型参数。迭代执行上述步骤二至步骤四，直至迭代次数达到设定次数，并将最后一次迭代过程中得到的图像深度估计模型作为已训练的图像深度估计模型。
由于平滑损失函数具有更好的鲁棒性、稳定性以及可优化性，并且能够有效应对异常值、减轻梯度爆炸或消失的问题，以及提供更快速和可靠的模型训练和优化过程。因此，在计算损失函数值时，可采用平滑损失函数。
在实际应用中，在利用单目图像采集设备针对目标医学对象采集医学图像时，采集到的医学图像常常会存在由于反光等原因而导致的图像亮度较高的问题，这会导致采集到的医学图像不清晰。因此，为了避免第一视角医学图像存在由于图像亮度较高而导致的图像不清晰的问题，在获得第一视角医学图像对应的深度信息的过程中，往往要先对第一视角医学图像进行图像预处理，获得对应的待估计图像，然后，再将待估计图像输入至已训练的图像深度估计模型。
具体的，在对第一视角医学图像进行图像预处理，获得对应的待估计图像时，可以先对第一视角医学图像进行图像亮度降低处理，获得对应的低亮度图像，然后，再对低亮度图像进行图像质量改善处理，获得待估计图像。对第一视角医学图像进行图像亮度降低处理能够降低第一视角医学图像的图像亮度，从而能够在很大程度上缓解第一视角医学图像存在由于图像亮度较高而导致的图像不清晰的问题。对低亮度图像进行图像质量改善处理，能够使待估计图像具有较高的图像质量，这样，能够使已训练的图像深度估计模型输出的深度估计结果具有更高的准确性和可靠性。
在一示例中，对低亮度图像进行图像质量改善处理可以是指，先对低亮度图像进行高斯滤波处理，然后，再对低亮度图像进行图像归一化处理。
需要说明的是，在训练图像深度估计模型的过程中，也可以先对医学图像样本进行图像预处理(例如，依次对医学图像样本进行图像亮度降低处理、高斯滤波处理以及图像归一化处理)。然后，再将处理后的医学图像样本输入至待训练的图像深度估计模型。
在一种可能的实现方式中，基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定第一视角医学图像与第二视角医学图像之间的视差值时，可以先获取用于将深度信息转化为视差值的视差值转换关系。然后，再针对深度信息，依据视差值转换关系，获取视差值。
本申请实施例中，深度信息用于标识第一视角医学图像中的各个像素点分别对应的深度值，像素点对应的深度值用于标识像素点在目标医学对象上对应的真实点与单目图像采集设备之间的距离。用于将深度信息转化为视差值的视差值转换关系可以是指深度值与视差值之间的关系。由于在不同视角、视觉基线等确定的情况下，即可获得深度值与视差值之间的关系。而在深度值与视差值之间的关系以及第一视角医学图像中的各个像素点分别对应的深度值确定的情况下，即可依据深度值与视差值之间的关系以及第一视角医学图像中的各个像素点分别对应的深度值，计算得到第一视角医学图像中对应于指定真实点的像素点与第二视角医学图像中对应于该指定真实点的像素点，在水平方向上的位置差。
由此可见，针对深度信息，依据视差值转换关系，获取视差值可以是指，依据深度值与视差值之间的关系以及第一视角医学图像中的各个像素点分别对应的深度值，计算得到第一视角医学图像中对应于指定真实点的像素点与第二视角医学图像中对应于该指定真实点的像素点，在水平方向上的位置差。
利用视差值转换关系，通过深度信息获取视差值，能够确保快速且准确的获取到视差值。
在一种可能的实现方式中，依据视差值，利用第一视角医学图像生成第二视角医学图像可以是指，先依据视差值，在第一视角医学图像的基础上构建待优化图像。然后，再对待优化图像进行图像优化处理，获得第二视角医学图像。其中，依据视差值，在第一视角医学图像的基础上构建待优化图像的具体实现方式可以是依据视差值，水平移动移动第一视角医学图像的像素点，得到待优化图像。
由于待优化图像是通过水平移动移动第一视角医学图像的像素点得到的，在此情况下，待优化图像在边缘部分往往会存在图像孔洞(Image Holes)。即，待优化图像在边缘部分存在的空洞或缺失区域，例如，待优化图像在边缘部分没有像素点或像素点部分缺失。为了保障第二视角医学图像的信息完整性以及视觉一致性，需要对待优化图像进行图像优化处理，来获得第二视角医学图像。具体的，对待优化图像进行图像优化处理，获得第二视角医学图像一般是指，对待优化图像进行图像孔洞修复处理，获得第二视角医学图像。
对待优化图像进行图像孔洞修复处理的方式可以为使用插值技术填补孔洞，根据周围像素的值进行插值计算，例如，最近邻插值、双线性插值、双三次插值等。对待优化图像进行图像孔洞修复处理的方式也可以为通过从图像中的其他区域提取纹理信息，将纹理合成到孔洞区域中，以恢复缺失的内容。对待优化图像进行图像孔洞修复处理的方式还可以为利用图像中的边缘或纹理信息，结合填充算法，将缺失的区域与周围区域进行衔接。
在一示例中，为了能够快速且准确的对待优化图像进行图像孔洞修复处理，可以利用预先配置的图像孔洞修复模型，来对待优化图像进行图像孔洞修复处理。具体的，可以对待优化图像进行图像采样处理，获得对应的采样图像，然后，再依据采样图像以及待优化图像，对预先配置的图像孔洞修复模型进行指定次数的迭代训练，获得已训练的图像孔洞修复模型，最后，将采样图像输入至已训练的图像孔洞修复模型，获得已训练的图像孔洞修复模型输出的图像修复结果，并将图像修复结果作为第二视角医学图像。
预先配置的图像孔洞修复模型可以为基于U-Net结构的卷积神经网络，也可以为Deep Fill。本申请实施例中对预先配置的图像孔洞修复模型的类型不做具体限定。
如图4所示，本申请实施例中，对预先配置的图像孔洞修复模型进行指定次数的迭代训练，获得已训练的图像孔洞修复模型的过程如下：步骤一，对采样图像以及待优化图像分别进行图像预处理。步骤二，将经过图像预处理的采样图像以及待优化图像分别输入到预先配置的图像孔洞修复模型中，获得预先配置的图像孔洞修复模型针对采样图像输出的图像修复结果，以及针对待优化图像输出的图像修复结果。为了便于区分，本申请实施例中将针对采样图像输出的图像修复结果记为第一图像修复结果，将针对待优化图像输出的图像修复结果记为第二图像修复结果。步骤三，依据第一图像修复结果以及第二图像修复结果，计算损失函数值。步骤四，依据损失函数值调整预先配置的图像孔洞修复模型的模型参数。迭代执行上述步骤二至步骤四，直至迭代次数达到指定次数，并将最后一次迭代过程中得到的图像孔洞修复模型作为已训练的图像孔洞修复模型。
依据采样图像以及待优化图像，对预先配置的图像孔洞修复模型进行指定次数的迭代训练，获得已训练的图像孔洞修复模型，不仅能够避免需要采集图像样本，而且在预先配置的图像孔洞修复模型的基础上训练得到已训练的图像孔洞修复模型，能够提升模型训练的效率、减少模型训练的耗时。
以下具体以利用已训练的图像深度估计模型获得深度信息，以及利用已训练的图像孔洞修复模型进行图像孔洞修复处理为例，来对本申请实施例提供的图像处理方法进行说明，具体的图像处理过程可参见图5，该图像处理过程如下：
在获取到基于单目图像采集设备采集到的第一视角医学图像之后，先对第一视角医学图像进行图像预处理，然后，再将经过图像预处理的第一视角医学图像输入至已训练的图像深度估计模型获得图像深度估计模型输出的深度估计结果，并将深度估计结果作为深度信息。
在获得深度信息之后，先依据深度信息获得视差值，然后，再依据视差值，在第一视角医学图像的基础上构建待优化图像。
在构建出待优化图像之后，可以先对待优化图像进行图像预处理，然后，再将经过图像预处理的待优化图像输入至已训练的图像孔洞修复模型，获得已训练的图像孔洞修复模型输出的图像修复结果，并将图像修复结果作为第二视角医学图像。
在获得第一视角医学图像以及第二视角医学图像之后，可以通过VR眼镜利用第一视角医学图像与第二视角医学图像，显示出具有三维立体视觉效果的医学图像。
与本申请实施例提供的第一种图像处理方法相对应地，本申请实施例还提供一种图像处理装置。该装置如图6所示，图6示出了本申请实施例中提供的一种图像处理装置的结构框图，该装置可以包括：
视差值确定模块601，用于基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定第一视角医学图像与第二视角医学图像之间的视差值；第一视角医学图像与第二视角医学图像为目标医学对象在不同视角下的医学图像；
图像生成模块602，用于依据视差值，利用第一视角医学图像生成第二视角医学图像，以供指定显示设备可利用第一视角医学图像与第二视角医学图像，显示出具有三维立体视觉效果的医学图像。
在一种可能的实现方式中，视差值确定模块601包括：
图像预处理子模块，用于对第一视角医学图像进行图像预处理，获得对应的待估计图像；
深度信息获得子模块，用于将待估计图像输入至已训练的图像深度估计模型，获得图像深度估计模型输出的深度估计结果，并将深度估计结果作为深度信息。
在一种可能的实现方式中，图像预处理子模块包括：
图像亮度处理子模块，用于对第一视角医学图像进行图像亮度降低处理，获得对应的低亮度图像；
图像质量改善子模块，用于对低亮度图像进行图像质量改善处理，获得待估计图像。
在一种可能的实现方式中，视差值确定模块601包括：
视差值转换关系获取子模块，用于获取用于将深度信息转化为视差值的视差值转换关系；
视差值获取子模块，用于针对深度信息，依据视差值转换关系，获取视差值。
在一种可能的实现方式中，图像生成模块602包括：
待优化图像构建子模块，用于依据视差值，在第一视角医学图像的基础上构建待优化图像；
医学图像获得子模块，用于对待优化图像进行图像优化处理，获得第二视角医学图像。
在一种可能的实现方式中，待优化图像构建子模块包括：
像素点移动子模块，用于依据视差值，水平移动移动第一视角医学图像的像素点，得到待优化图像。
在一种可能的实现方式中，医学图像获得子模块包括：
图像孔洞修复处理子模块，用于对待优化图像进行图像孔洞修复处理，获得第二视角医学图像。
在一种可能的实现方式中，图像孔洞修复处理子模块包括：
图像采样子模块，用于对待优化图像进行图像采样处理，获得对应的采样图像；
模型训练子模块，用于依据采样图像以及待优化图像，对预先配置的图像孔洞修复模型进行指定次数的迭代训练，获得已训练的图像孔洞修复模型；
医学图像获得子模块，用于将采样图像输入至已训练的图像孔洞修复模型，获得已训练的图像孔洞修复模型输出的图像修复结果，并将图像修复结果作为第二视角医学图像。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，并具备相应的有益效果，在此不再赘述。
本公开实施例各装置中的各单元、模块或子模块的功能可以参见上述方法实施例中的对应描述，具备相应的有益效果，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
图7为用来实现本申请实施例的电子设备的框图。如图7所示，该电子设备包括：存储器701和处理器702，存储器701内存储有可在处理器702上运行的计算机程序。处理器702执行该计算机程序时实现上述实施例中的方法。存储器701和处理器702的数量可以为一个或多个。
该电子设备还包括：
通信接口703，用于与外界设备进行通信，进行数据交互传输。
如果存储器701、处理器702和通信接口703独立实现，则存储器701、处理器702和通信接口703可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器701、处理器702及通信接口703集成在一块芯片上，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本申请实施例中提供的方法。
本申请实施例还提供了一种芯片，该芯片包括，包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的方法。
本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定所述第一视角医学图像与第二视角医学图像之间的视差值；所述第一视角医学图像与所述第二视角医学图像为目标医学对象在不同视角下的医学图像；
依据所述视差值，利用所述第一视角医学图像生成所述第二视角医学图像，以供指定显示设备可利用所述第一视角医学图像与所述第二视角医学图像，显示出具有三维立体视觉效果的医学图像。
2.根据权利要求1所述的方法，其特征在于，所述深度信息通过如下步骤获取：
对所述第一视角医学图像进行图像预处理，获得对应的待估计图像；
将所述待估计图像输入至已训练的图像深度估计模型，获得所述图像深度估计模型输出的深度估计结果，并将所述深度估计结果作为所述深度信息。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一视角医学图像进行图像预处理，获得对应的待估计图像，包括：
对所述第一视角医学图像进行图像亮度降低处理，获得对应的低亮度图像；
对所述低亮度图像进行图像质量改善处理，获得所述待估计图像。
4.根据权利要求1所述的方法，其特征在于，所述基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定所述第一视角医学图像与第二视角医学图像之间的视差值，包括：
获取用于将深度信息转化为视差值的视差值转换关系；
针对所述深度信息，依据所述视差值转换关系，获取所述视差值。
5.根据权利要求1所述的方法，其特征在于，所述依据所述视差值，利用所述第一视角医学图像生成所述第二视角医学图像，包括：
依据所述视差值，在所述第一视角医学图像的基础上构建待优化图像；
对所述待优化图像进行图像优化处理，获得所述第二视角医学图像。
6.根据权利要求5所述的方法，其特征在于，所述依据所述视差值，在所述第一视角医学图像的基础上构建待优化图像，包括：
依据所述视差值，水平移动移动所述第一视角医学图像的像素点，得到所述待优化图像。
7.根据权利要求6所述的方法，其特征在于，所述对所述待优化图像进行图像优化处理，获得所述第二视角医学图像，包括：
对所述待优化图像进行图像孔洞修复处理，获得所述第二视角医学图像。
8.根据权利要求7所述的方法，其特征在于，所述对所述待优化图像进行图像孔洞修复处理，获得所述第二视角医学图像，包括：
对所述待优化图像进行图像采样处理，获得对应的采样图像；
依据所述采样图像以及所述待优化图像，对预先配置的图像孔洞修复模型进行指定次数的迭代训练，获得已训练的图像孔洞修复模型；
将所述采样图像输入至所述已训练的图像孔洞修复模型，获得所述已训练的图像孔洞修复模型输出的图像修复结果，并将所述图像修复结果作为所述第二视角医学图像。
9.一种图像处理装置，其特征在于，包括：
视差值确定模块，用于基于单目图像采集设备采集到的第一视角医学图像对应的深度信息，确定所述第一视角医学图像与第二视角医学图像之间的视差值；所述第一视角医学图像与所述第二视角医学图像为目标医学对象在不同视角下的医学图像；
图像生成模块，用于依据所述视差值，利用所述第一视角医学图像生成所述第二视角医学图像，以供指定显示设备可利用所述第一视角医学图像与所述第二视角医学图像，显示出具有三维立体视觉效果的医学图像。
10.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其特征在于，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任意一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1至8中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310900109.XA CN116843671A (zh) | 2023-07-20 | 2023-07-20 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310900109.XA CN116843671A (zh) | 2023-07-20 | 2023-07-20 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116843671A true CN116843671A (zh) | 2023-10-03 |
Family
ID=88161618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310900109.XA Pending CN116843671A (zh) | 2023-07-20 | 2023-07-20 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843671A (zh) |
-
2023
- 2023-07-20 CN CN202310900109.XA patent/CN116843671A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8939892B2 (en) | Endoscopic image processing device, method and program | |
| EP1994878B1 (en) | Medical image processing device and medical image processing method | |
| WO2019037676A1 (zh) | 图像处理方法及装置 | |
| CN101389260B (zh) | 医疗用图像处理装置和医疗用图像处理方法 | |
| CN105979847B (zh) | 内窥镜图像诊断辅助系统 | |
| EP1832223A1 (en) | Medical image processing apparatus, and medical image processing method | |
| JP2007537770A (ja) | 内視鏡画像内の管腔状構造のディスプレイ最適化のための動的なクロップボックス決定方法 | |
| JP6478136B1 (ja) | 内視鏡システム、内視鏡システムの作動方法 | |
| JP5326064B2 (ja) | 画像処理装置 | |
| CN114332028A (zh) | 内窥镜图像的处理方法、装置、可读介质和电子设备 | |
| CN112802185A (zh) | 面向微创手术空间感知的内窥镜图像三维重构方法和系统 | |
| CN106231986A (zh) | 图像处理装置 | |
| JP7071240B2 (ja) | 検査支援装置、方法およびプログラム | |
| CN115223193B (zh) | 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法 | |
| CN113822923A (zh) | 用于获取血管的目标切面图像的方法、设备和介质 | |
| CN113643184B (zh) | 基于光学相干断层扫描的眼底血管展示方法、系统及介质 | |
| CN112261399B (zh) | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 | |
| Ben-Hamadou et al. | Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept | |
| CN116843671A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN117392312A (zh) | 基于可变形神经辐射场的单目内窥镜新视角图像生成方法 | |
| CN113744266A (zh) | 一种病灶检测框的显示方法、装置、电子设备及存储介质 | |
| CN117710233B (zh) | 一种内窥图像的景深扩展方法及装置 | |
| WO2024095673A1 (ja) | 医療支援装置、内視鏡、医療支援方法、及びプログラム | |
| CN116421311A (zh) | 基于术前术中三维网格融合的术中危险区域生成系统 | |
| CN117378980A (zh) | 一种内镜远程医疗系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |