CN110796653B - 图像处理及神经网络训练方法、装置、设备和介质 - Google Patents

图像处理及神经网络训练方法、装置、设备和介质 Download PDF

Info

Publication number
CN110796653B
CN110796653B CN201911050567.9A CN201911050567A CN110796653B CN 110796653 B CN110796653 B CN 110796653B CN 201911050567 A CN201911050567 A CN 201911050567A CN 110796653 B CN110796653 B CN 110796653B
Authority
CN
China
Prior art keywords
pixel point
tracked
tracking
branch
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911050567.9A
Other languages
English (en)
Other versions
CN110796653A (zh
Inventor
李卓威
夏清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911050567.9A priority Critical patent/CN110796653B/zh
Publication of CN110796653A publication Critical patent/CN110796653A/zh
Priority to JP2021539385A priority patent/JP2022516196A/ja
Priority to PCT/CN2020/103635 priority patent/WO2021082544A1/zh
Priority to TW109136759A priority patent/TWI772932B/zh
Priority to US17/723,580 priority patent/US20220237806A1/en
Application granted granted Critical
Publication of CN110796653B publication Critical patent/CN110796653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本公开实施例提出了一种图像处理及神经网络训练方法、装置、电子设备和计算机存储介质，图像处理方法包括：获取待处理图像；基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点；基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标的真值，得到所述至少一个待选的像素点的评价值；根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到当前的像素点的下一像素点。如此，本公开实施例中，针对待追踪目标，可以根据待选的像素点的评价值，从当前像素点确定出下一个像素点，即，能够准确地实现对待追踪目标的像素点追踪和提取。

Description

图像处理及神经网络训练方法、装置、设备和介质
技术领域
本公开涉及影像分析技术，尤其涉及一种图像处理及神经网络训练方法、装置、电子设备和计算机存储介质。
背景技术
在相关技术中，针对待追踪目标如血管树，进行像素点的提取有助于对待追踪目标进行进一步研究，然而，在相关技术中，并不能实现对对待追踪目标的像素点追踪和提取。
发明内容
本公开实施例期望提供图像处理及神经网络训练的技术方案。
本公开实施例提供了一种图像处理方法，所述方法包括：
获取待处理图像；
基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点；
基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标的真值，得到所述至少一个待选的像素点的评价值；
根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到所述当前的像素点的下一像素点。
可以看出，本公开实施例中，针对待追踪目标，可以根据待选的像素点的评价值，从当前像素点确定出下一个像素点，即，能够准确地实现对待追踪目标的像素点追踪和提取。
可选地，上述图像处理方法还包括：在基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点之前，判断所述当前的素点是否位于所述待追踪目标上多个分支之间的交叉点，若是，则选择所述多个分支中的一个支路，从选择的所述支路上的像素中选择所述待选的像素点。
可以看出，通过判断当前像素点是否位于待追踪目标上各分支之间的交叉点，可以实现各个支路的像素点追踪，也就是说，在待追踪目标具有分支时，本公开实施例可以实现对待追踪目标的支路的像素点追踪。
可选地，所述选择所述多个分支中的一个支路，包括：
基于所述当前的像素点和所述多个支路的像素点，结合所述预设的待追踪目标的真值，得到所述多个支中每个支路的评价值；
根据所述多个支中每个支路的评价值，从所述多个支路中选择一个支路。
可以看出，本公开实施例中，针对待追踪目标的交叉点，可以根据多个支路的评价值，从多个支路中选择一个支路，即，能够准确且合理地选择交叉点的支路。
可选地，所述根据所述多个支中每个支路的评价值，从所述多个支路中选择一个支路，包括：
在所述多个支路中，选择评价值最高的一个支路。
可以看出，选择的支路为评价值最高的支路，而支路的评价值是根据待追踪目标的真值得出的，因而，选择的支路更加准确。
可选地，上述图像处理方法还包括：
响应于对选择的支路的像素点进行追踪，且确定满足预设的支路追踪停止条件的情况，针对未完成像素点追踪的交叉点，重新选择一个未进行像素点追踪的支路，对选择的支路进行像素点追踪；所述未完成像素点追踪的交叉点具有未进行像素点追踪的支路；
响应于不存在未完成像素点追踪的交叉点的情况，确定各个交叉点的各个支路的像素点追踪完成。
可以看出，通过对各个交叉点的各个支路进行像素点追踪，可以实现对整个待追踪目标的像素点追踪任务。
可选地，所述重新选择一个未进行像素点追踪的支路，包括：
基于所述未完成像素点追踪的交叉点和所述交叉点的各个未进行像素点追踪的支路的像素点，结合预设的待追踪目标的真值，得到所述各个未进行像素点追踪的支路的评价值；
根据所述各个未进行像素点追踪的支路的评价值，从所述各个未进行像素点追踪的支路中选择一个支路。
可以看出，本公开实施例中，针对待追踪目标的为进行像素点追踪的交叉点，可以根据未进行像素点追踪的各个支路的评价值，从各个未进行像素点追踪的支路中选择一个支路，即，能够准确且合理地选择交叉点的支路。
可选地，所述根据所述各个未进行像素点追踪的支路的评价值，从所述各个未进行像素点追踪的支路中选择一个支路，包括：
在所述各个未进行像素点追踪的支路中，选择评价值最高的一个支路。
可以看出，选择的支路为未进行像素点追踪的各个支路中评价值最高的支路，而支路的评价值是根据待追踪目标的真值得出的，因而，选择的支路更加准确。
可选地，所述预设的支路追踪停止条件包括以下至少之一：
追踪到的下一个像素点处于预先确定的待追踪目标的末端；
追踪到的下一个像素点的空间熵值大于预设空间熵值；
连续N次得到的追踪路线夹角大于设定角度阈值，每次得到追踪路线夹角表示相邻两次得到的追踪路线的夹角，每次得到的追踪路线表示相邻两次追踪到的像素点之间的连线；N为大于或等于2的整数。
待追踪目标的末端可以预先标注，在追踪到的下一个像素点处于预先确定的待追踪目标的末端时，说明对应的支路无需再进行像素点追踪，此时可以停止对相应支路进行像素点追踪，可以提高像素点追踪的准确性；像素点的空间熵值可以表示像素点的不稳定性，像素点的空间熵值越高，说明像素点的不稳定性越高，在当前支路不合适继续进行像素点追踪，此时，可以跳转到交叉点继续进行像素点追踪，可以提高像素点追踪的准确性；连续N次得到的追踪路线夹角大于设定角度阈值时，说明最近几次得到的追踪路线的振荡幅度较大，因而，追踪到的像素点的准确性较低，此时，通过停止对相应支路进行像素点追踪，可以提高像素点追踪的准确性。
可选地，所述根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到所述当前的像素点的下一像素点，包括：
从所述至少一个待选的像素点，选择评价值最高的像素点；将选择的所述评价值最高的像素点确定为所述当前像素点的下一个像素点。
可以看出，下一个像素点为待选的像素点中评价值最高的像素点，而像素点的评价值是根据待追踪目标的真值得出的，因而，得出的下一个像素点更加准确。
可选地，所述待追踪目标为血管树。
可以看出，本公开实施例中，针对血管树，可以根据待选的像素点的评价值，从当前像素点确定出下一个像素点，即，能够准确地实现对血管树的像素点追踪和提取。
本公开实施例还提供了一种神经网络训练方法，包括：
获取样本图像；
将所述样本图像输入至初始神经网络，利用所述初始神经网络执行以下步骤：基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点；基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标的真值，得到所述至少一个待选的像素点的评价值；根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到所述当前的像素点的下一像素点；
根据追踪得到的各个像素点和预设的待追踪目标的真值，调整所述初始神经网络的网络参数值；
重复执行上述步骤，直至基于网络参数值调整后的初始神经网络得到的各个像素点满足预设的精度需求，得到训练完成的神经网络。
可以看出，在本公开实施例中，在对神经网络进行训练时，针对待追踪目标，可以根据待选的像素点的评价值，从当前像素点确定出下一个像素点，即，能够准确地实现对待追踪目标的像素点追踪和提取，如此，可以使得训练完成的神经网络准确地实现对待追踪目标的像素点追踪和提取。
本公开实施例还提供了一种图像处理装置，所述装置包括：第一获取模块和第一处理模块，其中，
第一获取模块，用于获取待处理图像；
第一处理模块，用于基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点；基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标真值，得到所述至少一个待选的像素点的评价值；根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到所述当前的像素点的下一像素点。
可以看出，本公开实施例中，针对待追踪目标，可以根据待选的像素点的评价值，从当前像素点确定出下一个像素点，即，能够准确地实现对待追踪目标的像素点追踪和提取。
可选地，所述第一处理模块，还用于在基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点之前，判断所述当前的像素点是否位于所述待追踪目标上多个分支之间的交叉点，若是，则选择所述多个分支中的一个支路，从选择的所述支路上的像素中选择所述待选的像素点。
可以看出，通过判断当前像素点是否位于待追踪目标上各分支之间的交叉点，可以实现各个支路的像素点追踪，也就是说，在待追踪目标具有分支时，本公开实施例可以实现对待追踪目标的支路的像素点追踪。
可选地，所述第一处理模块，用于基于所述当前的像素点和所述多个支路的像素点，结合所述预设的待追踪目标的真值，得到所述多个支路中每个支路的评价值；根据所述多个支中每个支路的评价值，从所述多个支路中选择一个支路。
可以看出，本公开实施例中，针对待追踪目标的交叉点，可以根据多个支路的评价值，从多个支路中选择一个支路，即，能够准确且合理地选择交叉点的支路。
可选地，所述第一处理模块，用于在所述多个支路中，选择评价值最高的一个支路。
可以看出，选择的支路为评价值最高的支路，而支路的评价值是根据待追踪目标的真值得出的，因而，选择的支路更加准确。
可选地，所述第一处理模块，还用于：
响应于对选择的支路的像素点进行追踪，且确定满足预设的支路追踪停止条件的情况，针对未完成像素点追踪的交叉点，重新选择一个未进行像素点追踪的支路；对选择的支路进行像素点追踪；所述未完成像素点追踪的交叉点具有未进行像素点追踪的支路；
响应于不存在未完成像素点追踪的交叉点的情况，确定各个交叉点的各个支路的像素点追踪完成。
可以看出，通过对各个交叉点的各个支路进行像素点追踪，可以实现对整个待追踪目标的像素点追踪任务。
可选地，所述第一处理模块，用于基于所述未完成像素点追踪的交叉点和所述交叉点的各个未进行像素点追踪的支路的像素点，结合预设的待追踪目标的真值，得到所述各个未进行像素点追踪的支路的评价值；根据所述各个未进行像素点追踪的支路的评价值，从所述各个未进行像素点追踪的支路中选择一个支路。
可以看出，本公开实施例中，针对待追踪目标的为进行像素点追踪的交叉点，可以根据未进行像素点追踪的各个支路的评价值，从各个未进行像素点追踪的支路中选择一个支路，即，能够准确且合理地选择交叉点的支路。
可选地，所述第一处理模块，用于在所述各个未进行像素点追踪的支路中，选择评价值最高的一个支路。
可以看出，选择的支路为未进行像素点追踪的各个支路中评价值最高的支路，而支路的评价值是根据待追踪目标的真值得出的，因而，选择的支路更加准确。
可选地，所述预设的支路追踪停止条件包括以下至少之一：
追踪到的下一个像素点处于预先确定的待追踪目标的末端；
追踪到的下一个像素点的空间熵值大于预设空间熵值；
连续N次得到的追踪路线夹角大于设定角度阈值，每次得到追踪路线夹角表示相邻两次得到的追踪路线的夹角，每次得到的追踪路线表示相邻两次追踪到的像素点之间的连线；N为大于或等于2的整数。
待追踪目标的末端可以预先标注，在追踪到的下一个像素点处于预先确定的待追踪目标的末端时，说明对应的支路无需再进行像素点追踪，此时可以停止对相应支路进行像素点追踪，可以提高像素点追踪的准确性；像素点的空间熵值可以表示像素点的不稳定性，像素点的空间熵值越高，说明像素点的不稳定性越高，在当前支路不合适继续进行像素点追踪，此时，可以跳转到交叉点继续进行像素点追踪，可以提高像素点追踪的准确性；连续N次得到的追踪路线夹角大于设定角度阈值时，说明最近几次得到的追踪路线的振荡幅度较大，因而，追踪到的像素点的准确性较低，此时，通过停止对相应支路进行像素点追踪，可以提高像素点追踪的准确性。
可选地，所述第一处理模块，用于从所述至少一个待选的像素点，选择评价值最高的像素点；将选择的所述评价值最高的像素点确定为所述当前像素点的下一个像素点。
可以看出，下一个像素点为待选的像素点中评价值最高的像素点，而像素点的评价值是根据待追踪目标的真值得出的，因而，得出的下一个像素点更加准确。
可选地，所述待追踪目标为血管树。
可以看出，本公开实施例中，针对血管树，可以根据待选的像素点的评价值，从当前像素点确定出下一个像素点，即，能够准确地实现对血管树的像素点追踪和提取。
本公开实施例还提供了一种神经网络训练装置，所述装置包括：第二获取模块、第二处理模块、调整模块和第三处理模块，其中，
第二获取模块，用于获取样本图像；
第二处理模块，用于将所述样本图像输入至未经训练的初始神经网络，利用所述初始神经网络执行以下步骤：基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点；基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标的真值，得到所述至少一个待选的像素点的评价值；根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到所述当前的像素点的下一像素点；
调整模块，用于根据追踪得到的各个像素点和预设的待追踪目标的真值，调整所述初始神经网络的网络参数值；
第三处理模块，用于重复执行上述获取所述样本图像、利用所述初始神经网络对所述样本图像进行处理、以及调整所述初始神经网络的网络参数值的步骤，直至基于网络参数值调整后的初始神经网络得到的各个像素点满足预设的精度需求，得到训练完成的神经网络。
本公开实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行上述任意一种图像处理方法或上述任意一种神经网络训练方法。
本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现述任意一种图像处理方法或上述任意一种神经网络训练方法。
本公开实施例提出的图像处理及神经网络训练方法、装置、电子设备和计算机存储介质中，获取待处理图像；基于所述待处理图像的血管树上当前的像素点，确定出所述血管树上至少一个待选的像素点；基于所述当前的像素点与所述至少一个待选的像素点，结合预设的血管树真值，得到所述至少一个待选的像素点的评价值；根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到当前的像素点的下一像素点。如此，本公开实施例中，针对待追踪目标，可以根据待选的像素点的评价值，从当前像素点确定出下一个像素点，即，能够准确地实现对待追踪目标的像素点追踪和提取。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例的图像处理方法的流程图；
图2为本公开实施例的神经网络训练方法的流程图；
图3为本公开实施例的图像处理装置的组成结构示意图；
图4为本公开实施例的神经网络训练装置的组成结构示意图；
图5为本公开实施例的电子设备的结构示意图。
具体实施方式
以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
例如，本公开实施例提供的图像处理及神经网络训练方法包含了一系列的步骤，但是本公开实施例提供的图像处理及神经网络训练方法不限于所记载的步骤，同样地，本公开实施例提供的图像处理及神经网络训练装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
本公开实施例可以应用于终端和服务器组成的计算机系统中，并可以与众多其它通用或专用计算系统环境或配置一起操作。这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等，服务器可以是服务器计算机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
在相关技术中，随着深度学习以及强化学习研究的深入及推广，两者结合产生的深度强化学习(Deep Reinforcement Learning，DRL)方法近些年在人工智能、机器人领域等取得重要成果；示例性地，可以采用DRL方法对血管中心线进行提取，具体地，可以将血管中心线提取任务构造成顺序决策模型从而使用DRL模型进行训练学习，但是上述血管中心线的提取方法仅限于单根血管的简单结构模型，无法处理类似于心脏冠脉、颅脑血管等更为复杂的树状结构。
针对上述技术问题，在本公开的一些实施例中，提出了一种图像处理方法。
图1为本公开实施例的图像处理方法的流程图，如图1所示，该流程可以包括：
步骤101：获取待处理图像。
本公开实施例中，待处理图像可以是包括待追踪目标的图像，待追踪目标可以包括多个分支。示例性地，待追踪目标为血管树，血管树表示具有树状结构的血管，树状血管至少包含一个分叉点；示例性地，树状血管可以是心脏冠状动脉、颅脑血管等；待处理图像可以是三维医学影像或其它含有树状血管的图像，示例性地，可以基于心脏冠状动脉造影，得到包括心脏冠状动脉的三维图像。
步骤102：基于待处理图像的待追踪目标上当前的像素点，确定出待追踪目标上至少一个待选的像素点。
这里，待追踪目标上当前的像素点可以是待追踪目标的任意一个像素点，示例性地，待追踪目标为血管树时，血管树上当前的像素点可以表示血管树的任意一点，示例性地，血管树上当前的像素点可以是血管树中心线上的像素点或血管树上的其它像素点，本公开实施例对此并不进行限定。
本公开实施例中，待追踪目标上至少一个待选的像素点可以是与当前的像素点相邻的像素点，因而，在确定待处理图像的待追踪目标上当前的像素点后，可以根据像素点的位置官司，确定出待追踪目标上至少一个待选的像素点。
在具体实施时，可以根据预先获取的待追踪目标的结构信息，确定当前像素点所在的局部的像素点连线趋势，然后，可以结合待追踪目标的具备形状和尺寸信息，计算出至少一个待选的像素点。
步骤103：基于当前的像素点与至少一个待选的像素点，结合预设的待追踪目标的真值，得到至少一个待选的像素点的评价值。
这里，预设的待追踪目标的真值可以表示预先标注的待追踪目标上的像素点连线，像素点连线可以表示待追踪目标的路径结构信息。在实际应用中，可以针对待追踪目标，通过人工手动的方式标注出表示待追踪目标路径的像素点连线；示例性地，在待追踪目标为血管树时，可以标注出血管树的中心线，将标注出的血管树的中心线作为血管树的真值；需要说明的是，上述仅仅是对待追踪目标的真值进行了示例性说明，本公开实施例并不局限于此。
本公开实施例中，待选的像素点的评价值可以表示待选的像素点作为当前的像素点的下一个像素点的适合程度，在实际实施时，可以根据预设的待追踪目标的真值，判断每个待选的像素点作为下一个像素点的适合程度，待选的像素点作为下一个像素点的适合程度越高，则待选的像素点的评价值越高；在一个示例中，可以确定待选的像素点作为下一个像素点时，当前像素点到下一个像素点的连线与预设的待追踪目标的真值的匹配程度，匹配程度越高，则待选的像素点的评价值越高。
步骤104：根据至少一个待选的像素点的评价值，对当前的像素点进行追踪，得到下一像素点。
对于本步骤的实现方式，示例性地，可以从至少一个待选的像素点，选择评价值最高的像素点；将选择的评价值最高的像素点确定为下一个像素点。
可以看出，下一个像素点为待选的像素点中评价值最高的像素点，而像素点的评价值是根据待追踪目标的真值得出的，因而，得出的下一个像素点更加准确。
在实际应用中，当前像素点是不断变化的，具体实施时，可以从待追踪目标的起始点开始，对像素点进行追踪；即，将待追踪目标的起始点作为当前像素点，通过像素点追踪得到下一个像素点；然后将追踪得到的像素点作为当前像素点继续进行像素点追踪；如此，通过重复执行步骤102至步骤104，可以提取出待追踪目标的像素点连线。
本公开实施例中，待追踪目标的起始点可以预先确定，待追踪目标的起始点可以是待追踪目标的入口的像素点或待追踪目标的其它像素点；示例性地，在待追踪目标为血管树时，血管树的起始点可以是血管树入口的像素点的其它像素点，在一个具体的示例中，血管树为心脏冠状动脉时，血管树的起始点可以是心脏冠状动脉的入口的像素点。
在一个示例中，在待追踪目标为血管树，且血管树的起始点可以是血管树入口的中心点时，通过上述像素点追踪过程，可以提取血管树的中心线。
在实际应用中，可以根据用户输入的待追踪目标的起始点的位置信息，确定待追踪目标的起始点，也可以利用训练完成的确定待追踪目标的起始点的神经网络，对待处理图像进行处理，得到待追踪目标的起始点的位置。本公开实施例中，并不对用于确定待追踪目标的起始点的神经网络的网络结构进行限定。
在实际应用中，步骤101至步骤104可以基于电子设备的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的电子设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
可以看出，本公开实施例中，针对待追踪目标，可以根据待选的像素点的评价值，从当前像素点确定出下一个像素点，即，能够准确地实现对待追踪目标的像素点追踪和提取。
在一实施方式中，在基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点之前，还可以判断当前的像素点是否位于待追踪目标上多个分支之间的交叉点，如果当前的像素点位于待追踪目标上多个分支之间的交叉点，则选择多个分支的一个支路，从选择的所述支路上的像素中选择待选的像素点，即，对选择的支路的像素点进行追踪，具体地，在选择多个分支的一个支路后，可以针对选择的支路，执行步骤102至步骤104，实现对选择的支路的像素点追踪。如果当前的像素点不位于待追踪目标上多个分支之间的交叉点，则直接执行步骤102至步骤104，确定出当前像素点的下一个像素点作为当前像素点。
作为一种实现方式，可以基于二分类神经网络判断当前的像素点是否位于待追踪目标上多个分支之间的交叉点。本公开实施例中，并不对二分类神经网络的网络结构进行限定，只要二分类神经网络能够判断当前的像素点是否位于待追踪目标上多个分支之间的交叉点即可；例如，二分类神经网络的网络结构可以是卷积神经网络(ConvolutionalNeural Networks，CNN)等。
可以看出，通过判断当前的像素点是否位于待追踪目标上多个分支之间的交叉点，可以实现多个支路的像素点追踪，也就是说，在待追踪目标具有分支时，本公开实施例可以实现对待追踪目标的支路的像素点追踪。
可以理解地，在初始时，每个交叉点对应的各个分支均没有进行像素点追踪，因而，可以在各个分支的支路中，任意选择交叉点的一个支路。
对于选择多个分支的的一个支路的实现方式，示例性地，可以基于当前的像素点和多个支路的像素点，结合预设的待追踪目标的真值，得到多个支路中每个支路的评价值；根据多个支路中每个支路的评价值，从多个支路中选择一个支路。
在实际实施时，可以在上述多个支路中，各自确定出待选的下一个像素点，进而，可以将下一个像素点的评价值作为对应的支路的评价值。
可以看出，本公开实施例中，针对待追踪目标的交叉点，可以根据多个支路的评价值，从多个支路中选择一个支路，即，能够准确且合理地选择交叉点的支路。
对于根据所述多个支路中每个支路的评价值，从所述多个支路中选择一个支路的实现方式，示例性地，可以在上述多个支路中，选择评价值最高的一个支路。
可以看出，选择的支路为评价值最高的支路，而支路的评价值是根据待追踪目标的真值得出的，因而，选择的支路更加准确。
在一实施方式中，响应于对选择的支路的像素点进行追踪，且确定满足预设的支路追踪停止条件的情况，针对未完成像素点追踪的交叉点，重新选择一个未进行像素点追踪的支路；对选择的支路进行像素点追踪；所述未完成像素点追踪的交叉点具有未进行像素点追踪的支路；响应于不存在未完成像素点追踪的交叉点的情况，确定各个交叉点的各个支路的像素点追踪完成。
在实际实施时，在确定当前的像素点位于所述待追踪目标上各分支之间的交叉点时，可以将交叉点加入跳转列表，用于实现待追踪目标的像素点追踪过程的像素点跳转。
具体地说，在对选择的支路的像素点进行追踪，且确定满足预设的支路追踪停止条件的情况下，可以在跳转列表中选择一个交叉点，然后判断选择的交叉点是否存在对应的未进行像素点追踪的支路，如果存在，则针对该选择的交叉点，重新选择一个未进行像素点追踪的支路，对选择的支路进行像素点追踪；如果不存在，则可以将该交叉点从跳转列表中删除。
在跳转列表中不存在交叉点时，说明不存在未完成像素点追踪的交叉点，即各个交叉点的各个支路的像素点追踪完成。
可以看出，通过对各个交叉点的各个支路进行像素点追踪，可以实现对整个待追踪目标的像素点追踪任务。
对于重新选择一个未进行像素点追踪的支路，示例性地，可以基于未完成像素点追踪的交叉点和交叉点的各个未进行像素点追踪的支路的像素点，结合预设的待追踪目标的真值，得到各个未进行像素点追踪的支路的评价值；根据各个未进行像素点追踪的支路的评价值，从各个未进行像素点追踪的支路中选择一个支路。
在实际实施时，可以在交叉点对应的各个未进行像素点追踪的支路中，各自确定出待选的下一个像素点，进而，可以将下一个像素点的评价值作为对应的支路的评价值。
可以看出，本公开实施例中，针对待追踪目标的为进行像素点追踪的交叉点，可以根据未进行像素点追踪的各个支路的评价值，从各个未进行像素点追踪的支路中选择一个支路，即，能够准确且合理地选择交叉点的支路。
对于根据各个未进行像素点追踪的支路的评价值，从各个未进行像素点追踪的支路中选择一个支路的实现方式，示例性地，可以在各个未进行像素点追踪的支路中，选择评价值最高的一个支路。
可以看出，选择的支路为未进行像素点追踪的各个支路中评价值最高的支路，而支路的评价值是根据待追踪目标的真值得出的，因而，选择的支路更加准确。
作为一种实现方式，预设的支路追踪停止条件可以包括以下至少之一：
追踪到的下一个像素点处于预先确定的待追踪目标的末端；
追踪到的下一个像素点的空间熵值大于预设空间熵值；
或者，连续N次得到的追踪路线夹角大于设定角度阈值，每次得到追踪路线夹角表示相邻两次得到的追踪路线的夹角，每次得到的追踪路线表示相邻两次追踪到的像素点之间的连线；N为大于或等于2的整数。
这里，N为第一神经网络的超参数；设定角度阈值可以根据实际应用需求预先设置，例如，设定角度阈值大于10度。待追踪目标的末端可以预先标注，在追踪到的下一个像素点处于预先确定的待追踪目标的末端时，说明对应的支路无需再进行像素点追踪，此时可以停止对相应支路进行像素点追踪，可以提高像素点追踪的准确性；像素点的空间熵值可以表示像素点的不稳定性，像素点的空间熵值越高，说明像素点的不稳定性越高，在当前支路不合适继续进行像素点追踪，此时，可以跳转到交叉点继续进行像素点追踪，可以提高像素点追踪的准确性；连续N次得到的追踪路线夹角大于设定角度阈值时，说明最近几次得到的追踪路线的振荡幅度较大，因而，追踪到的像素点的准确性较低，此时，通过停止对相应支路进行像素点追踪，可以提高像素点追踪的准确性。
本公开实施例中，可以实现对待追踪目标的主路和支路的追踪，待追踪目标的主路可以表示从待追踪目标的起始点至追踪到的第一个交叉点的路线；在对待追踪目标的主路或每个支路进行像素点追踪时，在一个示例中，还可以采用DRL方法进行像素点追踪。在一个具体的示例中，可以利用具有DQN框架的神经网络对待追踪目标的主路或每个支路进行像素点追踪；例如，在DQN框架使用的算法可以包括以下至少一种：Double-DQN、Dueling-DQN、prioritized memory replay、noisy layer；在确定下一个像素点后，可以根据下一个像素点的评价值，更新具有DQN框架的神经网络的网络参数。
本公开实施例中，并不对具有DQN框架的神经网络的网络结构进行限定，例如，具有DQN框架的神经网络包括用于特征降采样的三层卷积层和两层全连接层。
可选地，上述用于确定待追踪目标的起始点的神经网络、二分类神经网络或具有DQN框架的神经网络可以采用浅层神经网络或深层神经网络，在上述用于确定待追踪目标的起始点的神经网络、二分类神经网络或具有DQN框架的神经网络采用浅层神经网络的情况下，可以提高神经网络处理数据的速度和效率。
综上，可以看出，本公开实施例中，只需确定待追踪目标的起始点，便可以利用上述图像处理方法完成整个待追踪目标的像素点追踪任务；进一步地，在利用确定待追踪目标的起始点的神经网络确定待追踪目标的起始点的情况下，本公开实施例可以自动地针对获取的待处理图像，完成整个待追踪目标的像素点追踪任务。
在一个具体的示例中，在得到包含心脏冠状动脉的待处理图像后，根据上述图像处理方法，仅需要5秒便可以直接从待处理图像中提取出单个心脏冠状动脉的中心线，提取出的单个心脏冠状动脉的中心线的用途包括但不限于：血管命名、结构展示等。
在前述记载的内容的基础上，本公开实施例还提出了一种神经网络训练方法，图2为本公开实施例的神经网络训练方法的流程图，如图2所示，该流程可以包括：
步骤201：获取样本图像。
本公开实施例中，样本图像可以是包括待追踪目标的图像。
步骤202：将样本图像输入至初始神经网络，利用初始神经网络执行以下步骤：基于样本图像的待追踪目标上当前的像素点，确定出待追踪目标上至少一个待选的像素点；基于当前的像素点与至少一个待选的像素点，结合预设的待追踪目标真值，得到至少一个待选的像素点的评价值；根据至少一个待选的像素点的评价值，对当前的像素点进行追踪，得到当前的像素点的下一像素点。
本公开实施例中，初始神经网络执行的步骤的实现方式已经在前述记载的内容中作出说明，这里不再赘述。
步骤203：根据追踪得到的各个像素点和预设的待追踪目标的真值，调整初始神经网络的网络参数值:。
对于本步骤的实现方式，示例性地，可以根据追踪得到的各个像素点心线和预设的待追踪目标的真值，得出初始神经网络的损失；根据上述初始神经网络的损失，调整初始神经网络的网络参数值；在一个示例中，以降低初始神经网络的损失为目标，调整初始神经网络的网络参数值。
在实际应用中，可以在标注平台标注出待追踪目标的真值，以用于神经网络的训练。
步骤204：判断基于网络参数值调整后的初始神经网络得到的各个像素点是否满足预设的精度需求，如果否，则重新执行步骤201至步骤204；如果是，则执行步骤205。
本公开实施例中，预设的精度需求可以根据初始神经网络的损失确定；例如，预设的精度需求可以是：初始神经网络的损失小于设定损失。在实际应用中，设定损失可以根据实际应用需求预先设置。
步骤205：将网络参数值调整后的初始神经网络作为训练完成的神经网络。
本公开实施例中，可以利用训练完成的神经网络直接对待处理图像进行处理，即，可以追踪到待处理图像中待追踪目标的各个像素点，即，可以通过端到端的训练，得到用于针对待追踪目标追踪像素点的神经网络，可移植性强。
在实际应用中，步骤201至步骤205可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
可以看出，在本公开实施例中，在对神经网络进行训练时，针对待追踪目标，可以根据待选的像素点的评价值，从当前像素点确定出下一个像素点，即，能够准确地实现对待追踪目标的像素点追踪和提取，如此，可以使得训练完成的神经网络准确地实现对待追踪目标的像素点追踪和提取。
进一步地，还可以利用初始神经网络执行以下步骤：在基于样本图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点之前，还可以判断当前的像素点是否位于待追踪目标上多个分支之间的交叉点，如果当前的像素点位于待追踪目标上多个分支之间的交叉点，则选择多个分支的一个支路，从选择的所述支路上的像素中选择所述待选的像素点，即，对选择的支路的像素点进行追踪，具体地，在选择多个分支的一个支路后，可以针对选择的支路，执行步骤102至步骤104，实现对选择的支路的像素点追踪。如果当前的像素点不位于待追踪目标上多个分支之间的交叉点，则直接执行步骤102至步骤104，确定出当前像素点的下一个像素点作为当前像素点。
进一步地，还可以利用初始神经网络执行以下步骤：响应于对选择的支路的像素点进行追踪，且确定满足预设的支路追踪停止条件的情况，针对未完成像素点追踪的交叉点，重新选择一个未进行像素点追踪的支路；对选择的支路进行像素点追踪；所述未完成像素点追踪的交叉点具有未进行像素点追踪的支路；响应于不存在未完成像素点追踪的交叉点的情况，确定各个交叉点的各个支路的像素点追踪完成。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
在前述实施例提出的图像处理方法的基础上，本公开实施例还提出了一种图像处理装置。
图3为本公开实施例的图像处理装置的组成结构示意图，如图3所示，该装置可以包括第一获取模块301和第一处理模块302，其中，
第一获取模块301，用于获取待处理图像；
第一处理模块302，用于基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点；基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标真值，得到所述至少一个待选的像素点的评价值；根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到当前的像素点的下一像素点。
可选地，第一处理模块302，还用于在基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点之前，判断所述当前的像素点是否位于所述待追踪目标上多个分支之间的交叉点，若是，则选择所述多个分支中的一个支路，从选择的所述支路上的像素中选择所述待选的像素点。
可选地，第一处理模块302，用于基于所述当前的像素点和所述多个支路的像素点，结合所述预设的待追踪目标的真值，得到所述多个支路中每个支路的评价值；根据所述多个支中每个支路的评价值，从所述多个支路中选择一个支路。
可选地，第一处理模块302，用于在所述多个支路中，选择评价值最高的一个支路。
可选地，第一处理模块302还用于：
响应于对选择的支路的像素点进行追踪，且确定满足预设的支路追踪停止条件的情况，针对未完成像素点追踪的交叉点，重新选择一个未进行像素点追踪的支路；对选择的支路进行像素点追踪；所述未完成像素点追踪的交叉点具有未进行像素点追踪的支路；
响应于不存在未完成像素点追踪的交叉点的情况，确定各个交叉点的各个支路的像素点追踪完成。
可选地，第一处理模块302，用于基于所述未完成像素点追踪的交叉点和所述交叉点的各个未进行像素点追踪的支路的像素点，结合预设的待追踪目标的真值，得到所述各个未进行像素点追踪的支路的评价值；根据所述各个未进行像素点追踪的支路的评价值，从所述各个未进行像素点追踪的支路中选择一个支路。
可选地，第一处理模块302，用于在所述各个未进行像素点追踪的支路中，选择评价值最高的一个支路。
可选地，所述预设的支路追踪停止条件包括以下至少之一：
追踪到的下一个像素点处于预先确定的待追踪目标的末端；
追踪到的下一个像素点的空间熵值大于预设空间熵值；
连续N次得到的追踪路线夹角大于设定角度阈值，每次得到追踪路线夹角表示相邻两次得到的追踪路线的夹角，每次得到的追踪路线表示相邻两次追踪到的像素点之间的连线；N为大于或等于2的整数。
待追踪目标的末端可以预先标注，在追踪到的下一个像素点处于预先确定的待追踪目标的末端时，说明对应的支路无需再进行像素点追踪，此时可以停止对相应支路进行像素点追踪，可以提高像素点追踪的准确性；像素点的空间熵值可以表示像素点的不稳定性，像素点的空间熵值越高，说明像素点的不稳定性越高，在当前支路不合适继续进行像素点追踪，此时，可以跳转到交叉点继续进行像素点追踪，可以提高像素点追踪的准确性；连续N次得到的追踪路线夹角大于设定角度阈值时，说明最近几次得到的追踪路线的振荡幅度较大，因而，追踪到的像素点的准确性较低，此时，通过停止对相应支路进行像素点追踪，可以提高像素点追踪的准确性。
可选地，第一处理模块302，用于从所述至少一个待选的像素点，选择评价值最高的像素点；将选择的所述评价值最高的像素点确定为所述当前像素点的下一个像素点。
可选地，待追踪目标为血管树。
上述第一获取模块301和第一处理模块302均可由位于电子设备中的处理器实现，上述处理器为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
在前述实施例提出的神经网络训练方法的基础上，本公开实施例还提出了一种神经网络训练装置。
图4为本公开实施例的神经网络训练装置的组成结构示意图，如图4所示，该装置可以包括第二获取模块401、第二处理模块402、调整模块403和第三处理模块404，其中，
第二获取模块401，用于获取样本图像；
第二处理模块402，用于将所述样本图像输入至初始神经网络，利用所述初始神经网络执行以下步骤：基于所述样本图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点；基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标的真值，得到所述至少一个待选的像素点的评价值；根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到当前像素点的下一像素点；
调整模块403，用于根据追踪得到的各个像素点和预设的待追踪目标的真值，调整所述初始神经网络的网络参数值；
第三处理模块404，用于重复执行上述获取所述样本图像、利用所述初始神经网络对所述样本图像进行处理、以及调整所述初始神经网络的网络参数值的步骤，直至基于网络参数值调整后的初始神经网络得到的各个像素点满足预设的精度需求，得到训练完成的神经网络。
上述第二获取模块401、第二处理模块402、调整模块403和第三处理模块404均可由位于电子设备中的处理器实现，上述处理器为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲，本实施例中的一种图像处理方法或一种神经网络训练方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像处理方法或一种神经网络训练方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种图像处理方法或任意一种神经网络训练方法。
基于前述实施例相同的技术构思，参见图5，其示出了本公开实施例提供的一种电子设备，可以包括：存储器501和处理器502；其中，
所述存储器501，用于存储计算机程序和数据；
所述处理器502，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种图像处理方法或任意一种神经网络训练方法。
在实际应用中，上述存储器501可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器502提供指令和数据。
上述处理器502可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的增强现实云平台，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述
本申请所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本公开的保护之内。

Claims (24)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点；
基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标的真值，得到所述至少一个待选的像素点的评价值；
所述真值表示预先标注的所述待追踪目标上的像素点连线，所述像素点连线表示所述待追踪目标的路径结构信息；所述评价值表示所述当前的像素点到下一个像素点的连线与所述真值的匹配程度；
根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到所述当前的像素点的下一像素点。
2.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点之前，还包括：
判断所述当前的素点是否位于所述待追踪目标上多个分支之间的交叉点，若是，则选择所述多个分支中的一个支路，从选择的所述支路上的像素中选择所述待选的像素点。
3.根据权利要求2所述的图像处理方法，其特征在于，所述选择所述多个分支中的一个支路，包括：
基于所述当前的像素点和所述多个支路的像素点，结合所述预设的待追踪目标的真值，得到所述多个支中每个支路的评价值；
根据所述多个支路中每个支路的评价值，从所述多个支路中选择一个支路。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述多个支中每个支路的评价值，从所述多个支路中选择一个支路，包括：
在所述多个支路中，选择评价值最高的一个支路。
5.根据权利要求2所述的图像处理方法，其特征在于，还包括：
响应于对选择的支路的像素点进行追踪，且确定满足预设的支路追踪停止条件的情况， 针对未完成像素点追踪的交叉点，重新选择一个未进行像素点追踪的支路，对选择的支路进行像素点追踪；所述未完成像素点追踪的交叉点具有未进行像素点追踪的支路；
响应于不存在未完成像素点追踪的交叉点的情况，确定各个交叉点的各个支路的像素点追踪完成。
6.根据权利要求5所述的图像处理方法，其特征在于，所述重新选择一个未进行像素点追踪的支路，包括：
基于所述未完成像素点追踪的交叉点和所述交叉点的各个未进行像素点追踪的支路的像素点，结合预设的待追踪目标的真值，得到所述各个未进行像素点追踪的支路的评价值；
根据所述各个未进行像素点追踪的支路的评价值，从所述各个未进行像素点追踪的支路中选择一个支路。
7.根据权利要求6所述的图像处理方法，其特征在于，所述根据所述各个未进行像素点追踪的支路的评价值，从所述各个未进行像素点追踪的支路中选择一个支路，包括：
在所述各个未进行像素点追踪的支路中，选择评价值最高的一个支路。
8.根据权利要求5所述的图像处理方法，其特征在于，所述预设的支路追踪停止条件包括以下至少之一：
追踪到的下一个像素点处于预先确定的待追踪目标的末端；
追踪到的下一个像素点的空间熵值大于预设空间熵值；
连续N次得到的追踪路线夹角大于设定角度阈值，每次得到追踪路线夹角表示相邻两次得到的追踪路线的夹角，每次得到的追踪路线表示相邻两次追踪到的像素点之间的连线；N为大于或等于2的整数。
9.根据权利要求1-8中任意一项所述的图像处理方法，其特征在于，所述根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到所述当前的像素点的下一像素点，包括：
从所述至少一个待选的像素点，选择评价值最高的像素点；将选择的所述评价值最高的像素点确定为所述当前像素点的下一个像素点。
10.根据权利要求1至9任一项所述的图像处理方法，其特征在于，所述待追踪目标为血管树。
11.一种神经网络训练方法，其特征在于，包括：
获取样本图像；
将所述样本图像输入至初始神经网络，利用所述初始神经网络执行以下步骤：基于所述样本图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点； 基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标的真值，得到所述至少一个待选的像素点的评价值；根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到所述当前的像素点的下一像素点；
其中，所述真值表示预先标注的所述待追踪目标上的像素点连线，所述像素点连线表示所述待追踪目标的路径结构信息；所述评价值表示所述当前的像素点到下一个像素点的连线与所述真值的匹配程度；
根据追踪得到的各个像素点和预设的待追踪目标的真值，调整所述初始神经网络的网络参数值，直至基于网络参数值调整后的初始神经网络得到的各个像素点满足预设的精度需求。
12.一种图像处理装置，其特征在于，所述装置包括：第一获取模块和第一处理模块，其中，
第一获取模块，用于获取待处理图像；
第一处理模块，用于基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点；基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标真值，得到所述至少一个待选的像素点的评价值；根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到所述当前的像素点的下一像素点；
其中，所述真值表示预先标注的所述待追踪目标上的像素点连线，所述像素点连线表示所述待追踪目标的路径结构信息；所述评价值表示所述当前的像素点到下一个像素点的连线与所述真值的匹配程度。
13.根据权利要求12所述的装置，其特征在于，所述第一处理模块，还用于：
在基于所述待处理图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点之前，判断所述当前的像素点是否位于所述待追踪目标上多个分支之间的交叉点，若是，则选择所述多个分支中的一个支路，从选择的所述支路上的像素中选择所述待选的像素点。
14.根据权利要求13所述的装置，其特征在于，所述第一处理模块，用于基于所述当前的像素点和所述多个支路的像素点，结合所述预设的待追踪目标的真值，得到所述多个支路中每个支路的评价值；根据所述多个支中每个支路的评价值，从所述多个支路中选择一个支路。
15.根据权利要求14所述的装置，其特征在于，所述第一处理模块，用于在所述多个支路中，选择评价值最高的一个支路。
16.根据权利要求13所述的装置，其特征在于，所述第一处理模块，还用于：
响应于对选择的支路的像素点进行追踪，且确定满足预设的支路追踪停止条件的情况， 针对未完成像素点追踪的交叉点，重新选择一个未进行像素点追踪的支路；对选择的支路进行像素点追踪；所述未完成像素点追踪的交叉点具有未进行像素点追踪的支路；
响应于不存在未完成像素点追踪的交叉点的情况，确定各个交叉点的各个支路的像素点追踪完成。
17.根据权利要求16所述的装置，其特征在于，所述第一处理模块，用于基于所述未完成像素点追踪的交叉点和所述交叉点的各个未进行像素点追踪的支路的像素点，结合预设的待追踪目标的真值，得到所述各个未进行像素点追踪的支路的评价值；根据所述各个未进行像素点追踪的支路的评价值，从所述各个未进行像素点追踪的支路中选择一个支路。
18.根据权利要求17所述的装置，其特征在于，所述第一处理模块，用于在所述各个未进行像素点追踪的支路中，选择评价值最高的一个支路。
19.根据权利要求16所述的装置，其特征在于，所述预设的支路追踪停止条件包括以下至少之一：
追踪到的下一个像素点处于预先确定的待追踪目标的末端；
追踪到的下一个像素点的空间熵值大于预设空间熵值；
连续N次得到的追踪路线夹角大于设定角度阈值，每次得到追踪路线夹角表示相邻两次得到的追踪路线的夹角，每次得到的追踪路线表示相邻两次追踪到的像素点之间的连线；N为大于或等于2的整数。
20.根据权利要求12所述的装置，其特征在于，所述第一处理模块，用于从从所述至少一个待选的像素点，选择评价值最高的像素点；将选择的所述评价值最高的像素点确定为所述当前像素点的下一个像素点。
21.根据权利要求12至20任一项所述的装置，其特征在于，所述待追踪目标为血管树。
22.一种神经网络训练装置，其特征在于，所述装置包括：第二获取模块、第二处理模块、调整模块和第三处理模块，其中，
第二获取模块，用于获取样本图像；
第二处理模块，用于将所述样本图像输入至初始神经网络，利用所述初始神经网络执行以下步骤：基于所述样本图像的待追踪目标上当前的像素点，确定出所述待追踪目标上至少一个待选的像素点； 基于所述当前的像素点与所述至少一个待选的像素点，结合预设的待追踪目标的真值，得到所述至少一个待选的像素点的评价值；根据所述至少一个待选的像素点的评价值，对所述当前的像素点进行追踪，得到所述当前的像素点的下一像素点；
其中，所述真值表示预先标注的所述待追踪目标上的像素点连线，所述像素点连线表示所述待追踪目标的路径结构信息；所述评价值表示所述当前的像素点到下一个像素点的连线与所述真值的匹配程度；
调整模块，用于根据追踪得到的各个像素点和预设的待追踪目标的真值，调整所述初始神经网络的网络参数值；
第三处理模块，用于重复执行上述获取所述样本图像、利用所述初始神经网络对所述样本图像进行处理、以及调整所述初始神经网络的网络参数值的步骤，直至基于网络参数值调整后的初始神经网络得到的各个像素点满足预设的精度需求，得到训练完成的神经网络。
23.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行权利要求1至10任一项所述的图像处理方法或权利要求11所述的神经网络训练方法。
24.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10任一项所述的图像处理方法或权利要求11所述的神经网络训练方法。
CN201911050567.9A 2019-10-31 2019-10-31 图像处理及神经网络训练方法、装置、设备和介质 Active CN110796653B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911050567.9A CN110796653B (zh) 2019-10-31 2019-10-31 图像处理及神经网络训练方法、装置、设备和介质
JP2021539385A JP2022516196A (ja) 2019-10-31 2020-07-22 画像処理及びニューラルネットワーク訓練方法、装置、機器、媒体並びにプログラム
PCT/CN2020/103635 WO2021082544A1 (zh) 2019-10-31 2020-07-22 图像处理及神经网络训练方法、装置、设备、介质和程序
TW109136759A TWI772932B (zh) 2019-10-31 2020-10-22 圖像處理及神經網路訓練方法、電子設備和電腦儲存介質
US17/723,580 US20220237806A1 (en) 2019-10-31 2022-04-19 Image processing and neural network training method, electronic equipment, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911050567.9A CN110796653B (zh) 2019-10-31 2019-10-31 图像处理及神经网络训练方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN110796653A CN110796653A (zh) 2020-02-14
CN110796653B true CN110796653B (zh) 2022-08-30

Family

ID=69442281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911050567.9A Active CN110796653B (zh) 2019-10-31 2019-10-31 图像处理及神经网络训练方法、装置、设备和介质

Country Status (5)

Country Link
US (1) US20220237806A1 (zh)
JP (1) JP2022516196A (zh)
CN (1) CN110796653B (zh)
TW (1) TWI772932B (zh)
WO (1) WO2021082544A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796653B (zh) * 2019-10-31 2022-08-30 北京市商汤科技开发有限公司 图像处理及神经网络训练方法、装置、设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103284760A (zh) * 2013-06-08 2013-09-11 哈尔滨工程大学 一种基于导管路径的扩展超声血管成像方法及装置
CN106296698A (zh) * 2016-08-15 2017-01-04 成都通甲优博科技有限责任公司 一种基于立体视觉的闪电三维定位方法
CN106340021A (zh) * 2016-08-18 2017-01-18 上海联影医疗科技有限公司 血管提取方法
CN107067409A (zh) * 2017-05-09 2017-08-18 上海联影医疗科技有限公司 一种血管分离方法及系统
CN107563983A (zh) * 2017-09-28 2018-01-09 上海联影医疗科技有限公司 图像处理方法以及医学成像设备
CN109035194A (zh) * 2018-02-22 2018-12-18 青岛海信医疗设备股份有限公司 一种血管提取方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187224A (ja) * 2008-02-05 2009-08-20 Fuji Xerox Co Ltd 情報処理装置及び情報処理プログラム
SG190730A1 (en) * 2010-12-09 2013-07-31 Univ Nanyang Tech Method and an apparatus for determining vein patterns from a colour image
JP5391229B2 (ja) * 2011-04-27 2014-01-15 富士フイルム株式会社 木構造抽出装置および方法ならびにプログラム
JP6036224B2 (ja) * 2012-11-29 2016-11-30 日本電気株式会社 順序制御システム、順序制御方法、順序制御プログラム、及び、メッセージ管理システム
JP6358590B2 (ja) * 2013-08-09 2018-07-18 富士通株式会社 血管データ生成装置、血管データ生成方法、および血管データ生成プログラム
US9521988B2 (en) * 2015-02-17 2016-12-20 Siemens Healthcare Gmbh Vessel tree tracking in angiography videos
TWI572186B (zh) * 2015-12-04 2017-02-21 國立雲林科技大學 內視鏡影像鏡面反射去除之自適應修補方法
CN107203741B (zh) * 2017-05-03 2021-05-18 上海联影医疗科技股份有限公司 血管提取方法、装置及其系统
CN109360209B (zh) * 2018-09-30 2020-04-14 语坤（北京）网络科技有限公司 一种冠状血管分割方法及系统
CN110796653B (zh) * 2019-10-31 2022-08-30 北京市商汤科技开发有限公司 图像处理及神经网络训练方法、装置、设备和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103284760A (zh) * 2013-06-08 2013-09-11 哈尔滨工程大学 一种基于导管路径的扩展超声血管成像方法及装置
CN106296698A (zh) * 2016-08-15 2017-01-04 成都通甲优博科技有限责任公司 一种基于立体视觉的闪电三维定位方法
CN106340021A (zh) * 2016-08-18 2017-01-18 上海联影医疗科技有限公司 血管提取方法
CN107067409A (zh) * 2017-05-09 2017-08-18 上海联影医疗科技有限公司 一种血管分离方法及系统
CN107563983A (zh) * 2017-09-28 2018-01-09 上海联影医疗科技有限公司 图像处理方法以及医学成像设备
CN109035194A (zh) * 2018-02-22 2018-12-18 青岛海信医疗设备股份有限公司 一种血管提取方法及装置

Also Published As

Publication number Publication date
CN110796653A (zh) 2020-02-14
JP2022516196A (ja) 2022-02-24
TW202119357A (zh) 2021-05-16
TWI772932B (zh) 2022-08-01
US20220237806A1 (en) 2022-07-28
WO2021082544A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
CN109492128B (zh) 用于生成模型的方法和装置
CN110443351B (zh) 生成映像的自然语言描述
US10055435B2 (en) Interactive presentation of large scale graphs
CN108090218B (zh) 基于深度强化学习的对话系统生成方法和装置
CN107958285A (zh) 面向嵌入式系统的神经网络的映射方法及装置
CN111523640A (zh) 神经网络模型的训练方法和装置
US11494614B2 (en) Subsampling training data during artificial neural network training
CN110705573A (zh) 一种目标检测模型的自动建模方法及装置
CN110209658B (zh) 数据清洗方法和装置
CN113485837A (zh) 一种基于并行分支和张量切分的张量处理方法和处理系统
CN110874626B (zh) 一种量化方法及装置
CN110796653B (zh) 图像处理及神经网络训练方法、装置、设备和介质
CN113721645A (zh) 一种基于分布式强化学习的无人机连续机动控制方法
KR20210085569A (ko) 표적 추적 시스템 및 방법
CN109829520B (zh) 图像处理方法和装置
CN108159694B (zh) 柔体飘动模拟方法、柔体飘动模拟装置及终端设备
CN111368860B (zh) 重定位方法及终端设备
CN109598344B (zh) 模型生成方法和装置
CN108710514B (zh) 对象跳转控制方法和装置、存储介质及电子装置
CN108681490B (zh) 针对rpc信息的向量处理方法、装置以及设备
US11442986B2 (en) Graph convolutional networks for video grounding
CN109886185B (zh) 一种目标识别方法、装置、电子设备和计算机存储介质
CN109003223B (zh) 图片处理方法和装置
CN104933055A (zh) 网页识别方法及网页识别装置
CN112131995A (zh) 一种动作分类方法、装置、计算设备、以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018261

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant