CN112561914A - 图像的处理方法、系统、计算设备及存储介质 - Google Patents

图像的处理方法、系统、计算设备及存储介质 Download PDF

Info

Publication number
CN112561914A
CN112561914A CN201910852977.9A CN201910852977A CN112561914A CN 112561914 A CN112561914 A CN 112561914A CN 201910852977 A CN201910852977 A CN 201910852977A CN 112561914 A CN112561914 A CN 112561914A
Authority
CN
China
Prior art keywords
image
monitoring
target object
acquiring
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910852977.9A
Other languages
English (en)
Inventor
唐喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910852977.9A priority Critical patent/CN112561914A/zh
Publication of CN112561914A publication Critical patent/CN112561914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像的处理方法、系统、计算设备及存储介质,在本申请实施例中,将第一图像与第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及目标对象,目标对象具有第一图像以及第二图像的图像特征;第一图像作为参考图像,第二图像作为待校准图像,根据目标对象以及位置差异数据,对待训练模型进行训练,使得训练后的一个完整模型就可以对多模态图像进行目标对象的分割处理,相比通过不同模型对多模态图像分别进行获取位置差异数据以及目标对象,从而实现通过多个模型对多模态图像进行目标对象的分割处理而言,减少了处理获取位置差异数据以及目标对象的总时间,提升了图像分割处理总速度。

Description

图像的处理方法、系统、计算设备及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像的处理方法、系统、计算设备及存储介质。
背景技术
随着信息技术的发展,计算机视觉得到了很好的发展,计算机视觉使得机器能够“看”事物,甚至观看包括人类无法看到的事物。特别是对于图像处理而言,在进行图像处理前,由于人们往往是对图像中某部分感兴趣,所以需要将感兴趣的这部分进行图像处理。但是对于多个种类的图像而言,在进行图像处理时,处理效率以及处理稳定性较差。
发明内容
本申请的多个方面提供一种图像的处理方法、系统、计算设备及存储介质,用以提高从多种模态图像中分割目标对象的处理效率以及处理稳定性。
本申请实施例提供一种图像的处理方法,包括:获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;将所述第一图像与所述第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征;根据所述目标对象以及位置差异数据,对所述待训练模型进行训练。
本申请实施例还提供一种图像的处理方法,包括:获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;将所述第一图像与所述第二图像输入至图像处理模型中,获取所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征。
本申请实施例还提供一种图像的处理系统,包括:第一设备以及第二设备;所述第一设备,获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;将所述第一图像以及所述第二图像发送至所述第二设备;所述第二设备,将所述第一图像与所述第二图像输入至图像处理模型中,获取所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征;将所述目标对象发送至所述第一设备。
本申请实施例还提供一种图像的处理方法,包括:获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;将所述第一图像与所述第二图像输入至待训练模型中,通过待训练模型中第一子模型,获取第一图像与第二图像的位置差异数据,通过位置差异数据以及待训练模型中第二子模型获取所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征,所述第一子模型与第二子模型的训练参数相同;根据所述目标对象以及位置差异数据,对所述训练参数进行训练,从而对待训练模型进行训练。
本申请实施例还提供一种图像的处理方法,包括:获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;提供所述异常区域的图像,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像。
本申请实施例还提供一种图像的处理方法,包括:获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,并确定所述异常区域所在位置,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;提供所述异常区域的图像以及位置,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像。
本申请实施例还提供一种图像的处理方法,包括:获取第一监控图像和第二监控图像,所述第一监控图像以及所述第二监控图像来自不同监控设备,所述第一监控图像作为参考图像,所述第二监控图像作为待校准图像,所述第一监控图像和所述第二监控图像为针对同一监控目标对象的不同图像;将所述第一监控图像与所述第二监控图像输入至图像处理模型中,获取所述监控目标对象,获取到的所述监控目标对象具有所述第一监控图像以及所述第二监控图像的图像特征;识别所述监控目标对象中的待查找信息。
本申请实施例还提供一种视频的处理方法,包括:获取第一监控视频以及第二监控视频,所述第一监控视频以及所述第二监控视频来自不同监控设备;从所述第一监控视频中获取第一监控图像,以及从所述第二监控视频中获取与所述第一监控视频对应的第二监控图像,所述第一监控图像作为参考图像,所述第二监控图像作为待校准图像,所述第一监控图像和所述第二监控图像为针对同一监控目标对象的不同图像;将所述第一监控图像与所述第二监控图像输入至图像处理模型中,获取所述监控目标对象,获取到的所述监控目标对象具有所述第一监控图像以及所述第二监控图像的图像特征;识别所述监控目标对象中的待查找信息。
本申请实施例还提供获取一种图像的处理方法,包括:第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像;将所述第一医学图像与所述第二医学图像输入至待训练模型中,获取第一医学图像与第二医学图像的位置差异数据以及所述异常区域,获取到的所述异常区域具有所述第一图像以及所述第二图像的图像特征;根据所述异常区域以及位置差异数据,对所述待训练模型进行训练。
本申请实施例还提供一种图像的处理方法,包括:获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;获取数字虚拟人的模型数据;将所述模型数据与所述异常区域进行融合,使得融合后的数字虚拟人具有异常区域。
本申请实施例还提供一种计算设备,包括存储器以及处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以用于:获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;将所述第一图像与所述第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征;根据所述目标对象以及位置差异数据,对所述待训练模型进行训练。
本申请实施例还提供一种计算设备,包括存储器以及处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以用于:获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,获取到的所述第一图像和所述第二图像为针对同一目标对象的不同图像;将所述第一图像与所述第二图像输入至图像处理模型中,获取所述目标对象,所述目标对象具有所述第一图像以及所述第二图像的图像特征。
本申请实施例还提供一种计算设备,包括存储器以及处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以用于:获取第一监控图像和第二监控图像,所述第一监控图像以及所述第二监控图像来自不同监控设备,所述第一监控图像作为参考图像,所述第二监控图像作为待校准图像,所述第一监控图像和所述第二监控图像为针对同一监控目标对象的不同图像;将所述第一监控图像与所述第二监控图像输入至图像处理模型中,获取所述监控目标对象,获取到的所述监控目标对象具有所述第一监控图像以及所述第二监控图像的图像特征;识别所述监控目标对象中的待查找信息。
本申请实施例还提供一种计算设备,包括存储器以及处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以用于:获取第一监控视频以及第二监控视频,所述第一监控视频以及所述第二监控视频来自不同监控设备;从所述第一监控视频中获取第一监控图像,以及从所述第二监控视频中获取与所述第一监控视频对应的第二监控图像,所述第一监控图像作为参考图像,所述第二监控图像作为待校准图像,所述第一监控图像和所述第二监控图像为针对同一监控目标对象的不同图像;将所述第一监控图像与所述第二监控图像输入至图像处理模型中,获取所述监控目标对象,获取到的所述监控目标对象具有所述第一监控图像以及所述第二监控图像的图像特征;识别所述监控目标对象中的待查找信息
本申请实施例还提供一种计算设备,包括存储器以及处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以用于:获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;将所述第一图像与所述第二图像输入至待训练模型中,通过待训练模型中第一子模型,获取第一图像与第二图像的位置差异数据,通过位置差异数据以及待训练模型中第二子模型获取所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征,所述第一子模型与第二子模型的训练参数相同;根据所述目标对象以及位置差异数据,对所述训练参数进行训练,从而对待训练模型进行训练。
本申请实施例还提供一种计算设备,包括存储器以及处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以用于:获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;提供所述异常区域的图像,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像。
本申请实施例还提供一种计算设备,包括存储器以及处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以用于:获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,并确定所述异常区域所在位置,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;提供所述异常区域的图像以及位置,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像。
本申请实施例还提供一种计算设备,包括存储器以及处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以用于:获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像;将所述第一医学图像与所述第二医学图像输入至待训练模型中,获取第一医学图像与第二医学图像的位置差异数据以及所述异常区域,获取到的所述异常区域具有所述第一图像以及所述第二图像的图像特征;根据所述异常区域以及位置差异数据,对所述待训练模型进行训练。
本申请实施例还提供一种计算设备,包括存储器以及处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序,以用于:获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;获取数字虚拟人的模型数据;将所述模型数据与所述异常区域进行融合,使得融合后的数字虚拟人具有异常区域。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被一个或多个处理器执行时,致使所述一个或多个处理器实现上述方法中的步骤。
在本申请实施例中,将第一图像与第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征;第一图像作为参考图像,第二图像作为待校准图像,根据目标对象以及位置差异数据,对待训练模型进行训练,使得训练后的一个完整模型就可以对多模态图像进行目标对象的分割处理,相比通过不同模型对多模态图像分别进行获取位置差异数据以及目标对象,从而实现通过多个模型对多模态图像进行目标对象的分割处理而言,减少了处理获取位置差异数据以及目标对象的总时间,提升了图像分割处理总速度。且由于是通过训练一个完整模型来实现多模态图像的分割处理,相较于多个模型来实现多模态图像的分割处理,该训练后的一个完整模型可以提高图像处理的稳定性以及精准性,减少在多模态图像的分割处理中对其它因素的依赖性,增强图像处理的完整性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1A为本申请一示例性实施例的图像的处理系统的结构示意图;
图1B为本申请一示例性实施例的图像的处理系统的结构示意图;
图2为本申请一示例性实施例的图像的处理方法的流程示意图;
图3为本申请一示例性实施例提供的模型训练的示意图;
图4A为本申请一示例性实施例的图像的处理方法的流程示意图;
图4B为本申请一示例性实施例的图像处理的示意图;
图5A为本申请一示例性实施例的图像的处理方法的流程示意图;
图5B为本申请一示例性实施例的模型训练的示意图;
图6A为本申请一示例性实施例的图像的处理方法的流程示意图;
图6B为本申请一示例性实施例的图像处理的示意图;
图7为本申请一示例性实施例的图像的处理方法的流程示意图;
图8A为本申请一示例性实施例的图像的处理方法的流程示意图;
图8B为本申请一示例性实施例的图像处理的示意图;
图9为本申请一示例性实施例的视频的处理方法的流程示意图;
图10为本申请一示例性实施例提供的图像的处理装置的结构示意图;
图11为本申请一示例性实施例提供的计算设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在图像分割场景中,往往需要通过多模态图像的信息,来更为精准的判断目标对象,所以往往需要扫描多幅不同模态的图像。这些图像之间往往会由于一些客观因素,如拍摄对象的移动,扫描设备的差异等等,导致不同模态的图像之间存在形态差异,造成无法快速进行图像分割的情况。
本申请实施例提供了一个端到端的解决方案,在提升处理效率的同时,保持处理准确的精度,优化整体方案。
在本申请实施例中,将第一图像与第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及目标对象,目标对象具有第一图像以及第二图像的图像特征;第一图像作为参考图像,第二图像作为待校准图像,根据目标对象以及位置差异数据,对待训练模型进行训练,使得训练后的一个完整模型就可以对多模态图像进行目标对象的分割处理,相比通过不同模型对多模态图像分别进行获取位置差异数据以及目标对象,从而实现通过多个模型对多模态图像进行目标对象的分割处理而言,减少了处理获取位置差异数据以及目标对象的总时间,提升了图像分割处理总速度。且由于是通过训练一个完整模型来实现多模态图像的分割处理,相较于多个模型来实现多模态图像的分割处理,该训练后的一个完整模型可以提高图像处理的稳定性以及精准性,减少在多模态图像的分割处理中对其它因素的依赖性,增强图像处理的完整性。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1A为本申请一示例性实施例提供的一种图像的处理系统的结构示意图。如图1A所示,该处理系统100A可以包括:第一设备101以及第二设备102。
其中,第一设备101可以是有一定计算能力的设备。第一设备101的基本结构可以包括:至少一个处理器。处理器的数量可以取决于具有一定计算能力装置的配置和类型。具有一定计算能力装置也可以包括存储器,该存储器可以为易失性的,例如RAM,也可以为非易失性的,例如只读存储器(Read-Only Memory,ROM)、闪存等,或者也可以同时包括两种类型。存储器内通常存储有操作系统(Operating System,OS)、一个或多个应用程序,也可以存储有程序数据等。除了处理单元和存储器之外,具有一定计算能力装置还包括一些基本配置,例如网卡芯片、IO总线、显示组件以及一些外围设备等。可选地,一些外围设备可以包括,例如键盘、输入笔等。其它外围设备在本领域中是众所周知的,在此不做赘述。可选地,第一设备101可以为智能终端,车载终端,无人机等。
第二设备102是指可以在网络虚拟环境中提供计算处理服务的设备,可以是指利用网络进行模型训练的设备。在物理实现上,第二设备102可以是任何能够提供计算服务,响应服务请求,并进行处理的设备,例如可以是常规服务器、云服务器、设置在路边上的图像跟踪设备、设置在室内的图像跟踪设备等等。第二设备102的构成主要包括处理器、硬盘、内存、系统总线等,和通用的计算机架构类似。
在本申请实例中,第一设备101,获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像;将第一图像以及第二图像发送至第二设备102。
第二设备102,将第一图像与第二图像输入至图像处理模型中,获取目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征;将目标对象发送至第一设备101。
在一些实例中,第二设备102,获取第一图像与第二图像的位置差异数据;根据差异数据,获取目标对象。
在一些实例中,第二设备102,获取所述目标对象,包括:根据位置差异数据,处理第二图像;拼接第一图像以及处理后的第二图像,得到拼接后图像;从拼接后图像中分割出目标对象。
在一些实例中,第二设备102,获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像;将第一图像与第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征;根据目标对象以及位置差异数据,对待训练模型进行训练,并生成图像处理模型。
需要说明的是,第二设备102所执行的训练模型的具体实施方式,也可以由第一设备101来执行,并直接通过第一设备101中生成的图像处理模型,来获取目标对象,并通过第一设备101将最终的获取到的目标对象展示出来。
在本申请实施例的应用场景中,如图1B所示,例如,用户从第一设备101,如电脑,本地获取到两个不同模态的图像,如,CT(Computed Tomography,电子计算机断层扫描)图像以及X射线图像,并将该两个图像发送至第二设备102,如服务器,并指定其中CT图像为参考图像。服务器在接收到这两个图像后,可以根据部署在服务器中的图像处理模型来处理这两个图像。服务器可以通过该模型确定X射线图像相对于CT图像的位置差异数据,在通过模型根据位置差异数据对X射线图像进行处理,并将处理后X射线图像与CT图像进行拼接,并从拼接后图像中分割出目标对象,如拼接后图像中的肌肉组织图像。服务器将该目标对象发送至电脑,使得电脑接收到目标对象并展示该目标对象,用户可以对该目标对象进行视觉上的观察。
此外,第二设备102,如服务器,可以在部署图像处理模型前,先对该图像处理模型进行训练。训练的过程可以为,服务器获取多个训练样本,训练样本可以包括两类,一类属于参考图像(即第一图像),一类属于待校准图像(第二图像),同时服务器还会获取一类样本,是关于目标对象的参考图像。其中,第一图像以及第二图像是相对应的图像,如都属于某个肌肉组织的图像。服务器将第一图像以及第二图像输入至待训练模型中,即初始模型,通过该模型确定第二图像相对于第一图像的位置差异数据,并根据位置差异数据处理第二图像,将处理后第二图像与第一图像拼接,并通过该模型分割拼接后图像中的目标对象。从而确定目标对象以及目标对象的参考图像之间的损失函数,以及处理后第二图像与第一图像之间的损失函数。根据这两个损失函数之和来调整该模型的初始参数,即训练参数。在调整完后继续训练该模型,并调整训练参数,实现训练参数迭代,直至调整后训练参数,使得模型得到的损失函数之和在预期数值范围内,或损失函数在预期数值范围内,或迭代次数达到预期次数等。生成最终的图像处理模型。
需要说明的是,第一图像中可以属于多个图像中的一幅图像,这些多个图像可以属于一个样本集合,第二图像可以属于多个图像中的一幅图像,这些多个图像可以属于一个样本集合,但从样本集合中取出的第一图像和第二图像对应,组成一组训练样本,如关于某个肌肉组织的图像。
此外,还可以预先直接将第一图像和第二图像作为一组训练样本,但存在多组训练样本。
在上述本实施例中,第一设备101可以与第二设备102进行网络连接,该网络连接可以是无线连接。若第一设备101与第二设备102是通信连接,该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax、5G等中的任意一种。
下面结合方法实施例,针对第二设备102模型训练过程以及模型使用的过程进行详细说明。
图2为本申请一示例性实施例的图像的处理方法的流程示意图。本申请实施例提供的该方法200由第二设备执行,如,服务器,该方法200包括以下步骤:
201:获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像。
202:将第一图像与第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征。
203:根据目标对象以及位置差异数据,对待训练模型进行训练。
需要说明的是,执行该方法200除了可以由服务器执行外,还可以直接由智能功能强大的终端来执行,如智能终端中的电脑等。执行该方法200的设备均可以部署有展示组件,如展示屏,则可以通过展示屏直接将获取到的最终图像结果展示出来,以供用户进行查看。
以下针对上述步骤进行详细阐述:
201:获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像。
其中,参考图像是指基准图像,即该图像作为两幅图像中的基础图像,另一幅图像要以该图像为基准进行位置调整或处理。其中,参考图像可以为医学图像,如磁共振图像,CT图像,超声图像,X射线图像等。还可以为监控图像,如,不同拍摄角度或不同拍摄设备的图像。
待校准图像是指需要进行位置调整的图像,根据参考图像进行位置调整。其中,待校准图像可以为医学图像,如磁共振图像,CT图像,超声图像,X射线图像等。还可以为监控图像,如,不同拍摄角度或不同拍摄设备的图像。
需要说明的是,参考图像以及待校准图像在实际应用场景中,根据服务需要进行确定。
根据上述阐述可知,待校准图像是根据参考图像进行调整的,调整的是两者之间的位置关系,即坐标关系。
还需要说明的是,第一图像与第二图像是一组训练样本。每组训练样本中的图像是针对某一个目标对象而言,如某个物体图像,肌肉组织图像等。多组训练样本的目标对象可以相同,也可以不同。
例如,根据前文所述,服务器可以从其数据库中或其它服务器节点中获取到多组训练样本,从每组训练样本中获取第一图像以及第二图像。
需要说明的是,在模型训练的过程中,一组训练样本就可以对模型训练一次,所以每组训练样本训练模型的具体实施方式是相同的。以下针对一组训练样本训练模型的具体实施方式进行说明。
202:将第一图像与第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征。
其中,待训练模型,也可以称为初始模型,该模型中的训练参数都是初始参数,已预置好。通过对训练参数进行训练,来完成对模型的训练。例如,该初始模型的结构可以为U-NET网络结构,或U-NET++网络结构。
位置差异数据,也可以称为形变场,是指:由两幅图像之间像素点到像素点的位置关系(如,坐标的偏移量)组成的;如每个像素点坐标偏移量的集合。
目标对象是指最终要从至少两个多模态图像中获取的对象,如车辆图像、人物图像、肌肉组织图像等。
图像特征是指描述图像信息的属性,如图像颜色、纹理、空间位置关系等。获取到的目标对象既包含有第一图像的图像特征也包含有第二图像的图像特征,应理解,这里的图像特征是针对每个图像中目标对象对应的图像特征。
例如,根据前文所述,如图3所示,服务器101在获取到一组第一图像“CT图像”以及第二图像“X射线图像”后,将该第一图像以及第二图像输入至预置的初始模型中,该初始模型输出第一图像以及第二图像中的车辆图像,且通过初始模型中的训练参数获取到第二图像相对于第一图像的形变场。
在一些实例中,获取第一图像与第二图像的位置差异数据,包括:通过训练参数,获取第一图像以及第二图像的图像特征数据,训练参数用于获取待训练模型中每个图像的图像特征数据;根据图像特征数据,确定第一图像与第二图像之间的位置关系;根据位置关系,确定位置差异数据。
其中,图像特征数据,也可以称为图像特征,是指描述图像信息的属性,如图像颜色、纹理、空间位置关系等。
位置关系是指图像中对应像素点之间的位置关系。在该位置关系中,对应像素点的位置关系,可以使得图像之间也存在位置关系,该位置关系如整体图像之间的旋转,平移,缩放等。整体图像也可以不存在位置关系,每一个像素点会有自己独立的位置调整,整体图像形变并不统一。
例如,根据前文所述,服务器通过初始模型中预置的训练参数,对第一图像以及第二图像进行卷积操作、池化操作(也可以将卷积操作以及池化操作称为下采样操作)以及上采样操作,从而获取到每个图像的图像特征数据。根据图像特征数据,可以确定出两个图像中对应的像素点,如,根据图像特征数据的相似度,确定出相同或相对应像素点。
以一组相同或相对应像素点为例说明,以第一图像中像素点的坐标为基准,确定出第二图像像素点相对于第一图像像素点的坐标关系,即坐标偏差量,从而确定出多组相同或相似对应像素点的坐标偏差量,从而生成坐标偏差量集合,即形变场。
需要说明的是,当第二图像中的像素点在第一图像中不存在对应像素点时,如,第一图像与第二图像之间存在图像差异,或第一图像不存在第二图像拍摄的局部图像,可以直接根据第二图像中像素点之间的位置关系,确定该像素点的坐标偏移量。
对于多模态图像而言,由于每个图像所处的坐标系不同,所以使得多模态图像之间无法直接对应,需要先进行坐标的切换,使得多个图像存在唯一坐标系,或唯一定位标准,才可以继续进行图像处理的操作。此过程也是图像配准的过程。
在一些实例中,获取目标对象,包括:根据位置差异数据,拼接第一图像以及第二图像;根据拼接后图像,获取目标对象。
其中,拼接图像,也可以称为融合图像,是指有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅无缝的全景图或高分辨率图像。在本实例中,重叠部分可以是目标对象。
在一些实例中,拼接第一图像以及第二图像,包括:根据位置差异数据,处理第二图像;拼接第一图像以及处理后的第二图像,得到拼接后图像。
在一些实例中,该方法200还包括:将拼接后图像输入至待训练模型。
例如,根据前文所述,如图3所示,服务器101通过初始模型获取到形变场后,服务器101根据形变场,通过图像插值方式,对第二图像进行处理,拼接第一图像以及处理后图像,服务器101再将拼接后图像输入至初始模型中。
需要说明的是,由于图像拼接方式属于本领域比较成熟的技术,此处就不再赘述。
此外,对第二图像进行处理的执行过程也可以在初始模型中进行,则无需服务器再将处理后第二图像输入至初始模型,初始模型直接根据处理后第二图像进行图像拼接。
在一些实例中,根据拼接后图像,获取目标对象,包括:根据训练参数,获取拼接后图像的图像特征数据,训练参数用于获取待训练模型中每个图像的图像特征数据;根据拼接后图像的图像特征数据,从拼接后图像中分割出目标对象。
例如,根据前文所述,如图3所示,初始模型在得到拼接后图像后,服务器101通过初始模型中预置的训练参数,对第一图像以及第二图像进行卷积操作、池化操作(也可以将卷积操作以及池化操作称为下采样操作)以及上采样操作,从而获取到拼接后图像的图像特征数据。可以根据拼接后图像的图像特征数据中每个像素点对应的特征数据,来分割出目标对象,如根据像素点的特征数据,对像素点进行聚类,来进行图像的分割。
需要说明的是,获取拼接后图像的图像特征数据的训练参数与获取第一图像以及第二图像的图像特征数据的训练参数相同。
203:根据目标对象以及位置差异数据,对待训练模型进行训练。
在一些实例中,对待训练模型进行训练,包括:获取目标对象的参考图像;根据位置差异数据,处理第二图像;根据处理后图像以及第一图像,确定第一损失函数;根据目标对象以及目标对象的参考图像,确定第二损失函数;根据第一损失函数以及第二损失函数,训练待训练模型,生成图像处理模型。
其中,损失函数反映的是预测结果和实际结果之间的差别。
目标对象的参考图像是指目标对象的实际图像,如车辆的实际图像。
例如,根据前文所述,如图3所示,服务器101从其数据库或本地或其它服务器节点获取到目标对象的参考图像,服务器101将处理后第二图像以及第一图像之间的相似度,作为第一损失函数。服务器101根据初始模型输出的目标对象与其参考图像,确定第二损失函数,根据第一损失函数以及第二损失函数,来调整训练参数,并训练该初始模型,从而最终生成图像处理模型。
需要说明的是,在调整完训练参数后,初始模型已经开始了优化过程,重复上述步骤201-203,继续优化该模型,即迭代训练参数,直至迭代次数达到次数阈值,或直至第一损失函数以及第二损失函数到达预置范围内,那么模型训练完成。由于迭代过程是重复上述实施内容的过程,此处就不再赘述。
此外,对于损失函数的确定方式已经是本领域比较成熟的技术,此处就不再赘述,损失函数可以为回归损失函数以及分类损失函数。
在一些实例中,确定第一损失函数,包括:根据处理后图像中像素点的梯度信息以及第一图像中像素点的梯度信息,确定第一损失函数。
其中,根据下式1)确定第一损失函数NGF(normalized gradient field,归一化梯度场):
Figure BDA0002197424480000171
其中,X,Y是图像长和宽,δ是为函数可导,为一个特别小的浮点值,x为像素点在x方向上的梯度,y为像素点在y方向上的梯度,Rx为第一图像中像素点在x方向上的梯度,Ry为第一图像中像素点在y方向上的梯度,F(φ)x为处理后第二图像中像素点在x方向上的梯度,F(φ)y为处理后第二图像中像素点在y方向上的梯度。
需要说明的是,通过梯度信息来确定第一损失函数,能够更好地处理多模态图像中第二图像相对于第一图像的位置关系,处理可以更加精准。
在一些实例中,训练待训练模型,包括:确定第一损失函数与第二损失函数的总和;根据总和,调整训练参数,从而训练待训练模型,直至训练结果符合预期情况,训练参数用于获取待训练模型中每个图像的图像特征数据。
其中,预期情况是指预估需求,可以包括:通过迭代训练参数训练模型,直至迭代次数达到次数阈值,或直至第一损失函数以及第二损失函数到达预置范围内,或第一损失函数以及第二损失函数之和到达预置范围内。
例如,根据前文所述,如图3所示,服务器101在获取到第一损失函数和第二损失函数的数值后,确定两个数值的总和,根据该总和,通过参数优化算法来调整训练参数,从而完成模型的第一次训练,重复上述实施内容,对模型进行多次训练,直至训练参数使得第一损失函数以及第二损失函数到达预置范围内,或训练次数(即迭代次数)达到次数阈值,最终生成训练好的模型,可以通过该训练好的模型图像进行处理。
需要说明的是,参数优化算法属于本领域比较成熟的技术,此处就不再赘述,可以为梯度下降算法等。
在一些实例中,获取图像特征数据,包括:根据训练参数以及采样层次,对图像进行下采样处理;根据训练参数以及采样层次,对最下采样层次处理后图像进行上采样处理;针对每个采样层次,拼接该采样层次的上采样处理后图像以及下采样处理后图像,并作为该采样层次的待上采样数据;将最上采样层次对应的待上采样数据作为所述图像特征数据。
其中,采样层次,也可以称为采样层级,是指对图像或图像特征进行下采样或上采样的次数。其中,采样层次包括至少两种采样层次,例如3次和5次等。
下采样处理是指缩小图像,从而获取图像深度特征的处理方式,可以包括卷积以及池化操作。
上采样处理是指放大图像,将下采样后的图像进行放大,可以包括反卷积操作。
例如,根据前文所述,该待训练模型可以是基于U-NET网络结构的模型,在获取图像特征数据时,先对图像进行下采样,如对图像进行卷积操作,以及池化操作,完成这样一次下采样操作,即完成一次采样层次,根据预置的采样层次次数进行操作,直至得到最终的下采样结果。根据最终的下采样结果开始进行上采样,如反卷积操作,完成一次反卷积操作,得到反卷积结果,作为一次上采样的采样层次,根据预置的采样层次次数进行操作,得到最终的上采样结果。在进行上采样的过程中,在第一次得到上采样结果后,需要先将该次的上采样结果与该次的下采样结果进行图像拼接,将拼接后图像(即待上采样数据)继续进行下次的上采样操作,后续每次上采样操作都是针对本次拼接后图像进行上采样,直至最终得到最上层次的拼接后图像,作为图像特征数据。
在进行上采样的过程时,可以分别将每个下采样结果作为最终的下采样结果,从而进行上采样操作,操作过程与前文阐述相同,此处就不再赘述,此时,采样层次是多种的,同一采样层次的上采样结果也许有多个,当在进行该层次上采样处理前,该层次已经存在至少两个以上采样结果(可以包括下采样结果以及上采样结果)时,需要将该层次的每个采样结果进行叠加,根据该叠加结果进行上采样操作,直至得到最终的层次的叠加结果即拼接后图像,作为最终的上采样结果。
需要说明的是,经过下采样操作以及上采样操作后,获取到的图像特征数据包括经过多个层次处理的多个层次特征数据,即保持在不同层次的特征的丰富性。可以对下采样次数的增加或减少来适应不同的数据需求,也可以对上采样次数的增加或减少来适应不同的数据需求。
本申请实施例,通过使用人工智能的方式来实现技术方案,相对于传统的算法有着非常大的提升,无论在鲁棒性还是算法运行效率上,都提升明显。本申请实施例通过构造一个网络,实现参数共享,进行内部迭代,用一个网络输出两个任务的结果。本申请实施例经过实验对比,其配准的精度在2.7个像素误差范围内,分割精度也能达到单一分割任务的精度。由于本申请实施例是一个端到端的网络,因此运行效率提升明显,运行时间大大降低。
图4A为本申请一示例性实施例的图像的处理方法的流程示意图。本申请实施例提供的该方法400A由第二设备执行,如,服务器,该方法400A包括以下步骤:
401:获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像。
402:将第一图像与第二图像输入至图像处理模型中,获取目标对象,获取到的目标对象具有第一图像以及所述第二图像的图像特征。
需要说明的是,由于步骤401-402在前文中已经详细阐述过了,这里就不再赘述。
仅说明,该方法400与上述方法200的具体实施方式相似,执行该方法400除了可以由服务器执行外,还可以直接由智能功能强大的终端来执行,如智能终端中的电脑等。执行该方法400的设备均可以部署有展示组件,如展示屏,则可以通过展示屏直接将获取到的最终图像结果展示出来,以供用户进行查看。
例如,如图所示4B,还也可以由电脑403将第一图像“某个肌肉组织的CT图像”以及第二图像“某个肌肉组织的超声图像”发送至服务器404,服务器404获取到这两个图像后,输入至本地的图像处理模型中,该模型是经过上述方法200训练后得到的。该模型输出最终的目标对象即分割出的图像,如某个肌肉组织的图像,该图像融合了第一图像和第二图像的图像元素和图像特征,即该图像是基于第一图像与第二图像进行拼接后,从拼接后图像中获取到的。服务器404将该图像返回至电脑403供用户查看。
在一些实例中,该方法400A还包括:获取第一图像与第二图像的位置差异数据;其中,获取目标对象,包括:根据差异数据,获取目标对象。
需要说明的是,由于该实例在前文中已经详细阐述过了,这里就不再赘述。
在一些实例中,获取目标对象,包括:根据位置差异数据,处理第二图像;拼接第一图像以及处理后的第二图像,得到拼接后图像;从拼接后图像中分割出目标对象。
需要说明的是,由于该实例在前文中已经详细阐述过了,这里就不再赘述。
在通过训练好的图像处理模型获取到目标对象后,为了能够保证获取到的目标对象是否准确,还可以对获取到的目标对象进行验证。
该验证方式可以包括:根据第三图像,对获取到的目标对象进行验证,第一图像、第二图像与第三图像为针对同一目标对象的不同图像;当验证结果为通过,则确定获取到的目标对象为最终目标对象。
其中,第三图像是针对于目标对象的图像,但该图像的种类或模态不同于第一图像和第二图像,但可以属于第一图像和第二图像的种类,如,医学图像:磁共振图像,CT图像,超声图像,X射线图像等。还可以为监控图像,
例如,根据前文所述,服务器在获取到某个肌肉组织的图像后,可以通过“某个肌肉组织的磁共振图像”来验证当前获取到的某个肌肉组织的图像是否准确。通过对比两个图像的图像特征,当对比结果在对比阈值内,则确定获取到的某个肌肉组织的图像是准确的,否则不准确。
图5A为本申请另一示例性实施例提供的又一种图像的处理方法的流程示意图。本申请实施例提供的该方法500A由第二设备执行,如,服务器,该方法500A包括以下步骤:
501:获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像。
502:将第一图像与第二图像输入至待训练模型中,通过待训练模型中第一子模型,获取第一图像与第二图像的位置差异数据,通过位置差异数据以及待训练模型中第二子模型获取目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征,第一子模型与第二子模型的训练参数相同。
503:根据目标对象以及位置差异数据,对所述训练参数进行训练,从而对待训练模型进行训练。
需要说明的是,由于步骤501-503的具体实施方式与前文阐述的方法200的具体实施方式相似,这里就不再赘述。
仅说明,执行该方法500除了可以由服务器执行外,还可以直接由智能功能强大的终端来执行,如智能终端中的电脑等。执行该方法500的设备均可以部署有展示组件,如展示屏,则可以通过展示屏直接将获取到的最终图像结果展示出来,以供用户进行查看。
此外,对于第一子模型和第二自模型而言,是将获取位置差异数据的具体实施过程作为第一子模型,将获取目标对象的具体实施过程作为第二子模型,两个子模型共享参数,也就是说训练该模型时,训练该共享参数,即可完成两个子模型的训练,从而完成整个模型的训练过程,训练过程与前文所述的训练过程相似,此处就不再赘述。
例如,如图所示5B,服务器504获取多组训练样本,每组训练样本可以包括,参考图像(即第一图像),以及待校准图像(第二图像),同时服务器还会获取一类样本,该类样本是对应每组训练样本的目标对象的参考图像。服务器504将第一图像以及第二图像输入至待训练模型中,即初始模型,通过其第一子模型确定第二图像相对于第一图像的位置差异数据,并根据位置差异数据处理第二图像,将处理后第二图像与第一图像拼接,并通过其第二子模型分割拼接后图像中的目标对象。从而确定目标对象以及目标对象的参考图像之间的损失函数,以及处理后第二图像与第一图像之间的损失函数。根据这两个损失函数之和来调整该模型的初始参数,即训练参数。在调整完后继续训练该模型,并调整训练参数,实现训练参数迭代,直至调整后训练参数,使得模型得到的损失函数之和在预期数值范围内,或迭代次数达到预期次数等。从而训练完成第一子模型以及第二子模型,并生成最终的图像处理模型。
图6A为本申请另一示例性实施例提供的又一种图像的处理方法的流程示意图。本申请实施例提供的该方法600A由第二设备执行,如,服务器,该方法600A包括以下步骤:
601:获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像。
602:将第一医学图像与第二医学图像输入至图像处理模型中,获取拼接第一医学图像和第二医学图像中的异常区域,获取到的异常区域具有第一医学图像以及第二医学图像的图像特征。
603:提供异常区域的图像,第一医学图像作为参考图像,第二医学图像作为待校准图像。
需要说明的是,由于步骤601-603的具体实施方式与前文阐述的方法200的具体实施方式相似,这里就不再赘述。
仅说明,执行该方法600除了可以由服务器执行外,还可以直接由智能功能强大的终端来执行,如智能终端中的电脑等。执行该方法600的设备均可以部署有展示组件,如展示屏,则可以通过展示屏直接将获取到的最终图像结果展示出来,以供用户进行查看。
其中,第一医学图像,也可以称为医学影像,是指对人体或人体某部分,以非侵入方式取得内部组织影像,第二医学图像,也可以称为医学影像,是指对人体或人体某部分,以非侵入方式取得内部组织影像。例如,磁共振图像,CT图像,超声图像,X射线图像等。
异常区域是指机体上出现异常的部分。
第一医学图像以及第二医学图像可以分别预置为参考图像以及待校准图像,也可以由图像处理模型指定参考图像以及待校准图像。
例如,如图所示6B,在进行身体检查时,如在肝脏异常区域检查时,对肝脏拍摄多个模态图像,也可以由电脑604将肝脏CT图像以及肝脏磁共振图像发送至服务器605,服务器605获取到这两个图像后,输入至本地的图像处理模型中,该模型是经过上述方法200训练后得到的。该模型输出肝脏异常区域图像,该图像融合了肝脏CT图像和肝脏磁共振图像的图像元素和图像特征,即该图像是基于肝脏CT图像与肝脏磁共振图像进行拼接后,从拼接后图像中获取到的。服务器605将该图像返回至电脑604供用户查看,如供医生查看异常的状态以及位置。
具体地,获取拼接第一医学图像和所述第二医学图像中的异常区域,包括:通过图像处理模型,获取第一医学图像以及第二医学图像的位置差异数据;通过图像处理模型,根据差异数据,处理第二医学图像;通过图像处理模型,拼接第一图像以及处理后的第二图像,得到拼接后图像;通过图像处理模型,从拼接后图像中分割出异常区域。
由于前文已经详细阐述过分割图像的具体实施方式,此处就不再赘述。
为了能够提供给用户更好的服务体验还可以根据不同用户执行不同的服务。
根据不同用户提供不同服务的方式可以包括:获取用户标识,根据用户标识确定用户等级或用户权限;根据用户等级或用户权限,获取并提供该用户对应的异常区域的图像。
其中,用户等级是指用户的级别,如普通用户、高级用户以及VIP用户等。应理解,不同等级的用户,具有不同的服务权利。
用户权限是指用户可以使用的服务权力,如,获取并提供肝脏异常区域图像。
例如,根据前文所述,服务器获取医学图像,如肝脏CT图像以及肝脏磁共振图像,所属用户的标识,如用户ID,或用户ID对应的等级,如高级用户,或用户对应的权限,如,可以获取多个模态图像的分割图像。当对应用户等级或用户权限可以获取到肝脏异常区域图像,服务器可以根据图像处理模型,来将肝脏CT图像以及肝脏磁共振图像进行融合,得到肝脏异常区域图像,并将该肝脏异常区域图像提供给用户,如发送至用户所在终端、邮件客户端等等。当用户不具有这个权限时,可以服务器可以不执行获取肝脏异常区域图像的操作,不向用户提供此服务。
此外,该方法600还包括:根据用户等级或用户权限,确定图像处理服务的使用费用、图像处理服务的等待时间、使用费用的付款方式和/或提供获取到图像的方式。
例如,根据前文所述,服务器还可以根据用户等级,如高级用户,确定提供肝脏异常区域图像的使用费用,如根据高级用户具有一定费用折扣,使用费用为原始费用的80%,普通用户的使用费用就是原始费用。高级用户可以通过分期付款的方式进行付费,高级用户拿到肝脏异常区域图像的时间可以为一周,普通用户的时间可以为2周。高级用户可以通过接收快递的方式拿到肝脏异常区域图像,以及接收邮件的方式拿到肝脏异常区域图像。普通用户可以亲自到图像提取处来拿肝脏异常区域图像。
图7为本申请另一示例性实施例提供的又一种图像的处理方法的流程示意图。本申请实施例提供的该方法700由第二设备执行,如,服务器,该方法700包括以下步骤:
701:获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像。
702:将第一医学图像与第二医学图像输入至图像处理模型中,获取拼接第一医学图像和第二医学图像中的异常区域,并确定异常区域所在位置,获取到的异常区域具有第一医学图像以及第二医学图像的图像特征。
703:提供异常区域的图像以及位置,第一医学图像作为参考图像,第二医学图像作为待校准图像。
需要说明的是,由于步骤701-703的具体实施方式与前文阐述的方法200的具体实施方式相似,这里就不再赘述。
仅说明,执行该方法700除了可以由服务器执行外,还可以直接由智能功能强大的终端来执行,如智能终端中的电脑等。执行该方法700的设备均可以部署有展示组件,如展示屏,则可以通过展示屏直接将获取到的最终图像结果展示出来,以供用户进行查看。
例如,根据前文所述,在进行手术时,还也可以由电脑将术前拍摄的肝脏CT图像以及术中肝脏超声图像发送至服务器,服务器获取到这两个图像后,输入至本地的图像处理模型中,该模型是经过上述方法200训练后得到的。该模型输出肝脏异常区域图像以及肝脏异常区域所在超声图像中的位置,如坐标,肝脏异常区域图像融合了肝脏CT图像和肝脏超声图像的图像元素和图像特征,即该图像是基于肝脏CT图像与肝脏超声图像进行拼接后,从拼接后图像中获取到的。服务器将该图像以及图像位置返回至电脑供用户查看,如供医生查看异常的状态以及位置,从而进行手术导航,实现对异常区域的追踪。
图8A为本申请另一示例性实施例提供的又一种图像的处理方法的流程示意图。本申请实施例提供的该方法800A由第二设备执行,如,服务器,该方法800A包括以下步骤:
801:获取第一监控图像和第二监控图像,所第一监控图像以及第二监控图像来自不同监控设备,第一监控图像作为参考图像,第二监控图像作为待校准图像,第一监控图像和第二监控图像为针对同一监控目标对象的不同图像。
802:将第一监控图像与第二监控图像输入至图像处理模型中,获取监控目标对象,获取到的监控目标对象具有第一监控图像以及第二监控图像的图像特征。
803:识别监控目标对象中的待查找信息。
需要说明的是,由于步骤801-803的具体实施方式与前文阐述的方法200的具体实施方式相似,这里就不再赘述。
仅说明,执行该方法800除了可以由服务器执行外,还可以直接由智能功能强大的终端来执行,如智能终端中的电脑等。执行该方法800的设备均可以部署有展示组件,如展示屏,则可以通过展示屏直接将获取到的最终图像结果展示出来,以供用户进行查看。
其中,第一监控图像是指在同一地点不同时间和/或不同角度拍摄的图像,如人物图像。第二监控图像是指在同一地点不同时间和/或不同角度拍摄的图像,如人物图像。
待查找信息是指该监控目标对象上的信息,如车辆的车牌、人物的衣服颜色、标牌等。
例如,如图所示8B,从商场中某一个地点,某一个时间,获取到该地点的两个摄像头804和805拍摄到的视频画面,这两个摄像头804和805分别设置在该地点的不同位置上,如墙壁上同一高度的左右两侧。该视频画面中显示出同一个人物。该人物以不同角度展示在视频画面中。摄像头将视频图像即视频画面,分别以第一图像以及第二图像的形式发送至服务器806,如,摄像头804拍摄的图像为第一图像,摄像头805拍摄的图像为第二图像。服务器806获取到这两个图像后,输入至本地的图像处理模型中,该模型是经过上述方法200训练后得到的。该模型输出分割出的图像,如该人物的图像,该图像融合了第一图像和第二图像的图像元素和图像特征,即该图像是基于第一图像与第二图像进行拼接后,从拼接后图像中获取到的,从而使得该人物比在单一图像中更加清晰。服务器806对该图像进行识别,获取其细节信息,如该人物的人脸、人物的衣服牌子等,服务器806将识别出的信息以及该图像返回至电脑807供用户查看,如供侦查人员对该图像进行观看以及分析,供侦查人员对识别出的信息进行查找线索等等。
图9为本申请另一示例性实施例提供的一种视频的处理方法的流程示意图。本申请实施例提供的该方法900由第二设备执行,如,服务器,该方法900包括以下步骤:
901:获取第一监控视频以及第二监控视频,第一监控视频以及第二监控视频来自不同监控设备。
902:从第一监控视频中获取第一监控图像,以及从第二监控视频中获取与第一监控视频对应的第二监控图像,第一监控图像作为参考图像,第二监控图像作为待校准图像,获取到的第一监控图像和第二监控图像为针对同一监控目标对象的不同图像。
903:将第一监控图像与第二监控图像输入至图像处理模型中,获取监控目标对象,监控目标对象具有第一监控图像以及第二监控图像的图像特征。
904:识别监控目标对象中的待查找信息。
需要说明的是,由于步骤901-904的具体实施方式与前文阐述的方法200的具体实施方式相似,这里就不再赘述。
仅说明,执行该方法900除了可以由服务器执行外,还可以直接由智能功能强大的终端来执行,如智能终端中的电脑等。执行该方法900的设备均可以部署有展示组件,如展示屏,则可以通过展示屏直接将获取到的最终图像结果展示出来,以供用户进行查看。
其中,第一监控视频是指在同一地点不同时间或不同角度拍摄的视频,如包含人物图像的视频。第二监控视频是指在同一地点不同时间或不同角度拍摄的视频,如包含人物图像的视频。
例如,根据前文所述,从高速路段上某一个地点,某一个时间,获取到该地点的两个摄像头拍摄到的视频,这两个摄像头分别设置在该地点的不同位置上,如桅杆上同一高度的左右两侧。该视频中显示出同一车辆。该车辆以不同角度展示在视频中。摄像头将视频发送至服务器。服务器806获取到这两个视频后,根据时间,从两个视频中获取到对应图像,如,晚间20:00:00的第一摄像头图像以及第二摄像头图像,作为对应图像。服务器将这两个图像分别以第一图像以及第二图像的形式,输入至本地的图像处理模型中。该模型是经过上述方法200训练后得到的。该模型输出分割出的图像,如该车辆的图像,该图像融合了第一图像和第二图像的图像元素和图像特征,即该图像是基于第一图像与第二图像进行拼接后,从拼接后图像中获取到的,从而使得该车辆比在单一图像以及单一视频中更加清晰。服务器对该图像进行识别,获取其细节信息,如该车辆的车牌等,服务器将识别出的信息车牌以及该图像返回至电脑供用户查看,如供侦查人员对该图像进行观看以及分析,供侦查人员对识别出的信息进行查找线索等等。
图10为本申请一示例性实施例提供的图像的处理装置的结构框架示意图。该装置1000可以应用于第二设备中,例如,服务器,该装置1000包括获取模块1001、输入模块1002以及训练模块1003,以下针对各个模块的功能进行详细的阐述:
获取模块1001,用于获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像。
输入模块1002,用于将第一图像与第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征。
训练模块1003,用于根据目标对象以及位置差异数据,对待训练模型进行训练。
在一些实例中,输入模块1002,包括:第一获取单元,用于通过训练参数,获取第一图像以及第二图像的图像特征数据,训练参数用于获取待训练模型中每个图像的图像特征数据;第一确定单元,用于根据图像特征数据,确定第一图像与第二图像之间的位置关系;根据位置关系,确定位置差异数据。
在一些实例中,输入模块1002,包括:拼接单元,用于根据位置差异数据,拼接第一图像以及第二图像;第一获取单元,用于根据拼接后图像,获取目标对象。
在一些实例中,拼接单元,用于根据位置差异数据,处理第二图像;拼接第一图像以及处理后的第二图像,得到拼接后图像。
在一些实例中,第一获取单元,用于根据训练参数,获取拼接后图像的图像特征数据,训练参数用于获取待训练模型中每个图像的图像特征数据;根据拼接后图像的图像特征数据,从拼接后图像中分割出目标对象。
在一些实例中,输入模块1002,还用于将拼接后图像输入至待训练模型。
在一些实例中,训练模块1003,包括:第二获取单元,用于获取目标对象的参考图像;处理单元,用于根据位置差异数据,处理第二图像;第二确定单元,用于根据处理后图像以及第一图像,确定第一损失函数;根据目标对象以及目标对象的参考图像,确定第二损失函数;训练单元,用于根据第一损失函数以及第二损失函数,训练待训练模型,生成图像处理模型。
在一些实例中,第二确定单元,用于根据处理后图像中像素点的梯度信息以及第一图像中像素点的梯度信息,确定第一损失函数。
在一些实例中,训练单元,用于确定第一损失函数与第二损失函数的总和;根据总和,调整训练参数,从而训练待训练模型,直至训练结果符合预期情况,训练参数用于获取待训练模型中每个图像的图像特征数据。
在一些实例中,图像特征数据包括经过多个层次处理的多个层次特征数据。
在一些实例中,第一获取单元,用于根据训练参数以及采样层次,对图像进行下采样处理;根据训练参数以及采样层次,对最下采样层次处理后图像进行上采样处理;针对每个采样层次,拼接该采样层次的上采样处理后图像以及下采样处理后图像,并作为该采样层次的待上采样数据;将最上采样层次对应的待上采样数据作为图像特征数据。
在一些实例中,采样层次包括至少两种采样层次。
本申请又一示例性实施例提供的又一种图像的处理装置。该装置1100可以应用于第二设备执行,如,服务器;该装置1100包括:获取模块1101以及输入模块1102,以下针对各个模块的功能进行详细的阐述:
获取模块1101,用于获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像。
输入模块1102,用于将第一图像与第二图像输入至图像处理模型中,获取目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征。
在一些实例中,获取模块1101,还用于获取第一图像与第二图像的位置差异数据;其中,输入模块1102,用于根据差异数据,获取目标对象。
在一些实例中,输入模块1102,包括:处理单元,用于根据位置差异数据,处理第二图像;拼接单元,用于拼接第一图像以及处理后的第二图像,得到拼接后图像;分割单元,用于从拼接后图像中分割出目标对象。
在一些实例中,该装置1100还包括:验证模块,用于根据第三图像,对获取到的目标对象进行验证,第一图像、第二图像与第三图像为针对同一目标对象的不同图像;当验证结果为通过,则确定获取到的目标对象为最终目标对象。
本申请又一示例性实施例提供的又一种图像的处理装置。该装置1200可以应用于第二设备执行,如,服务器;该装置1200包括:获取模块1201、输入模块1202以及训练模块1203,以下针对各个模块的功能进行详细的阐述:
获取模块1201,用于获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像。
输入模块1202,用于将第一图像与第二图像输入至待训练模型中,通过待训练模型中第一子模型,获取第一图像与第二图像的位置差异数据,通过位置差异数据以及待训练模型中第二子模型获取目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征,第一子模型与第二子模型的训练参数相同。
训练模块1203,用于根据目标对象以及位置差异数据,对训练参数进行训练,从而对待训练模型进行训练。
本申请又一示例性实施例提供的又一种图像的处理装置。该装置1300可以应用于第二设备执行,如,服务器;该装置1300包括:获取模块1301、输入模块1302以及提供模块1303,以下针对各个模块的功能进行详细的阐述:
获取模块1301,用于获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像。
输入模块1302,用于将第一医学图像与第二医学图像输入至图像处理模型中,获取拼接第一医学图像和第二医学图像中的异常区域,获取到的异常区域具有第一医学图像以及第二医学图像的图像特征。
提供模块1303,用于提供异常区域的图像,第一医学图像作为参考图像,第二医学图像作为待校准图像。
在一些实例中,输入模块1302,包括:获取单元,用于通过图像处理模型,获取第一医学图像以及第二医学图像的位置差异数据;处理单元,用于通过图像处理模型,根据差异数据,处理第二医学图像;拼接单元,用于通过图像处理模型,拼接第一图像以及处理后的第二图像,得到拼接后图像;分割单元,用于通过图像处理模型,从拼接后图像中分割出异常区域。
在一些实例中,该装置1300还包括:确定模块,获取用户标识,根据用户标识确定用户等级或用户权限;根据用户等级或用户权限,获取并提供该用户对应的异常区域的图像。
在一些实例中,确定模块,还用于根据用户等级或用户权限,确定图像处理服务的使用费用、图像处理服务的等待时间、使用费用的付款方式和/或提供获取到图像的方式。
本申请又一示例性实施例提供的又一种图像的处理装置。该装置1400可以应用于第二设备执行,如,服务器;该装置1400包括:获取模块1401、输入模块1402以及提供模块1403,以下针对各个模块的功能进行详细的阐述:
获取模块1401,用于获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像。
输入模块1402,用于将第一医学图像与第二医学图像输入至图像处理模型中,获取拼接第一医学图像和第二医学图像中的异常区域,并确定异常区域所在位置,获取到的异常区域具有第一医学图像以及第二医学图像的图像特征。
提供模块1403,用于提供异常区域的图像以及位置,第一医学图像作为参考图像,第二医学图像作为待校准图像。
本申请又一示例性实施例提供的又一种图像的处理装置。该装置1500可以应用于第二设备执行,如,服务器;该装置1500包括:获取模块1501、输入模块1502以及识别模块1503,以下针对各个模块的功能进行详细的阐述:
获取模块1501,用于获取第一监控图像和第二监控图像,第一监控图像以及第二监控图像来自不同监控设备,第一监控图像作为参考图像,第二监控图像作为待校准图像,第一监控图像和第二监控图像为针对同一监控目标对象的不同图像。
输入模块1502,用于将第一监控图像与第二监控图像输入至图像处理模型中,获取监控目标对象,获取到的监控目标对象具有第一监控图像以及第二监控图像的图像特征。
识别模块1503,用于识别监控目标对象中的待查找信息。
本申请又一示例性实施例提供的一种视频的处理装置。该装置1600可以应用于第二设备执行,如,服务器;该装置1600包括:获取模块1601、输入模块1602以及识别模块1603,以下针对各个模块的功能进行详细的阐述:
获取模块1601,用于获取第一监控视频以及第二监控视频,第一监控视频以及第二监控视频来自不同监控设备。
获取模块1601,用于从第一监控视频中获取第一监控图像,以及从第二监控视频中获取与第一监控视频对应的第二监控图像,第一监控图像作为参考图像,第二监控图像作为待校准图像,第一监控图像和第二监控图像为针对同一监控目标对象的不同图像。
输入模块1602,用于将第一监控图像与第二监控图像输入至图像处理模型中,获取监控目标对象,获取到的监控目标对象具有第一监控图像以及第二监控图像的图像特征。
识别模块1603,用于识别监控目标对象中的待查找信息。
以上描述了图10所示的处理装置1000的内部功能和结构,在一个可能的设计中,图10所示的处理装置1000的结构可实现为服务器,如图11所示,该设备1700可以包括:存储器1701以及处理器1702;
存储器1701,用于存储计算机程序;
处理器1702,用于执行计算机程序,以用于:获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像;将第一图像与第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征;根据目标对象以及位置差异数据,对待训练模型进行训练。
在一些实例中,处理器1702,具体用于:通过训练参数,获取第一图像以及第二图像的图像特征数据,训练参数用于获取待训练模型中每个图像的图像特征数据;根据图像特征数据,确定第一图像与第二图像之间的位置关系;根据位置关系,确定位置差异数据。
在一些实例中,处理器1702,具体用于:根据位置差异数据,拼接第一图像以及第二图像;根据拼接后图像,获取目标对象。
在一些实例中,处理器1702,具体用于:根据位置差异数据,处理第二图像;拼接第一图像以及处理后的第二图像,得到拼接后图像。
在一些实例中,处理器1702,具体用于:根据训练参数,获取拼接后图像的图像特征数据,训练参数用于获取待训练模型中每个图像的图像特征数据;根据拼接后图像的图像特征数据,从拼接后图像中分割出目标对象。
在一些实例中,处理器1702,还用于:将拼接后图像输入至待训练模型。
在一些实例中,处理器1702,具体用于:获取目标对象的参考图像;处理单元,用于根据位置差异数据,处理第二图像;根据处理后图像以及第一图像,确定第一损失函数;根据目标对象以及目标对象的参考图像,确定第二损失函数;根据第一损失函数以及第二损失函数,训练待训练模型,生成图像处理模型。
在一些实例中,处理器1702,具体用于:根据处理后图像中像素点的梯度信息以及第一图像中像素点的梯度信息,确定第一损失函数。
在一些实例中,处理器1702,具体用于:确定第一损失函数与第二损失函数的总和;根据总和,调整训练参数,从而训练待训练模型,直至训练结果符合预期情况,训练参数用于获取待训练模型中每个图像的图像特征数据。
在一些实例中,图像特征数据包括经过多个层次处理的多个层次特征数据。
在一些实例中,处理器1702,具体用于:根据训练参数以及采样层次,对图像进行下采样处理;根据训练参数以及采样层次,对最下采样层次处理后图像进行上采样处理;针对每个采样层次,拼接该采样层次的上采样处理后图像以及下采样处理后图像,并作为该采样层次的待上采样数据;将最上采样层次对应的待上采样数据作为图像特征数据。
在一些实例中,采样层次包括至少两种采样层次。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现图2方法实施例中图像的处理方法的步骤。
以上描述了处理装置1100的内部功能和结构,在一个可能的设计中,处理装置1100的结构可实现为服务器,该设备1800可以包括:存储器1801以及处理器1802;
存储器1801,用于存储计算机程序;
处理器1802,用于执行计算机程序,以用于:获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像;将第一图像与第二图像输入至图像处理模型中,获取目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征。
在一些实例中,处理器1802,还用于:获取第一图像与第二图像的位置差异数据;其中,处理器1802,具体用于:根据差异数据,获取目标对象。
在一些实例中,处理器1802,具体用于:根据位置差异数据,处理第二图像;拼接第一图像以及处理后的第二图像,得到拼接后图像;从拼接后图像中分割出目标对象。
在一些实例中,处理器1802,还用于:根据第三图像,对获取到的目标对象进行验证,第一图像、第二图像与第三图像为针对同一目标对象的不同图像;当验证结果为通过,则确定获取到的目标对象为最终目标对象。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现方法400A实施例中图像的处理方法的步骤。
以上描述了处理装置1200的内部功能和结构,在一个可能的设计中,处理装置1200的结构可实现为服务器,该设备1900可以包括:存储器1901以及处理器1902;
存储器1901,用于存储计算机程序;
处理器1902,用于执行计算机程序,以用于:获取第一图像和第二图像,第一图像作为参考图像,第二图像作为待校准图像,第一图像和第二图像为针对同一目标对象的不同图像;将第一图像与第二图像输入至待训练模型中,通过待训练模型中第一子模型,获取第一图像与第二图像的位置差异数据,通过位置差异数据以及待训练模型中第二子模型获取目标对象,获取到的目标对象具有第一图像以及第二图像的图像特征,第一子模型与第二子模型的训练参数相同;根据目标对象以及位置差异数据,对所述训练参数进行训练,从而对待训练模型进行训练。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现方法500A实施例中图像的处理方法的步骤。
以上描述了处理装置1300的内部功能和结构,在一个可能的设计中,处理装置1300的结构可实现为服务器,该设备2000可以包括:存储器2001以及处理器2002;
存储器2001,用于存储计算机程序;
处理器2002,用于执行计算机程序,以用于:获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像;将第一医学图像与第二医学图像输入至图像处理模型中,获取拼接第一医学图像和第二医学图像中的异常区域,获取到的异常区域具有第一医学图像以及第二医学图像的图像特征;提供异常区域的图像,第一医学图像作为参考图像,第二医学图像作为待校准图像。
在一些实例中,处理器2002,具体用于:通过图像处理模型,获取第一医学图像以及第二医学图像的位置差异数据;通过图像处理模型,根据差异数据,处理第二医学图像;通过图像处理模型,拼接第一图像以及处理后的第二图像,得到拼接后图像;通过图像处理模型,从拼接后图像中分割出异常区域。
在一些实例中,处理器2002,还用于:获取用户标识,根据用户标识确定用户等级或用户权限;根据用户等级或用户权限,获取并提供该用户对应的异常区域的图像。
在一些实例中,处理器2002,还用于:根据用户等级或用户权限,确定图像处理服务的使用费用、图像处理服务的等待时间、使用费用的付款方式和/或提供获取到图像的方式。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现方法600A实施例中图像的处理方法的步骤。
以上描述了处理装置1400的内部功能和结构,在一个可能的设计中,处理装置1400的结构可实现为服务器,该设备2100可以包括:存储器2101以及处理器2102;
存储器2101,用于存储计算机程序;
处理器2102,用于执行计算机程序,以用于:获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像;将第一医学图像与第二医学图像输入至图像处理模型中,获取拼接第一医学图像和第二医学图像中的异常区域,并确定异常区域所在位置,获取到的异常区域具有第一医学图像以及第二医学图像的图像特征;提供异常区域的图像以及位置,第一医学图像作为参考图像,第二医学图像作为待校准图像。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现方法700实施例中图像的处理方法的步骤。
以上描述了处理装置1500的内部功能和结构,在一个可能的设计中,处理装置1500的结构可实现为服务器,该设备2200可以包括:存储器2201以及处理器2202;
存储器2201,用于存储计算机程序;
处理器2202,用于执行计算机程序,以用于:获取第一监控图像和第二监控图像,所第一监控图像以及第二监控图像来自不同监控设备,第一监控图像作为参考图像,第二监控图像作为待校准图像,第一监控图像和第二监控图像为针对同一监控目标对象的不同图像;将第一监控图像与第二监控图像输入至图像处理模型中,获取监控目标对象,获取到的监控目标对象具有第一监控图像以及第二监控图像的图像特征;识别监控目标对象中的待查找信息。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现方法800A实施例中图像的处理方法的步骤。
以上描述了处理装置1600的内部功能和结构,在一个可能的设计中,处理装置1600的结构可实现为服务器,该设备2300可以包括:存储器2301以及处理器2302;
存储器2301,用于存储计算机程序;
处理器2302,用于执行计算机程序,以用于:获取第一监控视频以及第二监控视频,第一监控视频以及第二监控视频来自不同监控设备;从第一监控视频中获取第一监控图像,以及从第二监控视频中获取与第一监控视频对应的第二监控图像,第一监控图像作为参考图像,第二监控图像作为待校准图像,第一监控图像和第二监控图像为针对同一监控目标对象的不同图像;将第一监控图像与第二监控图像输入至图像处理模型中,获取监控目标对象,获取到的监控目标对象具有第一监控图像以及第二监控图像的图像特征;识别监控目标对象中的待查找信息。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现方法900实施例中视频的处理方法的步骤。
本申请另一示例性实施例提供的又一种图像的处理方法。本申请实施例提供的该方法2400由第二设备执行,如,服务器,该方法2400包括以下步骤:
2401:获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像,第一医学图像作为参考图像,第二医学图像作为待校准图像。
2402:将第一医学图像与第二医学图像输入至待训练模型中,获取第一医学图像与第二医学图像的位置差异数据以及异常区域,获取到的异常区域具有第一图像以及第二图像的图像特征。
2403:根据异常区域以及位置差异数据,对待训练模型进行训练。
需要说明的是,由于步骤2401-2403的具体实施方式与前文阐述的方法200的具体实施方式相似,这里就不再赘述。
本申请一示例性实施例提供的图像的处理装置。该装置2500可以应用于第二设备中,例如,服务器,该装置2500包括获取模块2501、输入模块2502以及训练模块2503,以下针对各个模块的功能进行详细的阐述:
获取模块2501,用于获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像,第一医学图像作为参考图像,第二医学图像作为待校准图像。
输入模块2502,用于将第一医学图像与第二医学图像输入至待训练模型中,获取第一医学图像与第二医学图像的位置差异数据以及异常区域,获取到的异常区域具有第一图像以及第二图像的图像特征。
训练模块2503,用于根据异常区域以及位置差异数据,对待训练模型进行训练。
以上描述了处理装置2500的内部功能和结构,在一个可能的设计中,处理装置2500的结构可实现为服务器,该设备2600可以包括:存储器2601以及处理器2602;
存储器2601,用于存储计算机程序;
处理器2602,用于执行计算机程序,以用于:用于获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像,第一医学图像作为参考图像,第二医学图像作为待校准图像;将第一医学图像与第二医学图像输入至待训练模型中,获取第一医学图像与第二医学图像的位置差异数据以及异常区域,获取到的异常区域具有第一图像以及第二图像的图像特征;根据异常区域以及位置差异数据,对待训练模型进行训练。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现方法2400实施例中图像的处理方法的步骤。
本申请另一示例性实施例提供的又一种图像的处理方法。本申请实施例提供的该方法2700由第二设备执行,如,服务器,该方法2700包括以下步骤:
2701:获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像。
2702:将第一医学图像与第二医学图像输入至图像处理模型中,获取拼接第一医学图像和第二医学图像中的异常区域,获取到的异常区域具有第一医学图像以及第二医学图像的图像特征。
2703:获取数字虚拟人的模型数据。
2704:将模型数据与异常区域进行融合,使得融合后的数字虚拟人具有异常区域。
需要说明的是,由于步骤2701-2702的具体实施方式与前文阐述的方法200的具体实施方式相似,这里就不再赘述。仅对步骤2703以及步骤2704进行阐述:
2703:获取数字虚拟人的模型数据。
其中,数字虚拟人是指通过数字技术模拟真实的人体器官而合成的三维人体模型。三维人体模型不仅具有人体外形以及肝脏、心脏、肾脏等各个器官的外貌,而且具备各器官的新陈代谢机能,能较为真实地显示出人体的正常生理状态和出现的各种变化。
三维人体模型是通过数码扫描设备对人体进行人体各切面数据扫描,获取到人体的大量照片数据,作为人体采集数据,根据这些采集数据以及3D建模软件建立3D人体模型,并对建立好的模型进行渲染,生成最终的三维人体模型。
例如,根据前文所述,服务器可以直接从模型数据平台,如模型服务器,获取预置数字虚拟人的3D人体模型数据。
2704:将模型数据与异常区域进行融合,使得融合后的数字虚拟人具有异常区域。
例如,根据前文所述,服务器在获取到3D人体模型数据后,将肝脏异常区域的图像导入到3D人体模型数据中,从而生成具有肝脏异常区域的三维人体模型,并可以对该三维人体模型中的肝脏异常区域进行监测,记录该肝脏异常区域的变化情况以及变化过程。
在一些实例中,该方法2700还包括:监测融合后的数字虚拟人中异常区域的变化情况。
例如,根据前文所述,服务器可以获取到肝脏异常区域所属人体的身体情况数据,这些身体情况数据可以决定人体的身体变化,那么也可以决定三维人体模型的身体变化,如白细胞数量、红细胞数量等。服务器将这些身体情况数据输入到三维人体模型中,使得三维人体模型可以模拟具有肝脏异常区域所属人体的人体变化数据,特别是肝脏异常区域的变化数据。服务器可以定期监测肝脏异常区域的变化数据。
在一些实例中,该方法2700还包括:通过图像处理模型,获取异常区域的变化情况;根据监测到的变化情况,验证获取到的变化情况。
例如,根据前文所述,服务器可以获取到肝脏异常区域的变化数据,确定肝脏异常区域所属人体当前的状况,可以起到预测所属人体的身体状况,特别是肝脏异常区域的变化数据。此外,服务器记录下所属人体的肝脏异常区域的变化数据后,在对肝脏异常区域所属人体进行实时身体检测时,特别是肝脏异常区域进行检测时,如,不同设备检测的CT结果,或不同医院检测的CT结果,且结果不同时,服务器可以通过记录下的所属人体的肝脏异常区域的变化数据,来与上述多个结果进行对比,选择与变化数据相符的结果,作为最终的实时检测结果。
本申请一示例性实施例提供的图像的处理装置。该装置2800可以应用于第二设备中,例如,服务器,该装置2800包括获取模块2801、输入模块2802以及融合模块2803,以下针对各个模块的功能进行详细的阐述:
获取模块2801,用于获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像。
输入模块2802,用于将第一医学图像与第二医学图像输入至图像处理模型中,获取拼接第一医学图像和第二医学图像中的异常区域,获取到的异常区域具有第一医学图像以及第二医学图像的图像特征。
获取模块2801,用于获取数字虚拟人的模型数据。
融合模块2803,用于将模型数据与异常区域进行融合,使得融合后的数字虚拟人具有异常区域。
在一些实例中,该装置2800还包括:监测模块,用于监测融合后的数字虚拟人中异常区域的变化情况。
在一些实例中,获取模块2801,还用于通过图像处理模型,获取异常区域的变化情况;该装置2800还包括:验证模块,用于根据监测到的变化情况,验证获取到的变化情况。
以上描述了处理装置2800的内部功能和结构,在一个可能的设计中,处理装置2800的结构可实现为服务器,该设备2900可以包括:存储器2901以及处理器2902;
存储器2901,用于存储计算机程序;
处理器2902,用于执行计算机程序,以用于:获取第一医学图像和第二医学图像,第一医学图像和第二医学图像为针对同一异常区域的不同模态图像;将第一医学图像与第二医学图像输入至图像处理模型中,获取拼接第一医学图像和第二医学图像中的异常区域,获取到的异常区域具有第一医学图像以及第二医学图像的图像特征;获取数字虚拟人的模型数据;将模型数据与异常区域进行融合,使得融合后的数字虚拟人具有异常区域。
在一些实例中,处理器2902,还用于:监测融合后的数字虚拟人中异常区域的变化情况。
在一些实例中,处理器2902,还用于:通过图像处理模型,获取异常区域的变化情况;根据监测到的变化情况,验证获取到的变化情况。
另外,本发明实施例提供了一种计算机存储介质,计算机程序被一个或多个处理器执行时,致使一个或多个处理器实现方法2700实施例中图像的处理方法的步骤。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如201、202、203等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程多媒体数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程多媒体数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程多媒体数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程多媒体数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (39)

1.一种图像的处理方法,其特征在于,包括:
获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;
将所述第一图像与所述第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征;
根据所述目标对象以及位置差异数据,对所述待训练模型进行训练。
2.根据权利要求1所述的方法,其特征在于,所述获取第一图像与第二图像的位置差异数据,包括:
通过训练参数,获取所述第一图像以及所述第二图像的图像特征数据,所述训练参数用于获取所述待训练模型中每个图像的图像特征数据;
根据所述图像特征数据,确定所述第一图像与所述第二图像之间的位置关系;
根据所述位置关系,确定所述位置差异数据。
3.根据权利要求1所述的方法,其特征在于,所述获取所述目标对象,包括:
根据所述位置差异数据,拼接所述第一图像以及第二图像;
根据拼接后图像,获取所述目标对象。
4.根据权利要求3所述的方法,其特征在于,所述拼接所述第一图像以及第二图像,包括:
根据所述位置差异数据,处理所述第二图像;
拼接所述第一图像以及处理后的第二图像,得到所述拼接后图像。
5.根据权利要求3或4所述的方法,其特征在于,所述根据拼接后图像,获取所述目标对象,包括:
根据训练参数,获取所述拼接后图像的图像特征数据,所述训练参数用于获取所述待训练模型中每个图像的图像特征数据;
根据所述拼接后图像的图像特征数据,从所述拼接后图像中分割出所述目标对象。
6.根据权利要求4或5所述的方法,其特征在于,所述方法还包括:
将所述拼接后图像输入至所述待训练模型。
7.根据权利要求1所述的方法,其特征在于,所述对所述待训练模型进行训练,包括:
获取所述目标对象的参考图像;
根据所述位置差异数据,处理所述第二图像;
根据处理后图像以及所述第一图像,确定第一损失函数;
根据所述目标对象以及所述目标对象的参考图像,确定第二损失函数;
根据所述第一损失函数以及所述第二损失函数,训练所述待训练模型,生成图像处理模型。
8.根据权利要求7所述的方法,其特征在于,所述确定第一损失函数,包括:
根据所述处理后图像中像素点的梯度信息以及所述第一图像中像素点的梯度信息,确定所述第一损失函数。
9.根据权利要求7或8所述的方法,其特征在于,所述训练所述待训练模型,包括:
确定所述第一损失函数与所述第二损失函数的总和;
根据所述总和,调整训练参数,从而训练所述待训练模型,直至训练结果符合预期情况,所述训练参数用于获取所述待训练模型中每个图像的图像特征数据。
10.根据权利要求2或5所述的方法,其特征在于,所述图像特征数据包括经过多个层次处理的多个层次特征数据。
11.根据权利要求2或5所述的方法,其特征在于,获取图像特征数据,包括:
根据所述训练参数以及采样层次,对所述图像进行下采样处理;
根据所述训练参数以及采样层次,对最下采样层次处理后图像进行上采样处理;
针对每个采样层次,拼接该采样层次的上采样处理后图像以及下采样处理后图像,并作为该采样层次的待上采样数据;
将最上采样层次对应的待上采样数据作为所述图像特征数据。
12.根据权利要求11所述的方法,其特征在于,所述采样层次包括至少两种采样层次。
13.一种图像的处理方法,其特征在于,包括:
获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;
将所述第一图像与所述第二图像输入至图像处理模型中,获取所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
获取第一图像与第二图像的位置差异数据;
其中,获取所述目标对象,包括:
根据所述差异数据,获取所述目标对象。
15.根据权利要求14所述的方法,其特征在于,所述获取所述目标对象,包括:
根据所述位置差异数据,处理所述第二图像;
拼接所述第一图像以及处理后的第二图像,得到所述拼接后图像;
从所述拼接后图像中分割出所述目标对象。
16.根据权利要求13所述的方法,其特征在于,所述方法还包括:
根据第三图像,对获取到的所述目标对象进行验证,所述第一图像、所述第二图像与所述第三图像为针对同一所述目标对象的不同图像;
当验证结果为通过,则确定获取到的所述目标对象为最终目标对象。
17.一种图像的处理系统,其特征在于,包括:第一设备以及第二设备;
所述第一设备,获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;
将所述第一图像以及所述第二图像发送至所述第二设备;
所述第二设备,将所述第一图像与所述第二图像输入至图像处理模型中,获取所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征;
将所述目标对象发送至所述第一设备。
18.一种图像的处理方法,其特征在于,包括:
获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;
将所述第一图像与所述第二图像输入至待训练模型中,通过待训练模型中第一子模型,获取第一图像与第二图像的位置差异数据,通过位置差异数据以及待训练模型中第二子模型获取所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征,所述第一子模型与第二子模型的训练参数相同;
根据所述目标对象以及位置差异数据,对所述训练参数进行训练,从而对待训练模型进行训练。
19.一种图像的处理方法,其特征在于,包括:
获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;
将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;
提供所述异常区域的图像;所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像。
20.根据权利要求19所述的方法,其特征在于,所述获取拼接所述第一医学图像和所述第二医学图像中的异常区域,包括:
通过所述图像处理模型,获取所述第一医学图像以及所述第二医学图像的位置差异数据;
通过所述图像处理模型,根据所述差异数据,处理所述第二医学图像;
通过所述图像处理模型,拼接所述第一图像以及处理后的第二图像,得到所述拼接后图像;
通过所述图像处理模型,从所述拼接后图像中分割出所述异常区域。
21.根据权利要求19所述的方法,其特征在于,所述方法还包括:
获取用户标识,根据用户标识确定用户等级或用户权限;
根据用户等级或用户权限,获取并提供该用户对应的异常区域的图像。
22.根据权利要求21所述的方法,其特征在于,所述方法还包括:
根据用户等级或用户权限,确定图像处理服务的使用费用、图像处理服务的等待时间、所述使用费用的付款方式和/或提供获取到图像的方式。
23.一种图像的处理方法,其特征在于,包括:
获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;
将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,并确定所述异常区域所在位置,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;
提供所述异常区域的图像以及位置,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像。
24.一种图像的处理方法,其特征在于,包括:
获取第一监控图像和第二监控图像,所述第一监控图像以及所述第二监控图像来自不同监控设备,所述第一监控图像作为参考图像,所述第二监控图像作为待校准图像,所述第一监控图像和所述第二监控图像为针对同一监控目标对象的不同图像;
将所述第一监控图像与所述第二监控图像输入至图像处理模型中,获取所述监控目标对象,获取到的所述监控目标对象具有所述第一监控图像以及所述第二监控图像的图像特征;
识别所述监控目标对象中的待查找信息。
25.一种视频的处理方法,其特征在于,包括:
获取第一监控视频以及第二监控视频,所述第一监控视频以及所述第二监控视频来自不同监控设备;
从所述第一监控视频中获取第一监控图像,以及从所述第二监控视频中获取与所述第一监控视频对应的第二监控图像,所述第一监控图像作为参考图像,所述第二监控图像作为待校准图像,获取到的所述第一监控图像和所述第二监控图像为针对同一监控目标对象的不同图像;
将所述第一监控图像与所述第二监控图像输入至图像处理模型中,获取所述监控目标对象,所述监控目标对象具有所述第一监控图像以及所述第二监控图像的图像特征;
识别所述监控目标对象中的待查找信息。
26.一种图像的处理方法,其特征在于,包括:
获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像;
将所述第一医学图像与所述第二医学图像输入至待训练模型中,获取第一医学图像与第二医学图像的位置差异数据以及所述异常区域,获取到的所述异常区域具有所述第一图像以及所述第二图像的图像特征;
根据所述异常区域以及位置差异数据,对所述待训练模型进行训练。
27.一种图像的处理方法,其特征在于,包括:
获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;
将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;
获取数字虚拟人的模型数据;
将所述模型数据与所述异常区域进行融合,使得融合后的数字虚拟人具有异常区域。
28.根据权利要27所述的方法,其特征在于,所述方法还包括:
监测所述融合后的数字虚拟人中异常区域的变化情况。
29.根据权利要28所述的方法,其特征在于,所述方法还包括:
通过所述图像处理模型,获取所述异常区域的变化情况;
根据监测到的变化情况,验证获取到的变化情况。
30.一种计算设备,包括存储器以及处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;
将所述第一图像与所述第二图像输入至待训练模型中,获取第一图像与第二图像的位置差异数据以及所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征;
根据所述目标对象以及位置差异数据,对所述待训练模型进行训练。
31.一种计算设备,包括存储器以及处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;
将所述第一图像与所述第二图像输入至图像处理模型中,获取所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征。
32.一种计算设备,包括存储器以及处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
获取第一监控图像和第二监控图像,所述第一监控图像以及所述第二监控图像来自不同监控设备,所述第一监控图像作为参考图像,所述第二监控图像作为待校准图像,所述第一监控图像和所述第二监控图像为针对同一监控目标对象的不同图像;
将所述第一监控图像与所述第二监控图像输入至图像处理模型中,获取所述监控目标对象,获取到的所述监控目标对象具有所述第一监控图像以及所述第二监控图像的图像特征;
识别所述监控目标对象中的待查找信息。
33.一种计算设备,包括存储器以及处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
获取第一监控视频以及第二监控视频,所述第一监控视频以及所述第二监控视频来自不同监控设备;
从所述第一监控视频中获取第一监控图像,以及从所述第二监控视频中获取与所述第一监控视频对应的第二监控图像,所述第一监控图像作为参考图像,所述第二监控图像作为待校准图像,所述第一监控图像和所述第二监控图像为针对同一监控目标对象的不同图像;
将所述第一监控图像与所述第二监控图像输入至图像处理模型中,获取所述监控目标对象,获取到的所述监控目标对象具有所述第一监控图像以及所述第二监控图像的图像特征;
识别所述监控目标对象中的待查找信息。
34.一种计算设备,包括存储器以及处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
获取第一图像和第二图像,所述第一图像作为参考图像,所述第二图像作为待校准图像,所述第一图像和所述第二图像为针对同一目标对象的不同图像;
将所述第一图像与所述第二图像输入至待训练模型中,通过待训练模型中第一子模型,获取第一图像与第二图像的位置差异数据,通过位置差异数据以及待训练模型中第二子模型获取所述目标对象,获取到的所述目标对象具有所述第一图像以及所述第二图像的图像特征,所述第一子模型与第二子模型的训练参数相同;
根据所述目标对象以及位置差异数据,对所述训练参数进行训练,从而对待训练模型进行训练。
35.一种计算设备,包括存储器以及处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一病异常区域的不同模态图像;
将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;
提供所述异常区域的图像,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像。
36.一种计算设备,包括存储器以及处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;
将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,并确定所述异常区域所在位置,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;
提供所述异常区域的图像以及位置,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像。
37.一种计算设备,包括存储器以及处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像,所述第一医学图像作为参考图像,所述第二医学图像作为待校准图像;
将所述第一医学图像与所述第二医学图像输入至待训练模型中,获取第一医学图像与第二医学图像的位置差异数据以及所述异常区域,获取到的所述异常区域具有所述第一图像以及所述第二图像的图像特征;
根据所述异常区域以及位置差异数据,对所述待训练模型进行训练。
38.一种计算设备,包括存储器以及处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于执行所述计算机程序,以用于:
获取第一医学图像和第二医学图像,所述第一医学图像和所述第二医学图像为针对同一异常区域的不同模态图像;
将所述第一医学图像与所述第二医学图像输入至图像处理模型中,获取拼接所述第一医学图像和所述第二医学图像中的异常区域,获取到的所述异常区域具有所述第一医学图像以及所述第二医学图像的图像特征;
获取数字虚拟人的模型数据;
将所述模型数据与所述异常区域进行融合,使得融合后的数字虚拟人具有异常区域。
39.一种存储有计算机程序的计算机可读存储介质,其特征在于,计算机程序被一个或多个处理器执行时,致使所述一个或多个处理器实现权利要求1-29任一项所述方法中的步骤。
CN201910852977.9A 2019-09-10 2019-09-10 图像的处理方法、系统、计算设备及存储介质 Pending CN112561914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910852977.9A CN112561914A (zh) 2019-09-10 2019-09-10 图像的处理方法、系统、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910852977.9A CN112561914A (zh) 2019-09-10 2019-09-10 图像的处理方法、系统、计算设备及存储介质

Publications (1)

Publication Number Publication Date
CN112561914A true CN112561914A (zh) 2021-03-26

Family

ID=75028829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910852977.9A Pending CN112561914A (zh) 2019-09-10 2019-09-10 图像的处理方法、系统、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN112561914A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113100802A (zh) * 2021-04-16 2021-07-13 上海联影医疗科技股份有限公司 一种校正机械偏差的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113100802A (zh) * 2021-04-16 2021-07-13 上海联影医疗科技股份有限公司 一种校正机械偏差的方法和系统
CN113100802B (zh) * 2021-04-16 2023-07-28 上海联影医疗科技股份有限公司 一种校正机械偏差的方法和系统

Similar Documents

Publication Publication Date Title
Zioulis et al. Spherical view synthesis for self-supervised 360 depth estimation
US11954813B2 (en) Three-dimensional scene constructing method, apparatus and system, and storage medium
WO2020108525A1 (zh) 图像分割方法、装置、诊断系统、存储介质及计算机设备
US20210174543A1 (en) Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
CN111507381A (zh) 图像识别方法及相关装置、设备
Birklbauer et al. Rendering gigaray light fields
Mei et al. Waymo open dataset: Panoramic video panoptic segmentation
US20230274400A1 (en) Automatically removing moving objects from video streams
KR20190042429A (ko) 이미지 처리 방법
CN109525786A (zh) 视频处理方法、装置、终端设备及存储介质
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
US20230394833A1 (en) Method, system and computer readable media for object detection coverage estimation
CN111105351B (zh) 一种视频序列影像拼接方法及装置
Ijiri et al. Digitization of natural objects with micro CT and photographs
Pan et al. Depth map completion by jointly exploiting blurry color images and sparse depth maps
CN112561914A (zh) 图像的处理方法、系统、计算设备及存储介质
JP2022518402A (ja) 三次元再構成の方法及び装置
Al‐Kofahi et al. Algorithms for accurate 3D registration of neuronal images acquired by confocal scanning laser microscopy
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
Kugler et al. Accurate 3D reconstruction of a whole pancreatic cancer tumor from pathology images with different stains
Yu et al. Human pose estimation in monocular omnidirectional top-view images
Jin et al. Parallax tolerant light field stitching for hand-held plenoptic cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination