CN116206331A - 图像处理方法、计算机可读存储介质以及计算机设备 - Google Patents
图像处理方法、计算机可读存储介质以及计算机设备 Download PDFInfo
- Publication number
- CN116206331A CN116206331A CN202310105637.6A CN202310105637A CN116206331A CN 116206331 A CN116206331 A CN 116206331A CN 202310105637 A CN202310105637 A CN 202310105637A CN 116206331 A CN116206331 A CN 116206331A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- biological
- classification
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 179
- 238000003709 image segmentation Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000006870 function Effects 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 12
- 230000003190 augmentative effect Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、计算机可读存储介质以及计算机设备。其中，该方法包括：获取生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别。本申请解决了相关技术中生物特征图像的处理准确度较低的技术问题。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种图像处理方法、计算机可读存储介质以及计算机设备。
背景技术
目前，在对生物对象的三维图像进行处理的过程中，对于同一类型的生物特征在不同的三维图像中具有不同的质地、形状和对比模式，而且特定类型的生物特征的占比较高，从而导致生物特征图像的处理准确度较低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种图像处理方法、计算机可读存储介质以及计算机设备，以至少解决相关技术中生物特征图像的处理准确度较低的技术问题。
根据本申请实施例的一个方面，提供了一种图像处理方法，包括：获取生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别。
根据本申请实施例的另一方面，还提供了一种图像处理方法，包括：获取生物对象的目标生物特征图像和生物对象的目标元信息；对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素；基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果，其中，目标分类结果用于表征目标生物特征图像对应的类别。
根据本申请实施例的另一方面，还提供了一种图像处理方法，包括：响应作用于操作界面上的输入指令，在操作界面上显示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；响应作用于操作界面上的图像处理指令，在操作界面上显示目标分割结果和目标分类结果，其中，目标分割结果用于表征至少一个部位的生物特征图像中的目标生物特征图像中属于不4同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别，目标分割结果和目标分类结果是于目标元信息对目标生物特征图像进行图像分割和图像分类所得到的，目标生物特征图像是通过对三维图像进行图像分割所得到的。
根据本申请实施例的另一方面，还提供了一种图像处理方法，包括：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；驱动VR设备或AR设备渲染展示目标分割结果和目标分类结果。
根据本申请实施例的另一方面，还提供了一种图像处理方法，包括：通过调用第一接口获取生物对象的三维图像和生物对象的目标元信息，其中，第一接口包括第一参数，第一参数的参数值为三维图像和目标元信息，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；通过调用第二接口输出目标分割结果和目标分类结果，其中，第二接口包括第二参数，第二参数的参数值为目标分割结果和目标分类结果。
在本申请实施例中，首先获取生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像，对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像，基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像对应的类别，实现了提高对生物特征图像的处理准确度。容易注意到的是，可以先对三维图像进行初步的图像分割，得到生物特征图像中的需要关注的部位对应的目标生物特征图像，然后结合生物对象的目标元信息对目标生物特征图像进行图像分割，并基于图像分割的结果对目标生物特征图像进行分类，在分类过程中结合目标元信息可以使分类的结果更加的符合生物对象本身的情况，从而可以提高对生物特征图像进行处理的准确度，进而解决了相关技术中生物特征图像的处理准确度较低的技术问题。
容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种图像处理方法的虚拟现实设备的硬件环境的示意图；
图2是根据本申请实施例的一种图像处理方法的计算环境的结构框图；
图3是根据本申请实施例1的图像处理方法的流程图；
图4是根据本申请实施例的一种元信息感知双路径转换器的示意图；
图5是根据本申请实施例2的另一种图像处理方法的流程图；
图6是根据本申请实施例3的另一种图像处理方法的流程图；
图7是根据本申请实施例4的一种图像处理方法的流程图；
图8是根据本申请实施例5的一种图像处理方法的流程图；
图9是根据本申请实施例6的一种图像处理装置的示意图；
图10是根据本申请实施例7的一种图像处理装置的示意图；
图11是根据本申请实施例8的一种图像处理装置的示意图；
图12是根据本申请实施例9的一种图像处理装置的示意图；
图13是根据本申请实施例10的一种图像处理装置的示意图；
图14是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本申请实施例，提供了一种图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种图像处理方法的虚拟现实设备的硬件环境的示意图。如图1所示，虚拟现实设备104与终端106相连接，终端106与服务器102通过网络进行连接，上述虚拟现实设备104并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端104并不限定于PC、手机、平板电脑等，服务器102可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
可选地，该实施例的虚拟现实设备104包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：获取生物对象的目标生物特征图像和生物对象的目标元信息；对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素；基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果，其中，目标分类结果用于表征目标生物特征图像对应的类别，从而解决了相关技术中生物特征图像的处理准确度较低的技术问题。
该实施例的终端可以用于执行在虚拟现实(Virtual Reality，简称为VR)设备或增强现实(Augmented Reality，简称为AR)设备的呈现画面上展示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；驱动VR设备或AR设备渲染展示目标分割结果和目标分类结果，并向虚拟现实设备104发送目标分割结果和目标分类结果，虚拟现实设备104在接收到目标分割结果和目标分类结果之后在目标投放位置显示出来。
可选地，该实施例的虚拟现实设备104带有的眼球追踪的HMD(Head MountDisplay，头戴式显示器)头显与眼球追踪模块与上述实施例中的作用相同，也即，HMD头显中的屏幕，用于显示实时的画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹。该实施例的终端通过跟踪系统获取用户在真实三维空间的位置信息与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向。
图1示出的硬件结构框图，不仅可以作为上述AR/VR设备(或移动设备)的示例性框图，还可以作为上述服务器的示例性框图，一种可选实施例中，图2以框图示出了使用上述图1所示的AR/VR设备(或移动设备)作为计算环境201中计算节点的一种实施例。图2是根据本申请实施例的一种图像处理方法的计算环境的结构框图，如图2所示，计算环境201包括运行在分布式网络上的多个(图中采用210-1，210-2，…,来示出)计算节点(如服务器)。计算节点包含本地处理和内存资源，终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境301中的多个服务220-1，220-2，220-3和220-4进行提供，分别代表服务“A”，“D”，“E”和“H”。
终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务，在一些实施例中，可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务(计算环境201中提供的一个或多个服务)的供应和/或请求。
服务是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中，可以根据基于虚拟机(Virtual Machine，VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机，在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时，根据基于容器的虚拟化，可以启动容器来虚拟化整个操作系统(Operating System，OS)，以便多个工作负载可以在单个操作系统实例上运行。
在基于容器虚拟化的一个实施例中，服务的若干容器可以被组装成一个Pod(例如，Kubernetes Pod)。举例来说，如图2所示，服务220-2可以配备一个或多个Pod 240-1，240-2，…，240-N(统称为Pod)。Pod可以包括代理245和一个或多个容器242-1，242-2，…，242-M(统称为容器)。Pod中一个或多个容器处理与服务的一个或多个相应功能相关的请求，代理245通常控制与服务相关的网络功能，如路由、负载均衡等。其他服务也可以为类似于Pod的Pod。
在操作过程中，执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务，执行一个服务的一个或多个功能需要调用另一个服务的一个或多个功能。如图2所示，服务“A”220-1从入口网关230接收终端用户202的用户请求，服务“A”220-1可以调用服务“D”220-2，服务“D”220-2可以请求服务“E”220-3执行一个或多个功能。
上述的计算环境可以是云计算环境，资源的分配由云服务提供上管理，允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能，而不是扩展单个硬件设备来处理潜在的负载。
在上述运行环境下，本申请提供了如图3所示的图像处理方法。需要说明的是，该实施例的图像处理方法可以由图1所示实施例的移动终端执行。图3是根据本申请实施例1的图像处理方法的流程图。如图3所示，该方法可以包括如下步骤：
步骤S302，获取生物对象的三维图像和生物对象的目标元信息。
其中，三维图像包含生物对象的至少一个部位的生物特征图像。
上述的生物对象可以为人、动物等。上述的生物对象的至少一个部位可以是生物对象体内的器官，也可以是生物对象体外的器官，此处不限于器官的具体类型。
上述的三维图像可以是需要关注异常情况或者局部区域的图像，其可以属于长尾分布的图像，即是属于类别不平衡的图像，其中，长尾分布的图像中一般会出现少见的对象，或者同一对象以不同的形态出现，从而导致识别较为困难。在相关领域，待处理图像可以是CT(Computed Tomography，称为电子计算机断层扫描)扫描图像。在其他领域还可以是通过其他方式获得的三维图像。
上述的目标元信息可以为生物对象的相关信息，其中，该相关信息可以为生物对象的身份信息，例如年龄、性别等。该相关信息还可以为生物对象的其他信息，此处不做限定，可以根据实际情况确定该生物对象的相关信息。
在一种可选的实施例中，可以通过影像设备采集生物对象中至少一个部位的生物特征图像，还可以从网络上获取到生物对象的至少一个部位的生物特征图像，从而得到上述的三维图像，具体采集三维图像的方式可以根据实际情况进行确定。
在另一种可选的实施例中，可以使用符合相关规定的方式获取到生物对象的目标元信息。
步骤S304，对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像。
上述的目标生物特征图像可以为至少一个部位中需要关注部位对应的目标生物特征。
在一种可选的实施例中，可以采用3D卷积层(Conv3D)作为编码器和解码器对三维图像进行初步的图像分割，得到分割结果，可以根据该分割结果得到需要三维图像中需要关注的区域，并对三维图像中需要关注的区域进行裁剪，得到至少一个部位的生物特征图像中的目标生物特征图像。通过对三维图像进行初步的图像分割，可以使得后续的分割更关注于三维图像中目标生物特征所在的区域，以便提高后续分割的准确度。
在另一种可选的实施例中，在对三维图像进行图像分割的过程中，可以采用多尺度分割的方式对三维图像进行分割，可以提高对三维图像分割的准确度，进而可以得到准确度较高的目标生物特征图像。
步骤S306，基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果。
其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别。
上述的体素用于表示三维空间中的像素。
上述的不同类型的生物特征的体素可以采用不同的形式进行表示，例如，可以通过不同的颜色来表示不同类型的生物特征的体素，可以通过不同的纹理来表示不同类型的生物特征的体素，此处对不同类型的生物特征的体素的表现形式不做限定。
在一种可选的实施例中，可以先对目标生物特征图像进行图像分割，得到用于表征生物特征图像中属于不同类型的生物特征的体素，也即上述的目标分割结果，可以基于目标元信息对属于不同类型的生物特征的体素进行分类，得到目标生物特征图像对应的类别，也即上述的目标生物特征图像。
需要说明的是，对于不同的生物对象，相同的目标生物特征图像可能表示不同的类别，因此，需要结合生物对象本身的目标元信息对目标生物特征图像进行分类，从而使得目标分类结果更加符合生物对象本身的情况。
上述的图像分割可以为分割路径，上述的图像分类可以为分类路径。
本申请的上述方法由基于卷积神经网络(Convolutional Neural Network，简称为CNN)的分割路径和基于特征提取网络(Transformer)的分类路径组成，分割路径侧重于使用基于图像分割模型(UNet)的网络通过语义分割进行初始特征提取，分类路径基于增强全局上下文信息建模的双路径转换器堆栈，利用提取的特征和目标元信息进行生物对象的分类。
通过上述步骤，首先获取生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像，对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像，基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像对应的类别，实现了提高对生物特征图像的处理准确度。容易注意到的是，可以先对三维图像进行初步的图像分割，得到生物特征图像中的需要关注的部位对应的目标生物特征图像，然后结合生物对象的目标元信息对目标生物特征图像进行图像分割，并基于图像分割的结果对目标生物特征图像进行分类，在分类过程中结合目标元信息可以使分类的结果更加的符合生物对象本身的情况，从而可以提高对生物特征图像进行处理的准确度，进而解决了相关技术中生物特征图像的处理准确度较低的技术问题。
本申请上述实施例中，基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，包括：对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果；基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果。
上述的目标多尺度特征可以是在不同尺度下对目标生物特征图像进行特征提取得到的尺度特征。
上述的目标分割结果可以对目标多尺度特征进行预测得到的分割结果。
在一种可选的实施例中，可以将目标元信息融合到目标多尺度特征中，基于融合结果对目标生物特征图像进行图像分类，得到目标分类结果。
本申请上述实施例中，对目标生物特征图像进行图像分割，得到目标生物特征图像的多尺度特征和目标分割结果，包括：利用图像处理模型中的编码器对目标生物特征图像进行多尺度的特征提取，得到目标生物特征图像的编码多尺度特征；利用图像处理模型中的解码器对编码多尺度特征进行特征融合，得到目标生物特征图像的解码多尺度特征；基于编码多尺度特征和解码多尺度特征，得到目标多尺度特征；基于解码多尺度特征对目标生物特征图像进行图像分割，得到目标分割结果。
上述的图像处理模型可以为3D卷积神经网络(3DUNet)。
上述的编码器的数量可以为多个。上述的解码器的数量也可以为多个。其中，编码器的数量可以为6个，解码器的数量可以为6个，此处对数量仅作举例描述并不做任何限定。
上述的编码器和解码器具有对应关系，该对应关系可以为一一对应关系。编码器输出的编码多尺度特征可以通过该编码器对应的解码器进行解码，得到该编码多尺度特征对应的解码多尺度特征。
在一种可选的实施例中，不同的编码器用于对目标生物特征图像进行不同尺度的特征提取，得到目标生物特征图像的编码多尺度特征，可以对解码多尺度特征对目标生物特征进行不同尺度的图像分割，得到融合了多个尺度的目标分割结果，从而提高目标分割结果的准确度。
在另一种可选的实施例中，可以利用图像处理模型中不同的解码器对与该解码器对应的编码器输出的编码多尺度特征进行特征融合，得到目标生物特征图像的解码多尺度特征，可以将编码多尺度特征和与该编码多尺度对应的解码多尺度特征进行结合得到目标多尺度特征。
本申请上述实施例中，基于编码多尺度特征和解码多尺度特征，得到目标多尺度特征，包括：利用预设激活函数对编码多尺度特征进行处理，得到预设多尺度特征；获取预设多尺度特征与解码多尺度特征的乘积，得到第一多尺度特征；对第一多尺度特征进行卷积运算，得到第二多尺度特征；获取第二多尺度特征和位置特征的和值，得到目标多尺度特征，其中，位置特征用于表征编码多尺度特征在目标生物特征图像中的位置。
上述的预设激活函数可以为激活函数(Sigmoid、Tanh、ReLU等)，此处的预设激活函数可以根据实际需求进行设定。
在一种可选的实施例中，可以利用预设激活函数对编码多尺度特征进行处理，以便完成对编码多尺度特征的线性处理，从而得到预设多尺度特征。
上述的位置特征主要用于对第二多尺度特征在目标生物特征图像中的位置进行定位。
可选的，可以通过如下公式表示计算得到目标多尺度特征的过程：
Fc＝fc(Fd*σ(Fe))+Q；
其中，σ是用于从编码器特征中产生注意力以引导解码器特征输出的激活函数，也即上述的预设激活函数，fc为卷积运算，Q是可学习的位置嵌入特征，也即上述的位置特征，其主要用于进行定位，Fc为上述的目标多尺度特征。
本申请上述实施例中，基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果，包括：基于目标元信息和目标多尺度特征，利用图像处理模型中的多个双路径分类模块对目标生物特征图像进行图像分类，得到目标分类结果，其中，多个双路径分类模块与目标多尺度特征一一对应。
上述的双路径分类模块可以为双路径转化器，其中，双路径转化器主要用于将分割路径输出的目标多尺度特征与目标元信息进行融合，以便对目标生物特征图像进行图像分类，得到目标分类结果。
上述的多个双路径分类模块可以依次连接，其中，前一个双路径分类模块的输出可以作为下一个双路径分类模型的输入。
上述的多个双路径分类模块可以与目标多尺度特征的中不同尺度的特征一一对应。其中，不同尺度的特征分别输入到其对应的双路径分类模块中。
本申请上述实施例中，基于目标元信息和目标多尺度特征，利用图像处理模型中的多个双路径分类模块对目标生物特征图像进行图像分类，得到目标分类结果，包括：对目标元信息和预设记忆特征进行融合，得到多个双路径分类模块中的第一个双路径分类模块对应的记忆特征；利用多个双路径分类模块中的第二双路径分类模块，对第二双路径分类模块对应的目标记忆特征和第二双路径分类模块对应的多尺度特征进行处理，得到第二双路径分类模块的输出特征，其中，第二双路径分类模块用于表征多个双路径分类模块中除最后一个双路径分类模块之外的任意一个双路径分类模块；确定第二双路径分类模块的输出特征为第三双路径分类模块对应的记忆特征，其中，第三双路径分类模块用于表征多个双路径分类模块中位于第二双路径分类模块之后的双路径分类模块对应的记忆特征；基于最后一个双路径分类模块的输出特征，对目标生物特征图像进行图像分类，得到目标分类结果。
上述的预设记忆特征可以为初始一维特征，其用于表示目标生物特征图像的初始的全局特征。
上述的第一个双路径分类模块可以是多个依次连接双路径分类模块中的第一个双路径分类模型。
上述的第二双路径分类模块输入的目标记忆特征可以为第二双路径分类模块中的前一个双路径分类模块的输出特征。
可以通过以下方式将目标元信息和预设记忆特征进行融合，得到第一个双路径分类模块对应的记忆特征：
Fm＝[D，M]；
其中，Fm可以为第一个双路径分类模块对应的记忆特征，D为预设记忆特征，M为生物对象的目标元信息。
可以利用多个双路径分类模块中的第二双路径分类模块对目标记忆特征和多尺度特征进行融合，得到第二路径分类模块的输出特征，并将该输出特征作为第三双路径分类模块对应的记忆特征。
可以利用第三双路径分类模块对记忆特征和第三双路径分类模块对应的多尺度特征进行融合，得到第三路径分类模块对应的输出特征，依次类推，在最后一个双路径分类模块得到输出特征时，由于该输出特征融合了分割路径中输出的多个尺度特征，并且结合了目标元信息，因此根据该输出特征对目标生物特征图像进行图像分类得到的目标分类结果的准确度较高。
本申请上述实施例中，第二双路径分类模块包括：并行执行的两个自注意力单元和交叉注意力单元，其中，利用多个双路径分类模块中的第二双路径分类模块，对第二双路径分类模块对应的目标记忆特征和第二双路径分类模块对应的多尺度特征进行处理，得到第二双路径分类模块的输出特征，包括：利用两个自注意力单元分别对第二双路径分类模块对应的目标记忆特征和第二双路径分类模块对应的多尺度特征进行自注意力处理，得到第一自注意力特征和第二自注意力特征；利用交叉注意力单元对第一自注意力特征和第二自注意力特征进行交叉注意力处理，得到述第二双路径分类模块的输出特征。
在一种可选的实施例中，可以利用两个自注意力单元分别对目标记忆特征和多尺度特征进行自注意力处理，从而确定出目标记忆特征和多尺度特征中需要关注的特征，也即第一自注意力特征和第二自注意力特征。可以利用交叉注意力单元对第一自注意力特征和第二自注意力特征进行交叉处理，使得在交叉路径上可以根据获取到第一自注意力特征和第二自注意力特征的上下文信息，从而提高对第一自注意力特征和第二自注意力特征的处理效果，从而提高第二双路径分类模块的输出特征的准确度。
本申请上述实施例中，图像处理模型在通过训练样本进行训练过程中的总损失函数为第一损失函数和第二损失函数之和，第一损失函数是基于训练样本的真实分割结果和预测分割结果所确定的，第二损失函数是基于训练样本的真实分类结果和预测分类结果所确定的。
上述的真实分类结果可以是训练样本的预先确定的实际分类结果，预测分类结果可以为图像处理模型分类得到的分类结果。
上述的总损失函数可以通过如下方式表示：
其中，
为总损失函数，/>
是分割路径训练的损失函数，也即上述的第一损失函数，/>
是分类路径训练的交叉熵损失函数，也即上述的第二损失函数，Vs是真实分割结果，Y是预测分割结果，P是真实分类结果，Z是预测分类结果。
图4是根据本申请实施例的一种元信息感知双路径转换器的示意图，在第一阶段，可以对三维图像的进行初次分割，得到三维图像中至少一个部位所在的区域，可以根据该区域对三维图像进行裁剪，得到至少一个部位的生物特征图像，可选的，可以通过多尺度分割的方式对三维图像进行处理，可以采用Conv3D作为编码器和解码器三维图像进行初步分割，得到需要关注的区域，也即第一阶段输出结果中虚线框中的区域，可以对该区域的图像进行调整，得到生物特征图像，可以在第二阶段将该生物特征图像输入到MDPFormer中进行分割和分类，图4中右下角区域说明了分类路径中双路径转化器的设计。
如图4所示，MDPFormer由两条路径组成，包括分割路径和分类路径，分割路径的目标是通过将图像分割成三个一般类来在多个尺度上提取至少一个部位的丰富特征表示，给定输入X和分割网络Gs，本申请有
Vs，Fd1，Fd2，Fd3，Fd4，Fe1，Fe2，Fe3，Fe4＝Gs(X)；
其中，Vs是分割结果，Fd1，Fd2，Fd3，Fd4是解码器的多尺度特征，Fe1，Fe2，Fe3，Fe4是编码器的多尺度特征，在这里部署了一个3DUNet作为分割路径的骨干网络，如图4所示，并不是直接使用解码器特征作为分类路径的输入，而是通过以下方式组合多尺度编码器和多尺度解码器的特征作为分类路径的输入，具体表示如下：
Fc＝fc(Fd*σ(Fe))+Q；
其中，σ是用于从编码器特征中产生注意力以引导解码器特征输出的激活函数，fc是进一步细化分割路径特征输出的卷积层，其主要用于进行卷积运算，Q是可学习的位置嵌入特征，其主要用于进行定位，Fc是从分割路径输出的特征中提取出来用于输入到分类路径的特征。
需要说明的是，如图4中所示，编码器和与其对应的解码器的尺度信息分别为160×256×40、80×128×40、40×64×40、20×32×20、10×16×10、5×8×5，编码器和与其对应的解码器的卷积和(C)分别为32、64、128、256、320。
分类路径由四个连续的双路径转换器块组成，其中，双路径转换器块都将分类路径的特征和全局内存特征作为输入，将D(Memory)表示为初始一维特征，也即初始记忆特征，本申请可以通过以下方式将目标元信息和初始记忆特征进行融合：
Fm＝[D，M]；
其中，[·]是串联运算符，M是生物对象的目标元信息，在双路径转化器块中，可以使用交叉注意力模块来融合Fm和Fc，首先通过在不同特征位置的分割路径输出特征Fc的可学习线性投影来计算分割路径的查询值qs、键ks和值vs，类似地，查询值qc，键kc和值vc是使用另一组投影矩阵从分类路径全局内存特征Fc计算出来的，交叉注意输出的计算方法如下：
yc＝softmax(qc·kcs)vcs；
其中，[·]是用于融合来自两个路径的值和键的串联运算符，然后将输出的yc作为Fm的记忆特征输入到下一个块中，使用从最后一个双路变压器块输出的分类路径的特征，根据两个全连接层和一个分类层预测得到分类P，此处的损失函数可以通过如下方式表示：
其中，
是分割路径训练的损失函数，/>
是分类路径训练的交叉熵损失函数。
本申请提出了一种元信息感知双路径转换器(Meta-Informationaware Dual-Path Transformer，简称为MDPFormer)，用于对生物对象的至少一个部位的生物特征图像进行分类和分割，本申请提出的MDPFormer由分割路径和分类路径组成，分割路径侧重于使用基于CNN的网络通过语义分割提取初始特征，分类路径利用目标元信息和提取的初始特征进行生物对象的分类。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
实施例2
根据本申请实施例，还提供了一种图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图5是根据本申请实施例2的另一种图像处理方法的流程图。如图5所示，该方法可以包括如下步骤：
步骤S502，获取生物对象的目标生物特征图像和生物对象的目标元信息。
步骤S504，对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果。
其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素。
步骤S506，基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果。
其中，目标分类结果用于表征目标生物特征图像对应的类别。
通过上述步骤，获取生物对象的目标生物特征图像和生物对象的目标元信息；对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素；基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果，其中，目标分类结果用于表征目标生物特征图像对应的类别，实现了提高对生物特征图像的处理准确度。容易注意到的是，可以先对三维图像进行初步的图像分割，得到生物特征图像中的需要关注的部位对应的目标生物特征图像，然后结合生物对象的目标元信息对目标生物特征图像进行图像分割，并基于图像分割的结果对目标生物特征图像进行分类，在分类过程中结合目标元信息可以使分类的结果更加的符合生物对象本身的情况，从而可以提高对生物特征图像进行处理的准确度，进而解决了相关技术中生物特征图像的处理准确度较低的技术问题。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例3
根据本申请实施例，还提供了一种图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图6是根据本申请实施例3的另一种图像处理方法的流程图。如图6所示，该方法可以包括如下步骤：
步骤S602，响应作用于操作界面上的输入指令，在操作界面上显示生物对象的三维图像和生物对象的目标元信息。
其中，三维图像包含生物对象的至少一个部位的生物特征图像。
上述的操作界面可以是能够方便用户进行操作的显示界面，上述的输入指令可以是用于确认三维图像和目标元信息的指令。
步骤S604，响应作用于操作界面上的图像处理指令，在操作界面上显示目标分割结果和目标分类结果。
其中，目标分割结果用于表征至少一个部位的生物特征图像中的目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别，目标分割结果和目标分类结果是于目标元信息对目标生物特征图像进行图像分割和图像分类所得到的，目标生物特征图像是通过对三维图像进行图像分割所得到的。
上述的图像处理指令可以在需要对三维图像和目标元信息进行处理时，通过进行相关操作生成的图像处理指令，可以根据该图像处理指令对三维图像进行图像分割，得到目标生物特征图像，并利用目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果。
通过上述步骤，响应作用于操作界面上的输入指令，在操作界面上显示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像，响应作用于操作界面上的图像处理指令，在操作界面上显示目标分割结果和目标分类结果，其中，目标分割结果用于表征至少一个部位的生物特征图像中的目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别，目标分割结果和目标分类结果是于目标元信息对目标生物特征图像进行图像分割和图像分类所得到的，目标生物特征图像是通过对三维图像进行图像分割所得到的，实现了提高对生物特征图像的处理准确度。容易注意到的是，可以先对三维图像进行初步的图像分割，得到生物特征图像中的需要关注的部位对应的目标生物特征图像，然后结合生物对象的目标元信息对目标生物特征图像进行图像分割，并基于图像分割的结果对目标生物特征图像进行分类，在分类过程中结合目标元信息可以使分类的结果更加的符合生物对象本身的情况，从而可以提高对生物特征图像进行处理的准确度，进而解决了相关技术中生物特征图像的处理准确度较低的技术问题。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例4
根据本申请实施例，还提供了一种可以应用于虚拟现实VR设备、增强现实AR设备等虚拟现实场景下的图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图7是根据本申请实施例4的一种图像处理方法的流程图。如图7所示，该方法可以包括如下步骤：
步骤S702，在虚拟现实VR设备或增强现实AR设备的呈现画面上展示生物对象的三维图像和生物对象的目标元信息。
其中，三维图像包含生物对象的至少一个部位的生物特征图像。
步骤S704，对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像。
步骤S706，基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果。
其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别。
步骤S708，驱动VR设备或AR设备渲染展示目标分割结果和目标分类结果。
通过上述步骤，通过在虚拟现实VR设备或增强现实AR设备的呈现画面上展示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；驱动VR设备或AR设备渲染展示目标分割结果和目标分类结果，实现了提高对生物特征图像的处理准确度。容易注意到的是，可以先对三维图像进行初步的图像分割，得到生物特征图像中的需要关注的部位对应的目标生物特征图像，然后结合生物对象的目标元信息对目标生物特征图像进行图像分割，并基于图像分割的结果对目标生物特征图像进行分类，在分类过程中结合目标元信息可以使分类的结果更加的符合生物对象本身的情况，从而可以提高对生物特征图像进行处理的准确度，进而解决了相关技术中生物特征图像的处理准确度较低的技术问题。
可选地，在本实施例中，上述图像处理方法可以应用于由服务器、虚拟现实设备所构成的硬件环境中。在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理图像，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等。
可选地，虚拟现实设备包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示待处理图像，其中，待处理图像包含生物对象的至少一种器官的部位图像；对待处理图像进行特征提取，得到部位图像的第一图像特征；对第一图像特征和多个查询向量进行交叉注意力处理，得到多个注意力特征，其中，不同查询向量用于表征部位图像中不同像素点的特征类别；基于第一图像特征和多个注意力特征，对待处理图像进行识别，得到待处理图像的目标识别结果，其中，目标识别结果用于表征待处理图像中的像素点满足预设条件的概率；驱动VR设备或AR设备渲染目标识别结果。
可选地，该实施例的处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网络接收服务器发送的媒体文件，也可以用于上述处理器与存储器之间的数据传输。
可选地，在虚拟现实设备中，带有眼球追踪的头戴式显示器，该HMD头显中的屏幕，用于显示展示的视频画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹，跟踪系统，用于追踪用户在真实三维空间的位置信息与运动信息，计算处理单元，用于从跟踪系统中获取用户的实时位置与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向等。
在本申请实施例中，虚拟现实设备可以与终端相连接，终端与服务器通过网络进行连接，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端并不限定于PC、手机、平板电脑等，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例5
根据本申请实施例，还提供了一种图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图8是根据本申请实施例5的一种图像处理方法的流程图。如图8所示，该方法可以包括如下步骤：
步骤S802，通过调用第一接口获取生物对象的三维图像和生物对象的目标元信息。
其中，第一接口包括第一参数，第一参数的参数值为三维图像和目标元信息，三维图像包含生物对象的至少一个部位的生物特征图像。
上述的第一接口可以是客户端和服务器连接的接口，客户端可以通过第一接口将生物对象的三维图像和生物对象的目标元信息上传至服务器。
步骤S804，对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像。
步骤S806，基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果。
其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别。
步骤S808，通过调用第二接口输出目标分割结果和目标分类结果。
其中，第二接口包括第二参数，第二参数的参数值为目标分割结果和目标分类结果。
上述的第二接口可以是客户端与服务器连接的接口，服务器可以通过第二接口将目标分割结果和目标分类结果返回给客户端。
通过上述步骤，通过调用第一接口获取生物对象的三维图像和生物对象的目标元信息，其中，第一接口包括第一参数，第一参数的参数值为三维图像和目标元信息，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；通过调用第二接口输出目标分割结果和目标分类结果，其中，第二接口包括第二参数，第二参数的参数值为目标分割结果和目标分类结果，实现了提高对生物特征图像的处理准确度。容易注意到的是，可以先对三维图像进行初步的图像分割，得到生物特征图像中的需要关注的部位对应的目标生物特征图像，然后结合生物对象的目标元信息对目标生物特征图像进行图像分割，并基于图像分割的结果对目标生物特征图像进行分类，在分类过程中结合目标元信息可以使分类的结果更加的符合生物对象本身的情况，从而可以提高对生物特征图像进行处理的准确度，进而解决了相关技术中生物特征图像的处理准确度较低的技术问题。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例6
根据本申请实施例，还提供了一种用于实施上述图像处理方法的图像处理装置，图9是根据本申请实施例6的一种图像处理装置的示意图，如图9所示，该装置900包括：获取模块902、分割模块904、处理模块906。
其中，获取模块用于获取生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；分割模块用于对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；处理模块用于基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别。
此处需要说明的是，上述获取模块902、分割模块904、处理模块906对应于实施例1中的步骤S302至步骤S306，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的AR/VR设备中。
本申请实施例中，处理模块包括：分割单元、分类单元。
其中，分割单元用于对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果；分类单元用于基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果。
本申请实施例中，分割单元还用于利用图像处理模型中的编码器对目标生物特征图像进行多尺度的特征提取，得到目标生物特征图像的编码多尺度特征，利用图像处理模型中的解码器对编码多尺度特征进行特征融合，得到目标生物特征图像的解码多尺度特征，基于编码多尺度特征和解码多尺度特征，得到目标多尺度特征，基于解码多尺度特征对目标生物特征图像进行图像分割，得到目标分割结果。
本申请实施例中，分割单元还用于利用预设激活函数对编码多尺度特征进行处理，得到预设多尺度特征，获取预设多尺度特征与解码多尺度特征的乘积，得到第一多尺度特征，对第一多尺度特征进行卷积运算，得到第二多尺度特征，获取第二多尺度特征和位置特征的和值，得到目标多尺度特征，其中，位置特征用于表征编码多尺度特征在目标生物特征图像中的位置。
本申请实施例中，分类单元还用于基于目标元信息和目标多尺度特征，利用图像处理模型中的多个双路径分类模块对目标生物特征图像进行图像分类，得到目标分类结果，其中，多个双路径分类模块与目标多尺度特征一一对应。
本申请实施例中，分类单元还用于对目标元信息和预设记忆特征进行融合，得到多个双路径分类模块中的第一个双路径分类模块对应的记忆特征，利用多个双路径分类模块中的第二双路径分类模块，对第二双路径分类模块对应的目标记忆特征和第二双路径分类模块对应的多尺度特征进行处理，得到第二双路径分类模块的输出特征，其中，第二双路径分类模块用于表征多个双路径分类模块中除最后一个双路径分类模块之外的任意一个双路径分类模块，确定第二双路径分类模块的输出特征为第三双路径分类模块对应的记忆特征，其中，第三双路径分类模块用于表征多个双路径分类模块中位于第二双路径分类模块之后的双路径分类模块对应的记忆特征，基于最后一个双路径分类模块的输出特征，对目标生物特征图像进行图像分类，得到目标分类结果。
本申请实施例中，第二双路径分类模块包括：并行执行的两个自注意力单元和交叉注意力单元，其中，分类单元还用于利用两个自注意力单元分别对第二双路径分类模块对应的目标记忆特征和第二双路径分类模块对应的多尺度特征进行自注意力处理，得到第一自注意力特征和第二自注意力特征，分类单元还用于利用交叉注意力单元对第一自注意力特征和第二自注意力特征进行交叉注意力处理，得到述第二双路径分类模块的输出特征。
本申请实施例中，图像处理模型在通过训练样本进行训练过程中的总损失函数为第一损失函数和第二损失函数之和，第一损失函数是基于训练样本的真实分割结果和预测分割结果所确定的，第二损失函数是基于训练样本的真实分类结果和预测分类结果所确定的。
实施例7
根据本申请实施例，还提供了一种用于实施上述图像处理方法的图像处理装置，图10是根据本申请实施例7的一种图像处理装置的示意图，如图10所示，该装置1000包括：获取模块1002、分割模块1004、分类模块1006。
其中，获取模块用于获取生物对象的目标生物特征图像和生物对象的目标元信息；分割模块用于对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素；分类模块用于基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果，其中，目标分类结果用于表征目标生物特征图像对应的类别。
此处需要说明的是，上述获取模块1002、分割模块1004、分类模块1006对应于实施例2中的步骤S502至步骤S506，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的AR/VR设备中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例8
根据本申请实施例，还提供了一种用于实施上述图像处理方法的图像处理装置，图11是根据本申请实施例8的一种图像处理装置的示意图，如图11所示，该装置1100包括：第一显示模块1102、第二显示模块1104。
其中，第一显示模块用于响应作用于操作界面上的输入指令，在操作界面上显示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；第二显示模块用于响应作用于操作界面上的图像处理指令，在操作界面上显示目标分割结果和目标分类结果，其中，目标分割结果用于表征至少一个部位的生物特征图像中的目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别，目标分割结果和目标分类结果是于目标元信息对目标生物特征图像进行图像分割和图像分类所得到的，目标生物特征图像是通过对三维图像进行图像分割所得到的。
此处需要说明的是，上述第一显示模块1102、第二显示模块1104对应于实施例3中的步骤S602至S604，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的AR/VR设备中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例9
根据本申请实施例，还提供了一种用于实施上述图像处理方法的图像处理装置，图12是根据本申请实施例9的一种图像处理装置的示意图，如图12所示，该装置1200包括：展示模块1202、分割模块1204、处理模块1206、驱动模块1208。
其中，展示模块用于在虚拟现实VR设备或增强现实AR设备的呈现画面上展示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；分割模块用于对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；处理模块用于基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；驱动模块用于驱动VR设备或AR设备渲染展示目标分割结果和目标分类结果。
此处需要说明的是，上述展示模块1202、分割模块1204、处理模块1206、驱动模块1208对应于实施例4中的步骤S702至步骤S708，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的AR/VR设备中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例10
根据本申请实施例，还提供了一种用于实施上述图像处理方法的图像处理装置，图13是根据本申请实施例10的一种图像处理装置的示意图，如图13所示，该装置包括：获取模块1302、分割模块1304、处理模块1306、输出模块1308。
其中，获取模块用于通过调用第一接口获取生物对象的三维图像和生物对象的目标元信息，其中，第一接口包括第一参数，第一参数的参数值为三维图像和目标元信息，三维图像包含生物对象的至少一个部位的生物特征图像；分割模块用于对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；处理模块用于基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；输出模块用于通过调用第二接口输出目标分割结果和目标分类结果，其中，第二接口包括第二参数，第二参数的参数值为目标分割结果和目标分类结果。
此处需要说明的是，上述获取模块1302、分割模块1304、处理模块1306、输出模块1308对应于实施例5中的步骤S802至步骤S808，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的AR/VR设备中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例11
本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行图像处理方法中以下步骤的程序代码：获取生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别。
可选地，图14是根据本申请实施例的一种计算机终端的结构框图。如图14所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器102、存储器104、存储控制器、以及外设接口，其中，外设接口与射频模块、音频模块和显示器连接。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的图像识别方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像识别方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别。
可选地，上述处理器还可以执行如下步骤的指令：对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果；基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果。
可选地，上述处理器还可以执行如下步骤的指令：利用图像处理模型中的编码器对目标生物特征图像进行多尺度的特征提取，得到目标生物特征图像的编码多尺度特征；利用图像处理模型中的解码器对编码多尺度特征进行特征融合，得到目标生物特征图像的解码多尺度特征；基于编码多尺度特征和解码多尺度特征，得到目标多尺度特征；基于解码多尺度特征对目标生物特征图像进行图像分割，得到目标分割结果。
可选地，上述处理器还可以执行如下步骤的指令：利用预设激活函数对编码多尺度特征进行处理，得到预设多尺度特征；获取预设多尺度特征与解码多尺度特征的乘积，得到第一多尺度特征；对第一多尺度特征进行卷积运算，得到第二多尺度特征；获取第二多尺度特征和位置特征的和值，得到目标多尺度特征，其中，位置特征用于表征编码多尺度特征在目标生物特征图像中的位置。
可选地，上述处理器还可以执行如下步骤的指令：基于目标元信息和目标多尺度特征，利用图像处理模型中的多个双路径分类模块对目标生物特征图像进行图像分类，得到目标分类结果，其中，多个双路径分类模块与目标多尺度特征一一对应。
可选地，上述处理器还可以执行如下步骤的指令：对目标元信息和预设记忆特征进行融合，得到多个双路径分类模块中的第一个双路径分类模块对应的记忆特征；利用多个双路径分类模块中的第二双路径分类模块，对第二双路径分类模块对应的目标记忆特征和第二双路径分类模块对应的多尺度特征进行处理，得到第二双路径分类模块的输出特征，其中，第二双路径分类模块用于表征多个双路径分类模块中除最后一个双路径分类模块之外的任意一个双路径分类模块；确定第二双路径分类模块的输出特征为第三双路径分类模块对应的记忆特征，其中，第三双路径分类模块用于表征多个双路径分类模块中位于第二双路径分类模块之后的双路径分类模块对应的记忆特征；基于最后一个双路径分类模块的输出特征，对目标生物特征图像进行图像分类，得到目标分类结果。
可选地，上述处理器还可以执行如下步骤的指令：利用两个自注意力单元分别对第二双路径分类模块对应的目标记忆特征和第二双路径分类模块对应的多尺度特征进行自注意力处理，得到第一自注意力特征和第二自注意力特征；利用交叉注意力单元对第一自注意力特征和第二自注意力特征进行交叉注意力处理，得到述第二双路径分类模块的输出特征。
可选地，上述处理器还可以执行如下步骤的指令：图像处理模型在通过训练样本进行训练过程中的总损失函数为第一损失函数和第二损失函数之和，第一损失函数是基于训练样本的真实分割结果和预测分割结果所确定的，第二损失函数是基于训练样本的真实分类结果和预测分类结果所确定的。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取生物对象的目标生物特征图像和生物对象的目标元信息；对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素；基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果，其中，目标分类结果用于表征目标生物特征图像对应的类别。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：响应作用于操作界面上的输入指令，在操作界面上显示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；响应作用于操作界面上的图像处理指令，在操作界面上显示目标分割结果和目标分类结果，其中，目标分割结果用于表征至少一个部位的生物特征图像中的目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别，目标分割结果和目标分类结果是于目标元信息对目标生物特征图像进行图像分割和图像分类所得到的，目标生物特征图像是通过对三维图像进行图像分割所得到的。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；驱动VR设备或AR设备渲染展示目标分割结果和目标分类结果。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：通过调用第一接口获取生物对象的三维图像和生物对象的目标元信息，其中，第一接口包括第一参数，第一参数的参数值为三维图像和目标元信息，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；通过调用第二接口输出目标分割结果和目标分类结果，其中，第二接口包括第二参数，第二参数的参数值为目标分割结果和目标分类结果。
采用本申请实施例，获取生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别，实现了提高对生物特征图像的处理准确度。容易注意到的是，可以先对三维图像进行初步的图像分割，得到生物特征图像中的需要关注的部位对应的目标生物特征图像，然后结合生物对象的目标元信息对目标生物特征图像进行图像分割，并基于图像分割的结果对目标生物特征图像进行分类，在分类过程中结合目标元信息可以使分类的结果更加的符合生物对象本身的情况，从而可以提高对生物特征图像进行处理的准确度，进而解决了相关技术中生物特征图像的处理准确度较低的技术问题。
本领域普通技术人员可以理解，图14所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternetDevices，MID)、PAD等终端设备。图14其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图14中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图14所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例12
本申请的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的图像处理方法所执行的程序代码。
可选地，在本实施例中，上述计算机可读存储介质可以位于AR/VR设备网络中AR/VR设备终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别。
可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果；基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果。
可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：利用图像处理模型中的编码器对目标生物特征图像进行多尺度的特征提取，得到目标生物特征图像的编码多尺度特征；利用图像处理模型中的解码器对编码多尺度特征进行特征融合，得到目标生物特征图像的解码多尺度特征；基于编码多尺度特征和解码多尺度特征，得到目标多尺度特征；基于解码多尺度特征对目标生物特征图像进行图像分割，得到目标分割结果。
可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：利用预设激活函数对编码多尺度特征进行处理，得到预设多尺度特征；获取预设多尺度特征与解码多尺度特征的乘积，得到第一多尺度特征；对第一多尺度特征进行卷积运算，得到第二多尺度特征；获取第二多尺度特征和位置特征的和值，得到目标多尺度特征，其中，位置特征用于表征编码多尺度特征在目标生物特征图像中的位置。
可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：基于目标元信息和目标多尺度特征，利用图像处理模型中的多个双路径分类模块对目标生物特征图像进行图像分类，得到目标分类结果，其中，多个双路径分类模块与目标多尺度特征一一对应。
可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：对目标元信息和预设记忆特征进行融合，得到多个双路径分类模块中的第一个双路径分类模块对应的记忆特征；利用多个双路径分类模块中的第二双路径分类模块，对第二双路径分类模块对应的目标记忆特征和第二双路径分类模块对应的多尺度特征进行处理，得到第二双路径分类模块的输出特征，其中，第二双路径分类模块用于表征多个双路径分类模块中除最后一个双路径分类模块之外的任意一个双路径分类模块；确定第二双路径分类模块的输出特征为第三双路径分类模块对应的记忆特征，其中，第三双路径分类模块用于表征多个双路径分类模块中位于第二双路径分类模块之后的双路径分类模块对应的记忆特征；基于最后一个双路径分类模块的输出特征，对目标生物特征图像进行图像分类，得到目标分类结果。
可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：利用两个自注意力单元分别对第二双路径分类模块对应的目标记忆特征和第二双路径分类模块对应的多尺度特征进行自注意力处理，得到第一自注意力特征和第二自注意力特征；利用交叉注意力单元对第一自注意力特征和第二自注意力特征进行交叉注意力处理，得到述第二双路径分类模块的输出特征。
可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：图像处理模型在通过训练样本进行训练过程中的总损失函数为第一损失函数和第二损失函数之和，第一损失函数是基于训练样本的真实分割结果和预测分割结果所确定的，第二损失函数是基于训练样本的真实分类结果和预测分类结果所确定的。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取生物对象的目标生物特征图像和生物对象的目标元信息；对目标生物特征图像进行图像分割，得到目标生物特征图像的目标多尺度特征和目标分割结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素；基于目标元信息和目标多尺度特征，对目标生物特征图像进行图像分类，得到目标分类结果，其中，目标分类结果用于表征目标生物特征图像对应的类别。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：响应作用于操作界面上的输入指令，在操作界面上显示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；响应作用于操作界面上的图像处理指令，在操作界面上显示目标分割结果和目标分类结果，其中，目标分割结果用于表征至少一个部位的生物特征图像中的目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别，目标分割结果和目标分类结果是于目标元信息对目标生物特征图像进行图像分割和图像分类所得到的，目标生物特征图像是通过对三维图像进行图像分割所得到的。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；驱动VR设备或AR设备渲染展示目标分割结果和目标分类结果。
可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：通过调用第一接口获取生物对象的三维图像和生物对象的目标元信息，其中，第一接口包括第一参数，第一参数的参数值为三维图像和目标元信息，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别；通过调用第二接口输出目标分割结果和目标分类结果，其中，第二接口包括第二参数，第二参数的参数值为目标分割结果和目标分类结果。
采用本申请实施例，获取生物对象的三维图像和生物对象的目标元信息，其中，三维图像包含生物对象的至少一个部位的生物特征图像；对三维图像进行图像分割，得到至少一个部位的生物特征图像中的目标生物特征图像；基于目标元信息对目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，目标分割结果用于表征目标生物特征图像中属于不同类型的生物特征的体素，目标分类结果用于表征目标生物特征图像对应的类别，实现了提高对生物特征图像的处理准确度。容易注意到的是，可以先对三维图像进行初步的图像分割，得到生物特征图像中的需要关注的部位对应的目标生物特征图像，然后结合生物对象的目标元信息对目标生物特征图像进行图像分割，并基于图像分割的结果对目标生物特征图像进行分类，在分类过程中结合目标元信息可以使分类的结果更加的符合生物对象本身的情况，从而可以提高对生物特征图像进行处理的准确度，进而解决了相关技术中生物特征图像的处理准确度较低的技术问题。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
获取生物对象的三维图像和所述生物对象的目标元信息，其中，所述三维图像包含所述生物对象的至少一个部位的生物特征图像；
对所述三维图像进行图像分割，得到所述至少一个部位的生物特征图像中的目标生物特征图像；
基于所述目标元信息对所述目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，所述目标分割结果用于表征所述目标生物特征图像中属于不同类型的生物特征的体素，所述目标分类结果用于表征所述目标生物特征图像对应的类别。
2.根据权利要求1所述的方法，其特征在于，基于所述目标元信息对所述目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，包括：
对所述目标生物特征图像进行图像分割，得到所述目标生物特征图像的目标多尺度特征和所述目标分割结果；
基于所述目标元信息和所述目标多尺度特征，对所述目标生物特征图像进行图像分类，得到所述目标分类结果。
3.根据权利要求2所述的方法，其特征在于，对所述目标生物特征图像进行图像分割，得到所述目标生物特征图像的多尺度特征和所述目标分割结果，包括：
利用图像处理模型中的编码器对所述目标生物特征图像进行多尺度的特征提取，得到所述目标生物特征图像的编码多尺度特征；
利用所述图像处理模型中的解码器对所述编码多尺度特征进行特征融合，得到所述目标生物特征图像的解码多尺度特征；
基于所述编码多尺度特征和所述解码多尺度特征，得到所述目标多尺度特征；
基于所述解码多尺度特征对所述目标生物特征图像进行图像分割，得到所述目标分割结果。
4.根据权利要求3所述的方法，其特征在于，基于所述编码多尺度特征和所述解码多尺度特征，得到所述目标多尺度特征，包括：
利用预设激活函数对所述编码多尺度特征进行处理，得到预设多尺度特征；
获取所述预设多尺度特征与所述解码多尺度特征的乘积，得到第一多尺度特征；
对所述第一多尺度特征进行卷积运算，得到第二多尺度特征；
获取所述第二多尺度特征和位置特征的和值，得到所述目标多尺度特征，其中，所述位置特征用于表征所述编码多尺度特征在所述目标生物特征图像中的位置。
5.根据权利要求2所述的方法，其特征在于，基于所述目标元信息和所述目标多尺度特征，对所述目标生物特征图像进行图像分类，得到所述目标分类结果，包括：
基于所述目标元信息和所述目标多尺度特征，利用图像处理模型中的多个双路径分类模块对所述目标生物特征图像进行图像分类，得到所述目标分类结果，其中，所述多个双路径分类模块与所述目标多尺度特征一一对应。
6.根据权利要求5所述的方法，其特征在于，基于所述目标元信息和所述目标多尺度特征，利用图像处理模型中的多个双路径分类模块对所述目标生物特征图像进行图像分类，得到所述目标分类结果，包括：
对所述目标元信息和预设记忆特征进行融合，得到所述多个双路径分类模块中的第一个双路径分类模块对应的记忆特征；
利用所述多个双路径分类模块中的第二双路径分类模块，对所述第二双路径分类模块对应的目标记忆特征和所述第二双路径分类模块对应的多尺度特征进行处理，得到所述第二双路径分类模块的输出特征，其中，所述第二双路径分类模块用于表征所述多个双路径分类模块中除最后一个双路径分类模块之外的任意一个双路径分类模块；
确定所述第二双路径分类模块的输出特征为第三双路径分类模块对应的记忆特征，其中，所述第三双路径分类模块用于表征所述多个双路径分类模块中位于所述第二双路径分类模块之后的双路径分类模块对应的记忆特征；
基于所述最后一个双路径分类模块的输出特征，对所述目标生物特征图像进行图像分类，得到所述目标分类结果。
7.根据权利要求6所述的方法，其特征在于，所述第二双路径分类模块包括：并行执行的两个自注意力单元和交叉注意力单元，其中，利用所述多个双路径分类模块中的第二双路径分类模块，对所述第二双路径分类模块对应的目标记忆特征和所述第二双路径分类模块对应的多尺度特征进行处理，得到所述第二双路径分类模块的输出特征，包括：
利用所述两个自注意力单元分别对所述第二双路径分类模块对应的目标记忆特征和所述第二双路径分类模块对应的多尺度特征进行自注意力处理，得到第一自注意力特征和第二自注意力特征；
利用所述交叉注意力单元对所述第一自注意力特征和所述第二自注意力特征进行交叉注意力处理，得到述第二双路径分类模块的输出特征。
8.根据权利要求3或5所述的方法，其特征在于，所述图像处理模型在通过训练样本进行训练过程中的总损失函数为第一损失函数和第二损失函数之和，所述第一损失函数是基于所述训练样本的真实分割结果和预测分割结果所确定的，所述第二损失函数是基于所述训练样本的真实分类结果和预测分类结果所确定的。
9.一种图像处理方法，其特征在于，包括：
获取生物对象的目标生物特征图像和所述生物对象的目标元信息；
对所述目标生物特征图像进行图像分割，得到所述目标生物特征图像的目标多尺度特征和所述目标分割结果，其中，所述目标分割结果用于表征所述目标生物特征图像中属于不同类型的生物特征的体素；
基于所述目标元信息和所述目标多尺度特征，对所述目标生物特征图像进行图像分类，得到所述目标分类结果，其中，所述目标分类结果用于表征所述目标生物特征图像对应的类别。
10.一种图像处理方法，其特征在于，包括：
响应作用于操作界面上的输入指令，在所述操作界面上显示生物对象的三维图像和所述生物对象的目标元信息，其中，所述三维图像包含所述生物对象的至少一个部位的生物特征图像；
响应作用于所述操作界面上的图像处理指令，在所述操作界面上显示目标分割结果和目标分类结果，其中，所述目标分割结果用于表征所述至少一个部位的生物特征图像中的目标生物特征图像中属于不同类型的生物特征的体素，所述目标分类结果用于表征所述目标生物特征图像对应的类别，所述目标分割结果和所述目标分类结果是于所述目标元信息对所述目标生物特征图像进行图像分割和图像分类所得到的，所述目标生物特征图像是通过对所述三维图像进行图像分割所得到的。
11.一种图像处理方法，其特征在于，包括：
在虚拟现实VR设备或增强现实AR设备的呈现画面上展示生物对象的三维图像和所述生物对象的目标元信息，其中，所述三维图像包含所述生物对象的至少一个部位的生物特征图像；
对所述三维图像进行图像分割，得到所述至少一个部位的生物特征图像中的目标生物特征图像；
基于所述目标元信息对所述目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，所述目标分割结果用于表征所述目标生物特征图像中属于不同类型的生物特征的体素，所述目标分类结果用于表征所述目标生物特征图像对应的类别；
驱动所述VR设备或所述AR设备渲染展示所述目标分割结果和所述目标分类结果。
12.一种图像处理方法，其特征在于，包括：
通过调用第一接口获取生物对象的三维图像和所述生物对象的目标元信息，其中，所述第一接口包括第一参数，所述第一参数的参数值为所述三维图像和所述目标元信息，所述三维图像包含所述生物对象的至少一个部位的生物特征图像；
对所述三维图像进行图像分割，得到所述至少一个部位的生物特征图像中的目标生物特征图像；
基于所述目标元信息对所述目标生物特征图像进行图像分割和图像分类，得到目标分割结果和目标分类结果，其中，所述目标分割结果用于表征所述目标生物特征图像中属于不同类型的生物特征的体素，所述目标分类结果用于表征所述目标生物特征图像对应的类别；
通过调用第二接口输出所述目标分割结果和所述目标分类结果，其中，所述第二接口包括第二参数，所述第二参数的参数值为所述目标分割结果和所述目标分类结果。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的方法。
14.一种计算机设备，其特征在于，包括：
存储器，存储有可执行程序；
处理器，用于运行所述程序，其中，所述程序运行时执行权利要求1至11中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310105637.6A CN116206331B (zh) | 2023-01-29 | 2023-01-29 | 图像处理方法、计算机可读存储介质以及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310105637.6A CN116206331B (zh) | 2023-01-29 | 2023-01-29 | 图像处理方法、计算机可读存储介质以及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116206331A true CN116206331A (zh) | 2023-06-02 |
| CN116206331B CN116206331B (zh) | 2024-05-31 |
Family
ID=86514162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310105637.6A Active CN116206331B (zh) | 2023-01-29 | 2023-01-29 | 图像处理方法、计算机可读存储介质以及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116206331B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018035805A1 (en) * | 2016-08-25 | 2018-03-01 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
| CN111080660A (zh) * | 2019-11-14 | 2020-04-28 | 中国科学院深圳先进技术研究院 | 一种图像分割方法、装置、终端设备及存储介质 |
| CN112464732A (zh) * | 2020-11-04 | 2021-03-09 | 北京理工大学重庆创新中心 | 基于双路径稀疏分层网络的光学遥感图像地物分类方法 |
| CN112750132A (zh) * | 2021-02-01 | 2021-05-04 | 闽江学院 | 基于双路径网络和通道注意的白细胞图像分割方法 |
| CN114627488A (zh) * | 2020-12-11 | 2022-06-14 | 阿里巴巴集团控股有限公司 | 图像处理方法和系统、模型训练方法和系统 |
| US20220245933A1 (en) * | 2019-10-31 | 2022-08-04 | Shanghai Sensetime Intelligent Technology Co, Ltd. | Method for neural network training, method for image segmentation, electronic device and storage medium |
| CN114972363A (zh) * | 2022-05-13 | 2022-08-30 | 北京理工大学 | 图像分割方法、装置、电子设备及计算机存储介质 |
| CN115359261A (zh) * | 2022-10-21 | 2022-11-18 | 阿里巴巴（中国）有限公司 | 图像识别方法、计算机可读存储介质以及电子设备 |
-
2023
- 2023-01-29 CN CN202310105637.6A patent/CN116206331B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018035805A1 (en) * | 2016-08-25 | 2018-03-01 | Intel Corporation | Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation |
| US20220245933A1 (en) * | 2019-10-31 | 2022-08-04 | Shanghai Sensetime Intelligent Technology Co, Ltd. | Method for neural network training, method for image segmentation, electronic device and storage medium |
| CN111080660A (zh) * | 2019-11-14 | 2020-04-28 | 中国科学院深圳先进技术研究院 | 一种图像分割方法、装置、终端设备及存储介质 |
| CN112464732A (zh) * | 2020-11-04 | 2021-03-09 | 北京理工大学重庆创新中心 | 基于双路径稀疏分层网络的光学遥感图像地物分类方法 |
| CN114627488A (zh) * | 2020-12-11 | 2022-06-14 | 阿里巴巴集团控股有限公司 | 图像处理方法和系统、模型训练方法和系统 |
| CN112750132A (zh) * | 2021-02-01 | 2021-05-04 | 闽江学院 | 基于双路径网络和通道注意的白细胞图像分割方法 |
| CN114972363A (zh) * | 2022-05-13 | 2022-08-30 | 北京理工大学 | 图像分割方法、装置、电子设备及计算机存储介质 |
| CN115359261A (zh) * | 2022-10-21 | 2022-11-18 | 阿里巴巴（中国）有限公司 | 图像识别方法、计算机可读存储介质以及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 罗晖等: "一种基于多尺度角点检测的语义分割网络", 《电脑知识与技术》, vol. 15, no. 33, 31 December 2019 (2019-12-31), pages 206 - 210 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116206331B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20160091858A (ko) | 현실을 증강하는 방법, 클라이언트 장치 및 서버 | |
| CN115359261B (zh) | 图像识别方法、计算机可读存储介质以及电子设备 | |
| CN114998935A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN112232203A (zh) | 行人识别方法、装置、电子设备及存储介质 | |
| CN114913061A (zh) | 一种图像处理方法、装置、存储介质及电子设备 | |
| CN114972010A (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 | |
| CN116597159A (zh) | 特征提取方法、生物对象部位的状态识别方法及电子设备 | |
| CN116206331B (zh) | 图像处理方法、计算机可读存储介质以及计算机设备 | |
| CN116071551A (zh) | 图像处理方法、计算机可读存储介质及电子设备 | |
| CN116485983A (zh) | 虚拟对象的纹理生成方法、电子设备以及存储介质 | |
| CN115937968A (zh) | 手语动作的识别方法和离散化编码模型的训练方法 | |
| CN113808157B (zh) | 图像处理方法、装置、及计算机设备 | |
| CN115563334A (zh) | 图文数据的处理方法和处理器 | |
| CN115345782A (zh) | 图像处理方法、装置、计算机、可读存储介质及程序产品 | |
| CN113709584A (zh) | 视频划分方法、装置、服务器、终端及存储介质 | |
| CN116704405B (zh) | 行为识别方法、电子设备及存储介质 | |
| CN117095320A (zh) | 图像处理方法、电子设备及存储介质 | |
| CN116188392B (zh) | 图像处理方法、计算机可读存储介质以及计算机终端 | |
| CN115937368A (zh) | 虚拟人物的生成方法和视频识别方法 | |
| CN116704405A (zh) | 行为识别方法、电子设备及存储介质 | |
| CN116684607B (zh) | 图像压缩和解压缩方法、装置、电子设备及存储介质 | |
| CN115512445A (zh) | 活体检测方法、存储介质和计算机终端 | |
| CN116189061A (zh) | 行为识别方法、电子设备及存储介质 | |
| CN116012586A (zh) | 图像处理方法、存储介质及计算机终端 | |
| CN116484967A (zh) | 图像识别模型的训练方法、图像识别方法以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |