CN111179247A - 三维目标检测方法及其模型的训练方法及相关装置、设备 - Google Patents

三维目标检测方法及其模型的训练方法及相关装置、设备 Download PDF

Info

Publication number
CN111179247A
CN111179247A CN201911379639.4A CN201911379639A CN111179247A CN 111179247 A CN111179247 A CN 111179247A CN 201911379639 A CN201911379639 A CN 201911379639A CN 111179247 A CN111179247 A CN 111179247A
Authority
CN
China
Prior art keywords
dimensional
actual
target detection
detection model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911379639.4A
Other languages
English (en)
Inventor
董乐
张宁
陈相蕾
赵磊
黄宁
赵亮
袁璟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201911379639.4A priority Critical patent/CN111179247A/zh
Publication of CN111179247A publication Critical patent/CN111179247A/zh
Priority to JP2021539662A priority patent/JP2022517769A/ja
Priority to PCT/CN2020/103634 priority patent/WO2021128825A1/zh
Priority to TW109143832A priority patent/TW202125415A/zh
Priority to US17/847,862 priority patent/US20220351501A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种三维目标检测方法及其模型的训练方法及相关装置、设备，其中，三维目标检测模型的训练方法包括：获取样本三维图像，其中，样本三维图像标注有三维目标的实际区域的实际位置信息；利用三维目标检测模型对样本三维图像进行目标检测，得到与样本三维图像的一个或多个子图像对应的一个或多个预测区域信息，其中，每个预测区域信息包括预测区域的预测位置信息和预测置信度；利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值；利用损失值，调整三维目标检测模型的参数。上述方案，能够直接检测得到三维目标，并降低其检测难度。

Description

三维目标检测方法及其模型的训练方法及相关装置、设备
技术领域
本申请涉及人工智能技术领域，特别是涉及一种三维目标检测方法及其模型的训练方法及相关装置、设备。
背景技术
随着神经网络、深度学习等人工智能技术的发展，对神经网络模型进行训练，并利用经训练的神经网络模型完成目标检测等任务的方式，逐渐受到人们的青睐。
然而，现有的神经网络模型一般都是以二维图像作为检测对象而设计的，对于诸如MRI(Magnetic Resonance Imaging，核磁共振成像)图像等三维图像，往往需要将其拆分为二维平面图像后进行处理，从而失去图像空间信息和结构信息，因此，难以直接检测得到三维图像中的三维目标。有鉴于此，如何检测得到三维目标，并降低其检测难度成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种三维目标检测方法及其模型的训练方法及相关装置、设备，能够直接检测得到三维目标，并降低其检测难度。
为了解决上述问题，本申请第一方面提供了一种三维目标检测模型的训练方法，包括：获取样本三维图像，其中，样本三维图像标注有三维目标的实际区域的实际位置信息；利用三维目标检测模型对样本三维图像进行目标检测，得到与样本三维图像的一个或多个子图像对应的一个或多个预测区域信息，其中，每个预测区域信息包括预测区域的预测位置信息和预测置信度；利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值；利用损失值，调整三维目标检测模型的参数。
因此，能够训练得到对三维图像进行三维目标检测的模型，而无需将三维图像处理为二维平面图像后再进行目标检测，故此，能够有效保留三维目标的空间信息和结构信息，从而能够直接检测得到三维目标。由于三维目标检测模型进行目标检测时，能够得到三维图像一个或多个子图像的预测区域信息，从而能够在三维图像的一个或多个子图像中进行三维目标检测，有助于降低三维目标检测的难度。
其中，预测区域信息的数量为预设数量个，预设数量与三维目标检测模型的输出尺寸相匹配，利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值，包括：利用实际位置信息，生成分别与预设数量个子图像对应的预设数量个实际区域信息，其中，每个实际区域信息包括实际位置信息和实际置信度，实际区域的预设点所在的子图像对应的实际置信度为第一值，其余子图像对应的实际置信度为小于第一值的第二值；利用与预设数量个子图像中对应的实际位置信息和预测位置信息，得到位置损失值；利用与预设数量个子图像中对应的实际置信度和预测置信度，得到置信度损失值；基于位置损失值和置信度损失值，得到三维目标检测模型的损失值。
因此，通过实际位置信息生成与预设数量个子图像对应的预设数量个实际区域信息，从而能够在预设数量个实际区域信息和与其对应的预测区域信息的基础上进行损失计算，进而能够降低损失计算的复杂度。
其中，实际位置信息包括实际区域的实际预设点位置和实际区域尺寸，预测位置信息包括预测区域的预测预设点位置和预测区域尺寸；利用与预设数量个子图像中对应的实际位置信息和预测位置信息，得到位置损失值，包括：利用二分类交叉熵函数，对与预设数量个子图像中对应的实际预设点位置和预测预设点位置进行计算，得到第一位置损失值；利用均方误差函数，对与预设数量个子图像中对应的实际区域尺寸和预测区域尺寸进行计算，得到第二位置损失值；利用与预设数量个子图像中对应的实际置信度和预测置信度，得到置信度损失值，包括：利用二分类交叉熵函数，对与预设数量个子图像中对应的实际置信度和预测置信度进行计算，得到置信度损失值；基于位置损失值和置信度损失值，得到三维目标检测模型的损失值，包括：对第一位置损失值、第二位置损失值和置信损失值进行加权处理，得到三维目标检测模型的损失值。
因此，通过对实际预设点位置和预测预设点位置之间的第一位置损失值，以及实际区域尺寸和预测区域尺寸之间的第二位置损失值，以及实际置信度和预测置信度之间的置信损失值分别进行计算，并最终对上述损失值进行加权处理，能够准确、全面地获得三维目标检测模型的损失值，从而有利于准确地调整模型参数，进而有利于加快模型训练速度，并提高三维目标检测模型的准确度。
其中，在利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值之前，方法还包括：将实际位置信息的值、一个或多个预测位置信息和预测置信度均约束至预设数值范围内；利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值，包括：利用经约束后的实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值。
因此，在利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值之前，将实际位置信息的值、一个或多个预测位置信息和预测置信度均约束至预设数值范围内，并利用经约束后的实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值，能够有效避免训练过程中可能会出现的网络震荡，加快收敛速度。
其中，实际位置信息包括实际区域的实际预设点位置和实际区域尺寸，预测位置信息包括预测区域的预测预设点位置和预测区域尺寸；将实际位置信息的值约束至预设数值范围内，包括：获得实际区域尺寸与预设尺寸之间的第一比值，并将第一比值的对数值作为经约束后的实际区域尺寸；获得实际预设点位置与子图像的图像尺寸之间的第二比值，将第二比值的小数部分作为经约束后实际预设点位置；将一个或多个预测位置信息和预测置信度均约束至预设数值范围内，包括：利用预设映射函数分别将一个或多个预测预设点位置和预测置信度映射到预设数值范围内。
因此，通过获得实际区域尺寸与预设尺寸之间的第一比值，并将第一比值的对数值作为经约束后的实际区域尺寸，并获得实际预设点位置与子图像的图像尺寸之间的第二比值，将第二比值的小数部分作为经约束后实际预设点位置，此外，利用预设映射函数分别将一个或多个预测预设点位置和预测置信度映射到预设数值范围内，从而能够通过数学运算或函数映射进行约束处理，进而能够降低约束处理的复杂度。
其中，获得实际预设点位置与子图像的图像尺寸之间的第二比值，包括：计算样本三维图像的图像尺寸和子图像的数量之间的第三比值，并获得实际预设点位置与第三比值之间的第二比值。
因此，通过计算样本三维图像的图像尺寸和子图像的数量之间的第三比值，能够获得子图像的图像尺寸，从而能够降低计算第二比值的复杂度。
其中，预设数值范围为0至1的范围内，和/或，预设尺寸为多个样本三维图像中的实际区域的区域尺寸的平均值。
因此，通过将预设数值范围设置为0至1之间，能够加快模型收敛速度，将预设尺寸设置为多个样本三维图像中的实际区域的区域尺寸的平均值，能够使得经约束后的实际区域尺寸不会过大或过小，从而能够避免训练初期发生震荡、甚至无法收敛，有利于提高模型质量。
其中，在利用三维目标检测模型对样本三维图像进行目标检测，得到一个或多个预测区域信息之前，方法还包括以下至少一个预处理步骤：将样本三维图像转换为三基色通道图像；将样本三维图像的尺寸缩放为设定图像尺寸；对样本三维图像进行归一化和标准化处理。
因此，通过将样本三维图像转换为三基色通道图像，能够提升目标检测的视觉效果，通过将样本三维图像的尺寸缩放为设定图像尺寸，能够使三维图像尽可能地与模型的输入尺寸匹配，从而提升模型训练效果，通过对样本三维图像进行归一化和标准化处理，有利于提升模型在训练过程中的收敛速度。
为了解决上述问题，本申请第二方面提供了一种三维目标检测方法，包括：获取待测三维图像，利用三维目标检测模型对待测三维图像进行目标检测，得到与待测三维图像中的三维目标对应的目标区域信息，其中，三维目标检测模型是通过上述第一方面中三维目标检测模型的训练方法得到的。
因此，利用第一方面的方法训练得到的三维目标检测模型，实现了对三维图像中的三维目标检测，且降低三维目标检测的难度。
为了解决上述问题，本申请第三方面提供了一种三维目标检测模型的训练装置，包括图像获取模块、目标检测模块、损失确定模块和参数调整模块，图像获取模块用于获取样本三维图像，其中，样本三维图像标注有三维目标的实际区域的实际位置信息；目标检测模块用于利用三维目标检测模型对样本三维图像进行目标检测，得到与样本三维图像的一个或多个子图像对应的一个或多个预测区域信息，其中，每个预测区域信息包括预测区域的预测位置信息和预测置信度；损失确定模块用于利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值；参数调整模块用于利用损失值，调整三维目标检测模型的参数。
为了解决上述问题，本申请第四方面提供了一种三维目标检测装置，包括图像获取模块和目标检测模块，图像获取模块用于获取待测三维图像，目标检测模块用于利用三维目标检测模型对待测三维图像进行目标检测，得到与待测三维图像中的三维目标对应的目标区域信息，其中，三维目标检测模型是通过上述第三方面中的三维目标检测模型的训练装置得到的。
为了解决上述问题，本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的三维目标检测模型的训练方法，或实现上述第二方面中的三维目标检测方法。
为了解决上述问题，本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的三维目标检测模型的训练方法，或实现上述第二方面中的三维目标检测方法。
上述方案，获取到的样本三维图像标注有三维目标的实际区域的实际位置信息，并利用三维目标检测模型对样本三维图像进行目标检测，得到与样本三维图像的一个或多个子图像对应的一个或多个预测区域信息，且每个预测区域信息包括对应于样本三维图像的一子图像的预测区域的预测位置信息和预测置信度，从而利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值，并利用损失值，调整三维目标检测模型的参数，进而能够训练得到对三维图像进行三维目标检测的模型，而无需将三维图像处理为二维平面图像后再进行目标检测，故此，能够有效保留三维目标的空间信息和结构信息，从而能够直接检测得到三维目标。由于三维目标检测模型进行目标检测时，能够得到三维图像一个或多个子图像的预测区域信息，从而能够在三维图像的一个或多个子图像中进行三维目标检测，有助于降低三维目标检测的难度。
附图说明
图1是本申请三维目标检测模型的训练方法一实施例的流程示意图；
图2是图1中步骤S13一实施例的流程示意图；
图3是将实际位置信息的值约束至预设数值范围内一实施例的流程示意图；
图4是本申请三维目标检测方法一实施例的流程示意图；
图5是本申请三维目标检测模型的训练装置一实施例的框架示意图；
图6是本申请三维目标检测装置一实施例的框架示意图；
图7是本申请电子设备一实施例的框架示意图；
图8是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请三维目标检测模型的训练方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取样本三维图像，其中，样本三维图像标注有三维目标的实际区域的实际位置信息。
在一个实施场景中，为了实现对人体部位等三维目标进行检测，样本三维图像可以是核磁共振图像。此外，样本三维图像也可以是利用CT(Computed Tomography，电子计算机断层扫描)图像、B超图像进行三维重建而得到的三维图像，在此不做限定。具体地，人体部位可以包括但不限于：前叉韧带、脑垂体等。其他类型的三维目标，如病变组织等，可以以此类推，在此不再一一举例。
在一个实施场景中，为了提高训练后的三维目标检测模型的准确性，样本三维图像的数量可以是多个，例如：200、300、400等等，在此不做限定。
在一个实施场景中，为了使样本三维图像能够与三维目标检测模型的输入匹配，还可以在获得样本三维图像之后，对其进行预处理，具体地，可以将样本三维图像的尺寸缩放为设定图像尺寸，设定图像尺寸可以与三维目标检测模型的输入尺寸一致。例如，样本三维图像的原始尺寸可以为160*384*384，若三维目标检测模型的输入尺寸为160*160*160，则对应地，可以将样本三维图像的尺寸缩放至160*160*160。此外，为了提升模型在训练过程中的收敛速度，还可以对样本三维图像进行归一化处理和标准化处理。或者，为了提升目标检测效果，还可以将样本三维图像转换为三基色(即：红、绿、蓝)通道图像。
步骤S12：利用三维目标检测模型对样本三维图像进行目标检测，得到与样本三维图像的一个或多个子图像对应的一个或多个预测区域信息。
本实施例中，每个预测区域信息包括对应于样本三维图像的一子图像的预测区域的预测位置信息和预测置信度。其中，预测置信度用于表示预测结果为三维目标的可信度，预测置信度越高，表示预测结果的可信度越高。此外，本实施例中的预测区域为一个三维空间区域，例如，一个长方体所围成区域、一个正方体所围成的区域等等。
在一个实施场景中，为了满足实际应用需要，可以预先对三维目标检测模型进行参数设置，从而使得三维目标检测模型能够输出样本三维图像的预设数量个子图像对应的预测区域的预测位置信息和预测置信度，也就是说，本实施例中的预测区域信息的数量可以为预设数量个，该预设数量为大于或等于1的整数，预设数量可以与三维目标模型的输出尺寸相匹配。例如，以输入三维目标检测模型的三维图像的图像尺寸为160*160*160为例，可以预先通过网络参数的设置，使三维目标检测模型输出10*10*10个图像尺寸为16*16*16的子图像对应的预测区域的预测位置信息和预测置信度。此外，根据实际需要，预设数量也可以设置为20*20*20、40*40*40等等，在此不做限定。
在一个实施场景中，为了便于实现三维维度上的目标检测，三维目标检测模型可以为三维卷积神经网络模型，具体可以包括间隔连接的若干卷积层和若干池化层，且卷积层中的卷积核为预定尺寸的三维卷积核。以预设数量为10*10*10为例，请结合参阅下表1，表1是三维目标检测模型一实施例的参数设置表。
表1三维目标检测模型一实施例的参数设置表
Figure BDA0002341934960000091
如表1所示，三维卷积核的尺寸可以是3*3*3。当预设数量为10*10*10时，三维目标检测模型可以包括8层卷积层，如表1所示，三维目标检测模型具体可以包括顺序连接的第一层卷积层和激活层(即表1中conv1+relu)、第一层池化层(即表1中pool1)、第二层卷积层和激活层(即表1中conv2+relu)、第二层池化层(即表1中pool2)、第三层卷积层和激活层(即表1中conv3a+relu)、第四层卷积层和激活层(即表1中conv3b+relu)、第三层池化层(即表1中pool3)、第五层卷积层和激活层(即表1中conv4a+relu)、第六层卷积层和激活层(即表1中conv4b+relu)、第四层池化层(即表1中pool4)、第七层卷积层和激活层(即表1中conv5a+relu)、第八层卷积层(即表1中conv5b)。通过上述设置，最终能够在样本三维图像的10*10*10个子图像中进行三维目标的预测，从而当三维目标的预测区域的预测预设点(例如，预测区域的中心点)处于某个子图像所在的区域时，该子图像所在的区域负责预测三维目标的预测区域信息。
步骤S13：利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值。
具体地，可以通过二分类交叉熵函数、均方误差函数(Mean Square Error，MSE)中的至少一者对实际位置信息和预测区域信息进行计算，得到三维目标检测模型的损失值。本实施例在此暂不赘述。
步骤S14：利用损失值，调整三维目标检测模型的参数。
利用实际位置信息与预测区域信息所得到的三维目标检测模型的损失值，表示利用三维目标检测模型的当前参数进行三维目标的预测，所得的预测结果与标注的实际位置之间的偏差度。对应地，损失值越大，表示两者之间的偏差度越大，即当前参数与目标参数之间的偏差越大，因此，通过损失值可以对三维目标检测模型的参数进行调整。
在一个实施场景中，为了训练得到稳定、可用的三维目标检测模型，可以在调整三维目标检测模型的参数之后，重新执行上述步骤S12以及后续步骤，从而不断执行对样本三维图像的检测，以及三维目标检测模型的损失值计算，及其参数调整过程，直至满足预设训练结束条件为止。在一个具体的实施场景中，预设训练结束条件可以包括损失值小于一个预设损失阈值，且损失值不再减小。
上述方案，获取到的样本三维图像标注有三维目标的实际区域的实际位置信息，并利用三维目标检测模型对样本三维图像进行目标检测，得到与样本三维图像的一个或多个子图像对应的一个或多个预测区域信息，且每个预测区域信息包括对应于样本三维图像的一子图像的预测区域的预测位置信息和预测置信度，从而利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值，并利用损失值，调整三维目标检测模型的参数，进而能够训练得到对三维图像进行三维目标检测的模型，而无需将三维图像处理为二维平面图像后再进行目标检测，故此，能够有效保留三维目标的空间信息和结构信息，从而能够直接检测得到三维目标。由于三维目标检测模型进行目标检测时，能够得到三维图像一个或多个子图像的预测区域信息，从而能够在三维图像的一个或多个子图像中进行三维目标检测，有助于降低三维目标检测的难度。
请参阅图2，图2是图1中步骤S13一实施例的流程示意图。本实施例中，预测区域信息的数量为预设数量个，预设数量与三维目标检测模型的输出尺寸匹配，具体地，可以包括如下步骤：
步骤S131：利用实际位置信息，生成分别与预设数量个子图像对应的预设数量个实际区域信息。
仍以三维目标检测模型输出10*10*10个子图像的预测区域的预测位置信息和预测置信度为例，请结合参阅表1，三维目标检测模型所输出的预测区域信息可以认为是7*10*10*10的向量，其中，10*10*10表示预设数量个子图像，7表示每个子图像所负责预测得到的三维目标的预测位置信息(例如，预测区域的中心点位置在x、y、z方向上的坐标，以及预测区域在长、宽、高方向上的尺寸)和预测置信度。故此，为了使预先标注的实际位置信息与预设数量个子图像对应的预测区域信息一一对应，以便后续计算损失值，本实施例将实际位置信息进行扩展，从而生成与预设数量个子图像对应的预设数量个实际区域信息，具体地，每个实际区域信息包括实际位置信息(例如，实际区域的中心点位置在x、y、z方向上的坐标，以及实际区域在长、宽、高方向上的尺寸)和实际置信度，实际区域的预设点(例如，中心点)所在的子图像对应的实际置信度为第一值(例如，1)，其余子图像对应的实际置信度为小于第一值的第二值(例如，0)，从而所生成的实际区域信息也可以认为与预测区域信息尺寸一致的向量。
此外，为了对三维目标进行唯一标识，预测位置信息可以包括预测预设点位置(如预测区域的中心点位置)和预测区域尺寸。与预测位置信息对应地，实际位置信息也可以包括实际预设点位置(如与预测预设点位置对应地，实际预设点位置也可以是实际区域的中心点位置)和实际区域尺寸。
步骤S132：利用与预设数量个子图像中对应的实际位置信息和预测位置信息，得到位置损失值。
本实施例中，可以利用二分类交叉熵函数，对与预设数量个子图像对应的实际预设点位置和预测预设点位置进行计算，得到第一位置损失值，具体可以参阅下式：
Figure BDA0002341934960000121
Figure BDA0002341934960000122
Figure BDA0002341934960000123
上式中，n表示预设数量，Xpr(i),Ypr(i),Zpr(i)分别表示第i个子图像对应的预测预设点位置，Xgt(i),Ygt(i),Zgt(i)分别表示第i个子图像对应的预测预设点位置，loss_x,loss_y,loss_z分别表示第一位置损失值在x、y、z方向上的子损失值。
此外，还可以利用均方误差函数，对与预设数量个子图像对应的实际区域尺寸和预测区域尺寸进行计算，得到第二位置损失值，具体可以参阅下式：
Figure BDA0002341934960000124
Figure BDA0002341934960000125
Figure BDA0002341934960000126
上式中，n表示预设数量，Lpr(i),Wpr(i),Hpr(i)分别表示第i个子图像对应的预测区域尺寸，Lgt(i),Wgt(i),Hgt(i)分别表示第i个子图像对应的实际区域尺寸，loss_l,loss_w,loss_h分别表示第二位置损失值在l(长度)、w(宽度)、h(高度)方向上的子损失值。
步骤S133：利用与预设数量个子图像中对应的实际置信度和预测置信度，得到置信度损失值。
具体地，可以利用二分类交叉熵函数，对与预设数量个子图像中对应的实际置信度和预测置信度进行计算，得到置信度损失值，具体可以参考下式：
Figure BDA0002341934960000131
上式中，n为预设数量，Ppr(i)表示第i个子图像对应的预测置信度，Pgt(i)表示第i个子图像对应的实际置信度，loss_p表示置信度损失值。
本实施例中，上述步骤S132和步骤S133可以按照先后顺序执行，例如，先执行步骤S132，后执行步骤S133，或者，先执行步骤S133，后执行步骤S132；上述步骤S132和步骤S133也可以同时执行，在此不做限定。
步骤S134：基于位置损失值和置信度损失值，得到三维目标检测模型的损失值。
具体地，可以对上述第一位置损失值、第二位置损失值和置信度损失值进行加权处理，得到三维目标检测模型的损失值，具体可以参考下式：
Figure BDA0002341934960000132
上式中，
Figure BDA0002341934960000133
表示分别对应于第一位置损失值在x，y，z方向上的子损失值的权重，
Figure BDA0002341934960000134
表示分别对应于第二位置损失值在l(长度)、w(宽度)、h(高度)方向上的子损失值的权重，
Figure BDA0002341934960000135
表示对应于置信度损失值的权重。
在一个实施场景中，上式中的
Figure BDA0002341934960000136
的和为1。在一个具体的实施场景中，上式中的
Figure BDA0002341934960000137
的和不为1，则为了对损失值进行标准化处理，可以相应地，在根据上式求得的损失值的基础上，再除以上式中的
Figure BDA0002341934960000138
的和。
区别于前述实施例，通过实际位置信息生成分别与预设数量个子图像对应的预设数量个实际区域信息，能够在预设数量个实际区域信息和对应的预测区域信息的基础上，进行损失计算，能够降低损失计算的复杂度。
在一个具体的实施场景中，预设区域信息与实际区域信息的参考度量可能并不一致，例如，预测预设点位置可以是预测区域的中心点位置与其所在的子图像区域的中心点位置之间的偏移值，预测区域尺寸可以是预测区域的实际尺寸与一预设尺寸(例如，锚框尺寸)之间的相对值，而实际预设点位置可以是实际区域的中心点在样本三维图像中的位置，实际区域尺寸可以是实际区域的长、宽、高尺寸，故此，为了加快收敛速度，在计算损失值之前，还可以将实际位置信息的值、一个或多个预测位置信息和预测置信度均约束至预设数值范围(例如，0～1)内，然后，再利用经约束后的实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值，具体的损失值计算过程可以参考上述实施例中的相关步骤，在此不再赘述。
具体地，可以利用预设映射函数分别将一个或多个预测位置信息和预测置信度均约束至预设数值范围内。本实施例中，预设映射函数可以是sigmoid函数，从而将预测位置信息和预测置信度映射到0～1的范围内，具体可以参阅下式：
Figure BDA0002341934960000141
Figure BDA0002341934960000142
Figure BDA0002341934960000143
Figure BDA0002341934960000144
上式中，(x′,y′,z′)表示预测位置信息中的预测预设点位置，σ(x′),σ(y′),σ(z′)表示经约束后的预测位置信息中的预测预设点位置；p′表示预测置信度，σ(p′)表示经约束后的预测置信度。
此外，请结合参阅图3，图3是将实际位置信息的值约束至预设数值范围内一实施例的流程示意图，具体可以包括如下步骤：
步骤S31：获得实际区域尺寸与预设尺寸之间的第一比值，并将第一比值的对数值作为经约束后的实际区域尺寸。
本实施例中，预设尺寸可以是用户预先根据实际情况而设置的，也可以是多个样本三维图像中的实际区域的区域尺寸的平均值，例如，对于N个样本三维图像而言，第j个样本三维图像的实际区域的区域尺寸在l(长度)、w(宽度)、h(高度)方向上可以分别表示为lgt(j),wgt(j),hgt(j)，故预设尺寸在l(长度)、w(宽度)、h(高度)方向上可以分别表示为：
Figure BDA0002341934960000151
Figure BDA0002341934960000152
Figure BDA0002341934960000153
上式中，lavg,wavg,havg分别表示预设尺寸在l(长度)、w(宽度)、h(高度)方向上的值。
在此基础上，可以通过下式，计算得到经约束后的实际区域尺寸在l(长度)、w(宽度)、h(高度)方向上的值：
Figure BDA0002341934960000154
Figure BDA0002341934960000155
Figure BDA0002341934960000156
上式中，
Figure BDA0002341934960000157
分别表示l(长度)、w(宽度)、h(高度)方向上的第一比值，lgt′,wgt′,hgt′分别表示经约束后的实际尺寸在l(长度)、w(宽度)、h(高度)方向上的尺寸。
经过上式处理，能够将实际区域尺寸约束处理为实际区域尺寸相对于所有实际区域尺寸平均值的相对值。
步骤S32：获得实际预设点位置与子图像的图像尺寸之间的第二比值，将第二比值的小数部分作为经约束后实际预设点位置。
本实施例中，可以将三维样本图像的图像尺寸与子图像的数量之间第三比值，作为子图像的图像尺寸，从而可以获取实际预设点位置与第三比值之间的第二比值，在一个实施场景中，子图像的数量可以为与三维目标检测模型的输出尺寸相匹配的预设数量。以预设数量为10*10*10，三维样本图像的图像尺寸为160*160*160为例，子图像的图像尺寸在l(长度)、w(宽度)、h(高度)方向上分别为16、16、16，当预设数量和三维样本图像的图像尺寸为其他值时，可以以此类推，在此不再一一举例。
具体地，取第二比值的小数部分的操作，可以通过第二比值，与下取整第二比值之间的差值得到，请参考下式：
Figure BDA0002341934960000161
Figure BDA0002341934960000162
Figure BDA0002341934960000163
上式中，x′gt,y′gt,z′gt分别表示经约束后实际预设点位置在x、y、z方向上的数值，L′,W′,H′分别表示预设尺寸在(长度)、w(宽度)、h(高度)方向上的尺寸，xgt,ygt,zgt分别表示实际预设点位置在x、y、z方向上的数值，floor(·)表示下取整处理。
当预设尺寸为子图像的图像尺寸时，经过上述处理，能够将实际预设点位置约束处理为实际预设点在子图像中的相对位置。
本实施例中，上述步骤S31和步骤S32可以按照先后顺序执行，例如，先执行步骤S31，后执行步骤S32；或者先执行步骤S32，后执行步骤S31。上述步骤S31和步骤S32还可以同时执行，在此不做限定。
区别于前述实施例，在利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值之前，将实际位置信息的值、一个或多个预测位置信息和预测置信度均约束至预设数值范围内，并利用经约束后的实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值，能够有效避免训练过程中可能会出现的网络震荡，加快收敛速度。
在一些实施例中，为了提高训练的自动化程度，可以利用脚本程序，执行上述任一实施例中的步骤。具体地，可以通过Python语言和Pytorch框架执行上述任一实施例中的步骤，在此基础上，可以采用Adam优化器(Adam optimizer)，并设置学习率(learning rate)为0.0001，网络的批尺寸(batch size)为2，迭代次数(epoch)为50。上述学习率、批尺寸、迭代次数的具体数值仅为示例，具体还可以根据实际情况进行设置，在此不做限定。
在一些实施例中，为了直观地反映训练结果，利用实际位置信息，生成分别与预设数量个子图像对应的预设数量个实际区域信息，其中，每个实际区域信息包括实际位置信息，具体可以参阅上述实施例中的相关步骤，在此基础上，利用与预设数量个子图像对应的实际区域信息和预测区域信息，计算预设数量个子图像对应的实际区域与预测区域的交并比(Intersection over Union，IoU)，然后计算预设数量个交并比的平均值，作为一次训练过程中的均交并比(Mean Intersection over Union，MIoU)，均交并比越大，说明预测区域与实际区域的重合度越高，模型越准确。具体地，为了降低计算难度，还可以分别在冠状面、矢状面、横断面分别计算交并比，在此不再一一举例。
请参阅图4，图4是三维目标检测方法一实施例的流程示意图。具体而言，图4是利用上述任一三维目标检测模型的训练方法实施例中的步骤训练得到的三维目标检测模型进行目标检测的一实施例的流程示意图，具体包括如下步骤：
步骤S41：获取待测三维图像。
与样本三维图像类似，待测三维图像可以是核磁共振图像，也可以是利用CT(Computed Tomography，电子计算机断层扫描)图像、B超图像进行三维重建而得到的三维图像，在此不做限定。
步骤S42：利用三维目标检测模型对待测三维图像进行目标检测，得到与待测三维图像中三维目标对应的目标区域信息。
本实施例中，三维目标检测模型是通过上述任一三维目标检测模型的训练方法得到的，具体可以参阅前述任一三维目标检测模型的训练方法实施例中的步骤，在此不再赘述。
具体地，在利用三维目标检测模型对待测三维图像进行目标检测时，可以得到与待测三维图像的一个或多个子图像对应的一个或多个预测区域信息，其中，每个预测区域信息包括预测区域的预测位置信息和预测置信度。在一个实施场景中，一个或多个预测区域信息的数量可以为预设数量个，预设数量与三维目标检测模型的输出尺寸相匹配。具体可以参考前述实施例中的相关步骤。在得到与待测三维图像的一个或多个子图像对应的一个或多个预测区域信息之后，可以统计最高的预测置信度，并基于最高的预测置信度对应的预测位置信息确定与待测三维图像中的三维目标对应的目标区域信息。最高的预测置信度对应的预测位置信息具有最可靠的可信度，故此，可以基于最高的预测置信度对应的预测位置信息确定与三维目标对应的目标区域信息。具体地，目标区域信息可以是最高预测置信度所对应的预测位置信息，包括预测预设点位置(例如，预测区域的中心点位置)，以及预测区域尺寸。通过在待测三维图像的一个或多个子图像中进行三维目标检测，有助于降低三维目标检测的难度。
在一个实施场景中，待测三维图像在输入三维目标检测模型进行目标检测之前，为了与三维目标检测模型的输入相匹配，还可以缩放为设定图像尺寸(设定图像尺寸可以与三维目标检测模型的输入一致)，则在通过上述方式获得经缩放处理的待测三维图像中的目标区域信息之后，还可以将所获得的目标区域进行与缩放相逆的处理，从而得到待测三维图像中的目标区域。
上述方案，利用三维目标检测模型对待测三维图像进行目标检测，得到与待测三维图像中的三维目标对应的目标区域信息，且三维目标检测模型是通过上述任一三维目标检测模型的训练方法得到的，故能够无需将三维图像处理为二维平面图像后再进行目标检测，故此，能够有效保留三维目标的空间信息和结构信息，从而能够直接检测得到三维目标。
图5是本申请三维目标检测模型的训练装置50一实施例的框架示意图。三维目标检测模型的训练装置50包括：图像获取模块51、目标检测模块52、损失确定模块53和参数调整模块54，图像获取模块51用于获取样本三维图像，其中，样本三维图像标注有三维目标的实际区域的实际位置信息；目标检测模块52用于利用三维目标检测模型对样本三维图像进行目标检测，得到与样本三维图像的一个或多个子图像对应的一个或多个预测区域信息，其中，每个预测区域信息包括预测区域的预测位置信息和预测置信度；损失确定模块53用于利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值；参数调整模块54用于利用损失值，调整三维目标检测模型的参数。在一个实施场景中，三维目标检测模型为三维卷积神经网络模型。在一个实施场景中，样本三维图像为核磁共振图像，三维目标为人体部位。
上述方案，获取到的样本三维图像标注有三维目标的实际区域的实际位置信息，并利用三维目标检测模型对样本三维图像进行目标检测，得到与样本三维图像的一个或多个子图像对应的一个或多个预测区域信息，且每个预测区域信息包括对应于样本三维图像的一子图像的预测区域的预测位置信息和预测置信度，从而利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值，并利用损失值，调整三维目标检测模型的参数，进而能够训练得到对三维图像进行三维目标检测的模型，而无需将三维图像处理为二维平面图像后再进行目标检测，故此，能够有效保留三维目标的空间信息和结构信息，从而能够直接检测得到三维目标。由于三维目标检测模型进行目标检测时，能够得到三维图像一个或多个子图像的预测区域信息，从而能够在三维图像的一个或多个子图像中进行三维目标检测，有助于降低三维目标检测的难度。
在一些实施例中，预测区域信息的数量为预设数量个，预设数量与三维目标检测模型的输出尺寸相匹配，损失确定模块53包括实际区域信息生成子模块，用于利用实际位置信息，生成分别与预设数量个子图像对应的预设数量个实际区域信息，其中，每个实际区域信息包括实际位置信息和实际置信度，实际区域的预设点所在的子图像对应的实际置信度为第一值，其余子图像对应的实际置信度为小于第一值的第二值，损失确定模块53包括位置损失计算子模块，用于利用与预设数量个子图像中对应的实际位置信息和预测位置信息，得到位置损失值，损失确定模块53包括置信度损失计算子模块，用于利用与预设数量个子图像中对应的实际置信度和预测置信度，得到置信度损失值，损失确定模块53包括模型损失计算子模块，用于基于位置损失值和置信度损失值，得到三维目标检测模型的损失值。
区别于前述实施例，通过实际位置信息生成分别与预设数量个子图像对应的预设数量个实际区域信息，能够在预设数量个实际区域信息和对应的预测区域信息的基础上，进行损失计算，能够降低损失计算的复杂度。
在一些实施例中，实际位置信息包括实际区域的实际预设点位置和实际区域尺寸，预测位置信息包括预测区域的预测预设点位置和预测区域尺寸，位置损失计算子模块包括第一位置损失计算单元，用于利用二分类交叉熵函数，对与预设数量个子图像中对应的实际预设点位置和预测预设点位置进行计算，得到第一位置损失值，位置损失计算子模块包括第二位置损失计算单元，用于利用均方误差函数，对与预设数量个子图像中对应的实际区域尺寸和预测区域尺寸进行计算，得到第二位置损失值，置信度损失计算子模块具体用于利用二分类交叉熵函数，对与预设数量个子图像中对应的实际置信度和预测置信度进行计算，得到置信度损失值，模型损失计算子模块具体用于对第一位置损失值、第二位置损失值和置信损失值进行加权处理，得到三维目标检测模型的损失值。
在一些实施例中，三维目标检测模型的训练装置50还包括数值约束模块，用于将实际位置信息的值、一个或多个预测位置信息和预测置信度均约束至预设数值范围内，损失计算模块53具体用于利用经约束后的实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值。在一个实施场景中，预设数值范围为0至1的范围内。
区别于前述实施例，在利用实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值之前，将实际位置信息的值、一个或多个预测位置信息和预测置信度均约束至预设数值范围内，并利用经约束后的实际位置信息与一个或多个预测区域信息，确定三维目标检测模型的损失值，能够有效避免训练过程中可能会出现的网络震荡，加快收敛速度。
在一些实施例中，实际位置信息包括实际区域的实际预设点位置和实际区域尺寸，预测位置信息包括预测区域的预测预设点位置和预测区域尺寸，数值约束模块包括第一约束子模块，用于获得实际区域尺寸与预设尺寸之间的第一比值，并将第一比值的对数值作为经约束后的实际区域尺寸，数值约束模块包括第二约束子模块，用于获得实际预设点位置与子图像的图像尺寸之间的第二比值，将第二比值的小数部分作为经约束后实际预设点位置，数值约束模块包括第三约束子模块，用于利用预设映射函数分别将一个或多个预测预设点位置和预测置信度映射到预设数值范围内。在一个实施场景中，预设尺寸为多个样本三维图像中的实际区域的区域尺寸的平均值。
在一些实施例中，第二约束子模块具体还用于计算样本三维图像的图像尺寸和子图像的数量之间的第三比值，并获得实际预设点位置与第三比值之间的第二比值。
在一些实施例中，三维目标检测模型的训练装置50还包括预处理模块，用于将样本三维图像转换为三基色通道图像。预处理模块还用于将样本三维图像的尺寸缩放为设定图像尺寸。预处理模块还用于对样本三维图像进行归一化和标准化处理。
请参阅图6，图6是本申请三维目标检测装置60一实施例的框架示意图。三维目标检测装置60包括图像获取模块61和目标检测模块62，图像获取模块61用于获取待测三维图像，目标检测模块62用于利用三维目标检测模型对待测三维图像进行目标检测，得到与待测三维图像中的三维目标对应的目标区域信息，其中，三维目标检测模型是利用上述任一三维目标检测模型的训练装置实施例中的三维目标检测模型的训练装置得到的。
上述方案，利用三维目标检测模型对待测三维图像进行目标检测，得到与待测三维图像中的三维目标对应的目标区域信息，且三维目标检测模型是利用上述任一三维目标检测模型的训练装置的实施例中的三维目标检测模型的训练装置得到的，故能够无需将三维图像处理为二维平面图像后再进行目标检测，故此，能够有效保留三维目标的空间信息和结构信息，从而能够直接检测得到三维目标。
请参阅图7，图7是本申请电子设备70一实施例的框架示意图。电子设备70包括相互耦接的存储器71和处理器72，处理器72用于执行存储器71中存储的程序指令，以实现上述任一三维目标检测模型的训练方法实施例的步骤，或实现上述任一三维目标检测方法实施例中的步骤。在一个具体的实施场景中，电子设备70可以包括但不限于：微型计算机、服务器，此外，电子设备70还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器72用于控制其自身以及存储器71以实现上述任一三维目标检测模型的训练方法实施例的步骤，或实现上述任一三维目标检测方法实施例中的步骤。处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由集成电路芯片共同实现。
上述方案，能够无需将三维图像处理为二维平面图像后再进行目标检测，故此，能够有效保留三维目标的空间信息和结构信息，从而能够直接检测得到三维目标。且由于三维目标检测模型进行目标检测时，能够得到三维图像一个或多个子图像的预测区域信息，从而能够在三维图像的一个或多个子图像中进行三维目标检测，有助于降低三维目标检测的难度。
请参阅图8，图8为本申请计算机可读存储介质80一实施例的框架示意图。计算机可读存储介质80存储有能够被处理器运行的程序指令801，程序指令801用于实现上述任一三维目标检测模型的训练方法实施例的步骤，或实现上述任一三维目标检测方法实施例中的步骤。
上述方案，能够无需将三维图像处理为二维平面图像后再进行目标检测，故此，能够有效保留三维目标的空间信息和结构信息，从而能够直接检测得到三维目标。且由于三维目标检测模型进行目标检测时，能够得到三维图像一个或多个子图像的预测区域信息，从而能够在三维图像的一个或多个子图像中进行三维目标检测，有助于降低三维目标检测的难度。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (13)

1.一种三维目标检测模型的训练方法，其特征在于，包括：
获取样本三维图像，其中，所述样本三维图像标注有三维目标的实际区域的实际位置信息；
利用三维目标检测模型对所述样本三维图像进行目标检测，得到与所述样本三维图像的一个或多个子图像对应的一个或多个预测区域信息，其中，每个所述预测区域信息包括预测区域的预测位置信息和预测置信度；
利用所述实际位置信息与所述一个或多个所述预测区域信息，确定所述三维目标检测模型的损失值；
利用所述损失值，调整所述三维目标检测模型的参数。
2.根据权利要求1所述的训练方法，其特征在于，所述预测区域信息的数量为预设数量个，所述预设数量与所述三维目标检测模型的输出尺寸相匹配；
所述利用所述实际位置信息与所述一个或多个所述预测区域信息，确定所述三维目标检测模型的损失值，包括：
利用所述实际位置信息，生成分别与所述预设数量个子图像对应的预设数量个实际区域信息，其中，每个所述实际区域信息包括所述实际位置信息和实际置信度，所述实际区域的预设点所在的子图像对应的实际置信度为第一值，其余所述子图像对应的实际置信度为小于所述第一值的第二值；
利用与所述预设数量个子图像中对应的所述实际位置信息和所述预测位置信息，得到位置损失值；
利用与所述预设数量个子图像中对应的所述实际置信度和所述预测置信度，得到置信度损失值；
基于所述位置损失值和所述置信度损失值，得到所述三维目标检测模型的损失值。
3.根据权利要求2所述的训练方法，其特征在于，所述实际位置信息包括所述实际区域的实际预设点位置和实际区域尺寸，所述预测位置信息包括所述预测区域的预测预设点位置和预测区域尺寸；
所述利用与所述预设数量个子图像中对应的所述实际位置信息和所述预测位置信息，得到位置损失值，包括：
利用二分类交叉熵函数，对与所述预设数量个子图像中对应的所述实际预设点位置和所述预测预设点位置进行计算，得到第一位置损失值；
利用均方误差函数，对与所述预设数量个子图像中对应的所述实际区域尺寸和所述预测区域尺寸进行计算，得到第二位置损失值；
所述利用与所述预设数量个子图像中对应的所述实际置信度和所述预测置信度，得到置信度损失值，包括：
利用二分类交叉熵函数，对与所述预设数量个子图像中对应的所述实际置信度和所述预测置信度进行计算，得到置信度损失值；
所述基于所述位置损失值和所述置信度损失值，得到所述三维目标检测模型的损失值，包括：
对所述第一位置损失值、所述第二位置损失值和所述置信损失值进行加权处理，得到所述三维目标检测模型的损失值。
4.根据权利要求1-3中任意一项所述的训练方法，其特征在于，在所述利用所述实际位置信息与所述一个或多个所述预测区域信息，确定所述三维目标检测模型的损失值之前，所述方法还包括：
将所述实际位置信息的值、所述一个或多个所述预测位置信息和所述预测置信度均约束至预设数值范围内；
所述利用所述实际位置信息与所述一个或多个所述预测区域信息，确定所述三维目标检测模型的损失值，包括：
所述利用经约束后的所述实际位置信息与所述一个或多个所述预测区域信息，确定所述三维目标检测模型的损失值。
5.根据权利要求4所述的训练方法，其特征在于，所述实际位置信息包括所述实际区域的实际预设点位置和实际区域尺寸，所述预测位置信息包括所述预测区域的预测预设点位置和预测区域尺寸；
所述将所述实际位置信息的值约束至预设数值范围内，包括：
获得所述实际区域尺寸与预设尺寸之间的第一比值，并将所述第一比值的对数值作为经约束后的实际区域尺寸；
获得所述实际预设点位置与所述子图像的图像尺寸之间的第二比值，将所述第二比值的小数部分作为经约束后所述实际预设点位置；
所述将所述一个或多个所述预测位置信息和所述预测置信度均约束至预设数值范围内，包括：
利用预设映射函数分别将所述一个或多个预测预设点位置和预测置信度映射到所述预设数值范围内。
6.根据权利要求5所述的训练方法，其特征在于，所述获得所述实际预设点位置与所述子图像的图像尺寸之间的第二比值，包括：
计算所述样本三维图像的图像尺寸和所述子图像的数量之间的第三比值，并获得所述实际预设点位置与所述第三比值之间的第二比值。
7.根据权利要求5所述的训练方法，其特征在于，所述预设数值范围为0至1的范围内；和/或，所述预设尺寸为多个样本三维图像中的实际区域的区域尺寸的平均值。
8.根据权利要求1所述的训练方法，其特征在于，在所述利用三维目标检测模型对所述样本三维图像进行目标检测，得到一个或多个预测区域信息之前，所述方法还包括以下至少一个预处理步骤：
将所述样本三维图像转换为三基色通道图像；
将所述样本三维图像的尺寸缩放为设定图像尺寸；
对所述样本三维图像进行归一化和标准化处理。
9.一种三维目标检测方法，其特征在于，包括：
获取待测三维图像；
利用三维目标检测模型对所述待测三维图像进行目标检测，得到与所述待测三维图像中的三维目标对应的目标区域信息；
其中，所述三维目标检测模型是通过权利要求1至8任一项所述的三维目标检测模型的训练方法得到的。
10.一种三维目标检测模型的训练装置，其特征在于，包括：
图像获取模块，用于获取样本三维图像，其中，所述样本三维图像标注有三维目标的实际区域的实际位置信息；
目标检测模块，用于利用三维目标检测模型对所述样本三维图像进行目标检测，得到与所述样本三维图像的一个或多个子图像对应的一个或多个预测区域信息，其中，每个所述预测区域信息包括预测区域的预测位置信息和预测置信度；
损失确定模块，用于利用所述实际位置信息与所述一个或多个所述预测区域信息，确定所述三维目标检测模型的损失值；
参数调整模块，用于利用所述损失值，调整所述三维目标检测模型的参数。
11.一种三维目标检测装置，其特征在于，包括：
图像获取模块，用于获取待测三维图像；
目标检测模块，用于利用三维目标检测模型对所述待测三维图像进行目标检测，得到与所述待测三维图像中的三维目标对应的目标区域信息；
其中，所述三维目标检测模型是通过权利要求10所述的三维目标检测模型的训练装置得到的。
12.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至8任一项所述的三维目标检测模型的训练方法，或实现权利要求9所述的三维目标检测方法。
13.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至8任一项所述的三维目标检测模型的训练方法，或实现权利要求9所述的三维目标检测方法。
CN201911379639.4A 2019-12-27 2019-12-27 三维目标检测方法及其模型的训练方法及相关装置、设备 Withdrawn CN111179247A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911379639.4A CN111179247A (zh) 2019-12-27 2019-12-27 三维目标检测方法及其模型的训练方法及相关装置、设备
JP2021539662A JP2022517769A (ja) 2019-12-27 2020-07-22 三次元ターゲット検出及びモデルの訓練方法、装置、機器、記憶媒体及びコンピュータプログラム
PCT/CN2020/103634 WO2021128825A1 (zh) 2019-12-27 2020-07-22 三维目标检测及模型的训练方法及装置、设备、存储介质
TW109143832A TW202125415A (zh) 2019-12-27 2020-12-11 三維目標檢測及模型的訓練方法、設備、儲存媒體
US17/847,862 US20220351501A1 (en) 2019-12-27 2022-06-23 Three-dimensional target detection and model training method and device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911379639.4A CN111179247A (zh) 2019-12-27 2019-12-27 三维目标检测方法及其模型的训练方法及相关装置、设备

Publications (1)

Publication Number Publication Date
CN111179247A true CN111179247A (zh) 2020-05-19

Family

ID=70654208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911379639.4A Withdrawn CN111179247A (zh) 2019-12-27 2019-12-27 三维目标检测方法及其模型的训练方法及相关装置、设备

Country Status (5)

Country Link
US (1) US20220351501A1 (zh)
JP (1) JP2022517769A (zh)
CN (1) CN111179247A (zh)
TW (1) TW202125415A (zh)
WO (1) WO2021128825A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258572A (zh) * 2020-09-30 2021-01-22 北京达佳互联信息技术有限公司 目标检测方法、装置、电子设备及存储介质
CN112712119A (zh) * 2020-12-30 2021-04-27 杭州海康威视数字技术股份有限公司 确定目标检测模型的检测准确率的方法和装置
WO2021128825A1 (zh) * 2019-12-27 2021-07-01 上海商汤智能科技有限公司 三维目标检测及模型的训练方法及装置、设备、存储介质
CN113435260A (zh) * 2021-06-07 2021-09-24 上海商汤智能科技有限公司 图像检测方法和相关训练方法及相关装置、设备及介质
CN114005110A (zh) * 2021-12-30 2022-02-01 智道网联科技(北京)有限公司 3d检测模型训练方法与装置、3d检测方法与装置
CN114119588A (zh) * 2021-12-02 2022-03-01 北京大恒普信医疗技术有限公司 一种训练眼底黄斑病变区域检测模型的方法、装置及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113938895B (zh) * 2021-09-16 2023-09-05 中铁第四勘察设计院集团有限公司 铁路无线信号的预测方法、装置、电子设备及存储介质
CN115457036B (zh) * 2022-11-10 2023-04-25 中国平安财产保险股份有限公司 检测模型训练方法、智能点数方法和相关设备
CN117315402A (zh) * 2023-11-02 2023-12-29 北京百度网讯科技有限公司 三维对象检测模型的训练方法及三维对象检测方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022238A (zh) * 2017-08-09 2018-05-11 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
CN108648178A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种影像结节检测的方法及装置
CN108986085A (zh) * 2018-06-28 2018-12-11 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109635685A (zh) * 2018-11-29 2019-04-16 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN109685768A (zh) * 2018-11-28 2019-04-26 心医国际数字医疗系统(大连)有限公司 基于肺部ct序列的肺结节自动检测方法及系统
CN109816655A (zh) * 2019-02-01 2019-05-28 华院数据技术(上海)有限公司 基于ct图像的肺结节图像特征检测方法
CN109886307A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像检测方法及系统
CN109902556A (zh) * 2019-01-14 2019-06-18 平安科技（深圳）有限公司 行人检测方法、系统、计算机设备及计算机可存储介质
US20190188541A1 (en) * 2017-03-17 2019-06-20 Chien-Yi WANG Joint 3d object detection and orientation estimation via multimodal fusion
CN110046572A (zh) * 2019-04-15 2019-07-23 重庆邮电大学 一种基于深度学习的地标建筑物识别与检测方法
CN110223279A (zh) * 2019-05-31 2019-09-10 上海商汤智能科技有限公司 一种图像处理方法和装置、电子设备
CN110533684A (zh) * 2019-08-22 2019-12-03 杭州德适生物科技有限公司 一种染色体核型图像切割方法
CN110543850A (zh) * 2019-08-30 2019-12-06 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置
CN110598620A (zh) * 2019-09-06 2019-12-20 腾讯科技（深圳）有限公司 模型训练方法和装置、目标检测方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229489B (zh) * 2016-12-30 2020-08-11 北京市商汤科技开发有限公司 关键点预测、网络训练、图像处理方法、装置及电子设备
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
US10748036B2 (en) * 2017-11-21 2020-08-18 Nvidia Corporation Training a neural network to predict superpixels using segmentation-aware affinity loss
CN108257128B (zh) * 2018-01-30 2020-09-18 浙江大学 一种基于3d卷积神经网络的肺结节检测装置的建立方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109492697B (zh) * 2018-11-15 2021-02-02 厦门美图之家科技有限公司 图片检测网络训练方法及图片检测网络训练装置
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190188541A1 (en) * 2017-03-17 2019-06-20 Chien-Yi WANG Joint 3d object detection and orientation estimation via multimodal fusion
CN108022238A (zh) * 2017-08-09 2018-05-11 深圳科亚医疗科技有限公司 对3d图像中对象进行检测的方法、计算机存储介质和系统
CN108648178A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种影像结节检测的方法及装置
CN108986085A (zh) * 2018-06-28 2018-12-11 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109147254A (zh) * 2018-07-18 2019-01-04 武汉大学 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN109102502A (zh) * 2018-08-03 2018-12-28 西北工业大学 基于三维卷积神经网络的肺结节检测方法
CN109685768A (zh) * 2018-11-28 2019-04-26 心医国际数字医疗系统(大连)有限公司 基于肺部ct序列的肺结节自动检测方法及系统
CN109635685A (zh) * 2018-11-29 2019-04-16 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN109902556A (zh) * 2019-01-14 2019-06-18 平安科技（深圳）有限公司 行人检测方法、系统、计算机设备及计算机可存储介质
CN109886307A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像检测方法及系统
CN109816655A (zh) * 2019-02-01 2019-05-28 华院数据技术(上海)有限公司 基于ct图像的肺结节图像特征检测方法
CN110046572A (zh) * 2019-04-15 2019-07-23 重庆邮电大学 一种基于深度学习的地标建筑物识别与检测方法
CN110223279A (zh) * 2019-05-31 2019-09-10 上海商汤智能科技有限公司 一种图像处理方法和装置、电子设备
CN110533684A (zh) * 2019-08-22 2019-12-03 杭州德适生物科技有限公司 一种染色体核型图像切割方法
CN110543850A (zh) * 2019-08-30 2019-12-06 上海商汤临港智能科技有限公司 目标检测方法及装置、神经网络训练方法及装置
CN110598620A (zh) * 2019-09-06 2019-12-20 腾讯科技（深圳）有限公司 模型训练方法和装置、目标检测方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Y. GUI ET AL: "A scale transfer convolution network for small ship detection in SAR images" *
李云鹏: "基于CT图像的肺结节检测方法研究" *
王亮亮等: "基于车窗特征的快速车辆检测算法" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021128825A1 (zh) * 2019-12-27 2021-07-01 上海商汤智能科技有限公司 三维目标检测及模型的训练方法及装置、设备、存储介质
CN112258572A (zh) * 2020-09-30 2021-01-22 北京达佳互联信息技术有限公司 目标检测方法、装置、电子设备及存储介质
CN112712119A (zh) * 2020-12-30 2021-04-27 杭州海康威视数字技术股份有限公司 确定目标检测模型的检测准确率的方法和装置
CN112712119B (zh) * 2020-12-30 2023-10-24 杭州海康威视数字技术股份有限公司 确定目标检测模型的检测准确率的方法和装置
CN113435260A (zh) * 2021-06-07 2021-09-24 上海商汤智能科技有限公司 图像检测方法和相关训练方法及相关装置、设备及介质
WO2022257314A1 (zh) * 2021-06-07 2022-12-15 上海商汤智能科技有限公司 图像检测方法和相关训练方法及相关装置、设备及介质
CN114119588A (zh) * 2021-12-02 2022-03-01 北京大恒普信医疗技术有限公司 一种训练眼底黄斑病变区域检测模型的方法、装置及系统
CN114005110A (zh) * 2021-12-30 2022-02-01 智道网联科技(北京)有限公司 3d检测模型训练方法与装置、3d检测方法与装置
CN114005110B (zh) * 2021-12-30 2022-05-17 智道网联科技(北京)有限公司 3d检测模型训练方法与装置、3d检测方法与装置

Also Published As

Publication number Publication date
JP2022517769A (ja) 2022-03-10
US20220351501A1 (en) 2022-11-03
TW202125415A (zh) 2021-07-01
WO2021128825A1 (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
CN111179247A (zh) 三维目标检测方法及其模型的训练方法及相关装置、设备
CN109446951B (zh) 三维图像的语义分割方法、装置、设备及存储介质
US20210365717A1 (en) Method and apparatus for segmenting a medical image, and storage medium
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
US20210158510A1 (en) Estimating object thickness with neural networks
US11941807B2 (en) Artificial intelligence-based medical image processing method and medical device, and storage medium
RU2677764C2 (ru) Координатная привязка медицинских изображений
CN111539947B (zh) 图像检测方法及相关模型的训练方法和相关装置、设备
CN109949349B (zh) 一种多模态三维图像的配准及融合显示方法
JP2022529838A (ja) ターゲット検出方法及びそのモデルの訓練方法、装置並びに電子機器
Aranguren et al. Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm
EP3961561A1 (en) Method for designing a module for image segmentation
CN109215014B (zh) Ct图像预测模型的训练方法、装置、设备及存储介质
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
CN107862665B (zh) Ct图像序列的增强方法及装置
EP3699929A1 (en) Patient weight estimation from surface data using a patient model
CN108701360A (zh) 图像处理系统和方法
CN114387317B (zh) Ct图像和mri三维图像的配准方法、装置
CN114332563A (zh) 图像处理模型训练方法及相关装置、设备和存储介质
US20220198696A1 (en) System for determining body measurement from images
CN115311430A (zh) 人体重建模型的训练方法、系统及计算机设备
CN112950457A (zh) 图像转换方法及相关模型的训练方法及相关装置、设备
US20240135737A1 (en) Systems and methods for automatic data annotation
CN117952961B (zh) 图像预测模型的训练及应用方法、设备及可读存储介质
US20230368387A1 (en) Image processing apparatus, a method of processing image data, and a computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018654

Country of ref document: HK

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200519