CN113505799B - 显著性检测方法及其模型的训练方法和装置、设备、介质 - Google Patents
显著性检测方法及其模型的训练方法和装置、设备、介质 Download PDFInfo
- Publication number
- CN113505799B CN113505799B CN202110735893.4A CN202110735893A CN113505799B CN 113505799 B CN113505799 B CN 113505799B CN 202110735893 A CN202110735893 A CN 202110735893A CN 113505799 B CN113505799 B CN 113505799B
- Authority
- CN
- China
- Prior art keywords
- sample image
- image
- saliency
- position information
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 266
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012549 training Methods 0.000 title claims abstract description 81
- 238000002372 labelling Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 210000000988 bone and bone Anatomy 0.000 claims description 133
- 238000010586 diagram Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 description 43
- 230000000875 corresponding effect Effects 0.000 description 21
- 230000000717 retained effect Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 208000025174 PANDAS Diseases 0.000 description 4
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 4
- 240000004718 Panda Species 0.000 description 4
- 235000016496 Panda oleosa Nutrition 0.000 description 4
- 241001520299 Phascolarctos cinereus Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 241000272525 Anas platyrhynchos Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Automatic Tape Cassette Changers (AREA)
- Holo Graphy (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本申请公开了一种显著性检测方法及其模型的训练方法和装置、设备、介质，显著性检测模型的训练方法包括：获取至少一张样本图像，其中，至少一张样本图像包括属于预设图像类型的目标样本图像；基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤；利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息；基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数。上述方案，通过对样本图像进行筛选再利用筛选后的样本图像对显著性检测模型进行训练，能够提高显著性检测模型输出结果的准确度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种显著性检测方法及其模型的训练方法和装置、设备、介质。
背景技术
目前，在对模型进行训练的过程中，只是简单从样本图像数据库中获取一定数据的样本图像，并直接使用这部分样本图像对模型进行训练。但是有的样本图像本身存在一定的缺陷，若使用这部分样本图像对模型进行训练，会导致训练后的模型对图像进行处理得到的结果的准确度不高。
发明内容
本申请至少提供一种显著性检测方法及其模型的训练方法和装置、设备、介质。
本申请提供了一种显著性检测模型的训练方法，包括：获取至少一张样本图像，其中，至少一张样本图像包括属于预设图像类型的目标样本图像；基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤；利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息；基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数。
因此，通过对获取到的预设图像类型的目标样本图像进行按照其显著性区域的轮廓缺失情况，对目标样本图像进行过滤，使得保留下的样本图像中显著性区域较为完整，进而利用这种保留下的质量较高的样本图像对显著性检测模型进行训练，可以使得训练得到的显著性检测模型后续对图像进行检测的结果更准确。
其中，基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤，包括：对目标样本图像中显著性区域的轮廓进行填补，得到填补样本图像；获取填补样本图像与目标样本图像中关于显著性区域的差异；在差异满足预设要求的情况下，过滤目标样本图像。
因此，通过对样本图像按照轮廓缺失的情况进行过滤，使得留下的样本图像中显著性区域轮廓的质量更好。另外，通过获取填补样本图像与目标样本图像中关于显著性区域的差异能够较快的获取显著性区域的轮廓缺失情况。
其中，预设要求为差异大于预设差异值；对目标样本图像中显著性区域的轮廓进行填补，得到填补样本图像，包括：对目标样本图像进行闭运算，得到填补样本图像；获取填补样本图像与目标样本图像中关于显著性区域的差异，包括：获取填补样本图像关于显著性区域的第一面积，以及目标样本图像中关于显著性区域的第二面积；将第一面积和第二面积之差作为差异。
因此，若目标样本图像中的显著性区域的轮廓存在较大的缺口，则填补前后的显著性区域的面积可能存在较大的差异，从而根据填补前后显著性区域的面积差，即可确定目标样本图像中显著性区域的轮廓是否存在缺失。
其中，在基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤之后，方法还包括：基于填补样本图像的显著性区域的位置信息，得到目标样本图像关于显著性区域的标注位置信息。
因此，通过填补样本图像的显著性区域的位置信息，确定目标样本图像关于显著性区域的标注位置信息，能够保障显著性区域的完整性。
其中，至少一张样本图像包括多种图像类型。
因此，通过使用多种图像类型的样本图像对显著性检测模型进行训练，使得训练得到的显著性检测模型能够对多种类型的图像进行图像处理，从而提高了显著性检测模型的适用性。
其中，多种图像类型包括对真实物体拍摄得到的图像、手绘图、卡通图中的至少两种。
因此，通过将常见的图像类型对应的样本图像用于对图像处理模型进行训练，使得训练得到的图像处理模型在日常生活或工作中更为适用。
其中，基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数，包括：基于标注位置信息和预测位置信息，获取样本图像中各像素的第一损失；将样本图像中各像素的第一损失进行加权，得到样本图像的第二损失；基于第二损失，调整显著性检测模型的参数。
因此，通过对各像素的第一损失进行加权，使得利用加权后的第二损失调整显著性检测模型的参数更准确。
其中，像素的第一损失的权重与像素的边界距离相关，像素的边界距离为像素与真实显著性区域的边界之间的距离，真实显著性区域为样本图像中由标注位置信息定义的显著性区域。
因此，通过根据像素的边界距离确定权重，使得利用加权后的第二损失调整显著性检测模型的参数更准确。
其中，像素的边界距离越小，像素的第一损失的权重越大。
因此，像素的边界距离与像素的第一损失的权重呈负相关，使得得到的第二损失更准确。
其中，显著性检测模型为MobileNetV3的网络结构；和/或，显著性检测模型包括特征提取子网络和第一检测子网络和第二检测子网络；利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息，包括：利用特征提取子网络对样本图像进行特征提取，得到样本图像对应的特征图；利用第一检测子网络对特征图进行初始检测，得到样本图像中关于显著性区域的初始位置信息；将特征图和初始位置信息进行融合，得到融合结果；利用第二检测子网络对融合结果进行最终检测，得到样本图像的预测位置信息。
因此，因MobileNetV3的网络结构简单，通过使用MobileNetV3的网络结构，能够加快检测效率，而且可以使得处理能力较小的设备也可使用该显著性检测模型实现显著性检测；另，通过第一检测子网络对特征图进行初始检测之后，再使用第二检测子网络对初始检测结果进行最终检测，能够提高检测的准确度。
其中，在利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息之前，方法还包括：对经过滤后的样本图像进行数据增强；其中，数据增强的方式包括对样本图像中除显著性区域以外的背景区域进行填充。
因此，通过对样本图像进行数据增强，能够提高显著性检测模型的适用性。
本申请提供了一种显著性检测方法，包括：获取待处理图像；利用显著性检测模型对待处理图像进行处理，得到待处理图像内容中关于显著性区域的预测位置信息，其中，显著性检测模型是由上述显著性检测模型的训练方法训练得到的。
因此，通过使用显著性检测模型的训练方法训练得到的显著性检测模型对待处理图像进行检测，能够提高得到关于显著性区域的预测位置信息的准确度。
其中，在利用显著性检测模型对待处理图像进行处理，得到待处理图像内容中关于显著性区域的预测位置信息之后，方法还包括：利用预测位置信息，对显著性区域进行骨骼提取，得到目标骨骼；为目标骨骼选择一骨骼模型作为源骨骼；将与源骨骼相关的第一动画驱动数据迁移至目标骨骼上，得到目标骨骼的第二动画驱动数据。
因此，通过利用预测位置信息，对显著性区域进行骨胳提取，能够提高目标骨骼的准确度。
本申请提供了一种显著性检测模型的训练装置，包括：第一获取模块，用于获取至少一张样本图像，其中，至少一张样本图像包括属于预设图像类型的目标样本图像；筛选模块，用于基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤；第一检测模块，利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息；调整模块，基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数。
本申请提供了一种显著性检测装置，包括：第二获取模块，用于获取待处理图像；第二检测模块，用于利用显著性检测模型对待处理图像进行处理，得到待处理图像内容中关于显著性区域的预测位置信息，其中，显著性检测模型是由上述显著性检测模型的训练方法训练得到的。
本申请提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述显著性检测模型的训练方法和/或显著性检测方法。
本申请提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述显著性检测模型的训练方法和/或显著性检测方法。
上述方案，通过对获取到的预设图像类型的目标样本图像进行按照其显著性区域的轮廓缺失情况，对目标样本图像进行过滤，使得保留下的样本图像中显著性区域较为完整，进而利用这种保留下的质量较高的样本图像对显著性检测模型进行训练，可以使得训练得到的显著性检测模型后续对图像进行检测的结果更准确。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请显著性检测模型的训练方法一实施例的流程示意图；
图2是本申请显著性检测模型的训练方法一实施例中示出对目标拍摄得到的图像的示意图；
图3是本申请显著性检测模型的训练方法一实施例中示出的手绘图的示意图；
图4是本申请显著性检测模型的训练方法一实施例中示出的卡通图的示意图；
图5是本申请显著性检测模型的训练方法一实施例中示出显著性区域存在缺失的手绘图的示意图；
图6是本申请显著性检测模型的训练方法一实施例中示出填补后的手绘图的示意图；
图7是本申请显著性检测模型的训练方法一实施例示出样本图像的示意图；
图8是本申请显著性检测模型的训练方法一实施例示出显著图的示意图；
图9是本申请显著性检测方法一实施例的流程示意图；
图10是本申请显著性检测方法一实施例示出映射关系的第一示意图；
图11是本申请显著性检测方法一实施例示出映射关系的第二示意图；
图12是本申请显著性检测方法一实施例示出映射关系的第三示意图；
图13是本申请显著性检测模型的训练装置一实施例的结构示意图；
图14是本申请显著性检测装置一实施例的结构示意图；
图15是本申请电子设备一实施例的结构示意图；
图16是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本申请可应用于具备图像处理能力的设备。此外，该设备可以具备图像采集或是视频采集功能，比如，该设备可以包括诸如摄像头等用于采集图像或是视频的部件。或是该设备可以通过与其他设备进行数据传输或是数据交互的方式，以从其他设备中获取所需的视频流或是图像，或是从其他设备的存储资源中访问所需的视频流或是图像等。其中，其他设备具备图像采集或是视频采集功能，且与该设备之间具备通信连接，比如，该设备可以与其他设备之间通过蓝牙、无线网络等方式进行数据传输或是数据交互，在此对于二者之间的通信方式不予限定，可以包括但不限于上述例举的情况。在一种实现方式中，该设备可以包括手机、平板电脑、可交互屏幕等，在此不予限定。
请参阅图1，图1是本申请显著性检测模型的训练方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取至少一张样本图像，其中，至少一张样本图像包括属于预设图像类型的目标样本图像。
至少一张可以是一张及以上。获取样本图像的方式有多种。例如，获取样本图像在执行本训练方法的执行设备中的存储位置，然后通过访问该存储位置以获得样本图像，或者通过蓝牙、无线网络等传输方式从其他设备中获取样本图像。
步骤S12：基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤。
其中，如果目标样本图像中显著性区域的轮廓缺失的情况满足删除条件，则将该目标样本图像从样本图像中删除。目标样本图像中显著性区域的轮廓缺失的情况不满足删除条件，则将该目标样本图像保留在样本图像中。其中，轮廓缺失较为严重，则进行删除，若较为轻微，则保留。其中，严重或轻微的认定，可根据具体情况认定，此处不做具体规定。
步骤S13：利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息。
其中，显著性检测模型可以同时对各样本图像进行处理，得到一个批次的预测结果，也可以分时对各样本图像进行处理，分别得到各样本图像对应的预测结果。
步骤S14：基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数。
其中，可以根据显著性区域的标注位置信息与预测位置信息之间的损失，调整显著性检测模型的参数。
上述方案，通过对获取到的预设图像类型的目标样本图像进行按照其显著性区域的轮廓缺失情况，对目标样本图像进行过滤，使得保留下的样本图像中显著性区域较为完整，进而利用这种保留下的质量较高的样本图像对显著性检测模型进行训练，可以使得训练得到的显著性检测模型后续对图像进行检测的结果更准确。
一些公开实施例中，至少一张样本图像包括多种图像类型。例如，包括两种、三种或三种以上等等。通过使用多种图像类型的样本图像对显著性检测模型进行训练，使得训练得到的显著性检测模型能够对多种类型的图像进行图像处理，从而提高了显著性检测模型的适用性。可选地，图像类型包括对目标拍摄得到的图像、手绘图、卡通图中的至少两种。对目标拍摄得到的图像又可分为可见光图像以及红外图像等。手绘图可以是在纸上手绘的图，并对其拍摄得到手绘图，还可以是在绘图软件上绘制的图，例如，画师在手绘板上画制的简易米老鼠。本公开实施例中，手绘图进一步限定为预设背景颜色以及预设前景颜色的图，以及前景是由单色的线条构成，例如，背景为白色，前景是由黑色线条构成的米老鼠的轮廓。卡通图可以是具备多种前景颜色的虚拟图像。
具体地，为更好地理解本公开实施例所述的对目标拍摄得到的图像、手绘图、卡通图，请同时参考图2-4，图2是本申请显著性检测模型的训练方法一实施例中示出对目标拍摄得到的图像的示意图，图3是本申请显著性检测模型的训练方法一实施例中示出的手绘图的示意图，图4是本申请显著性检测模型的训练方法一实施例中示出的卡通图的示意图。如图2所示，图2是对真实存在的苹果拍摄得到的图像，图3是在真实的纸上绘制的苹果草图，图4是苹果的卡通形象。通过将常见的图像类型对应的样本图像用于对显著性检测模型进行训练，使得训练得到的显著性检测模型在日常生活或工作中更为适用。本公开实施例中，选择使用一万张上下的对目标拍摄得到的图像、两万张上下的手绘图以及两万张上下的卡通图进行训练。
一些公开实施例中，预设图像类型为手绘图。由于手绘图在绘制过程中很可能出现断点，通过对手绘图按照轮廓缺失的情况进行过滤，使得留下的手绘图中显著性区域轮廓的质量更好。其中，基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤的方式可以是：对目标样本图像中显著性区域的轮廓进行填补，得到填补样本图像。然后，获取填补样本图像与目标样本图像中关于显著性区域的差异。其中，若目标样本图像中显著性区域的轮廓不存在缺失或缺失较小，则填补样本图像与填补前的目标样本图像中的显著性区域相同或差异在预设范围内。若目标样本图像中显著性区域的轮廓存在较大缺失，则填补样本图像与填补前的目标样本图像中的显著性区域之间的差异较大。在差异满足预设要求的情况下，过滤目标样本图像。通过获取填补样本图像与目标样本图像中关于显著性区域的差异能够较快的获取显著性区域的轮廓缺失情况。其中，因为需要去掉样本图像中，显著性区域存在缺陷的目标样本图像，所以，本公开实施例中，预设要求为该差异大于预设差异值。
为更好地理解存在缺失的显著性区域的手绘图和填补之后的手绘图之间的差异，请参考图5和图6，图5是本申请显著性检测模型的训练方法一实施例中示出显著性区域存在缺失的手绘图的示意图，图6是本申请显著性检测模型的训练方法一实施例中示出填补后的手绘图的示意图。
如图5和图6所示，填补前的手绘图中显著性区域的轮廓为圆弧，两个端点与圆心的夹角为45°，显著性区域的面积可以是将缺口用线段进行连接，得到小于整圆的面积，而填补后显著性区域的轮廓为整圆。显著性区域的面积即为整圆的面积。很明显，填补后的显著性区域的面积与填补前的显著性区域的面积相差较大，此时，可以将填补前的手绘图去除，不让其参与模型的训练。
其中，对目标样本图像中显著性区域的轮廓进行填补，得到填补样本图像的方式可以是：对目标样本图像进行闭运算，得到填补样本图像。其中，闭运算指的是先对目标样本图像进行膨胀运算，再进行腐蚀运算或缩放运算。其中，闭运算能够小湖(即小孔)，弥合小裂缝，而总的位置和形状不变。通过膨胀运算能够使得显著性区域的轮廓缺口弥合，通过缩放运算能够减少显著性区域的轮廓的厚度。如上述，手绘图可以是白底黑线条的形式，其中，手绘图的显著性区域为黑线条包围的区域，而显著性区域的轮廓即为黑色线条。对目标样本图像进行闭运算具体可以是对显著性区域的轮廓进行闭运算。也就是先对黑色线条进行膨胀，再对膨胀之后的黑线条进行缩放或腐蚀，使得填补样本图像中显著性区域的轮廓粗细与填补前目标样本图像中显著性区域的轮廓粗细相同或差异在预设范围内。通过此种方式，使得在获取填补样本图像与目标样本图像中关于显著性区域的差异的过程中，可以忽略二者之间的轮廓差异。
其中，获取填补样本图像与目标样本图像中关于显著性区域的差异的方式可以是获取填补样本图像关于显著性区域的第一面积，以及目标样本图像中关于显著性区域的第二面积。一般获取区域面积的方式均可，此处不对获取显著性区域的面积的方式做具体限定。例如，获取第二面积的方式可以是使用线段连接轮廓缺口两端，形成封闭区域，从而计算封闭区域的面积，当然，还可以是以缺口两端分别作为原点，分别画横向和纵向两条直线，四条直线可能存在两个的交点。分别计算每个交点连接的两条直线与显著性区域形成的封闭区域的面积，将较小的封闭区域的面积作为第二面积。将第一面积和第二面积之差作为差异。具体地，将第二面积减去第一面积的差作为填补样本图像与目标样本图像中关于显著性区域的差异。一些公开实施例中，可以将填补前后显著性区域的轮廓所占面积之差作为差异。若目标样本图像中的显著性区域的轮廓存在较大的缺口，则填补前后的显著性区域的面积可能存在较大的差异，从而根据填补前后显著性区域的面积差，即可确定目标样本图像中显著性区域的轮廓是否存在缺失。
一些公开实施例中，对目标样本图像进行过滤之后，显著性检测模型的训练方法还包括以下步骤：基于填补样本图像的显著性区域的位置信息，得到目标样本图像关于显著性区域的标注位置信息。具体地，获取填补样本图像的显著性区域的轮廓，作为目标样本图像关于显著性区域的轮廓的标注位置信息。以及，将轮廓及其包围的区域作为显著性区域。通过填补样本图像的显著性区域的位置信息，确定目标样本图像关于显著性区域的标注位置信息，能够保障显著性区域的完整性。
一些公开实施例中，在利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息之前，显著性检测模型的训练方法还包括以下步骤：对经过滤后的样本图像进行数据增强。其中，数据增强的方式有多种，例如包括对样本图像中除显著性区域以外的背景区域进行填充。其中，可以使用预设像素值进行填充。例如，统一使用0像素进行填充，或统一使用其他像素值进行填充。当然，不同的像素位置还可以使用不同的像素值进行填充，关于填充方式此处不做具体规定。一些公开实施例中，数据增强的方式还可以是增加噪声、高斯模糊处理、裁剪以及旋转中的至少一种。其中，高斯模糊处理又可称之为高斯平滑，主要作用就是减少图像噪声以及降低细节层次，主要的做法是根据高斯曲线调节像素色值，有选择地模糊图像。裁剪，指的是将训练样本图像裁剪为不同大小的图像，例如将训练样本图像裁剪成尺寸为1024*2048或512*512大小的图像，当然，这尺寸仅是举例，在其他实施例中完全可以采取裁剪为其他尺寸的图像，因此，关于裁剪的尺寸此处不做具体规定。旋转可以是将训练样本图像旋转90°、180°或270°。当然，在其他实施例中，数据增强方式还可以是调整分辨率等。通过对样本图像进行数据增强，能够提高显著性检测模型的适用性。
一些公开实施例中，显著性检测模型为MobileNetV3的网络结构。其中，显著性检测模型包括特征提取子网络和第一检测子网络和第二检测子网络。其中，第一检测子网络和第二检测子网络采用级联结构。即，第一检测子网络的输出作为第二检测子网络的输入。进一步地，第一检测子网络和第二检测子网络的结构相同。其中，利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息的方式可以是：利用特征提取子网络对样本图像进行特征提取，得到样本图像对应的特征图。然后在利用第一检测子网络对特征图进行初始检测，得到样本图像中关于显著性区域的初始位置信息。其中，初始位置信息可以是以显著图的形式呈现。然后将特征图和初始位置信息进行融合，得到融合结果。具体地，融合的方式可以是将特征图与初始位置信息做乘法操作，得到融合结果。再利用第二检测子网络对融合结果进行最终检测，得到样本图像的预测位置信息。最终的预测位置信息也可以显著图的形式呈现。为更好地理解显著图，请参见图7和图8，图7是本申请显著性检测模型的训练方法一实施例示出样本图像的示意图，图8是本申请显著性检测模型的训练方法一实施例示出显著图的示意图。如图7和图8所示，样本图像中包括一张桌子以及位于桌子上的玩具鸭，显著性检测模型对样本图像进行检测，输出的初始位置信息(显著图)如图8所示，玩具鸭所在位置的像素值为1，其余位置的像素值为0。由此，可以清楚地得到玩具鸭在样本图像中的位置。因MobileNetV3的网络结构简单，通过使用MobileNetV3的网络结构，能够加快检测效率，而且可以使得处理能力较小的设备也可使用该显著性检测模型实现显著性检测；另，通过第一检测子网络对特征图进行初始检测之后，再使用第二检测子网络对初始检测结果进行最终检测，能够提高检测的准确度。
一些公开实施例中，分别利用显著性检测模型对样本图像进行处理，得到样本图像中关于显著性区域的预测位置信息，基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数的方式包括：
从多张样本图像中选择若干样本图像作为当前样本图像。其中，若干指的是1及以上。也就是，这里可以从多张样本图像中选择其中一张样本图像作为当前样本图像，也可以是选择两张及以上的样本图像作为当前样本图像。进一步地，选择出的若干样本图像所属的图像类型包含多张样本图像的所有图像类型。例如，在多张样本图像的图像类型一共包括上述三种图像类型时，从多张样本图像中选择出的若干张样本图像也包含上述三种图像类型。其中，每种图像类型的样本图像的数量可以相同，也可以是不同。然后，利用显著性检测模型对当前样本图像进行处理，得到当前样本图像的预测结果。具体地，将当前样本图像作为一个批次，利用显著性检测模型对这一个批次的样本图像进行处理，得到一个批次的预测结果。再基于当前样本图像的标注结果和预测结果，调整显著性检测模型的参数。可选地，可以使用分别利用一个批次中各个标注结果与其对应的预测结果之间的损失对模型的参数进行调整，这种方式需要对参数调整若干次，还可以是结合各标注结果与其对应的预测结果之间的损失对模型的参数进行调整，这种方式只需要对模型的参数调整一次。重复执行从多张样本图像选择若干样本图像作为当前样本图像以及后续步骤，直到显著性检测模型满足预设要求。其中，这里的预设要求可以是模型给出的预测结果与标注结果之间的误差大小。具体误差大小根据实际需求确定，此处不做规定。可选地，每次从多张样本图像中选择的若干样本图像可以与上一次选择的部分样本图像相同。另一些公开实施例中，每次从多张样本图像中选择的若干样本图像均不相同。从多张样本图像中选择若干样本图像作为当前样本图像，并利用显著性检测模型对当前样本图像进行处理，能够提高训练速度。
一些公开实施例中，样本图像的标注信息还包括样本图像的真实图像类型，样本图像的预测结果包括样本图像的预测图像类型。其中，在显著性检测模型为目标分类模型的情况下，显著性检测模型的预测结果包括目标的预测类别以及样本图像的预测图像类型。在显著性检测模型为显著性检测模型的情况下，预测位置信息为样本图像中目标的预测类别以及样本图像的预测图像类型。通过使用关于样本图像的内容的标注位置信息与其内容的预测位置信息，和/或样本图像的真实图像类型以及样本图像的预测图像类型，对显著性检测模型的参数进行调整，使得调整之后的显著性检测模型的适用性更强。
一些公开实施例中，基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数的方式可以是：基于标注位置信息和预测位置信息，获取样本图像中各像素的第一损失。将样本图像中各像素的第一损失进行加权，得到样本图像的第二损失。基于第二损失，调整显著性检测模型的参数。获取第一损失的方式可以是将标注位置信息与预测位置信息进行作差，得到第一损失。通过对各像素的第一损失进行加权，使得利用加权后的第二损失调整显著性检测模型的参数更准确。
其中，像素的第一损失的权重与像素的边界距离相关。像素的边界距离为像素与真实显著性区域的边界之间的距离，真实显著性区域为样本图像中由标注位置信息定义的显著性区域。其中，这里的像素与真实显著性区域的边界之间的距离可以是与显著性区域的边界最小距离。例如，样本图像的左上角的像素位置为(0,0)，真实显著性区域的边界包括(0,1)、(0,2)等，该像素位置与真实显著性区域的边界之间的距离为1。通过根据像素的边界距离确定权重，使得利用加权后的第二损失调整显著性检测模型的参数更准确。
进一步地，像素点的边界距离越小，像素的第一损失的权重越大。即，像素点的第一损失的权重与像素点的边界距离呈负相关。像素的边界距离与像素的第一损失的权重呈负相关，使得得到的第二损失更准确。
一些公开实施例中，基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数的方式可以是：基于真实图像类型和预测图像类型，得到第三损失。然后，基于第二损失和第三损失，调整显著性检测模型的参数。具体地，基于真实图像类型和预测图像类型之间的误差，得到第三损失。具体地，通过结合一个批次的预测位置信息与对应的标注信息之间的误差，确定一个第二损失，以及结合一个批次的预测图像类型与真实的图像类型之间的误差，确定一个第三损失。结合第二损失和第三损失，调整显著性检测模型的参数。通过使用关于样本图像的内容的标注位置信息与其内容的预测位置信息之间的第二损失以及基于真实图像类型和预测图像类型的第三损失，调整显著性检测模型的参数，能够提高显著性检测模型的适用性。
具体地，第二损失对模型的参数进行优化，使得显著性检测模型得到的预测位置信息更接近标注位置信息，也就是二者之间的误差变小。通过使用第三损失对模型的参数进行调整，使得表示同一物体但属于不同图像类型的图像的特征向量在特征空间中的距离更接近，从而使得不同图像类型的的图像的特征向量都在距离较近的特征空间中。例如，训练得到的显著性检测模型对表示苹果的手绘图、卡通图以及对苹果进行拍摄得到的图像进行特征提取得到的特征向量在特征空间的距离更为接近。
一些公开实施例中，基于第二损失和第三损失，调整显著性检测模型的参数的方式可以是：获取第二损失与第三损失之间的损失差。然后利用损失差和第三损失，对显著性检测模型的参数进行调整。具体地，该损失差为第二损失和第三损失作差得到。利用第二损失差和第三损失差，对显著性检测模型的参数进行调整可以是先使用其中一个损失对模型的参数进行调整，再使用另一个损失对模型的参数进行调整。通过使用第二损失和第三损失的损失差以及第三损失对显著性检测模型的参数进行调整，能够提高显著性检测模型的适用性。
一些公开实施例中，显著性检测模型还包括图像类型分类子网络。
其中，图像类型分类子网络连接特征提取子网络。利用图像类型分类网络对样本图像进行图像类型分类，得到样本图像的预测图像类型。进一步地，将特征提取子网络提取得到的特征图输入图像类型分类网络，得到关于样本图像的预测图像类型。其中，利用损失差和第三损失，对显著性检测模型的参数进行调整的方式可以是：利用第三损失对图像类型分类子网络的参数进行调整。以及利用损失差，对特征提取子网络、第一检测子网络及第二检测子网络的参数进行调整。使用损失差和第三损失对参数进行调整的方式均为正向调整。通过使用损失差对显著性检测模型中的特征提取子网络、第一检测子网络及第二检测子网络进行调整，使得显著性检测模型得到的关于样本图像的内容的预测位置信息更准确，以及使用第三损失对图像类型分类网络的参数进行调整，能够提高图像类型分类网络的准确度。
一些公开实施例中，训练得到的显著性检测模型能够部署到手机端，AR/VR端进行图像处理。显著性检测方法还可应用于拍照、视频录制滤镜等软件中。
上述方案，通过对获取到的预设图像类型的目标样本图像进行按照其显著性区域的轮廓缺失情况，对目标样本图像进行过滤，使得保留下的样本图像中显著性区域较为完整，进而利用这种保留下的质量较高的样本图像对显著性检测模型进行训练，可以使得训练得到的显著性检测模型后续对图像进行检测的结果更准确。
其中，显著性检测模型的训练方法的执行主体可以是显著性检测模型的训练装置，例如，显著性检测模型的训练方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该显著性检测模型的训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参见图9，图9是本申请显著性检测方法一实施例的流程示意图。如图9所示，本公开实施例提供的显著性检测方法包括以下步骤：
步骤S21：获取待处理图像。
其中，获取待处理图像的方式有多种，例如，通过执行显著性检测方法的执行设备中的摄像组件进行拍摄得到，也可以是根据各种通信方式从其他设备中获取待处理图像。其中，待处理图像的图像类型可以是多种图像类型中的一种。例如，待处理图像的图像类型可以是对目标拍摄得到的图像、手绘图卡通图中的一种或多种。一些公开实施例中，还可从视频中获取待处理图像。例如，将一段视频输入显著性检测模型，显著性检测模型获取视频中的每一帧视频帧，并将每一帧视频帧作为待处理图像。
步骤S22：利用显著性检测模型对待处理图像进行处理，得到关于待处理图像的内容中关于显著性区域的预测位置信息，其中，显著性检测模型是显著性检测模型的训练方法训练得到的。
本公开实施例中的显著性检测模型包括特征提取子网络、第一检测子网络以及第二检测子网络。其中，该显著性检测模型利用了多种图像类型的样本图像进行训练。具体地，将待处理图像从显著性检测模型的输入端输入该显著性检测模型。显著性检测模型对待处理图像进行处理得到待处理图像内容中关于显著性区域的预测位置信息。
上述方案，通过使用上述显著性检测模型的训练方法训练得到的显著性检测模型对待处理图像进行处理，能够提高图像处理的准确度。
一些公开实施例中，利用显著性检测模型对待处理图像进行处理，得到待处理图像内容中关于显著性区域的预测位置信息之后，显著性检测方法还包括以下至少步骤：
1、在显示待处理图像的界面上显示预测位置信息。其中，显示的方式有多种，例如将预测位置信息标注在待处理图像上，以便将待处理图像和对应的预测位置信息一起在显示界面上显示，当然，还可以是在显示界面的不同区域分别显示待处理图像和对应的预测位置信息。一些公开实施例中，若待处理图像为两个及以上时，可以在显示界面的不同区域显示对应的待处理图像及其预测位置信息，或者以翻页的形式显示待处理图像及其预测位置信息。其中，在待处理图像是从视频中获取时，判断连续预设数量帧的视频帧的预测位置信息是否相同，若是，则认为预测位置信息正确。若否，则认为预测位置信息不正确。其中，可以选择将正确的预测位置信息输出，将错误的预测位置信息不输出，也可以选择将正确和错误的预测位置信息进行对应的批注，并输出。其中，预设数量帧可以是5帧、10帧等等，可根据具体使用场景确定。
2、利用预测位置信息，对显著性区域进行骨骼提取，得到目标骨骼。以及，为目标骨骼选择一骨骼模型作为源骨骼。其中，源骨骼上设置有动画驱动数据。然后将与源骨骼相关的第一动画驱动数据迁移至目标骨骼上，得到目标骨骼的第二动画驱动数据。其中，目标骨骼是基于待处理图像中目标进行骨骼提取得到的。
一些公开实施例中，利用预测位置信息，对显著性区域进行骨骼提取，得到目标骨骼的步骤可以是：对显著性区域进行轮廓提取，得到目标的轮廓，然后利用该轮廓，为目标生成三维网格模型。最后，从三维网格模型中提取得到目标骨骼。
获取源骨骼的方式可以是：对待处理图像进行分类，得到目标对象的类别，并选择与类别匹配的骨骼模型作为源骨骼。其中，目标骨骼为目标对象的骨骼。具体地，本公开实施例可以采用预测标签映射，也可以采用数据集标签映射。预测标签映射对目标对象的分类结果包括目标对象的预测骨骼拓扑结构类型，例如预测骨骼拓扑结构类型包括二足、四足等等。也就是，预测标签映射的过程主要是预测目标对象的骨骼拓扑结构特点。数据集标签映射的分类结果需要给出输入图像中目标对象的具体种类，例如目标对象为猫、狗、大熊猫、狗熊等等。本公开实施例选择采用预测标签映射，具体应用过程中，若目标对象为大熊猫，而预测标签映射给出的目标对象类别为四足，并选择与类别匹配的骨骼模型作为初始源骨骼，若选择的初始源骨骼为四足的狗熊。虽然大熊猫和狗熊不同，但是他们实际上具有大致相同的骨骼拓扑结构，因此，将狗熊的动画驱动数据迁移到大熊猫上也能够以自然合理的形式出现。也就是通过预测标签映射虽然无法得到完全正确的目标对象的类别，但是也不影响对最终目标骨骼的驱动。同时，因为预测标签映射没有进一步获知目标对象的具体类别，从而降低了计算成本。
确定与目标骨骼匹配的源骨骼后，将源骨骼与目标骨骼进行之间进行骨骼节点映射，得到二者之间的节点映射关系。一些公开实施例中，得到二者之间的节点映射关系的方式可以是：确定源骨骼和目标骨骼中各节点所在的骨骼分支数量。按照骨骼分支数量从多到少的顺序，依序对源骨骼和目标骨骼中的节点进行映射。其中，所在的骨骼分支数量最多的节点一般称之为根节点。其中，暂且将节点所在的骨骼分支数量称之为度数。也就是先构建两个骨骼中度数较大的节点之间的映射关系，再构建度数较少的节点之间的映射关系。又或者，可以采用骨骼分支映射误差值最小的原则进行映射。其中，如果源骨骼和目标骨骼之间的节点数不同，则选择成本最低的最小多对一映射。例如，可以通过在发生多对一或跳过映射的序列中执行一对一的联合匹配的方式进行映射。
一些公开实施例中，最终的目标骨骼与源骨骼的节点拓扑结构一致。或，最终目标骨骼与最终源骨骼之间的节点一一映射。也就是，最终的目标骨骼与最终的源骨骼的节点拓扑结构可能存在两种形式，一种是最终的目标骨骼与最终的源骨骼的节点拓扑结构完全一致，另一种是最终的目标骨骼中的节点均有最终的源骨骼的节点与之对应，但是最终的源骨骼中存在一些没有构建映射关系的节点。即，需要保证在动画迁移后，最终的目标骨骼的节点上均有对应的动画驱动数据。
在获得二者之间的节点映射关系之后，进行拓扑结构对齐以及节点对齐。
其中，进行拓扑结构对齐的方式可以包括以下至少一步：
一是在源骨骼和目标骨骼之间存在多个节点映射于同一节点的情况下，更新其中一个骨骼的节点拓扑结构。其中，经更新之后的两个骨骼之间的节点一一映射。通过更新骨骼的节点拓扑结构能够使得两个骨骼之间的多个节点映射于同一节点的情况调整为两个骨骼之间的节点一一映射，以减少后续动画驱动最终目标骨骼的过程中出现不合理的情况出现。
其中，更新其中一个骨骼的节点拓扑结构又可分为多种情况：第一种情况是在多个节点位于同一骨骼分支的情况下，更新多个节点所在的第一骨骼。其中，第一骨骼和第二骨骼中的其中一个为源骨骼，另一个为目标骨骼。通过更新多个节点所在的第一骨骼，使得两个骨骼之间的多个节点映射于同一节点的情况调整为两个骨骼之间的节点一一映射，进而减少后续动画驱动最终目标骨骼的过程中出现不合理的情况出现。可选地，更新多个节点所在的第一骨骼的方式可以是将第一骨骼中的多个节点合并为一个第一节点。其中，第一节点保留合并前多个节点的映射关系。并且，第一节点的位置取所有被合并节点的位置的平均值。
同时参见图10，图10是本申请显著性检测方法一实施例示出映射关系的第一示意图。如图10所示，目标骨骼中的第二个节点和第三个节点同时映射于源骨骼中的第二个节点时。在这种情况下，将目标骨骼中的第二个节点和第三个节点进行合并为一个第一节点。其中，第一节点的位置取目标骨骼中第二个节点和第三个节点的位置的平均值。其中，当第一骨骼为源骨骼时，因为源骨骼中的节点携带有动画驱动数据，所以当节点合并之后，需要获取第一节点的动画驱动数据，此时，可以将被合并的所有节点的动画驱动数据进行合并。具体地，动画驱动数据一般可以用矩阵表示，矩阵的合并可以用矩阵乘法表示，即将动画驱动数据进行相乘，即可得到第一节点的动画驱动数据。第二种情况是在多个节点位于不同骨骼分支的情况下，更新不包括多个节点的第二骨骼。其中，第一骨骼和第二骨骼中的其中一个为源骨骼，另一个为目标骨骼。可选地，在第一骨骼中查找出多个节点所在的骨骼分支汇合的第二节点。具体做法可以是依次父节点遍历，从而得到第二节点。并在第二骨骼中查找出映射于第二节点的第三节点。然后找到多个节点对应的节点拓扑结构，在第三节点处新增至少一条骨骼分支。本公开实施例中，一个节点的父节点指的是在一条骨骼分支中，与该节点相邻且比该节点更靠近根节点的节点。其中，多个节点与第三节点处新增的骨骼分支和原始的骨骼分支中的节点一一映射。其中，新增的骨骼分支可以是复制原始的骨骼分支。复制的内容包括动画数据、以及该节点与其父节点之间的变换关系。例如，原始的骨骼分支中包括三个节点，则新增的骨骼分支中也包括三个节点，且新增的骨骼分支中的三个节点的动画驱动数据是通过复制原始的骨骼分支中对应节点的动画数据得到。
同时参见图11，图11是本申请显著性检测方法一实施例示出映射关系的第二示意图。如图11所示，左边的节点拓扑结构为源骨骼的节点拓扑结构，右边的节点拓扑结构为目标骨骼的节点拓扑结构。图3中，目标骨骼的第一个节点映射于源骨骼的第一个节点，目标骨骼的第二个节点映射于源骨骼的第二个节点，目标骨骼的第二个节点下包括两个分支，即左分支与右分支，其中，左分支中的第一个节点和右分支中的第一个节点映射于源骨骼的第三个节点，左分支中的第二个节点和右分支中的第二个节点映射于源骨骼的第四个节点。这也就出现了目标骨骼中两个节点映射于源骨骼的第三个节点，且这两个节点属于不同的分支，以及目标骨骼中两个节点映射于源骨骼的第四个节点，且这两个节点属于不同的分支。其中，这两个分支汇合在目标骨骼的第二个节点。在源骨骼中找出映射于目标骨骼的第二个节点为第二个节点。按照目标骨骼这两个节点对应的节点拓扑结构，在源骨骼的第二个节点处新增一条骨骼分支。其中，新增的一条骨骼分支中的节点有两个。此时，目标骨骼中所有的节点均一一对应与源骨骼中的节点。因此，通过此种方式在实现节点一一映射的情况下，还能够最大化的保留第一骨骼的节点拓扑结构。
二是在骨骼中存在未有映射关系的情况下，更新未有映射关系的节点所在骨骼的节点拓扑结构。其中，两个骨骼包括源骨骼和目标骨骼，经更新之后的两个骨骼之间的节点一一映射。通过更新没有映射关系的节点所在骨骼的节点拓扑结构，减少没有映射关系的节点，使得更新后的两个骨骼之间的节点一一映射，从而减少后续动画驱动最终目标骨骼的过程中出现不合理的情况出现。可选地，将未有映射关系的节点合并至具有映射关系的相邻节点。其中，相邻节点为未有映射关系的节点在所在骨骼中的父节点或子节点。本公开实施例中将未有映射关系的节点向其父节点合并。
请参见图12，图12是本申请显著性检测方法一实施例示出映射关系的第三示意图。如图12所示，目标骨骼的第一个节点映射于源骨骼的第一个节点，目标骨骼的第二个节点映射于源骨骼的第三个节点，目标骨骼的第三个节点映射于源骨骼的第四个节点。其中，源骨骼的第二个节点没有映射关系。可以将源骨骼的第二个节点向其父节点合并，也就是向源骨骼的第一个节点合并。当然，源骨骼中的节点合并都会伴随着动画驱动数据之间的合并，关于动画驱动数据之间的合并此处不再赘述。
其中，进行节点对齐，主要是为了确定源骨骼和目标骨骼之间的第一位姿变换关系。
具体地，按照从根源节点到叶源节点的顺序，分别将最终源骨骼中的各源节点与最终目标骨骼中对应映射的目标节点进行对齐，以得到各源节点与映射的目标节点之间的第一位姿变换关系。如上述，根节点为所在的骨骼分支数量最多的节点。则根源节点指的是最终源骨骼中的根节点，同理，根目标节点指的是最终目标骨骼的根节点。最终源骨骼和最终目标骨骼指的是经过拓扑结构对齐后的源骨骼和目标骨骼。其中，叶节点指的是具有父节点但没有子节点的节点。叶源节点指的是最终源骨骼中的叶节点，叶目标节点指的是最终目标骨骼中的叶节点。即，先对齐根源节点以及与根源节点有映射关系的根目标节点。然后再对齐与根源节点连接的叶源节点以及与该叶源节点之间具备映射关系的叶目标节点，以此类推，直至最终目标骨骼中所有节点均与最终源骨骼的节点一一对齐为止。一些公开实施例中，可以直接将最终目标骨骼的根目标节点作为第一坐标系原点。
位姿变换关系为源节点与映射的目标节点在第一坐标系中的变换关系。通过最终源骨骼的根源节点和最终目标骨骼的根目标节点均平移至第一坐标系的原点，能够获取最终源骨骼的根源节点和最终目标骨骼的根目标节点之间的偏移量。具体地，对于最终源骨骼中的每个源节点，获取使源节点对齐于映射的目标节点所需的偏移量。其中，偏移量包括平移分量和旋转分量。一般而言，平移分量中包括缩放分量。然后基于源节点对应的偏移量，得到源节点的第一位姿变换关系。
其中，若源骨骼的拓扑结构有发生改变，则源骨骼上的动画数据也对应发生改变。例如，源骨骼中某两个源节点发生合并，则将其节点对应的动画数据也进行合并。
由此，可以将源骨骼上的动画数据迁移到目标骨骼上，以驱动待处理图像中的目标进行运动。
通过在得到预测信息之后，还执行上述至少一步，进一步提高了使用过程中的便捷性。
以及通过使用上述显著性检测模型的训练方法训练得到的显著性检测模型输出的显著性区域，并以此对显著性区域进行骨骼提取得到目标骨骼，使得得到的目标骨骼更为准确。
上述方案，通过使用上述显著性检测模型的训练方法训练得到的显著性检测模型对待处理图像进行处理，能够提高图像处理的准确度。
其中，显著性检测方法的执行主体可以是显著性检测装置，例如，显著性检测方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该显著性检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图13，图13是本申请显著性检测模型的训练装置一实施例的结构示意图。显著性检测模型的训练装置30包括第一获取模块31、筛选模块、第一检测模块32以及调整模块33。第一获取模块31，用于获取至少一张样本图像，其中，至少一张样本图像包括属于预设图像类型的目标样本图像；筛选模块32，用于基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤；第一检测模块33，利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息；调整模块34，基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数。
上述方案，通过对获取到的预设图像类型的目标样本图像进行按照其显著性区域的轮廓缺失情况，对目标样本图像进行过滤，使得保留下的样本图像中显著性区域较为完整，进而利用这种保留下的质量较高的样本图像对显著性检测模型进行训练，可以使得训练得到的显著性检测模型后续对图像进行检测的结果更准确。
一些公开实施例中，筛选模块32基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤，包括：对目标样本图像中显著性区域的轮廓进行填补，得到填补样本图像；获取填补样本图像与目标样本图像中关于显著性区域的差异；在差异满足预设要求的情况下，过滤目标样本图像。
上述方案，样本图像按照轮廓缺失的情况进行过滤，使得留下的样本图像中显著性区域轮廓的质量更好。另外，通过获取填补样本图像与目标样本图像中关于显著性区域的差异能够较快的获取显著性区域的轮廓缺失情况。
一些公开实施例中，预设要求为差异大于预设差异值；筛选模块32对目标样本图像中显著性区域的轮廓进行填补，得到填补样本图像，包括：对目标样本图像进行闭运算，得到填补样本图像；获取填补样本图像与目标样本图像中关于显著性区域的差异，包括：获取填补样本图像关于显著性区域的第一面积，以及目标样本图像中关于显著性区域的第二面积；将第一面积和第二面积之差作为差异。
上述方案，若目标样本图像中的显著性区域的轮廓存在较大的缺口，则填补前后的显著性区域的面积可能存在较大的差异，从而根据填补前后显著性区域的面积差，即可确定目标样本图像中显著性区域的轮廓是否存在缺失。
一些公开实施例中，在基于目标样本图像中显著性区域的轮廓缺失情况，对目标样本图像进行过滤之后，筛选模块32还用于：基于填补样本图像的显著性区域的位置信息，得到目标样本图像关于显著性区域的标注位置信息。
上述方案，通过填补样本图像的显著性区域的位置信息，确定目标样本图像关于显著性区域的标注位置信息，能够保障显著性区域的完整性。
一些公开实施例中，至少一张样本图像包括多种图像类型。
上述方案，通过使用多种图像类型的样本图像对显著性检测模型进行训练，使得训练得到的显著性检测模型能够对多种类型的图像进行图像处理，从而提高了显著性检测模型的适用性。
一些公开实施例中，多种图像类型包括对真实物体拍摄得到的图像、手绘图、卡通图中的至少两种。
上述方案，通过将常见的图像类型对应的样本图像用于对图像处理模型进行训练，使得训练得到的图像处理模型在日常生活或工作中更为适用。
一些公开实施例中，调整模块34基于样本图像关于显著性区域的标注位置信息与预测位置信息，调整显著性检测模型的参数，包括：基于标注位置信息和预测位置信息，获取样本图像中各像素的第一损失；将样本图像中各像素的第一损失进行加权，得到样本图像的第二损失；基于第二损失，调整显著性检测模型的参数。
上述方案，通过对各像素的第一损失进行加权，使得利用加权后的第二损失调整显著性检测模型的参数更准确。
一些公开实施例中，像素的第一损失的权重与像素的边界距离相关，像素的边界距离为像素与真实显著性区域的边界之间的距离，真实显著性区域为样本图像中由标注位置信息定义的显著性区域。
上述方案，通过根据像素的边界距离确定权重，使得利用加权后的第二损失调整显著性检测模型的参数更准确。
一些公开实施例中，像素的边界距离越小，像素的第一损失的权重越大。
上述方案，像素的边界距离与像素的第一损失的权重呈负相关，使得得到的第二损失更准确。
一些公开实施例中，显著性检测模型为MobileNetV3的网络结构；和/或，显著性检测模型包括特征提取子网络和第一检测子网络和第二检测子网络；第一检测模块33利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息，包括：利用特征提取子网络对样本图像进行特征提取，得到样本图像对应的特征图；利用第一检测子网络对特征图进行初始检测，得到样本图像中关于显著性区域的初始位置信息；将特征图和初始位置信息进行融合，得到融合结果；利用第二检测子网络对融合结果进行最终检测，得到样本图像的预测位置信息。
上述方案，因MobileNetV3的网络结构简单，通过使用MobileNetV3的网络结构，能够加快检测效率，而且可以使得处理能力较小的设备也可使用该显著性检测模型实现显著性检测；另，通过第一检测子网络对特征图进行初始检测之后，再使用第二检测子网络对初始检测结果进行最终检测，能够提高检测的准确度。
一些公开实施例中，第一检测模块33在利用显著性检测模型对经过滤后的样本图像进行检测，得到样本图像中关于显著性区域的预测位置信息之前，筛选模块32还用于：对经过滤后的样本图像进行数据增强；其中，数据增强的方式包括对样本图像中除显著性区域以外的背景区域进行填充。
上述方案，通过对样本图像进行数据增强，能够提高显著性检测模型的适用性。
请参阅图14，图14是本申请显著性检测装置一实施例的结构示意图。显著性检测装置40包括第二获取模块41以及第二检测模块42。第二获取模块41，用于获取待处理图像；第二检测模块42，用于利用显著性检测模型对待处理图像进行处理，得到待处理图像内容中关于显著性区域的预测位置信息，其中，显著性检测模型是由上述显著性检测模型的训练方法训练得到的。
上述方案，通过使用显著性检测模型的训练方法训练得到的显著性检测模型对待处理图像进行检测，能够提高得到关于显著性区域的预测位置信息的准确度。
其中，在利用显著性检测模型对待处理图像进行处理，得到待处理图像内容中关于显著性区域的预测位置信息之后，显著性检测装置还包括功能模块(图未示)，功能模块用于：利用预测位置信息，对显著性区域进行骨骼提取，得到目标骨骼；为目标骨骼选择一骨骼模型作为源骨骼；将与源骨骼相关的第一动画驱动数据迁移至目标骨骼上，得到目标骨骼的第二动画驱动数据。
上述方案，通过利用预测位置信息，对显著性区域进行骨胳提取，能够提高目标骨骼的准确度。
请参阅图15，图15是本申请电子设备一实施例的结构示意图。电子设备50包括存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一显著性检测模型的训练方法实施例中的步骤和/或显著性检测方法实施例中的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：医疗设备、微型计算机、台式电脑、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一显著性检测模型的训练方法实施例中的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
上述方案，通过对获取到的预设图像类型的目标样本图像进行按照其显著性区域的轮廓缺失情况，对目标样本图像进行过滤，使得保留下的样本图像中显著性区域较为完整，进而利用这种保留下的质量较高的样本图像对显著性检测模型进行训练，可以使得训练得到的显著性检测模型后续对图像进行检测的结果更准确。
请参阅图16，图16是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令61，程序指令61用于实现上述任一显著性检测模型的训练方法实施例中的步骤和/或显著性检测方法实施例中的步骤。
上述方案，通过对获取到的预设图像类型的目标样本图像进行按照其显著性区域的轮廓缺失情况，对目标样本图像进行过滤，使得保留下的样本图像中显著性区域较为完整，进而利用这种保留下的质量较高的样本图像对显著性检测模型进行训练，可以使得训练得到的显著性检测模型后续对图像进行检测的结果更准确。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (16)
1.一种显著性检测模型的训练方法，其特征在于，包括：
获取至少一张样本图像，其中，所述至少一张样本图像包括属于预设图像类型的目标样本图像；
基于所述目标样本图像中显著性区域的轮廓缺失情况，对所述目标样本图像进行过滤；
利用显著性检测模型对经过滤后的所述样本图像进行检测，得到所述样本图像中关于显著性区域的预测位置信息；
基于所述样本图像关于所述显著性区域的标注位置信息与所述预测位置信息，调整所述显著性检测模型的参数；
其中，所述基于所述目标样本图像中显著性区域的轮廓缺失情况，对所述目标样本图像进行过滤，包括：
对所述目标样本图像中所述显著性区域的轮廓进行填补，得到填补样本图像；
获取所述填补样本图像与所述目标样本图像中关于所述显著性区域的差异；
在所述差异满足预设要求的情况下，过滤所述目标样本图像。
2.根据权利要求1所述的方法，其特征在于，所述预设要求为所述差异大于预设差异值；
所述对所述目标样本图像中所述显著性区域的轮廓进行填补，得到填补样本图像，包括：
对所述目标样本图像进行闭运算，得到填补样本图像；
所述获取所述填补样本图像与所述目标样本图像中关于所述显著性区域的差异，包括：
获取所述填补样本图像关于所述显著性区域的第一面积，以及所述目标样本图像中关于所述显著性区域的第二面积；
将所述第一面积和第二面积之差作为所述差异。
3.根据权利要求1或2所述的方法，其特征在于，在所述基于所述目标样本图像中显著性区域的轮廓缺失情况，对所述目标样本图像进行过滤之后，所述方法还包括：
基于所述填补样本图像的显著性区域的位置信息，得到所述目标样本图像关于所述显著性区域的标注位置信息。
4.根据权利要求1或2所述的方法，其特征在于，所述至少一张样本图像包括多种图像类型。
5.根据权利要求4所述的方法，其特征在于，所述多种图像类型包括对真实物体拍摄得到的图像、手绘图、卡通图中的至少两种。
6.根据权利要求1所述的方法，其特征在于，所述基于所述样本图像关于所述显著性区域的标注位置信息与所述预测位置信息，调整所述显著性检测模型的参数，包括：
基于所述标注位置信息和预测位置信息，获取所述样本图像中各像素的第一损失；
将所述样本图像中各像素的第一损失进行加权，得到所述样本图像的第二损失；
基于所述第二损失，调整所述显著性检测模型的参数。
7.根据权利要求6所述的方法，其特征在于，所述像素的第一损失的权重与所述像素的边界距离相关，所述像素的边界距离为所述像素与真实显著性区域的边界之间的距离，所述真实显著性区域为所述样本图像中由所述标注位置信息定义的显著性区域。
8.根据权利要求7所述的方法，其特征在于，所述像素的边界距离越小，所述像素的第一损失的权重越大。
9.根据权利要求1或2所述的方法，其特征在于，所述显著性检测模型为MobileNetV3的网络结构；
和/或，所述显著性检测模型包括特征提取子网络和第一检测子网络和第二检测子网络；所述利用显著性检测模型对经过滤后的所述样本图像进行检测，得到所述样本图像中关于显著性区域的预测位置信息，包括：
利用所述特征提取子网络对所述样本图像进行特征提取，得到所述样本图像对应的特征图；
利用所述第一检测子网络对所述特征图进行初始检测，得到所述样本图像中关于所述显著性区域的初始位置信息；
将所述特征图和所述初始位置信息进行融合，得到融合结果；
利用所述第二检测子网络对所述融合结果进行最终检测，得到所述样本图像的所述预测位置信息。
10.根据权利要求1或2所述的方法，其特征在于，在所述利用显著性检测模型对经过滤后的所述样本图像进行检测，得到所述样本图像中关于显著性区域的预测位置信息之前，所述方法还包括：
对经过滤后的所述样本图像进行数据增强；
其中，所述数据增强的方式包括对所述样本图像中除所述显著性区域以外的背景区域进行填充。
11.一种显著性检测方法，其特征在于，包括：
获取待处理图像；
利用显著性检测模型对所述待处理图像进行处理，得到所述待处理图像内容中关于显著性区域的预测位置信息，其中，所述显著性检测模型是由权利要求1至10任一项方法训练得到的。
12.根据权利要求11所述的方法，其特征在于，在所述利用显著性检测模型对所述待处理图像进行处理，得到所述待处理图像内容中关于显著性区域的预测位置信息之后，所述方法还包括：
利用所述预测位置信息，对所述显著性区域进行骨骼提取，得到目标骨骼；
为所述目标骨骼选择一骨骼模型作为源骨骼；
将与所述源骨骼相关的第一动画驱动数据迁移至所述目标骨骼上，得到所述目标骨骼的第二动画驱动数据。
13.一种显著性检测模型的训练装置，其特征在于，包括：
第一获取模块，用于获取至少一张样本图像，其中，所述至少一张样本图像包括属于预设图像类型的目标样本图像；
筛选模块，用于基于所述目标样本图像中显著性区域的轮廓缺失情况，对所述目标样本图像进行过滤；
第一检测模块，利用显著性检测模型对经过滤后的所述样本图像进行检测，得到所述样本图像中关于显著性区域的预测位置信息；
调整模块，基于所述样本图像关于所述显著性区域的标注位置信息与所述预测位置信息，调整所述显著性检测模型的参数；
其中，所述筛选模块，用于基于所述目标样本图像中显著性区域的轮廓缺失情况，对所述目标样本图像进行过滤，包括：
对所述目标样本图像中所述显著性区域的轮廓进行填补，得到填补样本图像；
获取所述填补样本图像与所述目标样本图像中关于所述显著性区域的差异；
在所述差异满足预设要求的情况下，过滤所述目标样本图像。
14.一种显著性检测装置，其特征在于，包括：
第二获取模块，用于获取待处理图像；
第二检测模块，用于利用显著性检测模型对所述待处理图像进行处理，得到所述待处理图像内容中关于显著性区域的预测位置信息，其中，所述显著性检测模型是由权利要求1至10任一项方法训练得到的。
15.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至12任一项所述的方法。
16.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至12任一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735893.4A CN113505799B (zh) | 2021-06-30 | 2021-06-30 | 显著性检测方法及其模型的训练方法和装置、设备、介质 |
| PCT/CN2021/127459 WO2023273069A1 (zh) | 2021-06-30 | 2021-10-29 | 显著性检测方法及其模型的训练方法和装置、设备、介质及程序 |
| TW110147598A TWI778895B (zh) | 2021-06-30 | 2021-12-17 | 顯著性檢測方法及其模型的訓練方法、設備及電腦可讀儲存介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735893.4A CN113505799B (zh) | 2021-06-30 | 2021-06-30 | 显著性检测方法及其模型的训练方法和装置、设备、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113505799A CN113505799A (zh) | 2021-10-15 |
| CN113505799B true CN113505799B (zh) | 2022-12-23 |
Family
ID=78009429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110735893.4A Active CN113505799B (zh) | 2021-06-30 | 2021-06-30 | 显著性检测方法及其模型的训练方法和装置、设备、介质 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN113505799B (zh) |
| TW (1) | TWI778895B (zh) |
| WO (1) | WO2023273069A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505799B (zh) * | 2021-06-30 | 2022-12-23 | 深圳市慧鲤科技有限公司 | 显著性检测方法及其模型的训练方法和装置、设备、介质 |
| CN114419341B (zh) * | 2022-01-20 | 2024-04-26 | 大连海事大学 | 一种基于迁移学习改进的卷积神经网络图像识别方法 |
| CN117478806A (zh) * | 2022-07-22 | 2024-01-30 | 索尼集团公司 | 信息处理设备和方法、计算机可读存储介质 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574866A (zh) * | 2015-12-15 | 2016-05-11 | 努比亚技术有限公司 | 一种实现图像处理的方法及装置 |
| US10007971B2 (en) * | 2016-03-14 | 2018-06-26 | Sensors Unlimited, Inc. | Systems and methods for user machine interaction for image-based metrology |
| US10699151B2 (en) * | 2016-06-03 | 2020-06-30 | Miovision Technologies Incorporated | System and method for performing saliency detection using deep active contours |
| CN107103608B (zh) * | 2017-04-17 | 2019-09-27 | 大连理工大学 | 一种基于区域候选样本选择的显著性检测方法 |
| CN108647634A (zh) * | 2018-05-09 | 2018-10-12 | 深圳壹账通智能科技有限公司 | 图像边框查找方法、装置、计算机设备及存储介质 |
| CN109146847B (zh) * | 2018-07-18 | 2022-04-05 | 浙江大学 | 一种基于半监督学习的晶圆图批量分析方法 |
| CN111325217B (zh) * | 2018-12-14 | 2024-02-06 | 京东科技信息技术有限公司 | 数据处理方法、装置、系统和介质 |
| CN110570442A (zh) * | 2019-09-19 | 2019-12-13 | 厦门市美亚柏科信息股份有限公司 | 一种复杂背景下轮廓检测方法、终端设备及存储介质 |
| CN110751157B (zh) * | 2019-10-18 | 2022-06-24 | 厦门美图之家科技有限公司 | 图像显著性分割、图像显著性模型训练方法及装置 |
| CN110866897B (zh) * | 2019-10-30 | 2022-10-14 | 上海联影智能医疗科技有限公司 | 一种图像检测方法及计算机可读存储介质 |
| CN111161246B (zh) * | 2019-12-30 | 2024-05-14 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
| CN111476292B (zh) * | 2020-04-03 | 2021-02-19 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
| CN112164129A (zh) * | 2020-09-02 | 2021-01-01 | 北京电影学院 | 基于深度卷积网络的无配对动作迁移方法 |
| CN112734775B (zh) * | 2021-01-19 | 2023-07-07 | 腾讯科技（深圳）有限公司 | 图像标注、图像语义分割、模型训练方法及装置 |
| CN113505799B (zh) * | 2021-06-30 | 2022-12-23 | 深圳市慧鲤科技有限公司 | 显著性检测方法及其模型的训练方法和装置、设备、介质 |
-
2021
- 2021-06-30 CN CN202110735893.4A patent/CN113505799B/zh active Active
- 2021-10-29 WO PCT/CN2021/127459 patent/WO2023273069A1/zh unknown
- 2021-12-17 TW TW110147598A patent/TWI778895B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113505799A (zh) | 2021-10-15 |
| TWI778895B (zh) | 2022-09-21 |
| WO2023273069A1 (zh) | 2023-01-05 |
| TW202303446A (zh) | 2023-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113505799B (zh) | 显著性检测方法及其模型的训练方法和装置、设备、介质 | |
| CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
| JP7446457B2 (ja) | 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器 | |
| JP2020507850A (ja) | 画像内の物体の姿の確定方法、装置、設備及び記憶媒体 | |
| CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
| CN110648397B (zh) | 场景地图生成方法、装置、存储介质及电子设备 | |
| CN112967341B (zh) | 基于实景图像的室内视觉定位方法、系统、设备及存储介质 | |
| WO2017142654A1 (en) | 3-dimensional scene analysis for augmented reality operations | |
| CN112270688B (zh) | 一种前景提取方法、装置、设备及存储介质 | |
| CN111144215B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111144491B (zh) | 图像处理方法、装置及电子系统 | |
| CN111401266A (zh) | 绘本角点定位的方法、设备、计算机设备和可读存储介质 | |
| CN112802033B (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| CN115699082A (zh) | 缺陷检测方法及装置、存储介质及电子设备 | |
| CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
| JP2023505900A (ja) | メモリおよびデバイスのトラッキングを使用する拡張現実アプリケーションにおけるオクルージョンハンドリングのための方法と関連装置 | |
| CN112802081A (zh) | 一种深度检测方法、装置、电子设备及存储介质 | |
| CN117422851A (zh) | 虚拟换衣方法及其装置、电子设备 | |
| CN113012030A (zh) | 图像拼接方法、装置及设备 | |
| CN114663810B (zh) | 基于多模态的物体图像增广方法及装置、设备及存储介质 | |
| CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
| Englert et al. | Enhancing the ar experience with machine learning services | |
| CN113256484B (zh) | 一种对图像进行风格化处理的方法及装置 | |
| CN113505800A (zh) | 图像处理方法及其模型的训练方法和装置、设备、介质 | |
| CN112634460B (zh) | 基于Haar-like特征的户外全景图生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40051701 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |