CN116520987A - Vr内容问题检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种VR内容问题检测方法、装置、设备及存储介质，可用于虚拟现实技术领域。本方法包括：获取输入的待检测的目标VR图像及对应的至少一个目标审核类别；待检测的目标VR图像为通过预设投影算法生成的平面VR图像；将目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中对目标VR图像进行目标审核类别对应的问题检测；获取至少一个训练完成的问题检测模型输出的问题检测结果，并基于问题检测结果确定目标VR图像是否通过对应目标审核类别的审核。避免了由视角受限导致的漏检测，无需将平面VR图像转换为球形视场的VR图像，进一步降低了处理过程的算力开销，显著提高了处理速度，提高了问题检测效率。

Description

VR内容问题检测方法、装置、设备及存储介质

技术领域

本申请涉及虚拟现实技术领域，尤其涉及一种VR内容问题检测方法、装置、设备及存储介质。

背景技术

VR内容在制作过程中，需要通过投影变换算法将球形视野映射成平面图像以生成包括平面图像的VR内容文件；在VR内容发布之前，需要对VR内容进行问题检测，以确定VR内容是否通过审核可以进行发布操作。

目前，通常在接收到待检测的VR内容文件后，需要对VR内容文件进行投影变换恢复成球形视场，并展示球形视场的VR内容，使审核人员观测VR内容中是否存在问题。人工观测VR内容中是否存在问题的效率较低，消耗了大量的时间资源，并且人工审核可能会由于视角受限，导致漏检测问题。

发明内容

本申请提供一种VR内容问题检测方法、装置、设备及存储介质，用以解决人工观测VR内容中是否存在问题的效率较低，消耗了大量的时间资源，并且人工审核可能会由于视角受限，导致漏检测问题。

第一方面，本申请提供一种VR内容问题检测方法，包括：

获取输入的待检测的目标VR图像及对应的至少一个目标审核类别；待检测的目标VR图像为通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像；

将所述目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测；所述训练完成的问题检测模型为采用对应的训练样本预先训练的；

获取至少一个训练完成的问题检测模型输出的问题检测结果，并基于所述问题检测结果确定目标VR图像是否通过对应目标审核类别的审核。

可选地，所述目标VR图像为待检测的VR视频流中的VR图像帧，所述获取输入的待检测的目标VR图像，包括：

获取输入的待检测的VR视频流文件，并对所述待检测的VR视频流文件解码以获取对应的VR图像帧序列；所述待检测的VR视频流文件为通过预设投影算法对立体视野图像进行投影处理生成的平面VR视频流文件；按预设图像帧提取算法提取VR图像帧序列中的VR图像帧；依次将提取的VR图像帧确定为待检测的目标VR图像。

可选地，所述按预设图像帧提取算法提取VR图像帧序列中的VR图像帧，包括：

按逐帧提取算法提取VR图像帧序列中的VR图像帧；或，按预设比例提取算法提取VR图像帧序列中的VR图像帧；或，按预设时间间隔或预设帧间隔提取算法提取VR图像帧序列中的VR图像帧。

可选地，所述至少一个目标审核类别包括以下类别的至少一个：内容质量审核、技术质量审核、内容合规审核；所述将所述目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测，包括：

若确定目标审核类别包括内容质量审核，则将所述目标VR图像输入训练完成的内容质量审核问题检测模型中，以采用训练完成的内容质量审核问题检测模型对目标VR图像进行内容质量对应的问题检测；内容质量对应问题包括：字幕不适配、动作不适配、构图不适配；若确定目标审核类别包括技术质量审核，则将所述目标VR图像输入训练完成的技术质量审核问题检测模型中，以采用训练完成的技术质量审核问题检测模型对目标VR图像进行技术质量对应的问题检测；技术质量对应问题包括：偏色问题、亮度过高问题；若确定目标审核类别包括内容合规审核，则将所述目标VR图像输入训练完成的内容合规审核问题检测模型中，以采用训练完成的内容合规审核问题检测模型对目标VR图像进行内容合规对应的问题检测；内容合规对应问题包括：包含违规信息、包含非法信息。

可选地，采用对应的训练样本预先训练对应的问题检测模型，包括：

将包括内容质量对应问题的第一训练样输入内容质量审核问题检测模型中，对所述内容质量审核问题检测模型进行训练，以获取训练完成的内容质量审核问题检测模型；所述第一训练样本包括第一VR图像样本及对应的内容质量问题标注；将包括技术质量对应问题的第二训练样本输入技术质量审核问题检测模型中，对所述技术质量审核问题检测模型进行训练，以获取训练完成的技术质量审核问题检测模型，所述第二训练样本包括第二VR图像样本及技术质量问题标注；将包括内容合规对应问题的第三训练样本输入内容合规审核问题检测模型中，对所述内容合规审核问题检测模型进行训练，以获取训练完成的内容合规审核问题检测模型，所述第三训练样本包括第三VR图像样本及内容合规问题类型对应的标注。

可选地，所述采用对应的训练样本预先训练对应的问题检测模型之前，包括：

获取训练样本及所述训练样本中标注的问题区域、标注的问题标签；所述训练样本包括：训练完成的问题检测模型未检测出但存在问题的VR图像、训练完成的问题检测模型检测出的且存在未人工标注的问题组合区域的VR图像；所述预设投影算法为Equirectangular投影算法的训练样本，其对应的标注的问题区域包括：边界图像区域及相对边界图像区域的组合区域；基于标注的问题标签确定训练样本对应的审核类别。

可选地，所述基于所述问题检测结果确定目标VR图像是否通过对应目标审核类别的审核，包括：

若确定某训练完成的问题检测模型输出的问题检测结果中包括：标注的问题区域及对应的问题标签，则确定目标VR图像未通过该训练完成的问题检测模型对应审核类别的审核；若确定某训练完成的问题检测模型输出的问题检测结果中不包括：标注的问题区域及对应的问题标签，则确定目标VR图像通过该训练完成的问题检测模型对应审核类别的审核。

第二方面，本申请提供一种VR内容问题检测装置，包括：

获取模块，用于获取输入的待检测的目标VR图像及对应的至少一个目标审核类别；待检测的目标VR图像为通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像；

检测模块，用于将所述目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测；所述训练完成的问题检测模型为采用对应的训练样本预先训练的；

确定模块，用于获取至少一个训练完成的问题检测模型输出的问题检测结果，并基于所述问题检测结果确定目标VR图像是否通过对应目标审核类别的审核。

第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器及收发器；

所述存储器存储计算机执行指令；所述收发器用于收发数据；

所述处理器执行所述存储器存储的计算机执行指令，以实现上述任一方面所述的VR内容问题检测方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述任一方面所述的VR内容问题检测方法。

第五方面，本申请提供一种计算机程序产品，包括计算机执行指令，该计算机执行指令被处理器执行时实现上述任一方面所述的VR内容问题检测方法。

本申请提供的VR内容问题检测方法、装置、设备及存储介质，获取输入的待检测的目标VR图像及对应的至少一个目标审核类别；待检测的目标VR图像为通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像；将目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测；训练完成的问题检测模型为采用对应的训练样本预先训练的；获取至少一个训练完成的问题检测模型输出的问题检测结果，并基于问题检测结果确定目标VR图像是否通过对应目标审核类别的审核。采用训练完成的问题检测模型检测目标VR图像中的问题，可以不受视角限制，避免了由视角受限导致的漏检测，并且提高了检测效率，减少了消耗的时间资源。并且，可以直接对通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像进行问题检测，无需将平面VR图像转换为球形视场的VR图像，进一步降低了处理过程的算力开销，显著提高了处理速度，提高了问题检测效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请的一种网络架构示意图；

图2为本申请实施例提供的VR内容问题检测方法流程图；

图3为本申请实施例提供的一种VR内容问题检测方法流程图；

图4为本申请实施例提供的一种训练问题检测模型的方式流程图；

图5为使用Equirectangular投影算法生成的平面VR图像示意图；

图6为本申请实施例提供的VR内容问题检测装置的结构示意图；

图7为本申请实施例提供的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

首先对本发明所涉及的现有技术进行详细说明及分析。

VR内容在制作过程中，需要通过投影变换算法将球形视野映射成平面图像以生成包括平面图像的VR内容文件；在VR内容发布之前，需要对VR内容进行问题检测，以确定VR内容是否通过审核可以进行发布操作。

目前，通常在接收到待检测的VR内容文件后，需要对VR内容文件进行投影变换恢复成球形视场，并展示球形视场的VR内容，使审核人员观测VR内容中是否存在问题。人工观测VR内容中是否存在问题的效率较低，消耗了大量的时间资源，并且人工审核可能会由于视角受限，导致漏检测问题。

发明人在研究中发现，可以预先对人工智能模型进行训练，采用人工智能AI检测VR内容文件中的问题，就可以不受视角限制，避免由视角受限导致的漏检测，并且可以提高检测效率，减少消耗的时间资源。所以本申请提供一种VR内容问题检测方法，获取输入的待检测的目标VR图像及对应的至少一个目标审核类别；待检测的目标VR图像为通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像；将目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测；训练完成的问题检测模型为采用对应的训练样本预先训练的；获取至少一个训练完成的问题检测模型输出的问题检测结果，并基于问题检测结果确定目标VR图像是否通过对应目标审核类别的审核。

本申请提供的VR内容问题检测方法、装置、设备及存储介质适用于需要使用传统视频系统进行评估、检测、监管预制成VR内容的情况，包括但不限于内容检测、技术检测、内容监管等；包括但并不限于在播前审查、内容交易检测、内容入库检测、直播实时监测、播出内容监管等环节中使用。

图1为本申请的一种网络架构示意图，如图1所示，包括：用户终端1、电子设备2，电子设备2中包括VR内容问题检测装置；用户可以通过用户终端1将待审核的VR内容及目标审核类别发送至电子设备2，待审核的VR内容中包括待检测的目标VR图像；电子设备2在接收到待审核的VR内容及目标审核类别后可以从待审核的VR内容中提取目标VR图像，并执行本申请提供的VR内容问题检测方法，采用目标审核类别对应的至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测，并获取输出的问题检测结果，以确定目标VR图像是否通过对应目标审核类别的审核。

应理解的是，本申请VR内容问题检测方法可以处理的VR内容包括但不限于通过拍摄、CG生成、或者两者结合制作的VR视频以及静态图像、浅交互操作的VR内容，以及渲染引擎实时生成的VR内容等；包括但不限于具有双目视差的360°、180°视频/图像，以及没有视差的单双目全景视频/图像等内容；包括但不限于使用Equirectagular、Cube_Map等投影算法生成的VR内容。本申请提供的VR内容问题检测方法可以处理处理的预制成VR内容包括但不限于采用各种分辨率、图像压缩算法(MPEG-2、H.264、H.265、AVS、AV-1等)、画幅(1：1、4：3、16：9、16：10等)、文件存储格式(TS、AVI等)、分发服务方式(文件分发，流式服务如广播、组播、单播等)、文件加密方式、收看方式(头戴式设备、电视机、计算机、移动终端等)、使用方式(消费服务、行业垂直应用等)所对应的VR视频内容。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

需要说明的是，本申请VR内容问题检测方法、装置、设备及存储介质可用于虚拟现实技术领域，也可用于除虚拟现实技术领域之外的任意领域，本申请VR内容问题检测方法、装置、设备及存储介质的应用领域不做限定。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请实施例提供的VR内容问题检测方法流程图，本申请实施例针对人工观测VR内容中是否存在问题的效率较低，消耗了大量的时间资源，并且人工审核可能会由于视角受限，导致漏检测的问题，提供了VR内容问题检测方法。本实施例中的方法应用于VR内容问题检测装置，VR内容问题检测装置可以位于电子设备中。其中，电子设备可以为表示各种形式的数字计算机。诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。

如图2所示，该方法具体步骤如下：

步骤S101、获取输入的待检测的目标VR图像及对应的至少一个目标审核类别。

其中，待检测的目标VR图像为通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像。目标审核类别为对目标VR图像进行审核的类别。

本申请实施例中，VR图像可以为静态VR图像，也可以为VR视频中的一帧图像。

本申请实施例中，在获取输入的待检测的目标VR图像后，可以获取对应的至少一个目标审核类别。具体地，用户可以在用户终端上选择对目标VR图像进行检测的目标审核类别，并发送至电子设备中的VR内容问题检测装置。

步骤S102、将目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测。

其中，训练完成的问题检测模型为采用对应的训练样本预先训练的。一个训练完成的问题检测模型对应一个审核类别。

本申请实施例中，问题检测模型可以为任一种适用的人工智能模型。问题检测模型可以具有图像处理及识别功能。

具体地，在确定目标审核类别后，将目标VR图像输入与目标审核类别对应的训练完成的问题检测模型中，分别进行各目标审核类别对应的问题检测。

步骤S103、获取至少一个训练完成的问题检测模型输出的问题检测结果，并基于问题检测结果确定目标VR图像是否通过对应目标审核类别的审核。

本申请实施例中，基于问题检测结果可以确定目标VR图像是否存在各目标审核类别对应的问题。若存在目标审核类别对应的问题，则可以确定不通过该目标审核类别的审核，可以将不通过的目标审核类别及对应问题发送至用户终端，以使用户对目标审核类别对应问题进行修正；若确定不存在目标审核类别对应的问题，则可以确定通过该目标审核类别的审核，可以发布目标VR图像。

本申请提供的VR内容问题检测方法，获取输入的待检测的目标VR图像及对应的至少一个目标审核类别；待检测的目标VR图像为通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像；将目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测；训练完成的问题检测模型为采用对应的训练样本预先训练的；获取至少一个训练完成的问题检测模型输出的问题检测结果，并基于问题检测结果确定目标VR图像是否通过对应目标审核类别的审核。采用训练完成的问题检测模型检测目标VR图像中的问题，可以不受视角限制，避免了由视角受限导致的漏检测，并且提高了检测效率，减少了消耗的时间资源。并且，可以直接对通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像进行问题检测，无需将平面VR图像转换为球形视场的VR图像，进一步降低了处理过程的算力开销，显著提高了处理速度，提高了问题检测效率。

下面结合一个具体的示例对上述实施例提供的VR内容问题检测方法进行说明，图3为本申请实施例提供的一种VR内容问题检测方法流程图，在本申请实施例中目标VR图像为待检测的VR视频流中的VR图像帧，如图3所示，包括以下步骤：

步骤S201、获取输入的待检测的VR视频流文件，并对待检测的VR视频流文件解码以获取对应的VR图像帧序列。

其中，待检测的VR视频流文件为通过预设投影算法对立体视野图像进行投影处理生成的平面VR视频流文件。

步骤S202、按预设图像帧提取算法提取VR图像帧序列中的VR图像帧。

可选地，按预设图像帧提取算法提取VR图像帧序列中的VR图像帧可以包括：按逐帧提取算法提取VR图像帧序列中的VR图像帧；或，按预设比例提取算法提取VR图像帧序列中的VR图像帧；或，按预设时间间隔或预设帧间隔提取算法提取VR图像帧序列中的VR图像帧。

本申请实施例不限制采用的预设图像帧提取算法，可以依据具体需求确定。示例性地，可以逐帧、按预设比例、按预设时间间隔或预设帧间隔等提取算法中的一种或多种的组合提取VR图像帧序列中的VR图像帧。

具体地，用户可以在用户终端中预先选择预设图像帧提取算法，并确定图像帧提取算法中的参数，例如，调整预设比例、调整预设时间间隔、调整预设帧间隔。

本申请实施例中，按逐帧提取算法提取VR图像帧序列中的VR图像帧；或，按预设比例提取算法提取VR图像帧序列中的VR图像帧；或，按预设时间间隔或预设帧间隔提取算法提取VR图像帧序列中的VR图像帧。可以按需求选择预设图像帧提取算法，调整预设比例、或预设时间间隔、或预设帧间隔，可以在保证检测VR视频流问题的准确性的同时提高检测效率，提高了提取VR图像帧序列中的VR图像帧的灵活性，适用性。

步骤S203、依次将提取的VR图像帧确定为待检测的目标VR图像。

本申请实施例中，在提取VR图像帧序列中的VR图像帧后，依次将提取的VR图像帧确定为待检测的目标VR图像，以执行步骤S204及后续步骤对确定为待检测的目标VR图像进行问题检测。

本申请实施例中，通过获取输入的待检测的VR视频流文件，并对待检测的VR视频流文件解码以获取对应的VR图像帧序列；待检测的VR视频流文件为通过预设投影算法对立体视野图像进行投影处理生成的平面VR视频流文件；按预设图像帧提取算法提取VR图像帧序列中的VR图像帧；依次将提取的VR图像帧确定为待检测的目标VR图像。从待检测的VR视频流中提取出待检测的目标VR图像，可以实现对VR视频流的检测，提高对VR视频流的问题检测效率，并避免了由视角受限导致的对VR视频流的漏检测。

步骤S204、获取待检测的目标VR图像对应的至少一个目标审核类别。

步骤S205、若确定目标审核类别包括内容质量审核，则将目标VR图像输入训练完成的内容质量审核问题检测模型中，以采用训练完成的内容质量审核问题检测模型对目标VR图像进行内容质量对应的问题检测。

本申请实施例中，内容质量对应问题可以包括：字幕不适配、动作不适配、构图不适配等内容质量问题。

其中，内容质量审核问题检测模型为对VR图像进行内容质量对应的问题检测的问题检测模型。

步骤S206、若确定目标审核类别包括技术质量审核，则将目标VR图像输入训练完成的技术质量审核问题检测模型中，以采用训练完成的技术质量审核问题检测模型对目标VR图像进行技术质量对应的问题检测。

本申请实施例中，技术质量对应问题可以包括：偏色问题、亮度过高问题等技术质量问题。

其中，技术质量审核问题检测模型为对VR图像进行技术质量对应的问题检测的问题检测模型。

步骤S207、若确定目标审核类别包括内容合规审核，则将目标VR图像输入训练完成的内容合规审核问题检测模型中，以采用训练完成的内容合规审核问题检测模型对目标VR图像进行内容合规对应的问题检测。

本申请实施例中，内容合规对应问题可以包括：包含违规信息、包含非法信息等内容合规问题。

其中，内容合规审核问题检测模型为对VR图像进行内容合规对应的问题检测的问题检测模型。

具体地，用户可以通过设置目标审核类别确定是否对目标VR图像进行内容质量审核、技术质量审核、内容合规审核。示例性地，目标审核类别可以包括：内容质量审核及技术质量审核，则将目标VR图像输入训练完成的内容质量审核问题检测模型及训练完成的技术质量审核问题检测模型中，对目标VR图像进行内容质量审核及技术质量审核。

本申请实施例中，审核类别可以包括：内容质量审核、技术质量审核、内容合规审核。分别采用对应的问题检测模型检测内容质量问题，技术质量问题及内容合规问题，可以提高检测三类审核类别对应问题的准确率。并且可以并行地进行内容质量对应的问题检测、技术质量对应的问题检测、内容合规对应的问题检测，提高检测效率。并使用户可以选择目标审核类别，无需对不必要的审核类别进行问题检测。

步骤S208、存储输出的问题检测结果，并确定是否通过审核。

具体地，可以通过确定输出的问题检测结果中是否包括：标注的问题区域及对应的问题标签确定是否通过审核。若确定某训练完成的问题检测模型输出的问题检测结果中包括：标注的问题区域及对应的问题标签，则确定目标VR图像未通过该训练完成的问题检测模型对应审核类别的审核；若确定某训练完成的问题检测模型输出的问题检测结果中不包括：标注的问题区域及对应的问题标签，则确定目标VR图像通过该训练完成的问题检测模型对应审核类别的审核。

若确定目标VR图像未通过任一目标审核类别的审核，则确定该目标VR图像未通过审核。

本申请实施例中，训练完成的问题检测模型可以输出目标VR图像，以及在目标VR图像中标注的问题区域及对应的问题标签。具体地，可以通过生成检测框标注的问题区域。

可以通过是否输出标注的问题区域及对应的问题标签确定是否通过对应审核类别的审核，便于用户确定不通过审核的原因，从而对目标VR图像进行修改，使修改后的目标VR图像可以通过审核。

步骤S209、确定是否遍历提取的VR图像帧。

步骤S210、确定提取的VR图像帧是否均通过审核。

步骤S211、若提取的VR图像帧均通过审核，则确定输入的待检测的VR视频流文件可以发布。

可选地，还可以抽选通过审核的提取的VR图像帧，对抽选的VR图像帧进行投影变换恢复成球形视场，并展示球形视场的抽选的VR图像帧进行人工审核。若确定抽选的VR图像帧中存在训练完成的问题检测模型未检测出的问题，则将该提取的VR图像帧确定为训练完成的问题检测模型未检测出但存在问题的VR图像，并加入训练样本中，对未检测出的问题对应的问题检测模型进行训练。

步骤S212、若存在提取的VR图像帧均未通过审核，则将未通过的VR图像帧的审核问题检测结果发送至对应的用户终端。

可选地，用户可以确定未通过审核的VR图像帧标注的问题区域是否为多个区域的组合，若确定为多个区域的组组合，且区域的组合方式未在训练样本中标注，则可以将该未通过审核的VR图像帧确定为训练完成的问题检测模型检测出的且存在未人工标注的问题组合区域的VR图像，将该VR图像帧及标注的问题区域、对应的问题标签加入标注的问题对应的训练样本中，采用对应的训练样本对对应的问题检测模型进行进一步训练。

下面结合一个具体的示例对训练问题检测模型的方式进行说明，如图4所示，包括以下步骤：

步骤S301、获取训练样本及训练样本中标注的问题区域、标注的问题标签。

其中，训练样本包括：训练完成的问题检测模型未检测出但存在问题的VR图像、训练完成的问题检测模型检测出的且存在未人工标注的问题组合区域的VR图像。

本申请实施例中，可以在对目标VR图像进行问题检测后，将训练完成的问题检测模型未检测出但存在问题的VR图像，以及训练完成的问题检测模型检测出的且存在未人工标注的问题组合区域的VR图像加入对应的训练样本中，可以提高训练完成的问题检测模型的分析判定能力，增加检测问题的准确率。

可选地，预设投影算法为Equirectangular投影算法的训练样本，其对应的标注的问题区域包括：边界图像区域及相对边界图像区域的组合区域。

应理解的是，由于VR图像的边界闭环特性，一帧平面VR图像的4个边界之间存在图像信息的连续性，要采用一定的算法以保证信息的完整性和对信息的遍历。

图5为使用Equirectangular投影算法生成的平面VR图像示意图，如图5所示，若训练完成的问题检测模型检测图像区域A，不会出现信息缺失造成的漏判；若训练完成的问题检测模型检测边界图像区域B、边界图像区域C，由于图像存在连续性，有效信息可能部分在相对边界图像区域B#中、边界图像区域C#中，则仅检测边界图像区域B或边界图像区域C可能出现的信息遗漏。因此在标注预设投影算法为Equirectangular投影算法的训练样本时，若问题区域在边界图像区域，则同时将边界图像区域及相对边界图像区域的组合区域标注为问题区域，例如标注问题区域为：边界图像区域B+边界图像区域B#、边界图像区域C+边界图像区域C#。

本申请实施例中，预设投影算法为Equirectangular投影算法的训练样本，其对应的标注的问题区域包括：边界图像区域及相对边界图像区域的组合区域，可以避免由于平面VR图像的边界闭环特性导致的信息缺失造成的漏判。

本申请实施例中，在获取训练样本时，可以根据不同的待检测帧分辨率、问题检测模型所需的采样精度要求、处理速度要求、以及不同的投影算法等限制，设定不同的采样窗口形状、尺寸，移动方式和补偿方式以便对应，每一个采样窗口并不必然完全一致。

步骤S302、基于标注的问题标签确定训练样本对应的审核类别。

具体地，在基于标注的问题标签确定训练样本对应的审核类别后，可以基于训练样本对应的审核类别确定该训练样本为第一训练样本、或第二训练样本、或第三训练样本。

步骤S303、将包括内容质量对应问题的第一训练样输入内容质量审核问题检测模型中，对内容质量审核问题检测模型进行训练，以获取训练完成的内容质量审核问题检测模型。

其中，第一训练样本包括第一VR图像样本及对应的内容质量问题标注。第一VR图像样本中存在内容质量问题。

步骤S304、将包括技术质量对应问题的第二训练样本输入技术质量审核问题检测模型中，对技术质量审核问题检测模型进行训练，以获取训练完成的技术质量审核问题检测模型。

其中，第二训练样本包括第二VR图像样本及技术质量问题标注。第二VR图像样本中存在技术质量问题。

步骤S305、将包括内容合规对应问题的第三训练样本输入内容合规审核问题检测模型中，对内容合规审核问题检测模型进行训练，以获取训练完成的内容合规审核问题检测模型。

其中，第三训练样本包括第三VR图像样本及内容合规问题类型对应的标注。第三VR图像样本中存在内容合规问题。

本申请实施例中，采用不同的训练样本分别训练内容质量审核问题检测模型、技术质量审核问题检测模型、内容合规审核问题检测模型，可以提高问题检测模型对对应问题的识别准确率，例如，可以避免存在多类审核问题时对某类审核问题的漏检测。

图6为本申请实施例提供的VR内容问题检测装置的结构示意图。本申请实施例提供的VR内容问题检测装置可以执行VR内容问题检测方法实施例提供的处理流程。如图6所示，该VR内容问题检测装置50包括：获取模块501，检测模块502，确定模块503。

具体地，获取模块501，用于获取输入的待检测的目标VR图像及对应的至少一个目标审核类别；待检测的目标VR图像为通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像；

检测模块502，用于将目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测；训练完成的问题检测模型为采用对应的训练样本预先训练的；

确定模块503，用于获取至少一个训练完成的问题检测模型输出的问题检测结果，并基于问题检测结果确定目标VR图像是否通过对应目标审核类别的审核。

本申请实施例提供的装置可以具体用于执行上述实施例所提供的方法实施例，具体功能此处不再赘述。

可选地，获取模块501具体用于：获取输入的待检测的VR视频流文件，并对待检测的VR视频流文件解码以获取对应的VR图像帧序列；待检测的VR视频流文件为通过预设投影算法对立体视野图像进行投影处理生成的平面VR视频流文件；按预设图像帧提取算法提取VR图像帧序列中的VR图像帧；依次将提取的VR图像帧确定为待检测的目标VR图像。

可选地，获取模块501具体用于：按逐帧提取算法提取VR图像帧序列中的VR图像帧；或，按预设比例提取算法提取VR图像帧序列中的VR图像帧；或，按预设时间间隔或预设帧间隔提取算法提取VR图像帧序列中的VR图像帧。

可选地，至少一个目标审核类别包括以下类别的至少一个：内容质量审核、技术质量审核、内容合规审核；检测模块502具体用于：

若确定目标审核类别包括内容质量审核，则将目标VR图像输入训练完成的内容质量审核问题检测模型中，以采用训练完成的内容质量审核问题检测模型对目标VR图像进行内容质量对应的问题检测；内容质量对应问题包括：字幕不适配、动作不适配、构图不适配；若确定目标审核类别包括技术质量审核，则将目标VR图像输入训练完成的技术质量审核问题检测模型中，以采用训练完成的技术质量审核问题检测模型对目标VR图像进行技术质量对应的问题检测；技术质量对应问题包括：偏色问题、亮度过高问题；若确定目标审核类别包括内容合规审核，则将目标VR图像输入训练完成的内容合规审核问题检测模型中，以采用训练完成的内容合规审核问题检测模型对目标VR图像进行内容合规对应的问题检测；内容合规对应问题包括：包含违规信息、包含非法信息。

可选地，VR内容问题检测装置50还包括：训练模块；训练模块用于：

将包括内容质量对应问题的第一训练样输入内容质量审核问题检测模型中，对内容质量审核问题检测模型进行训练，以获取训练完成的内容质量审核问题检测模型；第一训练样本包括第一VR图像样本及对应的内容质量问题标注；将包括技术质量对应问题的第二训练样本输入技术质量审核问题检测模型中，对技术质量审核问题检测模型进行训练，以获取训练完成的技术质量审核问题检测模型，第二训练样本包括第二VR图像样本及技术质量问题标注；将包括内容合规对应问题的第三训练样本输入内容合规审核问题检测模型中，对内容合规审核问题检测模型进行训练，以获取训练完成的内容合规审核问题检测模型，第三训练样本包括第三VR图像样本及内容合规问题类型对应的标注。

可选地，训练模块还用于：获取训练样本及训练样本中标注的问题区域、标注的问题标签；训练样本包括：训练完成的问题检测模型未检测出但存在问题的VR图像、训练完成的问题检测模型检测出的且存在未人工标注的问题组合区域的VR图像；预设投影算法为Equirectangular投影算法的训练样本，其对应的标注的问题区域包括：边界图像区域及相对边界图像区域的组合区域；基于标注的问题标签确定训练样本对应的审核类别。

可选地，确定模块503具体用于：若确定某训练完成的问题检测模型输出的问题检测结果中包括：标注的问题区域及对应的问题标签，则确定目标VR图像未通过该训练完成的问题检测模型对应审核类别的审核；若确定某训练完成的问题检测模型输出的问题检测结果中不包括：标注的问题区域及对应的问题标签，则确定目标VR图像通过该训练完成的问题检测模型对应审核类别的审核。

本申请实施例提供的装置可以具体用于执行上述方法实施例，具体功能此处不再赘述。

图7为本申请实施例提供的电子设备的结构示意图，如图7所示，本申请还提供了一种电子设备60，包括：处理器601，以及与处理器601通信连接的存储器602及收发器603。其中，存储器602存储计算机执行指令；收发器603用于收发数据；处理器601执行存储器602存储的计算机执行指令，以实现本申请任意一个实施例提供的方法。

具体地，程序可以包括程序代码，程序代码包括计算机执行指令。存储器602可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。其中，计算机执行指令存储在存储器602中，并被配置为由处理器601执行以实现本申请任意一个实施例提供的方法。相关说明可以对应参见附图中的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

其中，本申请实施例中，存储器602和处理器601通过总线连接。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component Interconnect，简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本申请任意一个实施例提供的方法。

本申请实施例还提供一种计算机程序产品，包括计算机执行指令，计算机执行指令被处理器执行时实现本申请任意一个实施例提供的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程全路径轨迹融合装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本申请的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种VR内容问题检测方法，其特征在于，包括：

获取输入的待检测的目标VR图像及对应的至少一个目标审核类别；待检测的目标VR图像为通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像；

将所述目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测；所述训练完成的问题检测模型为采用对应的训练样本预先训练的；

获取至少一个训练完成的问题检测模型输出的问题检测结果，并基于所述问题检测结果确定目标VR图像是否通过对应目标审核类别的审核。

2.根据权利要求1所述的方法，其特征在于，所述目标VR图像为待检测的VR视频流中的VR图像帧，所述获取输入的待检测的目标VR图像，包括：

获取输入的待检测的VR视频流文件，并对所述待检测的VR视频流文件解码以获取对应的VR图像帧序列；所述待检测的VR视频流文件为通过预设投影算法对立体视野图像进行投影处理生成的平面VR视频流文件；

按预设图像帧提取算法提取VR图像帧序列中的VR图像帧；

依次将提取的VR图像帧确定为待检测的目标VR图像。

3.根据权利要求2所述的方法，其特征在于，所述按预设图像帧提取算法提取VR图像帧序列中的VR图像帧，包括：

按逐帧提取算法提取VR图像帧序列中的VR图像帧；

或，按预设比例提取算法提取VR图像帧序列中的VR图像帧；

或，按预设时间间隔或预设帧间隔提取算法提取VR图像帧序列中的VR图像帧。

4.根据权利要求1所述的方法，其特征在于，所述至少一个目标审核类别包括以下类别的至少一个：内容质量审核、技术质量审核、内容合规审核；

所述将所述目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测，包括：

若确定目标审核类别包括内容质量审核，则将所述目标VR图像输入训练完成的内容质量审核问题检测模型中，以采用训练完成的内容质量审核问题检测模型对目标VR图像进行内容质量对应的问题检测；内容质量对应问题包括：字幕不适配、动作不适配、构图不适配；

若确定目标审核类别包括技术质量审核，则将所述目标VR图像输入训练完成的技术质量审核问题检测模型中，以采用训练完成的技术质量审核问题检测模型对目标VR图像进行技术质量对应的问题检测；技术质量对应问题包括：偏色问题、亮度过高问题；

若确定目标审核类别包括内容合规审核，则将所述目标VR图像输入训练完成的内容合规审核问题检测模型中，以采用训练完成的内容合规审核问题检测模型对目标VR图像进行内容合规对应的问题检测；内容合规对应问题包括：包含违规信息、包含非法信息。

5.根据权利要求4所述的方法，其特征在于，采用对应的训练样本预先训练对应的问题检测模型，包括：

将包括内容质量对应问题的第一训练样输入内容质量审核问题检测模型中，对所述内容质量审核问题检测模型进行训练，以获取训练完成的内容质量审核问题检测模型；所述第一训练样本包括第一VR图像样本及对应的内容质量问题标注；

将包括技术质量对应问题的第二训练样本输入技术质量审核问题检测模型中，对所述技术质量审核问题检测模型进行训练，以获取训练完成的技术质量审核问题检测模型，所述第二训练样本包括第二VR图像样本及技术质量问题标注；

将包括内容合规对应问题的第三训练样本输入内容合规审核问题检测模型中，对所述内容合规审核问题检测模型进行训练，以获取训练完成的内容合规审核问题检测模型，所述第三训练样本包括第三VR图像样本及内容合规问题类型对应的标注。

6.根据权利要求5所述的方法，其特征在于，所述采用对应的训练样本预先训练对应的问题检测模型之前，包括：

获取训练样本及所述训练样本中标注的问题区域、标注的问题标签；

所述训练样本包括：训练完成的问题检测模型未检测出但存在问题的VR图像、训练完成的问题检测模型检测出的且存在未人工标注的问题组合区域的VR图像；所述预设投影算法为Equirectangular投影算法的训练样本，其对应的标注的问题区域包括：边界图像区域及相对边界图像区域的组合区域；

基于标注的问题标签确定训练样本对应的审核类别。

7.根据权利要求6所述的方法，其特征在于，所述基于所述问题检测结果确定目标VR图像是否通过对应目标审核类别的审核，包括：

若确定某训练完成的问题检测模型输出的问题检测结果中包括：标注的问题区域及对应的问题标签，则确定目标VR图像未通过该训练完成的问题检测模型对应审核类别的审核；

若确定某训练完成的问题检测模型输出的问题检测结果中不包括：标注的问题区域及对应的问题标签，则确定目标VR图像通过该训练完成的问题检测模型对应审核类别的审核。

8.一种VR内容问题检测装置，其特征在于，包括：

获取模块，用于获取输入的待检测的目标VR图像及对应的至少一个目标审核类别；待检测的目标VR图像为通过预设投影算法对立体视野图像进行投影处理生成的平面VR图像；

检测模块，用于将所述目标VR图像输入目标审核类别对应的至少一个训练完成的问题检测模型中，并采用至少一个训练完成的问题检测模型对目标VR图像进行目标审核类别对应的问题检测；所述训练完成的问题检测模型为采用对应的训练样本预先训练的；

确定模块，用于获取至少一个训练完成的问题检测模型输出的问题检测结果，并基于所述问题检测结果确定目标VR图像是否通过对应目标审核类别的审核。

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器及收发器；

所述存储器存储计算机执行指令；所述收发器用于收发数据；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。