CN112766093B - 全景图片、视频检测方法及装置、可读存储介质 - Google Patents

Abstract

本申请公开了一种全景图片、视频检测方法及装置、可读存储介质。本申请的全景图片检测方法包括：获取全景图片，并预设角度参数；根据角度参数对全景图片进行角度比较处理，并得到参数比较结果；根据参数比较结果对全景图片进行图像获取处理，得到平面图片；对平面图片进行人脸检测处理得到检测结果，并根据检测结果输出人脸图像；其中，角度参数至少包括翻滚角参数、第一俯视角参数、第一偏航角参数中的一个。通过对全景图片进行角度比较处理，再根据参数比较结果对全景图片进行图像处理得到平面图片。经过人脸检测处理对平面图片进行检测得到人脸图像，简化了全景图片人脸识别的算法，并且提高了识别的准确率。

Description

全景图片、视频检测方法及装置、可读存储介质

技术领域

本申请涉及图片、视频处理领域，尤其是涉及一种全景图片检测方法、视频检测方法及全景检测装置、计算机可读存储介质。

背景技术

相关技术中，通过全景摄像头获得的图片是扭曲的，导致在进行人脸识别检测时，人脸识别的准确率会降低，无法满足用户的使用需求。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种全景图片检测方法，能够从全景图片中检测到人脸并且输出检测结果，提高识别的准确率。

本申请还提出一种全景视频检测方法。

本申请还提出一种全景检测装置。

本申请还提出一种计算机可读存储介质。

根据本申请的第一方面实施例的全景图片检测方法，包括：

获取全景图片，并预设角度参数；

根据所述角度参数对所述全景图片进行角度比较处理，并得到参数比较结果；

根据所述参数比较结果对所述全景图片进行图像获取处理，得到平面图片；

对所述平面图片进行人脸检测处理得到检测结果，并根据所述检测结果输出人脸图像；

其中，所述角度参数至少包括翻滚角参数、第一俯视角参数、第一偏航角参数中的一个。

根据本申请实施例的全景图片检测方法，至少具有如下有益效果：通过对全景图片进行角度比较处理，再根据参数比较结果对全景图片进行图像处理得到平面图片。经过人脸检测处理对平面图片进行检测得到人脸图像，简化了全景图片人脸识别的算法，并且提高了识别的准确率。

根据本申请的一些实施例，所述根据所述角度参数对所述全景图片进行角度比较处理，并得到参数比较结果，包括：获取步长参数及水平视角参数、纵向视角参数；根据所述步长参数、所述水平视角参数、所述纵向视角参数、所述角度参数对所述全景图片进行比较处理，并得到所述参数比较结果。

根据本申请的一些实施例，所述全景图片检测方法还包括：预先设置存储区域；根据所述检测结果的坐标值删除重复的检测结果；将所述人脸图像存储于所述存储区域中。

根据本申请的一些实施例，所述根据所述步长参数、所述水平视角参数、所述纵向视角参数、所述角度参数对所述全景图片进行比较处理，并得到所述参数比较结果，还包括：所述第一俯视角参数与所述步长参数相加得到第二俯视角参数；将所述第二俯视角参数与所述纵向视角参数相加得到第一视角参数和；将所述第一视角参数和与第一预设角度进行比较得到第一比较结果，根据所述第一比较结果对所述第一偏航角参数进行处理；将所述第一偏航角参数与所述步长参数相加得到第二偏航角参数；将所述第二偏航角参数与所述水平视角参数相加得到第二视角参数和；将所述第二视角参数和与第二预设角度进行比较得到第二比较结果，根据所述第二比较结果对所述第二偏航角参数进行处理，以得到所述参数处理结果。

根据本申请的第二方面实施例的全景视频检测方法，包括：接收全景视频流；对所述全景视频流进行视频解码，得到全景图片；对所述全景图片执行本申请上述第一方面实施例的全景图片检测方法。

根据本申请实施例的全景视频检测方法，至少具有如下有益效果：从全景视频流中解码获取全景图片，再对全景图片执行全景图片检测方法，从而得到人脸图像。实现了从全景视频中识别出人脸的效果，并且能够提高人脸识别的准确率。

根据本申请的一些实施例，所述接收全景视频流还包括：预先设置全景视频流地址；根据所述全景视频流地址连接相应的全景视频流媒体服务器。

根据本申请的一些实施例，所述对所述全景视频流进行视频解码，得到全景图片还包括：预先设置检测间隔；根据所述检测间隔对所述视频解码结果进行比较处理，以得到所述全景图片。

根据本申请的一些实施例，所述获取全景图片并对所述全景图片实现本申请第一方面实施例所述全景图片检测方法，还包括：获取所述全景图片的时间戳；其中，所述全景图片包括视频帧。

根据本申请的第三方面实施例的全景监测装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现：如本申请第一方面实施例所述的全景图片检测方法，或者如本申请第二方面实施例所述的全景视频检测方法。

根据本申请的第四方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本申请第一方面实施例所述的全景图片检测方法，或者如本申请第二方面实施例所述的全景视频图片检测方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

下面结合附图和实施例对本申请做进一步的说明，其中：

图1为本申请实施例全景图片检测方法的流程示意图；

图2为图1中步骤S200的具体流程示意图；

图3为本申请又一实施例全景图片检测方法的流程示意图；

图4为本申请再一实施例全景图片检测方法的流程示意图；

图5为本申请实施例全景视频检测方法的流程示意图；

图6为图5中步骤S1000的具体流程示意图；

图7为图5中步骤S2000的具体流程示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。

本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

下面参考图1描述根据本申请实施例的全景图片检测方法。

如图1所示，根据本申请实施例提供的一种全景图片检测方法，包括：

步骤S100：获取全景图片，并预设角度参数；

步骤S200：根据角度参数对全景图片进行角度比较处理，并得到参数比较结果；

步骤S300：根据参数比较结果对全景图片进行图像获取处理，得到平面图片；

步骤S400：对平面图片进行人脸检测处理得到检测结果，并根据检测结果输出人脸图像。

具体地，角度参数至少包括翻滚角参数、第一俯视角参数、第一偏航角参数中的一个。

通过全景相机获取全景图片，预先设置角度参数，角度参数可以根据实际情况进行调整，比如设置翻滚角参数为0、第一俯视角参数为-90°、第一偏航角参数为0，其中第一俯视角的变动范围在-90°至90°之间、第一偏航角的变动范围在0至360°之间。根据预先设置的角度参数对全景图片进行角度比较处理，根据比较结果获取翻滚角参数、第一俯视角参数、第一偏航角参数的具体数值对全景图片进行图像获取处理，从而得到该角度区域的平面图片。调用人脸检测算法对该平面图片进行检测，得到人脸检测结果，通过异步方式输出检测结果。人脸检测结果包括检测的时间戳、人脸检测结果集；人脸结果集包括多个人脸检测数据，每个人脸检测数据包括人脸框坐标参数、检测可信度以及人脸截图。其中，人脸检测算法可以为OpenCV的人脸检测，也可以采用商业化的人脸检测算法。

根据本申请实施例的全景图片检测方法，通过对全景图片进行角度比较处理，再根据参数比较结果对全景图片进行图像处理得到平面图片。经过人脸检测处理对平面图片进行检测得到人脸图像，简化了全景图片人脸识别的算法，并且提高了识别的准确率。

在本申请的一些实施例中，如图2所示，步骤S200：根据角度参数对全景图片进行角度比较处理，并得到参数比较结果，包括：

步骤S210：获取步长参数及水平视角参数、纵向视角参数；

步骤S220：根据步长参数、水平视角参数、纵向视角参数、角度参数对全景图片进行比较处理，并得到参数比较结果。

获取步长参数及水平视角参数、纵向视角参数，步长参数、水平视角参数、纵向视角参数均由外部输入，可以根据实际情况进行设定；如果外部输入缺少纵向视角参数时，纵向视角参数数值取水平视角参数数值的一半。通过步长参数、水平视角参数、纵向视角参数与预先设置的角度参数进行计算、比较处理，从而得到比较结果。根据比较结果对全景图片进行处理，从而得到平面图片，再对平面图片进行人脸检测处理，得到人脸图像。

在本申请的一些实施例中，如图3所示，全景图片检测方法还包括：

步骤S500：预先设置存储区域；

步骤S600：根据检测结果的坐标值删除重复的检测结果；

步骤S700：将人脸图像存储于存储区域中。

在全景图片检测之前，先设置人脸检测结果存储区域，如果设置的是文件，则将人脸检测结果输出到文件中；如果设置的是外部端口，则将人脸检测结果输出到外部端口。由于在旋转全景图片进行人脸检测的过程中，获取的平面图片检测出的结果可能是相同的人脸，因此，在存储人脸检测结果之前，判断人脸图像的参数坐标(如翻滚角参数、俯视角参数、偏航角参数)是否相同。如果两个检测结果的坐标参数相同，说明为重复图片，则删除其中一幅，防止存储空间占据过大。

在本申请的一些实施例中，根据步长参数、水平视角参数、纵向视角参数、预设设置角度参数对全景图片进行比较处理，并得到参数比较结果，还包括：第一俯视角参数与步长参数相加得到第二俯视角参数；将第二俯视角参数与纵向视角参数相加得到第一视角参数和；将第一视角参数和与第一预设角度进行比较得到第一比较结果，根据第一比较结果对第一偏航角参数进行处理；将第一偏航角参数与步长参数相加得到第二偏航角参数；将第二偏航角参数与水平视角参数相加得到第二视角参数和；将第二视角参数和与第二预设角度进行比较得到第二比较结果，根据第二比较结果对第二偏航角参数进行处理，以得到参数处理结果

如图4所示，通过全景相机获取全景图片，预设翻滚角参数roll为0、第一俯视角参数pitch为-90°、第一偏航角参数yaw为0，步长参数、水平视角参数hfov、纵向视角参数vfov均由外部输入，如果纵向视角参数vfov缺少输入时取水平视角参数hfov的一半，其中步长参数分为第一步长参数vstep、第二步长参数hstep。第一预设角度设为90°、第二预设角度设为360°。

将第一俯视角参数pitch加上第一步长参数vstep得到第二俯视角参数pitch，将第二俯视角参数pitch加上纵向视角参数vfov的总和与90°进行大小比较，如果总和大于90°，则进行是否有人脸检测结果的判断，如果没有人脸检测结果则结束全景图片检测的过程，如果有人脸检测结果，则执行步骤S500至步骤S700，将人脸检测结果进行储存。如果总和小于或等于90°，则第一偏航角参数yaw加上第二步长参数hstep得到第二偏航角参数yaw，将第二偏航角参数yaw加上水平视角参数hfov的总和与360°进行大小比较，如果总和大于360°，则将第二偏航角参数yaw置零，重复执行上述步骤。

如果总和小于360°，则截取(pitch，yaw，roll)区域的平面图片，调用人脸检测算法对该平面图片进行检测，如果检测到人脸图像则将人脸图像进行暂存后返回步骤上述步骤，将第二俯视角参数pitch加上第一步长参数vstep得到新的俯视角参数pitch；如果未检测到人脸图像也返回到上述步骤，直到结束本次检测过程。

在一些实施例中，本申请实施例提供了一种全景视频检测方法，如图5所示，包括：

步骤S1000：接收全景视频流；

步骤S2000：对全景视频流进行视频解码，得到全景图片；

步骤S3000：对全景图片执行全景图片检测方法。

根据视频流地址选择合适的通信协议后，按照通信协议接收全景视频流、获取全景视频数据，在获取全景视频的过程中获取视频流的编码格式，采用相应的视频编码协议进行解码，比如H264协议、H265协议。从解码后的视频获得全景图片，对全景图片执行本申请上述实施例中任一项全景图片检测方法，从而得到人脸识别结果，通过异步方式输出人脸检测结果。

根据本申请实施例的全景视频检测方法，通过从全景视频流中解码获取全景图片，再对全景图片执行全景图片检测方法，从而得到人脸图像。实现了从全景视频中识别出人脸的效果，并且能够提高人脸识别的准确率。

在本申请的一些实施例中，如图6所示，步骤S1000：接收全景视频流，还包括：

步骤S1100：预先设置全景视频流地址；

步骤S1200：根据全景视频流地址连接相应的全景视频流媒体服务器。

在进行全景视频检测之前，设置全景视频流地址，根据指定的视频流地址选择合适的通信协议，比如地址头为rtmp://的选择以RTMP协议连接相应的流媒体服务器、地址头为rtsp://的选择以RTSP协议连接相应的流媒体服务器、地址头为http://的选择以HTTP方式连接相应的流媒体服务器。

在本申请的一些实施例中，如图7所示，步骤S2000：对全景视频流进行视频解码，得到全景图片还包括：

步骤S2100：预先设置检测间隔；

步骤S2200：根据检测间隔对视频解码结果进行比较处理，以得到全景图片。

预先设置检测间隔，对全景视频流进行视频解码，检测解码后的视频帧时间间隔是否大于预先设置的检测间隔，如果大于，则获取全景图片或视频帧的时间戳；如果小于或等于则重新接收全景视频流进行视频解码。

在本申请的一些实施例中，获取全景图片并对全景图片实现全景图片检测方法，还包括：获取全景图片的时间戳；其中，全景图片包括视频帧，根据该时间戳能够从视频流中定位到该视频帧。

在一些实施例中，本申请实施例还提供了一种全景检测装置，包括：存储器、处理器及存储在存储器上并可以在处理器上运行的计算机程序，处理器执行计算机程序时实现：如本申请上述实施例中任一项的全景图片检测方法，或者如本申请上述实施例中任一项的全景视频检测装置。

本申请实施例提供的全景检测装置支持使用WiFi工作于客户端模式，还支持Ethernet网卡。

处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在一些实施例中，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于执行本申请上述实施例中任一项的全景图片检测方法，或者执行本申请上述实施例中任一项的全景视频检测方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

Claims (7)

1.全景图片检测方法，其特征在于，包括：

获取全景图片，并预设角度参数；

根据所述角度参数对所述全景图片进行角度比较处理，并得到参数比较结果；

根据所述参数比较结果对所述全景图片进行图像获取处理，得到平面图片；

对所述平面图片进行人脸检测处理得到检测结果，并根据所述检测结果输出人脸图像；

其中，所述角度参数至少包括翻滚角参数、第一俯视角参数、第一偏航角参数中的一个；

所述根据所述角度参数对所述全景图片进行角度比较处理，并得到参数比较结果，包括：

获取步长参数及水平视角参数、纵向视角参数；

根据所述步长参数、所述水平视角参数、所述纵向视角参数、所述角度参数对所述全景图片进行比较处理，并得到所述参数比较结果；

所述根据所述步长参数、所述水平视角参数、所述纵向视角参数、所述角度参数对所述全景图片进行比较处理，并得到所述参数比较结果，还包括：

所述第一俯视角参数与所述步长参数相加得到第二俯视角参数；

将所述第二俯视角参数与所述纵向视角参数相加得到第一视角参数和；

将所述第一视角参数和与第一预设角度进行比较得到第一比较结果，根据所述第一比较结果对所述第一偏航角参数进行处理；

将所述第一偏航角参数与所述步长参数相加得到第二偏航角参数；

将所述第二偏航角参数与所述水平视角参数相加得到第二视角参数和；

将所述第二视角参数和与第二预设角度进行比较得到第二比较结果，根据所述第二比较结果对所述第二偏航角参数进行处理，以得到处理结果；

所述全景图片检测方法还包括：

预先设置存储区域；

根据所述检测结果的坐标值删除重复的检测结果；

将所述人脸图像存储于所述存储区域中。

2.全景视频检测方法，其特征在于，包括：

接收全景视频流；

对所述全景视频流进行视频解码，得到全景图片；

对所述全景图片执行如权利要求1所述的全景图片检测方法。

3.根据权利要求2所述的全景视频检测方法，其特征在于，所述接收全景视频流还包括：

预先设置全景视频流地址；

根据所述全景视频流地址连接相应的全景视频流媒体服务器。

4.根据权利要求3所述的全景视频检测方法，其特征在于，所述对所述全景视频流进行视频解码，得到全景图片还包括：

预先设置检测间隔；

根据所述检测间隔对视频解码结果进行比较处理，以得到所述全景图片。

5.根据权利要求4所述的全景视频检测方法，其特征在于，所述对所述全景图片实现如权利要求1所述的全景图片检测方法，还包括：

获取所述全景图片的时间戳；

其中，所述全景图片包括视频帧。

6.全景检测装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现：

如权利要求1所述的全景图片检测方法；

或者，

如权利要求2至5任一项所述的全景视频检测方法。

7.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行

如权利要求1所述的全景图片检测方法；

或者，

如权利要求2至5任一项所述的全景视频检测方法。