CN106385533A - 全景视频控制方法及系统 - Google Patents

Abstract

本发明提供了全景视频控制方法及系统，该全景视频控制方法通过实时获得控制权用户的面部特征，并匹配控制权用户的面部特征与预先训练的不同全景视频角度下的样本面部特征，确定当前具有控制权的用户的位角数据，从而使全景视频的角度能够随控制权的用户的面部特征的改变而改变，这样，全景视频的角度能够跟随面部的视角而随时改变，操作简单，无需学习，且灵活性高。

Description

全景视频控制方法及系统

技术领域

本发明涉及全景视频技术领域，特别涉及一种全景视频控制方法、系统。

背景技术

全景视频是在720°或360°拍摄的技术至上发展延伸而来的，采用动态的视频图像包含拍摄角度左右上下360°的任意观看角度的信息，让用户有一种真正意义上身临其境的感觉。

在观看过程中，用户需要一套相应的控制系统来实时反馈用户需要观看的角度。现有技术中的采用人机交互的方式控制调整全景视频图像的观察角度，这是进行全景视屏角度切换的主要方式，在人机交互中主要通过以下方法实现：

第一种，全景视屏系统提供全景视频的控制界面，用户在控制界面上输入相应的指令后，系统进行处理分析控制全景画面。此种方法在视场角度的不断变化时，灵活性差，调节繁琐。

第二种，观看用户通过特定的人体指示动作与全景视频系统进行交互，也就是说，全景视频系统通过识别人体特定的动作完成相应的指令。此种方法对用户的学习能力要求高，必须要求用户能够准确的学习各种特定的人体指示动作，从而被系统识别，才能够实现全景视频的角度调整。

第三种，用户通过第三方设备与全景视频系统连接，虽然能够适合很多用户的操作，但是，成本较高。

有鉴于此，亟待对全景视频系统进行优化改进，在无需第三方设备的前提下，使全景视频系统的操作便利、灵活，用户的适用范围广。

发明内容

本发明提供了一种全景视频控制方法及系统，该全景视频控制方法通过实时获得控制权用户的面部特征，并匹配控制权用户的面部特征与预先训练的不同全景视频角度下的样本面部特征，确定当前具有控制权的用户的位角数据，从而使全景视频的角度能够随控制权的用户的面部特征的改变而改变，这样，全景视频的角度能够跟随面部的视角而随时改变，操作简单，无需学习，且灵活性高。

本发明提供的全景视频控制方法，包括：

a、从摄像装置采集的全景视频场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征；

b、根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户；

c、根据当前具有控制权的用户的面部特征与预先训练的不同全景视频角度下的样本面部特征的匹配结果，确定当前具有控制权的用户的面部特征所对应的位角数据；

d、根据确定的位角数据，生成对应的位角调节指令，以调节全景视频的视场角。

可选地，所述步骤b之后步骤c之前，该方法进一步包括：

e、当从所有用户识别出当前具有控制权的用户时，将面部追踪框调取于屏幕上，以输出包围当前具有控制权的用户的面部特征，实时获取当前具有控制权的用户的面部特征。

可选地，所述步骤b之后，该方法进一步包括：

f、在当前用户的体态特征匹配用于触发控制操作的第二体态样本特征时，产生对应的控制命令。

可选地，所述步骤f包括：

f1、从所有用户中识别出体态特征与第二体态样本特征匹配的候选用户；

f2、将每个候选用户的面部特征与具有控制权的用户的面部特征进行匹配；

f3、将所有候选用户中匹配度最高的一个用户确定为具有控制权的用户，并依据该用户匹配第二体态样本特征的体态特征产生对应的控制命令。

可选地，进一步包括：

g、在当前用户发出的语音命令与触发控制操作的语音样本特征匹配时，产生对应的控制命令。

一种全景视频系统，包括：

图像处理模块，用于从收摄像装置采集观看全景视频场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征；

分析模块，用于根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户；以及，根据当前具有控制权的用户的面部特征与预先训练的不同全景视频角度下的样本面部特征的匹配结果，确定当前具有控制权的用户的面部特征数据所对应的位角数据；

业务控制模块，用于根据分析模块确定的位角数据，生成对应的位角指令，以调节全景视频的视场角。

可选地，所述全景视频系统进一步包括：面部追踪模块，用于在屏幕输出包围当前具有控制权的用户的面部特征的面部追踪框，使所述分析模块根据所述面部追踪框的位置实时获取当前具有控制权的用户的面部特征。

可选地，面部特征包括：头部轮廓特征、鼻部轮廓特征、眼球特征、特定轮廓的弧度特征。

可选地，所述全景视频系统进一步包括视频模块，接收所述业务控制模块的位角指令，并通过所述位角指令调节全景视频的视场角。

可选地，所述全景视频系统进一步包括语音识别模块，用于获得用户的语音命令，并将该语音命令与语音样本特征匹配，以产生对应的控制命令。

附图说明

图1为本发明具体实施例中的全景视频控制方法的示意图；

图2为本发明具体实施例中全景视频控制方法的基本操作流程示意图；

图3为本发明具体实施例中具有控制权用户的面部特征追踪流程示意图；

图4为本发明具体实施例中具有控制权的用户的设置流程；

图5为本发明具体实施例中全景视频系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

本发明以智能电视的全景视频角度的调节为例。

现有技术中，通过人机交互的对全景视频的角度进行调节，但是，存在全景视频角度调节的准确性差、调节方式的灵敏性低且操作繁琐的问题。为了解决上述问题，本发明提供了一种全景视频控制方法，通过实时获得控制权用户的面部特征，并匹配控制权用户的面部特征与预先训练的不同全景视频角度下的样本面部特征，确定当前具有控制权的用户的位角数据，从而使全景视频的角度能够随控制权的用户的面部特征的改变而改变，这样，全景视频的角度能够跟随面部的视角而随时改变，操作简单，无需学习，且灵活性高。

在具体实施例中，结合图1和图2所示，本发明提供的一种全景视频控制方法包括；

步骤a、从摄像装置采集的全景视屏场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征。

智能电视安装有摄像头，采集在观看全景视频场景内的所有用户的图像数据，通过图像预处理技术将图像数据中的每个用户进行分割，再将分割的每个用户的图像进行处理，针对特殊区域进行分割，具体是分割得到在全景视频观看中起到作用的体态特征和面部特征。

在刚启动智能电视的全景视频后，现将全部用户的面部特征存储在用户数据库中，以用于以后确认切换具有控制权的用户时进行识别确定。

步骤b、根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户。

在刚开启智能电视的全景视频时，会将分割得到的每个用户的体态特征，或者只有一个用户做出了要求具有控制权的体态特征时，调取出存储在样本体态库中的用于抢占控制权的第一体态样本以确定有效的要求控制权的体态特征。当确定后，该用户将具有控制全景视频角度的控制权，从而将根据该用户的面部特征来调节全景视频的角度和位置。

该步骤在整个全景视频观看中是循环进行的，也就是说，每次执行流程识别出的当前具有控制权的用户可以与前一次相同，也可以不同于前一次的。

即在观看全景视频过程中，结合图3和图4，图中的具体实施例以手势特征作为体态特征。虽然只根据具有控制权的用户的面部特征进行视角的调整，但是，还是会对所有用户的体态特征进行识别分析，实时判断是否有其他的用户做出了抢占控制权的体态特征，也就是说需要判断该体态特征是否具有控制权，当识别的体态特征不是当前具有控制权的用户的，停止对当前具有控制权用户的面部特征的识别，即终止感知控制；识别分析得到其他用户中做出抢占控制权的体态特征的具有用户后，重新定义具有控制权的用户；如果该体态特征为具有控制权的用户做出的体态特征，则按照该体态特征对应的样本体态库中的样本体态特征对应的控制指令进行操作。

当然，当前具有控制权的用户也可通过做出放弃控制权的体态特征来放弃当前的全景视频视场角控制权。具体地，体态特征可以为手势特征、肩部特征等，并不局限于某一种身体的动作。如图4所示，在一种具体实施例中，采用手势特征作为一种体态特征，可定义举手手势特征为抢占控制权的手势，而双手交叉手势特征为放弃控制权的手势，当获取手势特征后，与样本手势库中的样本手势进行匹配，如果识别确定为举手手势特征则进行设置做出该手势动作的用户为当前具有控制权的用户，如果识别确定为双手交叉手势特征，则表示当前具有控制权的用户放弃控制权，进行取消当前用户为控制权的设置。

步骤c、根据当前具有控制权的用户的面部特征与预先训练的不同全景视频角度下的样本面部特征的匹配结果，确定当前具有控制权的用户的面部特征所对应的位角数据。

在观看全景视频的过程中，仅将具有控制权的用户的面部特征与存储在样本面部特征位角数据库中的样本面部特征进行匹配分析，通过分析确定此时此刻当前具有控制权的用户的面部特征与哪个样本面部特征相匹配，进而确定其对应的位角数据。

面部特征包括头部轮廓特征、鼻部轮廓特征、特殊轮廓弧度特征等具有特定位置、角度信息的特征。

为了准确的获得具有控制权的用户的观看视角意图，对具有控制权的用户的面部特征进行持续的追踪识别。

将从面部特征中提取的头部轮廓特征、鼻部特征、眼球特征和其他特殊轮廓弧度特征的信息，并将这些特征综合分析获得个方向的标定特征向量，即获得具有控制权的用户的头部的偏向角、转向角和俯仰角度等数据，进而转换为对应的位角数据。

步骤d、根据确定的位角数据，生成对应的位角调节指令，以调节全景视频的视场角。

在具体实施例中，业务控制模块40根据位角数据生成对应的位角调节指令，将该位角调节指令传递给全景视频系统中的视频模块50中，由视频模块50根据带有步进信息的命令调节全景视频的位置和角度，从而达到控制权用户的意图观看视场角。

观看全景视频的用户通过上述的全景视频控制方法来调节全景视频的视场角，无需进行特殊的学习，只需按照自身的观看意图转动头部，即可被全景视频系统识别，转化为调整全景视频的位角数据。其动作简单便捷、操作简单，灵活性高。

在上述步骤b之后，该全景视频控制方法进一步包括：

步骤e、当从所有用户识别出当前具有控制权的用户时，将面部追踪框调取于屏幕上，以输出包围当前具有控制权的用户的面部特征，实时获取当前具有控制权的用户的面部特征。

通过该面部追踪框能够仅对当前具有控制权的用户的面部特征进行追踪，屏蔽无意义的面部数据，从而实现实时追踪面部特征的准确性。

可在启动全景视频系统时即调出面部追踪框，也可在需要的时候用户自行调出面部追踪框。其调出的方式可由用户通过遥控调出，也可通过语音命令呼出面部追踪框。

在步骤b之后，该方法进一步包括：

步骤f、在当前用户的体态特征匹配用于触发控制操作的第二体态样本特征时，产生对应的控制命令。

具体地，步骤f包括：

步骤f1、从所有用户中识别出体态特征与第二样本体态特征匹配的候选用户；

步骤f2、将每个候选用户的面部特征与具有控制权的用户的面部特征进行匹配；

步骤f3、将所有候选用户中匹配度最高的一个用户确定为具有控制权的用户，并依据该用户匹配第二体态样本特征的体态特征产生对应的控制命令。

在观看全景视频的过程中，可能存在不具有控制权的用户做出的体态，在执行该体态代表的命令时，首先判断得到能够与样本体态库中的第二体态样本特征相匹配的候选用户；然后还要判断这些候选用户的体态特征中哪个为有效的体态特征，即为具有控制权的用户的体态特征；依据该有效的体态特征产生控制命令。

第二体态特征可包括多种动作姿势，用于代表关闭、开启感知系统的命令等，还可用于代表其他的操作命令。

为了辅助上述全景视频控制方法，该方法进一步还包括：

步骤g、在当前用户发出的语音命令与触发控制操作的语音样本特征匹配时，产生对应的控制命令。

通过上述步骤g可通过语音命令辅助面部追踪框的启动、用户抢占控制权和放弃控制权的操作。提高该方法的灵活性、便捷性。

除上述的全景视频控制方法外，本发明还提供一种全景视频系统，如图5所示，包括：

图像处理模块10，用于从收摄像装置采集观看全景视频场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征；

分析模块30，用于根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户；以及，根据当前具有控制权的用户的面部特征与预先训练的不同全景视频角度下的样本面部特征的匹配结果，确定当前具有控制权的用户的面部特征数据所对应的位角数据；

所有用户的面部特征存储在用户数据库中，样本面部特征存储在样本面部特征位角数据库中，而第一体态样本特征存储在体态特征数据库中。分析模块30可以根据需要从各个数据库中调取相应的特征进行匹配分析。

业务控制模块40，用于根据分析模块30确定的位角数据，生成对应的位角指令，以调节全景视频的视场角。

进一步地，全景视频系统还包括面部追踪模块20，用于在屏幕输出包围当前具有控制权的用户的面部特征的面部追踪框，使分析模块30根据面部追踪框的位置实时获取当前具有控制权的用户的面部特征。

其中，面部追踪框具体可为一个比当前具有控制权的用户的面部面积大25％的矩形区域，也可为其他的形状。其显示的初始位置即为当前具有控制权的用户的面部中心位置。该面部追踪框根据具体的用户的面部而改变尺寸，从而能够恰能够包围当前具有控制权的用户的面部。

该全景视频系统进一步包括视频模块50，该视频模块50接收业务控制模块40的位角指令，直接通过该位角指令调节全景视频的视场角。

为了提高该全景视频系统的灵活性、操作的便捷性，全景视频系统进一步包括语音识别模块，当用户发出语音命令时，根据该语音命令与语音样本特征匹配的结果产生对应的控制命令。其中，语音控制命令可为当前具有控制权的用户发出的语音命令，也可为其他所有用户发出的。

为了全景视频系统中各个模块的协调工作控制，该全景视频系统还包括主控模块，通过该主控模块可备份记录操作数据，例如用户的常用视场角的操作习惯。还可在用户退出或存储异常时，协调各个模块进行备份保存，以便下次初始化启动使用。主控模块作为操作控制及信息指令的传递中枢，协调整个系统的工作。

在本文中，“第一”、“第二”等仅用于彼此的区分，而非表示重要程度及顺序、以及互为存在的前提等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种全景视频控制方法，其特征在于，包括：

a、从摄像装置采集的观看全景视频场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征；

b、根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户；

c、根据当前具有控制权的用户的面部特征与预先训练的不同全景视频角度下的样本面部特征的匹配结果，确定当前具有控制权的用户的面部特征所对应的位角数据；

d、根据确定的位角数据，生成对应的位角调节指令，以调节全景视频的视场角。

2.根据权利要求1所述的全景视频控制方法，其特征在于，所述步骤b之后步骤c之前，该方法进一步包括：

e、当从所有用户识别出当前具有控制权的用户时，将面部追踪框调取于屏幕上，以输出包围当前具有控制权的用户的面部特征，实时获取当前具有控制权的用户的面部特征。

3.根据权利要求1所述的全景视频控制方法，其特征在于，所述步骤b之后，该方法进一步包括：

f、在当前用户的体态特征匹配用于触发控制操作的第二体态样本特征时，产生对应的控制命令。

4.根据权利要求2所述的全景视频控制方法，其特征在于，所述步骤f包括：

f1、从所有用户中识别出体态特征与第二体态样本特征匹配的候选用户；

f2、将每个候选用户的面部特征与具有控制权的用户的面部特征进行匹配；

f3、将所有候选用户中匹配度最高的一个用户确定为具有控制权的用户，并依据该用户匹配第二体态样本特征的体态特征产生对应的控制命令。

5.根据权利要求1所述的全景视频控制方法，其特征在于，进一步包括：

g、在当前用户发出的语音命令与触发控制操作的语音样本特征匹配时，产生对应的控制命令。

6.一种全景视频系统，其特征在于，包括：

图像处理模块，用于从收摄像装置采集观看全景视频场景内的所有用户的图像数据中分割出每个用户的体态特征和面部特征；

分析模块，用于根据每个用户的体态特征与预先训练的用于抢占控制权的第一体态样本特征的匹配结果，从所有用户中识别出当前具有控制权的用户；以及，根据当前具有控制权的用户的面部特征与预先训练的不同全景视频角度下的样本面部特征的匹配结果，确定当前具有控制权的用户的面部特征数据所对应的位角数据；

业务控制模块，用于根据分析模块确定的位角数据，生成对应的位角指令，以调节全景视频的视场角。

7.根据权利要求6所述的全景视频系统，其特征在于，所述全景视频系统进一步包括：面部追踪模块，用于在屏幕输出包围当前具有控制权的用户的面部特征的面部追踪框，使所述分析模块根据所述面部追踪框的位置实时获取当前具有控制权的用户的面部特征。

8.根据权利要求6或7所述的全景视频系统，其特征在于，面部特征包括：头部轮廓特征、鼻部轮廓特征、眼球特征、特定轮廓的弧度特征。

9.根据权利要求6所述的全景视频系统，其特征在于，所述全景视频系统进一步包括视频模块，接收所述业务控制模块的位角指令，并通过所述位角指令调节全景视频的视场角。

10.根据权利要求6所述的全景视频系统，其特征在于，所述全景视频系统进一步包括语音识别模块，用于获得用户的语音命令，并将该语音命令与语音样本特征匹配，以产生对应的控制命令。