CN107493452B - 视频画面处理方法、装置和终端 - Google Patents

Abstract

本发明公开了一种视频画面处理方法、装置和终端，其中，该方法包括：利用结构光，对当前视频画面中主体的姿态进行识别；根据所述当前视频画面中主体的姿态，对当前的视频画面进行调整。由此，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

Description

视频画面处理方法、装置和终端

技术领域

本发明涉及摄像技术领域，尤其涉及一种视频画面处理方法、装置和终端。

背景技术

随着网络和电子技术的快速发展以及终端的迅速普及，终端的功能日益强大。例如，越来越多的终端配置了摄像头，用户可以利用摄像头拍摄照片、录像、视频聊天等等。

通常，利用摄像头进行视频聊天时，用户可能希望根据需要对视频画面进行调整。比如，用户为了保护自己的卧室、家人等个人隐私，可能不希望视频画面中显示自己所在环境的画面；或者，用户可能想要将自己与对方合并显示在同一视频画面中，等等。

现有技术，需要用户执行点击相关按钮等操作，实现对视频画面的调整。然而，这种操作方式不灵活，若用户距离终端较远，则不方便用户操作，用户体验差。

发明内容

本发明旨在至少在一定程度上解决上述的技术问题之一。

为此，本申请提出一种视频画面处理方法，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

本申请还提出一种视频画面处理装置。

本申请还提出一种终端。

本申请还提出一种计算机可读存储介质。

本申请第一方面提出一种视频画面处理方法，包括：

利用结构光，对当前视频画面中主体的姿态进行识别；

根据所述当前视频画面中主体的姿态，对当前的视频画面进行调整。

本申请实施例提供的视频画面处理方法，首先利用结构光，对当前视频画面中主体的姿态进行识别，然后根据当前视频画面中主体的姿态，对当前的视频画面进行调整。由此，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

本申请第二方面提出一种视频画面处理装置，包括：

识别模块，用于利用结构光，对当前视频画面中主体的姿态进行识别；

调整模块，用于根据所述当前视频画面中主体的姿态，对当前的视频画面进行调整。

本申请实施例提供的视频画面处理装置，首先利用结构光，对当前视频画面中主体的姿态进行识别，然后根据当前视频画面中主体的姿态，对当前的视频画面进行调整。由此，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

本申请第三方面提出一种终端，包括存储器、处理器及图像处理电路，所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码，及所述图像处理电路输出的深度图像，以实现如第一方面所述的视频画面处理方法。

本申请实施例提供的终端，首先利用结构光，对当前视频画面中主体的姿态进行识别，然后根据当前视频画面中主体的姿态，对当前的视频画面进行调整。由此，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

本申请第四方面提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的视频画面处理方法。

本申请实施例提供的计算机可读存储介质，可以设置在任意可以进行摄像的终端中，在进行视频时，通过执行其上存储的视频画面处理方法，可以实现根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请一个实施例的视频画面处理方法的流程图；

图1A是本发明实施例提供的不同形式的结构光的示意图；

图2是本申请另一个实施例的视频画面处理方法的流程图；

图2A是本申请一个实施例的不均匀的结构光的散斑分布图；

图2B是本申请一个实施例的均匀的结构光的散斑分布图；

图3是本申请一个实施例的视频画面处理装置的结构图；

图4是本申请一个实施例的终端的结构图；

图5是本申请一个实施例的图像处理电路的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

下面参考附图描述本发明实施例的视频画面处理方法、装置和终端。

本发明各实施例针对现有技术，需要用户执行点击相关按钮等操作，实现对视频画面的调整，然而，这种操作方式不灵活，若用户距离终端较远，则不方便用户操作，用户体验差的问题，提出一种视频画面处理方法。

本发明实施例提供的视频画面处理方法，首先利用结构光，对当前视频画面中主体的姿态进行识别，然后根据当前视频画面中主体的姿态，对当前的视频画面进行调整。由此，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

下面结合图1对本申请实施例的视频画面处理方法进行说明。

图1是本申请一个实施例的视频画面处理方法的流程图。

如图1所示，该方法包括：

步骤101，利用结构光，对当前视频画面中主体的姿态进行识别。

具体的，本发明实施例提供的视频画面处理方法，可以由本发明实施例提供的视频画面处理装置执行。具体的，该视频画面处理装置，可以被配置在任意可以进行图像处理的终端中。其中，终端的类型很多，可以根据应用需要进行选择，例如：手机、电脑等。

其中，主体，可以是当前使用终端的用户，或者当前拍摄画面中与摄像头距离最近的用户，或者，用户指定的对象，等等，此处不作限制。

相应的，在本发明实施例中，可以通过将当前拍摄画面中的对象的特征，与预先存储的用户特征进行特征比对，以确定当前拍摄画面中的主体；或者根据拍摄画面中，各个对象与摄像头的距离远近，确定当前拍摄画面中的主体；或者，由用户指定当前拍摄画面中的某个对象作为主体，等等。

通常，用户进行视频聊天时，面向摄像头聊天的用户为拍摄画面中的主体，其它为背景环境。

具体的，可以利用终端中的成像设备(照相机)，对当前视频画面中主体的姿态进行识别。

其中，成像设备中，可以包括结构光投射器及图像传感器，分别用于投射结构光及采集结构光图像；或者，也可以在终端中，单独设置结构光投射器及图像传感器，此处不作限制。

作为一种示例，结构光投射器可以是将光点、线、光栅、格网或斑纹投影到被测的物体表面上的投影设备或仪器，也可以是生成激光束的激光器。如图1A所示，不同结构光的设备可以形成不同形式的结构光。

可以理解的是，结构光(Structured Light)为投射特定的光到物体表面，由于物体表面是凹凸不平的，物体表面的变化以及可能的间隙会对照射来的光进行调制，再将光发射出去。成像设备可以采集该物体表面所反射的光，采集的发射光在成像设备的图像传感器上成像，所成图像上会携带光的畸变信息。一般情况下光的畸变程度与物体上各特征点的深度呈正比。进一步地，可以根据图像中携带的畸变信息计算出物体上各个特征点深度信息等，进而结合图像传感器采集的颜色信息，能够完成对物体的三维空间的复原。

本发明实施例中，终端上可以安装有应用程序，通过应用程序可以调用结构光投射器，然后由结构光投射器向主体发出结构光。当结构光照射到主体表面后，由于主体表面并不是平整的，所以主体在对结构光进行反射时，会造成结构光的畸变。进一步地由图像传感器采集反射的光，进而在成像设备中形成图像。由于所形成的图像中包括主体上各特征点的深度信息，进而可以根据深度信息对主体的3D模型进行重建，从而可以根据主体当前的3D模型，确定主体的姿态。

步骤102，根据当前视频画面中主体的姿态，对当前的视频画面进行调整。

具体的，可以预先设置多种视频画面的调整方式，并设置视频画面中主体的姿态与视频画面调整方式的对应关系，从而在确定当前视频画面中主体的姿态后，可以根据预设的对应关系，对当前的视频画面进行调整。

其中，对当前的视频画面进行的调整，可以是在确定需要对当前视频画面进行保护时，调整所述当前视频画面的采集范围和/或显示方式；或者，将当前显示的视频画面中的人脸进行互换；或者，将当前显示的各视频画面中的用户合成显示在一个画面中等等多种调整方式。

视频画面中主体的姿态与视频画面调整方式的对应关系，可以是视频画面处理装置预先设置的默认关系，也可以是用户根据需要设置的对应关系，此处不作限制。

举例来说，假设预先设置主体为用户，用户的姿态为抱胸时，对应的视频画面调整方式为：使当前视频画面仅显示主体；用户的姿态为托下巴时，对应的视频画面调整方式为：将当前显示的视频画面中的人脸进行互换；用户的姿态为歪头时，对应的视频画面调整方式为：将当前显示各视频画面中的用户合并显示在一个画面中。则若利用结构光，确定当前视频画面中主体的姿态为歪头，则可以将当前显示各视频画面中的用户合并显示在一个画面中。

本发明实施例提供的视频画面处理方法，首先利用结构光，对当前视频画面中主体的姿态进行识别，然后根据当前视频画面中主体的姿态，对当前的视频画面进行调整。由此，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

下面结合图2，对本发明实施例提供的视频画面处理方法进行进一步说明。

图2是本发明另一个实施例的视频画面处理方法的流程图。

如图2所示，该视频画面处理方法，包括：

步骤201，向主体投射不均匀的结构光。

具体的，终端上可以安装有应用程序，通过应用程序可以调用结构光投射器，然后由结构光投射器向用户发出不均匀的结构光。

其中，不均匀的结构光，可以通过多种方法形成。

比如，可以通过红外激光光源照射毛玻璃，从而在主体所在的区域产生干涉形成不均匀的结构光。

或者，可以通过衍射光学元件进行投射的方式，形成不均匀的结构光。具体的，可以由单个激光光源准直后通过单个或多个衍射光学元件，在主体所在的区域形成不均匀的结构光。

或者，还可以直接由不规则分布的激光阵列通过衍射光学元件，在主体所在的区域中形成与激光阵列一致的不规则分布的散斑，即不均匀的结构光。通过这种方式，还可以控制散斑的细节分布，此处不作限定。

步骤202，采集结构光在主体身上形成的反射光，其中，反射光中包括主体的深度信息。

步骤203，基于深度信息，生成主体当前的3D模型。

步骤204，根据主体当前的3D模型，确定主体的姿态。

具体的，不均匀的结构光照射到主体表面之后，主体表面会对结构光进行反射，可以利用终端上的成像设备，采集由于主体表面反射的反射光。由于主体表面并不是平整的，所以主体在对结构光进行反射时，会造成结构光的畸变，该畸变就会形成对主体进行3D重构的深度信息。进一步地，成像设备所采集的发射光在图像传感器上形成图像，该图像中包括主体的深度信息，基于主体的深度信息，即可生成主体当前的3D模型，从而可以根据主体当前的3D模型，确定主体的姿态。

进一步地，成像设备所采集的发射光在图像传感器上形成图像，该图像中还可以包括色彩信息和主体上各个特征点的位置信息。

具体的，在获取到特征点的深度信息以及色彩信息后，就可以基于该深度信息构建出特征点的形状，然后将色彩信息填充到各个像素点上，进而完成特征点的3D重构。在对特征点重构完成后，就可以根据特征点的位置信息，将重构后的特征点放置到对应的位置上，将所有重构后的特征点都放置到对应的位置上之后，就可以组合构建出主体当前的3D模型，从而可以根据主体当前的3D模型，确定主体的姿态。

需要说明的是，分别以不均匀的结构光和均匀的结构光投射物体表面时，不均匀的结构光的散斑分布如图2A所示，均匀的结构光的散斑分布如图2B所示。从图2A和2B可知，相同大小的区域内，图2A中包含11个斑点，图2B中包含16个斑点，即不均匀的结构光所包含的斑点比均匀的结构光包含的斑点更少。因此，利用不均匀的结构光，对当前拍摄画面中主体的姿态进行识别，消耗的能量更少，节能效果更好，改善了用户体验。

步骤205，根据当前视频画面中主体的姿态，确定需要对当前视频画面进行保护时，调整当前视频画面的采集范围和/或显示方式。

具体的，根据当前视频画面中主体的姿态，确定需要对当前视频画面进行保护时，即可根据主体的深度信息，确定一个画面采集的目标深度区间，并根据该目标深度区间，调整当前视频画面的采集范围，从而仅对该目标深度区间内的光信号进行成像，以使当前视频画面中仅显示主体画面。

具体实现时，可以通过多种方法确定画面采集的目标深度区间。

比如，可以根据当前视频画面中主体的深度信息，确定主体对应的各个像素点的最大深度值和最小深度值，从而将最小深度值与最大深度值之间的深度区间，确定为目标深度区间。举例来说，假设根据主体的深度信息，确定主体对应的各个像素点的最大深度值为0.6米(m)，最小深度值为0.3m，则目标深度区间为0.3-0.6m。

或者，可以根据主体的深度信息，确定主体对应的各个像素点的平均深度值，并将与平均深度值的差值小于预设阈值的像素点的深度值区间，确定为目标深度区间。举例来说，假设根据主体的深度信息，确定主体对应的各个像素点的平均深度值为0.5m，预设阈值为0.1m，由于与0.5m的差值小于0.1m的像素点的深度值区间为0.4-0.6m，则目标深度区间为0.4-0.6m。

或者，可以根据经验值，预先设置一个深度范围，并根据主体的深度信息，确定主体对应的各个像素点的最大深度值或最小深度值，从而根据最大深度值或最小深度值，以及预设的深度范围，确定目标深度区间。比如，假设主体对应的各个像素点的最大深度值为0.7m，预设的深度范围为0.3m，则可以确定目标深度区间对应的最小深度值为0.7-0.3＝0.4m，即目标深度区间为0.4m-0.7m。

需要说明的是，上述确定目标深度区间的实例，仅是示意性说明，不能作为对本申请技术方案的限制，本领域技术人员在此基础上，可以根据需要任意设置确定目标深度区间的方法，此处对此不作限定。

可以理解的是，外部光线通过摄像头的镜头聚焦，投影到感光器上，使感光器感光后，感光器可以将光信号转换成模拟图像信号，再由图像处理器将模拟图像进行压缩和数字化处理，输出压缩图像信号，在将压缩图像信号存储在存储器中后，即可完成成像。

在本发明实施例中，确定了画面采集的目标深度区间后，可以对目标深度区间内的光信号进行成像处理，以实现对当前视频画面的采集范围的调整。

具体的，可以仅将目标深度区间内的光信号转换成模拟图像信号，进而通过压缩、数字化等处理，使当前视频画面中仅包括主体画面。

需要说明的是，在视频画面中，可能存在与主体的深度相同的其它对象，即视频画面中，目标深度区间内可能不仅包括主体，还包括其它人或物。在本发明实施例中，可以仅对主体所在区域的目标深度区间内的光信号进行成像；或者，将视频画面中、与主体处于同一目标深度区间内的其它对象对应的画面，及除目标深度区间外的其它深度对应的画面，都进行虚化处理，或以预设的单一颜色或预设的图片替换，从而避免与主体处于同一深度区间的其它人或物被泄露。

另外，也可以不考虑主体的深度信息，仅根据主体画面在当前视频画面中的位置，调整当前视频画面的采集范围，以使当前拍摄画面仅显示主体画面。

比如，可以仅对主体所在区域的光信号进行成像处理，从而使当前视频画面中仅显示主体所在区域对应的画面。

或者，在确定需要对当前视频画面进行保护时，还可以调整当前视频画面的显示方式，以避免泄露用户的个人隐私。比如，可以根据主体的深度信息，确定当前视频画面中的背景，从而对当前视频画面的背景图像进行虚化处理。

即，步骤205中，调整当前视频画面的显示方式，可以包括：

对当前视频画面的背景图像进行虚化处理。

具体的，可以通过调整分辨率、透明度、调整摄像头的景深等多种方法，进行虚化处理，此处不作限制。

或者，可以将视频画面中的背景图像以预设的单一颜色进行替换，或者以预设的图片替换，从而将除主体外其它画面的内容进行更改，以避免背景环境中的个人隐私被泄露。

即，步骤205中，调整当前视频画面的显示方式，可以包括：

利用预设的背景图像，替换当前视频画面中的背景图像。

进一步的，也可以同时对当前视频画面的采集范围及显示方式进行调整，从而使当前视频画面中仅包括主体画面，以避免用户的个人隐私被泄露。

在本发明一种可能的实现形式中，还可以根据主体的姿态，将当前显示的视频画面中的人脸进行互换。

具体的，可以通过人脸识别技术，分别获取用户自己视频画面与对方视频画面中的人脸图像，并根据人脸的深度信息，将获取的对方的人脸图像，替换到自己的人脸所在的位置，从而使当前显示的视频画面中的用户图像为人脸互换后的图像。

在本发明另一种可能的实现形式中，还可以根据主体的姿态，将当前显示的各视频画面中的用户合成显示在一个画面中。

具体的，可以利用结构光，分别生成各视频画面中的用户的3D模型，并根据深度信息，将各用户的3D模型共同置于同一场景中，以使各用户合成显示在一个画面中。

另外，当前视频画面中显示多个用户时，还可以根据主体的姿态，仅显示主体指定的用户。

具体的，可以根据主体的姿态，利用结构光，确定要显示的用户的深度信息，并确定要采集的画面的深度范围区间，从而调整当前视频画面的采集范围和/或显示方式，以使当前视频画面中，仅显示主体指定的用户画面。

需要说明的是，在实际运用中，可以根据主体的姿态，仅对用户自己所在的终端中的视频画面进行调整，也可以在对方同意时，对对方所在的终端中的视频画面进行调整，此处不作限制。

本发明实施例提供的视频画面处理方法，首先向主体投射不均匀的结构光，然后采集结构光在主体身上形成的反射光，并基于深度信息，生成主体当前的3D模型，再根据主体当前的3D模型，确定主体的姿态，从而在根据当前视频画面中主体的姿态，确定需要对当前视频画面进行保护时，调整当前视频画面的采集范围和/或显示方式。由此，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，且通过在确定需要对当前视频画面进行保护时，调整当前视频画面的采集范围和/或显示方式，避免了用户的隐私被泄露，改善了用户体验。

图3是本申请一个实施例的视频画面处理装置的结构图。

如图3所示，该视频画面处理装置，包括：

识别模块31，用于利用结构光，对当前视频画面中主体的姿态进行识别；

调整模块32，用于根据当前视频画面中主体的姿态，对当前的视频画面进行调整。

其中，本实施例提供的视频画面处理装置，可以执行本发明实施例提供的视频画面处理方法。具体的，该视频画面处理装置，可以被配置在任意可以进行图像处理的终端中。其中，终端的类型很多，可以根据应用需要进行选择，例如：手机、电脑、相机等。

在本实施例一种可能的实现形式中，上述调整模块32，具体用于：

在确定需要对当前视频画面进行保护时，调整当前视频画面的采集范围和/或显示方式；

或者，将当前显示的视频画面中的人脸进行互换；

或者，将当前显示的各视频画面中的用户合成显示在一个画面中。

在本实施例另一种可能的实现形式中，上述调整模块32，还用于：

利用预设的背景图像，替换当前视频画面中的背景图像；

或者，对当前视频画面的背景图像进行虚化处理。

在本实施例另一种可能的实现形式中，上述识别模块31，具体用于：

向主体投射不均匀的结构光；

采集结构光在主体身上形成的反射光，其中，反射光中包括主体的深度信息；

基于深度信息，生成主体当前的3D模型；

根据主体当前的3D模型，确定主体的姿态。

需要说明的是，前述实施例中对视频画面处理方法实施例的解释说明也适用于该实施例的视频画面处理装置，此处不再赘述。

本申请实施例提供的视频画面处理装置，首先利用结构光，对当前视频画面中主体的姿态进行识别，然后根据当前视频画面中主体的姿态，对当前的视频画面进行调整。由此，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

本发明再一方面实施例还提出一种终端。

其中，终端的类型很多，可以根据应用需要进行选择，例如：手机、电脑、相机等。图4以终端为手机进行示意。

如图4所示，该终端包括：处理器41、存储器42、及图像处理电路43。

其中，所述存储器42用于存储可执行程序代码；所述处理器41通过读取所述存储器42中存储的可执行程序代码，及所述图像处理电路43输出的深度图像，来实现如前述实施例中的视频画面处理方法。

上述终端中包括图像处理电路43，图像处理电路43可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。

图5为一个实施例中图像处理电路的示意图。如图5所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图5所示，图像处理电路43包括成像设备510、ISP处理器530和控制逻辑器540。成像设备510可包括具有一个或多个透镜512、图像传感器514的照相机和结构光投射器516。结构光投射器516将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器514捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器530，由ISP处理器530对结构光图像进行解调获取被测物的深度信息。同时，图像传感器514也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器514分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器530对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在ISP处理器530接收到图像传感器514捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器530对图像数据进行分析以获取可用于确定和/或成像设备510的一个或多个控制参数的图像统计信息。图像传感器514可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器514可获取用图像传感器514的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器530处理的一组原始图像数据。

ISP处理器530按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器530可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器530还可从图像存储器520接收像素数据。图像存储器520可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器530可进行一个或多个图像处理操作。

在ISP处理器530获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器520，以便在被显示之前进行另外的处理。ISP处理器530从图像存储器520接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器560，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器530的输出还可发送给图像存储器520，且显示器560可从图像存储器520读取图像数据。在一个实施例中，图像存储器520可被配置为实现一个或多个帧缓冲器。此外，ISP处理器530的输出可发送给编码器/解码器550，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器560设备上之前解压缩。编码器/解码器550可由CPU或GPU或协处理器实现。

ISP处理器530确定的图像统计信息可发送给控制逻辑器540单元。控制逻辑器540可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备510的控制参数。

以下为运用图5中图像处理技术实现视频画面处理方法的步骤：

识别模块，用于利用结构光，对当前视频画面中主体的姿态进行识别；

调整模块，用于根据所述当前视频画面中主体的姿态，对当前的视频画面进行调整。

本申请实施例提供的终端，首首先利用结构光，对当前视频画面中主体的姿态进行识别，然后根据当前视频画面中主体的姿态，对当前的视频画面进行调整。由此，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

本申请实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，当该程序被处理器执行时实现如前述实施例中的视频画面处理方法。

本申请实施例提供的计算机可读存储介质，可以设置在任意可以进行摄像的终端中，在进行视频时，通过执行其上存储的视频画面处理方法，可以实现根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

本申请实施例还提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如前述实施例中的视频画面处理方法。

本申请实施例提供的计算机程序产品，可以设置在任意可以进行摄像的终端中，在进行视频时，通过执行对应视频画面处理方法的程序，可以实现首先利用结构光，对当前视频画面中主体的姿态进行识别，然后根据当前视频画面中主体的姿态，对当前的视频画面进行调整。由此，实现了根据主体的姿态对当前视频画面进行调整，操作方式灵活、方便，改善了用户体验。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种视频画面处理方法，其特征在于，包括：

利用结构光，对当前视频画面中主体的姿态进行识别；

基于预先设置的视频画面中主体的姿态与视频画面调整方式的对应关系，根据所述当前视频画面中主体的姿态，对当前的视频画面进行调整；

其中，所述对当前的视频画面进行调整，包括：

在确定需要对当前视频画面进行保护时，根据所述主体的深度信息，确定目标深度区间，并根据所述目标深度区间调整所述当前视频画面的采集范围，并仅将所述主体所在区域的光信号转换成模拟图像信号、及将所述模拟图像信号进行压缩和数字化处理，以使所述当前视频画面中仅显示所述主体所在区域对应的画面。

2.如权利要求1所述的方法，其特征在于，所述对当前的视频画面进行调整，还包括：

在确定需要对当前视频画面进行保护时，调整所述当前视频画面的采集范围和/或显示方式；

或者，将当前显示的视频画面中的人脸进行互换；

或者，将当前显示的各视频画面中的用户合成显示在一个画面中。

3.如权利要求2所述的方法，其特征在于，所述调整所述当前视频画面的显示方式，包括：

利用预设的背景图像，替换所述当前视频画面中的背景图像；

或者，对所述当前视频画面的背景图像进行虚化处理。

4.如权利要求1所述的方法，其特征在于，所述利用结构光，对当前视频画面中主体的姿态进行识别，包括：

向所述主体投射不均匀的结构光；

采集所述结构光在所述主体身上形成的反射光，其中，所述反射光中包括所述主体的深度信息；

基于所述深度信息，生成所述主体当前的3D模型；

根据所述主体当前的3D模型，确定所述主体的姿态。

5.一种视频画面处理装置，其特征在于，包括：

识别模块，用于利用结构光，对当前视频画面中主体的姿态进行识别；

调整模块，用于基于预先设置的视频画面中主体的姿态与视频画面调整方式的对应关系，根据所述当前视频画面中主体的姿态，对当前的视频画面进行调整；

其中，所述调整模块，具体用于：

在确定需要对当前视频画面进行保护时，根据所述主体的深度信息，确定目标深度区间，并根据所述目标深度区间调整所述当前视频画面的采集范围，并仅将所述主体所在区域的光信号转换成模拟图像信号、及将所述模拟图像信号进行压缩和数字化处理，以使所述当前视频画面中仅显示所述主体所在区域对应的画面。

6.如权利要求5所述的装置，其特征在于，所述调整模块，具体还用于：

在确定需要对当前视频画面进行保护时，调整所述当前视频画面的采集范围和/或显示方式；

或者，将当前显示的视频画面中的人脸进行互换；

或者，将当前显示的各视频画面中的用户合成显示在一个画面中。

7.如权利要求6所述的装置，其特征在于，所述调整模块，还用于：

利用预设的背景图像，替换所述当前视频画面中的背景图像；

或者，对所述当前视频画面的背景图像进行虚化处理。

8.如权利要求5所述的装置，其特征在于，所述识别模块，具体用于：

向所述主体投射不均匀的结构光；

采集所述结构光在所述主体身上形成的反射光，其中，所述反射光中包括所述主体的深度信息；

基于所述深度信息，生成所述主体当前的3D模型；

根据所述主体当前的3D模型，确定所述主体的姿态。

9.一种终端，其特征在于，包括存储器、处理器及图像处理电路，所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码，及所述图像处理电路输出的深度图像，以实现如权利要求1-4中任一项所述的视频画面处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的视频画面处理方法。

Images