CN108933954A - 视频图像处理方法、机顶盒以及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种视频图像处理方法、机顶盒以及计算机可读存储介质，该方法包括步骤：当机顶盒侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。本发明将增强现实融合在视频播放过程中，机顶盒获取广电总局下发的视频流对应的三维模型图，与本地摄像头获取视频图像相结合，丰富了机顶盒视频流状态，增强了机顶盒视频播放效果。同时，本发明通过采集机顶盒所在环境的光线参数，对三维模型图进行渲染，增强了虚拟人和物的现实感，提高了视频的播放质量。

Description

视频图像处理方法、机顶盒以及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频图像处理方法、机顶盒以及计算机可读存储介质。

背景技术

随着AR(Augmented Reality，增强现实)市场的不断升温，增强现实技术逐渐走进大众视野。增强现实技术被用于游戏，文字识别等多项领域，强烈冲击传统的媒体。增强现实技术一般用于移动终端，但是由于移动终端屏幕小，以及续航短的原因制约了增强现实技术的发展范围。

目前，机顶盒是大多数家庭的媒体中心，它承载着大众与广电总局的交互，并为用户提供了大量的高清高质量的视频节目。将机顶盒与增强现实技术相结合，可用于电视教学，电视购物等领域，能够极大地丰富用户的多媒体体验，并能为带来新的观看视频的方式，为广电运营商提供丰富的市场回报。目前通过增强现实技术，在现实的视频中增加一个三维的立体虚拟图像。该虚拟图像一般只有一到几帧的画面，表现形式单调且互动感不强。通过广电现有的同轴电缆网络，可实时传输大数据量的三维立体图像，可与用户进行实时的互动，增加虚拟现实的娱乐性并能拓展使用领域。在该环境下，增强现实传输流中只能获取到虚拟人物或物体的三维模型。这些三维模型与现实的交互中，由于光影不能与真实的物体相一致，造成了增强现实的虚假感。

发明内容

本发明的主要目的在于提供一种视频图像处理方法、机顶盒以及计算机可读存储介质，旨在解决在增强现实技术中，由于三维模型中的光影与真实物体不一致，导致增强现实虚假感的技术问题。

为实现上述目的，本发明提供一种视频图像处理方法，所述视频图像处理方法包括步骤：

当机顶盒侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；

根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；

将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。

优选地，所述根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图的步骤包括：

获取所述三维模型图中的待处理像素点，根据所述待处理像素点，以及预设个数的基准像素点计算出所述待处理像素点的空间方向，其中，所述基准像素点为所述三维模型图中与所述待处理像素点相邻的像素点；

确定与所述空间方向对应的目标光线参数，以及与所述待处理像素点对应的待替换亮度参数；

根据所述目标光线参数和所述待替换亮度参数得到渲染后的所述三维模型图。

优选地，所述获取所述三维模型图中的待处理像素点，根据所述待处理像素点，以及预设个数的基准像素点计算出所述待处理像素点的空间方向的步骤包括：

获取所述三维模型图中的待处理像素点和基准像素点，以形成一个像素阵；

计算出所述像素阵的法向量，并计算出所述法向量相对于所述基准像素点所在方向的角度；

在所述角度中选取最小角度对应的方向向量作为所述待处理像素点的空间方向。

优选地，所述根据所述目标光线参数和所述待替换亮度参数得到渲染后的所述三维模型图的步骤包括：

将所述目标光线参数替换所述待替换亮度参数，得到处理后的像素点；

根据处理后的所述像素点得到渲染后的所述三维模型图。

优选地，所述当机顶盒侦测到视频播放指令时，根据所述视频播放指令获取三维模型图的步骤包括：

当所述机顶盒侦测到视频播放指令时，根据所述视频播放指令获取视频流；

解析所述视频流，得到与所述视频流对应的三维模型图、皮肤和音频数据，其中，所述皮肤为所述三维模型图中像素点的集合；

所述将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之后，还包括：

将待播放视频图像与所述音频数据聚合，得到待播放视频；

将所述待播放视频发送给与所述机顶盒连接的电视机，以供所述电视机播放所述待播放视频。

优选地，所述将聚合后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之前，还包括：

通过图像识别技术识别出所述视频图像中标识物所在位置。

优选地，所述将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之后，还包括：

当侦测到旋转所述三维模型图旋转指令时，根据所述旋转指令重新获取所述光线参数，以重新渲染旋转后的所述三维模型图。

优选地，所述机顶盒外表面设置有光电传感器，所述光电传感器与所述机顶盒主板连接。

此外，为实现上述目的，本发明还提供一种机顶盒，所述机顶盒包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的视频图像处理程序，所述视频图像处理程序被所述处理器执行时实现如下步骤：

当侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；

根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；

将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频图像处理程序，所述视频图像处理程序被处理器执行时实现如下步骤：

当侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；

根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；

将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。

本发明通过当机顶盒侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。相对于传统的机顶盒直播视频，本发明将增强现实融合在视频播放过程中，机顶盒获取广电总局下发的视频流对应的三维模型图，与本地摄像头获取视频图像相结合，丰富了机顶盒视频流状态，增强了机顶盒视频播放效果。同时，本发明通过采集机顶盒所在环境的光线参数，对三维模型图进行渲染，增强了虚拟人和物的现实感，提高了视频的播放质量。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明视频图像处理方法第一实施例的流程示意图；

图3为本发明实施例中机顶盒中传感器的一种布局示意图；

图4为本发明实施例中根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图的一种示意图；

图5为本发明实施例中传感器排列的一种示意图；

图6为本发明实施例中采用机顶盒进行视频教学的一种示意图；

图7为本发明视频图像处理方法第三实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的解决方案主要是：当机顶盒侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。以解决在增强现实技术中，由于三维模型中的光影与真实物体不一致，导致增强现实虚假感的问题。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例中的机顶盒是一个连接电视机与外部信号源的设备，机顶盒可以将压缩的数字信号转成电视内容，并在电视机上显示出来。

如图1所示，该机顶盒可以包括：处理器1001，例如CPU，网络接口1004，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，机顶盒还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。

本领域技术人员可以理解，图1中示出的机顶盒结构并不构成对机顶盒的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统以及视频图像处理程序。其中，操作系统是管理和控制机顶盒硬件和软件资源的程序，支持视频图像处理程序以及其它软件和/或程序的运行。

在图1所示的机顶盒中，网络接口1004主要用于连接电视机，与电视机进行数据通信；而处理器1001可以用于调用存储器1005中存储的视频图像处理程序，并执行以下步骤：

当侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；

根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；

将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。

进一步地，所述根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图的步骤包括：

获取所述三维模型图中的待处理像素点，根据所述待处理像素点，以及预设个数的基准像素点计算出所述待处理像素点的空间方向，其中，所述基准像素点为所述三维模型图中与所述待处理像素点相邻的像素点；

确定与所述空间方向对应的目标光线参数，以及与所述待处理像素点对应的待替换亮度参数；

根据所述目标光线参数和所述待替换亮度参数得到渲染后的所述三维模型图。

进一步地，所述获取所述三维模型图中的待处理像素点，根据所述待处理像素点，以及预设个数的基准像素点计算出所述待处理像素点的空间方向的步骤包括：

获取所述三维模型图中的待处理像素点和基准像素点，以形成一个像素阵；

计算出所述像素阵的法向量，并计算出所述法向量相对于所述基准像素点所在方向的角度；

在所述角度中选取最小角度对应的方向向量作为所述待处理像素点的空间方向。

进一步地，所述根据所述目标光线参数和所述待替换亮度参数得到渲染后的所述三维模型图的步骤包括：

将所述目标光线参数替换所述待替换亮度参数，得到处理后的像素点；

根据处理后的所述像素点得到渲染后的所述三维模型图。

进一步地，所述当侦测到视频播放指令时，根据所述视频播放指令获取三维模型图的步骤包括：

当侦测到视频播放指令时，根据所述视频播放指令获取视频流；

解析所述视频流，得到与所述视频流对应的三维模型图、皮肤和音频数据，其中，所述皮肤为所述三维模型图中像素点的集合；

所述将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之后，处理器1001还可以用于调用存储器1005中存储的视频图像处理程序，执行以下步骤：

将待播放视频图像与所述音频数据聚合，得到待播放视频；

将所述待播放视频发送给与机顶盒连接的电视机，以供所述电视机播放所述待播放视频。

进一步地，所述将聚合后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之前，处理器1001还可以用于调用存储器1005中存储的视频图像处理程序，执行以下步骤：

通过图像识别技术识别出所述视频图像中标识物所在位置。

进一步地，所述将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之后，处理器1001还可以用于调用存储器1005中存储的视频图像处理程序，执行以下步骤：

当侦测到旋转所述三维模型图旋转指令时，根据所述旋转指令重新获取所述光线参数，以重新渲染旋转后的所述三维模型图。

进一步地，所述机顶盒外表面设置有光电传感器，所述光电传感器与所述机顶盒主板连接。

基于上述的硬件结构，提出视频图像处理方法的各个实施例。

参照图2，图2为本发明视频图像处理方法第一实施例的流程示意图。

在本实施例中，提供了视频图像处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

所述视频图像处理方法包括：

步骤S10，当机顶盒侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数。

当机顶盒侦测到视频播放指令时，根据视频播放指令发送获取请求给广电总局对应的服务器。当广电总局的服务器接收到获取请求时，发送与该获取请求对应的含有三维模型图的视频流给机顶盒。机顶盒获取到视频流时，解析该视频流，得到视频流中的三维模型图。当机顶盒侦测到视频播放指令时，机顶盒获取其所在环境的光线参数，以及通过摄像头获取其所在环境的视频图像。如当机顶盒放置于客厅时，机顶盒则获取客厅中的视频图像。

需要说明的是，在本发明实施例中，可在机顶盒外表面设置光电传感器，且光电传感器与机顶盒的主板连接，以通过光电传感器采集机顶盒周围的光线参数。具体地，因为机顶盒底部与地面或桌面接触，并不需要检测光线参数，因此，机顶盒中与地面或者桌面接触的底部并不需要设置光电传感器，只需要在机顶盒除底部外的其它外表面设置一个或者多个光电传感器即可。此时，为了提高增强现实的真实感，应保证机顶盒与增强现实展示处的光线保持一致。具体地，可参照图3，由图3可知，在机顶盒除底部外的其它外表面中都设置有光电传感器。

在本发明实施例中，也可将光电传感器与机顶盒分离，通过光电传感器形成一个光线采集设备，在该光线采集设备中，设置有多个光电传感器，以通过光电传感器可采集不同方向的光线参数。如可在光线采集设备中设置14个光电传感器，或者设置18个光电传感器等，在本发实施例中，以14个光电传感器为例进行说明。当光线采集设备在采集到光线参数，即光电传感器采集到其所在位置的亮度值时，会实时将所采集的光线参数发送给机顶盒。具体地，光线采集设备可通过Wi-Fi(WIreless-Fidelity，无线保真)网络将所采集的光线参数实时发送给机顶盒。进一步地，光电传感器在采集到光线参数后，将光线参数发送给机顶盒过程中，会将自己的位置参数也发送给机顶盒，以供机顶盒根据位置参数确定光线参数对应的光电传感器。

机顶盒或光电采集设备中的每一光电传感器可采集不同方向的光线参数。当机顶盒或光电采集设备中的光电传感器的个数越多时，所得的图像的增强现实的真实感越好。可以理解的是，采集光线的传感器除了本实施例中所提及的光电传感器外，也可为其它可以采集光线的传感器，如光传感器。摄像头可为机顶盒自带的摄像头，也可为与机顶盒连接的外置摄像头。

步骤S20，根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图。

当机顶盒获取到光线参数和三维模型图时，机顶盒通过光线参数渲染三维模型图，以得到渲染后的三维模型图。

进一步地，参照图4，步骤S20包括：

步骤S21，获取所述三维模型图中的待处理像素点，根据所述待处理像素点，以及预设个数的基准像素点计算出所述待处理像素点的空间方向，其中，所述基准像素点为所述三维模型图中与所述待处理像素点相邻的像素点。

步骤S22，确定与所述空间方向对应的目标光线参数，以及与所述待处理像素点对应的待替换亮度参数。

步骤S23，根据所述目标光线参数和所述待替换亮度参数得到渲染后的所述三维模型图。

机顶盒根据光线参数渲染三维模型图的具体过程为：机顶盒获取三维模型图中的待处理像素点，并获取预设个数的基准像素点。其中，待处理像素点为三维模型图外表面的像素点，基准像素点为三维模型图中与待处理像素点相邻的像素点。在本发明实施例中，预设个数可根据具体需要而设置，只要保证待处理像素点和基准像素点可以构成一个曲面即可，如可以将预设个数设置为8个，或者9个等。

当获取到待处理像素点和基准像素点后，机顶盒根据待处理像素点和预设个数的基准像素点计算出待处理像素点的空间方向，通过所确定的空间方向确定待处理像素点对应的目标光线参数。具体地，当确定待处理像素点的空间方向时，确定与该空间方向对应的光电传感器，该光电传感器所采集到的光线参数即为目标光线参数。机顶盒确定待处理像素点的亮度值，记为待替换亮度参数。

当机顶盒确定目标光线参数和待替换亮度参数后，机顶盒根据目标光线参数和待替换亮度参数得到渲染后的三维模型图。

进一步地，步骤S21包括：

步骤a，获取所述三维模型图中的待处理像素点和基准像素点，以形成一个像素阵。

步骤b，计算出所述像素阵的法向量，并计算出所述法向量相对于所述基准像素点所在方向的角度。

步骤c，在所述角度中选取最小角度对应的方向向量作为所述待处理像素点的空间方向。

机顶盒计算待处理像素点的空间方向的具体过程为：机顶盒获取三维模型图外表面的待处理像素点和基准像素点，将所获取的待处理像素点和基准像素点组合成一个像素阵，该像素阵为一个面。如当基准像素点有8个时，基准像素点和待处理像素点可形成一个3*3的像素阵。在该像素阵中，待处理像素点和每一基准像素点都有一个三维坐标。在本实施例中，可以以待处理像素点为原点坐标，确定基准像素点的坐标。也可以设置三维模型图中某一个像素点为坐标原点，以确定基准像素点和待处理像素点的坐标。通过基准像素点和待处理像素点的坐标计算出该像素阵的方程式F(x,y,z)＝0，求出像素阵的法向量通过该法向量计算出法向量相对于基准像素点所在方向的角度，在角度中选取最小角度对应的方向向量作为待处理像素点的空间方向。如当待处理像素点的坐标用A表示，基准像素点的坐标分别用B、C、D、E、F、G、H和I表示时，计算法向量n与AB方向向量之间的角度(AB表示方向从A到B)、法向量n与AC方向向量之间的角度、法向量n与AD方向向量之间的角度、法向量n与AE方向向量之间的角度、法向量n与AF方向向量之间的角度、法向量n与AG方向向量之间的角度、法向量n与AH方向向量之间的角度、以及法向量n与AI方向向量之间的角度，在所计算的角度中选取角度最小对应的方向向量作为待处理像素点的空间方向。

进一步地，步骤S23包括：

步骤d，将所述目标光线参数替换所述待替换亮度参数，得到处理后的像素点。

步骤e，根据处理后的所述像素点得到渲染后的所述三维模型图。

机顶盒根据目标光线参数和待替换亮度参数得到渲染后的三维模型图的具体过程为：机顶盒将目标光线参数替换三维模型图中像素点的待替换亮度参数，得到处理后的像素点。当三维模型图显示过程中所涉及像素点的待替换亮度参数被对应的目标光线参数替换后，即可得到渲染后的三维模型图。三维模型图显示过程中所涉及的像素点为用户在观看过程中所能观看到的像素点。进一步地，也可以将三维模型图外表面所有像素点的亮度参数替换为对应的目标光线参数。

步骤S30，将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。

机顶盒确定所获取的视频图像中标识物所在位置。当机顶盒得到渲染后的三维模型图后，将渲染后的三维模型图加载至视频图像中标识物所在位置，得到待播放视频图像。具体地，可确定渲染后的三维模型图与地面接触的底面中心点，以及确定标识物所在位置的中心点，将渲染后的三维模型图与地面接触的底面中心点与标识物所在位置的中心点重合，得到待播放视频图像。

本实施例通过当机顶盒侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。相对于传统的机顶盒直播视频，本发明将增强现实融合在视频播放过程中，机顶盒获取广电总局下发的视频流对应的三维模型图，与本地摄像头获取视频图像相结合，丰富了机顶盒视频流状态，增强了机顶盒视频播放效果。同时，本发明通过采集机顶盒所在环境的光线参数，对三维模型图进行渲染，增强了虚拟人和物的现实感，提高了视频的播放质量。

进一步地，提出本发明视频图像处理方法第二实施例。

所述视频图像处理方法第二实施例与所述视频图像处理方法第一实施例的区别在于，视频图像处理方法还包括：

步骤f，当所述机顶盒侦测到视频播放指令时，根据所述视频播放指令获取视频流。

步骤g，解析所述视频流，得到与所述视频流对应的三维模型图、皮肤和音频数据，其中，所述皮肤为所述三维模型图中像素点的集合。

当机顶盒侦测到视频播放指令时，机顶盒根据视频播放指令获取视频流。当机顶盒需要从广电总局的服务器中获取视频流时，机顶盒根据视频播放指令发送获取请求给广电总局对应的服务器，以供广电总局的服务器根据获取请求，通过同轴电缆网络发送与获取请求对应的视频流给机顶盒。当机顶盒得到视频流后，解析视频流，得到与视频流中的三维模型图、皮肤和音频数据，其中，皮肤为三维模型图中像素点的集合。

步骤h，将待播放视频图像与所述音频数据聚合，得到待播放视频。

步骤i，将所述待播放视频发送给与所述机顶盒连接的电视机，以供所述电视机播放所述待播放视频。

当机顶盒得到待播放视频图像时，机顶盒将待播放视频与音频数据聚合，即机顶盒将待播放视频与音频数据结合，得到待播放视频。当机顶盒得到待播放视频时，机顶盒将待播放视频通过HDMI(High Definition Multimedia Interface，高清晰度多媒体接口)或其它视频输出接口将待播放视频发送给与机顶盒连接的电视机，以供电视机播放待播放视频。

进一步，视频图像处理方法还包括：

步骤k，通过图像识别技术识别出所述视频图像中标识物所在位置。

当机顶盒得到视频图像时，机顶盒通过图像识别技术识别出视频图像中标识物所在位置。在图像识别过程中，会涉及到视频图像信息的获取，视频图像二值化、变换、增强和滤波等操作，以得到处理后的视频图像，在处理后的视频图像中进行特征选取，以确定视频图像中标识物所在位置。

需要说明的是，标识物用于标识虚拟图像在视频中的位置，虚拟图像为待播放视频中的图像。在本实施例中，标识物可为一个软垫，在其它实施例中，标识物也可以设置为一个平台，只要可以用于标识虚拟图像在视频中的位置即可。标识物所在位置可用三维坐标来表示。具体地，可将获取视频图像的摄像机的最高点设置为坐标原点，以根据该坐标原点来确定标识物所在位置。

当光电传感器与机顶盒分离时，光线采集设备可放置于标识物上方，或者标识物的左侧，右侧等。当光线采集设备中有14个传感器时，可将这14个传感器分别置于光线采集设备的上下左右前后以及三个坐标分割的八个空间象限中。当将这14个传感器的中心作为坐标原点时，这14个传感器的空间位置坐标可表示为(0,0,1)、(0,1,0)、(1,0,0)、(0,0,-1)(0,-1,0)、(-1,0,0)、(1,1,1)、(1,1,-1)、(1,-1,1)、(1,-1,-1)、(-1,1,1)、(-1,1,-1)、(-1,-1,1)、以及(-1,-1,-1)，具体地，可参照图5，图5为本发明实施例中传感器排列的一种示意图。

如当采用机顶盒进行视频教学时，机顶盒从广电总局的服务器中获取所需要的视频流，在该视频流中，含有与所需要教学内容对应的三维模型图。该服务器可通过同轴电缆网络将视频流发送给机顶盒。机顶盒接收到该视频流时，解析该视频流，得到三维模型图，并通过光电传感器获取光线参数，以渲染三维模型图，得到渲染后的三维模型图。机顶盒通过摄像头采集其所在环境的视频图像，经过视频图像识别，得到视频图像中标识物的位置，将渲染后的三维模型图加载至视频图像中标识物的位置。当机顶盒将所得的教学视频发送给电视机播放后，用户可根据电视机所播放的内容进行学习。参照图6，在图6中，虚拟人物为三维模型图中的人物，即教学视频中的教练，真实人物1和真实人物2为学习电视机所播放内容的用户。

如当用户想要网上购物时，如在购买衣服时，可将光电传感器粘贴于用户的手肘、肩部、前襟、后襟、腰部等部位，通过光电传感器采集用户这些部位的光线参数。机顶盒通过摄像头获取到用户所在位置的视频图像，识别出视频图像中用户，即识别出购物者。当用户挑选衣服后，机顶盒通过运营商获取该衣服对应的视频流，得到该衣服对应的三维模型图，根据所获取的光线参数渲染衣服对应的三维模型图，得到渲染后的衣服三维模型图，将渲染后的衣服三维模型图加载至视频图像中的购物者中，以实现电视购物的虚拟试衣，提高用户购买商品的满意度。

进一步地，还可将本发明的视频图像处理方法应用于科学实验模拟。如在应用于双缝衍射实验。由于双缝衍射实验仪器较为精贵复杂，并非每个学校以及科研单位均能够采购演示。因此，通过视频图像处理方法虚拟的一台双缝衍射实验仪器。在使用过程中，需要在双缝衍射实验仪器所在的位置放置至少两个多向的光电传感器。在实验过程中，采用光源对双缝衍射实验仪器所在的位置进行照射，光电传感器可捕捉到双缝衍射实验仪器在各方向的光线参数，基于双缝衍射实验对应的公式，根据光线参数即可计算出双缝衍射的现象，将计算出的结果显示给实验者查看，减少了实验过程中所需的经费。

进一步地，提出本发明视频图像处理方法第三实施例。

所述视频图像处理方法第三实施例与所述视频图像处理方法第一实施例的区别在于，参照图7，视频图像处理方法还包括：

步骤S40，当侦测到旋转所述三维模型图旋转指令时，根据所述旋转指令重新获取所述光线参数，以重新渲染旋转后的所述三维模型图。

当电视机在播放待播放视频过程中，机顶盒侦测到旋转三维模型图的旋转指令时，机顶盒根据所侦测到的旋转指令重新获取其所在位置的光线参数，以根据重新获取的光线参数重新渲染旋转后的三维模型图，保证在通过机顶盒进行视频播放过程中虚拟人和物的现实感。

如当在进行视频教学过程中，机顶盒侦测到遥控器发送的旋转视频中教练方向的旋转指令时，机顶盒根据旋转指令调整教练方向，并根据旋转指令重新获取光线参数，根据所获取的光线参数重新渲染教学视频中的三维模型图，以便于用户进行360度动作的学习，提高视频教学质量。

进一步地，当用户通过机顶盒玩游戏时，机顶盒不需要获取与游戏对应的三维模型图。当机顶盒在加载游戏时，触发光线采集指令，通过光电传感器采集光线参数，将所采集的光线参数传输给游戏应用。游戏应用根据所接收的光线参数对游戏中的三维模型图进行渲染。当游戏应用得到渲染后的三维模型图时，将渲染后的三维模型图传输给与机顶盒连接的电视机。在进行游戏过程中，若三维模型图发生旋转操作，机顶盒则触发光线采集指令，重新采集光线参数，以供游戏应用根据机顶盒重新采集的光线参数渲染旋转后的三维模型图；若三维模型图只发生了平移操作，机顶盒则不触发光线采集指令，以实现实时增强现实游戏的光渲染效果。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有视频图像处理程序，所述视频图像处理程序被处理器执行时实现如下步骤：

当侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；

根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；

将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。

进一步地，所述根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图的步骤包括：

获取所述三维模型图中的待处理像素点，根据所述待处理像素点，以及预设个数的基准像素点计算出所述待处理像素点的空间方向，其中，所述基准像素点为所述三维模型图中与所述待处理像素点相邻的像素点；

确定与所述空间方向对应的目标光线参数，以及与所述待处理像素点对应的待替换亮度参数；

根据所述目标光线参数和所述待替换亮度参数得到渲染后的所述三维模型图。

进一步地，所述获取所述三维模型图中的待处理像素点，根据所述待处理像素点，以及预设个数的基准像素点计算出所述待处理像素点的空间方向的步骤包括：

获取所述三维模型图中的待处理像素点和基准像素点，以形成一个像素阵；

计算出所述像素阵的法向量，并计算出所述法向量相对于所述基准像素点所在方向的角度；

在所述角度中选取最小角度对应的方向向量作为所述待处理像素点的空间方向。

进一步地，所述根据所述目标光线参数和所述待替换亮度参数得到渲染后的所述三维模型图的步骤包括：

将所述目标光线参数替换所述待替换亮度参数，得到处理后的像素点；

根据处理后的所述像素点得到渲染后的所述三维模型图。

进一步地，所述当侦测到视频播放指令时，根据所述视频播放指令获取三维模型图的步骤包括：

当侦测到视频播放指令时，根据所述视频播放指令获取视频流；

解析所述视频流，得到与所述视频流对应的三维模型图、皮肤和音频数据，其中，所述皮肤为所述三维模型图中像素点的集合；

所述将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之后，所述视频图像处理程序被处理器执行时实现如下步骤：

将待播放视频图像与所述音频数据聚合，得到待播放视频；

将所述待播放视频发送给与所述机顶盒连接的电视机，以供所述电视机播放所述待播放视频。

进一步地，所述将聚合后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之前，所述视频图像处理程序被处理器执行时实现如下步骤：

通过图像识别技术识别出所述视频图像中标识物所在位置。

进一步地，所述将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之后，所述视频图像处理程序被处理器执行时实现如下步骤：

当侦测到旋转所述三维模型图旋转指令时，根据所述旋转指令重新获取所述光线参数，以重新渲染旋转后的所述三维模型图。

进一步地，所述机顶盒外表面设置有光电传感器，所述光电传感器与所述机顶盒主板连接。

本发明计算机可读存储介质具体实施方式与上述视频图像处理方法各实施例基本相同，在此不再赘述。

此外，本发明实施例还提出一种视频图像处理装置，该视频处理装置应用于机顶盒中，具体地，视频处理装置包括：

获取模块，用于当机侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；

渲染模块，用于根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；

加载模块，用于将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。

进一步地，渲染模块包括：

计算单元，用于获取所述三维模型图中的待处理像素点，根据所述待处理像素点，以及预设个数的基准像素点计算出所述待处理像素点的空间方向，其中，所述基准像素点为所述三维模型图中与所述待处理像素点相邻的像素点；

确定单元，用于确定与所述空间方向对应的目标光线参数，以及与所述待处理像素点对应的待替换亮度参数；

处理单元，用于根据所述目标光线参数和所述待替换亮度参数得到渲染后的所述三维模型图。

进一步地，计算单元包括：

获取子单元，用于获取所述三维模型图中的待处理像素点和基准像素点，以形成一个像素阵；

计算子单元，用于计算出所述像素阵的法向量，并计算出所述法向量相对于所述基准像素点所在方向的角度；

选取子单元，用于在所述角度中选取最小角度对应的方向向量作为所述待处理像素点的空间方向。

进一步地，处理单元包括：

替换子单元，用于将所述目标光线参数替换所述待替换亮度参数，得到处理后的像素点；

处理子单元，用于根据处理后的所述像素点得到渲染后的所述三维模型图。

进一步地，获取模块包括：

获取单元，用于当侦测到视频播放指令时，根据所述视频播放指令获取视频流；

解析单元，用于解析所述视频流，得到与所述视频流对应的三维模型图、皮肤和音频数据，其中，所述皮肤为所述三维模型图中像素点的集合；

视频图像处理装置还包括：

聚合模块，用于将待播放视频图像与所述音频数据聚合，得到待播放视频；

发送模块，用于将所述待播放视频发送给与所述机顶盒连接的电视机，以供所述电视机播放所述待播放视频。

进一步地，视频图像处理装置还包括：

识别模块，用于通过图像识别技术识别出所述视频图像中标识物所在位置。

进一步地，获取模块还用于当侦测到旋转所述三维模型图旋转指令时，根据所述旋转指令重新获取所述光线参数，以重新渲染旋转后的所述三维模型图。

进一步地，所述机顶盒外表面设置有光电传感器，所述光电传感器与所述机顶盒主板连接。

本发明视频图像处理装置具体实施方式与上述视频图像处理方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频图像处理方法，其特征在于，所述视频图像处理方法包括以下步骤：

当机顶盒侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；

根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；

将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。

2.如权利要求1所述的视频图像处理方法，其特征在于，所述根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图的步骤包括：

获取所述三维模型图中的待处理像素点，根据所述待处理像素点，以及预设个数的基准像素点计算出所述待处理像素点的空间方向，其中，所述基准像素点为所述三维模型图中与所述待处理像素点相邻的像素点；

确定与所述空间方向对应的目标光线参数，以及与所述待处理像素点对应的待替换亮度参数；

根据所述目标光线参数和所述待替换亮度参数得到渲染后的所述三维模型图。

3.如权利要求2所述的视频图像处理方法，其特征在于，所述获取所述三维模型图中的待处理像素点，根据所述待处理像素点，以及预设个数的基准像素点计算出所述待处理像素点的空间方向的步骤包括：

获取所述三维模型图中的待处理像素点和基准像素点，以形成一个像素阵；

计算出所述像素阵的法向量，并计算出所述法向量相对于所述基准像素点所在方向的角度；

在所述角度中选取最小角度对应的方向向量作为所述待处理像素点的空间方向。

4.如权利要求2所述的视频图像处理方法，其特征在于，所述根据所述目标光线参数和所述待替换亮度参数得到渲染后的所述三维模型图的步骤包括：

将所述目标光线参数替换所述待替换亮度参数，得到处理后的像素点；

根据处理后的所述像素点得到渲染后的所述三维模型图。

5.如权利要求1所述的视频图像处理方法，其特征在于，所述当机顶盒侦测到视频播放指令时，根据所述视频播放指令获取三维模型图的步骤包括：

当所述机顶盒侦测到视频播放指令时，根据所述视频播放指令获取视频流；

解析所述视频流，得到与所述视频流对应的三维模型图、皮肤和音频数据，其中，所述皮肤为所述三维模型图中像素点的集合；

所述将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之后，还包括：

将待播放视频图像与所述音频数据聚合，得到待播放视频；

将所述待播放视频发送给与所述机顶盒连接的电视机，以供所述电视机播放所述待播放视频。

6.如权利要求5所述的视频图像处理方法，其特征在于，所述将聚合后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之前，还包括：

通过图像识别技术识别出所述视频图像中标识物所在位置。

7.如权利要求1所述的视频图像处理方法，其特征在于，所述将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像的步骤之后，还包括：

当侦测到旋转所述三维模型图旋转指令时，根据所述旋转指令重新获取所述光线参数，以重新渲染旋转后的所述三维模型图。

8.如权利要求1至7任一项所述的视频图像处理方法，其特征在于，所述机顶盒外表面设置有光电传感器，所述光电传感器与所述机顶盒主板连接。

9.一种机顶盒，其特征在于，所述机顶盒包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的视频图像处理程序，所述视频图像处理程序被所述处理器执行时实现如下步骤：

当侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；

根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；

将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频图像处理程序，所述视频图像处理程序被处理器执行时实现如下步骤：

当侦测到视频播放指令时，根据所述视频播放指令获取三维模型图、视频图像和光线参数；

根据所述光线参数渲染所述三维模型图，得到渲染后的所述三维模型图；

将渲染后的所述三维模型图加载至所述视频图像中标识物所在位置，得到待播放视频图像。