CN112351325A - 基于手势的显示终端控制方法、终端和可读存储介质 - Google Patents

Abstract

本发明公开了一种基于手势的显示终端控制方法，所述基于手势的显示终端控制方法以下步骤：获取第一图像以及第二图像；在所述第一图像中提取手势，并在所述第二图像中提取显示终端的显示画面；根据所述手势在所述第一图像中的第一位置，确定所述手势在所述显示画面所处的目标区域；根据所述目标区域以及所述手势，确定目标控制指令，以及，根据所述目标控制指令对所述显示终端进行控制。本发明还公开一种终端和可读存储介质。本发明电视的操作便捷性高。

Description

基于手势的显示终端控制方法、终端和可读存储介质

技术领域

本发明涉及电视技术领域，尤其涉及一种基于手势的显示终端控制方法、终端和可读存储介质。

背景技术

随着网络的普及，人们可以通过显示终端观看网络中的视频。

各个视频会以海报的形式显示于显示画面内，用户需要通过遥控器控制显示画面内的方框移动以选定想要观看的视频，也即用户需要在遥控器上进行多次按键才可观看到想要观看的视频，显示终端的控制便捷性低。

发明内容

本发明的主要目的在于提供一种基于手势的显示终端控制方法、终端和可读存储介质，旨在解决电视的控制便捷性低的问题。

为实现上述目的，本发明提供一种基于手势的显示终端控制方法，所述基于手势的显示终端控制方法以下步骤：

获取第一图像以及第二图像；

在所述第一图像中提取手势，并在所述第二图像中提取显示终端的显示画面；

根据所述手势在所述第一图像中的第一位置，确定所述手势在所述显示画面所处的目标区域；

根据所述目标区域以及所述手势，确定目标控制指令，以及，根据所述目标控制指令对所述显示终端进行控制。

在一实施例中，所述第一图像根据第一图像采集模块采集，所述第二图像根据第二图像采集模块采集，所述根据所述手势在所述第一图像中的第一位置，确定所述手势在所述显示画面所处的目标区域的步骤包括：

根据所述手势在所述第一图像中的第一位置，确定所述手势的第一坐标；

获取所述第一图像采集模块与所述第二图像采集模块之间的位置关系，并根据所述位置关系将所述第一坐标进行转换，得到所述手势对应的第二坐标；

根据所述第二坐标，确定所述手势在所述显示画面所处的目标区域。

在一实施例中，所述根据所述平面坐标，确定所述手势在所述显示画面所处的目标区域的步骤包括：

根据所述第一位置，确定所述手势在所述显示画面的第二位置；

根据所述第二位置、所述手势以及所述显示画面，生成第三图像；

根据所述第三图像，确定所述手势在所述显示画面所处的目标区域。

在一实施例中，所述根据所述第三图像，确定所述手势在所述显示画面所处的目标区域的步骤包括：

获取所述显示画面的实际尺寸，并对所述第三图像进行畸形矫正

根据所述实际尺寸对畸形矫正后的所述第三图像进行尺寸变换得到矫正图像；

在所述矫正图像中，确定所述手势所在的目标区域。

在一实施例中，所述根据所述目标区域以及所述手势，确定目标控制指令的步骤包括：

确定所述手势对应的各个操作指令，以及所述目标区域对应的功能；

在各个所述操作指令中，确定所述功能对应的操作指令，以作为目标控制指令。

在一实施例中，所述第一图像包括第一子图像以及第二子图像，所述第一子图像为通过设置在用户左眼区域的图像采集模块所采集的，所述第二子图像通过设置在用户右眼区域的图像采集模块所采集的，所述在所述第一图像中提取手势的步骤包括：

对所述第一子图像以及所述第二子图像进行合成，得到第一合成图像；

在所述第一合成图像中提取手势。

在一实施例中，所述第二图像包括第三子图像以及第四子图像，所述第三子图像为通过设置在用户左眼区域的图像采集模块所采集的，所述第四子图像通过设置在用户右眼区域的图像采集模块所采集的，所述在所述第二图像中提取显示画面的步骤包括：

对所述第三子图像以及所述第四图像进行合成，得到第二合成图像；

在所述第二合成图像中提取显示画面。

在一实施例中，所述在所述第二图像中提取显示画面的步骤包括：

在所述第二图像中，确定像素值为预设阈值的各个目标像素点；

对各个所述目标像素点进行聚合，得到方框；

在所述第二图像中，提取所述方框内图像以作为显示画面。

在一实施例中，所述在所述第一图像中提取手势的步骤之后，还包括：

确定指令库中是否包括所述手势对应的操作指令；

当所述指令库中包括所述手势对应的操作指令时，执行所述在所述第二图像中提取显示画面的步骤。

在一实施例中，所述第一图像为3D图像，所述第二图像为2D图像。

为实现上述目的，本发明还提供一种终端，所述终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的控制程序，所述控制程序被所述处理器执行时实现如上所述的基于手势的显示终端控制方法的各个步骤。

在一实施例中，所述终端为显示终端、服务器或者头戴设备。

在一实施例中，所述头戴设备设有3D图像采集模块以及2D图像采集模块，所述3D图像采集模块以及所述2D图像采集模块在所述头戴设备上所设置的区域为对应所述用户的眼睛的区域。

为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质存储有控制程序，所述控制程序被处理器执行时实现如上所述的基于手势的显示终端控制方法的各个步骤。

本发明提供的基于手势的显示终端控制方法、终端和计算机可读存储介质，终端获取第一图像以及第二图像，并从第一图像中提取手势，且从第二图像中提取显示画面，再根据手势在第一图像中的位置确定手势在显示画面所处的区域，从而根据目标区域以及手势确定目标控制指令，最后根据目标控制指令对显示终端进行控制。本发明通过提取第一图像中的手势以及第二图像中显示终端的显示画面，再确定手势在电视面的区域以得到控制指令，进而基于控制指令实现对显示终端的控制，用户无需通过遥控器即可对显示终端进行操作，显示终端的操作便捷性较高。

附图说明

图1为本发明实施例涉及的终端的硬件构架示意图；

图2为本发明头戴设备的一示意图；

图3为本发明头戴设备的另一示意图；

图4为本发明基于手势的显示终端控制方法第一实施例的流程示意图；

图5为本发明实施例中显示画面的提取流程示意图；

图6为本发明基于手势的显示终端控制方法第二实施例中步骤S300的细化流程示意图；

图7为本发明基于手势的显示终端控制方法第三实施例中步骤S300的细化流程示意图；

图8为本发明基于手势的显示终端控制方法第三实施例的简要流程示意图；

图9为本发明第三图像矫正的流程示意图；

图10为本发明终端基于图层4与UI界面的坐标映射关系将手势以及显示画面进行重叠生成第三图像的示意图；

图11为本发明基于手势的显示终端控制方法第四实施例中步骤S200的细化流程示意图；

图12为本发明实施例涉及的第一图像以及第二图像的传输示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取第一图像以及第二图像；在所述第一图像中提取手势，并在所述第二图像中提取显示终端的显示画面；根据所述手势在所述第一图像中的第一位置，确定所述手势在所述显示画面所处的目标区域；根据所述目标区域以及所述手势，确定目标控制指令，以及，根据所述目标控制指令对所述显示终端进行控制。

本发明通过提取第一图像中的手势以及第二图像中显示终端的显示画面，再确定手势在电视面的区域以得到控制指令，进而基于控制指令实现对显示终端的控制，用户无需通过遥控器即可对显示终端进行操作，显示终端的操作便捷性较高。

作为一种实现方案，终端可以如图1所示。

本发明实施例方案涉及的是终端，终端包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。终端可以是显示终端、服务器或者头戴设备。显示终端可为具有显示屏的终端，例如，电视。头戴设备可以为眼镜、头盔、虚拟现实设备等。

头戴设备上设有3D图像采集模块以及2D图像采集模块，3D图像采集模块以及2D图像采集模块在头戴设备上所设置的区域为对应用户的眼睛的区域，例如，两个图像采集模块可以设置眼镜的右边框上或者左边框上。具体的，参照图2，头戴设备为眼镜，眼镜框左上角以及右上角各设置有一个摄像头，一个摄像头可为3D摄像头，另一个为2D摄像头。参照图3，头盔上设有眼镜，眼镜左右边框上设有摄像头(未标识)。此外，头戴设备上3D图像采集模块可为2个，一个3D图像采集模块在头戴设备所设置的区域为用户的右眼的区域，另一个3D图像采集模块在头戴设备所设置的区域为用户的左眼的区域。当然，头戴设备上2D图像采集模块可为2个，一个2D图像采集模块在头戴设备所设置的区域为用户的右眼的区域，另一个2D图像采集模块在头戴设备所设置的区域为用户的左眼的区域。

存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机存储介质的存储器103中可以包括控制程序；而处理器101可以用于调用存储器102中存储的控制程序，并执行以下操作：

获取第一图像以及第二图像；

在所述第一图像中提取手势，并在所述第二图像中提取显示终端的显示画面；

根据所述手势在所述第一图像中的第一位置，确定所述手势在所述显示画面所处的目标区域；

根据所述目标区域以及所述手势，确定目标控制指令，以及，根据所述目标控制指令对所述显示终端进行控制。

在一实施例中，所述第一图像根据第一图像采集模块采集，所述第二图像根据第二图像采集模块采集，所述根据所述手势在所述第一图像中的第一位置，确定所述手势在所述显示画面所处的目标区域的步骤包括：

根据所述手势在所述第一图像中的第一位置，确定所述手势的第一坐标；

获取所述第一图像采集模块与所述第二图像采集模块之间的位置关系，并根据所述位置关系将所述第一坐标进行转换，得到所述手势对应的第二坐标；

根据所述第二坐标，确定所述手势在所述显示画面所处的目标区域。

在一实施例中，处理器101可以用于调用存储器102中存储的控制程序，并执行以下操作：

根据所述第一位置，确定所述手势在所述显示画面的第二位置；

根据所述第二位置、所述手势以及所述显示画面，生成第三图像；

根据所述第三图像，确定所述手势在所述显示画面所处的目标区域。

在一实施例中，处理器101可以用于调用存储器102中存储的控制程序，并执行以下操作：

获取所述显示画面的实际尺寸，并对所述第三图像进行畸形矫正

根据所述实际尺寸对畸形矫正后的所述第三图像进行尺寸变换得到矫正图像；

在所述矫正图像中，确定所述手势所在的目标区域。

在一实施例中，处理器101可以用于调用存储器102中存储的控制程序，并执行以下操作：

确定所述手势对应的各个操作指令，以及所述目标区域对应的功能；

在各个所述操作指令中，确定所述功能对应的操作指令，以作为目标控制指令。

在一实施例中，处理器101可以用于调用存储器102中存储的控制程序，并执行以下操作：

对所述第一子图像以及所述第二子图像进行合成，得到第一合成图像；

在所述第一合成图像中提取手势。

在一实施例中，处理器101可以用于调用存储器102中存储的控制程序，并执行以下操作：

对所述第三子图像以及所述第四图像进行合成，得到第二合成图像；

在所述第二合成图像中提取显示画面。

在一实施例中，处理器101可以用于调用存储器102中存储的控制程序，并执行以下操作：

在所述第二图像中，确定像素值为预设阈值的各个目标像素点；

对各个所述目标像素点进行聚合，得到方框；

在所述第二图像中，提取所述方框内图像以作为显示画面。

在一实施例中，处理器101可以用于调用存储器102中存储的控制程序，并执行以下操作：

确定指令库中是否包括所述手势对应的操作指令；

当所述指令库中包括所述手势对应的操作指令时，执行所述在所述第二图像中提取显示画面的步骤。

本实施例根据上述方案，终端获取第一图像以及第二图像，并从第一图像中提取手势，且从第二图像中提取显示画面，再根据手势在第一图像中的位置确定手势在显示画面所处的区域，从而根据目标区域以及手势确定目标控制指令，最后根据目标控制指令对显示终端进行控制。本发明通过提取第一图像中的手势以及第二图像中显示终端的显示画面，再确定手势在电视面的区域以得到控制指令，进而基于控制指令实现对显示终端的控制，用户无需通过遥控器即可对显示终端进行操作，显示终端的操作便捷性较高。

基于上述终端的硬件构架，提出本发明基于手势的显示终端控制方法的实施例。

参照图4，图4为本发明基于手势的视频进度控制方法的第一实施例，所述基于手势的视频进度控制方法包括以下步骤：

步骤S100，获取第一图像以及第二图像；

在本实施例中，执行主体为终端。终端可为显示终端、服务器或者头带设备。用户在通过显示终端观看视频时，可以佩戴头戴设备。若执行主体为显示终端或者服务器，则头带设备采集的第一图像以及第二图像发送至终端或者服务器。第一图像中含有用户的手势，而第二图像中含有显示终端的显示画面。第一图像以及第二图像可以是不同图像采集模块所采集的。

步骤S200，在所述第一图像中提取手势，并在所述第二采集的图像中提取显示画面；

终端具有AI(Artificial Intelligence，人工智能)识别功能，终端可以通过AI识别功能在第一图像中识别出手势。终端在识别出第一图像中包括手势后，在第一图像中提取手势。具体的，终端在第一图像中识别出用户的手后，对手进行轮廓的提取，提取出来的轮廓即为手势。

终端还需要对第二图像进行显示画面的提取得到显示画面，也即对第二图像进行裁剪以保留显示画面。具体的，由于用户观看电视视角并非完全正对电视，所以图像采集模块模拟人眼的视角采集的显示画面(比如电视显示画面)并非完成对称的矩形，通过电视的亮度以及对比度中的至少一个进行显示画面的识别在进行边缘滤波，最后将显示画面进行提取，第二图像中提取显示画面的流程参照图5。

需要说明的是，在提取出手势后，电视端会确定指令库中是否包括手势对应的操作指令，若是包括手势对应的操作指令，即可执行在在第二图像中提取显示画面的步骤。若指令库中不包括手势对应的操作指令，则舍弃该手势。此外，第一图像的采集时间点与第二图像的采集时间点之间的间隔较小，优选为同步采集，从而能够准确的确定手势在显示画面上的位置。

步骤S300，根据所述手势在所述第一图像中的第一位置，确定所述手势在所述显示画面所处的目标区域；

图像采集模块在采集第一图像后，会记录第一图像中各个像素点的位置，而手势实际上是多个像素点构成的，因此，终端在获取到第一图像后，获取第一图像中各个像素点的位置，并基于识别的手势的轮廓上各个像素点的位置得到手势在第一图像中的第一位置。第一图像以及第二图像可以是同一个图像采集模块采集的，也即第一图像以及第二图像实际上是相同的图像，也即第一位置所在的区域即为手势在显示画面所处的目标区域。需要说明的是，上述位置可以以坐标进行表征。

此外，第一图像可以是3D图像，而第二图像为2D图像。3D图像能够较为准确的获取用户的手势。故，手势在第一图像中的第一位置的坐标是空间坐标，而显示画面为2D图像，终端需要将空间坐标转换为平面坐标，从而根据第一位置的平面坐标确定手势在显示画面上所述的目标区域。

步骤S400，根据所述目标区域以及所述手势，确定目标控制指令，以及，根据所述目标控制指令对所述显示终端进行控制。

终端中的指令库中存储有手势与操作指令的映射关系，终端可根据映射关系获取的手势对应的操作指令。显示画面上有多个区域，操作指令在不同的区域有不同的操作。例如，区域A为缓存清理，则操作指令在区域A中的操作为清除缓存，区域B中有视频，则操作指令在区域B中的操作为打开视频。也即终端根据操作指令以及目标区域确定显示终端待执行的操作，待执行的操作所对应的控制指令即为目标操作指令，终端再将目标控制指令发送至显示终端，进而使得显示终端执行目标控制指令对应的操作。若是终端为显示终端，则终端直接执行目标控制指令对应的操作。

此外，终端的指令库中存储有手势对应的多个操作指令，而目标区域所对应的功能不同，终端则在各个操作指令中确定功能对应的操作指令以作为目标操作指令。

第一图像采集模块用于采集用户人眼视角下的3D图像，且2D图像采集模块用于采集用户人眼视角下的2D图像。3D图像采集模块包括3D摄像头，2D图像采集模块包括普通摄像头，且3D图像采集模块以及2D图像采集模块具有通信模块，3D图像采集模块以及2D图像采集模块通过通信模块将采集的图像发送至电视端。需要说明的是，3D图像采集模块的采集时间点与2D图像采集模块的采集时间点进行同步，也即电视端几乎是同时接收到的3D图像采集模块采集的图像以及2D图像采集模块采集的图像。

在本实施例提供的技术方案中，终端获取第一图像以及第二图像，并从第一图像中提取手势，且从第二图像中提取显示画面，再根据手势在第一图像中的位置确定手势在显示画面所处的区域，从而根据目标区域以及手势确定目标控制指令，最后根据目标控制指令对显示终端进行控制。本发明通过提取第一图像中的手势以及第二图像中显示终端的显示画面，再确定手势在电视面的区域以得到控制指令，进而基于控制指令实现对显示终端的控制，用户无需通过遥控器即可对显示终端进行操作，显示终端的操作便捷性较高。

参照图6，图6为本发明基于手势的显示终端控制方法的第二实施例，基于第一实施例，所述步骤S300包括：

步骤S310，根据所述手势在所述第一图像中的第一位置，确定所述手势的第一坐标；

步骤S320，获取所述第一图像采集模块与所述第二图像采集模块之间的位置关系，并根据所述位置关系将所述第一坐标进行转换，得到所述手势对应的第二坐标；

步骤S330，根据所述第二坐标，确定所述手势在所述显示画面所处的目标区域。

在本实施例中，终端在确定手势的第一位置后，即可基于第一位置确定手势的第一坐标，第一坐标指的是手势在第一图像上的坐标。

第一图像为第一图像采集模块采集，而第二图像为第二图像模块采集，第一图像采集模块在头戴设备的位置与第二图像采集模块在头戴设备上的位置并不相同，因此，需要基于位置的不同，对手势的第一坐标进行校正，也即校正后的手势在第二图像上的位置是用户实际想要在显示画面上操作的位置。具体的，终端中存储有第一图像采集模块与第二图像采集模块之间的位置关系，位置关系可以是第一图像采集模块与第二图像采集模块在水平方向的距离、垂直方向的距离，以及第一图像采集模块相对第二图像采集模块的方位。位置关系由眼镜或者头戴设备的厂商测量并设置在第一图像采集模块或者第二图形采集模块上，再由第一图像采集模块或第二图像采集模块将位置关系发送至终端。终端在根据位置关系将第一坐标进行转换，得到手势对应的第二坐标。例如，第一图像采集模块位于第二图像采集模块的右方，且水平方向之间的距离为3，垂直方向之间的距离为0，若手势的第一坐标为(4,5)，然后需要X向左移动3个距离，即手势的第二坐标为(1，5)。

终端在确定手势的第二坐标后，即可根据第二坐标以及显示画面的平面坐标确定手势在显示画面所处的区域。具体的，显示画面的平面坐标可以是边框的平面坐标，也即终端所获取的显示画面实际上是由方框构成的图像。方框上的像素点的像素值为预设值，终端在得到第二图像后，获取各个像素值为预设值的目标像素点，从而得到各个方框构成的显示画面，各个方框将显示画面分割为多个区域。终端可以根据目标像素点的平面坐标得到各个区域，然后根据手势上每个点的第二坐标确定手势上各个点所属的区域，点最多的区域即为手势所处的目标区域。

此外，第一图像可以是3D图像，而第二图像为2D图像，则手势具有对应的空间坐标，手势的空间坐标先转换为平面坐标得到第一坐标，再根据第一坐标以及位置关系确定第二坐标。例如，若手势的空间坐标为(4,5,6)，去掉Z得到第一坐标(4,5)，然后需要X向左移动3个距离，即手势的第二坐标为(1，5)。

在本实施例中，终端根据第一以及第二图像采集模块之间的位置关系将手势的第一坐标准确的转换为第二坐标，进而根据第二坐标以及显示画面的平面坐标准确的确定手势在显示画面所处的目标区域。

参照图7，图7为本发明基于手势的显示终端控制方法的第三实施例，基于第二实施例，所述步骤S300包括：

步骤S340，根据所述第一位置，确定所述手势在所述显示画面的第二位置；

步骤S350，根据所述第二位置、所述手势以及所述显示画面，生成第三图像；

步骤S360，根据所述第三图像，确定所述手势在所述显示画面所处的目标区域。

在本实施例中，终端在确定手势的第一位置，即可根据第一位置确定手势在显示画面的第二位置，也即根据手势在第一图像上的第一坐标确定手势在显示画面上的坐标。

终端可以根据第二位置、手势以及显示画面生成第三图像。具体的，终端可以基于第一位置在手势上确定基准点，基准点为构成手势的边缘点，基准点的数量可设置为比较少，例如3个。终端再根据第二位置上的各个像素点上确定每个基准点所对应的目标像素点，并进行标记，再将手势上的基准点与该基准点对应的目标像素点对准，从而将手势添加至显示画面内，也即将手势添加至显示画面中得到第三图像，从而可以根据第三图像确定手势在显示画面所处的目标区域，也即手势会覆盖显示画面上的方框区域，手势所覆盖的方框区域即为手势在显示画面所处的目标区域。

需要说明的是，由于人眼与电视方位的关系，第三图像并不是实际的显示画面。例如，第三图像并不是矩形，而是菱形；第三图像的比例并不是显示画面的比例。对此，终端对第三图像进行畸形矫正，也即将第三图像先矫正为矩形，且矫正后的第三图像为实际显示画面的缩小图像。而对第三图像进行畸形矫正后，会涉及到线条的拉伸，从而会多出空白点，空白点的像素值可以由相邻的像素点的像素值进行插值得到，从而赋予空白点像素值，从而避免矫正后的第三图像中的方框线断开。终端在得到矫正后的第三图像后，按照显示画面的实际尺寸对其进行尺寸变换，也即将矫正后的第三图像的尺寸变换为显示画面的实际尺寸，使得终端无需将存储的实际显示画面的平面坐标进行变换得到矫正后的第三图像中各个点的平面坐标。终端对手势以及显示画面进行合成得到第三图像以及对第三图像进行图像拉伸(图像拉伸即为第三图像的矫正)的流程具体参照图8，图8中手势图层2为手势，图层3拉伸后所形成的图像进行灰度处理，从而得到具有方框的显示画面以及手势，从而根据手势所在的方框确定手势在显示画面所处的目标区域。

第一图像可为3D图像，第二图像可为2D图像。以下对本实施例进行简要说明。

参照图9，终端获取2D原始图像以及3D原始图像；通过2D原始图像进行亮明对比度的检测以及图像滤波取模得到显示画面进而生成图层1，且根据3D原始图像进行模式识别提取到手势生成图层2；终端再基于图层1以及图层2生成图层3，且将图层3边缘伸展和UI界面同比例的最终图层4，UI界面即为显示终端的实际显示界面；终端在基于图层4与UI界面的图像坐标重叠映射关系(XY坐标的重叠映射关系)确定手势在UI界面上的手势坐标；终端根据手势在手势指令库进行检索得到手势指令，最后基于手势坐标以及手势指令执行显示界面对应的某个操作，该操作由手势坐标(目标区域)以及手势指令(操作指令)确定。

终端将最终的图层4与TV界面利用图像算法进行映射关系的重叠，使手势与显示画面的坐标一一对应，如下图10。最终将图层4上面手势的坐标对应TV界面上的坐标，TV通过对手势的检索，查找出手势对应的指令，从而操作TV界面上的功能，达到隔空操作的效果。

在本实施例提供的技术方案中，终端将手势合成在显示画面上，从而准确的确定手势在显示画面上的目标区域，从而准确的控制显示终端执行用户手势对应的指令。

参照图11，图11为本发明基于手势的显示终端控制方法的第四实施例，基于第一至第三中任一实施例，所述步骤S200包括：

步骤S210，在第二图像中，确定像素值为预设阈值的各个目标像素点；

步骤S220，对各个所述目标像素点进行聚合，得到包括各个所述目标像素点的边框；

步骤S230，在所述第二图像中，提取所述边框内的图像以作为显示画面。

在本实施例中，显示终端在显示显示画面时，显示画面的边框的颜色是固定的，例如，显示画面中的边框一般黑色的。对此，电视端将黑色对应的像素值作为预设阈值。终端在对第二图像提取显示画面时，确定像素值为预设阈值的各个目标像素点，也即确定颜色为黑色的像素点。电视端对各个目标像素点进行聚合，从而得到一个方框，终端再对方框内的图像进行提取从而得到显示画面。

在本实施例提供的技术方案中，终端在第二图像中确定像素值为预设阈值的各个目标像素点，从而对目标像素点进行聚合得到方框，在提取该方框内的图像作为显示画面。

在一实施例中，为了更加准确的补抓用户的手势指令，可在眼镜或者头戴设备上设置两个图像采集模块用于采集第一子图像以及第二子图像得到手势，第一子图像可以看做模拟用户右眼观看的图像，而第二子图像可以看做模拟用户左眼观看的图像。图像采集模块在采集到图像后，会将自身的标识以及图像一同发送至终端。终端根据标识区分出接收的图像为第一子图像，还是第二子图像，也即第一图像包括第一子图像以及第二子图像。终端根据左眼以及右眼合成图像的原理，对第一子图像以及第二子图像进行合成得到第一合成图像，从而在第一合成图像中提取手势。

在一实施例中，为了更加准确的获取用户视角下的显示画面，可在眼镜或者头戴设备上设置两个图像采集模块用于采集第三子图像以及第四子图像得到显示画面，第三子图像可以看做模拟用户右眼观看的图像，而第四子图像可以看做模拟用户左眼观看的图像。图像采集模块在采集到图像后，会将自身的标识以及图像一同发送至终端。终端根据标识区分出接收的图像为第三子图像，还是第四子图像，也即第二图像包括第三子图像以及第四子图像。终端根据左眼以及右眼合成图像的原理，对第三子图像以及第四子图像进行合成得到第二合成图像，从而在第二合成图像中提取显示画面。

可以理解的是，由于人的左右眼所看到的视角画面有一定的偏移，因此头戴设备上同样具备左右两个3D和2D的摄像头。左右摄像头分别用于模拟人的左右眼，采集左右两幅图像，并通过蓝牙或WiFi等无线传输技术，将图像实时发送给TV等显示终端。TV终端将对左右图像进行合成分析，做进一步的图像处理。具体参照图11，图11中数字图像处理即为第一合成图像以及第二合成图，相关指令即为目标控制指令。

本发明还提供一种终端，所述终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的控制程序，所述控制程序被所述处理器执行时实现如上实施例所述的基于手势的显示终端控制方法的各个步骤。

本发明还提供一种可读存储介质，所述可读存储介质存储有控制程序，所述控制程序被处理器执行时实现如上实施例所述的基于手势的显示终端控制方法的各个步骤。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种基于手势的显示终端控制方法，其特征在于，所述基于手势的显示终端控制方法包括以下步骤：

获取第一图像以及第二图像；

在所述第一图像中提取手势，并在所述第二图像中提取显示终端的显示画面；

根据所述手势在所述第一图像中的第一位置，确定所述手势在所述显示画面所处的目标区域；

根据所述目标区域以及所述手势，确定目标控制指令，以及，根据所述目标控制指令对所述显示终端进行控制。

2.如权利要求1所述的基于手势的显示终端控制方法，其特征在于，所述第一图像根据第一图像采集模块采集，所述第二图像根据第二图像采集模块采集，所述根据所述手势在所述第一图像中的第一位置，确定所述手势在所述显示画面所处的目标区域的步骤包括：

根据所述手势在所述第一图像中的第一位置，确定所述手势的第一坐标；

获取所述第一图像采集模块与所述第二图像采集模块之间的位置关系，并根据所述位置关系将所述第一坐标进行转换，得到所述手势对应的第二坐标；

根据所述第二坐标，确定所述手势在所述显示画面所处的目标区域。

3.如权利要求1所述的基于手势的显示终端控制方法，其特征在于，所述根据所述平面坐标，确定所述手势在所述显示画面所处的目标区域的步骤包括：

根据所述第一位置，确定所述手势在所述显示画面的第二位置；

根据所述第二位置、所述手势以及所述显示画面，生成第三图像；

根据所述第三图像，确定所述手势在所述显示画面所处的目标区域。

4.如权利要求3所述的基于手势的显示终端控制方法，其特征在于，所述根据所述第三图像，确定所述手势在所述显示画面所处的目标区域的步骤包括：

获取所述显示画面的实际尺寸，并对所述第三图像进行畸形矫正

根据所述实际尺寸对畸形矫正后的所述第三图像进行尺寸变换得到矫正图像；

在所述矫正图像中，确定所述手势所在的目标区域。

5.如权利要求1所述的基于手势的显示终端控制方法，其特征在于，所述根据所述目标区域以及所述手势，确定目标控制指令的步骤包括：

确定所述手势对应的各个操作指令，以及所述目标区域对应的功能；

在各个所述操作指令中，确定所述功能对应的操作指令，以作为目标控制指令。

6.如权利要求1所述的基于手势的显示终端控制方法，其特征在于，所述第一图像包括第一子图像以及第二子图像，所述第一子图像为通过设置在用户左眼区域的图像采集模块所采集的，所述第二子图像通过设置在用户右眼区域的图像采集模块所采集的，所述在所述第一图像中提取手势的步骤包括：

对所述第一子图像以及所述第二子图像进行合成，得到第一合成图像；

在所述第一合成图像中提取手势。

7.如权利要求1所述的基于手势的显示终端控制方法，其特征在于，所述第二图像包括第三子图像以及第四子图像，所述第三子图像为通过设置在用户左眼区域的图像采集模块所采集的，所述第四子图像通过设置在用户右眼区域的图像采集模块所采集的，所述在所述第二图像中提取显示画面的步骤包括：

对所述第三子图像以及所述第四图像进行合成，得到第二合成图像；

在所述第二合成图像中提取显示画面。

8.如权利要求1所述的基于手势的显示终端控制方法，其特征在于，所述在所述第二图像中提取显示画面的步骤包括：

在所述第二图像中，确定像素值为预设阈值的各个目标像素点；

对各个所述目标像素点进行聚合，得到方框；

在所述第二图像中，提取所述方框内图像以作为显示画面。

9.如权利要求1-8任一项所述的基于手势的显示终端控制方法，其特征在于，所述在所述第一图像中提取手势的步骤之后，还包括：

确定指令库中是否包括所述手势对应的操作指令；

当所述指令库中包括所述手势对应的操作指令时，执行所述在所述第二图像中提取显示画面的步骤。

10.如权利要求1-8任一项所述的基于手势的显示终端控制方法，其特征在于，所述第一图像为3D图像，所述第二图像为2D图像。

11.一种终端，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上执行的控制程序，所述控制程序被所述处理器执行时实现如权利要求1-10任一项所述的基于手势的显示终端控制方法的各个步骤。

12.如权利要求11所述的终端，其特征在于，所述终端为显示终端、服务器或者头戴设备。

13.如权利要求12所述的终端，其特征在于，所述头戴设备设有3D图像采集模块以及2D图像采集模块，所述3D图像采集模块以及所述2D图像采集模块在所述头戴设备上所设置的区域为对应所述用户的眼睛的区域。

14.一种可读存储介质，其特征在于，所述可读存储介质存储有控制程序，所述控制程序被处理器执行时实现如权利要求1-10任一项所述的基于手势的显示终端控制方法的各个步骤。

Images