CN114327058B - 显示设备 - Google Patents
显示设备 Download PDFInfo
- Publication number
- CN114327058B CN114327058B CN202111601417.XA CN202111601417A CN114327058B CN 114327058 B CN114327058 B CN 114327058B CN 202111601417 A CN202111601417 A CN 202111601417A CN 114327058 B CN114327058 B CN 114327058B
- Authority
- CN
- China
- Prior art keywords
- image
- hand
- user
- coordinate system
- position coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 claims abstract description 58
- 230000033001 locomotion Effects 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 230000005484 gravity Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 31
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Abstract
本申请实施例公开了一种显示设备，属于终端技术领域。在本申请实施例中，用户图像与显示屏之间的坐标映射关系是根据用户的中心关键点的图像位置坐标确定出来的，而用户的中心关键点的图像位置坐标又是根据实时采集的用户图像确定出来的，因此可见，用户图像与显示屏之间的坐标映射关系是根据用户所处的位置实时确定的。并且，由于用户的中心关键点对应于显示屏的中心点，因此，当用户在操作显示屏时，即使用户所处的位置发生改变，也能够保证用户的手部关键点能够大概率的映射至显示屏上，从而使得用户能够在任意位置对显示设备进行操作，提高了显示设备的操作灵活性和便捷性。
Description
技术领域
本申请涉及终端技术领域，特别涉及一种显示设备。
背景技术
随着计算机技术的发展，各类电子产品都在朝着智能化的方向发展，与此同时，用户也希望用一种更加轻松、高效的方式来使用各类电子产品。例如，对于诸如智能电视之类的显示设备，用户希望能够脱离遥控器实现对显示设备的控制。
目前，为了满足用户在智能操控方面的需求，相关技术中提出了一种能够通过手势进行控制的显示设备。也即，显示设备能够识别用户的手势，进而根据识别到的用户手势执行相应的操作。然而，在相关技术中，要求用户必须处于特定的位置时，显示设备才能识别到用户的手势，用户所处的位置的偏差会严重影响显示设备的响应，这导致用户在通过手势控制显示设备时不够灵敏便捷。
发明内容
本申请实施例提供了一种显示设备，能够自动匹配用户的位置，以识别用户手势，为用户操作带来方便。所述技术方案如下：
一方面，提供了一种显示设备，所述显示设备包括:显示屏和处理器，其中，所述处理器用于：
获取图像采集设备采集的用户图像中的用户的中心关键点和手部关键点的图像位置坐标；
根据所述中心关键点的图像位置坐标，确定所述用户图像与所述显示屏之间的坐标映射关系，所述中心关键点对应所述显示屏的中心点；
根据所述手部关键点的图像位置坐标和所述坐标映射关系，确定所述手部关键点的屏幕位置坐标，根据所述手部关键点，确定手部形态；
根据所述手部关键点的屏幕位置坐标和所述手部形态执行对应的操作。
可选地，所述处理器用于：
通过人体关键点检测模型检测所述用户图像中的用户的两个肩部关键点和多个手部关键点；
确定所述两个肩部关键点和所述多个手部关键点在第一图像坐标系下的图像位置坐标，所述第一图像坐标系为所述用户图像的原始图像坐标系；
根据所述两个肩部关键点的图像位置坐标，确定两个肩部关键点的连线的中点在所述第一图像坐标系下的图像位置坐标，并将所述两个肩部关键点的连线的中点在所述第一图像坐标系下的图像位置坐标作为所述中心关键点在所述第一图像坐标系下的图像位置坐标。
可选地，所述处理器用于：
根据所述中心关键点的图像位置坐标，在所述用户图像中确定第一图像区域；
根据所述第一图像区域确定所述坐标映射关系。
可选地，所述第一图像区域为矩形区域，且所述第一图像区域的中心点与所述中心关键点重合，所述处理器用于：
建立第二图像坐标系，所述第二图像坐标系的原点为所述中心关键点，且X轴平行于所述用户图像的宽度方向，Y轴平行于所述用户图像的高度方向；
确定所述用户的肩宽，并根据所述用户的肩宽确定所述第一图像区域的各个角点与所述第二图像坐标系的Y轴之间的距离；
根据所述显示屏的像素分辨率的横纵比和所述各个角点与所述第二图像坐标系的Y轴之间的距离，确定所述各个角点与所述第二图像坐标系的X轴之间的距离；
根据所述各个角点与所述第二图像坐标系的X轴之间的距离以及所述各个角点与所述第二图像坐标系的Y轴之间的距离，确定所述第一图像区域。
可选地，所述处理器用于：
根据所述第一图像区域的第一角点在所述第二图像坐标系下的图像位置坐标和所述显示屏的第二角点在显示屏坐标系下的屏幕位置坐标，确定所述第二图像坐标系与所述显示屏坐标系之间的坐标转换关系，所述显示屏坐标系的原点为所述显示屏的中心点，且X轴平行于所述显示屏的宽度方向，Y轴平行于所述显示屏的高度方向；
根据所述第二图像坐标系与所述显示屏坐标系之间的坐标转换关系确定所述用户图像与所述显示屏之间的坐标映射关系。
可选地，所述处理器用于：
根据所述坐标映射关系将所述手部关键点的图像位置坐标转换至所述显示屏坐标系下，得到所述手部关键点的屏幕位置坐标。
可选地，所述处理器还用于：
根据所述手部关键点的图像位置坐标检测所述用户的手部是否位于所述第一图像区域内；
若所述用户的手部位于所述第一图像区域内，则执行所述根据所述手部关键点的图像位置坐标和所述坐标映射关系，确定所述手部关键点的屏幕位置坐标的步骤。
可选地，所述处理器用于：
根据多个手部关键点的图像位置坐标确定手部的重心位置坐标；
确定每个手部关键点的图像位置坐标与所述重心位置坐标的相对坐标；
将每个手部关键点的相对坐标作为手部形态检测模型的输入，通过所述手部形态检测模型确定所述手部形态。
可选地，所述处理器用于：
获取所述手部关键点的历史屏幕位置坐标和历史手部形态，所述手部关键点的历史屏幕位置坐标和历史手部形态根据所述用户图像的前n帧图像确定得到；
根据在当前时刻确定的所述手部关键点的当前屏幕位置坐标和历史屏幕位置坐标，确定手部的运动轨迹；
根据当前手部形态和历史手部形态，确定所述手部的运动状态；
根据所述手部的运动轨迹和运动状态以及所述显示屏上的各个组件的屏幕位置坐标，生成操作指令；
执行所述操作指令对应的操作。
可选地，所述处理器还用于：
根据所述手部关键点的屏幕位置坐标和所述手部形态，控制所述显示屏显示手势图标。
另一方面，提供了一种基于手势执行操作的方法，应用于显示设备中，所述方法包括：
获取图像采集设备采集的用户图像中的用户的中心关键点和手部关键点的图像位置坐标；
根据所述中心关键点的图像位置坐标，确定所述用户图像与所述显示屏之间的坐标映射关系，所述中心关键点对应所述显示屏的中心点；
根据所述手部关键点的图像位置坐标和所述坐标映射关系，确定所述手部关键点的屏幕位置坐标，根据所述手部关键点，确定手部形态；
根据所述手部关键点的屏幕位置坐标和所述手部形态执行对应的操作。
可选地，所述获取图像采集设备采集的用户图像中的用户的中心关键点和手部关键点的图像位置坐标，包括：
通过人体关键点检测模型检测所述用户图像中的用户的两个肩部关键点和多个手部关键点；
确定所述两个肩部关键点和所述多个手部关键点在第一图像坐标系下的图像位置坐标，所述第一图像坐标系为所述用户图像的原始图像坐标系；
根据所述两个肩部关键点的图像位置坐标，确定两个肩部关键点的连线的中点在所述第一图像坐标系下的图像位置坐标，并将所述两个肩部关键点的连线的中点在所述第一图像坐标系下的图像位置坐标作为所述中心关键点在所述第一图像坐标系下的图像位置坐标。
可选地，所述根据所述中心关键点的图像位置坐标，确定所述用户图像与所述显示屏之间的坐标映射关系，包括：
根据所述中心关键点的图像位置坐标，在所述用户图像中确定第一图像区域；
根据所述第一图像区域确定所述坐标映射关系。
可选地，所述第一图像区域为矩形区域，且所述第一图像区域的中心点与所述中心关键点重合，所述据所述中心关键点的图像位置坐标，在所述用户图像中确定第一图像区域，包括：
建立第二图像坐标系，所述第二图像坐标系的原点为所述中心关键点，且X轴平行于所述用户图像的宽度方向，Y轴平行于所述用户图像的高度方向；
确定所述用户的肩宽，并根据所述用户的肩宽确定所述第一图像区域的各个角点与所述第二图像坐标系的Y轴之间的距离；
根据所述显示屏的像素分辨率的横纵比和所述各个角点与所述第二图像坐标系的Y轴之间的距离，确定所述各个角点与所述第二图像坐标系的X轴之间的距离；
根据所述各个角点与所述第二图像坐标系的X轴之间的距离以及所述各个角点与所述第二图像坐标系的Y轴之间的距离，确定所述第一图像区域。
可选地，所述根据所述第一图像区域确定所述坐标映射关系，包括：
根据所述第一图像区域的第一角点在第二图像坐标系下的图像位置坐标和所述显示屏的第二角点在显示屏坐标系下的屏幕位置坐标，确定所述第二图像坐标系与所述显示屏坐标系之间的坐标转换关系，所述显示屏坐标系的原点为所述显示屏中心点，且X轴平行于所述显示屏的宽度方向，Y轴平行于所述显示屏的高度方向；
根据所述第二图像坐标系与所述显示屏坐标系之间的坐标转换关系确定所述用户图像与所述显示屏之间的坐标映射关系。
可选地，所述根据所述手部关键点的图像位置坐标和所述坐标映射关系，确定所述手部关键点的屏幕位置坐标，包括：
根据所述坐标映射关系将所述手部关键点的图像位置坐标转换至所述显示屏坐标系下，得到所述手部关键点的屏幕位置坐标。
可选地，所述方法还包括：
根据所述手部关键点的图像位置坐标检测所述用户的手部是否位于所述第一图像区域内；
若所述用户的手部位于所述第一图像区域内，则执行所述根据所述手部关键点的图像位置坐标和所述坐标映射关系，确定所述手部关键点的屏幕位置坐标的步骤。
可选地，所述根据所述手部关键点，确定手部形态，包括：
根据多个手部关键点的图像位置坐标确定手部的重心位置坐标；
确定每个手部关键点的图像位置坐标与所述重心位置坐标的相对坐标；
将每个手部关键点的相对坐标作为手部形态检测模型的输入，通过所述手部形态检测模型确定所述手部形态。
可选地，所述根据所述手部关键点的屏幕位置坐标和所述手部形态执行对应的操作，包括：
获取所述手部关键点的历史屏幕位置坐标和历史手部形态，所述手部关键点的历史屏幕位置坐标和历史手部形态根据所述用户图像的前n帧图像确定得到；
根据在当前时刻确定的所述手部关键点的当前屏幕位置坐标和历史屏幕位置坐标，确定手部的运动轨迹；
根据当前手部形态和历史手部形态，确定所述手部的运动状态；
根据所述手部的运动轨迹和运动状态以及所述显示屏上的各个组件的屏幕位置坐标，生成操作指令；
执行所述操作指令对应的操作。
可选地，所述方法还包括：
根据所述手部关键点的屏幕位置坐标和所述手部形态，控制所述显示屏显示手势图标。
另一方面，提供了一种基于手势执行操作的装置，应用于显示设备中，所述装置包括：
获取模块，用于获取图像采集设备采集的用户图像中的用户的中心关键点和手部关键点的图像位置坐标；
第一确定模块，用于根据所述中心关键点的图像位置坐标，确定所述用户图像与所述显示屏之间的坐标映射关系，所述中心关键点对应所述显示屏的中心点；
第二确定模块，用于根据所述手部关键点的图像位置坐标和所述坐标映射关系，确定所述手部关键点的屏幕位置坐标，根据所述手部关键点，确定手部形态；
执行模块，用于根据所述手部关键点的屏幕位置坐标和所述手部形态执行对应的操作。
可选地，所述获取模块用于：
通过人体关键点检测模型检测所述用户图像中的用户的两个肩部关键点和多个手部关键点；
确定所述两个肩部关键点和所述多个手部关键点在第一图像坐标系下的图像位置坐标，所述第一图像坐标系为所述用户图像的原始图像坐标系；
根据所述两个肩部关键点的图像位置坐标，确定两个肩部关键点的连线的中点在所述第一图像坐标系下的图像位置坐标，并将所述两个肩部关键点的连线的中点在所述第一图像坐标系下的图像位置坐标作为所述中心关键点在所述第一图像坐标系下的图像位置坐标。
可选地，所述第一确定模块用于：
根据所述中心关键点的图像位置坐标，在所述用户图像中确定第一图像区域；
根据所述第一图像区域确定所述坐标映射关系。
可选地，所述第一图像区域为矩形区域，且所述第一图像区域的中心点与所述中心关键点重合，所述第一确定模块用于：
建立第二图像坐标系，所述第二图像坐标系的原点为所述中心关键点，且X轴平行于所述用户图像的宽度方向，Y轴平行于所述用户图像的高度方向；
确定所述用户的肩宽，并根据所述用户的肩宽确定所述第一图像区域的各个角点与所述第二图像坐标系的Y轴之间的距离；
根据所述显示屏的像素分辨率的横纵比和所述各个角点与所述第二图像坐标系的Y轴之间的距离，确定所述各个角点与所述第二图像坐标系的X轴之间的距离；
根据所述各个角点与所述第二图像坐标系的X轴之间的距离以及所述各个角点与所述第二图像坐标系的Y轴之间的距离，确定所述第一图像区域。
可选地，所述第一确定模块还用于：
根据所述第一图像区域的第一角点在第二图像坐标系下的图像位置坐标和所述显示屏的第二角点在显示屏坐标系下的屏幕位置坐标，确定所述第二图像坐标系与所述显示屏坐标系之间的坐标转换关系，所述显示屏坐标系的原点为所述显示屏中心点，且X轴平行于所述显示屏的宽度方向，Y轴平行于所述显示屏的高度方向；
根据所述第二图像坐标系与所述显示屏坐标系之间的坐标转换关系确定所述用户图像与所述显示屏之间的坐标映射关系。
可选地，所述第二确定模块用于：
根据所述坐标映射关系将所述手部关键点的图像位置坐标转换至所述显示屏坐标系下，得到所述手部关键点的屏幕位置坐标；
可选地，所述第二确定模块用于：
根据所述手部关键点的图像位置坐标检测所述用户的手部是否位于所述第一图像区域内；
若所述用户的手部位于所述第一图像区域内，则执行所述根据所述手部关键点的图像位置坐标和所述坐标映射关系，确定所述手部关键点的屏幕位置坐标的步骤。
可选地，所述第二确定模块还用于：
根据多个手部关键点的图像位置坐标确定手部的重心位置坐标；
确定每个手部关键点的图像位置坐标与所述重心位置坐标的相对坐标；
将每个手部关键点的相对坐标作为手部形态检测模型的输入，通过所述手部形态检测模型确定所述手部形态。
可选地，所述执行模块用于：
获取所述手部关键点的历史屏幕位置坐标和历史手部形态，所述手部关键点的历史屏幕位置坐标和历史手部形态根据所述用户图像的前n帧图像确定得到；
根据在当前时刻确定的所述手部关键点的当前屏幕位置坐标和历史屏幕位置坐标，确定手部的运动轨迹；
根据当前手部形态和历史手部形态，确定所述手部的运动状态；
根据所述手部的运动轨迹和运动状态以及所述显示屏上的各个组件的屏幕位置坐标，生成操作指令；
执行所述操作指令对应的操作。
可选地，所述装置还包括：
显示模块，用于根据所述手部关键点的屏幕位置坐标和所述手部形态，控制所述显示屏显示手势图标。
另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被计算机执行时实现上述所述基于手势执行操作的方法的步骤。
另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述的基于手势执行操作的方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括：
在本申请实施例中，用户图像与显示屏之间的坐标映射关系是根据用户的中心关键点的图像位置坐标确定出来的，而用户的中心关键点的图像位置坐标又是根据实时采集的用户图像确定出来的，因此可见，用户图像与显示屏之间的坐标映射关系是根据用户所处的位置实时确定的。并且，由于用户的中心关键点对应于显示屏的中心点，因此，当用户在操作显示屏时，即使用户所处的位置发生改变，也能够保证用户的手部关键点能够大概率的映射至显示屏上，也即，在本申请实施例中，即使用户的位置实时变更不处于特定区域内，也能够保证用户的手部关键点映射至显示屏，从而使得用户能够在任意位置对显示设备进行操作，提高了显示设备的操作灵活性和便捷性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种显示设备与控制装置之间操作场景的示意图；
图2是根据一示例性实施例示出的一种显示设备的硬件配置框图；
图3是本申请实施例提供的一种基于手势执行操作的方法流程图；
图4是本申请实施例提供的一种第一图像坐标系的示意图；
图5是本申请实施例提供的一种第二图像坐标系的示意图；
图6是本申请实施例提供的一种显示屏坐标系的示意图；
图7是本申请实施例示出的一种显示设备利用本申请实施例提供的方法来识别用户手势的效果图；
图8是本申请实施例提供的一种基于手势执行操作的装置的示意图；
图9是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
基于本申请实施例中示出的示例性实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。此外，虽然本申请实施例中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解，本申请实施例中说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请实施例中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
本申请实施例中使用的术语“手势”，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。
在对本申请实施例进行详细的解释说明之前，先对本申请实施例的应用场景予以介绍。
目前，随着计算机技术的发展，各类电子产品都在朝着智能化的方向发展，与此同时，用户也希望用一种更加轻松、高效的方式来使用各类电子产品。例如，对于诸如智能电视之类的显示设备，用户希望能够脱离遥控器实现对显示设备的控制。为了满足用户在智能操控方面的需求，相关技术中提出了一种能够通过手势进行控制的显示设备。在相关技术中，显示设备可以采集用户图像，并建立用户图像的原始图像坐标系与显示设备的显示屏坐标系之间的映射关系，进而将用户图像中采集的用户手势映射至显示设备的显示屏中。在这种情况下，当采集到的用户图像中用户处于某些偏离用户图像的中心区域的区域内时，用户的手势将可能无法映射到显示屏的操作区域内。由此可见，在相关技术中，只有保证用户处于特定的区域内以使采集到的图像中的用户处于中心区域，才能够保证显示设备可以通过用户图像识别到用户的手势，进而根据识别到的用户手势执行相应的操作。也即，相关技术中要求用户必须处于特定的位置才能实现对显示设备的控制，用户所处的位置的偏差会严重影响显示设备的响应。基于此，本申请实施例提供了一种基于手势执行操作的方法，该方法可以应用于对诸如智能电视等显示设备的操作中，可以极大的避免用户所处的位置的偏差影响显示设备的响应的情况的发生，从而使得用户操作起来更加的灵活。
图1中示例性示出了一种显示设备与控制装置之间操作场景的示意图。如图1中示出，用户可通过移动终端300和控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
在一些实施例中，也可以使用智能手机、平板电脑、笔记本电脑、和其他移动终端以控制显示设备200。例如，使用在移动终端上运行的应用程序控制显示设备200。该应用程序可以配置在与移动终端关联的屏幕上，在直观的用户界面中为用户提供各种控制。
在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作和数据通信的目的。如：可以实现移动终端300与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端300上，通过控制移动终端300上用户界面，实现控制显示设备200的功能。也可以将移动终端300上显示的音视频内容传输到显示设备200上，实现同步显示功能。
如图1中还示出，显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过LAN(Local Area Network，局域网)、WLAN(Wireless Local AreaNetwork，无线局域网)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例性的，显示设备200通过发送和接收信息，以及EPG(Electronic ProgramGuide，电子节目指南)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
显示设备200，可以是液晶显示器、OLED(Organic ElectroluminescenceDisplay，有机电致发光显示器)、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。
显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视等。
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、第一接口255、显示屏275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。
在一些实施例中，显示屏275，用于接收源自处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。
在一些实施例中，显示屏275，包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件。
在一些实施例中，显示视频内容，可以来自广播电视内容，也可以是说，可通过有线或无线通信协议接收的各种广播信号。或者，可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
在一些实施例中，显示屏275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。
在一些实施例中，根据显示屏275类型不同，还包括用于驱动显示的驱动组件。
在一些实施例中，显示屏275为一种投影显示屏，还可以包括一种投影装置和投影屏幕。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器220可以包括WIFI(Wireless Fidelity，无线)模块221，蓝牙模块222，有线以太网模块223等其他网络通信模块或近场通信模块，以及红外接收器中的至少一种。
在一些实施例中，显示设备200可以通过通信器220与外部控制装置100或内容提供设备之间建立控制信号和数据信号的发送和接收。
在一些实施例中，用户接口265，可用于接收控制装置100(如：红外遥控器等)红外控制信号。
在一些实施例中，检测器230是显示设备200用于采集外部环境或与外部交互的信号。
在一些实施例中，检测器230包括光接收器，用于采集环境光线强度的传感器，可以通过采集环境光自适应性显示参数变化等。
在一些实施例中，检测器230还可以包括图像采集器232，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。
在一些实施例中，检测器230还可以包括温度传感器等，用于感测环境温度。
在一些实施例中，显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调，或当温度偏低的环境时，可以调整显示设备200显示图像偏暖色调。
在一些实施例中，检测器230还可以包括声音采集器231等，如麦克风，可以用于接收用户的声音。示例性的，可以用于接收用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应环境噪声。
在一些实施例中，如图2所示，第一接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。
在一些实施例中，外部装置接口240可以包括，但不限于如下：HDMI(HighDefinition Multimedia Interface，高清多媒体接口)241、CVBS(Composite VideoBroadcast Signal，复合视频广播信号)接口242、模拟或数据高清分量输入接口243、USB(Universal Serial Bus，通用串行总线)输入接口244、RGB(Red Green Blue，红绿蓝)端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
在一些实施例中，如图2所示，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。
在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。
在一些实施例中，广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调制信号，模拟调制信号等。或者根据信号种类不同区分为数字信号、模拟信号等。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一接口接收音视频信号。
在一些实施例中，控制器250，通过存储在存储器中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示屏275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。用于选择UI对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
如图2所示，控制器250包括RAM(Random Access Memory，随机存取存储器)251、ROM(Read-Only Memory，只读存储器)252、其他处理器(例如：GPU(Graphics ProcessingUnit，图形处理器)253、CPU(Central Processing Unit，中央处理器)254、通信接口，以及通信总线256中的至少一种。其中，通信总线连接各个部件。
在一些实施例中，RAM 251用于存储操作系统或其他正在运行中的程序的临时数据
在一些实施例中，ROM 252用于存储各种系统启动的指令。
在一些实施例中，ROM 252用于存储一个基本输入输出系统，称为BIOS(BasicInput Output System，基本输入输出系统)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。
在一些实施例中，在收到开机信号时，显示设备200电源开始启动，CPU运行ROM252中系统启动指令，将存储在存储器的操作系统的临时数据拷贝至RAM 251中，以便于启动或运行操作系统。当操作系统启动完成后，CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中,然后，以便于启动或运行各种应用程序。
在一些实施例中，CPU处理器254，用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可以包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下执行一种操作。
在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示屏上。
在一些实施例中，该显示设备200还包括视频处理器270，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理，可得到直接在显示设备200上显示或播放的信号。
在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块，则用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI(Graphical User Interface，图像用户接口)信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
帧率转换模块，用于对转换输入视频帧率，如将60Hz帧率转换为120Hz帧率或240Hz帧率，通常的格式采用如插帧方式实现。
显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。
在一些实施例中，图形处理器253可以和视频处理器270可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示屏的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如GPU+FRC(Frame Rate Conversion，帧率转换)架构。
在一些实施例中，该显示设备200还包括音频处理器280，该音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。
在一些实施例中，视频处理器270可以包括一颗或多颗芯片。音频处理器280也可以包括一颗或多颗芯片。
在一些实施例中，视频处理器270和音频处理器280，可以是单独的芯片，也可以与控制器一起集成在一颗或多颗芯片中。
在一些实施例中，音频输出接口285，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子287，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。
供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装在显示设备200内部的内置电源电路，也可以是安装在显示设备200的外部电源，在显示设备200中提供外接电源的电源接口。
用户接口265，用于接收用户的输入信号，然后，将接收到的用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以是通过网络通信模块接收到的各种用户控制信号。
在一些实施例中，用户通过控制装置100输入用户命令，显示设备200则通过控制器250响应用户的输入。
在一些实施例中，用户可在显示屏275上显示的GUI输入用户命令，则用户输入接口通过GUI接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户接口通过传感器识别出声音或手势，来接收用户输入命令。
在一些实施例中，“用户界面”是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是GUI，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
存储器260，包括存储用于驱动显示设备200的各种软件模块。如：存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。
基础模块用于显示设备200中各个硬件之间的信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。
例如，语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示屏进行显示图像内容的模块，可以用于播放多媒体图像内容和UI界面等信息。通信模块，用于与外部设备之间进行控制和数据通信的模块。浏览器模块，用于执行浏览服务器之间数据通信的模块。服务模块，用于提供各种服务以及各类应用程序在内的模块。同时，存储器260还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
接下来，对本申请实施例提供的基于手势执行操作的方法进行详细的介绍。
图3是本申请实施例提供的一种基于手势执行操作的方法，该方法可以应用于上述的显示设备中。如图3所示，该方法包括以下步骤：
步骤301：获取图像采集设备采集的用户图像中的用户的中心关键点和手部关键点的图像位置坐标。
在本申请实施例中，显示设备可以获取图像采集设备采集的用户图像，该图像采集设备可以是显示设备自身所包括的摄像头，也可以是外接的摄像头。在获取到用户图像之后，显示设备可以获取用户图像中的用户的中心关键点和手部关键点的图像位置坐标。
示例性地，显示设备在获取到用户图像之后，可以将用户图像输入到人体关键点检测模型中检测用户图像中的用户的两个肩部关键点和多个手部关键点，进而确定两个肩部关键点和多个手部关键点在第一图像坐标系下的图像位置坐标，该第一图像坐标系为用户图像的原始图像坐标系。然后根据两个肩部关键点的图像位置坐标，确定两个肩部关键点的连线的中点在第一图像坐标系下的图像位置坐标，并将两个肩部关键点的连线的中点在第一图像坐标系下的图像位置坐标作为中心关键点在第一图像坐标系下的图像位置坐标。
其中，该人体关键点检测模型是通过大量的包含有人体的图像数据预先训练好的模型。基于此，当该人体关键点检测模型接收到用户图像之后，可以对接收到的用户图像进行处理，以检测用户图像中的用户的两个肩部关键点和多个手部关键点。除此之外，该人体关键点检测模型还可以检测用户的头部关键点。
在检测到用户图像中用户的两个肩部关键点、多个手部关键点和一个头部关键点之后，显示设备可以在该用户图像中建立第一图像坐标系。如图4所示，该第一图像坐标系的坐标原点为用户图像的左上角点，X轴平行于用户图像的宽度方向，且正方向向右，Y轴平行于用户图像的高度方向，且正方向向下。为了方便区分，将该第一图像坐标系中任一点的图像位置坐标记作(x，y)。基于此，检测到的用户的两个肩部关键点在第一图像坐标系中的图像位置坐标分别记作Pl:(xl,yl)、Pr:(xr,yr)。其中，Pl为左肩关键点，Pr为右肩关键点。该显示设备可以根据用户的两个肩部关键点的图像位置坐标，确定两个肩部关键点的连线的中点O在第一图像坐标系下的图像位置坐标为((xl+xr)/2,(yl+yr)/2)。之后，将该用户的两个肩部关键点的连线的中点O在第一图像坐标系下的图像位置坐标作为该用户的中心关键点在该第一图像坐标系下的图像位置坐标。依据同样的方法，该显示设备也可以获得用户图像中用户的多个手部关键点在该第一图像坐标系下的图像位置坐标。
可选地，显示设备在建立第一图像坐标系之后，也可以根据用户的一个头部关键点Ph来获取用户图像中的用户的中心关键点的图像位置坐标。其中，获取该头部关键点Ph在第一图像坐标系中的图像位置坐标，记作(xh，yh)。在确定用户的头部关键点Ph在第一图像坐标系下的图像位置坐标之后，该显示设备可以将该头部关键点Ph的图像位置坐标作为该用户的中心关键点在该第一图像坐标系下的图像位置坐标。
步骤302：根据中心关键点的图像位置坐标，确定用户图像与显示屏之间的坐标映射关系，该中心关键点对应显示屏的中心点。
在本申请实施例中，显示设备根据用户的中心关键点在第一图像坐标系下的图像位置坐标，在用户图像中确定第一图像区域，然后，根据第一图像区域确定用户图像与显示屏之间的坐标映射关系。其中，该第一图像区域为矩形区域，且该第一图像区域的中心点与用户的中心关键点重合，并且，该第一图像区域的宽度方向与用户图像的宽度方向平行，高度方向与用户图像的高度方向平行。需要说明的是，在本申请实施例中，该第一图像区域的宽度大于人体宽度，且能够尽量保证用户的手部位于该宽度范围之内，例如，该第一图像区域的宽度可以为用户双臂展开的宽度。并且，该第一图像区域的宽高比等于显示屏的像素横纵比。
示例性地，该显示设备首先可以根据用户的中心关键点建立第二图像坐标系，如图5所示，该第二图像坐标系的原点O为用户的中心关键点，且该第二图像坐标系的X轴平行于该用户图像的宽度方向，且正方向向右，Y轴平行于该用户图像的高度方向，且正方向向上。在建立第二图像坐标系之后，该显示设备可以确定用户的肩宽，并根据用户的肩宽确定第一图像区域的各个角点与第二图像坐标系的Y轴之间的距离；然后根据显示屏的像素分辨率的横纵比和各个角点与第二图像坐标系的Y轴之间的距离，确定各个角点与第二图像坐标系的X轴之间的距离；进而根据各个角点与第二图像坐标系的X轴之间的距离以及各个角点与该第二图像坐标系的Y轴之间的距离，确定第一图像区域。
需要说明的是，在本申请实施例中，显示设备可以根据用户的两个肩部关键点在第一图像坐标系下或在第二图像坐标系下的图像位置坐标来确定用户的肩宽，之后，根据用户的肩宽和预设参数，确定第一图像区域的各个角点与第二图像坐标系的Y轴之间的距离。
其中，为了方便区分，将该第二图像坐标系中任一点的图像位置坐标记作(x′，y′)。这样，该用户的两个肩部关键点在该第二图像坐标系中的图像位置坐标记作Pl(x′l，y′l)，Pr(x′r，y′r)，由前述介绍可知，该第二图像坐标系的原点为用户图像中用户的中心关键点，且该用户的中心关键点在第一图像坐标系下的图像位置坐标为用户的两个肩部关键点的连线的中点O在第一图像坐标系下的图像位置坐标。基于此，可得该用户的两个肩部关键点在第二图像坐标系中的图像位置坐标中的x′l＝(xl-xr)/2，y′l＝(yr-yl)/2，x′r＝(xr-xl)/2，y′r＝(yl-yr)/2，也即该用户的两个肩部关键点在该第二图像坐标系下的图像位置坐标为Pl:((xl-xr)/2，(yr-yl)/2)，Pr:((xr-xl)/2，(yl-yr)/2)。在得到用户的两个肩部关键点在第二图像坐标系下的图像位置坐标之后，可以通过用户的两个肩部关键点的图像位置坐标确定用户的肩宽，其中确定用户的肩宽的计算方法参考下述公式(1)。
可选地，该显示设备还可以根据用户的两个肩部关键点在第一图像坐标系中的图像位置坐标确定用户的肩宽(xr-xl)。
在确定出用户的肩宽之后，该显示设备可以基于用户的肩宽和预设参数α，确定第一图像区域的各个角点与第二图像坐标系的Y轴之间的距离。其中，该第一图像区域的各个角点指的是该第一图像区域所在的矩形区域的四个顶点。
需要说明的是，在本申请实施例中，第一图像区域可以为一个矩形区域，且中心与第二图像坐标系的原点重合，并且，第一图像区域的宽度方向可以与用户图像的宽度方向平行，高度方向可以与用户图像的高度方向平行，这样，该第一图像区域的各个角点与第二图像坐标系的Y轴之间的距离将是相等的，且该第一图像区域的各个角点与第二图像坐标系的X轴之间的距离也将是相等的。在这种情况下，以其中一个角点为例，例如图5中所示的角点A，将该角点A在该第二图像坐标系中的图像位置坐标记为(x′0，y′0)。其中，x′0即为角点A与该第二图像坐标系的Y轴之间的距离，y′0即为角点A与该第二图像坐标系的x轴之间的距离。基于此，可以通过下述公式(2)来计算第一图像区域的角点A与第二图像坐标系的Y轴之间的距离x′0。
x′0＝α(xr-xl)/2 (2)
其中，(xr-xl)为用户的肩宽，α为预设参数，x′0即为第一图像区域的角点A与第二图像坐标系的Y轴之间的距离，也即第一图像区域的各个角点与第二图像坐标系的Y轴之间的距离。
在确定出第一图像区域的各个角点与第二图像坐标系Y轴之间的距离之后，该显示设备可以根据各个角点与第二图像坐标系的Y轴之间的距离和显示屏的像素分辨率的横纵比，确定该第一图像区域的各个角点与第二图像坐标系的X轴之间的距离。
仍以前述的角点A为例，该角点A与第二图像坐标系的X轴之间的距离为可记为y′0，由此可得，该第一图像区域的横纵比为x′0/y′0。在本申请实施例中，为了方便用户对显示设备进行操作，可以将显示屏的像素分辨率的横纵比作为第一图像区域的横纵比，基于此，可得下述关系式(3)。
基于上述关系式(3)，该显示设备可以通过下述公式(4)来得到图像采集区域的各个角点与第二图像坐标系的X轴之间的距离y′0。
在计算出第一图像区域的各个角点与第二图像坐标系的Y轴之间的距离x′0以及各个角点与第二图像坐标系的X轴之间的距离y′0之后，由于第一图像区域的中心点与第二图像坐标系的原点重合，且该第一图像区域为宽度方向与X轴平行，高度方向与Y轴平行的矩形区域，因此可知，该第一图像区域在第二图像坐标系下的水平坐标范围为(-x′0，x′0)，垂直坐标范围为(-y′0，y′0)。
可选地，在另一种可能的实现方式中，如果用户的中心关键点为用户的头部关键点。在这种情况下，该显示设备可以预先设置一个用户的肩宽，进而根据该预设的肩宽与预设参数α，来确定第一图像区域，其中根据预设的肩宽和预设参数确定第一图像区域的方法可以参考上述介绍的确定第一图像区域的方法，本申请实施例对此不再赘述。
在确定出第一图像区域之后，该显示设备可以根据该第一图像区域确定用户图像与显示屏之间的坐标映射关系，其中，该第一图像区域的中心点对应显示屏的中心点。
示例性地，该显示设备首先可以建立一个显示屏坐标系，如图6所示，该显示屏坐标系的原点为显示屏的中心点，且X轴平行于显示屏的宽度方向，正方向向右，Y轴平行于显示屏的高度方向，正方向向上，为了方便区分，将该显示屏坐标系中任一点的图像位置坐标记作(X，Y)。在此基础上，为了保证用户手势能够映射至显示屏的中心区域，在本申请实施例中，显示设备可以将第一图像区域的中心点映射到显示屏的中心点上，也即将用户的中心关键点映射至显示屏的中心点。由于第一图像区域的中心点即为第二图像坐标系的原点，而显示屏的中心点为显示屏坐标系的原点，因此，将第一图像区域的中心点映射到显示屏的中心点实际上相当于是将第二图像坐标系的原点映射至显示屏坐标系的原点，也即相当于将第二图像坐标系映射到显示屏坐标系。基于此，在本申请实施例中，该显示设备可以根据第一图像区域的第一角点在第二图像坐标系下的图像位置坐标和显示屏的第二角点在显示屏坐标系下的屏幕位置坐标，确定第二图像坐标系与显示屏坐标系之间的坐标转换关系。进而将第二图像坐标系与显示屏坐标系之间的坐标转换关系确定用户图像与显示屏之间的坐标映射关系。
其中，该第一角点为第一图像区域的四个角点中的任一角点，第二角点为显示屏的四个角点中与第一图像区域中的第一角点对应的角点。
例如，仍以图5和图6所示的第一图像区域的角点A作为第一图像区域的第一角点，将显示屏的角点B作为显示屏的第二角点。其中，该第一图像区域的角点A和显示屏的角点B均为所在矩形区域的右上角点，也即，二者是对应的角点。由前述介绍可知，该第一图像区域的角点A在第二图像坐标系下的图像位置坐标为(x′0，y′0)；由于显示屏的像素分辨率的横纵比为M/N，则可以将该显示屏的角点B在该显示屏坐标系下的屏幕位置坐标记作(M，N)，则可将第二图像坐标系与显示屏坐标系之间的坐标转换关系用下述公式(5)表示。
由上述公式5可知，第二图像坐标系中任一点的横坐标与该点在显示屏坐标系下对应的点的横坐标之间的比值为或/>同理，第二图像坐标系中任一点的纵坐标与该点在显示屏坐标系下对应的点的纵坐标之间的比值也为/>或/>基于此，显示设备可以将上述公式5中所表征的第二图像坐标系与显示屏坐标系之间的坐标转换关系确定为用户图像与显示屏之间的坐标映射关系。
由上述介绍可知，第二图像坐标系的原点为用户图像中用户的中心关键点，且第一图像区域的中心点为第二图像坐标系的原点，而显示屏的中心点为显示屏坐标系的原点。因此，基于上述用户图像与显示屏之间的坐标映射关系可知，不论用户是否位于采集到的用户图像的中心区域，显示设备都可以根据用户的位置实时确定第一图像区域，进而根据坐标映射关系将第一图像区域映射到显示屏的中心区域，方便用户后续对显示设备进行操作。
步骤303：根据手部关键点的图像位置坐标和坐标映射关系，确定手部关键点的屏幕位置坐标，根据手部关键点，确定手部形态。
在本申请实施例中，在确定出用户图像与显示屏之间的坐标映射关系之后，显示设备还可以根据前述检测到的用户图像中多个手部关键点的图像位置坐标以及坐标映射关系确定手部关键点的屏幕位置坐标，然后根据手部关键点，确定手部形态。
需要说明的是，显示设备在确定用户的多个手部关键点的屏幕位置坐标之前，首先可以根据用户的手部关键点的图像位置坐标检测用户的手部是否位于第一图像区域内，若用户的手部位于第一图像区域内，则执行根据手部关键点的图像位置坐标和坐标映射关系，确定手部关键点的屏幕位置坐标的步骤。
示例性地，由前述步骤301可知，该显示设备获得了用户的多个手部关键点在第一图像坐标系下的图像位置坐标，基于此，显示设备根据第一图像坐标系与第二图像坐标系之间的转换关系，将多个手部关键点在第一图像坐标系下的图像位置坐标转换至第二图像坐标系下。
其中，由前述步骤302介绍可知，第二图像坐标系的原点为用户图像中用户的中心关键点，且该用户的中心关键点在第一图像坐标系下的图像位置坐标为用户的两个肩部关键点的连线的中点O在第一图像坐标系下的图像位置坐标。由此可得第二图像坐标系中的每一点的横坐标相对第一图像坐标系位移了纵坐标相对第一图像坐标系位移了/>基于此，以用户的多个手部关键点中的任一手部关键点为例，假设该手部关键点在第一图像坐标系中对应的图像位置坐标为(x1，y1)，则显示设备可以根据上述第一图像坐标系与第二图像坐标系之间的坐标转换关系，通过下述公式(6)和公式(7)确定得到该手部关键点在第二图像坐标系下的图像位置坐标，将该手部关键点在第二图像坐标系下的图像位置坐标记作(x′1，y′1)。
依据同样的方法，显示设备可以确定出用户的多个手部关键点在第二图像坐标系下的图像位置坐标。在确定出用户的多个手部关键点在第二图像坐标系下的图像位置坐标之后，显示设备可以根据多个手部关键点在第二图像坐标系下的图像位置坐标，判断用户的手部是否处于第一图像区域内。
需要说明的是，由于多个手部关键点中有部分手部关键点可能为左手的，另一部分手部关键点可能为右手的，因此，在本申请实施例中，该显示设备可以将用户图像中检测到的多个手部关键点根据在第二图像坐标系下的图像位置坐标进行聚类，根据聚类结果确定出各个手部关键点所属的手部，也即，确定哪些手部关键点属于左手，哪些手部关键点属于右手。之后，显示设备可以根据各个手部关键点在第二图像坐标系下的图像位置坐标，从各个手部对应的手部关键点中获取位于第一图像区域内的手部关键点，进而根据各个手部对应的位于第一图像区域内的手部关键点的数量来判断相应手部是否位于第一图像区域。
示例性地，由前述介绍可知，第一图像区域在第二图像坐标系下的水平坐标范围为(-x′0，x′0)，垂直坐标范围为(-y′0，y′0)。以任一手部对应的一个手部关键点为例，当该手部关键点在第二图像坐标系下的图像位置坐标(x′1，y′1)满足下述公式(8)和公式(9)时，表明该手部关键点处于第一图像区域内。
-x′0<x′1<x′0 (8)
-y′0<y′1<y′0 (9)
通过上述公式(8)和公式(9)，该显示设备可以确定出用户的每个手部对应的手部关键点中哪些手部关键点处于第一图像区域内。
之后，显示设备可以统计每个手部对应的手部关键点中位于第一图像区域内的手部关键点的数量，如果该数量与相应手部对应的手部关键点的总数量的比值大于比例阈值时，则确定相应手部位于第一图像区域。
例如，假设比例阈值为4/5，用户的某只手的手部关键点一共有23个，其中有20个手部关键点位于第一图像区域内，则位于第一图像区域内的手部关键点的数量占总数量的比例超过了4/5，此时，认为用户的该只手位于第一图像区域内。
由前述步骤302的介绍可知，第一图像区域的中心点对应显示屏的中心点，四个角点对应显示屏的四个角点，由此可知，第一图像区域实际就对应整个显示屏的显示区域。在此基础上，如果用户的左手和/或右手位于第一图像区域内，则说明用户的左手和/或右手的坐标能够映射至显示屏，这样，该显示设备将能够对该手部的手势操作进行响应，也即，此时，用户的左手和/或右手位于有效操作区域内。如果用户的任一手部位于第一图像区域之外，则由于第一图像区域之外的坐标无法映射至显示屏，所以，显示设备将无法对该手部的手势进行响应，也即，该手部没有处于有效操作区域之内。基于此，当检测到用户的左手和/或右手位于第一图像区域之后，显示设备可以根据第二图像坐标系与显示屏坐标系之间的坐标映射关系将用户位于第一图像区域内的各个手部关键点在第二图像坐标系下的图像位置坐标转换至显示屏坐标系下，从而得到用户的各个手部关键点的屏幕位置坐标。
示例性地，以用户位于第一图像区域内的多个手部关键点中的任一手部关键点为例，该显示设备可以根据前述步骤102介绍的第二图像坐标系与显示屏坐标系之间的坐标转换关系，通过下述公式(10)和公式(11)确定该手部关键点在显示屏坐标系中的屏幕位置坐标(X1，Y1)。
当然，根据公式(5)所示的坐标转换关系，该手部关键点在显示屏坐标系下的屏幕位置坐标(X1，Y1)也可以由下述公式(12)和公式(13)来表示。
依据同样的方法，该显示设备可以得到用户位于第一图像区域内的多个手部关键点的屏幕位置坐标。
在得到用户位于第一图像区域内的多个手部关键点的屏幕位置坐标之后，该显示设备可以根据每个手部对应的手部关键点的屏幕位置坐标确定相应手部的重心位置坐标，确定每个手部对应的手部关键点的屏幕位置坐标与相应手部的重心位置坐标的相对坐标，将每个手部对应的手部关键点的相对坐标作为手部形态检测模型的输入，通过该手部形态检测模型确定相应手部的手部形态。
示例性地，假设该用户位于第一图像区域内某只手的手部关键点有n个，且该用户的n个手部关键点在显示屏坐标系下的屏幕位置坐标为(X1，Y1)、(X2、Y2)、……、(Xn，Yn)，那么根据该n个手部关键点的屏幕位置坐标确定的该只手的重心位置坐标的横坐标可以通过下述公式(14)来计算，纵坐标/>可以通过下述公式(15)来计算。
在计算出用户手部的重心位置坐标之后，可以将用户的这只手对应的手部关键点的屏幕位置坐标的横坐标减去重心位置坐标的横坐标，将用户的这只手对应的每个手部关键点的屏幕位置坐标的纵坐标减去重心位置坐标的纵坐标，进而得到这只手的每个手部关键点的相对坐标。
在得到每个手部的手部关键点的相对坐标之后，该显示设备可以将每个手部的手部关键点的相对坐标输入至手部形态检测模型中，通过该手部形态检测模型确定相应的手部形态。
其中，该手部形态检测模型是预先训练好的可以区分手部形态的模型，其中，该手部形态分为抓取和松开两种形态。基于此，当该手部形态检测模型接收到用户的某只手的多个手部关键点的相对坐标之后，可以对该多个手部关键点的相对坐标进行处理，进而确定出用户的该只手部的形态是抓取形态还是松开形态。
可选地，在另一种可能的实现方式中，该显示设备也可以根据各个手部关键点的图像位置坐标确定各个手部关键点的相对坐标，进而参考上述方法根据每个手部关键点的相对坐标和手部形态检测模型确定手部形态。
其中，该显示设备可以根据各个手部关键点的图像位置坐标确定手部的重心位置坐标；进而将每个手部关键点的图像位置坐标中的横坐标减去重心位置坐标的横坐标，将每个手部关键点的图像位置坐标的纵坐标减去重心位置坐标的纵坐标，确定每个手部关键点的相对坐标。其中，在上述确定手部关键点的相对坐标的过程中所采用的各个手部关键点的图像位置坐标可以为各个手部关键点在第一图像坐标系下的图像位置坐标，也可以为各个手部关键点在第二图像坐标系下的图像位置坐标，具体的计算方法可以参考上述介绍的在显示屏坐标系下计算每个手部关键点的相对坐标的方法，本申请实施例对此不再赘述。
可选地，在本申请实施例中，该显示设备在获取到该手部形态检测模型输出的手部形态之后，还可以根据手部形态在显示屏上显示对应的手势图标。其中，该手势图标分为左手图标和右手图标。以左手为例，如果该手部形态检测模型根据左手对应的手部关键点的相对坐标确定出用户的左手呈现抓取形态，则该显示屏上显示的左手图标相应的呈现抓取形态，如果该手部形态检测模型根据左手对应的手部关键点的相对坐标检测到的用户的左手呈现松开形态，则该显示屏上显示的左手图标相应的呈现松开形态。
另外，该显示屏上显示的手势图标的数量与位于第一图像区域中用户的手部的数量一致，也就是说，如果该显示设备检测到用户的左手位于第一图像区域内，则在该显示屏上显示左手图标；如果该显示设备检测到用户的右手位于第一图像区域内，则在该显示屏上显示右手图标；如果该显示设备检测到用户的双手均位于该第一图像区域内，则在该显示屏上同时显示左手图标的右手图标；如果该显示设备检测到双手均不位于该第一图像区域内时，则不在该显示屏上显示手势图标。
进一步地，在本申请实施例中，在显示屏上显示手势图标时，还可以根据手部关键点的屏幕位置坐标，在相应的屏幕位置上显示对应的手势图标。例如，显示设备可以根据各个手部关键点的屏幕位置坐标和手部形态，在显示屏对应的位置上绘制包含有各个手部关键点的手势图标。
步骤304：根据手部关键点的屏幕位置坐标和手部形态执行对应的操作。
在本申请实施例中，在确定出用户的手部关键点的屏幕位置坐标和手部形态之后，将当前确定出的用户的手部关键点的屏幕位置坐标称为当前屏幕位置坐标，将当前确定出的用户的手部形态称为当前手部形态，之后，该显示设备获取手部关键点的历史屏幕位置坐标和历史手部形态。其中，手部关键点的历史屏幕位置坐标和历史手部形态根据用户图像的前n帧图像确定得到；根据在当前时刻确定的手部关键点的当前屏幕位置坐标和历史屏幕位置坐标，确定手部的运动轨迹；根据当前手部形态和历史手部形态，确定手部的运动状态；根据手部的运动轨迹和运动状态以及显示屏上的各个组件的屏幕位置坐标，生成操作指令；进而该显示设备执行操作指令对应的操作。
需要说明的是，在本申请实施例中，在该显示设备处于工作状态时，图像采集设备可以持续采集用户图像。每当显示设备通过图像采集设备采集到一帧用户图像时，都可以参考上述方法来确定该帧用户图像中用户的手部关键点的屏幕位置坐标和手部形态。基于此，当显示设备在当前时刻确定出当前这一帧用户图像中的手部关键点的屏幕位置坐标和手部形态之后，可以获取当前用户图像的前n帧图像中用户的手部关键点的历史屏幕位置坐标和历史手部形态。
在获取到用户的手部关键点的当前屏幕位置坐标和历史屏幕位置坐标之后，以用户的任一只手部为例，该显示设备可以通过前述介绍的方法根据用户的手部关键点的当前屏幕位置坐标确定位于第一图像区域内的用户的该只手部的当前重心位置坐标，并根据前n帧图像中每一帧图像对应的手部关键点的历史屏幕坐标，确定每一帧图像对应的该只手部的历史重心位置坐标。之后，显示设备按照当前时刻采集到这一帧用户图像以及当前时刻之前采集到的前n帧图像的先后顺序，将各个图像对应的该只手部的重心位置坐标连接起来，从而得到该只手部的运动轨迹。
除此之外，该显示设备可以按照当前时刻采集到的这一帧用户图像以及当前时刻之前采集到的前n帧用户图像的先后顺序，对各帧图像中检测到的每只手部的手部形态进行排序，进而基于排序后的手部形态来确定用户的手部的运动状态。
例如，以前5帧用户图像为例，若该显示设备按照当前时刻采集到的这一帧用户图像以及前5帧用户图像的先后顺序对检测到的手部形态进行排序后得到的排序结果为：抓取形态、抓取形态、松开形态、松开形态、松开形态、松开形态，则该显示设备确定用户的手部的运动状态为从抓取形态变为松开形态。
在确定出位于第一图像区域内的每只手部的运动轨迹和运动状态之后，显示设备根据每只手部的运动轨迹和运动状态，结合显示屏上的组件的位置来生成操作指令。
其中，该显示屏上包含有多个组件，该多个组件中的每个组件在显示屏坐标系下对应一个的屏幕位置坐标。其中，显示屏上的组件可以为显示屏上的应用图标，或者是显示屏上显示的窗口组件，或者是诸如控制框等组件，本申请实施例对此不做限定。
示例性地，如果用户的一只手部位于第一图像区域内，则显示设备通过上述方式将获得该只手部的运动轨迹，在此基础上，显示设备根据该只手部的运动轨迹来判断该只手部是否一直在移动，如果手部一直在移动，则显示设备可以进一步根据该只手部的运动轨迹确定该只手部所经过的组件，进而根据该只手部的运动状态和该只手部的运动轨迹所经过的组件来生成操作指令。
其中，如果该只手部的运动状态为保持松开形态经过该显示屏上的组件，则该显示设备可以生成第一操作指令，该第一操作指令用于指示不进行响应，也即不执行操作。
如果该只手部的运动状态为保持抓取形态，且目标组件在每个时刻的屏幕位置坐标均位于该只手部的移动轨迹上，则显示设备生成第二操作指令，该第二操作指令用于指示拖动该目标组件。
如果显示设备根据该只手部的运动轨迹确定该只手部停留在某个位置上，则显示设备可以根据该只手部停留的位置、显示屏上组件的屏幕位置坐标以及手部的运动状态生成操作指令。
示例性地，显示设备检测该只手部停留的位置上是否存在目标组件，如果该位置上存在目标组件，且手部的运动状态为由松开形态变为保持抓取形态，则生成第三操作指令，该第三操作指令用于指示选中该目标组件。其中，当该目标组件为应用图标时，该第三操作指令用于指示选中该应用图标。当该目标组件为窗口按钮时，则该第三操作指令用于指示点击该窗口按钮。
需要说明的是，在该种情况中，若显示设备在后续采集到的用户图像中检测到用户的该只手部仍然为抓取状态，且该只手部开始移动时，则该显示设备可以生成前述的第二操作指令，以执行对该目标组件的拖动操作。
可选地，如果该只手部停留的位置上存在目标组件，且手部的运动状态为从松开形态变为抓取形态再变为松开形态，则生成第四操作指令，所述第四操作指令用于指示启动该目标组件。
可选地，如果用户的双手均位于第一图像区域内，则显示设备通过前述介绍的方法将会获得用户的每只手部的运动轨迹和运动状态。在这种情况下，显示设备直接根据用户的双手的运动轨迹和运动状态来生成操作指令。
其中，如果用户的双手的运动状态均为保持抓取形态，且双手的运动轨迹指示用户的两只手部向着两侧分离，则显示设备生成第五操作指令，所述第五操作指令用于指示放大显示屏的屏幕。
可选地，如果用户的双手的运动状态均为保持抓取形态，且双手的运动轨迹指示用户的两只手部向着显示屏的中心聚拢，则显示设备生成第六操作指令，所述第六操作指令用于指示缩小显示屏的屏幕。
需要说明的是，在本申请实施例中，当显示设备根据上述的任一操作指令执行对应的操作时，该显示设备还可以显示对应的手势图标。例如，当显示设备根据用户手部的移动而对某个组件执行拖动操作时，该显示设备上的手势图标随着用户的手部位置的变化而变化。
当然，在某些可能的情况下，用户的手部的不同运动轨迹和运动状态也可以对应生成不同的操作指令，上述仅是本申请实施例给出的一些示例性地说明，并不构成对本申请实施例的限定。
在本申请实施例中，用户图像与显示屏之间的坐标映射关系是根据用户的中心关键点的图像位置坐标确定出来的，而用户的中心关键点的图像位置坐标又是根据实时采集的用户图像确定出来的，因此可见，用户图像与显示屏之间的坐标映射关系是根据用户所处的位置实时确定的。并且，由于用户的中心关键点对应于显示屏的中心点，因此，当用户在操作显示屏时，即使用户所处的位置发生改变，也能够保证用户的手部关键点能够大概率的映射至显示屏上，也即，在本申请实施例中，即使用户的位置实时变更不处于特定区域内，也能够保证用户的手部关键点映射至显示屏，从而使得用户能够在任意位置对显示设备的桌面进行操作，提高了显示设备的操作灵活性和便捷性。
图7是本申请实施例给出的一种显示设备利用本申请实施例提供的方法来识别用户手势的效果图。如图7所示，无论用户处于用户图像的中心区域、靠左边的区域还是靠右边的区域，显示设备均可以基于用户的中心关键点确定出第一图像区域，进而基于坐标映射关系，将第一图像区域映射到显示屏上。由于用户的手部在很大概率上将会位于该第一图像区域内，因此，通过将第一图像区域映射到显示屏上，能够在很大概率上将用户手部的坐标也映射至显示屏上。例如，如图7所示，当用户的双手都位于第一图像区域内时，用户的手部关键点A和手部关键点B均可以映射到显示屏，当用户的一只手位于第一图像区域内时，用户的该只手的手部关键点C可以映射到显示屏。当然，图7仅为一种示例性的举例，并不对本申请实施例造成限定。由此可见，在本申请实施例中，即使用户的位置实时变更不处于特定区域内，也能够保证用户的手部关键点映射至显示屏，从而使得用户能够在任意位置对显示设备的桌面进行操作，提高了显示设备的操作灵活性和便捷性。
接下来，对本申请实施例提供的基于手势执行操作的装置进行介绍。
参见图8，本申请实施例提供了一种基于手势执行操作的装置800，该装置800包括：获取模块801、第一确定模块802、第二确定模块803和执行模块804。
获取模块801，获取图像采集设备采集的用户图像中的用户的中心关键点和手部关键点的图像位置坐标；
第一确定模块802，用于根据中心关键点的图像位置坐标，确定用户图像与显示屏之间的坐标映射关系，中心关键点对应显示屏的中心点；
第二确定模块803，用于根据手部关键点的图像位置坐标和坐标映射关系，确定手部关键点的屏幕位置坐标，根据手部关键点，确定手部形态；
执行模块804，用于根据手部关键点的屏幕位置坐标和手部形态执行对应的操作。
可选地，获取模块801用于：
通过人体关键点检测模型检测用户图像中的用户的两个肩部关键点和多个手部关键点；
确定两个肩部关键点和多个手部关键点在第一图像坐标系下的图像位置坐标，第一图像坐标系为用户图像的原始图像坐标系；
根据两个肩部关键点的图像位置坐标，确定两个肩部关键点的连线的中点在第一图像坐标系下的图像位置坐标，并将两个肩部关键点的连线的中点在第一图像坐标系下的图像位置坐标作为中心关键点在第一图像坐标系下的图像位置坐标。
可选地，第一确定模块802用于:
根据中心关键点的图像位置坐标，在用户图像中确定第一图像区域；
根据第一图像区域确定坐标映射关系。
可选地，第一图像区域为矩形区域，且第一图像区域的中心点与中心关键点重合，第一确定模块802用于：
建立第二图像坐标系，第二图像坐标系的原点为中心关键点，且X轴平行于用户图像的宽度方向，Y轴平行于用户图像的高度方向；
确定用户的肩宽，并根据用户的肩宽确定第一图像操作区域的各个角点与第二图像坐标系的Y轴之间的距离；
根据显示设备的像素分辨率的横纵比和各个角点与第二图像坐标系的Y轴之间的距离，确定各个角点与第二图像坐标系的X轴之间的距离；
根据各个角点与第二图像坐标系的X轴之间的距离以及各个角点与第二图像坐标系的Y轴之间的距离，确定第一图像区域。
可选地，第一确定模块802还用于：
根据第一图像区域的第一角点在第二图像坐标系下的图像位置坐标和显示屏的第二角点在显示屏坐标系下的屏幕位置坐标，确定第二图像坐标系与显示屏坐标系之间的坐标转换关系，显示屏坐标系的原点为显示屏的中心点，且X轴平行于显示屏的宽度方向，Y轴平行于显示屏的高度方向；
根据第二图像坐标系与显示屏坐标系之间的坐标转换关系确定用户图像与显示屏之间的坐标映射关系。
可选地，第二确定模块803用于：
根据坐标映射关系将手部关键点的图像位置坐标转换至显示屏坐标系下，得到手部关键点的屏幕位置坐标；
可选地，第二确定模块803用于：
根据手部关键点的图像位置坐标检测用户的手部是否位于第一图像区域内；
若用户的手部位于第一图像区域内，则执行根据手部关键点的图像位置坐标和坐标映射关系，确定手部关键点的屏幕位置坐标的步骤。
可选地，第二确定模块803还用于：
根据多个手部关键点的图像位置坐标确定手部的重心位置坐标；
确定每个手部关键点的图像位置坐标与重心位置坐标的相对坐标；
将每个手部关键点的相对坐标作为手部形态检测模型的输入，通过手部形态检测模型确定手部形态。
可选地，执行模块804用于：
获取手部关键点的历史屏幕位置坐标和历史手部形态，手部关键点的历史屏幕位置坐标和历史手部形态根据用户图像的前n帧图像确定得到；
根据在当前时刻确定的手部关键点的当前屏幕位置坐标和历史屏幕位置坐标，确定手部的运动轨迹；
根据当前手部形态和历史手部形态，确定手部的运动状态；
根据手部的运动轨迹和运动状态以及显示屏上的各个组件的屏幕位置坐标，生成操作指令；
执行操作指令对应的操作。
可选地，该装置800还包括：
显示模块805，用于根据手部关键点的屏幕位置坐标和手部形态，控制显示屏显示手势图标。
综上所述，在本申请实施例中，用户图像与显示屏之间的坐标映射关系是根据用户的中心关键点的图像位置坐标确定出来的，而用户的中心关键点的图像位置坐标又是根据实时采集的用户图像确定出来的，因此可见，用户图像与显示屏之间的坐标映射关系是根据用户所处的位置实时确定的。并且，由于用户的中心关键点对应于显示屏的中心点，因此，当用户在操作显示屏时，即使用户所处的位置发生改变，也能够保证用户的手部关键点能够大概率的映射至显示屏上，也即，在本申请实施例中，即使用户的位置实时变更不处于特定区域内，也能够保证用户的手部关键点映射至显示屏，从而使得用户能够在任意位置对显示设备进行操作，提高了显示设备的操作灵活性和便捷性。
需要说明的是，上述实施例提供的基于手势执行操作的装置在操作显示设备时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于手势执行操作的装置与基于手势执行操作的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图9是根据一示例性实施例示出的一种终端900的结构框图。上述实施例中的显示设备即可通过该终端900来实现。其中，该终端900可以是智能电视、智慧大屏等。
通常，终端900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，其中，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的基于手势执行操作的方法。
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。需要说明的是，在本申请实施例中，当该终端900为横屏终端时，该终端900的显示屏的宽高比大于1，例如，该终端900的显示屏的宽高比可以为16:9或4:3。当该终端900为竖屏终端时，则该终端900的显示屏的宽高比小于1，例如，该终端900的显示屏的宽高比可以为9:18或3:4等。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于GPS(Global PositioningSystem，全球定位系统)、北斗系统或伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端900还包括有一个或多个传感器。例如：压力传感器、指纹传感器、光学传感器以及接近传感器等。
也即是，本申请实施例不仅提供了一种终端，包括处理器和用于存储处理器可执行指令的存储器，其中，处理器被配置为执行图3所示的基于手势执行操作的方法，而且，本申请实施例还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时可以实现图3所示的基于手势执行操作的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图3所示实施例提供的基于手势执行操作的方法。
以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。
Claims (5)
1.一种显示设备，其特征在于，所述显示设备包括：显示屏和处理器，其中，所述处理器用于：
通过人体关键点检测模型检测用户图像中的用户的两个肩部关键点和多个手部关键点；
确定所述两个肩部关键点和所述多个手部关键点在第一图像坐标系下的图像位置坐标，所述第一图像坐标系为所述用户图像的原始图像坐标系；
根据所述两个肩部关键点在所述第一图像坐标系下的图像位置坐标，确定两个肩部关键点的连线的中点在所述第一图像坐标系下的图像位置坐标，并将所述两个肩部关键点的连线的中点在所述第一图像坐标系下的图像位置坐标作为中心关键点在所述第一图像坐标系下的图像位置坐标；
根据所述中心关键点的图像位置坐标，建立第二图像坐标系，所述第二图像坐标系的原点为所述中心关键点，且X轴平行于所述用户图像的宽度方向，Y轴平行于所述用户图像的高度方向；
根据所述两个肩部关键点在第一图像坐标系下的图像位置坐标，确定所述用户的肩宽，并根据所述用户的肩宽确定第一图像区域的各个角点与所述第二图像坐标系的Y轴之间的距离，所述第一图像区域为矩形区域，且所述第一图像区域的中心点与所述中心关键点重合；
根据显示屏的像素分辨率的横纵比和所述第一图像区域的各个角点与所述第二图像坐标系的Y轴之间的距离，确定所述第一图像区域的各个角点与所述第二图像坐标系的X轴之间的距离；
根据所述第一图像区域的各个角点与所述第二图像坐标系的X轴之间的距离，以及所述第一图像区域的各个角点与所述第二图像坐标系的Y轴之间的距离，从所述用户图像中确定所述第一图像区域，所述第一图像区域的宽高比等于所述显示屏的像素分辨率的横纵比；
根据所述第一图像区域的第一角点在所述第二图像坐标系下的图像位置坐标和所述显示屏的第二角点在显示屏坐标系下的屏幕位置坐标，确定所述第二图像坐标系与所述显示屏坐标系之间的坐标转换关系，所述第一角点和所述第二角点相对应，所述显示屏坐标系的原点为所述显示屏的中心点，且X轴平行于所述显示屏的宽度方向，Y轴平行于所述显示屏的高度方向；
根据所述第二图像坐标系与所述显示屏坐标系之间的坐标转换关系，确定所述用户图像与所述显示屏之间的坐标映射关系，所述中心关键点对应所述显示屏的中心点；
根据所述多个手部关键点的图像位置坐标和所述坐标映射关系，确定所述多个手部关键点的屏幕位置坐标；
根据所述多个手部关键点的屏幕位置坐标，确定手部的重心位置坐标；
确定每个手部关键点的屏幕位置坐标与所述重心位置坐标的相对坐标；
将所述每个手部关键点的相对坐标作为手部形态检测模型的输入，通过所述手部形态检测模型确定手部形态；
根据所述多个手部关键点的屏幕位置坐标和所述手部形态，执行对应的操作。
2.根据权利要求1所述的显示设备，其特征在于，所述处理器用于：
根据所述坐标映射关系将所述多个手部关键点的图像位置坐标转换至所述显示屏坐标系下，得到所述多个手部关键点的屏幕位置坐标。
3.根据权利要求1或2所述的显示设备，其特征在于，所述处理器还用于：
根据所述多个手部关键点的图像位置坐标检测所述用户的手部是否位于所述第一图像区域内；
若所述用户的手部位于所述第一图像区域内，则执行所述根据所述多个手部关键点的图像位置坐标和所述坐标映射关系，确定所述多个手部关键点的屏幕位置坐标的步骤。
4.根据权利要求1所述的显示设备，其特征在于，所述处理器用于：
获取所述多个手部关键点的历史屏幕位置坐标和历史手部形态，所述多个手部关键点的历史屏幕位置坐标和历史手部形态根据所述用户图像的前n帧图像确定得到；
根据在当前时刻确定的所述多个手部关键点的当前屏幕位置坐标和历史屏幕位置坐标，确定手部的运动轨迹；
根据当前手部形态和历史手部形态，确定所述手部的运动状态；
根据所述手部的运动轨迹和运动状态以及所述显示屏上的各个组件的屏幕位置坐标，生成操作指令；
执行所述操作指令对应的操作。
5.根据权利要求4所述的显示设备，其特征在于，所述处理器还用于：
根据所述多个手部关键点的屏幕位置坐标和所述手部形态，控制所述显示屏显示手势图标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111601417.XA CN114327058B (zh) | 2021-12-24 | 2021-12-24 | 显示设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111601417.XA CN114327058B (zh) | 2021-12-24 | 2021-12-24 | 显示设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114327058A CN114327058A (zh) | 2022-04-12 |
| CN114327058B true CN114327058B (zh) | 2023-11-10 |
Family
ID=81013038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111601417.XA Active CN114327058B (zh) | 2021-12-24 | 2021-12-24 | 显示设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114327058B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049852A (zh) * | 2012-12-19 | 2013-04-17 | 武汉世纪炎龙网络科技有限公司 | 虚拟试衣系统 |
| CN105843371A (zh) * | 2015-01-13 | 2016-08-10 | 上海速盟信息技术有限公司 | 人机隔空交互方法及系统 |
| KR20180036327A (ko) * | 2016-09-30 | 2018-04-09 | 포항공과대학교 산학협력단 | 표시 장치용 3차원 인터랙션 방법 |
| CN109683706A (zh) * | 2018-12-10 | 2019-04-26 | 中车青岛四方机车车辆股份有限公司 | 一种虚拟现实多人交互的方法及系统 |
| EP3608755A1 (en) * | 2018-08-09 | 2020-02-12 | Acer Incorporated | Electronic apparatus operated by head movement and operation method thereof |
| CN112068698A (zh) * | 2020-08-31 | 2020-12-11 | 北京市商汤科技开发有限公司 | 一种交互方法、装置及电子设备、计算机存储介质 |
| WO2021223124A1 (zh) * | 2020-05-06 | 2021-11-11 | 深圳市大疆创新科技有限公司 | 位置信息获取方法、设备及存储介质 |
| CN113778217A (zh) * | 2021-09-13 | 2021-12-10 | 海信视像科技股份有限公司 | 显示设备及显示设备控制方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110317871A1 (en) * | 2010-06-29 | 2011-12-29 | Microsoft Corporation | Skeletal joint recognition and tracking system |
| KR101807512B1 (ko) * | 2015-02-05 | 2018-01-18 | 한국전자통신연구원 | 맵핑형 3차원 상호작용 장치 및 방법 |
-
2021
- 2021-12-24 CN CN202111601417.XA patent/CN114327058B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049852A (zh) * | 2012-12-19 | 2013-04-17 | 武汉世纪炎龙网络科技有限公司 | 虚拟试衣系统 |
| CN105843371A (zh) * | 2015-01-13 | 2016-08-10 | 上海速盟信息技术有限公司 | 人机隔空交互方法及系统 |
| KR20180036327A (ko) * | 2016-09-30 | 2018-04-09 | 포항공과대학교 산학협력단 | 표시 장치용 3차원 인터랙션 방법 |
| EP3608755A1 (en) * | 2018-08-09 | 2020-02-12 | Acer Incorporated | Electronic apparatus operated by head movement and operation method thereof |
| CN109683706A (zh) * | 2018-12-10 | 2019-04-26 | 中车青岛四方机车车辆股份有限公司 | 一种虚拟现实多人交互的方法及系统 |
| WO2021223124A1 (zh) * | 2020-05-06 | 2021-11-11 | 深圳市大疆创新科技有限公司 | 位置信息获取方法、设备及存储介质 |
| CN112068698A (zh) * | 2020-08-31 | 2020-12-11 | 北京市商汤科技开发有限公司 | 一种交互方法、装置及电子设备、计算机存储介质 |
| CN113778217A (zh) * | 2021-09-13 | 2021-12-10 | 海信视像科技股份有限公司 | 显示设备及显示设备控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114327058A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109917956B (zh) | 一种控制屏幕显示的方法和电子设备 | |
| CN110611787B (zh) | 一种显示器及图像处理方法 | |
| CN109191549B (zh) | 显示动画的方法及装置 | |
| CN111541907B (zh) | 物品显示方法、装置、设备及存储介质 | |
| WO2019174628A1 (zh) | 拍照方法及移动终端 | |
| CN107801075A (zh) | 图像显示设备及其操作方法 | |
| CN111045344A (zh) | 一种家居设备的控制方法及电子设备 | |
| CN110944139B (zh) | 一种显示控制方法及电子设备 | |
| CN110290426B (zh) | 展示资源的方法、装置、设备及存储介质 | |
| CN112866772A (zh) | 一种显示设备及声像人物定位追踪方法 | |
| CN112333499A (zh) | 寻找目标设备的方法和显示设备 | |
| CN113163140A (zh) | 显示装置 | |
| CN112073865A (zh) | 蓝牙耳机的音量设置方法及装置、电子设备 | |
| CN111464746B (zh) | 拍照方法及电子设备 | |
| CN112825040B (zh) | 用户界面的显示方法、装置、设备及存储介质 | |
| US20220207803A1 (en) | Method for editing image, storage medium, and electronic device | |
| CN113630569B (zh) | 显示设备及显示设备的控制方法 | |
| CN112073770A (zh) | 显示设备及视频通讯数据处理方法 | |
| CN114430492B (zh) | 显示设备、移动终端及图片同步缩放方法 | |
| CN111787364B (zh) | 媒体数据获取方法、智能电视及移动终端 | |
| CN112399233A (zh) | 显示设备和视频聊天窗口的位置自适应调整方法 | |
| CN114327058B (zh) | 显示设备 | |
| CN112473121B (zh) | 一种显示设备及基于肢体识别的躲避球显示方法 | |
| CN111694535B (zh) | 闹钟信息显示方法及装置 | |
| CN113936240A (zh) | 确定样本图像的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |