CN114911384B - 镜子显示器及其远程控制方法 - Google Patents

镜子显示器及其远程控制方法 Download PDF

Info

Publication number
CN114911384B
CN114911384B CN202210495406.6A CN202210495406A CN114911384B CN 114911384 B CN114911384 B CN 114911384B CN 202210495406 A CN202210495406 A CN 202210495406A CN 114911384 B CN114911384 B CN 114911384B
Authority
CN
China
Prior art keywords
coordinate system
human body
elbow
screen coordinate
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210495406.6A
Other languages
English (en)
Other versions
CN114911384A (zh
Inventor
刘晓潇
李广琴
马琳杰
胡雁
孙浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Smart Life Technology Co Ltd
Original Assignee
Qingdao Hisense Smart Life Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Smart Life Technology Co Ltd filed Critical Qingdao Hisense Smart Life Technology Co Ltd
Priority to CN202210495406.6A priority Critical patent/CN114911384B/zh
Publication of CN114911384A publication Critical patent/CN114911384A/zh
Application granted granted Critical
Publication of CN114911384B publication Critical patent/CN114911384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)

Abstract

本申请公开了一种镜子显示器及其远程控制方法，涉及智能家居技术领域。镜子显示器能够根据初始姿态下人体的肩部关键点，肘部关键点和手部关键点，自动确定人体的可操作区域与显示面板中操作界面所在区域的映射关系，并根据该映射关系确定操作姿态下人体的手部关键点在操作界面中的操作位置，继而基于该操作位置执行对应的操作。由此可见，镜子显示器能够基于人体在可操作区域中的操作执行针对操作界面的操作，即使得人体能够远程控制镜子显示器，提高了人体对镜子显示器进行控制的灵活性。

Description

镜子显示器及其远程控制方法
技术领域
本申请涉及智能家居技术领域，特别涉及一种镜子显示器及其远程控制方法。
背景技术
智能镜子包括显示面板，该显示面板可以显示镜像，且可以在该镜像上叠加显示应用控件(例如视频播放控件和音乐播放控件)。智能镜子在接收到用户针对该应用控件的触控操作后，可以执行相应的控制操作。例如，若用户触控了音乐播放控件，则智能镜子可以响应于针对该音乐播放控件的触控操作，控制扬声器播放音乐。
发明内容
本申请提供了一种镜子显示器及其远程控制方法，所述技术方案如下：
一方面，提供了一种镜子显示器的远程控制方法，所述镜子显示器包括摄像头和显示面板；所述方法包括：
获取所述摄像头采集的处于初始姿态的人体的第一图像；
根据所述第一图像中所述人体的肩部关键点，肘部关键点和手部关键点在所述显示面板的屏幕坐标系中的位置，确定所述手部关键点在所述屏幕坐标系中的可操作区域；
获取所述摄像头采集的处于操作姿态的人体的第二图像，所述操作姿态下所述人体的手部执行指点操作；
根据所述第二图像中所述人体的手部关键点在所述屏幕坐标系中的位置，以及所述可操作区域与所述显示面板中操作界面所在区域的映射关系，确定所述手部关键点在所述操作界面中的操作位置，并在所述操作位置显示操作光标；
执行所述操作光标选中的控件所对应的操作。
另一方面，提供了一种镜子显示器，所述镜子显示器包括：处理器、摄像头和显示面板；所述处理器用于：
获取所述摄像头采集的处于初始姿态的人体的第一图像；
根据所述第一图像中所述人体的肩部关键点，肘部关键点和手部关键点在所述显示面板的屏幕坐标系中的位置，确定所述手部关键点在所述屏幕坐标系中的可操作区域；
获取所述摄像头采集的处于操作姿态的人体的第二图像，所述操作姿态下所述人体的手部执行指点操作；
根据所述第二图像中所述人体的手部关键点在所述屏幕坐标系中的位置，以及所述可操作区域与所述显示面板中操作界面所在区域的映射关系，确定所述手部关键点在所述操作界面中的操作位置，并在所述操作位置显示操作光标；
执行所述操作光标选中的控件所对应的操作。
可选的，所述处理器用于：
若所述操作光标在选中的控件上的停留时长大于时长阈值，则执行所述操作光标选中的控件所对应的操作。
可选的，所述处理器用于：
根据所述第一图像中所述人体的肩部关键点与肘部关键点在所述屏幕坐标系中的位置，确定所述人体的大臂长度，并根据所述第一图像中所述人体的肘部关键点和手部关键点在所述屏幕坐标系中的位置，确定所述人体的小臂长度；
根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述人体的肘部关键点在所述屏幕坐标系中的肘部移动区域；
根据所述肘部移动区域和所述小臂长度，确定所述手部关键点在所述屏幕坐标系中的可操作区域。
可选的，所述肘部移动区域为矩形区域；所述处理器用于：
根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述肘部移动区域的第一顶点和第二顶点在所述屏幕坐标系中的位置；
其中，所述第一顶点和所述第二顶点为所述肘部移动区域的对角线的两个端点。
可选的，所述第一顶点为所述肘部移动区域的左上顶点，所述第二顶点为所述肘部移动区域的右下顶点；所述第一顶点在所述屏幕坐标系中的位置(x2，y2)满足：
x2＝x1-L1×sin(α1)×sin(δ1)；
y2＝y1-[L1-L1×cos(β)]；
所述第二顶点在所述屏幕坐标系中的位置(x3，y3)满足：
x3＝x1-L1×sin(α2)×sin(δ2)；
y3＝y1；
其中，所述屏幕坐标系具有第一坐标轴和第二坐标轴，所述第一坐标轴的延伸方向平行于所述显示面板的像素行延伸方向，所述第二坐标轴的延伸方向平行于所述显示面板的像素列延伸方向；
x1为所述第一图像中的肘部关键点在所述第一坐标轴上的坐标，y1为所述第一图像中的肘部关键点在所述第二坐标轴上的坐标，L1为所述大臂长度；
β为所述操作姿态下大臂与所述第二坐标轴的夹角，α1为所述操作姿态下大臂与参考坐标轴的第一夹角，α2为所述操作姿态下大臂与所述参考坐标轴的第二夹角，所述参考坐标轴分别与所述第一坐标轴和所述第二坐标轴垂直；
δ1为大臂与所述参考坐标轴的夹角为α1时，大臂在所述屏幕坐标系所在平面的正投影与所述第二坐标轴的夹角，δ2为大臂与所述参考坐标轴的夹角为α2时，大臂在所述屏幕坐标系所在平面的正投影与所述第二坐标轴的夹角。
可选的，所述可操作区域为矩形区域；所述处理器用于：
根据所述第一顶点在所述屏幕坐标系中的位置，所述第二顶点在所述屏幕坐标系中的位置和所述小臂长度，确定所述可操作区域的第三顶点和第四顶点在所述屏幕坐标系中的位置；
其中，所述第三顶点和所述第四顶点为所述可操作区域的对角线上的两个端点。
可选的，所述肘部移动区域为所述人体的右侧手臂的肘部移动区域，所述第三顶点为所述可操作区域的左上顶点，所述第四顶点为所述可操作区域的右下顶点；所述第三顶点在所述屏幕坐标系中的位置(x4，y4)满足：
x4＝x2-L2×cos(θ1)×cos(γ1)；
y4＝y2-L2×cos(θ1)×sin(γ1)；
所述第四顶点在所述屏幕坐标系中的位置(x5，y5)满足：
x5＝x3+L2×cos(θ2)×cos(180-γ2)；
y5＝y3-L2×cos(θ3)×sin(180-γ3)；
其中，L2为所述小臂长度，γ3为所述操作姿态下小臂与所述第一坐标轴的夹角范围的下限，γ2为所述小臂与所述第一坐标轴的夹角范围的上限，γ1大于γ3且小于γ2，θ1为所述小臂与所述第一坐标轴的夹角为γ1时，所述小臂与所述屏幕坐标系所在平面的夹角，θ2为所述小臂与所述第一坐标轴的夹角为γ2时，所述小臂与所述屏幕坐标系所在平面的夹角，θ3为所述小臂与所述第一坐标轴的夹角为γ3时，所述小臂与所述屏幕坐标系所在平面的夹角。
可选的，所述映射关系包括：所述屏幕坐标系的第一坐标轴的映射系数，以及所述屏幕坐标系的第二坐标轴的映射系数；所述处理器用于：
根据所述操作界面所在区域的长度与所述可操作区域的长度的比值，确定所述第一坐标轴的映射系数，所述长度的延伸方向平行于所述显示面板的像素行延伸方向；
根据所述操作界面所在区域的宽度与所述可操作区域的宽度的比值，确定所述第二坐标轴的映射系数，所述宽度的延伸方向平行于所述显示面板的像素列方向。
可选的，所述可操作区域中的任一位置(x′，y′)在所述操作界面所在区域中的操作位置(x，y)满足：
Figure BDA0003632834030000041
Figure BDA0003632834030000042
其中，f1为所述第一坐标轴的映射系数，W1为所述操作界面所在区域的长度，W2为所述可操作区域的长度，S为灵敏度调节系数，f2为所述第二坐标轴的映射系数，H1为所述操作界面所在区域的宽度，H2为所述可操作区域的宽度，S为灵敏度调节系数。
又一方面，提供了一种镜子显示器，所述镜子显示器包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方面所述的镜子显示器的远程控制方法。
再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的镜子显示器的远程控制方法。
再一方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在所述计算机上运行时，使得所述计算机执行上述方面所述的镜子显示器的远程控制方法。
本申请提供的技术方案带来的有益效果至少包括：
本申请提供了一种镜子显示器及其远程控制方法，镜子显示器能够根据初始姿态下人体的肩部关键点，肘部关键点和手部关键点，自动确定人体的可操作区域与显示面板中操作界面所在区域的映射关系，并根据该映射关系确定操作姿态下人体的手部关键点在操作界面中的操作位置，继而基于该操作位置执行对应的操作。由此可见，镜子显示器能够基于人体在可操作区域中的操作执行针对操作界面的操作，即使得人体能够远程控制镜子显示器，提高了人体对镜子显示器进行控制的灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种镜子显示器的结构示意图；
图2是本申请实施例提供的一种镜子显示器的显示示意图；
图3是本申请实施例提供的一种镜子显示器的远程控制方法的流程图；
图4是本申请实施例提供的另一种镜子显示器的远程控制方法的流程图；
图5是本申请实施例提供的一种初始姿态下的人体的示意图；
图6是本申请实施例提供的一种人体关键点的示意图；
图7是本申请实施例提供的一种确定肘部移动区域的示意图；
图8是本申请实施例提供的另一种确定肘部移动区域的示意图；
图9是本申请实施例提供的一种确定左侧手臂的可操作区域的示意图；
图10是本申请实施例提供的一种确定右侧手臂的可操作区域的示意图；
图11是本申请实施例提供的一种操作姿态下的人体的示意图；
图12是本申请实施例提供的一种确定映射关系的示意图；
图13是本申请实施例提供的一种远程操镜子显示器的示意图；
图14是本申请实施例提供的另一种远程操控镜子显示器的示意图；
图15是本申请实施例提供的一种镜子显示器的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种镜子显示器的示意图。如图1所示，该镜子显示器(也可以称为智能镜子)可以包括：摄像头01和显示面板02。从图1中可以看出，还显示面板02显示有操作界面0a。该操作界面0a包括：多个控件。该多个控件可以包括：应用程序的应用控件和快捷功能控件的至少一个。例如，多个控件可以包括：应用控件和快捷功能控件。其中，应用控件可以是指：应用程序的应用图标。
如图1所示，操作界面0a中的应用程序的应用控件包括：音乐应用的应用控件、视频应用的应用控件和浏览器的应用控件。多个快捷功能控件包括：天气控件、时间控件以及蓝牙开关控件。
在本申请实施例中，参见图2，镜子显示器的显示面板02在显示应用控件的同时，还可以显示镜像。从图2可以看出，应用控件可以叠加显示在镜像上。
可选的，本申请实施例提供的镜子显示器可以包括：覆盖在显示面板上方的触控屏。基于此，本申请实施例提供的镜子显示器可以响应于用户针对操作界面0a中的任一控件的触控操作，执行该控件对应的操作。例如，若用户触控了视频应用的应用控件，则镜子显示器可以启用视频应用，显示视频应用界面，继而播放视频。若用户触控了蓝牙开关控件，则镜子显示器可以根据当前蓝牙的开关状态，开启或关闭蓝牙。
本申请实施例提供了一种镜子显示器的远程控制方法，该方法应用于镜子显示器，例如图1或图2所示的镜子显示器。该镜子显示器包括摄像头和显示面板。参见图3，该方法包括：
步骤101、获取摄像头采集的处于初始姿态的人体的第一图像。
其中，初始姿态(也可以称为自然姿态)是指：人体在不执行任何操作时的状态。例如，初始姿态可以是指：人体自然站立，手臂自然下垂且不执行任何操作时的状态。
步骤102、根据第一图像中人体的肩部关键点，肘部关键点和手部关键点在显示面板的屏幕坐标系中的位置，确定手部关键点在屏幕坐标系中的可操作区域。
由于人体的手部的移动范围所在位置取决于肘部的移动范围所在位置以及小臂长度，肘部的移动范围所在位置取决于肩部的位置和大臂长度，因此镜子显示器得到第一图像后，可以从第一图像中识别出人体的肩部关键点，肘部关键点和手部关键点，并确定该肩部关键点，肘部关键点和手部关键点在显示面板的屏幕坐标系中的位置。其中，肩部关键点可以为人体的肩部关节点，肘部关键点可以为人体的肘部关节点，手部关键点可以为人体的手指指尖的关键点，或者为人体的手心的关键点。显示面板的屏幕坐标系可以是指：以显示面板的左上顶点为原点，以显示面板的像素行方向为第一坐标轴的延伸方向，以显示面板的像素列方向为第二坐标轴的延伸方向所建立的坐标系。该第一坐标轴可以为屏幕坐标系的横轴和纵轴中一个坐标轴，该第二坐标轴可以为该横轴和纵轴的另一个坐标轴。例如，第一坐标轴为横轴，第二坐标轴为纵轴。
然后，在一种可选的实现方式中，镜子显示器可以将该肩部关键点，肘部关键点和手部关键点在显示面板的屏幕坐标系中的位置输入至区域确定模型中，从而得到人体的手部可操作区域在屏幕坐标系中的位置。其中，该区域确定模型可以是镜子显示器基于多个手部操作区域的样本数据训练得到的。每个手部操作区域的样本数据可以包括：初始状态下的一个人体的肩部关键点，肘部关键点和手部关键点在显示面板的屏幕坐标系中的位置，以及该人体的手部可操作区域在该屏幕坐标系中的位置。
在另一种可选的实现方式中，镜子显示器可以基于肩部关键点和肘部关键点在该屏幕坐标系中的位置，确定人体的肘部移动区域在该屏幕坐标系中的位置。之后，镜子显示器可以基于该肘部移动区域在该屏幕坐标系中的位置，肘部关键点和手部关键点在该屏幕坐标系中的位置，确定手部关键点在屏幕坐标系中的可操作区域。
由于初始姿态下的人体的手臂会自然下垂，又由于自然下垂的手臂的延伸方向与人体正向平面可以平行，因此基于初始姿态下的人体的第一图像，可以确保确定的人体的大臂长度和小臂长度的准确性较高，继而可以确保确定的可操作区域的较高。其中，人体正向平面可以平行于显示面板所在平面。
步骤103、获取摄像头采集的处于操作姿态的人体的第二图像。
其中，操作姿态是指：人体的手部执行指点操作时的状态。即在操作姿态下，人体的手臂可以抬起，手部可以执行指点操作。指点操作是指手部的至少一根手指伸出，且该至少一根手指指向某一位置的操作。
步骤104、根据第二图像中人体的手部关键点在屏幕坐标系中的位置，以及可操作区域与显示面板中操作界面所在区域的映射关系，确定手部关键点在操作界面中的操作位置，并在该操作位置显示操作光标。
在本申请实施例中，镜子显示器在得到手部关键点的可操作区域在屏幕坐标系中的位置后，可以基于该可操作区域在屏幕坐标系中的位置，以及显示面板中操作界面所在区域在该屏幕坐标系中的位置，确定该即可操作区域与该操作界面所在区域的映射关系。之后，镜子显示器可以根据该映射关系和第二图像中的手部关键点在屏幕坐标系中的位置，确定手部关键点在该操作界面中的操作位置，并在该操作位置显示操作光标，以便人体获知该操作位置。
其中，该操作光标可以为一个图标。该图标可以为下述图标中的一种：箭头形图标、十字形图标和手形图标。
步骤105、执行操作光标选中的控件所对应的操作。
在本申请实施例中，显示面板的操作界面可以显示有多个控件。镜子显示器确定第二图像中的手部关键点在操作界面中的操作位置后，可以将多个控件中所处区域与操作光标所在区域至少部分重叠的控件，确定为该操作光标选中的控件。并且，镜子显示器在确定操作光标在该操作光标所选中的控件上的停留时长大于等于时长阈值后，即可执行该控件所对应的操作。其中，该时长阈值可以是镜子显示器预先存储的，例如可以为2秒(s)。
可以理解的是，镜子显示器中预先存储有每个控件对应的操作代码。镜子显示器可以执行该控件所对应的操作代码，以执行该控件对应的操作。
综上所述，本申请实施例提供了一种镜子显示器的远程控制方法，镜子显示器能够根据初始姿态下人体的肩部关键点，肘部关键点和手部关键点，自动确定人体的可操作区域与显示面板中操作界面所在区域的映射关系，并根据该映射关系确定操作姿态下人体的手部关键点在操作界面中的操作位置，继而基于该操作位置执行对应的操作。由此可见，镜子显示器能够基于人体在可操作区域中的操作执行针对操作界面的操作，即使得人体能够远程控制镜子显示器，提高了人体对镜子显示器进行控制的灵活性。
图4是本申请实施例提供的另一种镜子显示器的远程控制方法的流程图，该方法应用于镜子显示器。参见图4，该方法可以包括：
步骤201、获取摄像头采集的处于初始姿态的人体的第一图像。
其中，初始姿态是指：人体在不执行任何操作时的状态。例如，初始姿态可以是指：人体自然站立，手臂自然下垂且不执行任何操作时的状态，例如图5所示的状态。并且，从图5中可以看出，在初始姿态下，人体的两腿并拢直立，两手臂自然下垂于体侧，双目平视前方。
可选的，镜子显示器启动后，若检测到人体位于摄像头的视野范围内，则可以控制摄像头采集图像，并识别摄像头采集到的图像中人体的姿态。若镜子显示器确定该图像中人体的姿态为初始姿态，则可以将该图像确定为人体的第一图像。
可选的，镜子显示器可以包括距离传感器，该距离传感器可以检测人体与镜子显示器之间的距离。若距离传感器检测到一人体与镜子显示器之间的距离小于距离阈值，则镜子显示器可以确定该人体位于摄像头的视野范围内。其中，该距离传感器可以为红外距离传感器或超声波距离传感器。
在本申请实施例中，镜子显示器可以将摄像头采集到的人体的图像输入至姿态识别模型中，以得到该图像中人体的姿态。或者，镜子显示器可以从该图像中识别出人体的肩部关键点、肘部关键点和手部关键点，并检测该肩部关键点、肘部关键点和手部关键点是否位于一条直线上。若镜子显示器确定该肩部关键点、肘部关键点和手部关键点位于一条直线上，则可以确定人体的姿态为初始姿态。
其中，姿态识别模型是镜子显示器预先基于多个姿态样本数据训练得到的。每个姿态样本数据可以包括：一个人体的图像，以及该人体的姿态。
步骤202、根据第一图像中人体的肩部关键点与肘部关键点在屏幕坐标系中的位置，确定人体的大臂长度，并根据第一图像中的人体的肘部关键点和手部关键点在屏幕坐标系中的位置，确定人体的小臂长度。
镜子显示器得到第一图像后，可以从第一图像中识别出人体的肩部关键点，肘部关键点和手部关键点，并确定该肩部关键点，肘部关键点和手部关键点在显示面板的屏幕坐标系中的位置。其中，肩部关键点，肘部关键点和手部关键点中的每个关键点在该屏幕坐标系中的位置可以是指：该关键点在该屏幕坐标系中的坐标。显示面板的屏幕坐标系可以是指：以显示面板的左上顶点为原点，以显示面板的像素行方向为第一坐标轴的延伸方向，以显示面板的像素列方向为第二坐标轴的延伸方向所建立的坐标系。该第一坐标轴可以为屏幕坐标系的横轴和纵轴中一个坐标轴，该第二坐标轴可以为该横轴和纵轴的另一个坐标轴。例如，第一坐标轴为横轴，第二坐标轴为纵轴。
然后，镜子显示器可以基于第一图像中的肩部关键点和肘部关键点在该屏幕坐标系中的位置，确定该肩部关键点与该肘部关键点之间的距离，并将该距离确定为人体的大臂长度。镜子显示器还可以基于第一图像中的肘部关键点和手部关键点在屏幕坐标系中的位置，确定该肘部关键点与该手部关键点之间的距离，并将该肘部关键点与该手部关键点之间的距离确定为人体的小臂长度。
由于初始姿态下的人体的手臂会自然下垂，又由于自然下垂的手臂的延伸方向与人体正向平面可以平行，因此基于初始姿态下的人体的第一图像确定人体的大臂长度和小臂长度，可以确保确定的该大臂长度和小臂长度的准确性较高，继而可以确保确定的可操作区域的较高。
可选的，假设人体为人体，则参见图6，人体的肩部关键点可以为人体的肩部关节点P0，肘部关键点可以为人体的肘部关节点P1，手部关键点可以为人体的手部的一点P2，例如手指指尖的关键点，或手心的关键点。
在本申请实施例中，镜子显示器从第一图像中识别出人体的肩部关键点，肘部关键点和手部关键点后，可以确定肩部关键点，肘部关键点和手部关键点在第一图像的图像坐标系中的位置。之后，对于肩部关键点，肘部关键点和手部关键点中的每个关键点，镜子显示器可以基于该关键点在图像坐标系中的位置，以及该图像坐标系与屏幕坐标系之间的转换关系，确定该关键点在屏幕坐标系中的位置。
其中，第一图像的图像坐标系可以是指：以第一图像的左上顶点为坐标原点，以第一图像中的像素点所在行为第一坐标轴，以第一图像中的像素点所在列为第二坐标轴所建立的坐标系。该第一坐标轴可以为图像坐标系的横轴和纵轴中一个坐标轴，该第二坐标轴可以为该横轴和纵轴的另一个坐标轴。例如，第一坐标轴为横轴，第二坐标轴为纵轴。
可选的，该图像坐标系与该屏幕坐标系中的单位长度可以相同。镜子显示器可以从第一图像中确定人体的左侧手臂(即左臂)中的肩部关键点，肘部关键点和手部关键点在该图像坐标系中的位置，和/或，人体的右侧手臂(即右臂)中的肩部关键点，肘部关键点和手部关键点在该图像坐标系中的位置。例如，镜子显示器可以从第一图像中确定人体的左侧手臂，以及右侧手臂中的肩部关键点，肘部关键点和手部关键点在该图像坐标系中的位置。
可以理解的是，若镜子显示器确定了人体的左侧手臂中的肩部关键点，肘部关键点和手部关键点在该图像坐标系中的位置，则可以确定左手的手部关键点的可操作区域与显示面板的操作界面所在区域之间的映射关系。相应的，用户后续可以采用左手远程操控镜子显示器。
若镜子显示器确定了人体的右侧手臂中的肩部关键点，肘部关键点和手部关键点在该图像坐标系中的位置，则可以确定右手的手部关键点的可操作区域与显示面板的操作界面所在区域之间的映射关系。相应的，用户后续可以采用右手远程操控镜子显示器。
步骤203、根据肘部关键点在屏幕坐标系中的位置和大臂长度，确定人体的肘部关键点在屏幕坐标系中的肘部移动区域。
其中，该肘部移动区域可以是指人体的肘部关键点在屏幕坐标系中所能移动的平面空间。且人体的右侧手臂的肘部移动区域是根据右侧手臂的肘部关键点在屏幕坐标系中位置和大臂长度确定，人体的左侧手臂的肘部移动区域是根据左侧手臂的肘部关键点在屏幕坐标系中位置和大臂长度确定。
可选的，该肘部移动区域可以为下述区域中的一种：倒梯形区域和矩形区域，例如，该肘部移动区域可以为矩形区域。且肘部移动区域在屏幕坐标系中的位置可以采用该肘部移动区域的多个顶点在该屏幕坐标系中的位置表征。
本申请实施例以肘部移动区域为矩形区域为例，对镜子显示器确定人体的肘部移动区域的过程进行示例性说明：
镜子显示器可以根据肘部关键点在屏幕坐标系中的位置和大臂长度，确定肘部移动区域的第一顶点和第二顶点在屏幕坐标系中的位置。其中，第一顶点和第二顶点为该肘部移动区域的对角线的两个端点。
可选的，该第一顶点可以为肘部移动区域的左上顶点，相应的，第二顶点可以为肘部移动区域的右下顶点。或者，第一顶点可以为肘部移动区域的右上顶点，相应的，第二顶点可以为肘部移动区域的左下顶点。
由于人体的大臂抬起时，大臂在屏幕坐标系所在平面的正投影与屏幕坐标系的平行于像素行方向的坐标轴会存在夹角，因此在确定肘部移动区域中的过程中，需要先确定大臂在屏幕坐标系所在平面上的正投影的长度，继而基于该长度确定肘部移动区域。
假设第一顶点为肘部移动区域的左上顶点，第二顶点为肘部移动区域的右下顶点，初始状态下人体的肩部关键点和肘部关键点所在直线平行于显示面板的像素列延伸方向。结合图7(图7示出了大臂在屏幕坐标系所在平面的正投影的示意图)和图8，可以确定第一顶点在屏幕坐标系中的位置(x2，y2)可以满足下述公式：
x2＝x1-L1×sin(α1)×sin(δ1) 公式(1)
y2＝y1-[L1-L1×cos(β)] 公式(2)
第二顶点在屏幕坐标系中的位置(x3，y3)满足下述公式：
x3＝x1+L1×sin(α2)×sin(δ2) 公式(3)
y3＝y1公式(4)
图7和图8中的x0为第一图像中的肩部关键点在屏幕坐标系的第一坐标轴X上的坐标，y0为第一图像中的肩部关键点在屏幕坐标系的第二坐标轴Y上的坐标。Z为参考坐标轴。上述公式(1)至公式(4)中，x1为第一图像中的肘部关键点在屏幕坐标系的第一坐标轴上的坐标，y1为第一图像中的肘部关键点在屏幕坐标系的第二坐标轴上的坐标，L1为大臂长度。该第一坐标轴的延伸方向平行于显示面板的像素行延伸方向，第二坐标轴的延伸方向平行于显示面板的像素列延伸方向。且从图7和图8可以看出，在初始状态下，该肘部关键点在第一坐标轴上的坐标与肩部关键点在第一坐标轴上的坐标相等。
β为操作姿态下大臂与该第二坐标轴的夹角，且该夹角是大臂在屏幕坐标系所在平面内的正投影与该第二坐标轴的夹角。α1为操作姿态下大臂与参考坐标轴的第一夹角，且第一夹角是大臂在参考平面上的正投影与该参考坐标轴的夹角。该参考坐标轴分别与该第一坐标轴和该第二坐标轴垂直，该参考平面为过第一坐标轴和参考坐标轴的平面。且α1是操作姿态下，肘部在最靠近第一肩部时(即沿靠近第一肩部的方向移动至极限位置时)大臂与参考坐标轴的第一夹角。该第一肩部与肘部位于不同的手臂上。
α2为操作状态下大臂与该参考坐标轴的第二夹角，该第二夹角是大臂在参考平面上的正投影与参考坐标轴的夹角。且α2是操作姿态下，肘部在最远离第二肩部时(即沿远离第二肩部的方向移动至极限位置时)大臂与参考坐标轴的第二夹角。
δ1为大臂与参考坐标轴的夹角为α1时，大臂在屏幕坐标系所在平面的正投影与第二坐标轴的夹角。δ2为大臂与参考坐标轴的夹角为α2时，大臂在屏幕坐标系所在平面的正投影与第二坐标轴的夹角。
在本申请实施例中，β、α1、α2、δ1和δ2均是工作人员根据大量的肘部区域样本数据统计得到，并在镜子显示器出厂前写入至镜子显示器中的。其中，每个肘部区域样本数据可以包括：人体在处于对镜子显示器进行操作的操作姿态时，其肘部移动区域在屏幕坐标系中的位置；该人体的肘部位于该肘部移动区域的左上顶点时，该人体的大臂与参考坐标轴的夹角，该人体的大臂在屏幕坐标系所在平面的正投影与该屏幕坐标系的平行于像素列方向的坐标轴的夹角，人体的大臂与该坐标轴的夹角；该人体肘部位于该肘部移动区域的右下顶点时，该人体的大臂在屏幕坐标系所在平面的正投影与该坐标轴，该人体的大臂与该参考坐标轴的夹角。该参考坐标轴垂直于该屏幕坐标系所在平面。
可以理解的是，对于β、α1、α2、δ1和δ2中的每个参数，在确定左侧手臂的肘部移动区域时该参数的参数值，与在确定右侧手臂的肘部移动区域时的参数值可以相同。且β可以大于等于40度(°)且小于等于70°，如可以为50°。α1可以大于等于12°且小于等于18°，如可以为16°。α2可以大于等于55°且小于等于60°，如可以为58°。δ1可以大于等于0°且小于等于75°，如可以为20°。δ2可以大于等于50°且小于90°，如可以为70°。
步骤204、根据肘部移动区域在屏幕坐标系中的位置和小臂长度，确定手部关键点在屏幕坐标系中的可操作区域。
镜子显示器得到人体的肘部移动区域的多个顶点在屏幕坐标系中的位置后，即可基于该多个顶点的位置，以及小臂长度，确定手部关键点在屏幕坐标系中的可操作区域。
其中，该可操作区域可以是指：人体的手部在屏幕坐标系中所能移动的平面空间。且人体的右侧手臂的可操作区域是根据右侧手臂的肘部移动区域和小臂长度确定，人体的左侧手臂的可操作区域是根据左侧手臂的肘部移动区域和小臂长度确定。
此外，由于手部在靠近肩部的位置进行操作时，人体通常感觉较为舒适，因此在本申请实施例中，在屏幕坐标系的像素列方向上，相较于肘部移动区域，该可操作区域较为靠近该屏幕坐标系的平行于像素行的坐标轴。
可选的，该手部关键点的可操作区域可以为：矩形区域，或不规则区域。例如，该手部关键点的可操作区域为矩形区域。且该可操作区域在屏幕坐标系中的位置可以采用该可操作区域的多个顶点在屏幕坐标系中的位置表征。
本申请实施例以肘部移动区域和可操作区域均为矩形区域为例，对镜子显示器确定人体的可操作区域的过程进行示例性说明：
镜子显示器可以根据肘部移动区域第一顶点在屏幕坐标系中的位置，肘部移动区域的第二顶点在屏幕坐标系中的位置和小臂长度，确定第二矩形区域的第三顶点和第四顶点在屏幕坐标系中的位置。其中，该第三顶点和第四顶点为可操作区域的对角线上的两个端点。例如，该第三顶点为该可操作区域的左上顶点，相应的第四顶点可以为该可操作区域的右下顶点。或者该第三顶点为该可操作区域右上顶点，相应的，第四顶点可以为该可操作区域的左下顶点。
在本申请实施例中，由于小臂抬起时小臂与屏坐标系所在平面之间通常会存在夹角，因此在基于肘部移动区域和小臂长度确定手部关键点的可操作区域的过程中，需要先确定小臂长度在屏坐标系所在平面上的正投影的长度，继而基于该正投影的长度，以及肘部移动区域确定可操作区域。
以肘部移动区域和手部关键点的可操作区域均为矩形区域，肘部移动区域为右侧手臂的肘部移动区域，第一顶点为肘部移动区域的左上顶点，第二顶点为肘部移动区域的右下顶点，可操作区域的第三顶点为左上顶点，第四顶点为右下顶点为例，对镜子显示器确定可操作区域的过程进行说明：
由于右侧手臂的小臂沿靠近左侧手臂的方向，以及沿远离左侧手臂的方向均可以移动至人体高度方向上最远离肩部关键点的位置处，且该小臂沿靠近左侧手臂的方向移动至该位置处时与屏幕坐标系所在平面的夹角，和该小臂沿远离左侧手臂的方向移动至该位置处时与屏幕坐标系所在平面的夹角不同，因此小臂沿靠近左侧手臂的方向移动至该位置处时在屏幕坐标系所在平面的正投影的长度，与沿远离左侧手臂的方向移动至该位置处时在屏幕坐标系所在平面的正投影的长度不同。基于此，结合图9可以确定，该可操作区域的左上顶点在屏幕坐标系中的位置(x4，y4)可以满足下述公式：
x4＝x2-L2×cos(θ1)×cos(γ1) 公式(5)
y4＝y2-L2×cos(θ1)×sin(γ1) 公式(6)
该可操作区域的右下顶点在屏幕坐标系中的位置(x5，y5)可以满足下述公式：
x5＝x3+L2×cos(θ2)×cos(180-γ2) 公式(7)
y5＝y3-L2×cos(θ3)×sin(γ3) 公式(8)
上述公式(5)至公式(8)中，(x2，y2)为右侧手臂的肘部移动区域的左上顶点在屏幕坐标系中的位置，(x3，y3)为右侧手臂的肘部移动区域的右下顶点在屏幕坐标系中的位置。L2为小臂长度，γ3为操作姿态下小臂与屏幕坐标系的第一坐标轴的夹角范围的下限，γ2为该夹角范围的上限，γ1大于γ3且小于γ2。其中，γ1的顶点为第一顶点，组成γ1的以第一顶点为端点的两条射线中，一条射线沿第一坐标轴的反方向延伸，另一条射线与小臂在屏幕坐标系所在平面的正投影平行，且沿靠近肩部的方向延伸。γ2和γ3的顶点为第二顶点，组成γ2的以第二顶点为端点的两条射线中，一条射线沿第一坐标轴的反方向延伸，另一条射线与小臂在屏幕坐标系所在平面的正投影平行，且沿远离肩部的方向延伸。组成γ3的以第二顶点为端点的两条射线中，一条射线沿第一坐标轴的反方向延伸，另一条射线与小臂在屏幕坐标系所在平面的正投影平行，且沿靠近肩部的方向延伸。
θ1为小臂与该第一坐标轴的夹角为γ1时，小臂与屏幕坐标系所在平面的夹角，θ2为小臂与该第一坐标轴的夹角为γ2时，小臂与屏幕坐标系所在平面的夹角，θ3为小臂与该第一坐标轴的夹角为γ3时，小臂与屏幕坐标系所在平面的夹角。
图10是本申请实施例提供的一种基于左侧手臂的肘部移动区域确定手部移动区域的示意图。从图10可以看出，在计算左侧手臂的肘部移动区域时可以采用肘部移动区域的右上顶点和左下顶点(即此时肘部移动区域的第一顶点为右上顶点，第二顶点为左下顶点)，确定手部移动区域的右上顶点和左上顶点。由于镜子显示器基于左侧手臂的肘部移动区域确定手部移动区域的原理与基于右侧手臂的肘部移动区域确定手部移动区域的原理相同，因此结合图10可以确定，该可操作区域的右上顶点在屏幕坐标系中的位置(x6，y6)可以满足下述公式：
x6＝x2+L2×cos(θ4)×cos(γ4) 公式(9)
y6＝y2-L2×cos(θ4)×sin(γ4) 公式(10)
该可操作区域的左下顶点在屏幕坐标系中的位置(x7，y7)可以满足下述公式：
x7＝x3-L2×cos(θ5)×cos(180-γ5) 公式(11)
y7＝y3-L2×cos(θ6)×sin(γ6) 公式(12)
上述公式(9)至公式(11)中，(x2，y2)为左侧手臂的肘部移动区域的右上顶点在屏幕坐标系中的位置，(x3，y3)为左侧手臂的肘部移动区域的左下顶点在屏幕坐标系中的位置。γ5为操作姿态下小臂与屏幕坐标系的第一坐标轴的夹角范围的下限，γ5为该夹角范围的上限，γ4大于γ3且小于γ5。其中，γ4的顶点为第一顶点，组成γ1的以第一顶点为端点的两条射线中，一条射线沿第一坐标轴的正方向延伸，另一条射线与小臂在屏幕坐标系所在平面的正投影平行，且沿远离肩部的方向延伸。γ5和γ6的顶点为第二顶点，组成γ5的以第二顶点为端点的两条射线中，一条射线沿第一坐标轴的正方向延伸，另一条射线与小臂在屏幕坐标系所在平面的正投影平行，且沿远离肩部的方向延伸。组成γ6的以第二顶点为端点的两条射线中，一条射线沿第一坐标轴的正方向延伸，另一条射线与小臂在屏幕坐标系所在平面的正投影平行，且沿靠近肩部的方向延伸。
在本申请实施例中，θ1与θ4，θ2与θ5，θ3与θ6，γ1与γ4，γ2与γ5，γ3与γ6的数值可以相等。且θ1与θ4均可以大于等于30°且小于等于40°，如可以为35°。θ2与θ5均可以大于等于60°且小于等于70°，如可以为65°，θ3与θ6均可以大于等于60°且小于等于70°，如可以为60°。γ1与γ4均可以大于等于45°且小于等于55°，如可以为45°。γ2与γ5均可以大于等于70°且小于等于75°，如可以为75°。γ3与γ6均可以大于等于15°且小于等于25°，如可以为20°。
在本申请实施例中，θ1至θ3，以及γ1至γ3均是工作人员根据大量的手部区域样本数据统计得到，并在镜子显示器出厂前写入至镜子显示器中的。每个手部区域样本数据可以包括：在肘部移动区域为矩形区域时，人体在处于对镜子显示器进行操作的操作姿态时，其手部移动区域在屏幕坐标系中的位置；该人体的手部位于该手部移动区域的左上顶点时，该人体的小臂与该屏幕坐标系所在平面的夹角，人体的小臂与该屏幕坐标系的平行于像素行方向的坐标轴的夹角；该人体的手部位于该手部移动区域的右下顶点时，该人体的小臂与该屏幕坐标系所在平面的夹角，小臂与该屏幕坐标系的平行于像素行方向的坐标轴的夹角。
步骤205、确定手部关键点的可操作区域与显示面板中操作界面所在区域的映射关系。
在本申请实施例中，手部关键点的可操作区域与显示面板中操作界面所在区域的映射关系包括：第一坐标轴的映射系数和第二坐标轴的映射系数。基于此，镜子显示器在确定该可操作区域在屏幕坐标系的位置后，可以根据该操作界面所在区域的长度与可操作区域的长度的比值，确定第一坐标轴的映射系数，并根据该操作界面所在区域的宽度与可操作区域的宽度的比值，确定第二坐标轴的映射系数。其中，该操作界面所在区域的长度的延伸方向平行于显示面板的像素行延伸方向，该操作界面所在区域的宽度的延伸方向平行于显示面板的像素列方向。
可选的，参见图11，假设操作界面所在区域的长度为W1，人体的手部关键点的可操作区域的长度为W2，操作界面所在区域的宽度为H1，该可操作区域的宽度为H2，则手部关键点的可操作区域中的任一位置(x′，y′)在操作界面所在区域中的操作位置(x，y)可以满足下述公式：
Figure BDA0003632834030000171
Figure BDA0003632834030000172
公式(13)和公式(14)中，f1为第一坐标轴的映射系数，f2为第二坐标轴的映射系数，S为灵敏度调节系数。该灵敏度调节系数可以用于调节镜子显示器的远程控制的灵敏性。该灵敏度系数可以是镜子显示器预先存储的。若人体为人体，则该灵敏度系数可以是镜子显示器响应于人体的选择操作预先设定的。如此可以便于用户根据自身需求调整控制灵敏度。
步骤206、获取摄像头采集的处于操作姿态的人体的第二图像。
其中，操作姿态是指：人体的手部执行指点操作时的状态，例如图12所示的状态。且从图12可以看出，在操作姿态下，人体的手臂可以抬起，手部可以执行指点操作。指点操作是指手部的至少一根手指伸出，且该至少一根手指指向某一位置的操作。
在本申请实施例中，人体在完成初始姿态下的拍照后，即可保持在初始位置(即处于初始姿态时所在位置)不动，并进入操作姿态(例如抬起手臂执行指点操作)。相应的，摄像头即可采集此时人体的图像。镜子显示器即可识别该图像中人体的姿态。若镜子显示器确定该图像中人体的姿态为操作姿态，则可以将该图像确定为人体的第二图像。若镜子显示器确定该图像中人体的姿态不是操作姿态，则可以继续控制摄像头获取人体的图像。
可选的，镜子显示器可以将该图像输入姿态识别模型，以获取该图像中人体的姿态。或者，镜子显示器可以从该图像中识别出人体的肩部关键点、肘部关键点和手部关键点，并可以检测该手部关键点相较于肘部关键点是否更靠近肩部关键点。若镜子显示器确定手部关键点相较于肘部关键点是否更靠近肩部关键点，则可以根据识别出的手部关键点确定人体的手部的操作是否为指点操作。若镜子显示器基于手部关键点确定该手部的操作为指点操作，则可以确定该图像中的人体的姿态为操作姿态。
步骤207、根据第二图像中人体的手部关键点在屏幕坐标系中的位置，以及可操作区域与显示面板中操作界面所在区域的映射关系，确定手部关键点在操作界面中的操作位置，并在该操作位置显示操作光标。
镜子显示器可以从第二图像中识别出人体的手部关键点，并确定该手部关键点在屏幕坐标系中的位置。之后，镜子显示器可以根据可操作区域与操作界面所在区域的映射关系，确定手部关键点在操作界面中的操作位置，并在该操作位置显示操作光标，以便人体获知该操作位置。
其中，该操作光标可以为一个图标。该图标可以为下述图标中的一种：箭头形图标、十字形图标和手形图标。例如，该图标可以为手形图标。
示例的，参加图13和图14，人体处于操作姿态后，镜子显示器可以在手部关键点在屏幕坐标系中的位置，所映射的在操作界面中的操作位置显示手形图标，以便人体获知当前的操作位置。
并且，从图13和图14中可以看出，操作光标的位置会随着人体的手部关键点的位置的变化而变化，相应的，操作光标所选中的控件也会随之发生变化。如图13中的人体的手部关键点相较于图14中的手部关键点较为靠近人体的肩部，此时操作光标0b所选中的控件为音乐应用的应用控件。
而图14中的手部关键点相较于图13中的手部关键点较为远离人体的肩部，此时操作光标0b所选中的控件为浏览器应用的应用控件。
步骤208、执行操作光标选中的控件所对应的操作。
在本申请实施例中，显示面板的操作界面可以显示有多个控件。镜子显示器确定第二图像中的手部关键点在操作界面中的操作位置后，可以将多个控件中所处区域与操作光标所在区域至少部分重叠的控件，确定为该操作光标选中的控件。并且，镜子显示器在确定操作光标在该操作光标所选中的控件上的停留时长大于等于时长阈值后，即可执行该控件所对应的操作。其中，该时长阈值可以是镜子显示器预先存储的，例如可以为2s。
可以理解的是，镜子显示器中预先存储有每个控件对应的操作代码。镜子显示器可以执行该控件所对应的操作代码，以执行该控件对应的操作。
示例的，假设时长阈值为2s，参见图13，操作光标0b选中了音乐应用的应用控件。若操作光标0b在音乐应用的应用控件上的停留时长大于等于2s，则镜子显示器可以启动音乐应用，以播放音乐。
参加图14，操作光标0b选中了浏览器应用的应用控件。若操作光标0b在浏览器应用的应用控件上的停留时长大于等于2s，则镜子显示器可以启用浏览器应用，并显示浏览器页面。
根据上述步骤201至步骤208的描述可知，本申请实施例的镜子显示器能够根据人体的可操作区域，以及操作界面所在区域在屏幕坐标系中的位置，确定该可操作区域与操作界面所在区域的映射关系。由于该可操作区域与人体的操作习惯较为匹配，因此可以确保确定的映射关系较为适用于该人体，即使得人体能够按照自身的操作习惯远程控制镜子显示器，有效提升了人体的用户体验。由于使得人体能够远程控制镜子显示器，即无需接触镜子显示器即可控制镜子显示器，因此提高了人体对镜子显示器进行控制的灵活性。
需要说明的是，本申请实施例提供的镜子显示器的远程控制方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
综上所述，本申请实施例提供了一种镜子显示器的远程控制方法，镜子显示器能够根据初始姿态下人体的肩部关键点，肘部关键点和手部关键点，自动确定人体的可操作区域与显示面板中操作界面所在区域的映射关系，并根据该映射关系确定操作姿态下人体的手部关键点在操作界面中的操作位置，继而基于该操作位置执行对应的操作。由此可见，镜子显示器能够基于人体在可操作区域中的操作执行针对操作界面的操作，即使得人体能够远程控制镜子显示器，提高了人体对镜子显示器进行控制的灵活性。
本申请实施例提供了一种镜子显示器，参见图15，镜子显示器00包括：处理器03、摄像头01和显示面板02。该处理器01用于：
获取摄像头采集的处于初始姿态的人体的第一图像；
根据第一图像中人体的肩部关键点，肘部关键点和手部关键点在显示面板的屏幕坐标系中的位置，确定手部关键点在屏幕坐标系中的可操作区域；
获取摄像头采集的处于操作姿态的人体的第二图像，该操作姿态下人体的手部执行指点操作；
根据第二图像中人体的手部关键点在屏幕坐标系中的位置，以及可操作区域与显示面板中操作界面所在区域的映射关系，确定手部关键点在操作界面中的操作位置，并在操作位置显示操作光标；
执行操作光标选中的控件所对应的操作。
可选的，该处理器01可以用于：
若操作光标在选中的控件上的停留时长大于时长阈值，则执行操作光标选中的控件所对应的操作。
可选的，该处理器01可以用于：
根据第一图像中人体的肩部关键点与肘部关键点在屏幕坐标系中的位置，确定人体的大臂长度，并根据第一图像中人体的肘部关键点和手部关键点在屏幕坐标系中的位置，确定人体的小臂长度；
根据肘部关键点在屏幕坐标系中的位置和大臂长度，确定人体的肘部关键点在屏幕坐标系中的肘部移动区域；
根据肘部移动区域和小臂长度，确定手部关键点在屏幕坐标系中的可操作区域。
可选的，肘部移动区域为矩形区域。该处理器01可以用于：
根据肘部关键点在屏幕坐标系中的位置和大臂长度，确定肘部移动区域的第一顶点和第二顶点在屏幕坐标系中的位置；
其中，第一顶点和第二顶点为肘部移动区域的对角线的两个端点。
可选的，第一顶点为肘部移动区域的左上顶点，第二顶点为肘部移动区域的右下顶点；第一顶点在屏幕坐标系中的位置(x2，y2)满足：
x2＝x1-L1×sin(α1)×sin(δ1)；
y2＝y1-[L1-L1×cos(β)]；
第二顶点在屏幕坐标系中的位置(x3，y3)满足：
x3＝x1-L1×sin(α2)×sin(δ2)；
y3＝y1；
其中，屏幕坐标系具有第一坐标轴和第二坐标轴，第一坐标轴的延伸方向平行于显示面板的像素行延伸方向，第二坐标轴的延伸方向平行于显示面板的像素列延伸方向；
x1为第一图像中的肘部关键点在第一坐标轴上的坐标，y1为第一图像中的肘部关键点在第二坐标轴上的坐标，L1为大臂长度；
β为操作姿态下大臂与第二坐标轴的夹角，α1为操作姿态下大臂与参考坐标轴的第一夹角，α2为操作姿态下大臂与参考坐标轴的第二夹角，参考坐标轴分别与第一坐标轴和第二坐标轴垂直；
δ1为大臂与参考坐标轴的夹角为α1时，大臂在屏幕坐标系所在平面的正投影与第二坐标轴的夹角，δ2为大臂与参考坐标轴的夹角为α2时，大臂在屏幕坐标系所在平面的正投影与第二坐标轴的夹角。
可选的，可操作区域为矩形区域。该处理器01可以用于：
根据第一顶点在屏幕坐标系中的位置，第二顶点在屏幕坐标系中的位置和小臂长度，确定可操作区域的第三顶点和第四顶点在屏幕坐标系中的位置；
其中，第三顶点和第四顶点为可操作区域的对角线上的两个端点。
可选的，肘部移动区域为人体的右侧手臂的肘部移动区域，第三顶点为可操作区域的左上顶点，第四顶点为可操作区域的右下顶点。第三顶点在屏幕坐标系中的位置(x4，y4)满足：
x4＝x2-L2×cos(θ1)×cos(γ1)；
y4＝y2-L2×cos(θ1)×sin(γ1)；
第四顶点在屏幕坐标系中的位置(x5，y5)满足：
x5＝x3+L2×cos(θ2)×cos(180-γ2)；
y5＝y3-L2×cos(θ3)×sin(γ3)；
其中，L2为小臂长度，γ3为操作姿态下小臂与第一坐标轴的夹角范围的下限，γ2为小臂与第一坐标轴的夹角范围的上限，γ1大于γ3且小于γ2，θ1为小臂与第一坐标轴的夹角为γ1时，小臂与屏幕坐标系所在平面的夹角，θ2为小臂与第一坐标轴的夹角为γ2时，小臂与屏幕坐标系所在平面的夹角，θ3为小臂与第一坐标轴的夹角为γ3时，小臂与屏幕坐标系所在平面的夹角。
可选的，映射关系包括：屏幕坐标系的第一坐标轴的映射系数，以及屏幕坐标系的第二坐标轴的映射系数。该处理器01可以用于：
根据操作界面所在区域的长度与可操作区域的长度的比值，确定第一坐标轴的映射系数，长度的延伸方向平行于显示面板的像素行延伸方向；
根据操作界面所在区域的宽度与可操作区域的宽度的比值，确定第二坐标轴的映射系数，宽度的延伸方向平行于显示面板的像素列方向。
可选的，可操作区域中的任一位置(x′，y′)在操作界面所在区域中的操作位置(x，y)满足：
Figure BDA0003632834030000221
Figure BDA0003632834030000222
其中，f1为第一坐标轴的映射系数，W1为操作界面所在区域的长度，W2为可操作区域的长度，S为灵敏度调节系数，f2为第二坐标轴的映射系数，H1为操作界面所在区域的宽度，H2为可操作区域的宽度，S为灵敏度调节系数。
综上所述，本申请实施例提供了一种镜子显示器，镜子显示器能够根据初始姿态下人体的肩部关键点，肘部关键点和手部关键点，自动确定人体的可操作区域与显示面板中操作界面所在区域的映射关系，并根据该映射关系确定操作姿态下人体的手部关键点在操作界面中的操作位置，继而基于该操作位置执行对应的操作。由此可见，镜子显示器能够基于人体在可操作区域中的操作执行针对操作界面的操作，即使得人体能够远程控制镜子显示器，提高了人体对镜子显示器进行控制的灵活性。
本申请实施例提供了一种镜子显示器，该镜子显示器可以包括存储器，处理器及存储在该存储器上并可在该处理器上运行的计算机程序，该处理器执行该计算机程序时实现如上述实施例提供的镜子显示器的远程控制方法，例如图3或图4所示的方法。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序由处理器加载并执行以上述实施例提供的镜子显示器的远程控制方法，例如图3或图4所示的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例提供的镜子显示器的远程控制方法，例如图3或图4所示的方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
应当理解的是，在本文中提及的“和/或”，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。并且，本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。例如，在不脱离各种所述示例的范围的情况下，第一图像可以被称为第二图像，并且类似地，第二图像可以被称为第一图像。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种镜子显示器的远程控制方法，其特征在于，所述镜子显示器包括摄像头和显示面板；所述方法包括：
获取所述摄像头采集的处于初始姿态的人体的第一图像；
根据所述第一图像中所述人体的肩部关键点，肘部关键点和手部关键点在所述显示面板的屏幕坐标系中的位置，确定所述手部关键点在所述屏幕坐标系中的可操作区域；
获取所述摄像头采集的处于操作姿态的人体的第二图像，所述操作姿态下所述人体的手部执行指点操作；
根据所述第二图像中所述人体的手部关键点在所述屏幕坐标系中的位置，以及所述可操作区域与所述显示面板中操作界面所在区域的映射关系，确定所述手部关键点在所述操作界面中的操作位置，并在所述操作位置显示操作光标；
执行所述操作光标选中的控件所对应的操作；
其中，所述根据所述第一图像中所述人体的肩部关键点，肘部关键点和手部关键点在所述显示面板的屏幕坐标系中的位置，确定所述手部关键点在所述屏幕坐标系中的可操作区域，包括：
根据所述第一图像中所述人体的肩部关键点与肘部关键点在所述屏幕坐标系中的位置，确定所述人体的大臂长度，并根据所述第一图像中所述人体的肘部关键点和手部关键点在所述屏幕坐标系中的位置，确定所述人体的小臂长度；
根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述人体的肘部关键点在所述屏幕坐标系中的肘部移动区域；
根据所述肘部移动区域和所述小臂长度，确定所述手部关键点在所述屏幕坐标系中的可操作区域。
2.根据权利要求1所述的方法，其特征在于，所述执行所述操作光标选中的控件所对应的操作，包括：
若所述操作光标在选中的控件上的停留时长大于时长阈值，则执行所述操作光标选中的控件所对应的操作。
3.根据权利要求1所述的方法，其特征在于，所述肘部移动区域为矩形区域；所述根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述人体的肘部关键点在所述屏幕坐标系中的肘部移动区域，包括：
根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述肘部移动区域的第一顶点和第二顶点在所述屏幕坐标系中的位置；
其中，所述第一顶点和所述第二顶点为所述肘部移动区域的对角线的两个端点。
4.根据权利要求3所述的方法，其特征在于，所述第一顶点为所述肘部移动区域的左上顶点，所述第二顶点为所述肘部移动区域的右下顶点；所述第一顶点在所述屏幕坐标系中的位置(x2，y2)满足：
x2＝x1-L1×sin(α1)×sin(δ1)；
y2＝y1-[L1-L1×cos(β)]；
所述第二顶点在所述屏幕坐标系中的位置(x3，y3)满足：
x3＝x1+L1×sin(α2)×sin(δ2)；
y3＝y1；
其中，所述屏幕坐标系具有第一坐标轴和第二坐标轴，所述第一坐标轴的延伸方向平行于所述显示面板的像素行延伸方向，所述第二坐标轴的延伸方向平行于所述显示面板的像素列延伸方向；
x1为所述第一图像中的肘部关键点在所述第一坐标轴上的坐标，y1为所述第一图像中的肘部关键点在所述第二坐标轴上的坐标，L1为所述大臂长度；
β为所述操作姿态下大臂与所述第二坐标轴的夹角，α1为所述操作姿态下大臂与参考坐标轴的第一夹角，α2为所述操作姿态下大臂与所述参考坐标轴的第二夹角，所述参考坐标轴分别与所述第一坐标轴和所述第二坐标轴垂直；
δ1为大臂与所述参考坐标轴的夹角为α1时，大臂在所述屏幕坐标系所在平面的正投影与所述第二坐标轴的夹角，δ2为大臂与所述参考坐标轴的夹角为α2时，大臂在所述屏幕坐标系所在平面的正投影与所述第二坐标轴的夹角。
5.根据权利要求4所述的方法，其特征在于，所述可操作区域为矩形区域；所述根据所述肘部移动区域在所述屏幕坐标系中的位置和所述小臂长度，确定所述手部关键点在所述屏幕坐标系中的可操作区域，包括：
根据所述第一顶点在所述屏幕坐标系中的位置，所述第二顶点在所述屏幕坐标系中的位置和所述小臂长度，确定所述可操作区域的第三顶点和第四顶点在所述屏幕坐标系中的位置；
其中，所述第三顶点和所述第四顶点为所述可操作区域的对角线上的两个端点。
6.根据权利要求5所述的方法，其特征在于，所述肘部移动区域为所述人体的右侧手臂的肘部移动区域，所述第三顶点为所述可操作区域的左上顶点，所述第四顶点为所述可操作区域的右下顶点；所述第三顶点在所述屏幕坐标系中的位置(x4，y4)满足：
x4＝x2-L2×cos(θ1)×cos(γ1)；
y4＝y2-L2×cos(θ1)×sin(γ1)；
所述第四顶点在所述屏幕坐标系中的位置(x5，y5)满足：
x5＝x3+L2×cos(θ2)×cos(180-γ2)；
y5＝y3-L2×cos(θ3)×sin(γ3)；
其中，L2为所述小臂长度，γ3为所述操作姿态下小臂与所述第一坐标轴的夹角范围的下限，γ2为所述小臂与所述第一坐标轴的夹角范围的上限，γ1大于γ3且小于γ2，θ1为所述小臂与所述第一坐标轴的夹角为γ1时，所述小臂与所述屏幕坐标系所在平面的夹角，θ2为所述小臂与所述第一坐标轴的夹角为γ2时，所述小臂与所述屏幕坐标系所在平面的夹角，θ3为所述小臂与所述第一坐标轴的夹角为γ3时，所述小臂与所述屏幕坐标系所在平面的夹角。
7.根据权利要求1至6任一所述的方法，其特征在于，所述映射关系包括：所述屏幕坐标系的第一坐标轴的映射系数，以及所述屏幕坐标系的第二坐标轴的映射系数；在所述确定所述手部关键点在所述操作界面中的操作位置之前，所述方法还包括：
根据所述操作界面所在区域的长度与所述可操作区域的长度的比值，确定所述第一坐标轴的映射系数，所述长度的延伸方向平行于所述显示面板的像素行延伸方向；
根据所述操作界面所在区域的宽度与所述可操作区域的宽度的比值，确定所述第二坐标轴的映射系数，所述宽度的延伸方向平行于所述显示面板的像素列方向。
8.根据权利要求7所述的方法，其特征在于，所述可操作区域中的任一位置(x′，y′)在所述操作界面所在区域中的操作位置(x，y)满足：
x＝f1×x′，
Figure FDA0004176597470000041
y＝f2×y′，
Figure FDA0004176597470000042
其中，f1为所述第一坐标轴的映射系数，W1为所述操作界面所在区域的长度，W2为所述可操作区域的长度，S为灵敏度调节系数，f2为所述第二坐标轴的映射系数，H1为所述操作界面所在区域的宽度，H2为所述可操作区域的宽度，S为灵敏度调节系数。
9.一种镜子显示器，其特征在于，所述镜子显示器包括：处理器、摄像头和显示面板；所述处理器用于：
获取所述摄像头采集的处于初始姿态的人体的第一图像；
根据所述第一图像中所述人体的肩部关键点，肘部关键点和手部关键点在所述显示面板的屏幕坐标系中的位置，确定所述手部关键点在所述屏幕坐标系中的可操作区域；
获取所述摄像头采集的处于操作姿态的人体的第二图像，所述操作姿态下所述人体的手部执行指点操作；
根据所述第二图像中所述人体的手部关键点在所述屏幕坐标系中的位置，以及所述可操作区域与所述显示面板中操作界面所在区域的映射关系，确定所述手部关键点在所述操作界面中的操作位置，并在所述操作位置显示操作光标；
执行所述操作光标选中的控件所对应的操作；
其中，所述处理器根据所述第一图像中所述人体的肩部关键点，肘部关键点和手部关键点在所述显示面板的屏幕坐标系中的位置，确定所述手部关键点在所述屏幕坐标系中的可操作区域，包括：
根据所述第一图像中所述人体的肩部关键点与肘部关键点在所述屏幕坐标系中的位置，确定所述人体的大臂长度，并根据所述第一图像中所述人体的肘部关键点和手部关键点在所述屏幕坐标系中的位置，确定所述人体的小臂长度；
根据所述肘部关键点在所述屏幕坐标系中的位置和所述大臂长度，确定所述人体的肘部关键点在所述屏幕坐标系中的肘部移动区域；
根据所述肘部移动区域和所述小臂长度，确定所述手部关键点在所述屏幕坐标系中的可操作区域。
CN202210495406.6A 2022-05-07 2022-05-07 镜子显示器及其远程控制方法 Active CN114911384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210495406.6A CN114911384B (zh) 2022-05-07 2022-05-07 镜子显示器及其远程控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210495406.6A CN114911384B (zh) 2022-05-07 2022-05-07 镜子显示器及其远程控制方法

Publications (2)

Publication Number Publication Date
CN114911384A CN114911384A (zh) 2022-08-16
CN114911384B true CN114911384B (zh) 2023-05-12

Family

ID=82766852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210495406.6A Active CN114911384B (zh) 2022-05-07 2022-05-07 镜子显示器及其远程控制方法

Country Status (1)

Country Link
CN (1) CN114911384B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862074B (zh) * 2023-02-28 2023-05-30 科大讯飞股份有限公司 人体指向确定、屏幕控制方法、装置及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389054A (zh) * 2018-09-21 2019-02-26 北京邮电大学 基于自动图像识别和动作模型对比的智能镜子设计方法
EP3447610A1 (en) * 2017-08-22 2019-02-27 ameria AG User readiness for touchless gesture-controlled display systems
WO2022021980A1 (zh) * 2020-07-30 2022-02-03 北京市商汤科技开发有限公司 虚拟对象的控制方法、装置、电子设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP5614014B2 (ja) * 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US20140085185A1 (en) * 2011-03-24 2014-03-27 Beth Israel Deaconess Medical Center Medical image viewing and manipulation contactless gesture-responsive system and method
WO2012135153A2 (en) * 2011-03-25 2012-10-04 Oblong Industries, Inc. Fast fingertip detection for initializing a vision-based hand tracker
US8782565B2 (en) * 2012-01-12 2014-07-15 Cisco Technology, Inc. System for selecting objects on display
JP6287382B2 (ja) * 2014-03-12 2018-03-07 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
KR101488662B1 (ko) * 2014-07-31 2015-02-04 스타십벤딩머신 주식회사 Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
ES2908579T3 (es) * 2016-07-07 2022-05-03 Koninklijke Philips Nv Generación de un indicador de guía y de una señal de indicador
KR20180035434A (ko) * 2016-09-29 2018-04-06 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
WO2019084325A1 (en) * 2017-10-27 2019-05-02 Magic Leap, Inc. VIRTUAL RETICLE FOR INCREASED REALITY SYSTEMS
US11511158B2 (en) * 2018-08-07 2022-11-29 Interactive Strength, Inc. User interface system for an interactive exercise machine
JP2020135096A (ja) * 2019-02-14 2020-08-31 セイコーエプソン株式会社 表示方法、表示装置、及び、インタラクティブプロジェクター
CN111309183B (zh) * 2020-02-26 2022-04-15 京东方科技集团股份有限公司 触控显示系统及其控制方法
WO2021173839A1 (en) * 2020-02-26 2021-09-02 Magic Leap, Inc. Hand gesture input for wearable system
CN113469723B (zh) * 2020-04-28 2024-07-02 海信集团有限公司 一种智能镜及穿衣频次的统计方法
CN112068698A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种交互方法、装置及电子设备、计算机存储介质
CN114120368A (zh) * 2021-11-30 2022-03-01 青岛海信智慧生活科技股份有限公司 目标检测方法及检测设备
CN114035721B (zh) * 2022-01-07 2022-11-08 荣耀终端有限公司 触控屏显示方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3447610A1 (en) * 2017-08-22 2019-02-27 ameria AG User readiness for touchless gesture-controlled display systems
CN109389054A (zh) * 2018-09-21 2019-02-26 北京邮电大学 基于自动图像识别和动作模型对比的智能镜子设计方法
WO2022021980A1 (zh) * 2020-07-30 2022-02-03 北京市商汤科技开发有限公司 虚拟对象的控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114911384A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
US8866781B2 (en) Contactless gesture-based control method and apparatus
KR100851977B1 (ko) 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
US8872762B2 (en) Three dimensional user interface cursor control
US8593402B2 (en) Spatial-input-based cursor projection systems and methods
US20130335324A1 (en) Computer vision based two hand control of content
JP4608326B2 (ja) 指示動作認識装置及び指示動作認識プログラム
CN111273838B (zh) 触摸显示装置中悬浮工具栏的移动方法及触摸显示装置
US20140139429A1 (en) System and method for computer vision based hand gesture identification
KR20160048062A (ko) 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법
JP6618276B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
US8416189B2 (en) Manual human machine interface operation system and method thereof
US9575565B2 (en) Element selection device, element selection method, and program
TWI480768B (zh) 具調校功能之顯示方法與系統
US20140039861A1 (en) Object correcting apparatus and method and computer-readable recording medium
CN114911384B (zh) 镜子显示器及其远程控制方法
JP2004523811A (ja) 入力信号の提供
KR20200005243A (ko) Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템
KR101294201B1 (ko) 휴대형 장치 및 그 조작 방법
JP4563723B2 (ja) 指示動作認識装置及び指示動作認識プログラム
JP6618301B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2022122637A (ja) 表示装置、表示方法、及び表示プログラム
KR20120062053A (ko) 터치스크린의 가상 캐릭터 제어방법
Tang et al. CUBOD: a customized body gesture design tool for end users
JP5676959B2 (ja) 情報処理装置及びその制御方法
KR102679286B1 (ko) 비접촉식 화면 제어 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant