CN115247899A - 控制方法、控制器及计算机可读存储介质 - Google Patents
控制方法、控制器及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115247899A CN115247899A CN202210840754.2A CN202210840754A CN115247899A CN 115247899 A CN115247899 A CN 115247899A CN 202210840754 A CN202210840754 A CN 202210840754A CN 115247899 A CN115247899 A CN 115247899A
- Authority
- CN
- China
- Prior art keywords
- action
- target
- image
- virtual
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000009471 action Effects 0.000 claims abstract description 177
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 46
- 238000004590 computer program Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 206010011409 Cross infection Diseases 0.000 abstract description 5
- 206010029803 Nosocomial infection Diseases 0.000 abstract description 5
- 244000052616 bacterial pathogen Species 0.000 abstract description 5
- 230000000875 corresponding effect Effects 0.000 description 75
- 235000013353 coffee beverage Nutrition 0.000 description 14
- 230000001276 controlling effect Effects 0.000 description 12
- 230000003993 interaction Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010438 heat treatment Methods 0.000 description 6
- 235000013361 beverage Nutrition 0.000 description 5
- 235000015115 caffè latte Nutrition 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 241000190070 Sarracenia purpurea Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000003651 drinking water Substances 0.000 description 2
- 235000020188 drinking water Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 241000533293 Sesbania emerus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24H—FLUID HEATERS, e.g. WATER OR AIR HEATERS, HAVING HEAT-GENERATING MEANS, e.g. HEAT PUMPS, IN GENERAL
- F24H9/00—Details
- F24H9/20—Arrangement or mounting of control or safety devices
- F24H9/25—Arrangement or mounting of control or safety devices of remote control devices or control-panels
- F24H9/28—Arrangement or mounting of control or safety devices of remote control devices or control-panels characterised by the graphical user interface [GUI]
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24H—FLUID HEATERS, e.g. WATER OR AIR HEATERS, HAVING HEAT-GENERATING MEANS, e.g. HEAT PUMPS, IN GENERAL
- F24H15/00—Control of fluid heaters
- F24H15/20—Control of fluid heaters characterised by control inputs
- F24H15/296—Information from neighbouring devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24H—FLUID HEATERS, e.g. WATER OR AIR HEATERS, HAVING HEAT-GENERATING MEANS, e.g. HEAT PUMPS, IN GENERAL
- F24H15/00—Control of fluid heaters
- F24H15/40—Control of fluid heaters characterised by the type of controllers
- F24H15/414—Control of fluid heaters characterised by the type of controllers using electronic processing, e.g. computer-based
- F24H15/421—Control of fluid heaters characterised by the type of controllers using electronic processing, e.g. computer-based using pre-stored data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Thermal Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请适用于控制技术领域，提供了一种控制方法、控制器及计算机可读存储介质，应用于饮水机中的控制器，饮水机包括摄像头、显示装置和设备本体，所述控制方法包括：根据目标物体的第一动作影像生成虚拟影像，并通过显示装置显示所述虚拟影像；若未检测出目标物体对应的目标动作，则将预设的多个第一虚拟操控按键标注在虚拟影像中，以指示用户根据第一虚拟操控按键操作；在多个第一位置中检测与第二动作影像中用户手部的第二位置相匹配的第一目标位置；若多个第一位置中存在第一目标位置，则控制设备本体执行第一目标位置对应的第一虚拟操控按键所指示的第一动作。通过上述方法，可以有效减少饮水机的故障率，同时有效避免病菌的交叉感染。
Description
技术领域
本申请属于控制技术领域，尤其涉及一种控制方法、控制器及计算机可读存储介质。
背景技术
饮水机是生活中使用频率较高的一类家用电器。随着电器智能化程度的提高，饮水机的功能也越来越多。现有的饮水机通常采用机械按键或电容式触摸按键的操作方式进行人机交互。随着使用次数的增多，机械式按键和电容式触摸按键均容易发生故障，导致饮水机无法正常使用，影响用户体验。另外，对于公共饮水机，多人触碰按键，容易造成病菌的交叉感染，不利于健康防护。
发明内容
本申请实施例提供了一种控制方法、控制器及计算机可读存储介质，可以有效减少饮水机的故障率、避免病菌的交叉感染，提高用户体验度。
第一方面，本申请实施例提供了一种控制方法，应用于饮水机中的控制器，所述饮水机包括摄像头、显示装置和设备本体，所述控制方法包括：
根据目标物体的第一动作影像生成虚拟影像，并通过所述显示装置显示所述虚拟影像，其中，所述第一动作影像通过所述摄像头获取；
根据所述第一动作影像检测所述目标物体对应的目标动作；
若未检测出所述目标物体对应的目标动作，则将预设的多个第一虚拟操控按键标注在所述虚拟影像中，以指示用户根据所述第一虚拟操控按键操作；
在多个第一位置中检测与第二动作影像中用户手部的第二位置相匹配的第一目标位置，其中，所述第二动作影像通过所述摄像头获取，所述第一位置为所述虚拟影像中所述第一虚拟操控按键的位置；
若多个第一位置中存在第一目标位置，则控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作。
本申请实施例中，将目标物体的动作影像生成虚拟影像，并通过显示装置显示给用户，用户只需与虚拟影像中的虚拟操控按键进行人机交互即可，无需通过机械按键或者电容接触按键进行人机交互，有效减少了饮水机的故障率，同时有效避免了病菌的交叉感染，有利于安全卫生防护以及防疫。
在第一方面的一种可能的实现方式中，所述在多个第一位置中检测与第二动作影像中用户手部的第二位置相匹配的第一目标位置，包括：
将所述第二动作影像中用户手部的第二位置映射到所述虚拟影像中，获得所述用户手部在所述虚拟影像中的第三位置；
将与所述第三位置满足预设位置关系的第一位置确定为所述第一目标位置，其中，所述预设位置关系为第一位置与第三位置的重合度大于预设值。
在第一方面的一种可能的实现方式中，所述控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作，包括：
若所述第一动作包括动作选项，则将所述动作选项对应的第二虚拟操控按键标注在所述虚拟影像中，以指示用户根据所述第二虚拟操控按键操作；
在多个第四位置中检测与第三动作影像中用户手部的第五位置相匹配的第二目标位置，其中，所述第三作影像通过所述摄像头获取，所述第四位置为所述虚拟影像中所述第二虚拟操控按键的位置；
若多个第四位置中存在第二目标位置，则控制所述设备本体根据所述第二目标位置对应的第二虚拟操控按键所指示的动作选项执行所述第一动作。
在第一方面的一种可能的实现方式中，在控制所述设备本体根据所述第二目标位置对应的第二虚拟操控按键所指示的动作选项执行所述第一动作之后，所述方法还包括：
统计所述目标物体与所述第一动作的历史对应次数；
若所述历史对应次数达到预设次数，将所述第一动作记为所述目标物体对应的目标动作。
在第一方面的一种可能的实现方式中，在控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作的过程中，所述方法还包括：
在所述虚拟影像中生成所述第一动作对应的虚拟特效。
在第一方面的一种可能的实现方式中，在根据所述第一动作影像检测所述目标物体的目标动作之后，所述方法还包括：
若检测出所述目标物体对应的目标动作，则控制所述设备本体执行所述目标动作。
第二方面，本申请实施例提供了一种控制器，应用于饮水机，所述饮水机包括摄像头、显示装置和设备本体，所述控制器包括：
生成单元，用于根据目标物体的第一动作影像生成虚拟影像，并通过所述显示装置显示所述虚拟影像，其中，所述第一动作影像通过所述摄像头获取；
检测单元，用于根据所述第一动作影像检测所述目标物体的目标动作；
标注单元，用于若未检测出所述目标物体的目标动作，则将预设的多个第一虚拟操控按键标注在所述虚拟影像中，以指示用户根据所述第一虚拟操控按键操作；
匹配单元，用于在多个第一位置中检测与第二动作影像中用户手部的第二位置相匹配的第一目标位置，其中，所述第二动作影像通过所述摄像头获取，所述第一位置为所述虚拟影像中所述第一虚拟操控按键的位置；
控制单元，用于若多个第一位置中存在第一目标位置，则控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的控制方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的控制方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的控制方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的饮水机的结构示意图；
图2是本申请实施例提供的控制方法的流程示意图；
图3是本申实施例提供的控制器的结构框图；
图4是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
参见图1，是本申请实施例提供的饮水机的结构示意图。如图1所示，本申请实施例中，饮水机包括摄像头、显示装置(图1所示的显示屏模组)和设备本体。其中，显示装置和摄像头可集成于电脑显示器或平板电脑。当用户使用饮水机时，显示装置位于人眼和手臂之间。
饮水机还包括控制器。可选的，控制器处理算法时可以依托于Windows平台，也可以依托于Linux平台，还可以依托于Android平台。
当手臂/目标物体置于显示屏之下时，控制器通过摄像头获取目标物体的动作影像，将该动作影像生成虚拟影像，并通过显示装置显示虚拟影像。当没有手臂/目标物体置于显示屏之下时，控制器根据实际背景生成虚拟的背景影像，并通过显示装置显示虚拟的背景影像；或者，控制器控制显示装置切换到待机/关闭状态。
可选的，饮水机还可以包括辅助传感器，如雷达、TOF传感器等深度传感器。控制器利用辅助传感器检测目标物体/手臂与摄像头之间的距离，并根据该距离和摄像头获取到的动作影像生成三维虚拟影像。当然，控制器也可以利用摄像头拍摄到的二维色彩图像、和雷达等传感器获得的三维距离影像，综合判断目标物体的位置及特征。
通过上述饮水机，用户无需佩戴虚拟现实或实景增强技术所需的显示眼镜，通过显示装置即可实现虚拟现实或实景增强的显示效果，减少了设备成本，提高了用户使用的便捷度。
另外，目标物体处于摄像头识别范围内的时候系统自动同步目标物体动作形成虚拟影像和现实影像，比对移动的目标物体时候会显示对应的位置，并指示中心点位置，动作同步效果可以让用户、尤其是第一次的用户快速上手，不需要像传统设备一样需要学习和了解，提高了用户体验度。
参见图2，是本申请实施例提供的控制方法的流程示意图，作为示例而非限定，所述方法可以包括以下步骤：
S201，根据目标物体的第一动作影像生成虚拟影像，并通过所述显示装置显示所述虚拟影像，其中，所述第一动作影像通过所述摄像头获取。
如图1实施例中所述，当以雷达、TOF传感器或深度传感器等辅助获取3D距离影像，S201中，可以根据目标物体的第一动作影像和3D距离影像生成虚拟影像。换言之，通过TOF或雷达等深度传感器获取的3D距离影像和通过摄像头获取的色彩影像均为输入数据。
本申请实施例中，可以采用现有的虚拟影像的生成方法，对此不做具体限定。
在一个应用场景中，当用户手持杯子移动到饮水机摄像头的拍摄范围内时，摄像头开始记录杯子的动作影像，并实时发送给控制器；控制器利用现有技术根据动作影像生成虚拟影像，并将虚拟影像通过显示装置显示给用户。在该应用场景中，杯子和用户手部均可视为目标物体。当然，也可以只将杯子视为目标物体。
实际应用中，虚拟影像可以显示为卡通化的效果，以提高交互的趣味性。
S202，根据所述第一动作影像检测所述目标物体对应的目标动作。
可选的，可以通过目标物体的位置检测目标物体对应的目标动作。具体的，检测第一动作影像中，目标物体是否移动至预设位置；若是，则将预设位置对应的目标动作记为目标物体对应的目标动作。
在一个应用场景中，用户手持杯子在饮水摄像头的拍摄范围内移动，将杯子放置在饮水机出水口下方。此时，控制器根据第一动作影像检测到水杯的位置为出水口下方(预设位置)，则判定该预设位置对应的出水动作为目标物体对应的目标动作。
在另一个应用场景中，用户手持杯子在饮水摄像头的拍摄范围内移动，将杯子放置在饮水机加热垫上方。此时，控制器根据第一动作影像检测到水杯的位置为加热垫上方(预设位置)，则判定该预设位置对应的加热动作为目标物体对应的目标动作。
需要说明的是，本申请实施例中的目标动作指代的是饮水机设备本体需要执行的动作。换言之，控制器通过第一动作影像检测目标物体的动作，以识别出用户的动作意图，进而根据用户的动作意图确定饮水机的目标动作。
S203，若检测出所述目标物体对应的目标动作，则控制所述设备本体执行所述目标动作。
在一个应用场景中，若控制器根据用户手持杯子的第一动作影像检测用户的动作意图为接水，则杯子(目标物体)对应的目标动作为出水，控制设备本体执行出水动作。
在另一个应用场景中，若控制器根据用户手持杯子的第一动作影像检测用户的动作意图为加热，则杯子(目标物体)对应的目标动作为加热，控制设备本体执行加热动作。
S204，若未检测出所述目标物体对应的目标动作，则将预设的多个第一虚拟操控按键标注在所述虚拟影像中，以指示用户根据所述第一虚拟操控按键操作。
示例性的，假设用户手持杯子在饮水机摄像头拍摄范围内移动，用户放置杯子在某个位置后，控制器无法检测出用户的动作意图，无法确定目标动作。例如，放置杯子后，无法确定用户需要饮用的是咖啡还是饮料；则将咖啡和饮料各自对应的第一虚拟操控按键标注在虚拟影像中。用户可以通过在摄像头拍摄范围内移动手部来选择第一虚拟操控按键。
S205，在多个第一位置中检测与第二动作影像中用户手部的第二位置相匹配的第一目标位置，其中，所述第二动作影像通过所述摄像头获取，所述第一位置为所述虚拟影像中所述第一虚拟操控按键的位置。
在一个实施例中，S205中的检测方式可以为：
将所述第二动作影像中用户手部的第二位置映射到所述虚拟影像中，获得所述用户手部在所述虚拟影像中的第三位置；将与所述第三位置满足预设位置关系的第一位置确定为所述第一目标位置，其中，所述预设位置关系为第一位置与第三位置的重合度大于预设值。
示例性的，假设有2个第一虚拟操控按键分别为咖啡和饮料，若咖啡对应的第一位置与第二位置的重合度为50％，饮料对应的第一位置与第二位置的重合度为90％，预设值为60％，则将饮料对应的第一位置确定为第一目标位置。
在另一个实施例中，S205的检测方式还可以为：
将虚拟影像中的多个第一位置分别映射到第二动作影像中，获得第六位置；将与第二位置满足预设位置关系的第六位置确定为第一目标位置，其中，预设位置关系为第二位置与第六位置的重合度大于预设值。
S206，若多个第一位置中存在第一目标位置，则控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作。
可选的，上述S205实施例中，若存在多个满足预设位置关系的第一位置/第六位置，则将重合度最大的第一位置/第六位置确定为第一目标位置。
在一个实施例中，在S206控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作的过程中，还可以包括：在所述虚拟影像中生成所述第一动作对应的虚拟特效。
示例性的，假设第一动作为制作咖啡，相应的，第一动作对应的虚拟特效可以为移动的咖啡豆。假设第一动作为制作热水，相应的，第一动作对应的虚拟特效为水杯上方冒出动态的水蒸气。具体的虚拟特效可以根据实际应用场景预先设置，在此不做具体限定。
在一个实施例中，S206之后，所述方法还可以包括：
统计所述目标物体与所述第一动作的历史对应次数；若所述历史对应次数达到预设次数，将所述第一动作记为所述目标物体对应的目标动作。
本申请实施例中，历史对应次数是指，当某个目标物体在饮水机摄像头拍摄范围内移动，控制器识别出相应的第一动作，并控制饮水机设备本体执行该第一动作，则该目标物体与第一动作对应一次。
示例性的，假设预设次数为3次，当用户A手持水杯I接咖啡达到3次后，即水杯I(目标物体)与制作咖啡(第一动作)的历史对应次数为3，则将制作咖啡记为水杯I对应的目标动作。
可选的，在每次控制过程中，可以根据动作影像中的图像特征识别目标物体的类型。例如：通过形状可以识别出水杯和咖啡杯，通过颜色和形状等可以识别出是水杯I还是水杯II。当然，若目标物体包含用户手部，还可以根据手部的图像特征进行识别。
在每次控制后，控制器可以为目标物体分配编号，并存储该目标物体的图像特征、编号及对应的第一动作，以便于统计历史对应次数。
本申请实施例中，通过目标物体与第一动作的历史对应次数，可以记录出用户的操作习惯，在下一次用户操作时，可以直接根据用户历史的操作习惯控制饮水机执行相应的动作，简化了用户的操作步骤，提升了用户体验。
在一个实施例中，第一动作可以包括多个动作选项。例如，第一动作为制作咖啡，其对应的动作选项有100ml和200ml。再例如，第一动作为制作热水，其对应的动作选项有40°、60°、80°和100°。
相应的，S206可以包括以下步骤：
将所述动作选项对应的第二虚拟操控按键标注在所述虚拟影像中，以指示用户根据所述第二虚拟操控按键操作；
在多个第四位置中检测与第三动作影像中用户手部的第五位置相匹配的第二目标位置，其中，所述第三作影像通过所述摄像头获取，所述第四位置为所述虚拟影像中所述第二虚拟操控按键的位置；
若多个第四位置中存在第二目标位置，则控制所述设备本体根据所述第二目标位置对应的第二虚拟操控按键所指示的动作选项执行所述第一动作。
上述步骤中，确定第二目标位置的方法与S205中确定第一目标位置的方法相同，可以参照S205实施例中的描述，在此不再赘述。
需要说明的是，每个第一动作可以包含多级动作选项。上述实施例中仅描述了包含一级动作选项的情形。当包含多级动作选项时，控制方法与包含一级动作选项的方法相同，相当于在一级动作选项的基础上，再增加动作选项的选择过程。
示例性的，第一动作可以包括两级动作选项。例如，第一动作为制作咖啡，其对应的第一级动作选项有拿铁和美式，第二级动作选项有100ml和200ml。再例如，第一动作为制作热水，其对应的第一级动作选项有40°、60°、80°和100°，第二级动作选项有100ml和200ml。
以第一动作为制作咖啡为例，显示装置上可以先显示第一级动作选项拿铁和美式；当用户选择“拿铁”后，显示装置再显示第二级动作选项100ml和200ml。
可选的，显示装置可以将多级动作选项同时显示。继续以第一动作为制作咖啡为例，显示装置上可以同时显示拿铁、美式、100ml和200ml。此种情况下，用户可以选择一个或多个第二虚拟操控按键。
相应的，在一个实施例中，S206之后，所述方法还可以包括：
统计目标物体与每种动作类型的历史对应次数，其中，一种动作类型包括第一动作、以及第二目标位置对应的第二虚拟操控按键所指示的动作选项；若所述历史对应次数达到预设次数，将该历史对应次数对应的动作类型记为所述目标物体对应的目标动作。
示例性的，动作类型A中第一动作为制作咖啡，第二目标位置对应的第二虚拟操控按键所指示的动作选项为200ml。假设预设次数为3，若水杯I与动作类型A的历史对应次数达到3，则将动作类型A记为水杯I对应的目标动作，即水杯I对应的目标动作为制作200ml的咖啡。
通过本申请实施例中的方法，能够更精细地记录用户的操作习惯。，在下一次用户操作时，可以直接根据用户历史的操作习惯控制饮水机执行相应的动作，简化了用户的操作步骤，提升了用户体验。
本申请实施例中，将目标物体的动作影像生成虚拟影像，并通过显示装置显示给用户，用户只需与虚拟影像中的虚拟操控按键进行人机交互即可，无需通过机械按键或者电容接触按键进行人机交互，有效减少了饮水机的故障率，同时有效避免了病菌的交叉感染。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的控制方法，图3是本申请实施例提供的控制器的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图3，该装置包括：
生成单元31，用于根据目标物体的第一动作影像生成虚拟影像，并通过所述显示装置显示所述虚拟影像，其中，所述第一动作影像通过所述摄像头获取。
检测单元32，用于根据所述第一动作影像检测所述目标物体的目标动作。
标注单元33，用于若未检测出所述目标物体的目标动作，则将预设的多个第一虚拟操控按键标注在所述虚拟影像中，以指示用户根据所述第一虚拟操控按键操作。
匹配单元34，用于在多个第一位置中检测与第二动作影像中用户手部的第二位置相匹配的第一目标位置，其中，所述第二动作影像通过所述摄像头获取，所述第一位置为所述虚拟影像中所述第一虚拟操控按键的位置。
控制单元35，用于若多个第一位置中存在第一目标位置，则控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作。
可选的，匹配单元34还用于：
将所述第二动作影像中用户手部的第二位置映射到所述虚拟影像中，获得所述用户手部在所述虚拟影像中的第三位置；
将与所述第三位置满足预设位置关系的第一位置确定为所述第一目标位置，其中，所述预设位置关系为第一位置与第三位置的重合度大于预设值。
可选的，控制单元35还用于：
若所述第一动作包括动作选项，则将所述动作选项对应的第二虚拟操控按键标注在所述虚拟影像中，以指示用户根据所述第二虚拟操控按键操作；
在多个第四位置中检测与第三动作影像中用户手部的第五位置相匹配的第二目标位置，其中，所述第三作影像通过所述摄像头获取，所述第四位置为所述虚拟影像中所述第二虚拟操控按键的位置；
若多个第四位置中存在第二目标位置，则控制所述设备本体根据所述第二目标位置对应的第二虚拟操控按键所指示的动作选项执行所述第一动作。
可选的，控制器3还包括：
统计单元36，用于在控制所述设备本体根据所述第二目标位置对应的第二虚拟操控按键所指示的动作选项执行所述第一动作之后，统计所述目标物体与所述第一动作的历史对应次数；若所述历史对应次数达到预设次数，将所述第一动作记为所述目标物体对应的目标动作。
可选的，控制单元35还用于：
在所述虚拟影像中生成所述第一动作对应的虚拟特效。
可选的，控制单元35还用于：
若检测出所述目标物体对应的目标动作，则控制所述设备本体执行所述目标动作。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
另外，图3所示的控制器可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元，也可以作为独立的挂件集成到所述终端设备中，还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图4是本申请实施例提供的终端设备的结构示意图。如图4所示，该实施例的终端设备4包括：至少一个处理器40(图4中仅示出一个)处理器、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意各个控制方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图4仅仅是终端设备4的举例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41在一些实施例中可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种控制方法，其特征在于，应用于饮水机中的控制器，所述饮水机包括摄像头、显示装置和设备本体，所述控制方法包括：
根据目标物体的第一动作影像生成虚拟影像，并通过所述显示装置显示所述虚拟影像，其中，所述第一动作影像通过所述摄像头获取；
根据所述第一动作影像检测所述目标物体对应的目标动作；
若未检测出所述目标物体对应的目标动作，则将预设的多个第一虚拟操控按键标注在所述虚拟影像中，以指示用户根据所述第一虚拟操控按键操作；
在多个第一位置中检测与第二动作影像中用户手部的第二位置相匹配的第一目标位置，其中，所述第二动作影像通过所述摄像头获取，所述第一位置为所述虚拟影像中所述第一虚拟操控按键的位置；
若多个第一位置中存在第一目标位置，则控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作。
2.如权利要求1所述的控制方法，其特征在于，所述在多个第一位置中检测与第二动作影像中用户手部的第二位置相匹配的第一目标位置，包括：
将所述第二动作影像中用户手部的第二位置映射到所述虚拟影像中，获得所述用户手部在所述虚拟影像中的第三位置；
将与所述第三位置满足预设位置关系的第一位置确定为所述第一目标位置，其中，所述预设位置关系为第一位置与第三位置的重合度大于预设值。
3.如权利要求1所述的控制方法，其特征在于，所述控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作，包括：
若所述第一动作包括动作选项，则将所述动作选项对应的第二虚拟操控按键标注在所述虚拟影像中，以指示用户根据所述第二虚拟操控按键操作；
在多个第四位置中检测与第三动作影像中用户手部的第五位置相匹配的第二目标位置，其中，所述第三作影像通过所述摄像头获取，所述第四位置为所述虚拟影像中所述第二虚拟操控按键的位置；
若多个第四位置中存在第二目标位置，则控制所述设备本体根据所述第二目标位置对应的第二虚拟操控按键所指示的动作选项执行所述第一动作。
4.如权利要求1所述的控制方法，其特征在于，在控制所述设备本体根据所述第二目标位置对应的第二虚拟操控按键所指示的动作选项执行所述第一动作之后，所述方法还包括：
统计所述目标物体与所述第一动作的历史对应次数；
若所述历史对应次数达到预设次数，将所述第一动作记为所述目标物体对应的目标动作。
5.如权利要求1所述的控制方法，其特征在于，在控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作的过程中，所述方法还包括：
在所述虚拟影像中生成所述第一动作对应的虚拟特效。
6.如权利要求1所述的控制方法，其特征在于，在根据所述第一动作影像检测所述目标物体的目标动作之后，所述方法还包括：
若检测出所述目标物体对应的目标动作，则控制所述设备本体执行所述目标动作。
7.一种控制器，其特征在于，应用于饮水机，所述饮水机包括摄像头、显示装置和设备本体，所述控制器包括：
生成单元，用于根据目标物体的第一动作影像生成虚拟影像，并通过所述显示装置显示所述虚拟影像，其中，所述第一动作影像通过所述摄像头获取；
检测单元，用于根据所述第一动作影像检测所述目标物体的目标动作；
标注单元，用于若未检测出所述目标物体的目标动作，则将预设的多个第一虚拟操控按键标注在所述虚拟影像中，以指示用户根据所述第一虚拟操控按键操作；
匹配单元，用于在多个第一位置中检测与第二动作影像中用户手部的第二位置相匹配的第一目标位置，其中，所述第二动作影像通过所述摄像头获取，所述第一位置为所述虚拟影像中所述第一虚拟操控按键的位置；
控制单元，用于若多个第一位置中存在第一目标位置，则控制所述设备本体执行所述第一目标位置对应的第一虚拟操控按键所指示的第一动作。
8.如权利要求7所述的控制器，其特征在于，所述匹配单元还用于：
将所述第二动作影像中用户手部的第二位置映射到所述虚拟影像中，获得所述用户手部在所述虚拟影像中的第三位置；
将与所述第三位置满足预设位置关系的第一位置确定为所述第一目标位置，其中，所述预设位置关系为第一位置与第三位置的重合度大于预设值。
9.一种控制器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210840754.2A CN115247899B (zh) | 2022-07-18 | 2022-07-18 | 控制方法、控制器及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210840754.2A CN115247899B (zh) | 2022-07-18 | 2022-07-18 | 控制方法、控制器及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115247899A true CN115247899A (zh) | 2022-10-28 |
| CN115247899B CN115247899B (zh) | 2024-02-06 |
Family
ID=83699259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210840754.2A Active CN115247899B (zh) | 2022-07-18 | 2022-07-18 | 控制方法、控制器及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115247899B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107894128A (zh) * | 2017-10-27 | 2018-04-10 | 合肥美的电冰箱有限公司 | 冰箱饮水机及其出水控制方法和装置 |
| CN109288393A (zh) * | 2018-10-31 | 2019-02-01 | 上海沐鹭科技有限公司 | 一种智能饮水机 |
| CN109814964A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技（深圳）有限公司 | 一种界面展示方法、终端设备及计算机可读存储介质 |
| CN111568237A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568219A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568179A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568223A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN113064494A (zh) * | 2021-05-25 | 2021-07-02 | 广东机电职业技术学院 | 一种空中交互无接触的虚拟按键设备及其使用方法 |
| CN215068488U (zh) * | 2021-04-02 | 2021-12-07 | 中国工商银行股份有限公司 | 无接触交互式柜员机 |
| CN216534916U (zh) * | 2020-05-25 | 2022-05-17 | 北京他山科技有限公司 | 一种全自动饮水机 |
-
2022
- 2022-07-18 CN CN202210840754.2A patent/CN115247899B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107894128A (zh) * | 2017-10-27 | 2018-04-10 | 合肥美的电冰箱有限公司 | 冰箱饮水机及其出水控制方法和装置 |
| CN109288393A (zh) * | 2018-10-31 | 2019-02-01 | 上海沐鹭科技有限公司 | 一种智能饮水机 |
| CN109814964A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技（深圳）有限公司 | 一种界面展示方法、终端设备及计算机可读存储介质 |
| CN111568219A (zh) * | 2020-02-28 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568237A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568179A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN111568223A (zh) * | 2020-02-29 | 2020-08-25 | 佛山市云米电器科技有限公司 | 饮水机控制方法、饮水机及计算机可读存储介质 |
| CN216534916U (zh) * | 2020-05-25 | 2022-05-17 | 北京他山科技有限公司 | 一种全自动饮水机 |
| CN215068488U (zh) * | 2021-04-02 | 2021-12-07 | 中国工商银行股份有限公司 | 无接触交互式柜员机 |
| CN113064494A (zh) * | 2021-05-25 | 2021-07-02 | 广东机电职业技术学院 | 一种空中交互无接触的虚拟按键设备及其使用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115247899B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9619105B1 (en) | Systems and methods for gesture based interaction with viewpoint dependent user interfaces | |
| JP2017062709A (ja) | ジェスチャー操作装置 | |
| US8754872B2 (en) | Capacitive touch controls lockout | |
| CN109416616B (zh) | 电子装置及其操作方法 | |
| US11262857B2 (en) | Rendering device and rendering method | |
| CN107239222B (zh) | 一种触摸屏的操控方法及终端设备 | |
| JP2023527529A (ja) | インタラクティブ情報処理方法、装置、端末、およびプログラム | |
| US11508105B2 (en) | Using augmented reality for accessing legacy transaction terminals | |
| EP2991000A1 (en) | Data communication device and program | |
| CN109656364B (zh) | 一种用于在用户设备上呈现增强现实内容的方法与设备 | |
| CN106708409B (zh) | 一种弹出菜单的响应方法、装置及移动终端 | |
| US20240054780A1 (en) | Object detections for virtual reality | |
| US11423366B2 (en) | Using augmented reality for secure transactions | |
| US10268362B2 (en) | Method and system for realizing functional key on side surface | |
| WO2022041606A1 (zh) | 控件的显示位置调整方法及装置 | |
| CN115247899B (zh) | 控制方法、控制器及计算机可读存储介质 | |
| CN112286350A (zh) | 设备控制方法及装置、电子设备、电子装置、处理器 | |
| WO2017107310A1 (zh) | 一种显示界面的切换方法及装置、终端、存储介质 | |
| US20170252923A1 (en) | Device for interaction of an object exhibited with the aid of a robotic arm | |
| EP3537376A2 (en) | Image processing method and electronic device supporting image processing | |
| CN112203131B (zh) | 一种基于显示设备的提示方法、装置及存储介质 | |
| US20170277340A1 (en) | Terminal control method and terminal | |
| KR102325684B1 (ko) | 두부 착용형 시선 추적 입력 장치 및 이를 이용하는 입력 방법 | |
| US10915753B2 (en) | Operation assistance apparatus, operation assistance method, and computer readable recording medium | |
| CN112068699A (zh) | 一种交互方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |