CN116946826A - 非接触式按键触发方法及设备 - Google Patents

非接触式按键触发方法及设备 Download PDF

Info

Publication number
CN116946826A
CN116946826A CN202210417821.XA CN202210417821A CN116946826A CN 116946826 A CN116946826 A CN 116946826A CN 202210417821 A CN202210417821 A CN 202210417821A CN 116946826 A CN116946826 A CN 116946826A
Authority
CN
China
Prior art keywords
key information
target object
system module
tip
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210417821.XA
Other languages
English (en)
Inventor
陈鸿文
沈宜郡
胡承维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maiqi Technology Co.,Ltd.
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210417821.XA priority Critical patent/CN116946826A/zh
Priority to PCT/CN2023/087728 priority patent/WO2023202435A1/zh
Publication of CN116946826A publication Critical patent/CN116946826A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/46—Adaptations of switches or switchgear
    • B66B1/468—Call registering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00—Control systems of elevators in general
    • B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/46—Adaptations of switches or switchgear
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B66B5/0012—Devices monitoring the users of the elevator system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B66B5/0037—Performance analysers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00—Aspects of control systems of elevators
    • B66B2201/10—Details with respect to the type of call input
    • B66B2201/102—Up or down call input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00—Aspects of control systems of elevators
    • B66B2201/40—Details of the change of control mode
    • B66B2201/46—Switches or switchgear
    • B66B2201/4607—Call registering systems
    • B66B2201/4638—Wherein the call is registered without making physical contact with the elevator system

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种非接触式按键触发方法及设备，方法包含：以设置于操作面板的感测器感测时间序列数据，其中该时间序列数据包含至少一图像，且该图像的范围涵盖设置于该操作面板的多个按键；以系统模块判定该图像中是否包含目标物件；在该图像中包含该目标物件的情况下，以该系统模块判定该目标物件的尖端的尖端坐标，其中该尖端是指该目标物件与该操作面板之间距离最近的一点；以该系统模块判定该尖端坐标所对应的多个按键信息中的一按键信息，且至少根据该按键信息发出控制信号，其中该些按键信息关联于该些按键；以及以控制器接收该控制信号，且根据该控制信号执行控制操作。

Description

非接触式按键触发方法及设备
技术领域
本发明涉及控制的技术领域；具体来说，本发明涉及一种非接触式按键触发方法及设备。
背景技术
日常生活中公共设备的操作和接触会造成病毒、细菌的传播，让使用者暴露于风险之下。某些地点，例如公寓大厦、公司大楼甚至是医院诊所，因为其人潮的高流动率以及进出人员的不固定性，使其更容易成为高风险场所。其中这些场所的电梯，由于高频率的使用，不论使用者是以手指还是其他物品(例如钥匙)操作，都容易使电梯按键成为病菌的温床。
为了避免人员与电梯按键直接接触，目前的作法可以大致分为两种，一是保持实体接触，但是增加消毒频率或是在按键上贴附消毒薄膜，二是以非接触的之方式操作电梯，例如以声控式、红外线等方式来触发电梯按键。但前者可能因消毒频率远低于电梯使用频率、消毒薄膜仍需要一定的杀菌时间等因素无法达到有效防止病菌传播的目的。而后者虽能完全避免接触电梯按键，然而声控式的操作可能受到环境噪音的干扰、环境湿度也可能影响红外线的使用。因此，目前需要一种能够有效防止病菌传播，同时兼顾精确性以及使用方便性的电梯按键触发方法。
发明内容
本发明的一目的在于提供一种使用深度相机的非接触式按键触发方法，可以避免人员接触电梯按键，进而有效防止病菌通过按键传播。
本发明的一目的在于提供一种使用深度相机的非接触式按键触发方法，可以降低非接触式按键触发的误判率，进而提升其使用效率。
本发明的一目的在于提供一种使用深度相机的非接触式按键触发方法，可以简单应用在现有电梯操作面板上，进而提升其应用的方便性。
本发明的一目的在于提供一种使用深度相机的非接触式按键触发方法，可以在使用者维持原本的操作习惯下达到非接触式按键触发。
在一实施例中，非接触式按键触发方法包含：以设置于操作面板的感测器感测时间序列数据，其中该时间序列数据包含至少一图像，且该图像的范围涵盖设置于该操作面板的多个按键；以系统模块判定该图像中是否包含目标物件；在该图像中包含该目标物件的情况下，以该系统模块判定该目标物件的尖端的尖端坐标，其中该尖端是指该目标物件与该操作面板之间距离最近的一点；以该系统模块判定该尖端坐标所对应的多个按键信息中的一按键信息，且至少根据该按键信息发出控制信号，其中该些按键信息关联于该些按键；以及以控制器接收该控制信号，且根据该控制信号执行控制操作。
在一实施例中，判定该图像中是否包含该目标物件包括：以该系统模块辨识该图像中的一物件，以产生一分类结果；以及根据该分类结果判定该物件是否为该目标物件。
在一实施例中，判定该图像中是否包含该目标物件包括将该时间序列数据输入一机器学习模型以进行判定。
在一实施例中，至少根据该按键信息发出该控制信号进一步包括：以该系统模块判定该尖端坐标对应的该按键信息的一分数，当该分数在一计算期间内为最高的分数、分数达到一阈值或者其两者时，才根据该按键信息发出该控制信号。
在一实施例中，进一步包括注册该些按键信息，其包括：以该系统模块辨识该目标物件是否为手且是否为一第一手势或一第二手势；根据该系统模块辨识该目标物件为手且为该第一手势的结果，启用一第一模式；以该系统模块判定该第一手势的一手势尖端的一手势尖端坐标；根据该手势尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息；以及根据该系统模块辨识该目标物件为手且为该第二手势的结果，结束该第一模式。
在一实施例中，进一步包括注册该些按键信息，其包括：通过以有线或无线的方式连接该系统模块的一注册界面启用一第一模式；以该系统模块判定该目标物件的一第一尖端坐标；根据该第一尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息；以及通过该注册界面结束该第一模式。
在一实施例中，进一步包括注册该些按键信息，其包括：以该系统模块辨识该目标物件是否包括一第一物品或一第二物件；根据该系统模块辨识该目标物件包该第一物品的结果，以该系统模块判定该第一物品的一第一尖端坐标；根据该系统模块辨识该目标物件包括该第二物件的结果，启用一第三模式；以及该系统模块根据该第一尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息，并结束该第三模式。
在一实施例中，通过以有线或无线的方式连接该系统模块的一注册界面启用该第三模式，而不以该系统模块辨识该目标物件是否包括该第二物件。
在一实施例中，判定该尖端坐标所对应的多个按键信息中的该按键信息包括：根据该尖端坐标介于该第一阈值范围内，判定该尖端坐标对应该第一按键信息。
在一实施例中，判定该目标物件的该尖端的该尖端坐标包括：以该系统模块辨识该目标物件的多个突出点，且判定该些突出点中与该操作面板之间距离最近者为该尖端。
在一实施例中，该感测器为3D感测器，该时间序列数据包括该图像及一深度信息。
在一实施例中，该感测器设置在该些按键之上，且该图像的范围不涵盖使用者的脸部。
本发明的一目的在于提供一种非接触式按键触发设备，其包含：一感测器，用以感测一时间序列数据，其中该时间序列数据包含至少一图像，且该图像的范围涵盖设置于一操作面板的多个按键；一系统模块，经配置以执行以下动作：判定该图像中是否包含一目标物件；在该图像中包含该目标物件的情况下，判定该目标物件的一尖端的一尖端坐标，其中该尖端是指该目标物件与该操作面板之间距离最近的一点；判定该尖端坐标所对应的多个按键信息中的一按键信息，且至少根据该按键信息发出一控制信号，其中该些按键信息关联于该些按键；以及一控制器，用以接收该控制信号，且根据该控制信号执行控制操作。
在一实施例中，该系统模块判定该图像中是否包含该目标物件包括：辨识该图像中的一物件，以产生一分类结果；以及根据该分类结果判定该物件是否为该目标物件。
在一实施例中，该系统模块判定该图像中是否包含该目标物件包括将该时间序列数据输入一机器学习模型以进行判定。
在一实施例中，至少根据该按键信息发出该控制信号包括：该系统模块判定该尖端坐标对应的该按键信息的一分数，当该分数在一计算期间内为最高的分数、分数达到一阈值或者其两者时，才根据该按键信息发出该控制信号。
在一实施例中，该系统模块进一步经配置而执行以下动作，以注册该些按键信息：辨识该目标物件是否为手且是否为一第一手势或一第二手势；根据辨识该目标物件为手且为该第一手势的结果，启用一第一模式；判定该第一手势的一手势尖端的一手势尖端坐标；根据该手势尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息；以及根据辨识该目标物件为手且为该第二手势的结果，结束该第一模式。
在一实施例中，进一步包括一注册界面，用以启用或结束一第一模式，其中，该注册界面通过有线或无线的方式连接该系统模块，当启用该第一模式时，该系统模块经配置而执行以下动作，以注册该些按键信息：判定该目标物件的一第一尖端坐标；以及根据该第一尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息。
在一实施例中，该系统模块进一步经配置而执行以下动作，以注册该些按键信息：辨识该目标物件是否包括一第一物品或一第二物件；根据辨识该目标物件包括该第一物品的结果，判定该第一物品的一第一尖端坐标；根据辨识该目标物件包括该第二物件的结果，启用一第三模式；以及根据该第一尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息，并结束该第三模式。
在一实施例中，进一步包括通过以有线或无线的方式连接该系统模块的一注册界面，以启用该第三模式，而不以该系统模块辨识该目标物件是否包括该第二物件。
在一实施例中，该系统模块判定该尖端坐标所对应的多个按键信息中的该按键信息包括：根据该尖端坐标介于该第一阈值范围内，判定该尖端坐标对应该第一按键信息。
在一实施例中，该系统模块判定该目标物件的该尖端的该尖端坐标包括：辨识该目标物件的多个突出点，且判定该些突出点中与该操作面板之间距离最近者为该尖端。
在一实施例中，该感测器为3D感测器，该时间序列数据包括该图像及一深度信息。
在一实施例中，该感测器设置在该些按键之上，且该图像的范围不涵盖使用者的脸部。
通过此配置，可以在不额外教导使用者操作方式或是改变使用者操作习惯的前提下，达到在使用者实际按下按键前即触发电梯按键，以达到本发明非接触式按键触发的目的。
附图说明
图1为本发明一实施例的非接触式按键触发方法的流程图。
图2为应用本发明一实施例的非接触式按键触发方法的系统的示意图。
图3为本发明一实施例的时间序列数据的图像示意图。
图4为本发明一实施例的机器学习模型的运作示意图。
图5A至图5E为本发明一实施例的机器学习模型的训练集示意图。
图6为本发明一实施例的判断尖端的示意图。
图7为本发明一实施例的机器学习模型的架构示意图。
图8A为本发明一实施例的按键信息的查找表示意图。
图8B为本发明一实施例的判定按键信息的示意图。
图9为本发明另一实施例的启动/结束第一模式的流程图。
图10为本发明另一实施例的机器学习模型的运作示意图。
图11A及图11B为本发明另一实施例的判断尖端的阈值范围的示意图。
主要元件符号说明：
S100…方法
S102…步骤
S104…步骤
S106…步骤
S108…步骤
S110…步骤
S900…方法
S902…步骤
S904…步骤
S906…步骤
S908…步骤
S910…步骤
201…按键
203…操作面板
205…感测器
207…系统模块
209…控制器
300…图像
300a…图像
300b…图像
300c…图像
300d…图像
305…手指
403…机器学习模型
500a…已标签训练影像
500b…已标签训练影像
500c…已标签训练影像
500d…已标签训练影像
500e…已标签训练影像
601…尖端
603…突出点
803…按键信息
803a…按键信息
1103…第一按键
具体实施方式
以下通过描述具体的实施例以及配合附图，说明本发明内容的非接触式按键触发方法，本领域技术人员可通过本公开内容理解本发明技术概念与效果。以下所公开的内容并非旨在限制主张保护的范围，在不悖离本发明构思精神的原则下，本领域技术人员可以不同构造、操作顺序等的实施例实现本公开内容。
参考图1、图2及图3说明本发明的一实施例的非接触式按键触发方法S100。在步骤S102处，本方法包括以设置于操作面板203的感测器205感测时间序列数据，其中该时间序列数据包含至少一图像300，且图像300的范围涵盖设置于操作面板203上的多个按键201。图2为实现本方法的非接触式按键触发系统的示意图，在本实施例中感测器205设置于操作面板203上高于该些按键201的位置，且以电连接的方式耦接系统模块207，该系统模块207电连接至控制器209，其中该控制器209也电连接至该些按键201。在本实施例中，感测器205为3D感测器(例如深度相机)，因此感测器205所感测的时间序列数据包括以一定时间区间(例如0.1秒)拍摄的多个图像300以及感测范围内所有物件的深度信息，其中图像300的范围(图2中以虚线箭头示意感测器205的感测范围)涵盖位于其下的该些按键201，且在本实施例中，不涵盖使用者的脸部，由此保护使用者的隐私。
参考图3的图像300的示意图，图3中图像300a、300b、300c及300d分别为相隔一时间区间所拍摄的图像300，且分别拍摄到了移动中的手指305。应注意的是，此处图像300的范围涵盖该些按键201是指该图像300的宽度及长度大于该些按键201所在的区域，而不旨在拍摄到按键201本身(如图3，图像300中上方按键201遮挡下方其他按键201，因而产生只能看到最上方按键的图像，或者在不同的设施中按键201并未突出操作面板203，因而产生未看见任何按键的图像等，本发明并未对此设限)。
参考图4继续说明本发明的一实施例的非接触式按键触发方法S100。在步骤S104处，本方法包括以系统模块207判定该图像300中是否包含目标物件。详细来说，系统模块207接受感测器205感测的时间序列数据后，以机器学习模型403辨识图像300中所包含的物件，以产生分类结果，其中该分类结果至少包括三种，情况一为机器学习模型403判断图像300中使用者欲以手指按压按键；情况二为机器学习模型403判断图像300中使用者手持物品(例如钥匙)欲按压按键；以及情况三为其他情况。其中，根据分类结果为情况一及情况二，判定该物件为目标物件(即图像300中包含目标物件)，且根据分类结果为情况三，判定该物件并非目标物件(即图像300中不包含目标物件)。
参考图5A至图5E说明本发明一实施例的机器学习模型403。图5A至图5E包括经预处理的已标签训练影像500a、500b、500c、500d及500e的示意图。机器学习模型403为以该些已标签训练影像500作为训练集进行训练而产生。其中，该些已标签训练影像500可以为由感测器205所拍摄的图像300经预处理而成，也可以是以其他现成影像经预处理而成，本发明并未对此设限。所述预处理包括对影像加以标签(tag)，在本实施例中标签种类包括使用者以手指按压电梯按键(即情况一)、使用者手持物品按压电梯按键(即情况二)以及其他情况(即情况三)。参考图5A至图5E中的已标签训练影像500的示意图，已标签训练影像500a中包括以手指按压按键的情况，因此应被标签为情况一；已标签训练影像500b中包括以手持物品按压按键的情况，因此应被标签为情况二；以及已标签训练影像500c中包括以手部关节按压按键的情况，因此应被标签为情况一。在本实施例中，其他情况(即情况三)包括各种使用者不旨在按压按键的情况，例如在已标签训练影像500d中，使用者的手掌朝上应判定为没有按压的意图，因此被标签为情况三；在已标签训练影像500e中，使用者因过度靠近操作面板203而使肩膀(头发、背包)入镜，应判定为没有按压的意图，因此被标签为情况三。通过将大量已标签训练影像500输入机器学习模型403，该机器学习模型403可以学习将图像300进行分类，并由此判断图像300中是否包含目标物件(根据分类结果为情况一或情况二判定为包含目标物件以及根据分类结果为情况三判定为不包含目标物件)。
参考图6继续说明本发明的一实施例的非接触式按键触发方法S100。在步骤S106处，本方法包括在图像300包含目标物件的情况下，以系统模块207判定目标物件的尖端601的尖端坐标，其中该尖端601是指目标物件与操作面板203之间距离最近的一点。参考图6详细说明，系统模块207可以辨识出目标物件包含的多个突出点603(例如指尖、指关节或者钥匙的尖端等)，且分别判定该些突出点603的二维坐标(x,y)后，以该些突出点603中与操作面板203距离最近者为尖端601。在本实施例中，突出点603的二维坐标是以感测器205为原点，以水平轴为X轴，且以垂直轴为Y轴，且判断突出点603与操作面板203的距离的方式是比较Y轴的值(Y轴数值越大越远离操作面板203)。应注意的是，在不同的实施例中，也可以其他方式计算突出点603与操作面板203的距离(例如同时计算X轴及Y轴的数值)，本发明并未对此设限。在系统模块207判定尖端601后以该尖端601的二维坐标配合通过感测器205取得的深度信息而产生三维的尖端坐标(x,y,z)。
在本实施例中，判定目标物件的尖端601的尖端坐标包括利用机器学习技术执行(其中以机器学习技术辨识目标物件的突出点603(例如指尖、关节)等已为本领域技术人员所熟知的技术，在此将不再详细说明)，且可以将该机器学习技术整合在前述机器学习模型403中。例如参考图7，机器学习模型403可以使用卷积神经网络(Convolutional NeuralNetworks，CNN)以及回归神经网络(Recurrent Neural Networks，RNN)，其中将感测器205所感测到的图像300作为输入，经过前述判断目标物件、判断尖端601等步骤后，配合感测器205所感测到的深度信息，最终取得目标物件的尖端坐标。应注意的是，在本实施例中虽然以2D的图像300输入至机器学习模型403中以取得尖端坐标，但在不同实施例中，也可以机器学习以外的传统影像处理技术(例如肤色辨识、轮廓选取等)取得目标物件的尖端坐标，或是以2D数据以外的数据格式(例如点云数据)作为输入，本发明并未对此设限。
应注意的是，虽然在本实施例中仅示出图像300中包括单一目标物件的情况，但在不同实施例中，图像300也可以同时包括多个目标物件(例如同时有多人按压电梯按键201)，本发明并未对此设限。
参考图8A继续说明本发明的一实施例的非接触式按键触发方法S100。在步骤S108处，本方法包括以系统模块207判定尖端坐标在多个按键信息803中所对应的按键信息803a，且至少根据该按键信息803a发出控制信号，其中按键信息803关联于按键201。参考图8A，多个按键信息803分别关联于特定按键201(楼层)，且指示特定三维坐标的阈值范围，例如按键信息803a对应8F且指示X轴坐标范围0.025-0.065m、Y轴坐标范围0.00-0.02m以及Z轴坐标范围0.65-0.69m。系统模块207获得尖端坐标(例如为(0.047,0.01,0.68))后将其与该些按键信息803进行比对(例如通过查找表)，并根据该尖端坐标介于按键信息803a所指示的坐标阈值范围(0.025-0.065,0.00-0.02,0.65-0.69)内，而判定该尖端坐标对应于按键信息803a。应注意的是，按键信息803可以为预设的特定三维坐标阈值范围，或者可以由使用者针对不同按键201的排列方式注册不同的坐标阈值范围(详参以下图9的说明)，本发明并未对此设限。
参考图8B继续说明步骤S108。根据感测器在一定时间区间(例如0.1秒)所感测的时间序列数据，系统模块207将不断根据该尖端坐标判定对应的按键信息803，每一次经判定的按键信息803都会获得一分数，在一特定的计算期间内，系统模块207将根据具有最高分数的按键信息803、分数达到阈值的按键信息803或者分数达到阈值且同时为最高分数的按键信息803，发出该按键信息803对应的楼层的控制信号(例如该按键信息803对应8F则系统模块207指示前往8F的控制信号)。举例说明之，按键信息803每一次获得的分数可以为一函数f，其中函数f为时间t以及尖端坐标(x,y,z)的函数。在一特定计算期间内(例如判定次数N＝15)，去计算每一个经判定的按键信息803的分数，意即按键信息803的分数总计为由此配置，按键信息803的分数可以关联于不同帧的时间顺序以及尖端坐标的距离。举例言之，假设函数f为/>则在时间t+0判定的按键信息803获得分数/>在时间t+1判定的按键信息803获得分数/>以此类推。在此配置下，越接近当前时间点所判定的按键信息803将获得越高的分数。应注意的是，前述函数f仅为示例性说明，使用者可以根据经验设计合适的函数f(例如f为1/(zn-zo)，其中z0为按键表面中心坐标的Z坐标值，当经判定的尖端坐标越接近按键表面，分数越高)，本发明并未对此设限。
除了以判定次数作为计算期间外，系统模块207亦可以在当其中一按键信息803的分数达到阈值k时，即产生控制信号，并结束该次计算期间，所有分数重新归零。举例言之，按键信息803的分数S可以由下述公式计算：
其中，F为当次判定的按键信息803对应的楼层，α为记忆权重，γ为触发权重，其中每次计算仅有被判定的按键信息803的分数会加上触发权重γ，当任何按键信息803的分数SF达到阈值k时，该次计算期间即结束。例如参考下述分数计算表：
表1、分数计算表
在此配置下，系统模块207不需一直更新最近的N个时间序列数据，且使用者可以依需求修改公式中的权重，例如γ为1/(zn-zo)，表示尖端坐标越接近按键时，该按键信息803可以获得越高分数，由此，当尖端快速接近按键时可以更有效率地触发按键。应注意的是，前述各项权重以及阈值皆为示例性说明，本发明并未对此设限。
在步骤S110处，本方法包括以控制器209接收控制信号，且根据该控制信号执行控制操作。如图1中所示，控制器209以电连接方式耦接该些按键201以及系统模块207，在以传统接触式方法触发按键的情况下，该控制器209接收由于特定按键201被按压而产生的控制信号，进而对电梯执行控制操作(例如到特定楼层、开关门等)。在本实施例中，系统模块207在前述步骤中产生控制信号，以取代传统上需实际按压按键201才能产生的控制信号。该控制器209接收控制信号后，将模拟按键201被实际按压的情况，对电梯执行控制操作。
在此配置下，本实施例可以在使用者的手指或手持的物品尚未实质接触到按键201前，通过感测器205拍摄，并通过系统模块判断使用者欲按压的按键，以预先产生对电梯的控制信号，由此在不改变使用者的操作习惯下，达到非接触式电梯按键触发的目的。
参考图9及图10说明本发明另一实施例的非接触式按键触发方法S900，在本实施例中该方法还包括第一模式以注册该些按键信息803。在步骤S902处，本方法包括以系统模块207辨识目标物件是否为手且是否为第一手势或第二手势。参考图10，在本实施例中，机器学习模型403在接受时间序列数据后，除了作出前述三种情况的分类(情况一为使用者以手指按压电梯按键；二为使用者手持物品按压电梯按键；以及三为其他情况)外还包括情况四及情况五，其中情况四为使用者摆出第一手势，且情况五为使用者摆出第二手势。其中，该第一手势及第二手势可以为预设的特定手势(例如大拇指与食指伸直张开(即指示数字7的手势))，也可以由使用者设定任意手势，本发明并未对此设限。此外，以机器学习技术辨识手势已为本领域技术人员所熟知的技术，本实施例可以任何适当的技术方式(例如参考图6，通过辨识大拇指及食指的关节判定该手势为数字7的手势)执行，本发明并未对此设限。
参考图9继续说明本发明另一实施例的非接触式按键触发方法S900，在步骤S904中，本方法还包括根据系统模块207辨识目标物件为手且为第一手势的结果，启用第一模式。根据在步骤S902的识别结果，系统模块207将执行不同的步骤，当分类结果为情况一或情况二时，将继续执行图1所示的步骤S106，即系统模块207判定目标物件的尖端601的尖端坐标；当分类结果为情况三时，系统模块207不执行特定程序，且持续从感测器205接受时间序列数据；当分类结果为情况四时，系统模块207启用第一模式，并继续以下将描述的步骤S906；以及当分类结果为情况五时，结束该第一模式(详参下述步骤S910)。
在步骤S906处，系统模块207判定该第一手势的手势尖端的手势尖端坐标。其中该手势尖端的判断方式可以如同在图6中说明的判定目标物件的尖端601的方式执行，且该手势尖端坐标也可以如同在图6中说明的判定目标物件的尖端坐标的方式执行。
参考图11A，在步骤S908处，系统模块207根据手势尖端坐标计算出第一阈值范围，且将该第一阈值范围关联于第一按键1103，以产生该些按键信息803中的第一按键信息。在本实施例中，系统模块207执行步骤S908的同时，使用者可以第一手势按压第一按键1103(在本实施例中以8F示出)，其后控制器209将接收到关联于第一按键1103的控制信号，该控制信号会通过控制器209与系统模块207之间电连接的关系，被系统模块207接收并记录。同时，在步骤S908处，系统模块207计算出第一阈值范围，且根据该关联于第一按键1103的控制信号，系统模块207能够将该第一阈值范围以对应该第一按键1103的方式记录，由此产生第一按键信息。
在本实施例中以使用者按压第一按键1103(8F)进而产生关联于8F的控制信号的方式，使得系统模块207能够将第一阈值范围以关联于8F的方式储存，由此产生第一按键信息。但在不同实施例中，使用者也可以不实际按压该第一按键1103，而是由系统模块以依照按键顺序的方式逐一记录该第一阈值范围，例如第一个纪录的阈值范围对应1F；第二个纪录的阈值范围对应2F；第三个纪录的阈值范围对应3F，以此类推。除此之外，使用者也可以直接进入系统模块207的后台进行修改，进而将该些阈值范围以关联于对应的楼层的方式记录。以上的实施例仅为示例性说明，本领域技术人员可以任何适当的方式将该第一阈值范围关联于该第一按键，本发明并未对此设限。
参考图11A中以虚线示出的柱体，第一阈值范围实际上指示出第一按键1103前的一虚拟空间范围，其用途为当目标物件落于该虚拟空间范围内时(意即其尖端坐标介于第一阈值范围内)，系统模块207将由此判定使用者意图按压该第一按键1103(参考前述步骤S108)。因此，该虚拟空间范围的大小将影响本方法判断使用者意图的精确度。
在本实施例中该空间的宽边(W)范围为手势尖端坐标的X轴坐标Xh加减按键201的宽度W0/2，即第一阈值范围的X轴范围为以及该空间的高边(H)范围为手势尖端坐标的Z轴坐标Zh加减按键201的高度H0/2，即第一阈值范围的Z轴范围为/>另外，由于该空间的长边(L)范围部必然与手势尖端坐标的Y轴坐标相关，因此在本实施例中直接设定为0-0.02m。举例来说，假设手势尖端坐标经判定为(0.045,0.01,0.67)、第一按键为8F，且按键的高度为4厘米，则第一阈值范围应为(0.025-0.065,0.00-0.02,0.65-0.69)，且响应系统模块207接收的关联于该第一按键1103(8F)的控制信号，该第一阈值范围将被关联于该第一按键1103，由此产生第一按键信息(如图8A中的按键信息803a)。在所有按键201都经注册后，将产生如图8A所示的查找表。
应注意的是，在此所描述的数值皆为示例性，本领域技术人员可以其他方式判定第一阈值范围，本发明并未对此设限。另外，虽然在本实施例中以矩形示出按键201，但在不同实施例中，按键201也可以为圆形或其他形状，因应按键201的不同形状，第一阈值范围也可以为圆柱形(参考图11B中以虚线示出的柱体)或其他柱体的空间，本发明并未对此设限。
在步骤S910处，根据系统模块207辨识该目标物件为手且为该第二手势的结果，结束该第一模式。在第一模式结束后，目标物件接近操作面板203将不会执行注册按键201的方法S900，而是执行如前述图1中方法S100所示的步骤。在此配置之下，使用者可以自行针对按键201注册按键信息803，以产生如图8A的查找表。由此，即使不同电梯间的按键201排列方式或相对位置不相同，使用者也能通过第一模式逐一注册按键信息803，以简单地将本发明内容应用在不同电梯中，并且能够随时更新按键信息803，以确保其精确度。
以下说明本发明又一实施例的非接触式按键触发方法，本实施例进一步包括通过以有线或无线的方式连接该系统模块207的注册界面启用或结束该第一模式，进而取代辨识第一手势/第二手势以启用/结束第一模式的方式。所述注册界面可以为任何操作装置(例如手机、笔记本型电脑等)上的使用者界面，前述操作装置可以有线或无线(例如蓝牙)的方式连接至系统模块207，由此传输信号以控制系统模块207开启或结束该第一模式。除此之外，该注册界面还可以包括对应不同按键201的选项，当系统模块207执行步骤S908时，使用者可以同步利用该注册界面选择该第一阈值范围所对应的第一按键1103，由此将该第一阈值范围以关联于该楼层的方式记录，以产生该第一按键信息。举例而言，在判定该第一阈值范围后，使用者可以同步在注册界面上选择楼层8F，进而使得系统模块207可以将判定的第一阈值范围关联于8F，并记录至如图8A的查找表中。
以下说明本发明另一实施例的非接触式按键触发方法，本实施例的差别在于，在机器学习模型403辨识出一第一物品后，判定该第一物品的尖端坐标，其后根据系统模块207判定图像300中包括第二物件(可以为与第一物品不同的物品，亦可以为特定手势等，本发明不对此设限)的结果，计算该第一物品的尖端坐标的第一阈值范围，并执行如前述S908的步骤后，直接结束注册。其中第一物品可以为预设的特定物品，例如预设为圆柱长条型物品，或者预设为有颜色标记的物品等，本发明并未对此设限。通过提供训练集的方式可以训练机器学习模型403，使得机器学习模型403可以辨识该第一物品及该第二物件，进而完成本实施例。此外，在不同实施例中，亦可以不包括该第二物件，而是通过以有线或无线的方式连接系统模块207的注册介面开启注册，以取代辨识该第二物件的步骤。例如系统模块207判定该第一物品的第一尖端坐标的同时，使用者可通过选择该注册介面上的选项(例如“注册此坐标”)，进而传输信号至该系统模块207，使得系统模块207根据该第一尖端坐标判定该第一阈值范围，进而纪录按键信息803。
本发明再一实施例提供一种非接触式按键触发的设备，用以执行前述实施例中的非接触式按键触发方法。参考图2，本设备包含设置于操作面板203上的多个按键201、设置于操作面板203上高于该些按键201的位置的感测器205，其中该感测器以电连接的方式耦接系统模块207、电连接至控制器209的系统模块207，以及同时电连接至按键201及系统模块207的控制器209。在本实施例中，感测器205为3D感测器(例如深度相机)。参考图1，该感测器执行步骤S102；该系统模块207执行步骤S104-S106及方法S900；以及该控制器执行步骤S110。应注意的是，在本实施例中该感测器205虽然设置于高于该些按键201的位置，惟在不同实施例中，该感测器可以设置在任何适当(感测范围涵盖所有按键)的位置(例如按键201的下方)，本发明并未对此设限。
上述公开内容仅为本发明的优选实施例，并非旨在限制本发明的申请专利范围，且本文所述方法中的顺序也仅为示例性说明，本领域技术人员可以在本发明的等效概念下修改步骤的顺序。此外，除非与本文内容有明确的矛盾外，本文中使用的单数用语“一”、“该”同时也包括多个的情况，且“第一”、“第二”等用语旨在使本领域技术人员方便了解本发明内容的概念，而非对本发明中的元件性质做限制。附图中各个元素、部件以及单元等的形状、位置以及大小等均旨在简洁、明确示出本发明的技术内容，而非对本发明产生限制。同时，众所周知的细节或构造也将在附图中被省略。

Claims (24)

1.一种非接触式按键触发方法，其特征在于，包含：
以设置于一操作面板的一感测器感测一时间序列数据，其中该时间序列数据包含至少一图像，且该图像的范围涵盖设置于该操作面板的多个按键；
以一系统模块判定该图像中是否包含一目标物件；
在该图像中包含该目标物件的情况下，以该系统模块判定该目标物件的一尖端的一尖端坐标，其中该尖端是指该目标物件与该操作面板之间距离最近的一点；
以该系统模块判定该尖端坐标所对应的多个按键信息中的一按键信息，且至少根据该按键信息发出一控制信号，其中该些按键信息关联于该些按键；以及
以一控制器接收该控制信号，且根据该控制信号执行控制操作。
2.如权利要求1所述的非接触式按键触发方法，其特征在于，判定该图像中是否包含该目标物件包括：
以该系统模块辨识该图像中的一物件，以产生一分类结果；以及
根据该分类结果判定该物件是否为该目标物件。
3.如权利要求2所述的非接触式按键触发方法，其特征在于，判定该图像中是否包含该目标物件包括将该时间序列数据输入一机器学习模型以进行判定。
4.如权利要求1所述的非接触式按键触发方法，其特征在于，至少根据该按键信息发出该控制信号进一步包括：
以该系统模块判定该尖端坐标对应的该按键信息的一分数，当该分数在一计算期间内为最高的分数、分数达到一阈值或者其两者时，才根据该按键信息发出该控制信号。
5.如权利要求1所述的非接触式按键触发方法，其特征在于，进一步包括注册该些按键信息，其包括：
以该系统模块辨识该目标物件是否为手且是否为一第一手势或一第二手势；
根据该系统模块辨识该目标物件为手且为该第一手势的结果，启用一第一模式；
以该系统模块判定该第一手势的一手势尖端的一手势尖端坐标；
根据该手势尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息；以及
根据该系统模块辨识该目标物件为手且为该第二手势的结果，结束该第一模式。
6.如权利要求1所述的非接触式按键触发方法，其特征在于，进一步包括注册该些按键信息，其包括：
通过以有线或无线的方式连接该系统模块的一注册界面启用一第一模式；
以该系统模块判定该目标物件的一第一尖端坐标；
根据该第一尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息；以及
通过该注册界面结束该第一模式。
7.如权利要求1所述的非接触式按键触发方法，其特征在于，进一步包括注册该些按键信息，其包括：
以该系统模块辨识该目标物件是否包括一第一物品或一第二物件；
根据该系统模块辨识该目标物件包该第一物品的结果，以该系统模块判定该第一物品的一第一尖端坐标；
根据该系统模块辨识该目标物件包括该第二物件的结果，启用一第三模式；以及
该系统模块根据该第一尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息，并结束该第三模式。
8.如权利要求7所述的非接触式按键触发方法，其特征在于，通过以有线或无线的方式连接该系统模块的一注册界面启用该第三模式，而不以该系统模块辨识该目标物件是否包括该第二物件。
9.如权利要求5、6或7所述的非接触式按键触发方法，其特征在于，判定该尖端坐标所对应的多个按键信息中的该按键信息包括：
根据该尖端坐标介于该第一阈值范围内，判定该尖端坐标对应该第一按键信息。
10.如权利要求1所述的非接触式按键触发方法，其特征在于，判定该目标物件的该尖端的该尖端坐标包括：
以该系统模块辨识该目标物件的多个突出点，且判定该些突出点中与该操作面板之间距离最近者为该尖端。
11.如权利要求1所述的非接触式按键触发方法，其特征在于，该感测器为3D感测器，该时间序列数据包括该图像及一深度信息。
12.如权利要求1所述的非接触式按键触发方法，其特征在于，该感测器设置在该些按键之上，且该图像的范围不涵盖使用者的脸部。
13.一种非接触式按键触发设备，其特征在于，包含：
一感测器，用以感测一时间序列数据，其中该时间序列数据包含至少一图像，且该图像的范围涵盖设置于一操作面板的多个按键；
一系统模块，经配置以执行以下动作：
判定该图像中是否包含一目标物件；
在该图像中包含该目标物件的情况下，判定该目标物件的一尖端的一尖端坐标，其中该尖端是指该目标物件与该操作面板之间距离最近的一点；
判定该尖端坐标所对应的多个按键信息中的一按键信息，且至少根据该按键信息发出一控制信号，其中该些按键信息关联于该些按键；以及
一控制器，用以接收该控制信号，且根据该控制信号执行控制操作。
14.如权利要求13所述的非接触式按键触发设备，其特征在于，该系统模块判定该图像中是否包含该目标物件包括：
辨识该图像中的一物件，以产生一分类结果；以及
根据该分类结果判定该物件是否为该目标物件。
15.如权利要求14所述的非接触式按键触发设备，其特征在于，该系统模块判定该图像中是否包含该目标物件包括将该时间序列数据输入一机器学习模型以进行判定。
16.如权利要求13所述的非接触式按键触发设备，其特征在于，至少根据该按键信息发出该控制信号包括：
该系统模块判定该尖端坐标对应的该按键信息的一分数，当该分数在一计算期间内为最高的分数、分数达到一阈值或者其两者时，才根据该按键信息发出该控制信号。
17.如权利要求13所述的非接触式按键触发设备，其特征在于，该系统模块进一步经配置而执行以下动作，以注册该些按键信息：
辨识该目标物件是否为手且是否为一第一手势或一第二手势；
根据辨识该目标物件为手且为该第一手势的结果，启用一第一模式；
判定该第一手势的一手势尖端的一手势尖端坐标；
根据该手势尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息；以及
根据辨识该目标物件为手且为该第二手势的结果，结束该第一模式。
18.如权利要求13所述的非接触式按键触发设备，其特征在于，进一步包括一注册界面，用以启用或结束一第一模式，其中，该注册界面通过有线或无线的方式连接该系统模块，当启用该第一模式时，该系统模块经配置而执行以下动作，以注册该些按键信息：
判定该目标物件的一第一尖端坐标；以及
根据该第一尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息。
19.如权利要求13所述的非接触式按键触发设备，其特征在于，该系统模块进一步经配置而执行以下动作，以注册该些按键信息：
辨识该目标物件是否包括一第一物品或一第二物件；
根据辨识该目标物件包括该第一物品的结果，判定该第一物品的一第一尖端坐标；
根据辨识该目标物件包括该第二物件的结果，启用一第三模式；以及
根据该第一尖端坐标计算出一第一阈值范围，且将该第一阈值范围关联于一第一按键，以产生该些按键信息中的一第一按键信息，并结束该第三模式。
20.如权利要求19所述的非接触式按键触发设备，其特征在于，进一步包括通过以有线或无线的方式连接该系统模块的一注册界面，以启用该第三模式，而不以该系统模块辨识该目标物件是否包括该第二物件。
21.如权利要求17、18或19所述的非接触式按键触发设备，其特征在于，该系统模块判定该尖端坐标所对应的多个按键信息中的该按键信息包括：
根据该尖端坐标介于该第一阈值范围内，判定该尖端坐标对应该第一按键信息。
22.如权利要求13所述的非接触式按键触发设备，其特征在于，该系统模块判定该目标物件的该尖端的该尖端坐标包括：
辨识该目标物件的多个突出点，且判定该些突出点中与该操作面板之间距离最近者为该尖端。
23.如权利要求13所述的非接触式按键触发设备，其特征在于，该感测器为3D感测器，该时间序列数据包括该图像及一深度信息。
24.如权利要求13所述的非接触式按键触发设备，其特征在于，该感测器设置在该些按键之上，且该图像的范围不涵盖使用者的脸部。
CN202210417821.XA 2022-04-20 2022-04-20 非接触式按键触发方法及设备 Pending CN116946826A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210417821.XA CN116946826A (zh) 2022-04-20 2022-04-20 非接触式按键触发方法及设备
PCT/CN2023/087728 WO2023202435A1 (zh) 2022-04-20 2023-04-12 非接触式按键触发方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210417821.XA CN116946826A (zh) 2022-04-20 2022-04-20 非接触式按键触发方法及设备

Publications (1)

Publication Number Publication Date
CN116946826A true CN116946826A (zh) 2023-10-27

Family

ID=88419124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210417821.XA Pending CN116946826A (zh) 2022-04-20 2022-04-20 非接触式按键触发方法及设备

Country Status (2)

Country Link
CN (1) CN116946826A (zh)
WO (1) WO2023202435A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179032A (ja) * 2013-03-15 2014-09-25 Ricoh Co Ltd 仮想キー入力装置
US9463955B2 (en) * 2014-02-14 2016-10-11 Thyssenkrupp Elevator Corporation Elevator operator interface with virtual activation
TWI506479B (zh) * 2014-07-15 2015-11-01 Quanta Comp Inc 光學觸控系統
CN112114675B (zh) * 2020-09-29 2023-05-26 陕西科技大学 基于手势控制的非接触电梯键盘的使用方法
CN112357703B (zh) * 2020-10-27 2022-09-13 广州广日电梯工业有限公司 电梯的控制系统及电梯的控制方法
CN114148840A (zh) * 2021-11-12 2022-03-08 安徽新华学院 基于3d传感器的电梯空中按键实现方法及系统

Also Published As

Publication number Publication date
WO2023202435A1 (zh) 2023-10-26

Similar Documents

Publication Publication Date Title
JP4481663B2 (ja) 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
CN107493495A (zh) 交互位置确定方法、系统、存储介质和智能终端
CN106502570A (zh) 一种手势识别的方法、装置及车载系统
US20060182346A1 (en) Interface apparatus
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
CN108279780A (zh) 可穿戴装置及控制方法
CN102016765A (zh) 用于识别手持设备的用户的方法和系统
CN109069920B (zh) 手持式控制器、跟踪定位方法以及系统
JP2004206707A (ja) カメラの入力映像を利用する端末機動作制御装置及びその方法
US11816924B2 (en) Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium
CN110807405A (zh) 一种偷拍装置检测方法及电子设备
CN110765924A (zh) 一种活体检测方法、装置以及计算机可读存储介质
CN110446195A (zh) 定位处理方法及相关产品
TWI521387B (zh) 三維空間中之可重置式虛擬觸控板
JP2019177973A (ja) 入力装置及び入力方法
KR101396488B1 (ko) 신호 입력 장치 및 신호 입력 방법
US20220019288A1 (en) Information processing apparatus, information processing method, and program
CN111091519A (zh) 一种图像处理方法及装置
CN113282164A (zh) 一种处理方法和装置
TWI836406B (zh) 非接觸式按鍵觸發方法
JP5796523B2 (ja) 生体情報取得装置、生体情報取得方法、生体情報取得制御プログラム
CN116946826A (zh) 非接触式按键触发方法及设备
KR20110125524A (ko) 멀티모달 상호작용을 이용한 로봇의 물체 학습 시스템 및 방법
KR101775080B1 (ko) Ｎｕｉ／ｎｕｘ에 기반하여 드로잉 영상을 처리하는 장치 및 방법
JP2003340757A (ja) ロボット

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240107

Address after: Floor 2, No. 141, Section 1, Jilong Road, Xinyi District, Taipei, Taiwan, China, China

Applicant after: Maiqi Technology Co.,Ltd.

Address before: 4F-2, Building A, 242 Daxue Road, Hsinchu, Taiwan, China, China

Applicant before: Chen Hongwen