CN112750437A - 控制方法、控制装置及电子设备 - Google Patents
控制方法、控制装置及电子设备 Download PDFInfo
- Publication number
- CN112750437A CN112750437A CN202110001669.2A CN202110001669A CN112750437A CN 112750437 A CN112750437 A CN 112750437A CN 202110001669 A CN202110001669 A CN 202110001669A CN 112750437 A CN112750437 A CN 112750437A
- Authority
- CN
- China
- Prior art keywords
- image
- voice
- instruction
- user
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 241000282414 Homo sapiens Species 0.000 claims abstract description 13
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 241001465382 Physalis alkekengi Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Social Psychology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种控制方法、控制装置及电子设备，所述控制方法包括：划分一特定空间为至少一区域；实时获取一帧图像；所述图像包括三维影像传感器拍摄的环境图像及用户图像；获取与所述图像对应的三维影像传感器所处区域；从所述图像中截取用户图像；录入所述用户图像至一姿态检测模型；以及判断是否能够获取一第一开关指令，若是，发送该第一开关指令至与所述三维影像传感器所处区域对应的用电设备。本发明支持用户直接说出自然语言，更符合人类说话逻辑。同时本发明可以准确根据用户实时姿态对用电设备的开关状态进行调整。
Description
技术领域
本申请涉及智能家居技术领域，尤其涉及一种控制方法、一种控制装置及一种电子设备。
背景技术
随着科技的不断进步及人们生活水平的逐渐提高，智能家居已经成为现代家庭时尚生活中必不可少的一部分。
现有技术中的用电设备(如智能灯具等)由在线语音控制，但是此种方法并不方便。在线语音控制需要用户通过应用程序对用电设备进行联网设置，用户体验较差，而且在线语音控制装置必须通过一固定唤醒词对用电设备进行唤醒，再发送指令至用电设备，不符合用户的自然语言习惯。由于在线语音控制基于互联网，故当网络延迟时，用电设备无法第一时间执行相关指令，用户体验极差。现有技术中也缺少一种对用电设备进行准确控制的控制技术。
因此，有必要提出一种新型的用电设备控制技术，以克服上述缺陷。
发明内容
本发明的目的在于，提供一种控制方法、控制装置及存储介质，以解决现有技术中用电设备易发生指令异常现象的问题，同时解决用电设备需预先下载应用程序带来的操作繁琐的问题。
为实现上述目的，本发明提供了一种控制方法，包括以下步骤：划分一特定空间为至少一区域；实时获取一帧图像；所述图像包括三维影像传感器拍摄的环境图像及用户图像；获取与所述图像对应的三维影像传感器所处区域；从所述图像中截取用户图像；录入所述用户图像至一姿态检测模型；以及判断是否能够获取一第一开关指令，若是，发送该第一开关指令至与所述三维影像传感器所处区域对应的用电设备。
进一步地，在所述实时获取一帧图像的步骤之前，包括以下步骤：在每一区域内设置用电设备、三维影像传感器及语音识别设备。
进一步地，所述判断是否能够获取一第一开关指令的步骤，还包括以下步骤：若否，从所述图像中截取用户手臂图像；录入所述用户手臂图像至一手势检测模型；以及判断是否能够获取一第二开关指令，若是，发送该第二开关指令至与所述三维影像传感器所处区域对应的用电设备。
进一步地，所述判断是否能够获取一第二开关指令的步骤，还包括以下步骤：若否，采集语音指令；所述语音指令为语音识别设备采集的用户语音；获取采集到语音的语音识别设备所处区域；以及判断所述语音指令是否与至少一预设的语音指令一致，若是，发送与所述语音指令对应的第三开关指令至所述语音识别设备所处区域对应的用电设备。
进一步地，所述判断是否能够获取一第一开关指令的步骤，还包括以下步骤：若否，采集语音指令；所述语音指令为语音识别设备采集的用户语音；获取采集到语音的语音识别设备所处区域；以及判断所述语音指令是否与至少一预设的语音指令一致，若是，发送与所述语音指令对应的第三开关指令至所述语音识别设备所处区域对应的用电设备。
进一步地，所述判断是否能够获取一第一开关指令的步骤，还包括以下步骤：判断是否能够获取一第一开关指令，若否，从所述图像中截取用户手臂图像；录入所述用户手臂图像至一手势检测模型；判断是否能够获取一第二开关指令，若是，发送该第二开关指令至一语音识别设备；采集语音指令；所述语音指令为语音识别设备采集的用户语音；获取采集到语音的语音识别设备所处区域；以及判断所述语音指令是否与至少一预设的语音指令一致，若是，发送与所述语音指令对应的第三开关指令至所述语音识别设备所处区域对应的用电设备。
进一步地，在所述实时获取一帧图像的步骤之前，包括以下步骤：采集两组以上的训练样本，每一组训练样本包括多帧人体姿态图像，相同组别的训练样本被标注为相同的组别标签，所述组别标签包括启动指令、关停指令及无效指令；录入多组所述训练样本至一机器学习模型中进行训练；以及生成一姿态检测模型，能够根据用户姿态判断出该姿态对应的指令类型。
进一步地，在所述实时获取一帧图像的步骤之前，包括以下步骤：采集两组以上的训练样本，每一组训练样本包括多帧手势图像，相同组别的训练样本被标注为相同的组别标签，所述组别标签包括启动指令、关停指令及无效指令；录入所述训练样本至一机器学习模型中进行训练；以及生成一手势检测模型，能够根据用户手势判断出该手势对应的指令类型。
进一步地，在所述实时获取一帧图像的步骤之前，包括以下步骤：存储每一用电设备、三维影像传感器及语音识别设备的编号及其所处区域至数据库。
进一步地，所述发送该第一开关指令至与所述三维影像传感器所处区域对应的用电设备的步骤，具体包括以下步骤：根据采集到图像的三维影像传感器编号获取其所处区域；根据三维影像传感器的所处区域获取该区域的用电设备；以及发送所述第一开关指令至所述用电设备。
进一步地，所述实时获取一帧图像的步骤，具体包括以下步骤：获取一帧图像；采用数据滤波算法处理所述图像；以及判断被处理过的相邻两个图像的差别像素点的数量是否大于等于一预设阈值，若否，删除获取到的最后一帧图像，并返回所述获取一帧图像的步骤。
本发明还提供了一种控制装置，包括数据处理单元，所述数据处理单元包括：区域划分单元，用以划分一特定空间为至少一区域；图像获取单元，用以实时获取一帧图像；所述图像包括三维影像传感器拍摄的环境图像及用户图像；区域获取单元，用以获取与所述图像对应的三维影像传感器所处区域；图像截取单元，用以从所述图像中截取用户图像；图像录入单元，用以录入所述用户图像至一姿态检测模型，判断是否能够获取一第一开关指令；以及指令发送单元，用以发送该第一开关指令至与所述三维影像传感器所处区域对应的用电设备。
进一步地，所述控制装置还包括：语音识别设备；连接至所述数据处理单元；通信单元，连接至所述数据处理单元；至少一用电设备，连接至所述数据处理单元；以及至少一三维影像传感器，连接至所述数据处理单元。
本发明还提供了一种电子设备，包括：处理器；以及存储器，其存储有计算机程序，所述计算机程序被所述处理器运行时执行上述控制方法中至少一步骤。
本发明的技术效果在于，本发明提供了一种用电设备的控制方法、控制装置及电子设备，解决了现有技术中语音控制需要唤醒词不符合人类自然语言的问题，同时解决了由于用户需下载客户端才能对用电设备进行预先设置导致的操作繁琐的问题。本发明更加符合人类的语言习惯，增加了用户的体验感。本发明无需预先下载应用程序对上述电子设备进行前置设置，降低了电子设备前置设置步骤的繁琐程度。同时，本发明提供的控制方法可以实现用电设备的精准的自动控制，降低了用户操作的繁琐程度。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1为本申请实施例1提供的控制装置的结构示意图。
图2为本申请实施例1中所述数据处理单元的结构示意图。
图3为本申请实施例1提供的控制方法的第一流程图。
图4为本申请实施例1提供的控制方法的第二流程图。
图5为本申请实施例1中所述模型训练的流程图。
图6为本申请实施例1中所述数据处理单元判断是否能够获取一第一开关指令的步骤的流程图。
图7为本申请实施例2中所述数据处理单元判断是否能够获取一第一开关指令的步骤的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
实施例1
如图1所示，本实施例提供了一种用电设备的控制装置100，包括数据处理单元110，数据处理单元110分别连接至三维影像传感器120、用电设备130、通信单元140以及语音识别设备150。在本实施中，数据处理单元110优选为处理器，通信单元140优选为蓝牙无线传感器，语音识别设备150优选为麦克风，三维影像传感器120优选为TOF传感器，用电设备优选为灯具。用电设备可选一车内照明灯或家居灯。
语音识别设备150用以采集语音指令。通信单元140用以发送开关指令至用电设备130，三维影像传感器120用以实时获取一帧图像，用电设备130用以执行开关指令。
如图2所示，数据处理单元110包括：区域划分单元111、图像获取单元112、区域获取单元113、图像截取单元114、图像录入单元115以及指令发送单元116。
在本实施例中，第一开关指令为一姿态检测模型得到的用电设备的开关指令，第三开关指令为语音识别设备得到的用电设备的开关指令。
区域划分单元111，用以划分一特定空间为至少一区域。图像获取单元112，用以通过三维影像传感器120实时获取一帧图像；所述图像包括三维影像传感器拍摄的环境图像及用户图像。区域获取单元113，用以获取与所述图像对应的三维影像传感器所处区域。图像截取单元114，用以从所述图像中截取用户图像。图像录入单元115，用以录入所述用户图像至一姿态检测模型，判断是否能够获取一第一开关指令。指令发送单元116，用以发送该第一开关指令至与所述三维影像传感器所处区域对应的用电设备。可选地，在训练姿态检测模型时可以设定身体姿态为躺姿或用餐姿态。例如：三维影像传感器120与灯具设在客厅中，当数据处理单元110通过三维影像传感器120采集到的图片中的用户姿态与机器学习模型中的用户姿态一致时，数据处理单元110得到该三维影像传感器的所处位置，即客厅，数据处理单元110发送与用户姿态对应的通断电指令至客厅内的灯具，以实现灯具的自动化管理。
本发明提供的用电设备的控制装置，解决了现有技术中语音控制需要唤醒词不符合人类自然语言的问题，同时解决了由于用户需下载客户端才能对用电设备进行预先设置导致的操作繁琐的问题。该控制装置更加符合人类的语言习惯，增加了用户的体验感。该控制装置无需预先下载应用程序以进行前置设置，降低了前置设置步骤的繁琐程度。同时，本发明提供的控制方法可以实现用电设备的自动控制，降低了用户操作的繁琐程度。
如图3、图4所示，基于上述用电设备的控制装置，本实施例还提供了一种用电设备的控制方法，该控制方法包括步骤S100-S900。其中步骤S100-S300为前置步骤。
步骤S100)模型训练。如图5所示，该步骤包括步骤S110-S160：步骤S110)数据处理器采集两组以上的训练样本。每一组训练样本包括多帧人体姿态图像，相同组别的训练样本被标注为相同的组别标签，所述组别标签包括启动指令、关停指令及无效指令。步骤S120)数据处理单元录入多组训练样本至一机器学习模型中进行训练。步骤S130)数据处理单元生成一姿态检测模型。该姿态检测模型能够根据用户姿态判断出该姿态对应的指令类型。例如：一张拍摄有用户正坐姿的图像被标记为开灯，拍摄有用户平躺姿态的图像被标记为关灯，厂商通过将该两种图片大量录入机器学习模型中，最后得到了一姿态检测模型。当用户正坐时，数据处理单元110能够通过上述姿态检测模型得到一个开灯指令，当用户平躺时，数据处理单元能够通过上述姿态检测模型得到一个关灯指令。姿态检测模型优选通过人体骨骼点数据或人体19个点云数据进行训练。
步骤S200)设备设置。该步骤中包括以下步骤：数据处理单元划分一特定空间为至少一区域。特定区域可为房屋、车内，优选为一房屋。区域可为上述房屋的客厅、卧室等或上述车内的主驾驶区等。划分区域也可由用电设备的厂商直接划分该特定区域为至少一区域。以及用户在每一区域内设置用电设备、三维影像传感器及语音识别设备。例如：用户需要对客厅实现灯具的自动管理，即特定空间为用户的房子，区域为客厅。用户需要将灯具、三维影像传感器以及语音识别设备设于客厅中。优选地，三维影像传感器设于水平高度0.8m-2m之间，且三维影像传感器的摄像头水平相对设置于沙发。如此设置的三维影像传感器可以识别最大6平方米左右的区域。
步骤S300)数据库设置。用户存储每一用电设备、三维影像传感器及语音识别设备的编号及其所处区域至数据库。例如：灯具的编号为1，位置为客厅，拍摄客厅的三维影像传感器编号为2，录制客厅声音的语音识别设备编号为3，即厂商通过将上述参数录入数据库，建立了灯具、三维影像传感器及语音识别设备的联系，方便后续对相应的灯具进行操作。
步骤S400)数据处理单元实时获取一帧图像。所述图像包括三维影像传感器拍摄的环境图像及用户图像。该步骤具体包括以下步骤：数据处理单元获取一帧图像；数据处理单元采用数据滤波算法处理图像；以及数据处理单元判断被处理过的相邻两个图像的差别像素点的数量是否大于等于一预设阈值，若否，删除获取到的最后一帧图像，并返回所述获取一帧图像的步骤，若是，可执行步骤S500)。上述预设阈值可根据厂商需求进行准确设定，该预设阈值越小，数据处理单元发送给姿态检测模型的图片越多，该预设阈值越大，数据处理单元发送给姿态检测模型的图片越少，数据处理器的负荷越小。通过删除重复图片，可以减少数据处理单元110的运算负担，大大增加数据处理单元110的使用寿命。数据滤波算法优选为卡尔曼滤波算法。数据处理单元110通过数据滤波算法得到的图像可以极大程度减少图像噪音的影响。在该步骤中图像优选为带有点云数据的图像。
步骤S500)数据处理单元获取与图像对应的三维影像传感器所处区域。数据处理单元110通过上述数据库查询到当前三维影像传感器的所处区域，以便于后续对该区域内用电设备进行控制。
步骤S600)数据处理单元从所述图像中截取用户图像。优选地，数据处理单元110通过比对相邻几帧图像的像素差异点，将该像素差异点制成新的图像，用新图像执行后续步骤，可有效减少姿态检测模型的运算量，提高姿态检测模型的运算速度。
步骤S700)数据处理单元录入用户图像至一姿态检测模型。数据处理单元110通过上述姿态检测模型进行用户姿态的辨认。
步骤S800)数据处理单元判断是否能够获取一第一开关指令。若是，数据处理单元执行下一步骤。如图6所示，若否，数据处理单元110执行步骤S831-S834。步骤S831)数据处理单元采集语音指令。所述语音指令为语音识别设备采集的用户语音。步骤S832)数据处理单元获取采集到语音的语音识别设备所处区域。步骤S833)数据处理单元判断语音指令是否与至少一预设的语音指令一致，若是，执行步骤S834。步骤S834)数据处理单元发送与语音指令对应的第三开关指令至语音识别设备所处区域对应的用电设备。例如：数据处理单元未识别出用户在客厅中，此时用户在客厅中喊出“开灯”，数据处理单元110识别出语音识别设备所处位置，即客厅。数据处理单元110判定用户在客厅中，且需要开灯，便查询与客厅对应的灯具的编号，对该灯具发送开灯指令。
步骤S900)数据处理单元发送第一开关指令至与三维影像传感器所处区域对应的用电设备。该步骤具体包括以下步骤：数据处理单元根据采集到图像的三维影像传感器编号获取其所处区域；数据处理单元根据三维影像传感器的所处区域获取该区域的用电设备；以及数据处理单元发送第一开关指令至用电设备。例如：用户在客厅中保持坐姿，三维影像传感器拍摄到了该张图像，数据处理单元110通过姿态检测模型判定用户的这个姿态是在看电视，需要对客厅的灯具进行通电。数据处理单元110通过上述数据库查询到客厅的灯具对应的编号，通过该编号准确发送通电指令至用电设备。
本实施例提供的用电设备的控制方法，通过用户姿态和语音的双重控制保证了用电设备能够调整至用户想要的状态。该控制方法没有对语音控制设置唤醒词，用户可直接说出自然语言，更符合人类说话逻辑。用户在使用该控制方法时也无需下载应用程序，减少了用户操作难度，增加了用户体验感。
本实施例还提供了一种电子设备，包括处理器；以及存储器，其存储有计算机程序，计算机程序被处理器运行时执行上述用电设备的控制方法中至少一步骤。
本实施例提供的电子设备，应用于上述用电设备的控制装置，通过不同的指令下达方法，增加了用电设备的灵敏程度，使得用户的每一个指令动作都能有效地发送至用电设备，用电设备也能准确执行相应的指令。
实施例2
本实施例与实施例1大体相同，故相同部分在此不做赘述，在此仅详细说明不同部分。
在本实施例中，第二开关指令为一手势检测模型得到的用电设备的开关指令。
在实施例1提出的用电设备的控制方法的基础上，步骤S100)模型训练，还包括以下步骤：数据处理器采集两组以上的训练样本。每一组训练样本包括多帧手势图像，相同组别的训练样本被标注为相同的组别标签，所述组别标签包括启动指令、关停指令及无效指令。数据处理单元录入多组训练样本至一机器学习模型中进行训练。数据处理单元生成一手势检测模型。该手势检测模型能够根据用户手势判断出该姿态对应的指令类型。例如：一张拍摄有用户抬起左臂的图像被标记为开灯，拍摄有用户抬起右臂的图像被标记为关灯，厂商通过将该两种图片大量录入机器学习模型中，最后得到了一手势检测模型。当用户抬起左臂时，数据处理单元110能够通过上述手势检测模型得到一个开灯指令，当用户抬起右臂时，数据处理单元110能够通过上述手势检测模型得到一个关灯指令。手势检测模型优选通过人体骨骼点或人体19个点云数据进行训练。
如图7所示，在步骤S800)数据处理单元判断是否能够获取一第一开关指令的步骤中，若否，数据处理单元执行步骤S810-S840。
步骤S810)数据处理单元从图像中截取用户手臂图像。
步骤S820)数据处理单元录入用户手臂图像至一手势检测模型。
步骤S830)数据处理单元判断是否能够获取一第二开关指令，若是，执行下一步骤。如图6所示，若否，数据处理单元110执行步骤S831-S834。步骤S831)数据处理单元采集语音指令。所述语音指令为语音识别设备采集的用户语音。步骤S832)数据处理单元获取采集到语音的语音识别设备所处区域。步骤S833)数据处理单元判断语音指令是否与至少一预设的语音指令一致，若是，执行步骤S834。步骤S834)数据处理单元发送与语音指令对应的第三开关指令至语音识别设备所处区域对应的用电设备。在本实施例中当无法检测到用户的身体姿态以及手势时，语音识别设备开始启动，数据处理单元实时接收用户是否下达语音指令。例如：数据处理单元未识别出用户在客厅中，此时用户在客厅中喊出“开灯”，数据处理单元110识别出语音识别设备所处位置，即客厅。数据处理单元110判定用户在客厅中，且需要开灯，便查询与客厅对应的灯具的编号，对该灯具发送开灯指令。
步骤S840)数据处理单元发送该第二开关指令至与三维影像传感器所处区域对应的用电设备。例如：用户在客厅中伸展左臂，三维影像传感器拍摄到了该张图像，数据处理单元110通过姿态检测模型判定用户的这个手势为对客厅的灯具进行通电的指令，数据处理单元110通过上述数据库查询到客厅的灯具对应的编号，通过该编号准确发送第一开关指令至客厅灯具，以确保指令的准确性。
本实施例提供的用电设备的控制方法基于姿态、手势以及语音三重判断，在用户任一一个指令达到标准时便可调整用电设备的开关状态，使得用电设备的开关状态能够更加符合用户的心意，进一步提高了用户体验感。
实施例3
本实施例与实施例2大体相同，故相同部分在此不做赘述，在此仅详细说明不同部分。
第二开关指令为一手势检测模型得到的语音识别设备的开关指令。
如图6所示，在实施例2提出的用电设备的控制方法的基础上，步骤S830)数据处理单元判断是否能够获取一第二开关指令。若是，数据处理单元执行步骤S831-S834。步骤S831)数据处理单元采集语音指令；所述语音指令为语音识别设备采集的用户语音。步骤S832)数据处理单元获取采集到语音的语音识别设备所处区域。步骤S833)数据处理单元判断语音指令是否与至少一预设的语音指令一致，若是，执行步骤S834。步骤S834)数据处理单元发送与语音指令对应的第三开关指令至语音识别设备所处区域对应的用电设备。若否，数据处理单元返回步骤S400)数据处理单元实时获取一帧图像。
在本实施例中当检测到用户的手势时，语音识别设备开始启动，数据处理单元实时接收用户是否下达语音指令。例如：数据处理单元识别出用户在客厅中的代表启动语音识别设备的手势，数据处理单元110开启语音识别设备。此时用户在客厅中喊出“开灯”，数据处理单元110识别语音识别设备的所处位置，即客厅。数据处理单元110判定用户在客厅中，且需要开灯，便查询与客厅对应的灯具的编号，对该灯具发送开灯指令。
本实施例提供的用电设备的控制方法在判断出用户的手势后开启语音识别设备，以此避免设置唤醒词，更加符合用户的自然语言，使用户不必在每次下达命令时说出与命令无关的唤醒词，极大增加了用户体验感。
Claims (14)
1.一种控制方法，其特征在于，包括以下步骤：
划分一特定空间为至少一区域；
实时获取一帧图像；所述图像包括三维影像传感器拍摄的环境图像及用户图像；
获取与所述图像对应的三维影像传感器所处区域；
从所述图像中截取用户图像；
录入所述用户图像至一姿态检测模型；以及
判断是否能够获取一第一开关指令，若是，发送该第一开关指令至与所述三维影像传感器所处区域对应的用电设备。
2.如权利要求1所述的控制方法，其特征在于，在所述实时获取一帧图像的步骤之前，包括以下步骤：
在每一区域内设置用电设备、三维影像传感器及语音识别设备。
3.如权利要求1所述的控制方法，其特征在于，所述判断是否能够获取一第一开关指令的步骤，还包括以下步骤：
若否，从所述图像中截取用户手臂图像；
录入所述用户手臂图像至一手势检测模型；以及
判断是否能够获取一第二开关指令，若是，发送该第二开关指令至与所述三维影像传感器所处区域对应的用电设备。
4.如权利要求3所述的控制方法，其特征在于，所述判断是否能够获取一第二开关指令的步骤，还包括以下步骤：
若否，采集语音指令；所述语音指令为语音识别设备采集的用户语音；
获取采集到语音的语音识别设备所处区域；以及
判断所述语音指令是否与至少一预设的语音指令一致，若是，发送与所述语音指令对应的第三开关指令至所述语音识别设备所处区域对应的用电设备。
5.如权利要求1所述的控制方法，其特征在于，所述判断是否能够获取一第一开关指令的步骤，还包括以下步骤：
若否，采集语音指令；所述语音指令为语音识别设备采集的用户语音；
获取采集到语音的语音识别设备所处区域；以及
判断所述语音指令是否与至少一预设的语音指令一致，若是，发送与所述语音指令对应的第三开关指令至所述语音识别设备所处区域对应的用电设备。
6.如权利要求1所述的控制方法，其特征在于，所述判断是否能够获取一第一开关指令的步骤，还包括以下步骤：
判断是否能够获取一第一开关指令，若否，从所述图像中截取用户手臂图像；
录入所述用户手臂图像至一手势检测模型；
判断是否能够获取一第二开关指令，若是，发送该第二开关指令至一语音识别设备；
采集语音指令；所述语音指令为语音识别设备采集的用户语音；
获取采集到语音的语音识别设备所处区域；以及
判断所述语音指令是否与至少一预设的语音指令一致，若是，发送与所述语音指令对应的第三开关指令至所述语音识别设备所处区域对应的用电设备。
7.如权利要求1所述的控制方法，其特征在于，在所述实时获取一帧图像的步骤之前，包括以下步骤：
采集两组以上的训练样本，每一组训练样本包括多帧人体姿态图像，相同组别的训练样本被标注为相同的组别标签，所述组别标签包括启动指令、关停指令及无效指令；
录入多组所述训练样本至一机器学习模型中进行训练；以及
生成一姿态检测模型，能够根据用户姿态判断出该姿态对应的指令类型。
8.如权利要求1所述的控制方法，其特征在于，在所述实时获取一帧图像的步骤之前，包括以下步骤：
采集两组以上的训练样本，每一组训练样本包括多帧手势图像，相同组别的训练样本被标注为相同的组别标签，所述组别标签包括启动指令、关停指令及无效指令；
录入所述训练样本至一机器学习模型中进行训练；以及
生成一手势检测模型，能够根据用户手势判断出该手势对应的指令类型。
9.如权利要求1所述的控制方法，其特征在于，在所述实时获取一帧图像的步骤之前，包括以下步骤：
存储每一用电设备、三维影像传感器及语音识别设备的编号及其所处区域至数据库。
10.如权利要求1所述的控制方法，其特征在于，所述发送该第一开关指令至与所述三维影像传感器所处区域对应的用电设备的步骤，具体包括以下步骤：
根据采集到图像的三维影像传感器编号获取其所处区域；
根据三维影像传感器的所处区域获取该区域的用电设备；以及
发送所述第一开关指令至所述用电设备。
11.如权利要求1所述的控制方法，其特征在于，所述实时获取一帧图像的步骤，具体包括以下步骤：
获取一帧图像；
采用数据滤波算法处理所述图像；以及
判断被处理过的相邻两个图像的差别像素点的数量是否大于等于一预设阈值，若否，删除获取到的最后一帧图像，并返回所述获取一帧图像的步骤。
12.一种控制装置，其特征在于，包括数据处理单元，所述数据处理单元包括：
区域划分单元，用以划分一特定空间为至少一区域；
图像获取单元，用以实时获取一帧图像；所述图像包括三维影像传感器拍摄的环境图像及用户图像；
区域获取单元，用以获取与所述图像对应的三维影像传感器所处区域；
图像截取单元，用以从所述图像中截取用户图像；
图像录入单元，用以录入所述用户图像至一姿态检测模型，判断是否能够获取一第一开关指令；以及
指令发送单元，用以发送该第一开关指令至与所述三维影像传感器所处区域对应的用电设备。
13.如权利要求12所述的控制装置，其特征在于，还包括：
语音识别设备；连接至所述数据处理单元；
通信单元，连接至所述数据处理单元；
至少一用电设备，连接至所述数据处理单元；以及
至少一三维影像传感器，连接至所述数据处理单元。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1-11中任一项所述至少一步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110001669.2A CN112750437A (zh) | 2021-01-04 | 2021-01-04 | 控制方法、控制装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110001669.2A CN112750437A (zh) | 2021-01-04 | 2021-01-04 | 控制方法、控制装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112750437A true CN112750437A (zh) | 2021-05-04 |
Family
ID=75649655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110001669.2A Pending CN112750437A (zh) | 2021-01-04 | 2021-01-04 | 控制方法、控制装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112750437A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114258176A (zh) * | 2021-12-31 | 2022-03-29 | 欧普照明股份有限公司 | 灯具及灯具控制方法 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102932212A (zh) * | 2012-10-12 | 2013-02-13 | 华南理工大学 | 一种基于多通道交互方式的智能家居控制系统 |
| CN202801140U (zh) * | 2012-08-31 | 2013-03-20 | 华南理工大学 | 一种窗帘的智能手势和语音控制系统 |
| CN105700372A (zh) * | 2016-03-11 | 2016-06-22 | 珠海格力电器股份有限公司 | 智能设备及其控制方法 |
| CN106934334A (zh) * | 2015-12-31 | 2017-07-07 | 芋头科技（杭州）有限公司 | 一种手势动作识别方法及智能设备 |
| US20170270924A1 (en) * | 2016-03-21 | 2017-09-21 | Valeo Vision | Control device and method with voice and/or gestural recognition for the interior lighting of a vehicle |
| CN107390881A (zh) * | 2017-09-14 | 2017-11-24 | 西安领讯卓越信息技术有限公司 | 一种手势控制方法 |
| WO2018031758A1 (en) * | 2016-08-11 | 2018-02-15 | Alibaba Group Holding Limited Fourth Floor, One Capital Place | Control system and control processing method and apparatus |
| CN108108709A (zh) * | 2017-12-29 | 2018-06-01 | 纳恩博（北京）科技有限公司 | 一种识别方法及装置、计算机存储介质 |
| CN108181992A (zh) * | 2018-01-22 | 2018-06-19 | 北京百度网讯科技有限公司 | 基于手势的语音唤醒方法、装置、设备及计算机可读介质 |
| CN108307116A (zh) * | 2018-02-07 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 图像拍摄方法、装置、计算机设备和存储介质 |
| CN108536302A (zh) * | 2018-04-17 | 2018-09-14 | 中国矿业大学 | 一种基于人体手势和语音的教学方法及系统 |
| CN109886070A (zh) * | 2018-12-24 | 2019-06-14 | 珠海格力电器股份有限公司 | 一种设备控制方法、装置、存储介质及设备 |
| CN209693124U (zh) * | 2018-12-30 | 2019-11-26 | 欧普照明股份有限公司 | 智能照明控制装置及智能照明系统 |
| CN111245688A (zh) * | 2019-12-26 | 2020-06-05 | 的卢技术有限公司 | 一种基于室内智能控制电器设备的方法及系统 |
| CN111274460A (zh) * | 2020-01-20 | 2020-06-12 | 重庆百事得大牛机器人有限公司 | 基于体态控制的语义信息采集系统及方法 |
| CN111368800A (zh) * | 2020-03-27 | 2020-07-03 | 中国工商银行股份有限公司 | 手势识别方法及装置 |
| CN111522524A (zh) * | 2020-03-19 | 2020-08-11 | 浙江省北大信息技术高等研究院 | 一种基于会议机器人的演示文稿控制方法、装置、存储介质及终端 |
| CN112053683A (zh) * | 2019-06-06 | 2020-12-08 | 阿里巴巴集团控股有限公司 | 一种语音指令的处理方法、设备及控制系统 |
-
2021
- 2021-01-04 CN CN202110001669.2A patent/CN112750437A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202801140U (zh) * | 2012-08-31 | 2013-03-20 | 华南理工大学 | 一种窗帘的智能手势和语音控制系统 |
| CN102932212A (zh) * | 2012-10-12 | 2013-02-13 | 华南理工大学 | 一种基于多通道交互方式的智能家居控制系统 |
| CN106934334A (zh) * | 2015-12-31 | 2017-07-07 | 芋头科技（杭州）有限公司 | 一种手势动作识别方法及智能设备 |
| CN105700372A (zh) * | 2016-03-11 | 2016-06-22 | 珠海格力电器股份有限公司 | 智能设备及其控制方法 |
| US20170270924A1 (en) * | 2016-03-21 | 2017-09-21 | Valeo Vision | Control device and method with voice and/or gestural recognition for the interior lighting of a vehicle |
| WO2018031758A1 (en) * | 2016-08-11 | 2018-02-15 | Alibaba Group Holding Limited Fourth Floor, One Capital Place | Control system and control processing method and apparatus |
| CN107390881A (zh) * | 2017-09-14 | 2017-11-24 | 西安领讯卓越信息技术有限公司 | 一种手势控制方法 |
| CN108108709A (zh) * | 2017-12-29 | 2018-06-01 | 纳恩博（北京）科技有限公司 | 一种识别方法及装置、计算机存储介质 |
| CN108181992A (zh) * | 2018-01-22 | 2018-06-19 | 北京百度网讯科技有限公司 | 基于手势的语音唤醒方法、装置、设备及计算机可读介质 |
| CN108307116A (zh) * | 2018-02-07 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 图像拍摄方法、装置、计算机设备和存储介质 |
| CN108536302A (zh) * | 2018-04-17 | 2018-09-14 | 中国矿业大学 | 一种基于人体手势和语音的教学方法及系统 |
| CN109886070A (zh) * | 2018-12-24 | 2019-06-14 | 珠海格力电器股份有限公司 | 一种设备控制方法、装置、存储介质及设备 |
| CN209693124U (zh) * | 2018-12-30 | 2019-11-26 | 欧普照明股份有限公司 | 智能照明控制装置及智能照明系统 |
| CN112053683A (zh) * | 2019-06-06 | 2020-12-08 | 阿里巴巴集团控股有限公司 | 一种语音指令的处理方法、设备及控制系统 |
| CN111245688A (zh) * | 2019-12-26 | 2020-06-05 | 的卢技术有限公司 | 一种基于室内智能控制电器设备的方法及系统 |
| CN111274460A (zh) * | 2020-01-20 | 2020-06-12 | 重庆百事得大牛机器人有限公司 | 基于体态控制的语义信息采集系统及方法 |
| CN111522524A (zh) * | 2020-03-19 | 2020-08-11 | 浙江省北大信息技术高等研究院 | 一种基于会议机器人的演示文稿控制方法、装置、存储介质及终端 |
| CN111368800A (zh) * | 2020-03-27 | 2020-07-03 | 中国工商银行股份有限公司 | 手势识别方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114258176A (zh) * | 2021-12-31 | 2022-03-29 | 欧普照明股份有限公司 | 灯具及灯具控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11017217B2 (en) | System and method for controlling appliances using motion gestures | |
| WO2017215297A1 (zh) | 云端互动系统及其多感知型智能机器人和感知互动方法 | |
| CN108231079B (zh) | 用于控制电子设备的方法、装置、设备以及计算机可读存储介质 | |
| CN110806708A (zh) | 智能家居控制方法、系统及计算机可读存储介质 | |
| CN107957120B (zh) | 空调器的送风方法、空调器和计算机可读存储介质 | |
| CN111128157B (zh) | 一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调 | |
| CN111492426A (zh) | 注视启动的语音控制 | |
| CN110186161B (zh) | 默认参数更新方法、空调自学习控制方法以及空调器 | |
| CN111681675B (zh) | 数据动态传输方法、装置、设备和存储介质 | |
| CN105912632A (zh) | 一种设备服务推荐方法和装置 | |
| CN111667798A (zh) | 一种屏幕调节方法及装置 | |
| CN110716444A (zh) | 一种基于智能家居的声音控制方法、装置和存储介质 | |
| CN114120996A (zh) | 语音交互方法及装置 | |
| CN113867163A (zh) | 一种智能家居场景切换方法、装置、智能终端及存储介质 | |
| WO2019180434A1 (en) | Processing a command | |
| CN112747434A (zh) | 室内温度控制方法、系统、设备及计算可读机存储介质 | |
| CN111801650A (zh) | 电子装置及基于对应于用户的使用模式信息控制外部电子装置的方法 | |
| CN112750437A (zh) | 控制方法、控制装置及电子设备 | |
| CN107274899A (zh) | 空调器语音控制方法、装置、空调器及可读存储介质 | |
| CN111221257A (zh) | 基于图像识别技术的智能家居设备控制方法和装置 | |
| CN114613362A (zh) | 设备控制方法和装置、电子设备和介质 | |
| CN113375305A (zh) | 空调器的控制方法、装置、电子设备以及存储介质 | |
| CN106951071B (zh) | 一种基于动作捕捉的设备控制方法和装置 | |
| CN115086094B (zh) | 设备选择方法及相关装置 | |
| CN111781843A (zh) | 用于控制智能家居装置的设备和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |