CN107272902B - 基于体感交互的智能家居服务端、控制系统及控制方法 - Google Patents

基于体感交互的智能家居服务端、控制系统及控制方法 Download PDF

Info

Publication number
CN107272902B
CN107272902B CN201710488760.5A CN201710488760A CN107272902B CN 107272902 B CN107272902 B CN 107272902B CN 201710488760 A CN201710488760 A CN 201710488760A CN 107272902 B CN107272902 B CN 107272902B
Authority
CN
China
Prior art keywords
somatosensory
somatosensory data
data
control
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710488760.5A
Other languages
English (en)
Other versions
CN107272902A (zh
Inventor
杜光东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenglu IoT Communication Technology Co Ltd
Original Assignee
Shenzhen Shenglu IoT Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenglu IoT Communication Technology Co Ltd filed Critical Shenzhen Shenglu IoT Communication Technology Co Ltd
Priority to CN201710488760.5A priority Critical patent/CN107272902B/zh
Priority to PCT/CN2017/098022 priority patent/WO2018232945A1/zh
Publication of CN107272902A publication Critical patent/CN107272902A/zh
Application granted granted Critical
Publication of CN107272902B publication Critical patent/CN107272902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明涉及包括一种基于体感交互的智能家居服务端、控制系统及控制方法，其中服务端包括：第一接收模块，用于接收控制装置发送来的待控制设备编码；第二接收模块，用于接收动作捕捉装置采集的操作者的体感数据；指令生成模块，用于将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；指令发送模块，用于将所述控制指令发送至与所述待控制设备编码对应的待控制设备中执行。本发明能够帮助人们尤其是视觉障碍人群方便的控制各电器设备，能够对操作者的动作进行捕捉，得到体感数据，再对应的匹配得到控制指令，由此来控制对应的电器设备，实现了良好的人机交互。

Description

基于体感交互的智能家居服务端、控制系统及控制方法
技术领域
本发明涉及智能家居控制技术领域，尤其涉及一种基于体感交互的智能家居服务端、控制系统及控制方法。
背景技术
视觉障碍者由于眼睛看不见或看不清东西，造成日常生活中出现很大的障碍，例如无法开启或关闭各个电器设备，处处需要依赖其他人，造成他们心里承受很大的压力。而且一台电器设备配备一个遥控器，对于视觉障碍者来说，要区分不同的遥控器实在是太困难了。随着智能家居物联技术及体感技术的成熟化，如何通过人机交互技术来帮助人们尤其是视觉障碍者对各电器设备进行控制，是目前亟待研究的方向。
发明内容
为解决上述技术问题，本发明提供了一种基于体感交互的智能家居服务端、控制系统及控制方法。
第一方面，本发明提供了一种基于体感交互的智能家居服务端，包括：
第一接收模块，用于接收控制装置发送来的待控制设备编码；
第二接收模块，用于接收动作捕捉装置采集的操作者的体感数据；
指令生成模块，用于将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；
指令发送模块，用于将所述控制指令发送至与所述待控制设备编码对应的待控制设备中执行。
上述方案的有益技术效果在于，当控制某个电器设备时，能够避免在众多的遥控器中查找对应遥控器的问题，且避免在调节音量或温度时，误操作的问题，帮助人们尤其是视觉障碍人群方便的控制各电器设备，能够对操作者的动作进行捕捉，得到体感数据，再对应的匹配得到控制指令，由此来控制对应的电器设备，实现了良好的人机交互。
进一步的，所述指令生成模块中，所述预存的体感数据包括手势向上的体感数据、手势向下的体感数据、向上仰头的体感数据和向下低头的体感数据，所述手势向上的体感数据对应于电视音量增大的控制指令，所述向上仰头的体感数据对应于空调温度升高的控制指令，所述手势向下的体感数据对应于电视音量减小的控制指令，所述向下低头的体感数据对应于空调温度降低的控制指令。
上述方案的有益技术效果在于，可以针对最常用的电视音量及空调温度进行调节，帮助视觉障碍者更准确的控制电器设备。
进一步的，还包括设备状态获取模块，所述设备状态获取模块用于当待控制设备完成所述控制指令时，读取待控制设备当前的参数值，并将所述参数值发送至所述语音模块进行播报。
例如，待控制设备为空调设备，则对空调设备当前的状态进行监测，得到空调设备当前的温度值，通过所述语音模块将当前的温度值进行播报。
上述方案的有益技术效果在于，帮助视觉障碍者了解待控制设备的当前参数值，便于更准确对其进行操作。
进一步的，所述服务端还包括待机处理模块，所述待机处理模块用于在预设时间段内检测所述指令发送模块是否向所述待控制设备发送指令，如果未发送指令，则进入待机状态。
上述方案的有益技术效果在于，能够节约耗电量，减少服务端的工作时间，提高使用寿命。
第二方面，本发明提供了一种基于体感交互的智能家居控制方法，应用于服务端，包括如下步骤：
接收控制装置发送来的待控制设备编码；
接收动作捕捉装置采集的操作者的体感数据；
将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；
将所述控制指令发送至与所述待控制设备编码对应的待控制设备中执行。
上述方案的有益技术效果在于，当控制某个电器设备时，能够避免在众多的遥控器中查找对应遥控器的问题，且避免在调节音量或温度时，误操作的问题，帮助人们尤其是视觉障碍人群方便的控制各电器设备，能够对操作者的动作进行捕捉，得到体感数据，再对应的匹配得到控制指令，由此来控制对应的电器设备，实现了良好的人机交互。
进一步的，所述预存的体感数据包括手势向上的体感数据、手势向下的体感数据、向上仰头的体感数据和向下低头的体感数据，所述手势向上的体感数据对应于电视音量增大的控制指令，所述向上仰头的体感数据对应于空调温度升高的控制指令，所述手势向下的体感数据对应于电视音量减小的控制指令，所述向下低头的体感数据对应于空调温度降低的控制指令。
上述方案的有益技术效果在于，可以针对最常用的电视音量及空调温度进行调节，帮助视觉障碍者更准确的控制电器设备。
进一步的，还可以包括步骤：当待控制设备完成所述控制指令时，读取待控制设备当前的参数值，并将所述参数值进行播报。
例如，待控制设备为空调设备，则对空调设备当前的状态进行监测，得到空调设备当前的温度值，通过所述语音模块将当前的温度值进行播报。
上述方案的有益技术效果在于，帮助视觉障碍者了解待控制设备的当前参数值，便于更准确对其进行操作。
进一步的，还可以包括步骤：当预设时间段内未向所述待控制设备发送指令，则进入待机状态。
上述方案的有益技术效果在于，能够节约耗电量，减少服务端的工作时间，提高使用寿命。
第三方面，本发明提供了一种基于体感交互的智能家居控制系统，包括控制装置、动作捕捉装置和所述智能家居服务端；
所述控制装置外表面上设有多个按键，多个所述按键一一对应待控制设备编码，当按下所述按键时将其对应的待控制设备编码发送至智能家居服务端中；
所述动作捕捉装置包括红外线发射器、CMOS传感器和处理器；
红外光发射器，用于发射红外线；
所述CMOS传感器，用于检测从所述操作者处反射回的红外线来捕捉操作者的动作；
所述处理器，用于将所述红外线转换成三维坐标，并确定空间中每个点的位置，生成体感数据，并将所述体感数据发送至服务端；
所述服务端将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；
将所述控制指令发送至与所述待控制设备编码对应的待控制设备中执行。
上述方案的有益技术效果在于，当控制某个电器设备时，能够避免在众多的遥控器中查找对应遥控器的问题，且避免在调节音量或温度时，误操作的问题，帮助人们尤其是视觉障碍人群方便的控制各电器设备，能够对操作者的动作进行捕捉，得到体感数据，再对应的匹配得到控制指令，由此来控制对应的电器设备，实现了良好的人机交互。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的基于体感交互的智能家居服务端的模块框图；
图2为本发明实施例提供的基于体感交互的智能家居服务端的另一种模块框图；
图3为本发明实施例提供的基于体感交互的智能家居服务端的另一种模块框图；
图4为本发明实施例提供的基于体感交互的智能家居服务端的另一种模块框图；
图5为本发明实施例提供的基于体感交互的智能家居服务端的另一种模块框图；
图6为本发明实施例提供的基于体感交互的智能家居服务端的另一种模块框图；
图7为本发明实施例提供的动作捕捉装置的模块框图；
图8为本发明实施例提供的基于体感交互的智能家居控制方法的另一种方法流程图；
图9为本发明实施例提供的基于体感交互的智能家居控制方法的另一种方法流程图；
图10为本发明实施例提供的基于体感交互的智能家居控制方法的另一种方法流程图；
图11为本发明实施例提供的基于体感交互的智能家居控制方法的另一种方法流程图；
图12为本发明实施例提供的智能家居服务端和控制装置的信令流程示意图；
图13为本发明实施例提供的智能家居服务端和控制装置的连接示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
视觉障碍者由于眼睛看不见或看不清东西，造成日常生活中出现很大的障碍，例如无法开启或关闭各个电器设备，处处需要依赖其他人，造成他们心里承受很大的压力。随着智能家居物联技术及体感技术的成熟化，如何通过人机交互技术来帮助人们尤其是视觉障碍者对各电器设备进行控制，是目前亟待研究的方向。
本发明实施例提供了一种基于体感交互的智能家居服务端、控制系统及控制方法来解决上述技术问题，下面结合附图对各方案进行详细的介绍。
图1为本发明实施例提供的基于体感交互的智能家居服务端的模块框图；
如图1所示，本发明实施例提供了一种基于体感交互的智能家居服务端，包括：
第一接收模块01，用于接收控制装置发送来的待控制设备编码；
第二接收模块02，用于接收动作捕捉装置采集的操作者的体感数据；
指令生成模块03，用于将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；
指令发送模块04，用于将所述控制指令发送至与所述待控制设备编码对应的待控制设备中执行。
所述指令生成模块03具体用于，将预存体感数据与对应的控制指令进行保存；还具体用于，将所述动作捕捉装置采集的体感数据与预存体感数据进行匹配，根据匹配到的所述预存体感数据查找到对应的控制指令。
上述实施例中，当控制某个电器设备时，能够避免在众多的遥控器中查找对应遥控器的问题，且避免在调节音量或温度时，误操作的问题，帮助人们尤其是视觉障碍人群方便的控制各电器设备，能够对操作者的动作进行捕捉，得到体感数据，再对应的匹配得到控制指令，由此来控制对应的电器设备，实现了良好的人机交互。
具体的，所述指令生成模块03中，所述预存的体感数据可以包括手势向上的体感数据、手势向下的体感数据、向上仰头的体感数据和向下低头的体感数据，所述手势向上的体感数据对应于电视音量增大的控制指令，所述向上仰头的体感数据对应于空调温度升高的控制指令，所述手势向下的体感数据对应于电视音量减小的控制指令，所述向下低头的体感数据对应于空调温度降低的控制指令。
上述实施例中，可以针对最常用的电视音量及空调温度进行调节，帮助视觉障碍者更准确的控制电器设备。本发明不限于对上述电器设备的上述控制，对其他电器设备的其他参数的控制也在本发明的保护范围内。
图2为本发明实施例提供的基于体感交互的智能家居服务端的模块框图；
可选地，作为本发明的一个实施例，如图2所示，所述服务端还可以包括连接模块00，所述连接模块00用于接收所述控制装置发送来的连接请求，并通过无线网络连接所述控制装置。
上述实施例中，具体的，所述服务端和控制装置可通过蓝牙连接方式或ZigBee连接方式进行互联。
图3为本发明实施例提供的基于体感交互的智能家居服务端的另一种模块框图；
可选地，作为本发明的一个实施例，在图1所示实施例的基础上，如图3所示，所述服务端还包括与所述第一接收模块01连接的引导模块05和语音模块06，
所述引导模块05，用于实时获取所述控制装置的定位信息，根据所述定位信息生成引导所述操作者靠近动作捕捉装置的语音；
所述语音模块06，用于将所述语音进行播报。
图4为本发明实施例提供的基于体感交互的智能家居服务端的另一种模块框图；
具体的，在图3所示实施例的基础上，如图4所示，所述引导模块包括定位单元051和导航单元052，
所述定位单元051，用于设定服务端与控制装置的距离范围值，并实时获取所述控制装置的定位信息，根据所述定位信息计算所述控制装置当前位置与所述服务端的距离差值是否小于或等于所述距离范围值，如果是，则发送指令至所述语音模块06；
所述语音模块06具体用于，根据所述指令播放已到达控制区域的语音；
所述导航单元052，用于根据所述控制装置的实时定位信息和所述服务端的位置信息，生成导航信息，并将所述导航信息转换为音频文件，将所述音频文件发送至所述语音模块06中；
所述语音模块06还具体用于，将所述音频文件进行语音播报。
上述实施例中，操作者手持控制装置，服务端实时判断控制装置的位置，并通过语音导航的方式，帮助操作者移动至控制区域，对于视觉障碍者来说虽然眼睛看不见，但能通过声音顺利移动至控制区域进行操作。
图5为本发明实施例提供的基于体感交互的智能家居服务端的另一种模块框图；
可选地，作为本发明的一个实施例，在图1所示实施例的基础上，如图6所示，还包括设备状态获取模块，所述设备状态获取模块用于当待控制设备完成所述控制指令时，读取待控制设备当前的参数值，并将所述参数值发送所述语音模块进行播报。
例如，待控制设备为空调设备，当空调设备完成控制指令时，读取空调设备当前的参数值，通过所述语音模块将当前的温度值进行播报。
上述实施例中，帮助视觉障碍者了解待控制设备的当前参数值，便于更准确对其进行操作。
图6为本发明实施例提供的基于体感交互的智能家居服务端的另一种模块框图；
可选地，作为本发明的一个实施例，在图1所示实施例的基础上，如图7所示，所述服务端还包括待机处理模块08，所述待机处理模块08用于在预设时间段内检测所述指令发送模块是否向所述待控制设备发送指令，如果未发送指令，则进入待机状态。
上述实施例中，能够节约耗电量，减少服务端的工作时间，提高使用寿命。
图7为本发明实施例提供的动作捕捉装置的模块框图；
可选地，作为本发明的另一个实施例，如图7所示，一种基于体感交互的智能家居控制系统，包括控制装置、动作捕捉装置和所述智能家居服务端；
所述控制装置外表面上设有多个按键，多个所述按键一一对应待控制设备编码，当按下所述按键时将其对应的待控制设备编码发送至智能家居服务端中；
所述动作捕捉装置包括红外线发射器001、CMOS传感器002和处理器003；
红外光发射器001，用于发射红外线；
所述CMOS传感器002，用于检测从所述操作者处反射回的红外线来捕捉操作者的动作；
所述处理器003，用于将所述红外线转换成三维坐标，并确定空间中每个点的位置，生成体感数据，并将所述体感数据发送至服务端；
所述服务端将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；
将所述控制指令发送至与所述待控制设备编码对应的待控制设备中执行。
上述实施例中，应理解的，光学部分包括两部分：红外线发射器和CMOS传感器，红外线发射器发出一道“激光”覆盖整个Kinect的可视范围，CMOS传感器(CMOS传感器设置在摄像头组上)接收反射光线来识别操作者，红外摄像头识别图像的是一个“深度场”(DepthField)，其中每一像素的颜色代表了那一点物体到摄像头的距离。比如离摄像头近的身体呈亮红色、绿色等，而离摄像头远的物体则呈暗灰色。
所述动作捕捉装置利用光编码(light coding)技术来实现，不同于传统的ToF或者结构光测量技术，light coding使用的是连续的照明(而非脉冲)，也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，这让方案的成本大大降低。
Light coding，顾名思义就是用光源照明给需要测量的空间编上码，但与传统的结构光方法不同的是，其光源打出去的并不是一副周期性变化的二维的图像编码，而是一个具有三维纵深的“体编码”。这种光源叫做激光散斑(laser speckle)，是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。
这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当然，在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源的标定。标定的方法是这样的：每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来。假设用户活动空间是距离电视机1米到4米的范围，每隔10cm取一个参考平面，那么标定下来就已经保存了30幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和我们保存下来的30幅参考图像依次做互相关运算，这样我们会得到30幅相关度图像，而空间中有物体存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到整个场景的三维形状了。确定空间中每个点的位置后，生成体感数据。
图8为本发明实施例提供的基于体感交互的智能家居控制方法的另一种方法流程图；
可选地，作为本发明的另一个实施例，如图8所示，一种基于体感交互的智能家居控制方法，应用于服务端，包括如下步骤：
步骤S01：接收控制装置发送来的待控制设备编码；
步骤S02：接收动作捕捉装置采集的操作者的体感数据；
步骤S03：将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；
步骤S04：将所述控制指令发送至与所述待控制设备编码对应的待控制设备中执行。
上述实施例中，能够帮助人们尤其是视觉障碍人群方便的控制各电器设备，能够对操作者的动作进行捕捉，得到体感数据，再对应的匹配得到控制指令，由此来控制对应的电器设备，实现了良好的人机交互。
具体的，所述预存的体感数据包括手势向上的体感数据、手势向下的体感数据、向上仰头的体感数据和向下低头的体感数据，所述手势向上的体感数据对应于电视音量增大的控制指令，所述向上仰头的体感数据对应于空调温度升高的控制指令，所述手势向下的体感数据对应于电视音量减小的控制指令，所述向下低头的体感数据对应于空调温度降低的控制指令。
上述实施例中，可以针对最常用的电视音量及空调温度进行调节，帮助视觉障碍者更准确的控制电器设备。
可选地，作为本发明的一个实施例，在图8所示实施例的基础上，还包括如下步骤：接收所述控制装置发送来的连接请求，并通过无线网络连接所述控制装置。
上述实施例中，具体的，所述服务端和控制装置可通过蓝牙连接方式或ZigBee连接方式进行互联，互联成功后服务端接收控制装置发送来的待控制设备编码。
图9为本发明实施例提供的基于体感交互的智能家居控制方法的另一种方法流程图；
应理解的，操作者需要靠近动作捕捉装置，以便服务端捕捉操作者的动作，服务端可通过语音引导操作者进入控制区域，在图8所示实施例的基础上，如图9所示，还包括如下步骤A：实时获取所述控制装置的定位信息，根据所述定位信息生成引导所述操作者靠近动作捕捉装置的语音，再将所述语音进行播报。
图10为本发明实施例提供的基于体感交互的智能家居控制方法的另一种方法流程图；
在图10所示实施例的基础上，如图11所示，具体的，所述生成引导所述操作者靠近动作捕捉装置的语音信息的具体步骤为：
步骤A11：设定服务端与控制装置的距离范围值，并实时获取所述控制装置的定位信息，根据所述定位信息计算所述控制装置当前位置与所述服务端的距离差值是否小于或等于所述距离范围值，如果是，执行步骤A12；
步骤A12：播放已到达控制区域的语音；
步骤A13：根据所述控制装置的实时定位信息和所述服务端的位置信息，生成导航信息，并将所述导航信息转换为音频文件，将所述音频文件进行语音播报。
上述实施例中，操作者手持控制装置，服务端实时判断控制装置的位置，并通过语音导航的方式，帮助操作者移动至控制区域，对于视觉障碍者来说虽然眼睛看不见，但能通过声音顺利移动至控制区域进行操作。
可选地，作为本发明的另一个实施例，还可以包括步骤：当待控制设备完成所述控制指令时，读取待控制设备当前的参数值，并将所述参数值进行播报。
例如，待控制设备为空调设备，则对空调设备当前的状态进行监测，得到空调设备当前的温度值，通过所述语音模块将当前的温度值进行播报。
上述实施例中，帮助视觉障碍者了解待控制设备的当前参数值，便于更准确对其进行操作。
可选地，作为本发明的另一个实施例，还可以包括步骤：当预设时间段内未向所述待控制设备发送指令，则进入待机状态。
上述实施例中，能够节约耗电量，减少服务端的工作时间，提高使用寿命。
可选地，作为本发明的一个实施例，还可以包括步骤：将待控制设备名称、待控制设备编码以及待控制设备当前的参数值进行显示。具体的，可在服务器端设置显示屏设备，将参数值进行显示。
上述方案的有益技术效果在于，帮助人们快速了解当前所控制的设备信息。
图11为本发明实施例提供的基于体感交互的智能家居控制方法的另一种方法流程图；
可选地，作为本发明的一个实施例，在图8所示实施例的基础上，如图11所示，所述查找到对应的控制指令的具体步骤为：
步骤S031：将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；
步骤S032：将采集的操作者的体感数据与预存体感数据进行匹配，根据匹配到的所述预存体感数据查找到对应的控制指令。
图12为本发明实施例提供的智能家居服务端和控制装置的信令流程示意图；
图13为本发明实施例提供的智能家居服务端和控制装置的连接示意图；
下面结合附图12-13，再从服务端和控制装置数据交互的步骤进行详细说明：
1.控制装置101向服务端102发送连接请求；
2.服务端102接收到所述连接请求后，进行无线连接；可选择蓝牙连接方式或ZigBee连接方式进行互联；
3.服务端102实时获取所述控制装置101的定位信息，根据所述定位信息计算所述控制装置101当前位置与所述服务端102的距离差值是否小于或等于所述距离范围值，同时根据所述控制装置101的实时定位信息和所述服务端102的位置信息，生成导航信息，并将所述导航信息转换为音频文件进行语音播放，以便已到操作者移动至控制区域内，当所述服务端102的距离差值小于或等于所述距离范围值时，播放已到达控制区域的语音；
4.控制装置101向服务端102发送待控制设备编码；
5.服务端102接收到所述待控制设备编码后，对操作者的动作进行捕捉，得到体感数据，将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令，并根据接收的所述待控制设备编码将所述控制指令发送至对应的待控制设备中执行；当待控制设备完成所述控制指令时，读取待控制设备当前的参数值，并将所述参数值进行播报；
6.服务端102在预设时间段内如果未向所述待控制设备发送指令，则进入待机状态。
步骤5中，例如，当接收的待控制设备编码为01时，则对应空调设备，对操作者动作进行捕捉，得到手势向下的体感数据，则对应的得到空调温度降低的控制指令，将降温控制指令发送待控制设备01即空调设备中，需理解的是，本次降温控制指令使得空调设备的降温幅度为1摄氏度，并播报当前的温度值为28摄氏度，继续对操作者动作进行捕捉，得到手势向下的体感数据，同理，则对应的得到空调温度降低的控制指令，向待控制设备01发送降温控制指令，并播报当前的温度值为27摄氏度；服务端在预设时间段内如果未向所述待控制设备发送指令，即完成本次调温操作，则进入待机状态。
所述控制装置的终端本体的外表面上还包括液晶显示屏，液晶显示屏用于对显示待控制设备名称、待控制设备编码以及待控制设备当前的参数值。帮助人们快速了解当前所控制的设备信息。
本发明能够帮助人们尤其是视觉障碍人群方便的控制各电器设备，能够对操作者的动作进行捕捉，得到体感数据，再对应的匹配得到控制指令，由此来控制对应的电器设备，对电器设备的控制精细化，例如可具体调节温度和音量等，实现了良好的人机交互。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于体感交互的智能家居服务端，其特征在于，包括：
第一接收模块，用于接收控制装置发送来的待控制设备编码；
第二接收模块，用于接收动作捕捉装置采集的操作者的体感数据；
指令生成模块，用于将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；所述指令生成模块中，所述预存的体感数据包括手势向上的体感数据、手势向下的体感数据、向上仰头的体感数据和向下低头的体感数据，所述手势向上的体感数据对应于电视音量增大的控制指令，所述向上仰头的体感数据对应于空调温度升高的控制指令，所述手势向下的体感数据对应于电视音量减小的控制指令，所述向下低头的体感数据对应于空调温度降低的控制指令；
指令发送模块，用于将所述控制指令发送至与所述待控制设备编码对应的待控制设备中执行；
还包括与所述第一接收模块连接的引导模块和语音模块，
所述引导模块用于实时获取所述控制装置的定位信息，根据所述定位信息生成引导操作者靠近所述动作捕捉装置的语音；
所述语音模块，用于将所述语音进行播报；
所述引导模块包括定位单元和导航单元，
所述定位单元，用于设定服务端与控制装置的距离范围值，并实时获取所述控制装置的定位信息，根据所述定位信息计算所述控制装置当前位置与所述服务端的距离差值是否小于或等于距离范围值，如果是，则发送指令至所述语音模块；
所述语音模块具体用于根据所述指令播放已到达控制区域的语音；
所述导航单元，用于根据所述控制装置的实时定位信息和所述服务端的位置信息，生成导航信息，并将所述导航信息转换为音频文件，将所述音频文件发送至所述语音模块中；
所述语音模块还具体用于将所述音频文件进行语音播报。
2.根据权利要求1所述一种基于体感交互的智能家居服务端，其特征在于，
所述指令生成模块具体用于，将预存体感数据与对应的控制指令进行保存；还具体用于，将所述动作捕捉装置采集的体感数据与预存体感数据进行匹配，根据匹配到的所述预存体感数据查找到对应的控制指令。
3.一种基于体感交互的智能家居控制系统，其特征在于，包括控制装置、动作捕捉装置和权利要求1-2任一项所述智能家居服务端；
所述控制装置外表面上设有多个按键，多个所述按键一一对应待控制设备编码，当按下所述按键时将其对应的待控制设备编码发送至智能家居服务端中；
所述动作捕捉装置包括红外线发射器、CMOS传感器和处理器；
红外光发射器，用于发射红外线；
所述CMOS传感器，用于检测从所述操作者处反射回的红外线来捕捉操作者的动作；
所述处理器，用于将所述红外线转换成三维坐标，并确定空间中每个点的位置，生成体感数据，并将所述体感数据发送至服务端；
所述服务端将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；
将所述控制指令发送至与所述待控制设备编码对应的待控制设备中执行。
4.一种基于体感交互的智能家居控制方法，应用于服务端，其特征在于，包括如下步骤：
接收控制装置发送来的待控制设备编码；
接收动作捕捉装置采集的操作者的体感数据；
将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；所述预存的体感数据包括手势向上的体感数据、手势向下的体感数据、向上仰头的体感数据和向下低头的体感数据，所述手势向上的体感数据对应于电视音量增大的控制指令，所述向上仰头的体感数据对应于空调温度升高的控制指令，所述手势向下的体感数据对应于电视音量减小的控制指令，所述向下低头的体感数据对应于空调温度降低的控制指令；
将所述控制指令发送至与所述待控制设备编码对应的待控制设备中执行；
还包括如下步骤：实时获取所述控制装置的定位信息，根据所述定位信息生成引导操作者靠近所述动作捕捉装置的语音，再将所述语音进行播报；
所述生成引导操作者靠近所述动作捕捉装置的语音信息的具体步骤为：
设定服务端与控制装置的距离范围值，并实时获取所述控制装置的定位信息，根据所述定位信息计算所述控制装置当前位置与所述服务端的距离差值是否小于或等于所述距离范围值，如果是，
则播放已到达控制区域的语音；以及
根据所述控制装置的实时定位信息和所述服务端的位置信息，生成导航信息，并将所述导航信息转换为音频文件，将所述音频文件进行语音播报。
5.根据权利要求4所述的基于体感交互的智能家居控制方法，其特征在于，所述查找到对应的控制指令的具体步骤为：将所述体感数据与预存的体感数据进行匹配，根据匹配到的体感数据查找到对应的控制指令；以及
将采集的操作者的体感数据与预存体感数据进行匹配，根据匹配到的所述预存体感数据查找到对应的控制指令。
CN201710488760.5A 2017-06-23 2017-06-23 基于体感交互的智能家居服务端、控制系统及控制方法 Active CN107272902B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710488760.5A CN107272902B (zh) 2017-06-23 2017-06-23 基于体感交互的智能家居服务端、控制系统及控制方法
PCT/CN2017/098022 WO2018232945A1 (zh) 2017-06-23 2017-08-18 基于体感交互的智能家居服务端、控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710488760.5A CN107272902B (zh) 2017-06-23 2017-06-23 基于体感交互的智能家居服务端、控制系统及控制方法

Publications (2)

Publication Number Publication Date
CN107272902A CN107272902A (zh) 2017-10-20
CN107272902B true CN107272902B (zh) 2019-12-10

Family

ID=60068689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710488760.5A Active CN107272902B (zh) 2017-06-23 2017-06-23 基于体感交互的智能家居服务端、控制系统及控制方法

Country Status (2)

Country Link
CN (1) CN107272902B (zh)
WO (1) WO2018232945A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108375911B (zh) * 2018-01-22 2020-03-27 珠海格力电器股份有限公司 一种设备控制方法、装置、存储介质及设备
CN110737325A (zh) * 2018-07-19 2020-01-31 杭州大穿越旅游策划有限公司 交互式操作设施
CN109327760B (zh) * 2018-08-13 2019-12-31 北京中科睿芯科技有限公司 一种智能音响及其播放控制方法
CN109088803B (zh) * 2018-09-20 2023-11-07 塔普翊海（上海）智能科技有限公司 一种ar遥控装置、智能家居遥控系统及方法
CN111722779A (zh) * 2019-03-22 2020-09-29 上海博泰悦臻网络技术服务有限公司 人机交互方法、终端及计算机可读存储介质
CN109947031B (zh) 2019-04-15 2020-07-28 美的集团股份有限公司 一种智能家居设备控制方法、介质、移动终端和装置
CN114973639B (zh) * 2022-07-27 2022-11-15 广州华途信息科技有限公司 用于人行横道信号灯的视障人士过街音响提示方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055925A (zh) * 2009-11-06 2011-05-11 康佳集团股份有限公司 支持手势遥控的电视机及其使用方法
CN102881137A (zh) * 2012-09-28 2013-01-16 惠州Tcl移动通信有限公司 通过手持终端实现遥控多个设备的方法、系统及手持终端
CN105785782A (zh) * 2016-03-29 2016-07-20 北京小米移动软件有限公司 智能家居设备控制方法及装置
CN105827933A (zh) * 2015-06-29 2016-08-03 维沃移动通信有限公司 一种摄像方法、装置以及移动终端
CN106155301A (zh) * 2015-04-27 2016-11-23 阿里巴巴集团控股有限公司 一种家庭物联网控制方法、装置及系统
CN106338926A (zh) * 2016-11-01 2017-01-18 成都铅笔科技有限公司 基于人体感应的智慧家居控制系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699370A (zh) * 2009-11-10 2010-04-28 北京思比科微电子技术有限公司 基于深度检测的身体识别控制装置
TW201426401A (zh) * 2012-12-17 2014-07-01 Li Ge Design Entpr Co Ltd 體感家居用電產品控制設備及其系統
CN103529778B (zh) * 2013-09-30 2016-11-02 福建星网锐捷通讯股份有限公司 一种智能家居控制方法、装置和系统
US20150220159A1 (en) * 2014-02-04 2015-08-06 Pointgrab Ltd. System and method for control of a device based on user identification

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055925A (zh) * 2009-11-06 2011-05-11 康佳集团股份有限公司 支持手势遥控的电视机及其使用方法
CN102881137A (zh) * 2012-09-28 2013-01-16 惠州Tcl移动通信有限公司 通过手持终端实现遥控多个设备的方法、系统及手持终端
CN106155301A (zh) * 2015-04-27 2016-11-23 阿里巴巴集团控股有限公司 一种家庭物联网控制方法、装置及系统
CN105827933A (zh) * 2015-06-29 2016-08-03 维沃移动通信有限公司 一种摄像方法、装置以及移动终端
CN105785782A (zh) * 2016-03-29 2016-07-20 北京小米移动软件有限公司 智能家居设备控制方法及装置
CN106338926A (zh) * 2016-11-01 2017-01-18 成都铅笔科技有限公司 基于人体感应的智慧家居控制系统

Also Published As

Publication number Publication date
CN107272902A (zh) 2017-10-20
WO2018232945A1 (zh) 2018-12-27

Similar Documents

Publication Publication Date Title
CN107272902B (zh) 基于体感交互的智能家居服务端、控制系统及控制方法
US20230205151A1 (en) Systems and methods of gestural interaction in a pervasive computing environment
US8537231B2 (en) User interface system based on pointing device
KR101626159B1 (ko) 사용자 적응형 디스플레이 장치 및 디스플레이 방법
KR101320134B1 (ko) 이미지로 구현되는 실제장면으로부터의 데이터를 이용하여 이미지 스트림에 가상객체를 실시간 삽입하기 위한 방법 및 장치
US9984508B2 (en) Light-based radar system for augmented reality
US20130120238A1 (en) Light control method and lighting device using the same
KR20180030123A (ko) 레이더-사용가능 센서 퓨전
US20140037135A1 (en) Context-driven adjustment of camera parameters
US9268408B2 (en) Operating area determination method and system
JP2009134718A5 (zh)
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
KR20210008403A (ko) 광학 라벨을 기반으로 하는 정보 기기의 상호 작용 방법 및 시스템
CN106991699B (zh) 控制方法及电子设备
JP2007088835A (ja) 機器制御装置
KR101635117B1 (ko) 객체 인덱싱을 통한 공연 시설물 컨트롤 장치 및 방법
CN107831921B (zh) 一种手柄空间位置与编码对应关系的确定方法、装置及系统
CN111880422B (zh) 设备控制方法及装置、设备、存储介质
CN107643890B (zh) 游戏场景构建方法及装置
CN110600024A (zh) 操作终端、语音输入方法以及计算机可读取的记录介质
JP3159906U (ja) 画像処理モジュール
JP2008299045A (ja) 撮像装置及び方法
KR102574730B1 (ko) Ar 글라스를 이용한 증강 현실 화면 및 리모컨 제공 방법 및 그를 위한 장치 및 시스템
KR20140031105A (ko) 인식 대상으로부터 3차원 거리 정보 추출하는 방법 및 이를 위한 장치
KR20230031562A (ko) 가전 장치를 어플리케이션에 등록하는 휴대 단말 및 방법과, 이를 위한 시스템 및 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant