CN115496850A - 家居设备控制方法、智能穿戴设备和可读存储介质 - Google Patents

家居设备控制方法、智能穿戴设备和可读存储介质 Download PDF

Info

Publication number
CN115496850A
CN115496850A CN202211307462.9A CN202211307462A CN115496850A CN 115496850 A CN115496850 A CN 115496850A CN 202211307462 A CN202211307462 A CN 202211307462A CN 115496850 A CN115496850 A CN 115496850A
Authority
CN
China
Prior art keywords
remote controller
equipment
home
dimensional model
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211307462.9A
Other languages
English (en)
Inventor
李闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202211307462.9A priority Critical patent/CN115496850A/zh
Publication of CN115496850A publication Critical patent/CN115496850A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本申请公开了一种家居设备控制方法、智能穿戴设备和可读存储介质,所述家居设备控制方法包括:获取当前环境图像,识别所述当前环境图像中的物体;将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器;检测对所述模拟遥控器进行的触控操作,确定所述触控操作对应的设备控制指令,并将所述设备控制指令发送至家居设备。本申请提高对家居设备进行控制的便利性。

Description

家居设备控制方法、智能穿戴设备和可读存储介质
技术领域
本申请涉及智能设备控制技术领域,尤其涉及一种家居设备控制方法、智能穿戴设备和可读存储介质。
背景技术
目前,智能家居一般通过红外遥控器、智能手机或AI(Artificial Intelligence,人工智能)音响等方式进行操作控制,然而每种方式都存在一些缺陷问题,例如遥控器,需为每个家居设备配置一个遥控器,该遥控器易丢失,用户若需要控制某个家居设备时,可能需要花费较长时间去找该家居设备对应的遥控器,因此,该方式对用户而言,并不便利。例如AI音响,则存在距离较远时语言识别不准确等问题。例如通过在智能手机上安装App(Application,应用程序)来控制,在家居设备较多时,需要在手机上频繁切换App来达到对不同家居设备的控制,操作较为繁琐。
因此,在上述方案的应用过程中,每种方式都存在着某种缺陷,用户对家居设备进行控制的便利性较低。
发明内容
本申请的主要目的在于提供一种家居设备控制方法、智能穿戴设备和可读存储介质,旨在解决家居设备的控制便利性低的技术问题。
为实现上述目的,本申请提供一种家居设备控制方法,所述家居设备控制方法应用于智能穿戴设备,所述家居设备控制方法的步骤包括:
获取当前环境图像,识别所述当前环境图像中的物体;
将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器;
检测对所述模拟遥控器进行的触控操作,确定所述触控操作对应的设备控制指令,并将所述设备控制指令发送至家居设备。
可选地,所述识别所述当前环境图像中的物体的步骤之后包括:
将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配;
若所述三维模型库中存在与所述实物模型的匹配相似度大于预设相似度阈值的三维模型,则将所述物体作为待渲染的目标物体;
所述将家居设备对应的虚拟操作按键渲染于所述物体上的步骤包括:
将家居设备对应的虚拟操作按键渲染于所述目标物体上。
可选地,所述将家居设备对应的虚拟操作按键渲染于所述目标物体上的步骤之前:
输出预设的设备选择引导信息;
获取响应于所述设备选择引导信息而输入的设备选择指令,并将所述设备选择指令映射的家居设备作为待控家居设备;
所述将家居设备对应的虚拟操作按键渲染于所述目标物体上的步骤包括:
将所述待控家居设备对应的虚拟操作按键渲染于所述目标物体上;
所述将所述设备控制指令发送至家居设备的步骤包括:
将所述设备控制指令发送至所述待控家居设备。
可选地,所述若所述三维模型库中存在与所述实物模型的匹配相似度大于预设相似度阈值的三维模型,则将所述物体作为待渲染的目标物体的步骤包括:
若所述三维模型库中存在与所述实物模型的匹配相似度大于预设相似度阈值的三维模型为多个,则将匹配相似度大于预设相似度阈值的各实物模型对应的物体进行标识,得到各标记物体;
输出所述标记物体的物体选择引导信息;
获取响应于所述物体选择引导信息而输入的实物选择指令,并将所述物体选择指令对应的物体作为待渲染的目标物体。
可选地,所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤之前包括:
确定识别的所述物体在所述智能穿戴设备的预设视野区域内是否达到预设时长;
若是,则执行:所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤。
可选地,所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤之前包括:
检测当前环境图像中是否存在预设启动手势;
若存在,则开启模拟遥控器控制功能;
在开启模拟遥控器控制功能之后,执行:所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤。
可选地,所述检测对所述模拟遥控器进行的触控操作,确定所述触控操作对应的设备控制指令的步骤包括:
识别交互物在所述模拟遥控器的触控坐标位置,确定所述触控坐标位置对应的虚拟操作按键;
将所述触控坐标位置对应的虚拟操作按键作为触控按键,确定所述触控按键映射的设备控制指令;
将所述触控按键映射的设备控制指令,作为所述触控操作对应的设备控制指令。
可选地,所述将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器的步骤包括:
将家居设备对应的虚拟操纵盘的图像信息叠加至所述物体上,以将所述虚拟操纵盘渲染于所述物体上,其中,所述虚拟操纵盘包括至少一个虚拟操作按键;
所述识别交互物在所述模拟遥控器的触控坐标位置的步骤包括:
实时采集交互物的动作信息;
根据采集到的交互物的动作信息,确定所述动作信息是否符合预设操控动作;
将符合所述预设操控动作时所述交互物在所述模拟遥控器所处的坐标位置,作为触控坐标位置。
本申请还提供一种智能穿戴设备,所述智能穿戴设备为实体设备,所述智能穿戴设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述家居设备控制方法的程序,所述家居设备控制方法的程序被处理器执行时可实现如上述的家居设备控制方法的步骤。
本申请还提供一种可读存储介质,所述可读存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有实现家居设备控制方法的程序,所述实现家居设备控制方法的程序被处理器执行以实现如上述家居设备控制方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的家居设备控制方法的步骤。
本申请通过获取当前环境图像,识别所述当前环境图像中的物体,并将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器,从而可通过将生活中的物品经过智能穿戴设备的图像处理之后,在视觉上形成虚拟的遥控器,再通过检测对该模拟遥控器进行的触控操作,从而分析出用户在模拟遥控器上的操作信息,确定用户对智能家居设备所需求的控制操作,并通过确定该触控操作对应的设备控制指令,并将所述设备控制指令发送至家居设备,以使该家居设备执行该设备控制指令对应的功能操作,从而达到对家居设备进行控制的目的。本申请利用了AR的虚实结合技术,实现将周围常见的生活物品模拟为遥控器,可以对任意智能家居设备进行操作控制,其具备遥控器的优点,且因遥控器是虚拟的,可以将常见的物体作为模拟遥控器来对智能家居进行控制操作,无需用户需要花费较长时间去找待控家居设备对应的遥控器,有效减少了物理遥控器在使用过程中易丢失、易混合且使用过程单调体验感差等问题,提升了用户在进行设备控制过程中的体验感和新鲜感。同时由于本申请无需通过语音识别来触发该设备控制指令,在与用户交互时,也不会出现接收用户的语音时,无法正确理解复杂的语音信息,从而导致发出错误的设备控制指令,因此规避了AI音响的语言识别不准确的问题,另外,由于用户可通过输入需要控制的家居设备的设备选择信息,将该设备选择信息对应的家居设备作为待控家居设备,将该待控家居设备对应的虚拟操作按键渲染于所述物体上构建得到模拟遥控器,用户通过操控该模拟遥控器对待控家居设备进行控制,也就是说,可将任意一个家居设备对应的虚拟操作按键渲染于当前环境图像中的物体上,构建得到对任意一个家居设备进行控制的模拟遥控器,从而克服了手机App的控制方式中在家居设备较多时,需要在手机上频繁切换App来达到对不同家居设备进行控制导致操作较为繁琐的问题,使得本申请能最大程度的消除目前主流控制方式的使用缺陷,在各方面提供均衡的体验,进而提高了对家居设备进行控制的便利性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请家居设备控制方法第一实施例的流程示意图;
图2为本申请家居设备控制方法第二实施例的流程示意图;
图3为本申请一实施例中进行模拟遥控器构建的场景示意图;
图4为本申请一实施例中智能穿戴设备进行家居设备控制的流程示意图;
图5为本申请实施例中智能穿戴设备涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,均属于本发明保护的范围。
在本实施例中,本申请的智能穿戴设备可以是例如混合现实(Mixed Reality)—MR设备(例如MR眼镜或者MR头盔)、增强现实(Augmented Reality)—AR设备(例如AR眼镜或者AR头盔)、虚拟现实-(VirtualReality)—VR设备(例如VR眼镜或者VR头盔)、扩展现实(Extended Reality)—XR设备或其某种组合。
目前,智能家居一般通过红外遥控器、智能手机或AI音响等方式进行操作控制,然而每种方式都存在一些缺陷问题,例如遥控器,需为每个家居设备配置一个遥控器。用户若需要控制某个家居设备时,则需花费时间去找该设备对应的遥控器,因此,该方式对用户而言,并不便利。例如AI音响,则存在距离较远时语言识别不准确等问题。例如通过在智能手机上安装App来控制,在家居设备较多时,需要在手机上频繁切换App来达到对不同家居设备的控制,操作较为繁琐。
实施例一
基于此,请参照图1,本实施例提供一种家居设备控制方法,所述家居设备控制方法应用于智能穿戴设备,所述家居设备控制方法的步骤包括:
步骤S100,获取当前环境图像,识别所述当前环境图像中的物体;
在一实施例中,该当前环境图像,可通过智能穿戴设备上的摄像头来进行采集获取。在另一实施例中,可通过接收与智能穿戴设备通信连接的其他终端设备(例如智能手表、手机或智能相机)发送来的当前环境图像进行获取。在又一实施例中,可通过接收云端发送来的当前环境图像进行获取。
在本实施例中,可通过触控智能穿戴设备上的家居设备控制按键,来触发对智能家居设备进行控制的功能。例如,在智能穿戴设备的家居设备控制按键被触发后,再采集当前环境图像,识别该当前环境图像中的物体,以及执行后续的步骤S200和步骤S300。该家居设备控制按键可为物理按键或者触屏按键。当然,家居设备控制按键的功能的触发机制也可以无需通过按键触发,通过在智能穿戴设备开机后便自动开启对智能家居设备进行控制的功能,执行上述步骤S100。
步骤S200,将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器;
示例性地,该当前环境图像中的物体可为水杯、眼镜盒、香蕉、胡萝卜、铅笔、热水袋、文具盒和手电筒等等。在本实施例中,该所述渲染后的物体即为构建的模拟遥控器。需要说明的是,虚拟操作按键是以图像形式叠加于该物体上。可通过识别物体在注视角度方向的形状,将多个虚拟操作按键以适配于该形状的方式均匀排布于注视角度方向的物体表面。智能穿戴设备的佩戴者用手拿起一个生活中的物体,例如香蕉、胡萝卜或铅笔,然后使用智能穿戴设备的摄像头扫描识别该物体,并可通过AR现实增强技术在该物品上叠加几个常用的对智能家居进行控制的按键,例如开始和暂停的虚拟操作按键,如图3所示。
步骤S300,检测对所述模拟遥控器进行的触控操作,确定所述触控操作对应的设备控制指令,并将所述设备控制指令发送至家居设备。
在本实施例中,该家居设备包括但不限于电视、智能窗帘、照明灯、空调、洗衣机、冰箱、加湿器、微波炉、空气净化器、音响、扫地机器人、网络摄像头、智能通/排风机构、门禁、电扇、电饭煲、烤炉、脱排油烟机、打蛋器、面包机、破壁机、电脑、平板、手机、插座(排)、闹钟、AR眼镜和VR眼镜等。其中,对模拟遥控器进行的触控操作可为用户在模拟遥控器上的动作次数、动作顺序或者用户在模拟遥控器图像上动作的相对位置。即对模拟遥控器上的虚拟操作按键是单次操作、双击操作还是长按操作(例如长按3秒)、对不同虚拟操作按键的触控顺序,以及触控的是模拟遥控器上的具体哪一个虚拟操作按键等。
可以理解的是,该模拟遥控器由于叠加渲染了一个或多个虚拟操作按键,用户可通过点击该模拟遥控器上的虚拟操作按键等触控操作,来触发所触控的虚拟操作按键对应的设备控制指令,并将该设备控制指令发送至家居设备,以使该家居设备执行该设备控制指令对应的功能操作。
本领域技术人员可知的是,可通过从预存的操控映射指令表中,查询得到该触控操作对应的设备控制指令。其中,该操控映射指令表存储有各触控操作与设备控制指令之间的映射关系。
在本实施例中,用户可通过点击模拟遥控器上的虚拟操作按键等触控操作来触发设备控制指令。设备控制指令是控制智能家居设备做什么事件,可对电视、音响、照明灯、空调、加湿器、电扇、空气净化器、智能窗帘、扫地机器人、网络摄像头、智能通风或门禁等智能家居设备进行开/关、运行以及调节等控制指令操作,例如控制电视、音响的亮度或音量,又例如控制空调器的运行温度或风速,还例如控制加湿器的湿度等等。家居设备会根据接收到的设备控制指令执行相应的功能操作。
本实施例通过在用户手持该模拟遥控器移动时,智能穿戴设备可通过3D物体定位追踪技术实时跟踪该模拟遥控器,并通过手部跟踪技术,判断/识别手指与模拟遥控器上的虚拟操作按键的交互碰撞,利用GUI(Graphical User Interface,图像用户界面)空间交互技术,触发智能穿戴设备给智能家居发送对应的设备控制指令。即可通过图像识别和3D物体定位追踪技术,识别/跟踪常见的生活物品,并在物品表面叠加生成虚拟的常见操作按键,智能穿戴设备可通过检测识别佩戴者的手指轨迹,当手指触碰点击虚拟操作按键时,会自动的触发对应的设备控制指令,该方法可以给佩戴者带来和手持遥控器相似的操作体验,且因为“遥控器”是模拟出来的,所以不存在常见物理遥控器易混用、易丢失的问题,显著的提高用户的使用体验。
本实施例通过获取当前环境图像,识别所述当前环境图像中的物体,并将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器,从而可通过将生活中的物品经过智能穿戴设备的图像处理之后,在视觉上形成虚拟的遥控器,再通过检测对该模拟遥控器进行的触控操作,从而分析出用户在模拟遥控器上的操作信息,确定用户对智能家居设备所需求的控制操作,并通过确定该触控操作对应的设备控制指令,并将所述设备控制指令发送至家居设备,以使该家居设备执行该设备控制指令对应的功能操作,从而达到对家居设备进行控制的目的。本实施例利用了AR的虚实结合技术,实现将周围常见的生活物品模拟为遥控器,可以对任意智能家居设备进行操作控制,其具备遥控器的优点,且因遥控器是虚拟的,可以将常见的物体作为模拟遥控器来对智能家居进行控制操作,无需用户需要花费较长时间去找待控家居设备对应的遥控器,有效减少了物理遥控器在使用过程中易丢失、易混合且使用过程单调体验感差等问题,提升了用户在进行设备控制过程中的体验感和新鲜感。同时由于本实施例无需通过语音识别来触发该设备控制指令,在与用户交互时,也不会出现接收用户的语音时,无法正确理解复杂的语音信息,从而导致发出错误的设备控制指令,因此规避了AI音响的语言识别不准确的问题,另外,由于用户可通过输入需要控制的家居设备的设备选择信息,将该设备选择信息对应的家居设备作为待控家居设备,将该待控家居设备对应的虚拟操作按键渲染于所述物体上构建得到模拟遥控器,用户通过操控该模拟遥控器对待控家居设备进行控制,也就是说,可将任意一个家居设备对应的虚拟操作按键渲染于当前环境图像中的物体上,构建得到对任意一个家居设备进行控制的模拟遥控器,从而克服了手机App的控制方式中在家居设备较多时,需要在手机上频繁切换App来达到对不同家居设备进行控制导致操作较为繁琐的问题,使得本实施例能最大程度的消除目前主流控制方式的使用缺陷,在各方面提供均衡的体验,进而提高了对家居设备进行控制的便利性。
在一种可实施的方式中,所述获取当前环境图像的步骤之前包括:
步骤A10,输出预设的设备控制模式引导信息,其中,所述设备控制模式引导信息中包含语音控制模式、应用程序控制模式和模拟遥控器控制模式;
若接收到所述模拟遥控器控制模式对应的模式选择指令,则执行:所述获取当前环境图像的步骤。
在本实施例中,所述设备选择引导信息包括设备控制模式引导界面和/或设备控制模式引导语音。
本实施例可通过在智能穿戴设备显示的设备选择引导界面中输入对应的信息,从而选择语音控制模式、应用程序控制模式和模拟遥控器控制模式中的一种来对智能家居设备进行控制,使得用户在佩戴智能穿戴设备时可根据自身的个性化需求,灵活的选择各种不同的交互方式对智能家居设备进行控制,进而使用户拥有更加优质的使用体验。
进一步地,在一种可能的实施方式中,所述输出预设的设备控制模式引导信息的步骤之后包括:
步骤B10,若获取到输入的语音控制模式对应的模式选择指令,则拾取当前语音信息,并识别当前语音信息对应的设备控制指令;
步骤B20,将当前语音信息对应的设备控制指令发送至家居设备。
在本实施例中,用户可通过语音的方式与智能穿戴设备进行交互,智能穿戴设备可拾取用户的当前语音信息,容易理解的是,由于不同的语音信息往往对应不同的设备控制指令,可以通过识别用户的语音操作指令,从而根据识别结果来生成与当前交互对应的控制信号,这样可以有助于提高控制效率,减少用户的等待时长。在一实施例中,可通过识别当前语音信息中的关键词,并通过预存的指令映射表确定该关键词对应的设备控制指令,其中,该指令映射表中具有关键词与设备控制指令一一对应的映射关系。在另一实施例中,可通过识别当前语音信息对应的语义,并生成该语义对应的设备控制指令,并将当前语音信息对应的设备控制指令发送至家居设备,从而实现通过在通过模拟遥控器的交互方式的基础上,通过语音交互方式对家居设备进行控制,从而丰富了交互方式,提高操作的便捷性,用户可以灵活的选择本实施例的各种操作方式对智能家居进行控制。在本实施例中,该语音交互的原理和传统AI(Artificial Intelligence,人工智能)音箱的控制方式一致,通过AI神经网络识别语音指令,进而对智能家居进行控制,区别是:当用户距离AI音响音箱较远时,必须大声说出控制指令,否则AI音箱较难识别到声音指令。而智能穿戴设备因为直接佩戴在脸部或头部,不存在距离上的问题,从该角度看,智能穿戴设备的语音控制要比AI音箱出色。
在另一种可能的实施方式中,所述输出预设的设备控制模式引导信息的步骤之后包括:
步骤C10,若获取到输入的应用程序控制模式对应的模式选择指令,则显示预设的设备控制交互界面;
步骤C20,获取在所述设备控制交互界面输入的触控操作信息,确定所述触控操作信息对应的设备控制指令;
步骤C30,将所述触控操作信息对应的设备控制指令发送至家居设备。
在本实施例中,容易理解的是,不同的触控操作信息往往对应不同的设备控制指令。
在本实施例中,手机可以通过触控智能设备APP(Application,应用程序)的UI(User Interface,用户界面)操作界面从而对智能家居进行控制,智能穿戴设备通过现实增强技术,同样可以将家居设备APP的UI操作界面投射到智能穿戴设备上,然后例如通过手部追踪技术,识别手指与虚拟UI界面的交互,触发对应的设备控制指令给家居设备,从而通过AR支持将智能家居app界面投射到显示界面,通过手部追踪实现和手机操作一模一样的体验,即在交互界面形成家居终端的虚拟映射,用户能够在交互界面中看到可以操作的家居终端的图像,通过控制交互界面中图像的虚拟映射,完成对家居终端的控制,从而实现通过在通过模拟遥控器的交互方式的基础上,通过应用程序交互方式对家居设备进行控制,从而丰富了交互方式,提高操作的便捷性,用户可以灵活的选择本实施例的各种操作方式对智能家居进行控制。
在一种可实施的方式中,所述识别所述当前环境图像中的物体的步骤之后包括:
步骤D10,将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配;
在本实施例中,所述三维模型库中具有多个不同的三维模型。对于比较常见的目标生活物品(适合作为模拟遥控器的类几何物体),开发人员或者智能穿戴设备厂商要先建立对应的三维模型,作为3D模型库保存在智能穿戴设备的系统中。
步骤D20,若所述三维模型库中存在与所述实物模型的匹配相似度大于预设相似度阈值的三维模型,则将所述物体作为待渲染的目标物体;
所述将家居设备对应的虚拟操作按键渲染于所述物体上的步骤包括:
步骤D30,将家居设备对应的虚拟操作按键渲染于所述目标物体上。
在本实施例中,该预设相似度阈值可根据实际需求进行设定,本实施例不作具体的限定,例如,该预设相似度阈值可为90%或95%。
需要说明的是,由于需要将虚拟操作按键是以图像形式叠加于该物体上进行虚拟遥控器的构建,因此并不是生活中的所有物体都适合进行模拟遥控器的构建,例如充电线、衣架、筷子等较窄或薄的物体,以及眼镜等较不规则的物体,不便于将多个虚拟操作按键以适配于该形状的方式排布于注视角度方向的物体表面。因此,本实施例可通过在预存的三维模型库中预存多个三维模型,一种三维模型可对应一种生活中的物品,当三维模型库中存在与G该实物模型的匹配相似度大于预设相似度阈值的三维模型时,说明当前环境图像中的该物体为适合构建模拟遥控器的物体。示例性地,该与预存的三维模型库中的三维模型可包括水杯三维模型、眼镜盒三维模型、香蕉三维模型、胡萝卜三维模型、铅笔三维模型、热水袋三维模型、文具盒三维模型和手电筒三维模型等。其中,智能穿戴设备的佩戴者用手拿起一个生活中的物体,例如香蕉、胡萝卜或铅笔,然后使用智能穿戴设备的摄像头扫描识别该物体的实物模型,当扫描识别的该实物模型与三维模型库中的三维模型的匹配度大于预设相似度阈值时,通过AR现实增强技术在当前环境图像中的该物体上叠加几个对智能家居进行控制的按键,例如开始和暂停的虚拟操作按键,如图3所示,从而避免当前环境图像中的物体不适合构建模拟遥控器时将虚拟操作按键强行叠加于当前环境图像中的物体上,导致出现用户对所构建的虚拟遥控器操控不便利的问题。
在一种可能的实施方式中,所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤之后还包括:
若所述三维模型库中不存在与所述实物模型的匹配相似度大于预设相似度阈值的三维模型,则输出当前环境图像不存在待渲染的目标物体的预设提示信息,或者输出需继续寻找待渲染的目标物体的提示信息。
本实施例通过在三维模型库中不存在与该实物模型的匹配相似度大于预设相似度阈值的三维模型时,输出当前环境图像不存在待渲染的目标物体的预设提示信息,或者输出需继续寻找待渲染的目标物体的提示信息,从而避免当前环境图像中的物体不适合构建模拟遥控器时将虚拟操作按键强行叠加于当前环境图像中的物体上,导致出现用户对所构建的虚拟遥控器操控不便利的问题。
在一种可能的实施方式中,所述将家居设备对应的虚拟操作按键渲染于所述目标物体上的步骤之前:
步骤E10,输出预设的设备选择引导信息;
在本实施例中,所述设备选择引导信息包括设备选择引导界面和/或设备选择引导语音。
步骤E20,获取响应于所述设备选择引导信息而输入的设备选择指令,并将所述设备选择指令映射的家居设备作为待控家居设备;
所述将家居设备对应的虚拟操作按键渲染于所述目标物体上的步骤包括:
步骤E30,将所述待控家居设备对应的虚拟操作按键渲染于所述目标物体上;
所述将所述设备控制指令发送至家居设备的步骤包括:
步骤E40,将所述设备控制指令发送至所述待控家居设备。
在本实施例中,由于家居设备往往会有很多个,例如电视、智能窗帘、照明灯、空调、洗衣机、冰箱、加湿器和微波炉等,因此用户首先要选择所意图控制的家居设备,而本实施例通过在将家居设备对应的虚拟操作按键渲染于目标物体上的步骤之前,先输出预设的设备选择引导信息,以使用户可根据该设备选择引导信息进行设备选择指令的输入,然后智能穿戴设备获取响应于该设备选择引导信息而输入的设备选择指令,并将该设备选择指令映射的家居设备作为待控家居设备,从而确定用户在众多的家居设备中具体想控制哪一个家居设备,将所意图控制的家居设备作为待控家居设备,并通过将待控家居设备对应的虚拟操作按键渲染于目标物体上,构建得到虚拟遥控器,然后检测对该模拟遥控器进行的触控操作,确定该触控操作对应的设备控制指令,再将设备控制指令发送至所述待控家居设备,从而实现对待控家居设备的智能控制。在本实施例中,智能穿戴设备可先在物体表面叠加一个设备选择引导界面等设备选择引导信息,提示用户点击选择要控制的智能家居设备,当用户选择后,再叠加该设备对应的虚拟操作按键到物体表面,至此,模拟遥控器创建完成,只要该模拟遥控器在智能穿戴设备的视野范围之内,用户即可通过该模拟遥控器操作待控家居设备。
在一种可能的实施方式中,所述若所述三维模型库中存在与所述实物模型的匹配相似度大于预设相似度阈值的三维模型,则将所述物体作为待渲染的目标物体的步骤包括:
步骤F10,若所述三维模型库中存在与所述实物模型的匹配相似度大于预设相似度阈值的三维模型为多个,则将匹配相似度大于预设相似度阈值的各实物模型对应的物体进行标记,得到各标记物体;
步骤F20,输出所述标记物体的物体选择引导信息;
所述物体选择引导信息包括物体选择引导界面和/或物体选择引导语音。
步骤F30,获取响应于所述物体选择引导信息而输入的物体选择指令,并将所述物体选择指令对应的物体作为待渲染的目标物体。
在本实施例中,智能穿戴设备会扫描并识别该物体,并将其与预存的三维模型库进行匹配,当匹配率超过一定阈值(例如90%以上相似度)时,智能穿戴设备判断该物体可以进行模拟遥控器的构建,如果智能穿戴设备的视野中有多个物品都进行模拟遥控器的构建,则将匹配相似度大于预设相似度阈值的各实物模型对应的物体进行标记,得到各标记物体,并输出各标记物体的物体选择引导信息,从而使得用户可根据该物体选择引导信息而输入物体选择指令,智能穿戴设备可根据该物体选择指令,确定在各标记物体中用户所意图构建模拟遥控器的物体,并将所意图构建模拟遥控器的物,作为待渲染的目标物体,从而实现从匹配相似度大于预设相似度阈值的各实物模型对应的物体中,准确地选取出用户所意图选择的物体进行模拟遥控器的构建,提高了用户的使用体验。
在一种可能的实施方式中,所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤之前包括:
步骤G10,确定识别的所述物体在所述智能穿戴设备的预设视野区域内是否达到预设时长;
若是,则执行:所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤。
在本实施例中,该预设时长可根据实际情况进行设定,本实施例不作具体的限定,该预设时长可为3秒或5秒。当用户佩戴智能穿戴设备注视某物体超过3秒时,智能穿戴设备会扫描并识别该物体,并将其与智能穿戴设备预存的三维模型库进行匹配,当匹配率超过一定阈值(例如90%以上相似度)时,AR眼镜判断该物体可以进行模拟遥控器的构建,从而避免那些不是用户所意图构建模拟遥控器的物体,智能穿戴设备均识别那些物体对应的实物模型与预存的三维模型库中的三维模型进行匹配,导致严重提高了智能穿戴设备的运行负载,而本实施例通过在确定识别的物体在智能穿戴设备的预设视野区域内达到预设时长时(在智能穿戴设备的预设视野区域内的某物体达到预设时长,往往代表用户佩戴智能穿戴设备注视某物体超过预设时长),再执行将物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤,从而实现在降低智能穿戴设备的运行负载的基础上,准确地选取出用户所意图选择的物体进行模拟遥控器的构建。
在另一种可能的实施方式中,所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤之前包括:
步骤H10,检测当前环境图像中是否存在预设启动手势;
步骤H20,若存在,则开启模拟遥控器控制功能;
在开启模拟遥控器控制功能之后,执行:所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤。
进一步地,所述将家居设备对应的虚拟操作按键渲染于所述物体上,得到模拟遥控器的步骤之后包括:
步骤I10,检测当前环境图像中是否存在预设关闭手势;
步骤I20,若存在,则触发关闭模拟遥控器控制功能对应的指令;
步骤I30,在触发关闭模拟遥控器控制功能对应的指令后,取消在所述物体上的虚拟操作按键的渲染,停止构建所述模拟遥控器。
该预设启动手势和预设关闭手势,可根据具体需求进行设置,本实施例不作具体的限定。在本实施例中,用户通过作出预设启动手势来开启模拟遥控器控制功能,通过作出预设关闭手势来关闭启动智能穿戴设备的模拟遥控器控制功能,预设启动手势和预设关闭手势可相同也可不同。在预设启动手势和预设关闭手势相同时,例如均为第一手势,在智能穿戴设备的模拟遥控器控制功能处于关闭状态时,用户通过作出第一手势来开启模拟遥控器控制功能,在开启模拟遥控器控制功能后,智能穿戴设备的模拟遥控器控制功能处于开启状态,此时用户可通过作出第一手势来关闭模拟遥控器控制功能。对于用户而言,只需佩戴该智能穿戴设备,根据显示的控制界面做出指定手势就可以轻松实现对模拟遥控器控制功能的开启或关闭,并且便捷不易出错,进一步提高了用户的使用体验。
实施例二
基于本申请第一实施例,在本申请另一实施例中,与上述实施例一相同或相似的内容,可以参考上文介绍,后续不再赘述。在此基础上,请参照图2,所述检测对所述模拟遥控器进行的触控操作,确定所述触控操作对应的设备控制指令的步骤包括:
步骤S310,识别交互物在所述模拟遥控器的触控坐标位置,确定所述触控坐标位置对应的虚拟操作按键;
在一种可实施的方式中,所述步骤S310,识别交互物在所述模拟遥控器的触控坐标位置的步骤包括:
识别交互物在遥控器坐标系所处的操控坐标位置,将所述操控坐标位置作为交互物在所述模拟遥控器的触控坐标位置,其中,所述遥控器坐标系为以所述模拟遥控器上的预设坐标位置为原点构建的坐标系。
所述步骤S310之后,执行步骤S320,将所述触控坐标位置对应的虚拟操作按键作为触控按键,确定所述触控按键映射的设备控制指令;
步骤S330,将所述触控按键映射的设备控制指令,作为所述触控操作对应的设备控制指令。
在本实施例中,该交互物可为手指或者触控笔等。
由于多个虚拟操作按键排布叠设于模拟遥控器上,即多个虚拟操作按键布设于模拟遥控器上的不同触控坐标位置。因此,用户可通过将交互物触碰于模拟遥控器的不同触控坐标位置,实现对不同虚拟操作按键的触控。
在一种可能的实施方式中,所述将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器的步骤包括:
步骤J10,将家居设备对应的虚拟操纵盘的图像信息叠加至所述物体上,以将所述虚拟操纵盘渲染于所述物体上,其中,所述虚拟操纵盘包括至少一个虚拟操作按键;
所述识别交互物在所述模拟遥控器的触控坐标位置的步骤包括:
步骤J20,实时采集交互物的动作信息;
步骤J30,根据采集到的交互物的动作信息,确定所述动作信息是否符合预设操控动作;
步骤J40,将符合所述预设操控动作时所述交互物在所述模拟遥控器所处的坐标位置,作为触控坐标位置。
在本实施例中,该虚拟操纵盘类似于操作键盘。
在本实施例中,在用户手持该模拟遥控器移动时,智能穿戴设备可通过3D物体定位追踪技术实时跟踪该模拟遥控器,并通过手部跟踪技术,判断/识别交互物与虚拟按钮的交互碰撞,利用GUI空间交互技术,触发通知智能穿戴设备给智能家居发送对应的设备控制指令。即可通过图像识别和3D物体定位追踪技术,识别/跟踪常见的生活物品,并在物品表面叠加生成虚拟的常见操作按键,智能穿戴设备检测识别佩戴者的交互物轨迹,当交互物触碰点击虚拟操作按键时,会自动的触发对应的设备控制指令,该方法可以给佩戴者带来和手持遥控器相似的操作体验,且因为“遥控器”是模拟出来的,所以不存在常见物理遥控器易混用、易丢失的问题,显著的提高用户的使用体验。
在另一种可能的实施方式中,所述将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器的步骤包括:
步骤K10,将家居设备对应的虚拟操纵盘对应阵列布局的激光束投射至所述物体上,以将所述虚拟操纵盘渲染于所述物体上,其中,所述虚拟操纵盘包括至少一个虚拟操作按键;
所述识别交互物在所述模拟遥控器的触控坐标位置的步骤包括:
步骤K20,检测所述激光束在投射方向而反射回的反射波束;
步骤K30,根据所述反射波束的波束信息,对交互物的光线阻断的阻断位置进行定位,并将定位得到的所述阻断位置在所述模拟遥控器所处的坐标位置,作为触控坐标位置。
在本实施例中,为了助于理解,列举一示例,例如通过手指或者交互笔等交互物在模拟遥控器的虚拟操纵盘的坐标位置(A,B)进行触控操作时,该坐标位置(A,B)的激光束会受到手指或者交互笔的阻断,此时该坐标位置(A,B)即为激光束投射至物体的路径中受到光线阻断的阻断位置。由于激光束在受到阻断后,反射回来的时长变短,因此,可根据反射波束的波束信息,确定各坐标位置的激光束的回波周期(例如某个坐标位置的回波周期是指:在该坐标位置,从投射激光束开始至接收到该激光束在投射方向所反射回的反射光束的时长),进而确定激光束受到光线阻断的阻断位置,实现对阻断位置的定位,并通过将定位得到的该阻断位置在模拟遥控器所处的坐标位置,作为触控坐标位置,从而准确地确定出用户所触控的虚拟操作按键。
为了助于理解本申请的技术构思,列举一具体实施例:
本具体实施例涉及的智能穿戴设备为AR眼镜,该AR眼镜具备图形识别、语言识别、handtracking和3D物体定位追踪等功能,本具体实施例在主流的语音控制和APP控制之外,同时还提供了一种“模拟遥控器”方法,从而支持传统的遥控器控制,进而覆盖所有的智能家居控制方式。它的基本流程(过程中使用到的技术)如图4所示。其中,对于比较常见的目标生活物品(适合作为模拟遥控器的类几何物体),开发人员或者AR眼镜厂商要先建立对应的三维模型,作为3D模型库保存在AR眼镜的系统中。用户通过手势进行启动/关闭模拟遥控器的功能,例如用户伸出手作出预设的启动手势,启动AR眼镜的模拟遥控器模式,关闭手势和开始手势相同,在模拟遥控器模式下,用户再作出预设的关闭手势,AR眼镜会关闭并退出模拟遥控器模式。
当用户佩戴AR眼镜注视目标物体超过3秒时,AR眼镜会扫描并识别该物体,并将其与AR眼镜内部的三维模型库进行匹配,当匹配率超过一定阈值(90%以上相似度)时,AR眼镜判断该物体可以作为模拟遥控器使用,如果AR眼镜的视野中有多个物品都可以作为模拟遥控器,则提示用户选择相似度最高的物品。
AR会先在该物体表面叠加一个模式选择按钮,提示用户点击选择要控制的智能家居设备,当用户选择后,再叠加用户所选择的家居设备对应的基础控制按钮到物体表面,至此,模拟遥控器创建完成,只要该模拟遥控器在AR眼镜的视野范围之内,用户即可通过该模拟遥控器操作智能家居设备。
其中,语音控制:它的方法的原理和传统AI音箱的控制方式一致,通过AI神经网络识别语音指令,进而对智能家居进行控制,区别是:当用户距离AI音响音箱较远时,必须大声说出控制指令,否则AI音箱较难识别到声音指令。而AR眼镜因为直接佩戴在脸部,不存在距离上的问题,从该角度看,AR眼镜的语音控制要比AI音箱出色。
另外,APP控制:手机可以通过触控智能设备APP的UI操作界面从而对智能家居进行控制,AR眼镜通过现实增强技术,同样可以将智能设备APP的UI操作界面投射到AR眼镜上,通过手部追踪技术,识别手指与虚拟UI界面的交互,触发对应的控制指令给智能设备。
总的来说,本具体实施例提出的智能家居控制方案,整合各种主流的控制方案,并且最大程度的消除其各自的使用缺点,用户可以灵活的选择本专利的各种操作方式对智能家居进行控制。
在用户手持该模拟遥控器移动时,AR眼镜会通过3D物体定位追踪技术实时的跟踪该物体,并通过手部跟踪技术,判断/识别手指与虚拟按钮的交互碰撞,利用GUI空间交互技术,触发通知AR眼镜给智能家居发送对应的控制指令。
具体地,模拟遥控器是本具体实施例提出的一种新方法,结合AR眼镜,将周围常见的生活物品“变为”虚拟的遥控器,可以对任意智能家居设备(包括AR眼镜)进行操作控制。其简单的原理是:通过图像识别/3D物体定位追踪技术,识别/跟踪常见的生活物品,并在物品表面叠加生成虚拟的常见操作按键。AR检测识别佩戴者的手指轨迹,当手指触碰点击虚拟操作按键时,会自动的触发对应的智能家居控制指令。
示例性地,AR眼镜的佩戴者,用手拿起一个生活中的物品,例如香蕉、胡萝卜、铅笔等等,使用AR摄像头扫描识别该物体,并通过AR现实增强技术在该物品上叠加几个常用的智能家居控制的按键(开始/暂停),效果如图3所示。
该方法可以给佩戴者带来和手持遥控器相似的操作体验,且因为“遥控器”是模拟出来的,所以不存在常见物理遥控器易混用、易丢失的问题,显著的提高用户的使用体验。
在本具体实施例中,用户通过佩戴AR眼镜,可以灵活的选择各种控制智能家居的方式,从而拥有更加优质的使用体验。
需要说明的是,该具体实施例阐述的诸多细节仅助于理解本申请的技术构思,并不构成对本申请的限定,基于本申请的该技术构思进行更多形式的简单变换,均应在本申请的保护范围内。
实施例三
本发明实施例提供一种智能穿戴设备,智能穿戴设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施例一中的家居设备控制方法。
下面参考图5,其示出了适于用来实现本公开实施例的智能穿戴设备的结构示意图。本公开实施例中的智能穿戴设备可以包括但不限于混合现实(Mixed Reality)—MR设备(例如MR眼镜或者MR头盔)、增强现实(Augmented Reality)—AR设备(例如AR眼镜或者AR头盔)、虚拟现实-(VirtualReality)—VR设备(例如VR眼镜或者VR头盔)、扩展现实(Extended Reality)—XR设备或其某种组合等等智能穿戴设备。图5示出的智能穿戴设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,智能穿戴设备可以包括处理装置1001(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM1002)中的程序或者从存储装置加载到随机访问存储器(RAM1004)中的程序而执行各种适当的动作和处理。在RAM1004中,还存储有智能穿戴设备操作所需的各种程序和数据。处理装置1001、ROM1002以及RAM1004通过总线1005彼此相连。输入/输出(I/O)接口也连接至总线1005。
通常,以下系统可以连接至I/O接口1006:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置1007;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1008;包括例如磁带、硬盘等的存储装置1003;以及通信装置1009。通信装置1009可以允许智能穿戴设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的智能穿戴设备,但是应理解的是,并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置从网络上被下载和安装,或者从存储装置1003被安装,或者从ROM1002被安装。在该计算机程序被处理装置1001执行时,执行本公开实施例的方法中限定的上述功能。
本发明提供的智能穿戴设备,采用上述实施例一或实施例二中的家居设备控制方法,能提高对家居设备进行控制的便利性。与现有技术相比,本发明实施例提供的智能穿戴设备的有益效果与上述实施例一提供的家居设备控制方法的有益效果相同,且该智能穿戴设备中的其他技术特征与上一实施例方法公开的特征相同,在此不做赘述。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
实施例四
本发明实施例提供一种可读存储介质,所述可读存储介质为计算机可读存储介质,具有存储在其上的计算机可读程序指令,计算机可读程序指令用于执行上述实施例一中的家居设备控制方法。
本发明实施例提供的计算机可读存储介质例如可以是U盘,但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读存储介质可以是智能穿戴设备中所包含的;也可以是单独存在,而未装配入智能穿戴设备中。
上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被智能穿戴设备执行时,使得智能穿戴设备:获取当前环境图像,识别所述当前环境图像中的物体;将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器;检测对所述模拟遥控器进行的触控操作,确定所述触控操作对应的设备控制指令,并将所述设备控制指令发送至家居设备。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该单元本身的限定。
本发明提供的计算机可读存储介质,存储有用于执行上述家居设备控制方法的计算机可读程序指令,能提高对家居设备进行控制的便利性。与现有技术相比,本发明实施例提供的计算机可读存储介质的有益效果与上述实施例一或实施例二提供的家居设备控制方法的有益效果相同,在此不做赘述。
实施例五
本发明实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的家居设备控制方法的步骤。
本申请提供的计算机程序产品能提高对家居设备进行控制的便利性。与现有技术相比,本发明实施例提供的计算机程序产品的有益效果与上述实施例一或实施例二提供的家居设备控制方法的有益效果相同,在此不做赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种家居设备控制方法,其特征在于,所述家居设备控制方法应用于智能穿戴设备,所述家居设备控制方法的步骤包括:
获取当前环境图像,识别所述当前环境图像中的物体;
将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器;
检测对所述模拟遥控器进行的触控操作,确定所述触控操作对应的设备控制指令,并将所述设备控制指令发送至家居设备。
2.如权利要求1所述的家居设备控制方法,其特征在于,所述识别所述当前环境图像中的物体的步骤之后包括:
将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配;
若所述三维模型库中存在与所述实物模型的匹配相似度大于预设相似度阈值的三维模型,则将所述物体作为待渲染的目标物体;
所述将家居设备对应的虚拟操作按键渲染于所述物体上的步骤包括:
将家居设备对应的虚拟操作按键渲染于所述目标物体上。
3.如权利要求2所述的家居设备控制方法,其特征在于,所述将家居设备对应的虚拟操作按键渲染于所述目标物体上的步骤之前:
输出预设的设备选择引导信息;
获取响应于所述设备选择引导信息而输入的设备选择指令,并将所述设备选择指令映射的家居设备作为待控家居设备;
所述将家居设备对应的虚拟操作按键渲染于所述目标物体上的步骤包括:
将所述待控家居设备对应的虚拟操作按键渲染于所述目标物体上;
所述将所述设备控制指令发送至家居设备的步骤包括:
将所述设备控制指令发送至所述待控家居设备。
4.如权利要求2所述的家居设备控制方法,其特征在于,所述若所述三维模型库中存在与所述实物模型的匹配相似度大于预设相似度阈值的三维模型,则将所述物体作为待渲染的目标物体的步骤包括:
若所述三维模型库中存在与所述实物模型的匹配相似度大于预设相似度阈值的三维模型为多个,则将匹配相似度大于预设相似度阈值的各实物模型对应的物体进行标识,得到各标记物体;
输出所述标记物体的物体选择引导信息;
获取响应于所述物体选择引导信息而输入的实物选择指令,并将所述物体选择指令对应的物体作为待渲染的目标物体。
5.如权利要求4所述的家居设备控制方法,其特征在于,所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤之前包括:
确定识别的所述物体在所述智能穿戴设备的预设视野区域内是否达到预设时长;
若是,则执行:所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤。
6.如权利要求4所述的家居设备控制方法,其特征在于,所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤之前包括:
检测当前环境图像中是否存在预设启动手势;
若存在,则开启模拟遥控器控制功能;
在开启模拟遥控器控制功能之后,执行:所述将所述物体对应的实物模型与预存的三维模型库中的三维模型进行匹配的步骤。
7.如权利要求1所述的家居设备控制方法,其特征在于,所述检测对所述模拟遥控器进行的触控操作,确定所述触控操作对应的设备控制指令的步骤包括:
识别交互物在所述模拟遥控器的触控坐标位置,确定所述触控坐标位置对应的虚拟操作按键;
将所述触控坐标位置对应的虚拟操作按键作为触控按键,确定所述触控按键映射的设备控制指令;
将所述触控按键映射的设备控制指令,作为所述触控操作对应的设备控制指令。
8.如权利要求7所述的家居设备控制方法,其特征在于,所述将家居设备对应的虚拟操作按键渲染于所述物体上,构建得到模拟遥控器的步骤包括:
将家居设备对应的虚拟操纵盘的图像信息叠加至所述物体上,以将所述虚拟操纵盘渲染于所述物体上,其中,所述虚拟操纵盘包括至少一个虚拟操作按键;
所述识别交互物在所述模拟遥控器的触控坐标位置的步骤包括:
实时采集交互物的动作信息;
根据采集到的交互物的动作信息,确定所述动作信息是否符合预设操控动作;
将符合所述预设操控动作时所述交互物在所述模拟遥控器所处的坐标位置,作为触控坐标位置。
9.一种智能穿戴设备,其特征在于,所述智能穿戴设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至8中任一项所述家居设备控制方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质为计算机可读存储介质,所述计算机可读存储介质上存储有实现家居设备控制方法的程序,所述实现家居设备控制方法的程序被处理器执行以实现如权利要求1至8中任一项所述家居设备控制方法的步骤。
CN202211307462.9A 2022-10-24 2022-10-24 家居设备控制方法、智能穿戴设备和可读存储介质 Pending CN115496850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211307462.9A CN115496850A (zh) 2022-10-24 2022-10-24 家居设备控制方法、智能穿戴设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211307462.9A CN115496850A (zh) 2022-10-24 2022-10-24 家居设备控制方法、智能穿戴设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN115496850A true CN115496850A (zh) 2022-12-20

Family

ID=84474850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211307462.9A Pending CN115496850A (zh) 2022-10-24 2022-10-24 家居设备控制方法、智能穿戴设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN115496850A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116866104A (zh) * 2023-09-04 2023-10-10 高维度(深圳)生物信息智能应用有限公司 一种基于柔性触控的智能家居控制方法、系统及产品
CN117155728A (zh) * 2023-10-27 2023-12-01 深圳市千岩科技有限公司 设备控制方法、装置、系统及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116866104A (zh) * 2023-09-04 2023-10-10 高维度(深圳)生物信息智能应用有限公司 一种基于柔性触控的智能家居控制方法、系统及产品
CN116866104B (zh) * 2023-09-04 2023-12-19 高维度(深圳)生物信息智能应用有限公司 一种基于柔性触控的智能家居控制方法、系统及产品
CN117155728A (zh) * 2023-10-27 2023-12-01 深圳市千岩科技有限公司 设备控制方法、装置、系统及计算机可读存储介质
CN117155728B (zh) * 2023-10-27 2024-04-19 深圳市千岩科技有限公司 设备控制方法、装置、系统及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11392212B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
US10866632B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US11244513B2 (en) Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments
US10921949B2 (en) User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN115496850A (zh) 家居设备控制方法、智能穿戴设备和可读存储介质
US10257423B2 (en) Method and system for determining proper positioning of an object
CN108038726B (zh) 物品展示方法及装置
CN107918481B (zh) 基于手势识别的人机交互方法与系统
CN109582147A (zh) 一种用于呈现增强交互内容的方法以及用户设备
CN109656364A (zh) 一种用于在用户设备上呈现增强现实内容的方法与设备
CN110673810B (zh) 显示设备及其显示方法、装置、存储介质和处理器
CN106200900B (zh) 基于识别区域在视频中触发虚拟现实交互的方法及系统
CN109828672A (zh) 一种用于确定智能设备的人机交互信息的方法与设备
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
CN110427124A (zh) 一种投影装置、可穿戴设备及检测控制方法
CN115357120A (zh) 输入交互控制方法、智能穿戴设备和可读存储介质
CN111902849B (zh) 在图像上叠加传感器及其检测区域的虚拟表示
Tang et al. CUBOD: a customized body gesture design tool for end users
CN111492339A (zh) 信息处理设备、信息处理方法以及记录介质
US20240079031A1 (en) Authoring tools for creating interactive ar experiences
US11570017B2 (en) Batch information processing apparatus, batch information processing method, and program
JP2007272927A (ja) 情報入出力装置、及び情報入出力方法
CN117788754A (zh) 虚拟空间交互方法、装置、设备和介质
WO2024049596A1 (en) Recording following behaviors between virtual objects and user avatars in ar experiences
WO2024049594A1 (en) Interaction recording tools for creating interactive ar stories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination