CN111221257A - 基于图像识别技术的智能家居设备控制方法和装置 - Google Patents

基于图像识别技术的智能家居设备控制方法和装置 Download PDF

Info

Publication number
CN111221257A
CN111221257A CN202010008436.0A CN202010008436A CN111221257A CN 111221257 A CN111221257 A CN 111221257A CN 202010008436 A CN202010008436 A CN 202010008436A CN 111221257 A CN111221257 A CN 111221257A
Authority
CN
China
Prior art keywords
user
equipment
intelligent
video
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010008436.0A
Other languages
English (en)
Inventor
王钦泉
蒙静强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Leiangyun Intelligent Technology Co ltd
Original Assignee
Shanghai Leiangyun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Leiangyun Intelligent Technology Co ltd filed Critical Shanghai Leiangyun Intelligent Technology Co ltd
Priority to CN202010008436.0A priority Critical patent/CN111221257A/zh
Publication of CN111221257A publication Critical patent/CN111221257A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2638—Airconditioning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于图像识别技术的智能家居设备控制方法和装置，涉及智能家居技术领域，能够简单、智能的对智能家居设备实施精准控制，提高用户的操控体验。该方法包括：基于用户的触发请求，采集包括用户人像的第一视频；判断第一视频中的用户是否属于家庭成员用户，若是则唤醒中控设备，若否则忽略当前用户的触发请求；根据第一视频识别出当前用户的眼球信息，以及识别出待控智能设备的设备信息，眼球信息包括眼球的聚焦停留时间；当聚焦停留时间超过阈值时间时，由中控设备接收用户发出的模糊语音控制指令，并转发至待控智能设备实施控制。该装置应用有上述方法所提的方案。

Description

基于图像识别技术的智能家居设备控制方法和装置
技术领域
本发明涉及智能家居技术领域，尤其涉及一种基于图像识别技术的智能家居设备控制方法和装置。
背景技术
随着智能家居技术的发展，越来越多的智能家居设备走进用户的生活，同时也影响着用户的生活。为了使用户摆脱对智能家居设备繁琐的操作，方便用户对智能家居设备的使用，亟需一种简单、智能的智能家居设备控制方法。而目前，在相关技术中，用户基本都是通过智能家居设备的遥控器来控制智能家居设备，比如，该智能设备为智能空调时，用户通过智能空调的遥控器，可以控制智能空调进行打开、关闭、升高温度、降低温度等。
发明内容
本发明的目的在于提供一种基于图像识别技术的智能家居设备控制方法和装置，能够简单、智能的对智能家居设备实施精准控制，提高用户的操控体验。
为了实现上述目的，本发明的一方面提供一种基于图像识别技术的智能家居设备控制方法，包括：
基于用户的触发请求，采集包括用户人像的第一视频；
判断所述第一视频中的用户是否属于家庭成员用户，若是则唤醒中控设备，若否则忽略当前用户的触发请求；
根据第一视频识别出当前用户的眼球信息，以及识别出待控智能设备的设备信息，所述眼球信息包括眼球的聚焦停留时间；
当所述聚焦停留时间超过阈值时间时，由中控设备接收用户发出的模糊语音控制指令，并转发至待控智能设备实施控制。
优选地，基于用户的触发请求，采集包括用户人像的第一视频的方法包括：
当用户发出的所述触发请求被智能摄像机捕获时，智能摄像机主动校验所述触发请求的合法性；
在校验通过后，智能摄像机采集预定时长的包括用户人像的第一视频；
所述触发请求为触发口令、触发手势或触发动作。
优选地，在步骤基于用户的触发请求，采集包括用户人像的第一视频之前还包括：
预先在智能摄像机中录入家庭成员的人脸图像，用做校验模板。
较佳地，判断所述第一视频中的用户是否属于家庭成员用户，若是则唤醒中控设备，若否则忽略当前用户的触发请求的方法包括：
当第一视频中的用户人像能够与家庭成员的校验模板匹配，此时校验通过，唤醒中控设备；
当第一视频中的用户人像不能够与家庭成员的校验模板匹配，此时校验未通过，忽略当前用户的触发请求。
优选地，根据第一视频识别出当前用户的眼球信息，以及识别出待控智能设备的设备信息的方法包括：
对所述第一视频进行人脸识别，得到当前用户的眼球所在位置；
基于当前用户的眼球所在位置，对所述用户的眼球进行目光识别，得到当前用户眼球的目光方位；
基于所述目光方位确定待控智能设备的设备信息；
计算所述目光方位对应用户眼球的停留时间，得到所述聚焦停留时间。
优选地，基于当前用户的眼球所在位置，对所述用户的眼球进行目光识别，得到当前用户眼球的目光方位的方法包括：
基于当前用户的眼睛所在位置，确定所述用户的眼球相对正常注视方向的眼球偏移角度；
基于所述眼球偏移角度，确定当前用户眼球的目光方位。
优选地，基于所述目光方位确定待控智能设备的设备信息的方法包括：
对所述目光方位所指向的位置进行图像采集，得到第二图像，将所述第二图像确定为所述设备标识信息。
与现有技术相比，本发明提供的基于图像识别技术的智能家居设备控制方法具有以下有益效果：
本发明提供的基于图像识别技术的智能家居设备控制方法中，在用户向智能摄像机发出触发请求时，由智能摄像机开始摄像以采集包括用户人像的第一视频，接着由智能摄像机校验第一视频中的用户是否属于家庭成员用户，若是则主动唤醒中控设备，并准备接收用户发出的模糊语音控制指令，若不是则忽略当前用户的触发请求，然后从第一视频中提取出当前用户的眼球信息，识别出当前用户眼球的聚焦停留时间，以及基于当前用户眼球的目光方位识别出待控智能设备的设备信息，当聚焦停留时间超过阈值时间则表明用户有对待控智能设备的控制意愿，此时，用户仅需对待控智能设备输入模糊语音控制指令，如“调到26度”，中控设备即可将“调到26度”的语音控制指令转发至待控智能设备(用户目光所指的智能空调)实施控制。
可见，本发明通过用户的眼球信息可以准确识别出待控对象，且根据眼球的聚焦停留时间判断控制指令的有效性，使得用户仅需发出模糊控制指令即可对待控智能设备实施精准控制，提高了用户交互的便捷性和智能性。
本发明的另一方面提供一种基于图像识别技术的智能家居设备控制装置，应用有上述技术方案提到的基于图像识别技术的智能家居设备控制方法中，该装置包括:
采集单元，用于基于用户的触发请求，采集包括用户人像的第一视频；
校验单元，用于判断所述第一视频中的用户是否属于家庭成员用户，若是则唤醒中控设备，若否则忽略当前用户的触发请求；
识别单元，用于根据第一视频识别出当前用户的眼球信息，以及识别出待控智能设备的设备信息，所述眼球信息包括眼球的聚焦停留时间；
控制单元，用于当所述聚焦停留时间超过阈值时间时，由中控设备接收用户发出的模糊语音控制指令，并转发至待控智能设备实施控制。
与现有技术相比，本发明提供的基于图像识别技术的智能家居设备控制装置的有益效果与上述技术方案提供的基于图像识别技术的智能家居设备控制方法的有益效果相同，在此不做赘述。
本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于图像识别技术的智能家居设备控制方法的步骤。
与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的基于图像识别技术的智能家居设备控制方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一中基于图像识别技术的智能家居设备控制方法的流程示意图；
图2为本发明实施例二中基于图像识别技术的智能家居设备控制装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
请参阅图1，本实施例提供一种基于图像识别技术的智能家居设备控制方法，包括：
基于用户的触发请求，采集包括用户人像的第一视频；判断第一视频中的用户是否属于家庭成员用户，若是则唤醒中控设备，若否则忽略当前用户的触发请求；根据第一视频识别出当前用户的眼球信息，以及识别出待控智能设备的设备信息，眼球信息包括眼球的聚焦停留时间；当聚焦停留时间超过阈值时间时，由中控设备接收用户发出的模糊语音控制指令，并转发至待控智能设备实施控制。
具体实施时，采用人脸检测算法识别第一视频中的用户人像，具体的人脸检测算法可采用基于机器学习的模型，通过人脸检测算法检测图像数据中是否存在人脸。其中人脸检测算法可采用人工神经网络(Artificial Neural Network，即ANN)或是支持向量机SVM(SupportVector Machine)模型来进行人脸检测。ANN算法或SVM算法现有技术中已有详细的算法实现，此处不再赘述。
本实施例提供的基于图像识别技术的智能家居设备控制方法中，在用户向智能摄像机发出触发请求时，由智能摄像机开始摄像以采集包括用户人像的第一视频，接着由智能摄像机校验第一视频中的用户是否属于家庭成员用户，若是则主动唤醒中控设备，并准备接收用户发出的模糊语音控制指令，若不是则忽略当前用户的触发请求，然后从第一视频中提取出当前用户的眼球信息，识别出当前用户眼球的聚焦停留时间，以及基于当前用户眼球的目光方位识别出待控智能设备的设备信息，当聚焦停留时间超过阈值时间(如3秒钟)则表明用户有对待控智能设备的控制意愿，此时，用户仅需对待控智能设备输入模糊语音控制指令，如“调到26度”，中控设备即可将“调到26度”的语音控制指令转发至待控智能设备(用户目光所指的智能空调)实施控制。
可见，本实施例通过用户的眼球信息可以准确识别出待控对象，且根据眼球的聚焦停留时间判断控制指令的有效性，使得用户仅需发出模糊控制指令即可对待控智能设备实施精准控制，提高了用户交互的便捷性和智能性。
上述实施例中，在步骤基于用户的触发请求，采集包括用户人像的第一视频之前还包括：预先在智能摄像机中录入家庭成员的人脸图像，用做校验模板。
上述实施例中，基于用户的触发请求，采集包括用户人像的第一视频的方法包括：当用户发出的触发请求被智能摄像机捕获时，智能摄像机主动校验触发请求的合法性；在校验通过后，智能摄像机采集预定时长的包括用户人像的第一视频；触发请求为触发口令、触发手势或触发动作。
具体实施时，通过预先在智能摄像机中录入家庭成员的人脸图像，以此作为校验模板存储在智能摄像机中，当用户发出触发请求并被智能摄像机捕获时，由智能摄像机首先校验触发请求的合法性，并在校验通过后，智能摄像机采集预定时长的包括用户人像的第一视频。通过触发请求的校验流程设置，能够避免智能摄像机持续采集无用视频的情况，进而节约智能摄像机的存储空间，示例性地，触发请求可以以触发口令、触发手势或触发动作的形式呈现。
具体地，判断第一视频中的用户是否属于家庭成员用户，若是则唤醒中控设备，若否则忽略当前用户的触发请求的方法包括：
当第一视频中的用户人像能够与家庭成员的校验模板匹配，此时校验通过，唤醒中控设备；当第一视频中的用户人像不能够与家庭成员的校验模板匹配，此时校验未通过，忽略当前用户的触发请求。
进一步地，上述实施例中根据第一视频识别出当前用户的眼球信息，以及识别出待控智能设备的设备信息的方法包括：
对第一视频进行人脸识别，得到当前用户的眼球所在位置；基于当前用户的眼球所在位置，对用户的眼球进行目光识别，得到当前用户眼球的目光方位；基于目光方位确定待控智能设备的设备信息；计算目光方位对应用户眼球的停留时间，得到聚焦停留时间。
具体实施时，可采用人眼定位算法识别出当前用户的眼球信息，人眼定位算法可以采用ASM算法。ASM算法是Active Shape Model算法，ASM是一种基于点分布模型的算法，分为ASM训练和ASM搜索。ASM训练是对形状进行建模，ASM搜索是对形状进行匹配，具体的ASM算法是现有技术，此处也不再赘述。
另外，基于当前用户的眼球所在位置得到当前用户眼球的目光方位的方法为：首先基于该用户的眼球所在位置，确定该用户的眼球相对正常注视方向的眼球偏移角度；基于该眼球偏移角度，确定该用户的目光方位。
计算目光方位对应用户眼球的停留时间，得到所述聚焦停留时间的方法包括：将得到的第一视频拆分成每一帧多对应的图像，预设眼球的调整角度阈值，当连续多帧图像(聚焦停留时长所对应的图像)的眼球调整角度小于上述调整角度阈值时，表明用户的眼球有聚焦停留，当连续多帧图像的眼球调整角度大于上述调整角度阈值时，表明用户的眼球未聚焦停留，例如眼球在处于2度的范围内移动则判定处于聚焦状态。
上述实施例中，基于当前用户的眼球所在位置，对用户的眼球进行目光识别，得到当前用户眼球的目光方位的方法包括：基于当前用户的眼睛所在位置，确定用户的眼球相对正常注视方向的眼球偏移角度；基于眼球偏移角度，确定当前用户眼球的目光方位。具体实时，根据眼球偏移角度来确定用户的视角范围，并将该视角范围所包括的区域做为当前用户眼球的目光方位。
进一步地，上述实施例中基于目光方位确定待控智能设备的设备信息的方法包括：对目光方位所指向的位置进行图像采集，得到第二图像，将第二图像确定为设备标识信息。
具体实施时，可预先将每个智能设备的图像信息及对应的设备标识信息存储在中控设备中，当智能摄像机将采集到的第二图像与预存储的图像信息比对，在匹配出与第二图像对应智能设备的设备标识信息后，可将该设备标识信息默认为待控智能设备。
实施例二
请参阅图2，本实施例提供一种基于图像识别技术的智能家居设备控制装置，包括：
采集单元，用于基于用户的触发请求，采集包括用户人像的第一视频；
校验单元，用于判断所述第一视频中的用户是否属于家庭成员用户，若是则唤醒中控设备，若否则忽略当前用户的触发请求；
识别单元，用于根据第一视频识别出当前用户的眼球信息，以及识别出待控智能设备的设备信息，所述眼球信息包括眼球的聚焦停留时间；
控制单元，用于当所述聚焦停留时间超过阈值时间时，由中控设备接收用户发出的模糊语音控制指令，并转发至待控智能设备实施控制。
与现有技术相比，本实施例提供的基于图像识别技术的智能家居设备控制装置的有益效果与上述实施例提供的基于图像识别技术的智能家居设备控制方法的有益效果相同，在此不做赘述。
实施例三
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于图像识别技术的智能家居设备控制方法的步骤。
与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的基于图像识别技术的智能家居设备控制方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于图像识别技术的智能家居设备控制方法，其特征在于，包括：
基于用户的触发请求，采集包括用户人像的第一视频；
判断所述第一视频中的用户是否属于家庭成员用户，若是则唤醒中控设备，若否则忽略当前用户的触发请求；
根据第一视频识别出当前用户的眼球信息，以及识别出待控智能设备的设备信息，所述眼球信息包括眼球的聚焦停留时间；
当所述聚焦停留时间超过阈值时间时，由中控设备接收用户发出的模糊语音控制指令，并转发至待控智能设备实施控制。
2.根据权利要求1所述的方法，其特征在于，基于用户的触发请求，采集包括用户人像的第一视频的方法包括：
当用户发出的所述触发请求被智能摄像机捕获时，智能摄像机主动校验所述触发请求的合法性；
在校验通过后，智能摄像机采集预定时长的包括用户人像的第一视频；
所述触发请求为触发口令、触发手势或触发动作。
3.根据权利要求2所述的方法，其特征在于，在步骤基于用户的触发请求，采集包括用户人像的第一视频之前还包括：
预先在智能摄像机中录入家庭成员的人脸图像，用做校验模板。
4.根据权利要求3所述的方法，其特征在于，判断所述第一视频中的用户是否属于家庭成员用户，若是则唤醒中控设备，若否则忽略当前用户的触发请求的方法包括：
当第一视频中的用户人像能够与家庭成员的校验模板匹配，此时校验通过，唤醒中控设备；
当第一视频中的用户人像不能够与家庭成员的校验模板匹配，此时校验未通过，忽略当前用户的触发请求。
5.根据权利要求4所述的方法，其特征在于，根据第一视频识别出当前用户的眼球信息，以及识别出待控智能设备的设备信息的方法包括：
对所述第一视频进行人脸识别，得到当前用户的眼球所在位置；
基于当前用户的眼球所在位置，对所述用户的眼球进行目光识别，得到当前用户眼球的目光方位；
基于所述目光方位确定待控智能设备的设备信息；
计算所述目光方位对应用户眼球的停留时间，得到所述聚焦停留时间。
6.根据权利要求5所述的方法，其特征在于，基于当前用户的眼球所在位置，对所述用户的眼球进行目光识别，得到当前用户眼球的目光方位的方法包括：
基于当前用户的眼睛所在位置，确定所述用户的眼球相对正常注视方向的眼球偏移角度；
基于所述眼球偏移角度，确定当前用户眼球的目光方位。
7.根据权利要求6所述的方法，其特征在于，基于所述目光方位确定待控智能设备的设备信息的方法包括：
对所述目光方位所指向的位置进行图像采集得到第二图像，将所述第二图像确定为所述设备标识信息。
8.一种基于图像识别技术的智能家居设备控制装置，其特征在于，包括：
采集单元，用于基于用户的触发请求，采集包括用户人像的第一视频；
校验单元，用于判断所述第一视频中的用户是否属于家庭成员用户，若是则唤醒中控设备，若否则忽略当前用户的触发请求；
识别单元，用于根据第一视频识别出当前用户的眼球信息，以及识别出待控智能设备的设备信息，所述眼球信息包括眼球的聚焦停留时间；
控制单元，用于当所述聚焦停留时间超过阈值时间时，由中控设备接收用户发出的模糊语音控制指令，并转发至待控智能设备实施控制。
9.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至7任一项所述方法的步骤。
CN202010008436.0A 2020-01-06 2020-01-06 基于图像识别技术的智能家居设备控制方法和装置 Pending CN111221257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008436.0A CN111221257A (zh) 2020-01-06 2020-01-06 基于图像识别技术的智能家居设备控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010008436.0A CN111221257A (zh) 2020-01-06 2020-01-06 基于图像识别技术的智能家居设备控制方法和装置

Publications (1)

Publication Number Publication Date
CN111221257A true CN111221257A (zh) 2020-06-02

Family

ID=70831223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008436.0A Pending CN111221257A (zh) 2020-01-06 2020-01-06 基于图像识别技术的智能家居设备控制方法和装置

Country Status (1)

Country Link
CN (1) CN111221257A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162717A (zh) * 2020-10-10 2021-01-01 深圳市维派创展科技有限公司 一种屏幕扩展方法、系统和多功能显示器
CN113685987A (zh) * 2021-08-10 2021-11-23 重庆海尔空调器有限公司 一种空调器智能控制方法、控制装置、存储介质及空调器
WO2023082655A1 (zh) * 2021-11-15 2023-05-19 青岛海尔空调电子有限公司 一种目标控制方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700363A (zh) * 2016-01-19 2016-06-22 深圳创维－Rgb电子有限公司 一种智能家居设备语音控制装置的唤醒方法及系统
CN106653014A (zh) * 2016-10-31 2017-05-10 广州华凌制冷设备有限公司 智能家居的语音控制方法和智能家居的语音控制装置
CN107919121A (zh) * 2017-11-24 2018-04-17 江西科技师范大学 智能家居设备的控制方法、装置、存储介质及计算机设备
CN108647608A (zh) * 2018-04-28 2018-10-12 东莞市华睿电子科技有限公司 一种基于人像识别的智能家居防盗系统的实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700363A (zh) * 2016-01-19 2016-06-22 深圳创维－Rgb电子有限公司 一种智能家居设备语音控制装置的唤醒方法及系统
CN106653014A (zh) * 2016-10-31 2017-05-10 广州华凌制冷设备有限公司 智能家居的语音控制方法和智能家居的语音控制装置
CN107919121A (zh) * 2017-11-24 2018-04-17 江西科技师范大学 智能家居设备的控制方法、装置、存储介质及计算机设备
CN108647608A (zh) * 2018-04-28 2018-10-12 东莞市华睿电子科技有限公司 一种基于人像识别的智能家居防盗系统的实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范凯熹: "《信息交互设计》", 中国海洋大学出版社, pages: 94 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162717A (zh) * 2020-10-10 2021-01-01 深圳市维派创展科技有限公司 一种屏幕扩展方法、系统和多功能显示器
CN113685987A (zh) * 2021-08-10 2021-11-23 重庆海尔空调器有限公司 一种空调器智能控制方法、控制装置、存储介质及空调器
WO2023082655A1 (zh) * 2021-11-15 2023-05-19 青岛海尔空调电子有限公司 一种目标控制方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN111221257A (zh) 基于图像识别技术的智能家居设备控制方法和装置
WO2017161867A1 (zh) 一种调节屏幕亮度的方法、装置及智能终端
US20210164676A1 (en) Systems and methods for controlling an air-conditioning system based on gait recognition
CN110297536B (zh) 一种控制方法及电子设备
CN103220583A (zh) 基于智能电视的检测用户疲劳度的系统及方法
JP5662670B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111145739A (zh) 一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调
WO2020024416A1 (zh) 智能终端的防偷窥方法、装置、计算机设备和存储介质
WO2019179468A1 (zh) 智能设备的控制方法、装置、设备和存储介质
WO2019011073A1 (zh) 人脸活体检测方法及相关产品
WO2015158087A1 (zh) 一种检测人眼健康状态的方法、装置及移动终端
CN108171138B (zh) 一种生物特征信息获取方法和装置
CN112949417A (zh) 一种摔倒行为识别方法、设备及系统
WO2024051345A1 (zh) 驾驶员的视线识别方法及装置、车辆和存储介质
CN109219162B (zh) 门把手加热方法及装置
JP3836488B2 (ja) 状態監視装置
CN111144198B (zh) 智能支架的控制方法和智能支架
WO2023024734A1 (zh) 人脸活体检测方法及装置
JPH08257017A (ja) 状態監視装置及びその方法
CN106325514A (zh) 一种手持智能终端的防掉落方法、装置及其电子设备
CN110781778A (zh) 一种门禁控制方法、装置、存储介质及家居系统
JP6922821B2 (ja) 画像解析装置、方法およびプログラム
CN112700568B (zh) 一种身份认证的方法、设备及计算机可读存储介质
CN113759748A (zh) 一种基于物联网的智能家居控制方法及系统
CN113616494B (zh) 按摩控制方法、装置、计算机设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200602

RJ01 Rejection of invention patent application after publication