CN114782704A - 状态信息的确定方法、装置、存储介质及电子装置 - Google Patents

状态信息的确定方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN114782704A
CN114782704A CN202210335893.XA CN202210335893A CN114782704A CN 114782704 A CN114782704 A CN 114782704A CN 202210335893 A CN202210335893 A CN 202210335893A CN 114782704 A CN114782704 A CN 114782704A
Authority
CN
China
Prior art keywords
information
determining
feature information
target
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210335893.XA
Other languages
English (en)
Inventor
刘彦甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202210335893.XA priority Critical patent/CN114782704A/zh
Publication of CN114782704A publication Critical patent/CN114782704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Alarm Systems (AREA)

Abstract

本发明实施例提供了一种状态信息的确定方法、装置、存储介质及电子装置，该方法包括：获取目标检测区域中包括的目标对象的检测信息，其中，检测信息包括目标对象的第一图像信息和第一音频信息；获取通过对第一图像信息进行分析所确定的目标对象的第一特征信息，以及，获取通过对第一音频信息进行分析所确定的目标对象的第二特征信息；对第一特征信息与第二特征信息进行融合，并基于融合结果确定目标对象的状态信息。解决相关技术中存在的家电设备部分部件的功能比较局限，从而造成资源的浪费的问题。

Description

状态信息的确定方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及智能家电领域，具体而言，涉及一种状态信息的确定方法、装置、存储介质及电子装置。
背景技术
随着科学技术的进步和人工智能的发展，越来越多的智能算法应用到日常生活中，特别是对于智能家电而言，对于日常使用频率较高的家电而言，其智能化发展是至关重要的。
相关技术中，使用者或操作者可以通过智能家电上的部分部件进行交互以及物品管理，但仅对该技术进行应用，导致智能家电的部分部件可使用的功能比较局限，从而造成资源的浪费。
针对相关技术中存在的家电设备部分部件的功能比较局限，从而造成资源的浪费的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种状态信息的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的家电设备部分部件的功能比较局限，从而造成资源的浪费的问题。
根据本发明的一个实施例，提供了一种状态信息的确定方法，包括：获取目标检测区域中包括的目标对象的检测信息，其中，所述检测信息包括所述目标对象的第一图像信息和第一音频信息；获取通过对所述第一图像信息进行分析所确定的所述目标对象的第一特征信息，以及，获取通过对所述第一音频信息进行分析所确定的所述目标对象的第二特征信息；对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息。
在一个示例性实施例中，获取通过对所述第一图像信息进行分析所确定的所述目标对象的第一特征信息，以及，获取通过对所述第一音频信息进行分析所确定的所述目标对象的第二特征信息包括以下至少之一:基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息；将所述第一图像信息发送给具备图像分析能力的第一边缘计算节点，以指示所述第一边缘计算节点对所述第一图像信息进行分析以确定所述第一特征信息，以及，将所述第一音频信息发送给具备音频分析能力的第二边缘计算节点，以指示所述第二边缘计算节点对所述第一音频信息进行分析以确定所述第二特征信息；将所述第一图像信息发送给具备图像分析能力的第一边缘计算节点，以指示所述第一边缘计算节点对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息；基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，将所述第一音频信息发送给具备音频分析能力的第二边缘计算节点，以指示所述第二边缘计算节点对所述第一音频信息进行分析以确定所述第二特征信息。
在一个示例性实施例中，其特征在于，基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息之后，所述方法还包括：将所述第一特征信息和所述第二特征信息发送给第三边缘计算节点，以指示所述第三边缘计算节点对所述第一特征信息以及所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息；接收所述第三边缘计算节点返回的所述目标对象的状态信息。
在一个示例性实施例中，对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息包括：确定所述第一特征信息的第一权重；确定所述第二特征信息的第二权重；对所述第一特征信息以及所述第二特征信息进行加权求和，得到目标求和结果；基于预先配置的求和结果与状态信息的对应关系，确定与所述目标求和结果对应的所述目标对象的状态信息。
在一个示例性实施例中，对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息之后，所述方法还包括：在基于所述目标对象的状态信息确定所述目标对象处于异常状态的情况下，执行告警操作。
在一个示例性实施例中，所述执行告警操作包括：在确定存在多个具备执行告警能力的第一设备的情况下，从多个所述第一设备中确定出第一目标设备；指示所述第一目标设备执行告警操作。
在一个示例性实施例中，在确定存在多个允许执行告警操作的第一设备的情况下，从多个所述第一设备中确定出第一目标设备包括：获取第一对象的第一位置信息，并确定出与所述第一位置信息所指示的位置相距小于预定距离的多个智能终端，将多个所述智能终端确定为多个所述第一设备，其中，所述智能终端为具备所述告警能力的终端；按照目标确定方式从多个所述第一设备中确定出所述第一目标设备。
在一个示例性实施例中，按照目标确定方式从多个所述第一设备中确定出所述第一目标设备包括以下至少之一：将多个所述第一设备中包括的处于空闲状态的第一设备确定为所述第一目标设备；将多个所述第一设备中包括的告警优先级最高的设备确定为所述第一目标设备；将多个所述第一设备中包括的能够检测到所述第一对象的目标区域的第一设备确定为所述第一目标设备。
根据本发明的又一个实施例，还提供了一种状态信息的确定装置，包括：第一获取模块，用于获取目标检测区域中包括的目标对象的检测信息，其中，所述检测信息包括所述目标对象的第一图像信息和第一音频信息；第二获取模块，用于获取通过对所述第一图像信息进行分析所确定的所述目标对象的第一特征信息，以及，获取通过对所述第一音频信息进行分析所确定的所述目标对象的第二特征信息；确定模块，用于对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息。
根据本发明的又一个实施例，还提供了一种智能家电，包括上述装置实施例中所述的状态信息的确定装置。
在一个示例性实施例中，所述智能家电包括以下至少之一：冰箱、电视、空调、洗衣机、加湿器、空气净化器、抽油烟机。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，可以获取目标检测区域中包括的目标对象的检测信息，其中，所述检测信息包括所述目标对象的第一图像信息和第一音频信息，进而获取通过对所述第一图像信息进行分析所确定的所述目标对象的第一特征信息以及获取通过对所述第一音频信息进行分析所确定的所述目标对象的第二特征信息，并对所述第一特征信息与所述第二特征信息进行融合，继而，可以基于融合结果确定所述目标对象的状态信息，采用本发明方法，可以快速的获取到第一特征信息和第二特征信息，并将第一特征信息与第二特征信息进行融合，从而实现了快速确定目标对象的状态信息，进一步保障了目标对象的安全。由此解决了相关技术中存在的家电设备部分部件的功能比较局限，从而造成资源的浪费的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的状态信息的确定方法的移动终端的硬件结构框图；
图2是根据本发明实施例的状态信息的确定方法的流程图；
图3是根据本发明具体实施例的流程图；
图4是根据本发明实施例的状态信息的确定的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种状态信息的确定方法。该状态信息的确定方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(Intelligence House)生态等全屋智能数字化控制应用场景。可选地，在本实施例中，上述状态信息的确定方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
在本实施例中提供了一种状态信息的确定方法，图2是根据本发明实施例的状态信息的确定的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取目标检测区域中包括的目标对象的检测信息，其中，所述检测信息包括所述目标对象的第一图像信息和第一音频信息；
步骤S204，获取通过对所述第一图像信息进行分析所确定的所述目标对象的第一特征信息，以及，获取通过对所述第一音频信息进行分析所确定的所述目标对象的第二特征信息；
步骤S206，对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息。
其中，上述步骤的执行主体可以是智能家电设备，例如，智能冰箱、电视、微波炉、抽油烟机等，或者是智能系统，或者是智能家电设备或智能系统中包括的控制器或者处理器，或者还可以是与智能家电设备或智能系统中独立设置的控制设备或者处理设备，或者还可以是其他的具备类似处理能力的处理设备或处理单元等。
在上述实施例中，上述目标对象可以包括但不限于：婴儿，老人，病人、宠物(例如，宠物狗、宠物猫、宠物猪等)，等等。
在上述实施例中，目标对象可以有多个，进而可以获取多个目标对象的第一图像信息和多个第一音频信息，进而可以同时对多个第一图像信息和对应的第一音频信息进行融合，以确定多个目标对象的状态信息，还可以根据获取到的多个第一图像信息和多个第一音频信息的先后顺序，将优先获取到的目标对象的第一图像信息和对应的第一音频信息进行融合，并基于融合结果确定该目标对象的状态信息，需要说明的是，上述融合操作的优先级举例说明仅是一个示例性实施例，上述融合操作的优先级并不仅限于上述举例。
在上述实施例中，获取目标检测区域中包括的目标对象的检测信息包括但不限于：在检测到所述目标检测区域中出现所述目标对象且出现时间超过预定阈值的情况下，获取所述目标对象在所述目标检测区域中的所述检测信息，在实际应用中，预定阈值是可以预先设定的值，可以设定为5秒、10秒、15秒等等，例如，当预定阈值设定为5秒时在检测到目标检测区域中出现目标对象且出现时间超过5秒的情况下，可以获取目标对象在目标检测区域中的检测信息，需要说明的是，上述预定阈值的设定仅是一个示例性实施例，预定阈值的设定可以根据实际应用情况进行调整。
通过本发明，可以获取目标检测区域中包括的目标对象的检测信息，其中，所述检测信息包括所述目标对象的第一图像信息和第一音频信息，进而获取通过对所述第一图像信息进行分析所确定的所述目标对象的第一特征信息以及获取通过对所述第一音频信息进行分析所确定的所述目标对象的第二特征信息，并对所述第一特征信息与所述第二特征信息进行融合，继而，可以基于融合结果确定所述目标对象的状态信息，采用本发明方法，可以快速的获取到第一特征信息和第二特征信息，并将第一特征信息与第二特征信息进行融合，从而实现了快速确定目标对象的状态信息，进一步保障了目标对象的安全。由此解决了相关技术中存在的家电设备部分部件的功能比较局限，从而造成资源的浪费的问题。
在一个示例性实施例中，获取通过对所述第一图像信息进行分析所确定的所述目标对象的第一特征信息，以及，获取通过对所述第一音频信息进行分析所确定的所述目标对象的第二特征信息包括以下至少之一:基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息；将所述第一图像信息发送给具备图像分析能力的第一边缘计算节点，以指示所述第一边缘计算节点对所述第一图像信息进行分析以确定所述第一特征信息，以及，将所述第一音频信息发送给具备音频分析能力的第二边缘计算节点，以指示所述第二边缘计算节点对所述第一音频信息进行分析以确定所述第二特征信息；将所述第一图像信息发送给具备图像分析能力的第一边缘计算节点，以指示所述第一边缘计算节点对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息；基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，将所述第一音频信息发送给具备音频分析能力的第二边缘计算节点，以指示所述第二边缘计算节点对所述第一音频信息进行分析以确定所述第二特征信息。在本实施例中，第一边缘计算节点可以有多个，进而可以采用多个第一边缘计算节点对第一图像进行分析，例如，可以采用多个第一边缘计算节点中包括的一个边缘计算节点对第一图像包括的目标对象的眼睛进行分析，进而确定出该眼睛的特征信息，也可以采用多个第一边缘计算节点中包括的另一个边缘计算节点对第一图像包括的目标对象的整体肢体动作进行分析，进而确定出该整体肢体动作的特征信息，此外，还可以采用多个第一边缘计算节点中包括的一个边缘计算节点对第一图像包括的目标对象的眼睛和整体肢体动作同时进行分析，进而确定出该眼睛和整体肢体动作的特征信息，需要说明的是上述第一边缘计算节点对目标对象的不同区域进行分析的举例说明仅是一个示例性说明。
在上述实施例中，第二边缘计算节点可以有多个，进而可以采用多个第二边缘计算节点都分析同一个音频，进而从分析得到的多个音频特征中选择更准确的第二特征信息，另外，还可以将一个音频进行分段，进而同时采用多个第二边缘计算节点分别分析每一段音频，从而可以快速获取第二特征信息。
在上述实施例中，各个边缘计算节点可以是家庭内的某些智能家电，还可以是楼宇或者小区内的计算设备或者服务器等等。
在一个示例性实施例中，基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息之后，所述方法还包括：将所述第一特征信息和所述第二特征信息发送给第三边缘计算节点，以指示所述第三边缘计算节点对所述第一特征信息以及所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息；接收所述第三边缘计算节点返回的所述目标对象的状态信息。在本实施例中，可以将多个第一特征信息和多个第二特征信息发送给第三边缘计算节点，第三边缘计算节点可以同时对多个第一特征信息和对应的第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息，第三边缘计算节点还可以根据接收到的多个第一特征信息和多个第二特征信息的先后顺序，将优先接收到的目标对象的第一特征信息和第二特征信息进行融合，并基于融合结果确定该目标对象的状态信息，另外，第三边缘计算节点可以有多个，进而可以将多个第一特征信息和多个第二特征信息发送给多个第三边缘计算节点，即采用多个第三边缘计算节点对多个目标对象的第一特征信息和第二特征信息进行融合，进而基于融合结果确定多个目标对象的状态信息，继而，可以快速的确定多个目标对象的状态信息，进一步保障多个目标对象的安全。
在一个示例性实施例中，对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息包括：确定所述第一特征信息的第一权重；确定所述第二特征信息的第二权重；对所述第一特征信息以及所述第二特征信息进行加权求和，得到目标求和结果；基于预先配置的求和结果与状态信息的对应关系，确定与所述目标求和结果对应的所述目标对象的状态信息。在本实施例中，第一特征信息以及第二特征信息均可以有多种类别，不同类别的第一特征信息以及第二特征信息进行加权求和的结果所对应的状态信息不一致，因此，可以预先为不同类别的第一特征信息以及第二特征信息进行加权求和的结果配置相对应的状态信息，进而基于预先配置的对应关系可以更精准确定出与目标求和结果对应的目标对象的状态信息。
在一个示例性实施例中，对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息之后，所述方法还包括：在基于所述目标对象的状态信息确定所述目标对象处于异常状态的情况下，执行告警操作。在本实施例中，目标对象的状态信息包括有表情和肢体动作，其中，表情可分为正常表情、痛苦表情、无助表情、高兴表情，肢体动作可分为正常动作、危险动作等，还可以根据肢体动作判断婴幼儿是否进入危险区域等。
在一个示例性实施例中，所述执行告警操作包括：在确定存在多个具备执行告警能力的第一设备的情况下，从多个所述第一设备中确定出第一目标设备；指示所述第一目标设备执行告警操作。在本实施例中，除了可以指示第一目标设备执行告警操作之外，还可以在终端(例如，手机、笔记本电脑，IPAD、台式电脑等)APP中推送告警消息，还可以通过智能语音设备(例如，智能语音机器人等)播报告警消息，等等。
在一个示例性实施例中，在确定存在多个允许执行告警操作的第一设备的情况下，从多个所述第一设备中确定出第一目标设备包括：获取第一对象的第一位置信息，并确定出与所述第一位置信息所指示的位置相距小于预定距离的多个智能终端，将多个所述智能终端确定为多个所述第一设备，其中，所述智能终端为具备所述告警能力的终端；按照目标确定方式从多个所述第一设备中确定出所述第一目标设备。在本实施例中，第一对象可以是婴幼儿的监护人，也可以是老人的子女或老伴，还可以是宠物的主人，等等，另外，预定距离是可以预先设定的，可以设定为50厘米，80厘米，1米，3米等等，例如，当预定距离设定为3米时，获取第一对象的第一位置信息，并确定出与所述第一位置信息所指示的位置相距小于3米的多个智能终端，将多个所述智能终端确定为多个所述第一设备，例如，当第一对象在卧室内，卧室内的电视、空调，加湿器的位置相距第一对象的位置小于3米，进而可以将该电视、空调、加湿器确定为第一设备，等等。
在一个示例性实施例中，按照目标确定方式从多个所述第一设备中确定出所述第一目标设备包括以下至少之一：将多个所述第一设备中包括的处于空闲状态的第一设备确定为所述第一目标设备；将多个所述第一设备中包括的告警优先级最高的设备确定为所述第一目标设备；将多个所述第一设备中包括的能够检测到所述第一对象的目标区域的第一设备确定为所述第一目标设备。在本实施例中，除了按照上述目标确定方式从多个所述第一设备中确定出所述第一目标设备之外，还可以将多个所述第一设备中包括的处于使用状态的第一设备确定为所述第一目标设备，还可以预先指定至少一个所述第一设备为所述第一目标设备，等等。
在一个示例性实施例中，所述智能家电包括以下至少之一：冰箱、电视、空调、洗衣机、加湿器、空气净化器、抽油烟机。在本实施例中，所述智能家电除了冰箱、电视、空调、洗衣机、加湿器、空气净化器、抽油烟机之外，还包括吸尘器、扫地机、马桶、音响等等。
显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。在实际应用中前述的图像和音频的分析也都可以由同一个设备(例如，冰箱)来执行，下面结合实施例对本发明进行具体说明。
图3是根据本发明具体实施例的流程图，如图3所示，利用冰箱智能显示屏上的屏端摄像头和屏端麦克风分别进行拍摄图像和录制音频，再采用深度学习算法提取屏端摄像头所拍摄的图像的人脸特征信息和人体特征信息，采用深度学习算法提取屏端麦克风所录制的音频的音频特征信息，使用多模态特征融合算法将人脸特征信息、人体特征信息以及音频特征信息进行融合，最后利用softmax层，得到最终的分类信息，该流程包括以下步骤：
S302，冰箱大屏；
S304，使用屏端摄像头拍摄照片，同时使用屏端麦克风录制音频；
S306，采用人脸检测算法检测图片中的人脸；
S308，对检测到的人脸表情进行识别和分类，可分为正常表情、痛苦表情、无助表情、高兴表情等；
S310，对图片中的人体进行检测；
S312，对检测到的人体姿态进行分类，可分为正常动作、危险动作等；
S314，对图片中的人体进行检测；
S316，对检测到的人体进行越界识别，界定危险区域，判断婴幼儿即将进入危险区域或者进行危险动作，例如，爬高等；
S318，对S304步骤中录制到的音频进行检测；
S320，对检测到的音频进行识别，根据婴儿哭声的不同，判断其目前是疾病还是饥饿等情况；
S322，将得到的人脸特征、人体特征和音频特征进行多模态融合，得到最终的识别结果；
S324，将识别结果输出；
S326，将获取到的识别结果推送到手机APP上进行报警。
由前述实施例可知，本发明利用图像、视频、声音等多模态信息，通过表情检测、动作识别、声音识别等技术手段，实现对婴幼儿紧急情况的自动检测和报警。通过表情识别检测出目标人物的痛苦、无助等需要救护的表情；通过姿态识别和越界检测，识别婴儿进行危险动作和跃出安全区的情况，进行通知家属等相应的处理。
还需要说明的是，独居老人在没有任何人照顾的情况下，在自己的住所内，摔倒或突发疾病时，冰箱可以自动检测特定的表情、动作，以及在老人发出呼救时，可以自动识别呼救信息，进而系统可以自动拨打急救电话或者报警。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种状态信息的确定装置，图4是根据本发明实施例的状态信息的确定装置的结构框图，如图4所示，该装置包括：
第一获取模块42，用于获取目标检测区域中包括的目标对象的检测信息，其中，所述检测信息包括所述目标对象的第一图像信息和第一音频信息；
第二获取模块44，用于获取通过对所述第一图像信息进行分析所确定的所述目标对象的第一特征信息，以及，获取通过对所述第一音频信息进行分析所确定的所述目标对象的第二特征信息；
确定模块46，用于对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息。
在一个可选的实施例中，上述第二获取模块44包括以下至少之一：第一确定单元，用于基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息；第二确定单元，用于将所述第一图像信息发送给具备图像分析能力的第一边缘计算节点，以指示所述第一边缘计算节点对所述第一图像信息进行分析以确定所述第一特征信息，以及，将所述第一音频信息发送给具备音频分析能力的第二边缘计算节点，以指示所述第二边缘计算节点对所述第一音频信息进行分析以确定所述第二特征信息；第三确定单元，用于将所述第一图像信息发送给具备图像分析能力的第一边缘计算节点，以指示所述第一边缘计算节点对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息；第四确定单元，用于基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，将所述第一音频信息发送给具备音频分析能力的第二边缘计算节点，以指示所述第二边缘计算节点对所述第一音频信息进行分析以确定所述第二特征信息。
在一个可选的实施例中，上述装置还包括：融合模块，用于基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息之后，将所述第一特征信息和所述第二特征信息发送给第三边缘计算节点，以指示所述第三边缘计算节点对所述第一特征信息以及所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息；接收模块，用于接收所述第三边缘计算节点返回的所述目标对象的状态信息。
在一个可选的实施例中，上述确定模块46包括：第五确定单元，用于确定所述第一特征信息的第一权重；第六确定单元，用于确定所述第二特征信息的第二权重；处理单元，用于对所述第一特征信息以及所述第二特征信息进行加权求和，得到目标求和结果；第七确定单元，用于基于预先配置的求和结果与状态信息的对应关系，确定与所述目标求和结果对应的所述目标对象的状态信息。
在一个可选的实施例中，上述装置还包括：执行模块，用于对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息之后，在基于所述目标对象的状态信息确定所述目标对象处于异常状态的情况下，执行告警操作。
在一个可选的实施例中，上述执行模块包括，第八确定单元，用于在确定存在多个具备执行告警能力的第一设备的情况下，从多个所述第一设备中确定出第一目标设备；执行单元，用于指示所述第一目标设备执行告警操作。
在一个可选的实施例中，上述第八确定单元包括：第一获取子单元，用于获取第一对象的第一位置信息，并确定出与所述第一位置信息所指示的位置相距小于预定距离的多个智能终端，将多个所述智能终端确定为多个所述第一设备，其中，所述智能终端为具备所述告警能力的终端；第一确定子单元，用于按照目标确定方式从多个所述第一设备中确定出所述第一目标设备。
在一个可选的实施例中，上述第一确定子单元包括以下至少之一：第一确定子模块，用于将多个所述第一设备中包括的处于空闲状态的第一设备确定为所述第一目标设备；第二确定子模块，用于将多个所述第一设备中包括的告警优先级最高的设备确定为所述第一目标设备；第三确定子模块，用于将多个所述第一设备中包括的能够检测到所述第一对象的目标区域的第一设备确定为所述第一目标设备。
在本实施例中还提供了一种智能家电，包括上述装置实施例中所述的状态信息的确定装置。
在一个可选的实施例中，所述智能家电包括以下至少之一：冰箱、电视、空调、洗衣机、加湿器、空气净化器、抽油烟机。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
通过本发明提供的一种状态信息的确定方法，通过冰箱的屏端摄像头拍摄的图片以及屏端麦克风检测音频，从而对已拍摄图片和已录制的音频进行特征提取，进而对提取的特征进行多模态特征融合，基于融合结果确定目标对象是否需要照顾及存在危险，并及时将确定结果发送给可以执行告警操作的设备或向终端APP推送告警消息并报警等，继而，可以快速的告知监护人宝宝需要被照顾或宝宝进入了危险区域等，帮助监护人看护好宝宝。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种状态信息的确定方法，其特征在于，包括：
获取目标检测区域中包括的目标对象的检测信息，其中，所述检测信息包括所述目标对象的第一图像信息和第一音频信息；
获取通过对所述第一图像信息进行分析所确定的所述目标对象的第一特征信息，以及，获取通过对所述第一音频信息进行分析所确定的所述目标对象的第二特征信息；
对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息。
2.根据权利要求1所述的方法，其特征在于，获取通过对所述第一图像信息进行分析所确定的所述目标对象的第一特征信息，以及，获取通过对所述第一音频信息进行分析所确定的所述目标对象的第二特征信息包括以下至少之一:
基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息；
将所述第一图像信息发送给具备图像分析能力的第一边缘计算节点，以指示所述第一边缘计算节点对所述第一图像信息进行分析以确定所述第一特征信息，以及，将所述第一音频信息发送给具备音频分析能力的第二边缘计算节点，以指示所述第二边缘计算节点对所述第一音频信息进行分析以确定所述第二特征信息；
将所述第一图像信息发送给具备图像分析能力的第一边缘计算节点，以指示所述第一边缘计算节点对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息；
基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，将所述第一音频信息发送给具备音频分析能力的第二边缘计算节点，以指示所述第二边缘计算节点对所述第一音频信息进行分析以确定所述第二特征信息。
3.根据权利要求2所述的方法，其特征在于，基于自身的图像分析能力对所述第一图像信息进行分析以确定所述第一特征信息，以及，基于自身的音频分析能力对所述第一音频信息进行分析以确定所述第二特征信息之后，所述方法还包括：
将所述第一特征信息和所述第二特征信息发送给第三边缘计算节点，以指示所述第三边缘计算节点对所述第一特征信息以及所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息；
接收所述第三边缘计算节点返回的所述目标对象的状态信息。
4.根据权利要求1所述的方法，其特征在于，对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息包括：
确定所述第一特征信息的第一权重；
确定所述第二特征信息的第二权重；
对所述第一特征信息以及所述第二特征信息进行加权求和，得到目标求和结果；
基于预先配置的求和结果与状态信息的对应关系，确定与所述目标求和结果对应的所述目标对象的状态信息。
5.根据权利要求1所述的方法，其特征在于，对所述第一特征信息与所述第二特征信息进行融合，并基于融合结果确定所述目标对象的状态信息之后，所述方法还包括：
在基于所述目标对象的状态信息确定所述目标对象处于异常状态的情况下，执行告警操作。
6.根据权利要求5所述的方法，其特征在于，所述执行告警操作包括：
在确定存在多个具备执行告警能力的第一设备的情况下，从多个所述第一设备中确定出第一目标设备；
指示所述第一目标设备执行告警操作。
7.根据权利要求6所述的方法，在确定存在多个允许执行告警操作的第一设备的情况下，从多个所述第一设备中确定出第一目标设备包括：
获取第一对象的第一位置信息，并确定出与所述第一位置信息所指示的位置相距小于预定距离的多个智能终端，将多个所述智能终端确定为多个所述第一设备，其中，所述智能终端为具备所述告警能力的终端；
按照目标确定方式从多个所述第一设备中确定出所述第一目标设备。
8.根据权利要求7所述的方法，按照目标确定方式从多个所述第一设备中确定出所述第一目标设备包括以下至少之一：
将多个所述第一设备中包括的处于空闲状态的第一设备确定为所述第一目标设备；
将多个所述第一设备中包括的告警优先级最高的设备确定为所述第一目标设备；
将多个所述第一设备中包括的能够检测到所述第一对象的目标区域的第一设备确定为所述第一目标设备。
9.一种计算机可读存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至8中任一项所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至8中任一项所述的方法。
CN202210335893.XA 2022-03-31 2022-03-31 状态信息的确定方法、装置、存储介质及电子装置 Pending CN114782704A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210335893.XA CN114782704A (zh) 2022-03-31 2022-03-31 状态信息的确定方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210335893.XA CN114782704A (zh) 2022-03-31 2022-03-31 状态信息的确定方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN114782704A true CN114782704A (zh) 2022-07-22

Family

ID=82427718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210335893.XA Pending CN114782704A (zh) 2022-03-31 2022-03-31 状态信息的确定方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN114782704A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117809002A (zh) * 2024-02-29 2024-04-02 成都理工大学 一种基于人脸表情识别与动作捕捉的虚拟现实同步方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117809002A (zh) * 2024-02-29 2024-04-02 成都理工大学 一种基于人脸表情识别与动作捕捉的虚拟现实同步方法
CN117809002B (zh) * 2024-02-29 2024-05-14 成都理工大学 一种基于人脸表情识别与动作捕捉的虚拟现实同步方法

Similar Documents

Publication Publication Date Title
US11363999B2 (en) Voice controlled assistance for monitoring adverse events of a user and/or coordinating emergency actions such as caregiver communication
US10446007B2 (en) Watching system and management server
CN105308657A (zh) 安全和/或监测设备及系统
JP6720909B2 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
JP6398460B2 (ja) 制御方法、制御装置および制御プログラム
CN114338585A (zh) 消息推送方法、装置、存储介质及电子装置
CN114782704A (zh) 状态信息的确定方法、装置、存储介质及电子装置
EP4330931A1 (en) Systems and methods for on-device person recognition and provision of intelligent alerts
US20170109586A1 (en) Sensitivity adjustment for computer-vision triggered notifications
JP6142975B1 (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
WO2018168604A1 (en) Method, system, storage medium and computer system for determining fall response of subject
KR20100075272A (ko) 로봇을 이용한 영유아 돌보기 방법
US20210383129A1 (en) System and method for recognizing unattended humans who require supervision
JP6950681B2 (ja) 見守りシステム
JP2023524953A (ja) モノのインターネットに基づく動作関連付け方法、電子デバイス及び記憶媒体
CN112188252A (zh) 基于电视提醒的老人陪护方法、装置及可读存储介质
WO2023089892A1 (ja) 推定方法、推定システムおよびプログラム
CN116343420A (zh) 告警处理方法、装置、存储介质及电子装置
CN111766786B (zh) 一种智能控制方法及控制器
CN117012010A (zh) 家电设备的控制方法及装置、存储介质及电子装置
JP7465644B2 (ja) 監視システム、及び監視方法
CN116189364A (zh) 提醒事件的发送方法及装置、存储介质及电子装置
CN116401643A (zh) 异常行为处理方法、存储介质及电子装置
CN117459561A (zh) 一种基于智能家居和智慧社区的服务方法及装置
JP2021196937A (ja) 演算装置、制御プログラム、制御システム、および演算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination