CN113269828B - 物品查找方法、装置、空调设备和存储介质 - Google Patents

物品查找方法、装置、空调设备和存储介质 Download PDF

Info

Publication number
CN113269828B
CN113269828B CN202110447054.2A CN202110447054A CN113269828B CN 113269828 B CN113269828 B CN 113269828B CN 202110447054 A CN202110447054 A CN 202110447054A CN 113269828 B CN113269828 B CN 113269828B
Authority
CN
China
Prior art keywords
information
article
item
image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110447054.2A
Other languages
English (en)
Other versions
CN113269828A (zh
Inventor
郭蕾
郝本华
刘庆赟
李红
罗欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Air Conditioner Gen Corp Ltd
Qingdao Haier Air Conditioning Electric Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Air Conditioner Gen Corp Ltd
Qingdao Haier Air Conditioning Electric Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Air Conditioner Gen Corp Ltd, Qingdao Haier Air Conditioning Electric Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Air Conditioner Gen Corp Ltd
Priority to CN202110447054.2A priority Critical patent/CN113269828B/zh
Publication of CN113269828A publication Critical patent/CN113269828A/zh
Priority to PCT/CN2021/132758 priority patent/WO2022227526A1/zh
Application granted granted Critical
Publication of CN113269828B publication Critical patent/CN113269828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种物品查找方法、装置、空调设备和存储介质,其中方法包括:接收物品查找请求,确定所述物品查找请求中的物品描述信息;基于所述物品描述信息和物品信息库,确定目标物品的位置信息,所述物品信息库包括多个候选物品的属性信息和位置信息,所述目标物品的属性信息与所述物品描述信息相匹配,所述物品信息库是对监控区域的图像进行目标检测确定的;返回所述目标物品的位置信息,解决了查找物品受限于须知物品位置的问题,实现了对物品的快速、准确的查找,为用户查找物品节省了大量时间。

Description

物品查找方法、装置、空调设备和存储介质
技术领域
本发明涉及家电技术领域,尤其涉及一种物品查找方法、装置、空调设备和存储介质。
背景技术
随着生活水平的提高,家中物品日益增多,物品的摆放较为混乱,导致许多物品在临时需要使用时难以被找到,人们需要从所有的物品中翻找出需要使用的物品,这不仅需要花费大量的时间,还会使得翻找后的场面混乱不堪。随着家中物品的增加,许多物品在日常生活中的使用频率并不高,但人们很少对这类物品进行统一的整理归纳,导致了人们日常生活的空间被各种使用率低下的物品占据,空间有效利用率较低,也浪费了物品的使用价值。
在日常生活中,多采用多功能储物柜存储物品,多功能储物柜采用分层式设计,将物品放置于其中时,可以对物品进行分类使物品摆放整齐,多功能储物柜设置有一个控制箱,控制箱与外界电源相连,控制箱连接执行机构,管理人员可根据需求在控制箱内输入所要取的物品的位置,控制箱发送控制指令至执行机构,执行机构在接收到控制指令后抓取所输位置的物品,节约翻找物品的时间。
但是,多功能储物柜的存储空间有限,且物品太多,人们通常很难记住物品所处的位置,所以多功能储物柜在存储物品,方便人们找寻物品方面仍然存在缺陷,因此,如何改善当前状况成为了亟待解决的问题。
发明内容
本发明提供一种物品查找方法、装置、空调设备和存储介质,用以解决现有技术中查找物品受限于须知物品位置的缺陷,实现了对物品的快速、准确的查找,为用户查找物品节省了大量时间。
本发明提供一种物品查找方法,包括:
接收物品查找请求,确定所述物品查找请求中的物品描述信息;
基于所述物品描述信息和物品信息库,确定目标物品的位置信息,所述物品信息库包括多个候选物品的属性信息和位置信息,所述目标物品的属性信息与所述物品描述信息相匹配,所述物品信息库是对监控区域的图像进行目标检测确定的;
返回所述目标物品的位置信息。
根据本发明提供一种的物品查找方法,还包括:
确定所述物品信息库中各候选物品的使用信息,所述使用信息是对所述图像中的物品与人员之间的关系进行检测得到的;
基于所述各候选物品的使用信息,生成断舍离物品清单并发送。
根据本发明提供一种的物品查找方法,所述确定所述物品信息库中各候选物品的使用信息,包括:
对所述图像进行人员检测;
若检测到所述图像中存在人员,则基于所述人员在图像中的位置信息,以及任一候选物品的位置信息,对所述人员和所述任一候选物品进行使用关系检测;
基于检测所得的使用关系结果,更新所述任一候选物品的使用信息。
根据本发明提供一种的物品查找方法,所述基于所述人员在图像中的位置信息,以及任一候选物品的位置信息,对所述人员和所述任一候选物品进行使用关系检测,包括:
将所述图像,以及所述人员在图像中的位置信息和任一候选物品的位置信息输入至关系检测模型中,得到所述关系检测模型输出的使用关系结果;
所述关系检测模型是基于样本图像以及其中的样本人员和样本物品的位置信息、使用关系标签训练得到的。
根据本发明提供一种的物品查找方法,所述物品信息库是基于如下步骤确定的:
获取所述监控区域的图像;
将所述图像输入至目标检测模型,得到所述目标检测模型输出的各检测物品的属性信息和位置信息,所述目标检测模型是基于样本图像以及所述样本图像中各样本物品的属性信息和位置信息训练得到的;
基于各检测物品的属性信息和位置信息,更新所述物品信息库。
根据本发明提供一种的物品查找方法,所述基于各检测物品的属性信息和位置信息,更新所述物品信息库,包括:
若所述物品信息库中存在与任一检测物品的属性信息相匹配而位置信息不同的候选物品,则基于所述任一检测物品的位置信息,更新与所述任一检测物品的属性信息相匹配的候选物品的位置信息;
若所述物品信息库中不存在与任一检测物品的属性信息相匹配的候选物品,则将所述任一检测物品的属性信息和位置信息存入所述物品信息库。
根据本发明提供一种的物品查找方法,所述图像是基于空调设备内置的图像采集设备拍摄的。
本发明还提供的一种物品查找装置,包括:
接收单元,用于接收物品查找请求;
确定单元,用于确定所述物品查找请求中的物品描述信息;还用于基于所述物品描述信息和物品信息库,确定目标物品的位置信息,所述物品信息库包括多个候选物品的属性信息和位置信息,所述目标物品的属性信息与所述物品描述信息相匹配,
检测单元,用于对监控区域的图像进行目标检测,确定所述物品信息库;
返回单元,用于返回所述目标物品的位置信息。
本发明还提供一种空调设备,包括图像采集设备,所述图像采集设备用于采集监控区域的图像,并传输至物品查找装置。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述物品查找方法的步骤。
本发明提供的物品查找方法、装置、空调设备和存储介质,通过对监控区域的图像进行目标检测,构建物品信息库;将物品描述信息与物品信息库的进行匹配,根据匹配结果确定物品的位置信息,解决了查找物品受限于须知物品位置的问题,实现了对物品的快速、准确的查找,为用户查找物品节省了大量时间。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的物品查找方法的流程示意图;
图2是本发明提供的物品查找装置的结构示意图;
图3是本发明提供的空调设备的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明提供的物品查找方法的流程示意图,如图1所示,该方法的执行主体可以是室内智能联网下的空调设备内置的处理器,也可以是直接控制各个智能设备的服务端。此处的空调设备可以是挂壁式空调、立柜式空调、窗式空调、吊顶式空调等,以下以处理器为例进行说明,该方法包括:
步骤110,接收物品查找请求,确定所述物品查找请求中的物品描述信息。
此处,物品查找请求是用户通过用户端设备发出的查找某一物品的请求,此处用户端设备可以是智能手机、平板电脑,还可以是其他智能数码产品,本发明实施例对此不作具体限定。物品描述信息为用户对需查找物品的描述。
具体地,当用户需寻找某一物品却难以找到时,可通过用户端设备登录设备上的软件,在软件上发送物品查找请求,物品查找请求中包括需查找物品的相关信息,即物品描述信息。物品描述信息即物品的属性信息,物品的属性信息可以是物品的名称、类别,也可以是物品的尺寸、形状,还可以是物品的颜色、用途,本发明实施例对此不做具体限定。
当接收到用户端设备发出的物品查找请求后,处理器从物品查找请求中确定需查找物品的物品描述信息。确定物品查找请求中携带的物品描述信息后,执行步骤120。
步骤120,基于所述物品描述信息和物品信息库,确定目标物品的位置信息,所述物品信息库包括多个候选物品的属性信息和位置信息,所述目标物品的属性信息与所述物品描述信息相匹配,所述物品信息库是对监控区域的图像进行目标检测确定的。
此处的监控区域即需进行图像采集的区域,具体可以是客厅、厨房,也可以是卧室、储物间,本发明实施例对此不作具体限定。图像采集设备的安装位置可以是监控区域的墙壁上,也可以是监控区域的天花板上,本发明实施例对此不作具体限定。监控区域可以是一个也可以是多个,在控制区域为多个的情况下,需要对各个监控区域进行图像采集。
具体地,用户可通过用户端设备登录软件,在软件上开启防遗忘功能,防遗忘功能开启后,可对通过图像采集设备针对监控区域进行图像采集。在此基础上,处理器对采集的图像进行目标检测,获取检测结果。即对图像中各物品进行检测,获取图像中各物品的属性信息和位置信息,根据各物品的属性信息和位置信息构建物品信息库。物品信息库包括多个候选物品的属性信息和位置信息,多个候选物品即图像中的各物品。
需要说明的是,当有重要物品需要特殊记忆时,用户还可通过用户端设备登录软件开启特殊记忆功能,特殊记忆功能开启后可对监控区域内该重要物品进行特殊图像采集。
确定物品描述信息后,处理器根据物品描述信息和物品信息库,判断物品信息库中是否存在与物品查找请求中物品描述信息相匹配的属性信息。
若存在与物品描述信息相匹配的属性信息,则将该属性信息对应的候选物品作为目标物品,即目标物品的属性信息与物品查找请求中携带的物品描述信息相匹配。然后从物品信息库中确定该候选物品的位置信息,即目标物品的位置信息。确定目标物品的位置信息后,执行步骤130。
例如,用户需查找一个保温杯,用户发送的物品查找请求中携带的物品描述信息可以是需查找物品的名称为保温杯,需查找物品的颜色为蓝色,需查找物品的形状为圆柱形,需查找物品的分类为生活用品。物品信息库中各候选物品可以包括书本、钢笔、纸巾、箱子、衣服、保温杯等。其中,书本的属性信息可以是名称为高等数学,颜色为红白相间,形状为长方体,分类为书籍;纸巾的属性信息可以是名称为手帕纸,颜色为蓝色,形状为长方体,分类为生活用品;保温杯的名称为保温杯,颜色为蓝色,形状为圆柱形,分类为生活用品。处理器接收到带有物品描述信息的物品查找请求后,将物品信息库中各候选物品的属性信息与物品描述信息进行匹配,确定物品信息库中保温杯的属性信息与物品描述信息相匹配,即确定物品信息库中的保温杯为需查找物品,然后从物品信息库中确定保温杯的位置信息。
相应地,若物品信息库中不存在与物品描述信息相匹配的属性信息,则确定物品描述信息对应的需查找物品为新增物品,并将物品描述信息存入物品信息库,以便后续对监控区域的图像进行目标检测,检测到图像中存在与物品描述信息相匹配的属性信息时,将属性信息对应的物品确定为需查找物品。从图像中获取需查找物品的位置信息,并将位置信息存入物品信息库,与物品描述信息共同构成需查找物品的完整信息。
步骤130,返回所述目标物品的位置信息。
具体地,处理器确定目标物品的位置信息后,将目标物品的位置信息返回至发出物品查找请求的用户端设备,以供用户通过用户端设备获知需查找物品的位置信息。用户获知需查找物品的位置信息后,可直接从位置信息描述的位置处,找到需查找物品。
本发明提供的物品查找方法,通过对监控区域的图像进行目标检测,构建物品信息库;将物品描述信息与物品信息库的进行匹配,根据匹配结果确定物品的位置信息,解决了查找物品受限于须知物品位置的问题,实现了对物品的快速、准确的查找,为用户查找物品节省了大量时间。
基于上述实施例,该方法还包括:确定所述物品信息库中各候选物品的使用信息,所述使用信息是对所述图像中的物品与人员之间的关系进行检测得到的;
基于所述各候选物品的使用信息,生成断舍离物品清单并发送。
此处的物品的使用信息为确定物品被使用时处理器记录的信息。物品的使用信息可以是物品的历次使用时间,也可以是物品的是使用频率,本发明实施例对此不作具体限定。
具体地,构建完成物品信息库后,还需对物品信息库中各候选物品的使用信息进行记录。记录各候选物品的使用信息的过程包括对监控区域的图像中任一物品与人员之间的关系进行检测,根据检测结果判断该物品是否被使用;若判定该物品被使用,则更新该物品的使用信息。
相应地,若根据检测结果判断该物品未被使用,则不对该物品的使用信息进行更新,或者在距离上次使用该物品预设时长之后,可以清空该物品的使用信息。
进一步地,物品信息库中各候选物品的使用信息记录完成后,根据各候选物品的使用信息,生成断舍离物品清单,并将生成的断舍离清单发送至用户端设备,以供用户通过用户端设备确认是否舍弃断舍离清单内的各物品。此处的断舍离清单是处理器根据物品信息库中各候选物品的使用信息确定的可以舍弃的候选物品的清单。根据各候选物品的使用信息,生成断舍离物品清单的方式有多种。
例如,根据物品信息库中各候选物品的使用信息,确定各候选物品在预设时间内是否被使用,若任一物品在预设时间内未被使用,则表明用户已经一段时间未使用该物品,可将该物品列入断舍离清单,并将断舍离清单发送至用户端设备,以供用户通过用户端设备确认是否舍弃断舍离清单内的各物品。
若确定任一候选物品在预设时间内被使用,则表明用户在一段时间内使用过该物品,不用将该物品列入断舍离清单。
需要说明的是,预设时间是用户根据自身情况通过用户端设备预先设定的时间,或是处理器在被制造时,默认的时间。预设时间可以是三个月、四个月,也可以是半年、一年,本发明实施例对此不作具体限定。
又例如,根据物品信息库中各候选物品的使用信息,确定各候选物品在预设时间内的使用次数,若任一物品在预设时间内的使用次数小于预设次数,则表明用户未经常使用该物品,该物品被使用的频率较低,可将该物品列入断舍离清单,并将断舍离清单发送至用户端设备,以供用户通过用户端设备确认是否舍弃断舍离清单内的各物品。
若任一物品在预设时间内的使用次数大于等于预设次数,则表明用户经常使用该物品,该物品被使用的频率较高,无需将该物品列入断舍离清单。
需要说明的是,预设次数是用户根据自身情况通过用户端设备和预设时间预先设定的次数,或是处理器在被制造时,默认的与预设时间匹配的次数。预设次数可以是两次、三次,也可以是五次、十次,本发明实施例对此不作具体限定。
基于上述实施例,生成断舍离物品清单并发送,之后还包括:
用户接收到处理器发送的断舍离清单,根据自身需求、物品价值和占用空间,对断舍离清单内各物品进行确认,确认是否舍弃断舍离清单内的各物品。若用户确认舍弃断舍离清单内任一物品,则可通过用户端设备返回断舍离清单内确认进行断舍离的物品。
若用户确认无需舍弃断舍离清单内各物品,则可通过用户端设备返回无需舍弃断舍离清单内各物品的指示,或通过用户端设备将断舍离清单内各物品移出断舍离清单。
进一步地,处理器接收到用户基于断舍离清单返回的确认进行断舍离的物品后,根据确认进行断舍离的物品的价值、占用空间等信息,生成断舍离方案,并将生成的断舍离方案发送至用户端设备,以供用户通过用户端设备选择确认进行断舍离的断舍离方案。
基于上述实施例,所述确定所述物品信息库中各候选物品的使用信息,包括:
对所述图像进行人员检测;
若检测到所述图像中存在人员,则基于所述人员在图像中的位置信息,以及任一候选物品的位置信息,对所述人员和该候选物品进行使用关系检测;
基于检测所得的使用关系结果,更新该候选物品的使用信息。
具体地,对监控区域的图像进行人员检测,检测监控区域的图像中是否存在人员。若检测到监控区域的图像中存在人员,则从图像中获取人员的位置信息。根据人员在图像中的位置信息以及物品信息库中任一候选物品的位置信息,对人员和该候选物品进行使用关系检测,获取使用关系结果。此处的使用关系检测为检测人员是否使用该候选物品,若确认使用该候选物品,则记录该候选物品的使用信息。
进一步地,根据检测获取的使用关系结果,即记录的该候选物品的使用信息,判断物品信息库中该候选物品的使用信息中是否存在记录的使用信息,若不存在,则对物品信息库中该候选物品的使用信息进行更新,即将记录的该候选物品的使用信息添加至物品信息库中该候选物品的使用信息中。
若物品信息库中该候选物品的使用信息中存在记录的使用信息,则无需对物品信息库中该候选物品的使用信息进行更新。
基于上述实施例,所述基于所述人员在图像中的位置信息,以及任一候选物品的位置信息,对所述人员和该候选物品进行使用关系检测,包括:
将所述图像,以及所述人员在图像中的位置信息和任一候选物品的位置信息输入至关系检测模型中,得到所述关系检测模型输出的使用关系结果;
所述关系检测模型是基于样本图像以及其中的样本人员和样本物品的位置信息、使用关系标签训练得到的。
具体地,对监控区域进行样本图像采集,对样本图像进行目标检测和人员检测,获取样本图像中的样本人员的位置信息和样本物品的位置信息。此处的使用关系标签为已知的图像中人员与候选物品的使用关系。
关系检测模型进行训练的过程如下:将样本图像、样本图像中的样本人员的位置信息和样本图像中的样本物品的位置信息输入至关系检测模型,获取关系检测模型输出的使用关系结果,将输出的使用关系结果与使用关系标签进行对比,根据对比结果第一次调整关系检测模型的参数;再将样本图像、样本图像中的样本人员的位置信息和样本图像中的样本物品的位置信息输入至第一次调整参数后的关系检测模型,获取第一次调整参数后的关系检测模型输出的使用关系结果,并将输出的使用关系结果与使用关系标签进行对比,根据对比结果第二次调整关系检测模型的参数;重复上述过程,直至关系检测模型输出的使用关系结果与使用关系标签一致,结束训练,获得训练好的关系检测模型。
将监控区域的图像,以及人员在图像中的位置信息和物品信息库中任一候选物品的位置信息输入至训练好的关系检测模型中,获取关系检测模型输出的使用关系结果。根据关系检测模型输出的使用关系结果,对物品信息库中该候选物品的使用信息进行更新。
基于上述实施例,所述物品信息库是基于如下步骤确定的:
获取所述监控区域的图像;
将所述图像输入至目标检测模型,得到所述目标检测模型输出的各检测物品的属性信息和位置信息,所述目标检测模型是基于样本图像以及所述样本图像中各样本物品的属性信息和位置信息训练得到的;
基于各检测物品的属性信息和位置信息,更新所述物品信息库。
具体地,目标检测模型进行训练的过程如下:将样本图像输入至目标检测模型,获取目标检测模型输出的各检测物品的属性信息和位置信息,将输出的各检测物品的属性信息和位置信息与样本图像中各样本物品的属性信息和位置信息进行对比,根据对比结果第一次调整目标检测模型的参数;再将样本图像输入至第一次调整参数后的目标检测模型,获取第一次调整参数后的目标检测模型输出的各检测物品的属性信息和位置信息,并将输出的各检测物品的属性信息和位置信息与样本图像中各样本物品的属性信息和位置信息进行对比,根据对比结果第二次调整目标检测模型的参数;重复上述过程,直至目标检测模型输出的各检测物品的属性信息和位置信息与样本图像中各样本物品的属性信息和位置信息一致,结束训练,获得训练好的目标检测模型。
将获取的监控区域的图像输入至训练好的目标检测模型中,获取目标检测模型输出的各检测物品的属性信息和位置信息。根据关系检测模型输出的各检测物品的属性信息和位置信息,对物品信息库进行更新。
基于上述实施例,所述基于各检测物品的属性信息和位置信息,更新所述物品信息库,包括:
若所述物品信息库中存在与任一检测物品的属性信息相匹配而位置信息不同的候选物品,则基于该检测物品的位置信息,更新与该检测物品的属性信息相匹配的候选物品的位置信息;
若所述物品信息库中不存在与任一检测物品的属性信息相匹配的候选物品,则将该检测物品的属性信息和位置信息存入所述物品信息库。
具体地,根据关系检测模型输出的各检测物品的属性信息和位置信息,判断物品信息库中是否存在与任一检测物品的属性信息相匹配的候选物品。若存在与该检测物品的属性信息相匹配的候选物品,即该候选物品与该检测物品为同一物品,则判断该候选物品的位置信息与该检测物品的位置信息是否相同,即判断物品信息库中该候选物品的位置是否发生了变化;若该候选物品的位置信息与该检测物品的位置信息不同,即确定该候选物品的位置发生了变化,则根据该检测物品的位置信息,对物品信息库中与该候选物品的位置信息进行更新,则将物品信息库中该候选物品的位置信息更新为该检测物品的位置信息。
若物品信息库中存在与任一检测物品的属性信息相匹配的候选物品,且该候选物品的位置信息与该检测物品的位置信息相同,即该检测物品的属性信息和位置信息分别与物品信息库中该候选物品的属性信息和位置信息相同,则无需对物品信息库中该候选物品的位置信息进行更新。
相应地,若物品信息库中不存在与该检测物品的属性信息相匹配的候选物品,则表明该检测物品为控制区域内新增的物品,可将该检测物品的属性信息和位置信息存入物品信息库。
基于上述实施例,所述图像是基于空调设备内置的图像采集设备拍摄的。
具体地,图像采集设备设置于空调设备的内部,图像采集设备对监控区域进行图像采集。需要说明的是,图像采集设备对监控区域进行图像采集的周期可以是固定的,可以是变化的。用户可以根据自身需求通过用户端设备对图像采集设备拍摄图像的周期进行设定。此处的图像采集设备可以是摄像头,也可以是扫描仪,本发明实施例对此不作具体限定。
下面对本发明提供的物品查找装置进行描述,下文描述的物品查找装置与上文描述的物品查找方法可相互对应参照。
图2是本发明提供的空气调节控制装置的结构示意图。如图2所示,该装置包括:
接收单元210,用于接收物品查找请求;
确定单元220,用于确定所述物品查找请求中的物品描述信息;还用于基于所述物品描述信息和物品信息库,确定目标物品的位置信息,所述物品信息库包括多个候选物品的属性信息和位置信息,所述目标物品的属性信息与所述物品描述信息相匹配,
检测单元230,用于对监控区域的图像进行目标检测,确定所述物品信息库;
返回单元240,用于返回所述目标物品的位置信息。
本发明提供的物品查找装置,通过对监控区域的图像进行目标检测,构建物品信息库;将物品描述信息与物品信息库的进行匹配,根据匹配结果确定物品的位置信息,解决了查找物品受限于须知物品位置的问题,实现了对物品的快速、准确的查找,为用户查找物品节省了大量时间。
基于上述实施例,确定单元220用于:
确定所述物品信息库中各候选物品的使用信息,所述使用信息是对所述图像中的物品与人员之间的关系进行检测得到的;
基于所述各候选物品的使用信息,生成断舍离物品清单并发送。
基于上述实施例,检测单元230用于:
对所述图像进行人员检测;
若检测到所述图像中存在人员,则基于所述人员在图像中的位置信息,以及任一候选物品的位置信息,对所述人员和该候选物品进行使用关系检测;
基于检测所得的使用关系结果,更新该候选物品的使用信息。
基于上述实施例,检测单元230用于:
将所述图像,以及所述人员在图像中的位置信息和任一候选物品的位置信息输入至关系检测模型中,得到所述关系检测模型输出的使用关系结果;
所述关系检测模型是基于样本图像以及其中的样本人员和样本物品的位置信息、使用关系标签训练得到的。
基于上述实施例,检测单元230用于:
获取所述监控区域的图像;
将所述图像输入至目标检测模型,得到所述目标检测模型输出的各检测物品的属性信息和位置信息,所述目标检测模型是基于样本图像以及所述样本图像中各样本物品的属性信息和位置信息训练得到的;
基于各检测物品的属性信息和位置信息,更新所述物品信息库。
基于上述实施例,所述装置还包括更新单元,用于:
若所述物品信息库中存在与任一检测物品的属性信息相匹配而位置信息不同的候选物品,则基于该检测物品的位置信息,更新与该检测物品的属性信息相匹配的候选物品的位置信息;
若所述物品信息库中不存在与任一检测物品的属性信息相匹配的候选物品,则将该检测物品的属性信息和位置信息存入所述物品信息库。
基于上述实施例,所述图像是基于空调设备内置的图像采集设备拍摄的。
图3是本发明提供的空调设备的结构示意图,如图3所示,该设备包括图像采集设备310,所述图像采集设备310用于采集监控区域的图像,并传输至物品查找装置。
图4示例了一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行物品查找方法,该方法包括:接收物品查找请求,确定所述物品查找请求中的物品描述信息;基于所述物品描述信息和物品信息库,确定目标物品的位置信息,所述物品信息库包括多个候选物品的属性信息和位置信息,所述目标物品的属性信息与所述物品描述信息相匹配,所述物品信息库是对监控区域的图像进行目标检测确定的;返回所述目标物品的位置信息。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的物品查找方法,该方法包括:接收物品查找请求,确定所述物品查找请求中的物品描述信息;基于所述物品描述信息和物品信息库,确定目标物品的位置信息,所述物品信息库包括多个候选物品的属性信息和位置信息,所述目标物品的属性信息与所述物品描述信息相匹配,所述物品信息库是对监控区域的图像进行目标检测确定的;返回所述目标物品的位置信息。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的物品查找方法,该方法包括:接收物品查找请求,确定所述物品查找请求中的物品描述信息;基于所述物品描述信息和物品信息库,确定目标物品的位置信息,所述物品信息库包括多个候选物品的属性信息和位置信息,所述目标物品的属性信息与所述物品描述信息相匹配,所述物品信息库是对监控区域的图像进行目标检测确定的;返回所述目标物品的位置信息。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种物品查找方法,其特征在于,包括:
接收物品查找请求,确定所述物品查找请求中的物品描述信息;
基于所述物品描述信息和物品信息库,确定目标物品的位置信息,所述物品信息库包括多个候选物品的属性信息和位置信息,所述目标物品的属性信息与所述物品描述信息相匹配,所述物品信息库是对监控区域的图像进行目标检测确定的;
返回所述目标物品的位置信息;
还包括:
确定所述物品信息库中各候选物品的使用信息,所述使用信息是对所述图像中的物品与人员之间的关系进行检测得到的;
基于所述各候选物品的使用信息,生成断舍离物品清单并发送;
所述确定所述物品信息库中各候选物品的使用信息,包括:
对所述图像进行人员检测;
若检测到所述图像中存在人员,则基于所述人员在图像中的位置信息,以及任一候选物品的位置信息,对所述人员和所述任一候选物品进行使用关系检测;
基于检测所得的使用关系结果,判断所述任一候选物品的使用信息中是否存在记录的使用信息,若不存在,则更新所述任一候选物品的使用信息;若存在,则不更新所述任一候选物品的使用信息。
2.根据权利要求1所述的物品查找方法,其特征在于,所述基于所述人员在图像中的位置信息,以及任一候选物品的位置信息,对所述人员和所述任一候选物品进行使用关系检测,包括:
将所述图像,以及所述人员在图像中的位置信息和任一候选物品的位置信息输入至关系检测模型中,得到所述关系检测模型输出的使用关系结果;
所述关系检测模型是基于样本图像以及其中的样本人员和样本物品的位置信息、使用关系标签训练得到的。
3.根据权利要求1或2所述的物品查找方法,其特征在于,所述物品信息库是基于如下步骤确定的:
获取所述监控区域的图像;
将所述图像输入至目标检测模型,得到所述目标检测模型输出的各检测物品的属性信息和位置信息,所述目标检测模型是基于样本图像以及所述样本图像中各样本物品的属性信息和位置信息训练得到的;
基于各检测物品的属性信息和位置信息,更新所述物品信息库。
4.根据权利要求3所述的物品查找方法,其特征在于,所述基于各检测物品的属性信息和位置信息,更新所述物品信息库,包括:
若所述物品信息库中存在与任一检测物品的属性信息相匹配而位置信息不同的候选物品,则基于所述任一检测物品的位置信息,更新与所述任一检测物品的属性信息相匹配的候选物品的位置信息;
若所述物品信息库中不存在与任一检测物品的属性信息相匹配的候选物品,则将所述任一检测物品的属性信息和位置信息存入所述物品信息库。
5.根据权利要求1或2所述的物品查找方法,其特征在于,所述图像是基于空调设备内置的图像采集设备拍摄的。
6.一种物品查找装置,其特征在于,包括:
接收单元,用于接收物品查找请求;
确定单元,用于确定所述物品查找请求中的物品描述信息;还用于基于所述物品描述信息和物品信息库,确定目标物品的位置信息,所述物品信息库包括多个候选物品的属性信息和位置信息,所述目标物品的属性信息与所述物品描述信息相匹配,
检测单元,用于对监控区域的图像进行目标检测,确定所述物品信息库;
返回单元,用于返回所述目标物品的位置信息;
所述确定单元还用于:
确定所述物品信息库中各候选物品的使用信息,所述使用信息是对所述图像中的物品与人员之间的关系进行检测得到的;
基于所述各候选物品的使用信息,生成断舍离物品清单并发送;
所述检测单元还用于:
对所述图像进行人员检测;
若检测到所述图像中存在人员,则基于所述人员在图像中的位置信息,以及任一候选物品的位置信息,对所述人员和所述任一候选物品进行使用关系检测;
基于检测所得的使用关系结果,判断所述任一候选物品的使用信息中是否存在记录的使用信息,若不存在,则更新所述任一候选物品的使用信息;若存在,则不更新所述任一候选物品的使用信息。
7.一种空调设备,包括图像采集设备,所述图像采集设备用于采集监控区域的图像,并传输至如权利要求6所述的物品查找装置。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述物品查找方法的步骤。
CN202110447054.2A 2021-04-25 2021-04-25 物品查找方法、装置、空调设备和存储介质 Active CN113269828B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110447054.2A CN113269828B (zh) 2021-04-25 2021-04-25 物品查找方法、装置、空调设备和存储介质
PCT/CN2021/132758 WO2022227526A1 (zh) 2021-04-25 2021-11-24 物品查找方法、装置、空调设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110447054.2A CN113269828B (zh) 2021-04-25 2021-04-25 物品查找方法、装置、空调设备和存储介质

Publications (2)

Publication Number Publication Date
CN113269828A CN113269828A (zh) 2021-08-17
CN113269828B true CN113269828B (zh) 2023-07-18

Family

ID=77229290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110447054.2A Active CN113269828B (zh) 2021-04-25 2021-04-25 物品查找方法、装置、空调设备和存储介质

Country Status (2)

Country Link
CN (1) CN113269828B (zh)
WO (1) WO2022227526A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269828B (zh) * 2021-04-25 2023-07-18 青岛海尔空调器有限总公司 物品查找方法、装置、空调设备和存储介质
CN114003034A (zh) * 2021-10-26 2022-02-01 山东新一代信息产业技术研究院有限公司 一种巡检机器人巡检规划的制定方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3136316A1 (en) * 2015-08-26 2017-03-01 OSCL Pacific Ltd. System and method for finding and locating items
CN107507058A (zh) * 2017-08-13 2017-12-22 广东聚联电子商务股份有限公司 一种闲置物品共享方法
CN108536573A (zh) * 2018-04-17 2018-09-14 中山市华南理工大学现代产业技术研究院 一种vr应用性能及用户行为监控的方法
CN109451240A (zh) * 2018-12-04 2019-03-08 百度在线网络技术(北京)有限公司 对焦方法、装置、计算机设备和可读存储介质
CN112017319A (zh) * 2020-08-21 2020-12-01 中建二局第一建筑工程有限公司 一种智能巡更安防方法、装置、系统及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462530A (zh) * 2014-12-23 2015-03-25 小米科技有限责任公司 用户喜好的分析方法及装置、电子设备
CN108052860A (zh) * 2017-11-06 2018-05-18 珠海格力电器股份有限公司 物品检索方法及装置
CN109961074A (zh) * 2017-12-22 2019-07-02 深圳市优必选科技有限公司 一种查找物品的方法、机器人及计算机可读存储介质
CN109993045B (zh) * 2017-12-29 2021-02-26 杭州海康威视系统技术有限公司 物品查找方法及查找装置、查找系统和机器可读存储介质
CN109145901B (zh) * 2018-08-14 2023-04-21 腾讯科技(深圳)有限公司 物品识别方法、装置、计算机可读存储介质和计算机设备
CN109614897A (zh) * 2018-11-29 2019-04-12 平安科技(深圳)有限公司 一种室内查找物品的方法及终端
CN109816947A (zh) * 2019-02-28 2019-05-28 广州骅视电子技术有限公司 一种多功能智能分析物品丢失报警监控系统
CN111046211A (zh) * 2019-12-25 2020-04-21 维沃移动通信有限公司 物品查找方法及电子设备
CN111507207A (zh) * 2020-03-30 2020-08-07 宇龙计算机通信科技(深圳)有限公司 物品收纳方法、装置、存储介质及终端
CN111582038A (zh) * 2020-04-10 2020-08-25 上海明略人工智能(集团)有限公司 查找物品方法、装置、存储介质及移动机器人
CN111538861B (zh) * 2020-04-22 2023-08-15 浙江大华技术股份有限公司 基于监控视频进行图像检索的方法、装置、设备及介质
CN112198810B (zh) * 2020-11-06 2023-05-16 青岛海尔空调器有限总公司 用于智能家居设备导航控制的方法、装置及智能家居设备
CN113269828B (zh) * 2021-04-25 2023-07-18 青岛海尔空调器有限总公司 物品查找方法、装置、空调设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3136316A1 (en) * 2015-08-26 2017-03-01 OSCL Pacific Ltd. System and method for finding and locating items
CN107507058A (zh) * 2017-08-13 2017-12-22 广东聚联电子商务股份有限公司 一种闲置物品共享方法
CN108536573A (zh) * 2018-04-17 2018-09-14 中山市华南理工大学现代产业技术研究院 一种vr应用性能及用户行为监控的方法
CN109451240A (zh) * 2018-12-04 2019-03-08 百度在线网络技术(北京)有限公司 对焦方法、装置、计算机设备和可读存储介质
CN112017319A (zh) * 2020-08-21 2020-12-01 中建二局第一建筑工程有限公司 一种智能巡更安防方法、装置、系统及存储介质

Also Published As

Publication number Publication date
WO2022227526A1 (zh) 2022-11-03
CN113269828A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113269828B (zh) 物品查找方法、装置、空调设备和存储介质
CN107468048B (zh) 烹饪器具及其控制方法
US20200175850A1 (en) System and method for providing customized connected device functionality and for operating a connected device via an alternate object
CN104903876B (zh) 电气设备管理装置、电气设备管理方法以及电气设备管理系统
US20160021342A1 (en) Device and method for determination
WO2017190518A1 (zh) 智能冰箱及其控制方法和控制系统
CN105718854B (zh) 远程食材管理系统
CN109856980B (zh) 智能家居设备推荐方法、装置、物联网系统以及云服务器
CN108427310A (zh) 智能家居控制方法、装置及计算机可读存储介质
CN110908340A (zh) 智能家居的控制方法及装置
CN108920123A (zh) 信息的显示方法、装置、存储介质和处理器
CN110009828A (zh) 一种基于物联网的储物柜、储物方法及系统
CN106125568A (zh) 智能家居管理方法和装置
CN108475044A (zh) 信息处理装置、电子设备、方法及程序
CN107610260B (zh) 一种基于机器视觉的智能考勤系统及考勤方法
CN106851373B (zh) 一种机顶盒终端设备的控制方法及装置
CN111083065B (zh) 一种防止输入命令阻塞的方法及存储介质和计算机设备
CN104298707B (zh) 一种信息处理方法及电子设备
CN110794704B (zh) 烹饪参数的确定方法、烹饪装置以及计算机存储介质
CN110762943B (zh) 物品的展示方法、装置以及家电设备
CN111401235A (zh) 一种基于物联网的家庭智能控制系统
EP4325512A1 (en) Artificial intelligence-based meal monitoring method and apparatus
CN110197575A (zh) 基于数据识别的无线通信系统
CN106611489A (zh) 自动匹配遥控信号的方法和电子装置
CN111143420A (zh) 配餐方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant