CN110516768A - 一种垃圾分类管理的方法、装置及人工智能机器人 - Google Patents

一种垃圾分类管理的方法、装置及人工智能机器人 Download PDF

Info

Publication number
CN110516768A
CN110516768A CN201910809472.4A CN201910809472A CN110516768A CN 110516768 A CN110516768 A CN 110516768A CN 201910809472 A CN201910809472 A CN 201910809472A CN 110516768 A CN110516768 A CN 110516768A
Authority
CN
China
Prior art keywords
user
rubbish
generic
dustbin
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910809472.4A
Other languages
English (en)
Inventor
黄洪
王国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Wisdom Technology Co Ltd
Original Assignee
New Wisdom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Wisdom Technology Co Ltd filed Critical New Wisdom Technology Co Ltd
Priority to CN201910809472.4A priority Critical patent/CN110516768A/zh
Publication of CN110516768A publication Critical patent/CN110516768A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例涉及电子信息技术领域,公开了一种垃圾分类管理的方法、装置及人工智能机器人,该方法响应于用户投放垃圾的操作,确定用户的身份信息以及用户所携带的垃圾的所属类别,然后识别用户投放垃圾的垃圾箱,最后根据垃圾箱的所属类别和垃圾的所属类别,生成归属于该用户的垃圾投放记录,本发明实施例提供的方法应用于人工智能机器人,能够对垃圾分类进行智能化管理,且能够有效减少人工成本。

Description

一种垃圾分类管理的方法、装置及人工智能机器人
技术领域
本发明实施例涉及电子信息技术领域,特别涉及一种垃圾分类管理的方法、装置及人工智能机器人。
背景技术
最新推出的《上海市生活垃圾管理条例》规定,垃圾处理要定时定点,并且严格按照:有害垃圾、可回收物、湿垃圾和干垃圾几大类进行区分。该条例的内容也会在2019年向全国46个重点城市广泛推行。
目前,小区等公共场所内为实现对垃圾的分类管理,需要有清洁人员或者专门的垃圾分类人员在垃圾箱附近对住户的垃圾分类行为进行监督,告诉住户垃圾怎样分类,确定住户投放垃圾至垃圾箱时有没有投错,现有的垃圾分类管理方法在住户较多或者需要投放的垃圾较多时,需要耗费大量的人力,人工成本较高。
发明内容
针对现有技术的上述缺陷,本发明实施例的目的是提供一种能够实现垃圾智能化分类管理的垃圾分类管理的方法、装置及人工智能机器人。
本发明实施例的目的是通过如下技术方案实现的:
为解决上述技术问题,第一方面,本发明实施例中提供了一种垃圾分类管理的方法,应用于人工智能机器人,所述方法包括:
响应于用户投放垃圾的操作,确定所述用户的身份信息以及所述用户所携带的垃圾的所属类别;
识别所述用户投放所述垃圾的垃圾箱;
根据所述垃圾箱的所属类别和所述垃圾的所属类别,生成归属于所述用户的垃圾投放记录。
在一些实施例中,所述垃圾投放记录包括:不良行为记录和优良行为记录;
所述根据所述垃圾箱的所属类别和所述垃圾的所属类别,生成归属于所述用户的垃圾投放记录的步骤,进一步包括:
判断所述垃圾箱的所属类别和所述垃圾的所属类别是否相同;
若相同,则确定所述用户的垃圾投放记录为优良行为记录;
若不相同,则确定所述用户的垃圾投放记录为不良行为记录。
在一些实施例中,所述方法还包括:
在所述用户的垃圾投放记录为不良行为记录时,输出警示信息。
在一些实施例中,所述确定所述用户所携带的垃圾的所属类别的步骤包括:
接收所述用户输入的并且用于表征所述垃圾的名称的语音信息;
根据所述语音信息,确定所述垃圾的所属类别。
在一些实施例中,所述确定所述用户的身份信息的步骤,进一步包括:
采集所述用户的图像;
判断所述图像中所述用户的人脸是否存在遮挡;
若是,则根据预设人脸还原算法,对所述用户在所述图像中的人脸进行还原处理,并且从还原后的图像提取所述用户的人脸特征;
若否,则从所述图像中提取所述用户的人脸特征;
根据所述人脸特征,确定所述用户的身份信息。
在一些实施例中,所述方法还包括:
若所述图像中所述用户的人脸存在遮挡,识别所述用户的行走姿态;
提取位于所述垃圾箱周边的历史监控视频;
从所述历史监控视频中提取与所述用户的行走姿态相匹配的行人;
提取所述行人的图像作为所述用户的图像,然后执行所述从所述图像中提取所述用户的人脸特征的步骤。
在一些实施例中,在所述识别所述用户投放所述垃圾的垃圾箱的步骤之前,所述方法还包括:
输出包含所述垃圾的所属类别的提示信息。
为解决上述技术问题,第二方面,本发明实施例中提供了一种垃圾分类管理的装置,包括:
确定模块,用于响应于用户投放垃圾的操作,确定所述用户的身份信息以及所述用户所携带的垃圾的所属类别;
识别模块,用于识别所述用户投放所述垃圾的垃圾箱;
记录模块,用于根据所述垃圾箱的所属类别和所述垃圾的所属类别,生成归属于所述用户的垃圾投放记录。
为解决上述技术问题,第三方面,本发明实施例提供了一种人工智能机器人,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上第一方面所述的方法。
为解决上述技术问题,第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如上第一方面所述的方法。
为解决上述技术问题,第五方面,本发明实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行如上第一方面所述的方法。
与现有技术相比,本发明的有益效果是:区别于现有技术的情况,本发明实施例中提供了一种垃圾分类管理的方法,该方法响应于用户投放垃圾的操作,确定用户的身份信息以及用户所携带的垃圾的所属类别,然后识别用户投放垃圾的垃圾箱,最后根据垃圾箱的所属类别和垃圾的所属类别,生成归属于该用户的垃圾投放记录,本发明实施例提供的方法应用于人工智能机器人,能够对垃圾分类进行智能化管理,有效减少人工成本。
附图说明
一个或多个实施例中通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件/模块和步骤表示为类似的元件/模块和步骤,除非有特别申明,附图中的图不构成比例限制。
图1是应用于本发明实施例的垃圾分类管理的方法的实施例的示例性系统结构示意图;
图2是本发明实施例提供的一种垃圾分类管理的方法的流程图;
图3是本发明实施例提供的另一种垃圾分类管理的方法的流程图;
图4是图2所示方法中步骤130的一子流程图;
图5是图2所示方法中步骤110的一子流程图;
图6是图2所示方法中步骤110的另一子流程图;
图7是图2所示方法中步骤110的另一子流程图;
图8是本发明实施例提供的一种垃圾分类管理的装置的结构示意图;
图9是本发明实施例提供的执行上述垃圾分类管理的方法的人工智能机器人的硬件结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本申请的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
请参见图1,为应用于本发明的垃圾分类管理的方法的实施例的示例性系统结构示意图。如图1所示,该系统结构包括:人工智能机器人10、垃圾箱20和监控网络30。所述人工智能机器人10与所述监控网络30通信连接,所述人工智能机器人10能够监控所述垃圾箱20的垃圾投放情况。所述通信连接可以是网络连接,可以包括各种连接类型,比如有线、无线通信或者光纤电缆等。
所述人工智能机器人10能够取代工作人员完成监督工作,如图1所示,所述人工智能机器人10安置在所述垃圾箱20周围区域或存放垃圾箱20的垃圾房内,且其视野能够涵盖到所述垃圾箱20及其周围区域。所述人工智能机器人10通过采用人脸识别技术、行为识别技术、语音识别技术和智能播报技术,实现对用户垃圾投放情况的智能监督。
具体地,所述人工智能机器人10与所在小区的监控网络30通信连接,能够通过人脸识别确认用户的身份,还能够通过行为重识别跟踪用户的行为。所述人工智能机器人10具有物品类别分辨功能,可根据输入的物品的关键字确定垃圾类别。所述人工智能机器人10还具有语音识别功能,能够识别语音信息中的物品名称,并转化为关键字。所述人工智能机器人10具有语音播报功能,能够在确认物品类别后,播报垃圾的所属类别。所述人工智能机器人10还具有行为记录功能,能够根据用户身份、当前时间、用户投放垃圾的行为,生成相应的垃圾投放记录并上传至小区的监控网络30中。
需要说明的是,本申请实施例所提供的垃圾分类管理的方法一般由上述人工智能机器人10执行,相应地,垃圾分类管理的装置一般设置于所述人工智能机器人10中。
所述垃圾箱20包括有害垃圾、可回收物、湿垃圾和干垃圾这四种类别的垃圾箱。具体地,所述有害垃圾为对人体健康或自然环境造成直接或潜在危害的零星废弃物,例如,电池、杀虫剂、灯泡、废药品等。所述可回收物为适宜回收和可循环再利用的废弃物,例如,A4纸、塑料瓶、被单、玻璃瓶等。所述湿垃圾为易腐的生物质废弃物,例如,剩菜剩饭、瓜皮、果核、酱油等。所述干垃圾为除上述有害垃圾、可回收物、湿垃圾以外的其他生活废弃物,例如,纸盒、车票、蚊香片、花篮等。
用于监督任一垃圾箱20的人工智能机器人10,其数量可以是一台或多台,本申请不对其数量进行限定,可选地,在一些应用场景下,也可以是一台人工智能机器人10对应监督多个垃圾箱20的垃圾分类行为。
所述监控网络30与小区内所有的监控摄像头、门禁系统等监控设备连接,用于记录小区内所有用户的行为。所述监控网络30可以是小区的后台服务器,能够存储大量的内容数据,例如,存储所述人工智能机器人10所上传的用户垃圾投放记录。所述监控网络30与所述人工智能机器人10通信连接,一方面,所述监控网络30能够将监控的小区及周边的历史监控视频发送至该人工智能机器人10。另一方面,所述监控网络30能够获取所述人工智能机器人10所上传的用户垃圾投放记录。
所述监控网络30作为小区的后台服务器时,可以是的一种物理的终端服务器,通过网络与所述人工智能机器人10以及监控设备通过一定的通信协议通信连接。所述监控网络30进一步地,也可以是云服务器、云主机、云服务平台、云计算平台等,同样的能够通过网络与所述人工智能机器人10以及监控设备通过一定的通信协议通信连接。所述网络可是以太网或者是局域网,所述通信协议可以是TCP/IP、NETBEUI和IPX/SPX等通信协议,所述通信连接可以是无线连接或者有线连接,具体地,可根据实际需要进行设置。
进一步地,所述监控网络30还能够创建或存储有小区地图,该地图中标注了各监控设备的位置及垃圾箱20的位置,所述监控网络30能够从各监控设备所获取的监控视频中,识别并记录所有用户的进出入位置及时间点,通过人脸识别功能及人脸还原功能识别用户身份信息,并结合所述人工智能机器人10所上传的用户垃圾投放记录,对乱扔行为较多的用户进行标记,并将该标记发送至各人工智能机器人10。当人工智能机器人10识别到该用户再次扔垃圾时,对该用户发出提示信息和警告信息,以监督该用户的行为。
具体地,下面结合附图,对本发明实施例作进一步阐述。
本发明实施例提供了一种垃圾分类管理的方法,该方法可被上述人工智能机器人10执行,请参见图2,其示出了根据上述系统结构所应用的一种垃圾分类管理的方法的流程图,该方法包括但不限于以下步骤:
步骤110:响应于用户投放垃圾的操作,确定所述用户的身份信息以及所述用户所携带的垃圾的所属类别。
在本发明实施例中,人工智能机器人检测到用户有投放垃圾的行为时,确定该用户的身份信息以及该用户所携带的垃圾的所述类别。具体地,人工智能机器人可以在检测到有用户靠近垃圾箱时,确认该用户有投放垃圾的行为或意向,进一步地,通过人脸识别技术获取用户的身份信息,并通过物品识别技术和/或语音识别技术获取该用户所携带的垃圾的类别。
步骤120:识别所述用户投放所述垃圾的垃圾箱。
在本发明实施例中,在用户投放垃圾的过程中,人工智能机器人识别用户投放垃圾时的垃圾箱,确定用户将垃圾投放到什么类别的垃圾箱中。具体地,可以通过行为识别技术识别投放的垃圾箱。或者,也可以在垃圾箱的箱门上设置有传感器,连接至人工智能机器人,人工智能机器人根据箱门的开合情况确定用户所投放的垃圾箱。
步骤130:根据所述垃圾箱的所属类别和所述垃圾的所属类别,生成归属于所述用户的垃圾投放记录。
在本发明实施例中,在用户将垃圾投放完毕后,人工智能机器人通过确认垃圾的所属类别和垃圾箱的所属类别是否一致,以确定用户垃圾分类投放的行为是否正确,并根据该垃圾投放行为生成该用户的垃圾投放记录。该记录包含了用户投放垃圾的类别与垃圾箱的类别,用户垃圾分别投放的行为是否正确的结论,用户的身份信息以及当前的时间信息。
本发明实施例中提供了一种垃圾分类管理的方法,该方法响应于用户投放垃圾的操作,确定用户的身份信息以及用户所携带的垃圾的所属类别,然后识别用户投放垃圾的垃圾箱,最后根据垃圾箱的所属类别和垃圾的所属类别,生成归属于该用户的垃圾投放记录,本发明实施例提供的方法应用于人工智能机器人,能够对垃圾分类进行智能化管理,且能够有效减少人工成本。
在一些实施例中,请参见图3,为本发明实施例提供的另一种垃圾分类管理的方法的流程图,基于图1所示的步骤110至步骤130所述的垃圾分类管理方法,在所述步骤120之前,所述方法还包括以下步骤:
步骤121:输出包含所述垃圾的所属类别的提示信息。
在本发明实施例中,在人工智能机器人识别到用户所携带的垃圾的所属类别后,输出包含该垃圾的所属类别的提示信息,以提醒用户垃圾的正确类别。具体地,用户所携带的垃圾可以是单类物品垃圾,也可以是多类物品垃圾。人工智能机器人可以将用户输入的语音,通过语音识别技术确认垃圾分类,和/或通过物品识别技术确认垃圾分类。然后,通过语音播报的方式,和/或屏幕文字或图标显示的方式,输出提示信息提醒用户垃圾的所述分类。
例如,当用户向所述人工智能机器人输入的语音信息为“报纸玻璃杯”时,人工智能机器人播报语音和/或字幕“您好,报纸玻璃杯为可回收物”。或者,当用户向所述人工智能机器人输入的语音信息为“报纸玻璃杯电池灯泡”时,人工智能机器人播报语音和/或字幕“您好,报纸玻璃杯为可回收物,电池灯泡为有害垃圾,请做好区分”。
在一些实施例中,所述垃圾投放记录包括:不良行为记录和优良行为记录。请一并参见图4,为图2所示方法中步骤130的一子流程图,所述步骤130具体包括:
步骤131:判断所述垃圾箱的所属类别和所述垃圾的所属类别是否相同。若相同,跳转至步骤132;若不相同,跳转至步骤133。
步骤132:确定所述用户的垃圾投放记录为优良行为记录。
步骤133:确定所述用户的垃圾投放记录为不良行为记录。
在本发明实施例中,在用户投放完垃圾之后,人工智能机器人根据步骤110所得到用户所携带垃圾的所述分类,以及用户投放垃圾过程中将垃圾所投放至的垃圾箱的所述分类,确定用户是否正确投放垃圾。在确定所述垃圾箱的所属分类和所述垃圾的所属分类相同时,确定用户垃圾分类的行为是正确的,则相应生成优良行为记录。在确定所述垃圾箱的所属分类和所述垃圾的所属分类不相同时,确定用户垃圾分类的行为是错误的,则相应生成不良行为记录。
在一些实施例中,请继续参见图4,所述步骤130还包括:
步骤134:在所述用户的垃圾投放记录为不良行为记录时,输出警示信息。
在本发明实施例中,人工智能机器人在确认用户垃圾分类的行为是错误的时候,人工智能机器人发出错误警示信息,以提醒用户垃圾分类错误。进一步地,若用户将垃圾重新进行分类投放,且投放正确,还可以像所述不良行为记录修改为优良行为记录,或者,记录在不良行为记录的基础上,生成不良行为修正记录,以记录用户对错误投放垃圾的行为的修正行为。
在一些实施例中,请参见图5,为图2所示方法中步骤110的一子流程图,在所述步骤110中,所述确定所述用户所携带的垃圾的所属类别的步骤包括:
步骤111a:接收所述用户输入的并且用于表征所述垃圾的名称的语音信息。
步骤112a:根据所述语音信息,确定所述垃圾的所属类别。
在本发明实施例中,人工智能机器人可以将用户输入的语音,通过语音识别技术确认垃圾分类,进一步地,执行上述步骤121,提醒用户正确的垃圾分类。
具体地,根据用户输入的语音信息,提取语音信息中与物品相关的关键词,匹配该关键词在数据库中对应的类别,确定并输出该垃圾的所属类别。
例如,当人工智能机器人接收到的语音信息为:“我要丢掉报纸玻璃杯电池灯泡”时,人工智能机器人提取语音信息中与物品相关的关键词“报纸玻璃杯”、“电池”和“灯泡”,进一步匹配数据库中各关键词的所映射的垃圾垃圾分类,从而确定“报纸玻璃杯”的所属类别为可回收物,确定“电池”和“灯泡”为有害垃圾。
在一些实施例中,请参见图6,为图2所示方法中步骤110的另一子流程图,在所述步骤110中,所述确定所述用户的身份信息步骤包括:
步骤111:采集所述用户的图像。
步骤112:判断所述图像中所述用户的人脸是否存在遮挡,若是,跳转至步骤113;若否,跳转至步骤114或者跳转至下述步骤116。
步骤113:根据预设人脸还原算法,对所述用户在所述图像中的人脸进行还原处理,并且从还原后的图像提取所述用户的人脸特征。
步骤114:从所述图像中提取所述用户的人脸特征。
步骤115:根据所述人脸特征,确定所述用户的身份信息。
在本发明实施例中,采用人脸还原技术,对用户被遮挡的人脸进行还原,以确认用户的身份信息。其中,为进行人脸还原,还需要将用户的注册人脸记录于对比数据集中。
具体地,首先,通过诸如LFW(Labeled Faces in the Wild)、FDDB(FaceDetection Data Set and Benchmark)和MegaFace等的一些人脸公开数据集,对其中的人脸局部进行抹除,并建立抹除图像与源图像之间的对应关系,采用深度残差网络Res-Net,对人脸还原模型进行训练。
采用PSNR值(峰值信噪比值)作为人脸还原的评价指标,设源图像为I,抹除图像为I’,将I’通过人脸还原模型还原后的图像为J,源图像的面积为S,MSE为源图像I与还原图像J的均方误差,则
MSE=(1/S)*∑(I-J)
PSNR=10*log(255/MSE)
其中,PSNR值越大,表明源图像I与还原图像J的差距越小,还原效果越理想。
考虑到在当前应用场景下,通常具有丢弃垃圾的行为的用户为小区内的住户,因此,待还原的人脸图像锁定在小区的住户的范围内,在公开数据集的预训练模型基础上,通过对每个住户的日常人脸记录,再进行迁移学习。采用迁移后的人脸还原模型,恢复得到完整人脸,再通过人脸特征模型,计算出上述完整人脸的特征向量,与对比数据集中的注册人脸的特征向量进行模运算,得到一组人脸相似度,找到相似度最大值对应的注册人脸,从而确定住户身份。
在一些实施例中,请参见图7,为图2所示方法中步骤110的另一子流程图,在所述步骤110中,所述确定所述用户的身份信息步骤还包括:
步骤116:识别所述用户的行走姿态。
步骤117:提取位于所述垃圾箱周边的历史监控视频。
步骤118:从所述历史监控视频中提取与所述用户的行走姿态相匹配的行人。
步骤119:提取所述行人的图像作为所述用户的图像,然后跳转至步骤114。
在本发明实施例中,采用行人重识别技术,通过识别用户的行走姿态,与历史监控视频中行人的行走姿态进行匹配,然后,得到与该用户行走姿态相匹配的行人,获取该行人的图像即可得到该用户的图像。进一步地,从该图像中可以提取出用户的人脸特征,根据人脸特征可以确定用户的身份信息。
具体地,在用户的垃圾投放行一次或多次被记录为不良行为时,人工智能机器人可以调取30分钟以内的监控视频,以最终截取的该用户的完整形体图像为模板,在监控视频中进行图像匹配跟踪,得到与模板相似的人体出现的视频序列,协助管理者进一步确认该用户的反常行为。
所述行人重识别技术中的匹配过程,是采用基于局部特征的匹配方法。首先,对行人的姿态进行识别,采用openpose对检测到的人体进行2D姿态估计,利用人体关节点,取得4个人体部位的4个椭圆感兴趣区域。即用这4个局部人体部位,分别提取特征后,分别进行匹配,将4个区域的匹配分数进行加权后得到匹配结果。具体地,其匹配程度参考下述公式:
Similar_score=α*head_score+β*body_score+γ1*lleg_score+γ2*rleg_score
其中,[α,β,γ12]为一组权重系数,表示各个部位匹配分数所占比例权重,其值通过训练得到,head_score表示头部匹配分数,body_score表示身体匹配分数,lleg_score表示左腿匹配分数,rleg_score表示右腿匹配分数。
具体地,所述头部匹配分数通过FaceNet模型,计算人脸特征,求取欧式距离得到人脸相似度。
所述身体匹配分数、所述左腿匹配分数和所述右腿匹配分数,根据颜色直方图进行匹配。先将身体及腿部(左腿和右腿)的图像色彩空间从RGB转换到HSV空间,取每个像素点的值为Val=δ*H+ε*S+ζ*V,对Val计算直方图,两个人身体或腿部的Val直方图之差,即为两个人在身体或腿部的相似度。其中,[δ,ε,ζ]是另一类权重系数,该类又分为两组,分别对应身体和腿部,即身体和腿部将采用不同的[δ,ε,ζ]色彩权重。最终的Similar_score可以表示为:
Similar_score=α*head_score+β*([δ,ε,ζ]*[hsv])head1*([δ,ε,ζ]*[hsv])lleg2*[δ,ε,ζ]*[hsv])rleg
其中,[α,β,γ12]、[δ,ε,ζ]head与[δ,ε,ζ]leg,以及阈值T,都将通过训练得到。若两个行人的Similar_score小于阈值T,则认为二者属于同一人。
本发明实施例还提供了一种垃圾分类管理的装置,请参见图8,其示出了本发明实施例提供的一种垃圾分类管理的装置的结构图,该垃圾分类管理的装置200包括:确定模块210、识别模块220和记录模块230。
所述确定模块210用于响应于用户投放垃圾的操作,确定所述用户的身份信息以及所述用户所携带的垃圾的所属类别。
所述识别模块220用于识别所述用户投放所述垃圾的垃圾箱。
所述记录模块230用于根据所述垃圾箱的所属类别和所述垃圾的所属类别,生成归属于所述用户的垃圾投放记录。
在一些实施例中,所述垃圾投放记录包括:不良行为记录和优良行为记录。所述记录模块230还用于判断所述垃圾箱的所属类别和所述垃圾的所属类别是否相同;若相同,则确定所述用户的垃圾投放记录为优良行为记录;若不相同,则确定所述用户的垃圾投放记录为不良行为记录。
在一些实施例中,所述记录模块230还用于在所述用户的垃圾投放记录为不良行为记录时,输出警示信息。
在一些实施例中,所述确定模块210还用于接收所述用户输入的并且用于表征所述垃圾的名称的语音信息;根据所述语音信息,确定所述垃圾的所属类别。
在一些实施例中,所述确定模块210还用于采集所述用户的图像;判断所述图像中所述用户的人脸是否存在遮挡;若是,则根据预设人脸还原算法,对所述用户在所述图像中的人脸进行还原处理,并且在还原成功之后从还原后的图像提取所述用户的人脸特征;若否,则从所述图像中提取所述用户的人脸特征;根据所述人脸特征,确定所述用户的身份信息。
在一些实施例中,所述确定模块210还用于若所述图像中所述用户的人脸存在遮挡,识别所述用户的行走姿态;提取位于所述垃圾箱周边的历史监控视频;从所述历史监控视频中提取与所述用户的行走姿态相匹配的行人;提取所述行人的图像作为所述用户的图像,然后执行所述从所述图像中提取所述用户的人脸特征的步骤。
在一些实施例中,所述识别模块220还用于输出包含所述垃圾的所属类别的提示信息。
需要说明的是,由于本实施例中的垃圾分类管理的装置与上述方法实施例基于相同的发明构思,因此,方法实施例中的相应内容同样适用于装置实施例,此处不再详述。
本发明实施例还提供了一种人工智能机器人,请参见图9,其示出了能够执行图2至图7所述垃圾分类管理的方法的人工智能机器人的硬件结构。其中,所述人工智能机器人10可以是图1所示的人工智能机器人10。
所述人工智能机器人10包括:至少一个处理器11;以及,与所述至少一个处理器11通信连接的存储器12,图9中以其以一个处理器11为例。所述存储器12存储有可被所述至少一个处理器11执行的指令,所述指令被所述至少一个处理器11执行,以使所述至少一个处理器11能够执行上述图2至图7所述的垃圾分类管理的方法。所述处理器11和所述存储器12可以通过总线或者其他方式连接,图9中以通过总线连接为例。
存储器12作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的垃圾分类管理的方法对应的程序指令/模块,例如,附图8所示的各个模块。处理器11通过运行存储在存储器12中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例垃圾分类管理的方法。
存储器12可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据垃圾分类管理的装置的使用所创建的数据等。此外,存储器12可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器12可选包括相对于处理器11远程设置的存储器,这些远程存储器可以通过网络连接至垃圾分类管理的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器12中,当被所述一个或者多个处理器11执行时,执行上述任意方法实施例中的垃圾分类管理的方法,例如,执行以上描述的图2至图7的方法步骤,实现图8中的各模块和各单元的功能。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例还提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如,执行以上描述的图2至图7的方法步骤,实现图8中的各模块的功能。
本申请实施例还提供了一种计算机程序产品,包括存储在非易失性计算机可读存储介质上的计算程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时时,使所述计算机执行上述任意方法实施例中的垃圾分类管理的方法,例如,执行以上描述的图2至图7的方法步骤,实现图8中的各模块的功能。
本发明实施例中提供了一种垃圾分类管理的方法,该方法响应于用户投放垃圾的操作,确定用户的身份信息以及用户所携带的垃圾的所属类别,然后识别用户投放垃圾的垃圾箱,最后根据垃圾箱的所属类别和垃圾的所属类别,生成归属于该用户的垃圾投放记录,本发明实施例提供的方法应用于人工智能机器人,能够对垃圾分类进行智能化管理,且能够有效减少人工成本。
需要说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种垃圾分类管理的方法,其特征在于,应用于人工智能机器人,所述方法包括:
响应于用户投放垃圾的操作,确定所述用户的身份信息以及所述用户所携带的垃圾的所属类别;
识别所述用户投放所述垃圾的垃圾箱;
根据所述垃圾箱的所属类别和所述垃圾的所属类别,生成归属于所述用户的垃圾投放记录。
2.根据权利要求1所述的方法,其特征在于,
所述垃圾投放记录包括:不良行为记录和优良行为记录;
所述根据所述垃圾箱的所属类别和所述垃圾的所属类别,生成归属于所述用户的垃圾投放记录的步骤,进一步包括:
判断所述垃圾箱的所属类别和所述垃圾的所属类别是否相同;
若相同,则确定所述用户的垃圾投放记录为优良行为记录;
若不相同,则确定所述用户的垃圾投放记录为不良行为记录。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在所述用户的垃圾投放记录为不良行为记录时,输出警示信息。
4.根据权利要求1所述的方法,其特征在于,
所述确定所述用户所携带的垃圾的所属类别的步骤包括:
接收所述用户输入的并且用于表征所述垃圾的名称的语音信息;
根据所述语音信息,确定所述垃圾的所属类别。
5.根据权利要求1所述的方法,其特征在于,所述确定所述用户的身份信息的步骤,进一步包括:
采集所述用户的图像;
判断所述图像中所述用户的人脸是否存在遮挡;
若是,则根据预设人脸还原算法,对所述用户在所述图像中的人脸进行还原处理,并且从还原后的图像提取所述用户的人脸特征;
若否,则从所述图像中提取所述用户的人脸特征;
根据所述人脸特征,确定所述用户的身份信息。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述图像中所述用户的人脸存在遮挡,识别所述用户的行走姿态;
提取位于所述垃圾箱周边的历史监控视频;
从所述历史监控视频中提取与所述用户的行走姿态相匹配的行人;
提取所述行人的图像作为所述用户的图像,然后执行所述从所述图像中提取所述用户的人脸特征的步骤。
7.根据权利要求1-6中任意一项所述的方法,其特征在于,在所述识别所述用户投放所述垃圾的垃圾箱的步骤之前,所述方法还包括:
输出包含所述垃圾的所属类别的提示信息。
8.一种垃圾分类管理的装置,其特征在于,包括:
确定模块,用于响应于用户投放垃圾的操作,确定所述用户的身份信息以及所述用户所携带的垃圾的所属类别;
识别模块,用于识别所述用户投放所述垃圾的垃圾箱;
记录模块,用于根据所述垃圾箱的所属类别和所述垃圾的所属类别,生成归属于所述用户的垃圾投放记录。
9.一种人工智能机器人,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1-7任一项所述的方法。
CN201910809472.4A 2019-08-29 2019-08-29 一种垃圾分类管理的方法、装置及人工智能机器人 Pending CN110516768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910809472.4A CN110516768A (zh) 2019-08-29 2019-08-29 一种垃圾分类管理的方法、装置及人工智能机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910809472.4A CN110516768A (zh) 2019-08-29 2019-08-29 一种垃圾分类管理的方法、装置及人工智能机器人

Publications (1)

Publication Number Publication Date
CN110516768A true CN110516768A (zh) 2019-11-29

Family

ID=68629069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910809472.4A Pending CN110516768A (zh) 2019-08-29 2019-08-29 一种垃圾分类管理的方法、装置及人工智能机器人

Country Status (1)

Country Link
CN (1) CN110516768A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929693A (zh) * 2019-12-12 2020-03-27 海南自贸区南点创客科技有限公司 智能垃圾分类方法及系统
CN111179938A (zh) * 2019-12-26 2020-05-19 安徽仁昊智能科技有限公司 一种基于人工智能的语音识别垃圾分类系统
CN111554294A (zh) * 2020-04-23 2020-08-18 苏州大学 基于语音识别的智能垃圾分类方法
CN112836655A (zh) * 2021-02-07 2021-05-25 上海卓繁信息技术股份有限公司 一种识别违规动作者身份的方法、装置和电子设备
CN113111769A (zh) * 2021-04-09 2021-07-13 平安国际智慧城市科技股份有限公司 垃圾违规投放行为监控方法、装置和计算机设备
CN117292207A (zh) * 2023-11-24 2023-12-26 杭州臻善信息技术有限公司 一种基于大数据图像处理的垃圾识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942577A (zh) * 2014-04-29 2014-07-23 上海复控华龙微系统技术有限公司 视频监控中基于自建立样本库及混合特征的身份识别方法
CN107153816A (zh) * 2017-04-16 2017-09-12 五邑大学 一种用于鲁棒人脸识别的数据增强方法
CN108062542A (zh) * 2018-01-12 2018-05-22 杭州智诺科技股份有限公司 被遮挡的人脸的检测方法
CN109492614A (zh) * 2018-11-29 2019-03-19 上海道枢信息技术有限公司 一种基于安防视频识别面部特征的方法及系统
CN109598210A (zh) * 2018-11-16 2019-04-09 三星电子(中国)研发中心 一种图片处理方法和装置
CN109703939A (zh) * 2018-12-30 2019-05-03 广东拜登网络技术有限公司 智能垃圾回收系统及方法
WO2019149071A1 (zh) * 2018-01-30 2019-08-08 华为技术有限公司 目标检测的方法、装置及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942577A (zh) * 2014-04-29 2014-07-23 上海复控华龙微系统技术有限公司 视频监控中基于自建立样本库及混合特征的身份识别方法
CN107153816A (zh) * 2017-04-16 2017-09-12 五邑大学 一种用于鲁棒人脸识别的数据增强方法
CN108062542A (zh) * 2018-01-12 2018-05-22 杭州智诺科技股份有限公司 被遮挡的人脸的检测方法
WO2019149071A1 (zh) * 2018-01-30 2019-08-08 华为技术有限公司 目标检测的方法、装置及系统
CN109598210A (zh) * 2018-11-16 2019-04-09 三星电子(中国)研发中心 一种图片处理方法和装置
CN109492614A (zh) * 2018-11-29 2019-03-19 上海道枢信息技术有限公司 一种基于安防视频识别面部特征的方法及系统
CN109703939A (zh) * 2018-12-30 2019-05-03 广东拜登网络技术有限公司 智能垃圾回收系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929693A (zh) * 2019-12-12 2020-03-27 海南自贸区南点创客科技有限公司 智能垃圾分类方法及系统
CN111179938A (zh) * 2019-12-26 2020-05-19 安徽仁昊智能科技有限公司 一种基于人工智能的语音识别垃圾分类系统
CN111554294A (zh) * 2020-04-23 2020-08-18 苏州大学 基于语音识别的智能垃圾分类方法
CN112836655A (zh) * 2021-02-07 2021-05-25 上海卓繁信息技术股份有限公司 一种识别违规动作者身份的方法、装置和电子设备
CN112836655B (zh) * 2021-02-07 2024-05-28 上海卓繁信息技术股份有限公司 一种识别违规动作者身份的方法、装置和电子设备
CN113111769A (zh) * 2021-04-09 2021-07-13 平安国际智慧城市科技股份有限公司 垃圾违规投放行为监控方法、装置和计算机设备
CN117292207A (zh) * 2023-11-24 2023-12-26 杭州臻善信息技术有限公司 一种基于大数据图像处理的垃圾识别方法及系统
CN117292207B (zh) * 2023-11-24 2024-03-15 杭州臻善信息技术有限公司 一种基于大数据图像处理的垃圾识别方法及系统

Similar Documents

Publication Publication Date Title
CN110516768A (zh) 一种垃圾分类管理的方法、装置及人工智能机器人
Maraghi et al. Scaling Human‐Object Interaction Recognition in the Video through Zero‐Shot Learning
US20240028896A1 (en) Method and system for activity classification
Gall et al. Hough forests for object detection, tracking, and action recognition
Özyer et al. Human action recognition approaches with video datasets—A survey
CN110222676A (zh) 一种垃圾分类学习系统及其使用方法
Chu et al. Learning affordance segmentation for real-world robotic manipulation via synthetic images
Salimi et al. Visual-based trash detection and classification system for smart trash bin robot
Frontoni et al. Customers’ activity recognition in intelligent retail environments
CN102880873A (zh) 基于图像分割和语义提取实现人员行为识别的系统及方法
CN110516623A (zh) 一种人脸识别方法、装置及电子设备
Dhulekar et al. Development of bottle recycling machine using machine learning algorithm
CN111046655B (zh) 一种数据处理方法、装置及计算机可读存储介质
Baxter et al. Human behaviour recognition in data-scarce domains
de Oliveira Silva et al. Human action recognition based on a two-stream convolutional network classifier
CN114038056A (zh) 一种跳跃式及下蹲式逃票行为识别方法
CN111832749B (zh) 垃圾袋识别方法及相关装置
Frontoni et al. RGBD Sensors for human activity detection in AAL environments
Zhang The Understanding of Spatial-Temporal Behaviors
Elangovan et al. Team activity analysis and recognition based on Kinect depth map and optical imagery techniques
CN111782847A (zh) 图像处理方法、装置和计算机可读存储介质
Sultana Trash and Recyclable Material Identification Using Convolutional Neural Networks (CNN)
Rochan et al. Segmenting objects in weakly labeled videos
Kira et al. Leveraging deep learning for spatio-temporal understanding of everyday environments
Paulose et al. Recurrent neural network for human action recognition using star skeletonization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination