CN115743974B - 基于ai算法的智能分类回收箱智能换桶投递方法 - Google Patents
基于ai算法的智能分类回收箱智能换桶投递方法 Download PDFInfo
- Publication number
- CN115743974B CN115743974B CN202211529786.7A CN202211529786A CN115743974B CN 115743974 B CN115743974 B CN 115743974B CN 202211529786 A CN202211529786 A CN 202211529786A CN 115743974 B CN115743974 B CN 115743974B
- Authority
- CN
- China
- Prior art keywords
- tracks
- garbage
- frame
- matching
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及垃圾回收领域，基于AI算法的智能分类回收箱智能换桶投递方法，采用如下步骤：步骤1，采用摄像头，拍摄获取回收箱投递口前方区域内的视频流；步骤2，获取视频流中的手持垃圾袋的业主，并赋予ID值；步骤3，对于视频流的ID数量进行统计，将统计出的ID数与系统预设的阈值进行比较；如视频流中的ID数量大于或等于阈值，则执行步骤4，如视频流中的ID数量小于阈值，则执行步骤5；步骤4，采用就近垃圾桶投递原则；步骤5，采用远处垃圾桶投递原则；换桶投递方法，可有效缩短了在投放业主人数多的情况下，需要等待倾倒完毕再次可投递的时间间隔，从而避免了业主因等不及而乱丢垃圾的现象。
Description
技术领域
本发明涉及垃圾回收领域，尤其涉及一种基于AI算法的智能分类回收箱智能换桶投递方法。
背景技术
当前随着垃圾分类运营服务的推广，定时定点垃圾分类投放成为新的要求。现有的智能垃圾分类箱，每个投口配一个垃圾桶，一般2～3个投口，也就是只配备2～3桶，小区一个单元大概70多户，且一个单元只配一个分类箱，分类箱的回收桶大概240L，如果每户都装满垃圾袋的话，经常容易满桶，需要垃圾回收管理员多次来回收垃圾，频繁换桶给增加了垃圾回收人员的转运次数和工作强度，同时也增加了运维成本，若满桶更换不及时，业主又会乱丢包，影响小区的卫生，美观。
而面板垃圾房，每个投口可以排列2～3个桶，但是靠近面板投口的垃圾桶满后，则需要人工更换掉满桶，还需要管理员每日定时值班，有的管理员，一个人还需要负责多个面板垃圾房，这样不仅增加了管理员的工作量，也增加了人工成本。
现有技术如公告号为“CN214216967U”的中国实用新型专利文本中记载一种垃圾分类智能设备转盘式自动换桶装置。如果采用此类自动旋转换桶技术，一个投口就需要2倍甚至更大的空间来安放旋转机构，加上有的小区横向面积已经固定，无法拓展。
在此基础上，申请人在先提交的申请号为“2022227003569”的申请案中提出了自动换桶投递的回收箱，回收箱采用承接机构直接承接垃圾并移动至对应垃圾桶上方进行投递。承接时，承接斗的接料槽朝上；投递时，驱动组件带动承接斗旋转，实现倾倒。此方案利用自动换桶技术，可以有效解决上述大部分问题。但是在投递高峰期，如果多人来投垃圾，因承接斗沿导轨移动倾倒、复位的时间间隔，则需要业主等待十几秒，这时有的业主可能比较着急，就会将垃圾乱丢在面板投口门前，为此急需一种技术来缩短多人投递时的单人投递间隔时间的策略，使业主可以快速投递，避免乱丢包现象。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于AI算法的智能分类回收箱智能换桶投递方法，可有效缩短了在投放业主人数多的情况下，需要等待倾倒完毕再次可投递的时间间隔，从而避免了业主因等不及而乱丢垃圾的现象。
本发明的实施在合法使用范围内。
为了实现上述的目的，本发明采用了以下的技术方案：
基于AI算法的智能分类回收箱智能换桶投递方法，其特征在于：采用如下步骤：
步骤1，采用摄像头，拍摄获取回收箱投递口前方区域内的视频流；
步骤2，获取视频流中的手持垃圾袋的业主，并赋予I D值；
步骤3，对于视频流的I D数量进行统计，将统计出的I D数与系统预设的阈值进行比较；如视频流中的I D数量大于或等于阈值，则执行步骤4，如视频流中的I D数量小于阈值，则执行步骤5；
步骤4，采用就近垃圾桶投递原则，包括：
步骤4.1，采用满溢传感器获取智能分类回收箱内的每个垃圾桶的当前满溢情况；
步骤4.2，判断首个垃圾桶是否满溢，如未满溢则执行步骤4.3，如满溢则执行步骤4.4；
步骤4.3，不启动垃圾承接机构，采用首个垃圾桶直接承接垃圾；
步骤4.4，启动垃圾承接机构承接垃圾，垃圾承接机构移动至与投递口最接近且未满溢的垃圾桶进行投递；
步骤5，采用远处垃圾桶投递原则，包括：
步骤5.1，采用满溢传感器获取智能分类回收箱内的每个垃圾桶的当前满溢情况；
步骤5.2，启动垃圾承接机构承接垃圾，垃圾承接机构移动至与投递口最远且未满溢的垃圾桶进行投递。
本发明采用上述技术方案，该技术方案涉及一种基于AI算法的智能分类回收箱智能换桶投递方法，该基于AI算法的智能分类回收箱智能换桶投递方法，该换桶投递方法采用摄像头拍摄后，通过图像识别和算法分析，对投放垃圾的业主I D数量进行统计，基于业主I D数量控制分类回收箱执行不同的投递策略。具体当业主I D数量大于或等于阈值时(即判断投递人数较多，属于投递高峰期)，则优先采用首个垃圾桶承接垃圾，此时无需承接机构参与，投递口打开后投入的垃圾直接进入首个垃圾桶内部，单人投递间隔时间最短。但是首个垃圾桶的容量毕竟有限，在投递高峰期首个垃圾桶已经满溢情况下，同样为了节省单人投递间隔，此时采用承接机构承接垃圾，但会控制承接机构移动至最近的未满溢垃圾桶投递，如第2个垃圾桶投递，从而亦可减少单人投递间隔。
具体当业主I D数量小于阈值时(即判断投递人数较少，属于投递空闲期)，此时有业主来投递，则采用承接机构承接垃圾，并优先移动至最远的垃圾桶进行投递，如此可将前部垃圾桶尽量空置，满足投递高峰期的投递需求。
基于上述策略，可有效缩短了在投放业主人数多的情况下，需要等待倾倒完毕再次可投递的时间间隔，从而避免了业主因等不及而乱丢垃圾的现象。
进一步地，上述方案中为了准确识别潜在投递用户，并不是将进入识别区域内的所有用户均赋予I D值，而是将是否手持垃圾袋作为主要判断依据，垃圾袋的识别判断方法可参考公开号为：CN108945885A，发明创造名称为：一种智能垃圾箱及其运行方法的在先专利文献中记载的识别方法。基于此方法，可以较为准确地判断当前所需投递垃圾的用户数量，避免I D数值赋予错误而采用错误的投递方法。
作为优选，所述步骤2具体包括
步骤2.1，对于视频流中的出现的业主进行人脸识别抓取，并进一步检测该业主手中是否持有垃圾袋；将手持垃圾袋的业主识别为潜在跟踪对象；
步骤2.2，实时动态跟踪并提取潜在跟踪对象的特征，计算视频流内的潜在跟踪对象的特征相似度，将认为不相似的潜在跟踪对象单独赋予I D值，将认为相似的潜在跟踪对象赋予同一I D值。
此方案中，步骤2.1即如上述方法中记载为了准确识别潜在投递用户，故对于视频流内部业主进行人脸识别的同时，判断业主手中是否持有垃圾袋，进一步仅对于手持垃圾袋的业主进行动态跟踪。
步骤2.2，则为了避免视频流动态跟踪时，将同一业主赋予两个或以上的I D，故需要对用户的特征相似度进行识别，确保I D赋值准确。
作为优选，所述步骤2.2中对于潜在跟踪对象的实时动态跟踪具体包括如下步骤：
(1)输入给定视频原始帧(假设第一帧就有目标框)；
(2)运行目标检测器进行检测，获取目标检测框，分配初始轨迹Tracks；
(3)将Tracks轨迹进行卡尔曼滤波预测KF pred ict，通过卡尔曼滤波预测其对应的框框。这时候的Tracks轨迹信息一定是unconfi rmed(不确认态)的；
(4)将第二帧Frame1该帧目标检测的框框和上一帧Frame0通过Tracks(轨迹信息)预测的框框进行IOU(交并集)匹配，即IOU＝Frame0帧通过卡尔曼滤波预测的业主框框与Frame1中目标检测到的框框的交集/预测框与目标检测框的并集；再通过IOU匹配的结果计算其代价矩阵；
(5)将(4)中得到的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候我们得到的结果有三种:
第一种是Tracks失配(Unmatched Tracks)，我们直接将失配的Tracks(因为这个Tracks是不确定态了，如果是确定态的话则要连续达到一定的次数(默认30次)才可以删除)删除；
第二种是Detect ions失配(Unmatched Detect ions)，我们将这样的Detections初始化为一个新的Tracks(新轨迹信息)；
第三种是Matched Tracks检测框和预测的框框配对成功，这说明我们前一帧和后一帧追踪成功，将其对应的Detect ions通过卡尔曼滤波更新其对应的Tracks轨迹信息；
(6)反复循环(4)-(5)步骤，直到出现确认态(confi rmed)的Tracks或者视频帧结束；(7)通过卡尔曼滤波预测其确认态的Tracks和不确认态的Tracks对应的框框；将确认态的Tracks的框框和是Detect ions进行级联匹配，即针对每个检测到I D都会分配一个跟踪器，每个跟踪器会设定一个参数，如果跟踪器完成匹配并进行更新，则参数会重置为0，否则就会+1；实行不同优先级的匹配，在级联匹配中，会根据这个参数来对跟踪器分先后顺序，参数小的先来匹配，参数大的后匹配；也就是给上一帧最先匹配的跟踪器高的优先权，给好几帧都没匹配上的跟踪器降低优先权；(之前每次只要Tracks匹配上都会保存Detect ions的外观特征和运动信息，默认保存前100帧，利用外观特征和运动信息和Detect ions进行级联匹配,这么做是因为确认态(confi rmed)的Tracks和Detect ions匹配的可能性更大)；
(8)进行级联匹配后有三种可能的结果：
第一种，Tracks匹配，这样的Tracks通过卡尔曼滤波更新其对应的Tracks变量；
第二第三种是Detect ions和Tracks失配，这时将之前的Unconfi rmed Tracks不确认状态的Tracks和失配的Tracks一起和Unmatched Detect ions进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵(cost matr ix，其计算方式是1-IOU)；
(9)将(8)中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候我们得到的结果有三种:
第一种是(Unmatched Tracks)Tracks失配，我们直接将失配的Tracks(因为这个Tracks是不确定态了，如果是Confi rmed确定态的话则要连续达到一定的次数(默认30次)才可以删除,如果小于一定次数，则继续对其进行卡尔曼滤波预测)删除；
第二种是Detect ions失配(Unmatched Detect ions)，我们将这样的Detections初始化为一个(new Tracks)新的Tracks；
第三种是检测框和预测的框框配对成功，这说明我们前一帧和后一帧追踪成功，将其对应的Detect ions通过卡尔曼滤波更新其对应的Tracks变量；
(10)反复循环(7)-(9)步骤，直到视频帧结束。
作为优选，所述视频动态跟踪的级联匹配具体包括如下：
(1)输入为：
1)基于第k-1帧由(KF Predict)卡尔曼滤波predict预测到的当前第k帧所有confirmed确认态的Tracks；
2)当前第k帧的所有detection；
(2)输出为：
1)match上的detection、track；
2)没有match上的track；
3)没有match上的detection；
(3)输入基于第k-1帧由(KF Predict)卡尔曼滤波predict预测到的当前第k帧所有confirmed确认态的Tracks，当前第k帧所有的detections；用外观最小余弦距离和马氏距离计算成本矩阵Cost matrix,计算图像中预测框和实际框的相似度，同时用门控矩阵来限制代价矩阵中过大的值；
代价矩阵方程：
cij＝λd(1)(t，j)+(1-λ)d(2)(t，j)
现实中使用λ＝0，因为马氏距离很远的框即便匹配成功但是阈值判断条件是不符合的，所以通过马氏距离就能把这种失误情况给剔除；所以实际中，匈牙利算法求解任务分配问题的过程中只考虑了余弦距离不再考虑马氏距离；即计算预测框和检测框的余弦距离；
cij＝d(2)(i，j)
首先计算两帧图像特征向量，然后计算两帧图像的余弦距离，如果余弦距离小于设定的阈值X，则认为匹配或关联上，即从前后两帧图的余弦距离，可以得出两张图的特征是matches还是unmatched；
而unmatched又分为unmatched tracks和unmatched detections两种情况；余弦距离超过设定的阈值，且超过30帧则认为是unmatched tracks没匹配的轨迹，则删除该轨迹tracks不再进行更新匹配；余弦距离大于设定的阈值，但不超过30帧，则认为是unmatched detections,则继续更新轨迹信息，进行循环匹配；
(4)得到初步的matches,unmatched tracks和unmatched detections结果；循环匹配，从missing age＝0每一帧都匹配上，没有丢失过到missing age＝30丢失轨迹最大时间30帧，循环和检测结果进行匹配；挑选出所有confirmed tracks,对于没有丢失过的轨迹赋予优先匹配即missing age比较小的优先匹配，丢失最久的轨迹最后匹配，即missingage较大的后匹配；这就使得在相同外观特征和马氏距离的情况下，年龄较小的跟踪器更容易匹配上；跟踪器每次预测时missing age+1；
5、卡尔曼滤波
在DeepSORT中，卡尔曼滤波需要做的事情：
(1)预测tracks在下一时刻的位置；
(2)基于detection更新预测的位置；
首先基于前一时刻的轨迹来预测当前时刻的轨迹
x′＝Fx
x为Tracks在t-1时刻的状态向量，F为状态转移矩阵，x′为预测的t时刻的状态向量；
此处的状态向量x:8个维度，X＝[cx，cy，r，h，cx′，cy′，r′，h′]
其中，cx,cy分别表示目标中心点的横坐标和纵坐标位置，r表示长宽比，h表示高，剩下4个分别是它们的导数(对应现实生活中的速度，初始为0)，在状态估计中一般状态向量是需要由状态量跟它的导数构成的；
卡尔曼滤波进行预测时采用线性匀速模型，即认为框的移动和框的尺寸、形变的变化是线性匀速变化的；
即状态转移矩阵
其中dt表示当前帧和前帧之间的差将矩阵展开发现：
(Cx)t+1＝(cxt)+dt·vx
(cy)t+1＝(cyt)+dt·vy
rt+1＝rt+dt·vr
ht+1＝ht+dt·vh
(vx)t+1＝(vx)t
(vy)t+1＝(vy)t
(vr)t+1＝(vr)t
(vh)t+1＝(vh)t。
作为优选，每个垃圾桶上方的箱体内部在导轨旁均设置有限位传感器，每个垃圾桶上方的限位传感器和满溢传感器相配对，承接机构沿导轨移动过程中触发所述限位传感器；限位传感器用于对承接机构在导轨上的位置进行反馈，当限位传感器被触发时会发送信号到控制中心，进而便于控制中心控制承接机构移动到所要投递垃圾桶的上方；实际使用时，当满溢传感器反馈其对应的垃圾桶已经满溢时，则控制中心不会控制承接机构移动至该垃圾桶上方；而当满溢传感器未反馈满溢的情况下，控制中心则可控制承接机构移动至该垃圾桶上方进行投递。此方案中，限位传感器用于反馈承接机构位置，从而使中控单元控制驱动电机将承接机构移动至对应的垃圾桶上方进行投递。
附图说明
图1为本方案中的基于AI算法的智能分类回收箱智能换桶投递方法的策略框图。
图2为换桶投递方法中的业主I D统计逻辑框图。
图3为赋予业主I D的逻辑框图。
图4为业主I D实时跟踪的逻辑框图。
图5为级联匹配的逻辑框图。
图6为级联匹配的运算框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上，除非另有明确的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
本发明的实施在合法使用范围内。
如图1-3所示，本实施例涉及基于AI算法的智能分类回收箱智能换桶投递方法，采用如下步骤：
步骤1，采用摄像头，拍摄获取回收箱投递口前方区域内的视频流；
步骤2，获取视频流中的手持垃圾袋的业主，并赋予I D值；具体包括：
步骤2.1，对于视频流中的出现的业主进行人脸识别抓取，并进一步检测该业主手中是否持有垃圾袋；将手持垃圾袋的业主识别为潜在跟踪对象；
步骤2.2，实时动态跟踪并提取潜在跟踪对象的特征，计算视频流内的潜在跟踪对象的特征相似度，将认为不相似的潜在跟踪对象单独赋予I D值，将认为相似的潜在跟踪对象赋予同一I D值。
步骤3，对于视频流的I D数量进行统计，将统计出的I D数与系统预设的阈值进行比较；如视频流中的I D数量大于或等于阈值，则执行步骤4，如视频流中的I D数量小于阈值，则执行步骤5；
步骤4，采用就近垃圾桶投递原则，包括：
步骤4.1，采用满溢传感器获取智能分类回收箱内的每个垃圾桶的当前满溢情况；
步骤4.2，判断首个垃圾桶是否满溢，如未满溢则执行步骤4.3，如满溢则执行步骤4.4；
步骤4.3，不启动垃圾承接机构，采用首个垃圾桶直接承接垃圾；
步骤4.4，启动垃圾承接机构承接垃圾，垃圾承接机构移动至与投递口最接近且未满溢的垃圾桶进行投递；
步骤5，采用远处垃圾桶投递原则，包括：
步骤5.1，采用满溢传感器获取智能分类回收箱内的每个垃圾桶的当前满溢情况；
步骤5.2，启动垃圾承接机构承接垃圾，垃圾承接机构移动至与投递口最远且未满溢的垃圾桶进行投递。
本发明采用上述技术方案，该技术方案涉及一种基于AI算法的智能分类回收箱智能换桶投递方法，该基于AI算法的智能分类回收箱智能换桶投递方法，该换桶投递方法采用摄像头拍摄后，通过图像识别和算法分析，对投放垃圾的业主I D数量进行统计，基于业主I D数量控制分类回收箱执行不同的投递策略。具体当业主I D数量大于或等于阈值时(即判断投递人数较多，属于投递高峰期)，则优先采用首个垃圾桶承接垃圾，此时无需承接机构参与，投递口打开后投入的垃圾直接进入首个垃圾桶内部，单人投递间隔时间最短。但是首个垃圾桶的容量毕竟有限，在投递高峰期首个垃圾桶已经满溢情况下，同样为了节省单人投递间隔，此时采用承接机构承接垃圾，但会控制承接机构移动至最近的未满溢垃圾桶投递，如第2个垃圾桶投递，从而亦可减少单人投递间隔。
具体当业主I D数量小于阈值时(即判断投递人数较少，属于投递空闲期)，此时有业主来投递，则采用承接机构承接垃圾，并优先移动至最远的垃圾桶进行投递，如此可将前部垃圾桶尽量空置，满足投递高峰期的投递需求。
基于上述策略，可有效缩短了在投放业主人数多的情况下，需要等待倾倒完毕再次可投递的时间间隔，从而避免了业主因等不及而乱丢垃圾的现象。
进一步地，上述方案中为了准确识别潜在投递用户，并不是将进入识别区域内的所有用户均赋予I D值，而是将是否手持垃圾袋作为主要判断依据，垃圾袋的识别判断方法可参考公开号为：CN108945885A，发明创造名称为：一种智能垃圾箱及其运行方法的在先专利文献中记载的识别方法。基于此方法，可以较为准确地判断当前所需投递垃圾的用户数量，避免I D数值赋予错误而采用错误的投递方法。
上述步骤2.1即如上述方法中记载为了准确识别潜在投递用户，故对于视频流内部业主进行人脸识别的同时，判断业主手中是否持有垃圾袋，进一步仅对于手持垃圾袋的业主进行动态跟踪。
步骤2.2，则为了避免视频流动态跟踪时，将同一业主赋予两个或以上的I D，故需要对用户的特征相似度进行识别，确保I D赋值准确。
进一步的方案中，每个垃圾桶上方的箱体内部在导轨旁均设置有限位传感器，每个垃圾桶上方的限位传感器和满溢传感器相配对，承接机构沿导轨移动过程中触发所述限位传感器；限位传感器用于对承接机构在导轨上的位置进行反馈，当限位传感器被触发时会发送信号到控制中心，进而便于控制中心控制承接机构移动到所要投递垃圾桶的上方；实际使用时，当满溢传感器反馈其对应的垃圾桶已经满溢时，则控制中心不会控制承接机构移动至该垃圾桶上方；而当满溢传感器未反馈满溢的情况下，控制中心则可控制承接机构移动至该垃圾桶上方进行投递。此方案中，限位传感器用于反馈承接机构位置，从而使中控单元控制驱动电机将承接机构移动至对应的垃圾桶上方进行投递。
如图4所示，所述步骤2.2中对于潜在跟踪对象的实时动态跟踪具体包括如下步骤：
(1)输入给定视频原始帧(假设第一帧就有目标框)；
(2)运行目标检测器进行检测，获取目标检测框，分配初始轨迹Tracks；
(3)将Tracks轨迹进行卡尔曼滤波预测KF pred ict，通过卡尔曼滤波预测其对应的框框。这时候的Tracks轨迹信息一定是unconfi rmed(不确认态)的；
(4)将第二帧Frame1该帧目标检测的框框和上一帧Frame0通过Tracks(轨迹信息)预测的框框进行IOU(交并集)匹配，即IOU＝Frame0帧通过卡尔曼滤波预测的业主框框与Frame1中目标检测到的框框的交集/预测框与目标检测框的并集；再通过IOU匹配的结果计算其代价矩阵；
(5)将(4)中得到的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候我们得到的结果有三种:
第一种是Tracks失配(Unmatched Tracks)，我们直接将失配的Tracks(因为这个Tracks是不确定态了，如果是确定态的话则要连续达到一定的次数(默认30次)才可以删除)删除；
第二种是Detect ions失配(Unmatched Detect ions)，我们将这样的Detections初始化为一个新的Tracks(新轨迹信息)；
第三种是Matched Tracks检测框和预测的框框配对成功，这说明我们前一帧和后一帧追踪成功，将其对应的Detect ions通过卡尔曼滤波更新其对应的Tracks轨迹信息；
(6)反复循环(4)-(5)步骤，直到出现确认态(confi rmed)的Tracks或者视频帧结束；(7)通过卡尔曼滤波预测其确认态的Tracks和不确认态的Tracks对应的框框；将确认态的Tracks的框框和是Detect ions进行级联匹配，即针对每个检测到I D都会分配一个跟踪器，每个跟踪器会设定一个参数，如果跟踪器完成匹配并进行更新，则参数会重置为0，否则就会+1；实行不同优先级的匹配，在级联匹配中，会根据这个参数来对跟踪器分先后顺序，参数小的先来匹配，参数大的后匹配；也就是给上一帧最先匹配的跟踪器高的优先权，给好几帧都没匹配上的跟踪器降低优先权；(之前每次只要Tracks匹配上都会保存Detect ions的外观特征和运动信息，默认保存前100帧，利用外观特征和运动信息和Detect ions进行级联匹配,这么做是因为确认态(confi rmed)的Tracks和Detect ions匹配的可能性更大)；
(8)进行级联匹配后有三种可能的结果：
第一种，Tracks匹配，这样的Tracks通过卡尔曼滤波更新其对应的Tracks变量；
第二第三种是Detect ions和Tracks失配，这时将之前的Unconfi rmed Tracks不确认状态的Tracks和失配的Tracks一起和Unmatched Detect ions进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵(cost matr ix，其计算方式是1-IOU)；
(9)将(8)中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候我们得到的结果有三种:
第一种是(Unmatched Tracks)Tracks失配，我们直接将失配的Tracks(因为这个Tracks是不确定态了，如果是Confi rmed确定态的话则要连续达到一定的次数(默认30次)才可以删除,如果小于一定次数，则继续对其进行卡尔曼滤波预测)删除；
第二种是Detect ions失配(Unmatched Detect ions)，我们将这样的Detections初始化为一个(new Tracks)新的Tracks；
第三种是检测框和预测的框框配对成功，这说明我们前一帧和后一帧追踪成功，将其对应的Detect ions通过卡尔曼滤波更新其对应的Tracks变量；
(10)反复循环(7)-(9)步骤，直到视频帧结束。
在如图5和6所示的进一步细化方案中，所述视频动态跟踪的级联匹配具体包括如下：(1)输入为：
1)基于第k-1帧由(KF Pred ict)卡尔曼滤波pred ict预测到的当前第k帧所有confi rmed确认态的Tracks；
2)当前第k帧的所有detect ion；
(2)输出为：
1)match上的detect ion、track；
2)没有match上的track；
3)没有match上的detect ion；
(3)输入基于第k-1帧由(KF Pred ict)卡尔曼滤波pred ict预测到的当前第k帧所有confi rmed确认态的Tracks，当前第k帧所有的detect ions；用外观最小余弦距离和马氏距离计算成本矩阵Cost matr ix,计算图像中预测框和实际框的相似度，同时用门控矩阵来限制代价矩阵中过大的值；
代价矩阵方程：
cij＝λd(1)(i，j)+(1-λ)d(2)(i，j)
现实中使用入＝0，因为马氏距离很远的框即便匹配成功但是阈值判断条件是不符合的，所以通过马氏距离就能把这种失误情况给剔除；所以实际中，匈牙利算法求解任务分配问题的过程中只考虑了余弦距离不再考虑马氏距离；即计算预测框和检测框的余弦距离；
cij＝d(2)(i，j)
首先计算两帧图像特征向量，然后计算两帧图像的余弦距离，如果余弦距离小于设定的阈值X，则认为匹配或关联上，即从前后两帧图的余弦距离，可以得出两张图的特征是matches还是unmatched；
而unmatched又分为unmatched tracks和unmatched detections两种情况；余弦距离超过设定的阈值，且超过30帧则认为是unmatched tracks没匹配的轨迹，则删除该轨迹tracks不再进行更新匹配；余弦距离大于设定的阈值，但不超过30帧，则认为是unmatched detections，则继续更新轨迹信息，进行循环匹配；
(4)得到初步的matches，unmatched tracks和unmatched detections结果；循环匹配，从missing age＝0每一帧都匹配上，没有丢失过到missing age＝30丢失轨迹最大时间30帧，循环和检测结果进行匹配；挑选出所有confirmed tracks，对于没有丢失过的轨迹赋予优先匹配即missing age比较小的优先匹配，丢失最久的轨迹最后匹配，即missingage较大的后匹配；这就使得在相同外观特征和马氏距离的情况下，年龄较小的跟踪器更容易匹配上；跟踪器每次预测时missing age+1；
5、卡尔曼滤波
在DeepSORT中，卡尔曼滤波需要做的事情：
(3)预测tracks在下一时刻的位置；
(4)基于detection更新预测的位置；
首先基于前一时刻的轨迹来预测当前时刻的轨迹
x′＝Px
X为Tracks在t-1时刻的状态向量，F为状态转移矩阵，x′为预测的t时刻的状态向量；
此处的状态向量x:8个维度，x＝[cx，cy，r，h，cx′，cy′，r′，h′]
其中，cx,cy分别表示目标中心点的横坐标和纵坐标位置，r表示长宽比，h表示高，剩下4个分别是它们的导数(对应现实生活中的速度，初始为0)，在状态估计中一般状态向量是需要由状态量跟它的导数构成的；
卡尔曼滤波进行预测时采用线性匀速模型，即认为框的移动和框的尺寸、形变的变化是线性匀速变化的；
即状态转移矩阵
其中dt表示当前帧和前帧之间的差将矩阵展开发现：
(Cx)t+1＝(cxt)+dt·vx
(cy)t+1＝(cyt)+dt·vy
rt+1＝rt+dt·vr
ht+1＝ht+dt·vh
(vx)t+1＝(vx)t
(vy)t+1＝(vy)t
(vr)t+1＝(vr)t
(vh)t+1＝(vh)t。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.基于AI算法的智能分类回收箱智能换桶投递方法，其特征在于：采用如下步骤：
步骤1，采用摄像头，拍摄获取回收箱投递口前方区域内的视频流；
步骤2，获取视频流中的手持垃圾袋的业主，并赋予ID值；
步骤3，对于视频流的ID数量进行统计，将统计出的ID数与系统预设的阈值进行比较；如视频流中的ID数量大于或等于阈值，则执行步骤4，如视频流中的ID数量小于阈值，则执行步骤5；
步骤4，采用就近垃圾桶投递原则，包括：
步骤4.1，采用满溢传感器获取智能分类回收箱内的每个垃圾桶的当前满溢情况；
步骤4.2，判断首个垃圾桶是否满溢，如未满溢则执行步骤4.3，如满溢则执行步骤4.4；
步骤4.3，不启动垃圾承接机构，采用首个垃圾桶直接承接垃圾；
步骤4.4，启动垃圾承接机构承接垃圾，垃圾承接机构移动至与投递口最接近且未满溢的垃圾桶进行投递；
步骤5，采用远处垃圾桶投递原则，包括：
步骤5.1，采用满溢传感器获取智能分类回收箱内的每个垃圾桶的当前满溢情况；
步骤5.2，启动垃圾承接机构承接垃圾，垃圾承接机构移动至与投递口最远且未满溢的垃圾桶进行投递。
2.根据权利要求1所述的基于AI算法的智能分类回收箱智能换桶投递方法，其特征在于：所述步骤2具体包括
步骤2.1，对于视频流中的出现的业主进行人脸识别抓取，并进一步检测该业主手中是否持有垃圾袋；将手持垃圾袋的业主识别为潜在跟踪对象；
步骤2.2，实时动态跟踪并提取潜在跟踪对象的特征，计算视频流内的潜在跟踪对象的特征相似度，将认为不相似的潜在跟踪对象单独赋予ID值，将认为相似的潜在跟踪对象赋予同一ID值。
3.根据权利要求2所述的基于AI算法的智能分类回收箱智能换桶投递方法，其特征在于：所述步骤2.2中对于潜在跟踪对象的实时动态跟踪具体包括如下步骤：
(1)输入给定视频原始帧，假设第一帧就有目标框；
(2)运行目标检测器进行检测，获取目标检测框，分配初始轨迹Tracks；
(3)将Tracks轨迹进行卡尔曼滤波预测KF predict，通过卡尔曼滤波预测其对应的框框；这时候的Tracks轨迹信息一定是unconfirmed的；
(4)将目标检测获取的第二帧Frame1的框框和上一帧Frame0通过Tracks预测的框框进行IOU交并集匹配，即IOU＝Frame0帧通过卡尔曼滤波预测的业主框框与Frame1中目标检测到的框框的交集/预测框与目标检测框的并集；再通过IOU匹配的结果计算其代价矩阵；
(5)将(4)中得到的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候我们得到的结果有三种:
第一种是Tracks失配，直接将失配的Tracks删除；
第二种是Detections失配，我们将这样的Detections初始化为一个新的Tracks；
第三种是Matched Tracks检测框和预测的框框配对成功，这说明我们前一帧和后一帧追踪成功，将其对应的Detections通过卡尔曼滤波更新其对应的Tracks轨迹信息；
(6)反复循环(4)-(5)步骤，直到出现确认态的Tracks或者视频帧结束；
(7)通过卡尔曼滤波预测其确认态的Tracks和不确认态的Tracks对应的框框；将确认态的Tracks的框框和是Detections进行级联匹配，即针对每个检测到ID都会分配一个跟踪器，每个跟踪器会设定一个参数，如果跟踪器完成匹配并进行更新，则参数会重置为0，否则就会+1；实行不同优先级的匹配，在级联匹配中，会根据这个参数来对跟踪器分先后顺序，参数小的先来匹配，参数大的后匹配；也就是给上一帧最先匹配的跟踪器高的优先权，给好几帧都没匹配上的跟踪器降低优先权；之前每次只要Tracks匹配上都会保存Detections的外观特征和运动信息，默认保存前100帧，利用外观特征和运动信息和Detections进行级联匹配,这么做是因为确认态的Tracks和Detections匹配的可能性更大；
(8)进行级联匹配后有三种可能的结果：
第一种，Tracks匹配，这样的Tracks通过卡尔曼滤波更新其对应的Tracks变量；
第二种是Detections失配，第三种是Tracks失配，这时将之前的Unconfirmed Tracks不确认状态的Tracks和失配的Tracks一起和Unmatched Detections进行IOU匹配，再通过IOU匹配的结果计算其代价矩阵：cost matrix，其计算方式是1-IOU；
(9)将(8)中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性的匹配的结果，这时候我们得到的结果有三种:
第一种是Tracks失配，我们直接将失配的Tracks删除；
第二种是Detections失配，我们将这样的Detections初始化为一个新的Tracks；
第三种是检测框和预测的框框配对成功，这说明我们前一帧和后一帧追踪成功，将其对应的Detections通过卡尔曼滤波更新其对应的Tracks变量；
(10)反复循环(7)-(9)步骤，直到视频帧结束。
4.根据权利要求3所述的基于AI算法的智能分类回收箱智能换桶投递方法，其特征在于：视频动态跟踪的级联匹配具体包括如下：
(1)输入为：
1)基于第k-1帧由卡尔曼滤波predict预测到的当前第k帧所有confirmed确认态的Tracks；
2)当前第k帧的所有detection；
(2)输出为：
1)match上的detection、track；
2)没有match上的track；
3)没有match上的detection；
(3)输入基于第k-1帧由卡尔曼滤波predict预测到的当前第k帧所有confirmed确认态的Tracks，当前第k帧所有的detections；用外观最小余弦距离和马氏距离计算成本矩阵Cost matrix,计算图像中预测框和实际框的相似度，同时用门控矩阵来限制代价矩阵中过大的值；
代价矩阵方程：
现实中使用λ＝0，因为马氏距离很远的框即便匹配成功但是阈值判断条件是不符合的，所以通过马氏距离就能把这种失误情况给剔除；所以实际中，匈牙利算法求解任务分配问题的过程中只考虑了余弦距离不再考虑马氏距离；即计算预测框和检测框的余弦距离；
cij＝d(2)(i，j)
首先计算两帧图像特征向量，然后计算两帧图像的余弦距离，如果余弦距离小于设定的阈值X，则认为匹配或关联上，即从前后两帧图的余弦距离，可以得出两张图的特征是matches还是unmatched；
而unmatched又分为unmatched tracks和unmatched detections两种情况；余弦距离超过设定的阈值，且超过30帧则认为是unmatched tracks没匹配的轨迹，则删除该轨迹tracks不再进行更新匹配；余弦距离大于设定的阈值，但不超过30帧，则认为是unmatcheddetections,则继续更新轨迹信息，进行循环匹配；
(4)得到初步的matches,unmatched tracks和unmatched detections结果；循环匹配，从missing age＝0每一帧都匹配上，没有丢失过到missing age＝30丢失轨迹最大时间30帧，循环和检测结果进行匹配；挑选出所有confirmed tracks,对于没有丢失过的轨迹赋予优先匹配即missing age比较小的优先匹配，丢失最久的轨迹最后匹配，即missing age较大的后匹配；这就使得在相同外观特征和马氏距离的情况下，年龄较小的跟踪器更容易匹配上；跟踪器每次预测时missing age+1；
(5)卡尔曼滤波
在DeepSORT中，卡尔曼滤波需要做的事情：
1)预测tracks在下一时刻的位置；
2)基于detection更新预测的位置；
首先基于前一时刻的轨迹来预测当前时刻的轨迹
x′＝Fx
x为Tracks在t-1时刻的状态向量，F为状态转移矩阵，x′为预测的t时刻的状态向量；
此处的状态向量x:8个维度，x＝[cx，cy，r，h，cx′，cy′，r′，h′]
其中，cx,cy分别表示目标中心点的横坐标和纵坐标位置，r表示长宽比，h表示高，剩下4个分别是它们的导数，对应现实生活中的速度，初始为0，在状态估计中一般状态向量是需要由状态量跟它的导数构成的；
卡尔曼滤波进行预测时采用线性匀速模型，即认为框的移动和框的尺寸、形变的变化是线性匀速变化的；
即状态转移矩阵
其中dt表示当前帧和前帧之间的差将矩阵展开发现：
(Cx)t+1＝(cx)t+dt·vx
(cy)t+1＝(cy)t+dt·vy
rt+1＝rt+dt·vr
ht+1＝ht+dt·vh
(vx)t+1＝(vx)t
(vy)t+1＝(vy)t
(vr)t+1＝(vr)t
(vh)t+1＝(vh)t。
5.根据权利要求1所述的基于AI算法的智能分类回收箱智能换桶投递方法，其特征在于：每个垃圾桶上方的箱体内部在承接机构所移动的导轨旁均设置有限位传感器，每个垃圾桶上方的限位传感器和满溢传感器相配对，承接机构沿导轨移动过程中触发所述限位传感器；限位传感器用于对承接机构在导轨上的位置进行反馈，当限位传感器被触发时会发送信号到控制中心，进而便于控制中心控制承接机构移动到所要投递垃圾桶的上方；实际使用时，当满溢传感器反馈其对应的垃圾桶已经满溢时，则控制中心不会控制承接机构移动至该垃圾桶上方；而当满溢传感器未反馈满溢的情况下，控制中心则可控制承接机构移动至该垃圾桶上方进行投递。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211529786.7A CN115743974B (zh) | 2022-11-30 | 2022-11-30 | 基于ai算法的智能分类回收箱智能换桶投递方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211529786.7A CN115743974B (zh) | 2022-11-30 | 2022-11-30 | 基于ai算法的智能分类回收箱智能换桶投递方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115743974A CN115743974A (zh) | 2023-03-07 |
| CN115743974B true CN115743974B (zh) | 2023-09-01 |
Family
ID=85342148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211529786.7A Active CN115743974B (zh) | 2022-11-30 | 2022-11-30 | 基于ai算法的智能分类回收箱智能换桶投递方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115743974B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345096A (zh) * | 2018-09-18 | 2019-02-15 | 浙江同美环境科技集团有限公司 | 城市生活垃圾清运调度系统 |
| AU2019100273A4 (en) * | 2019-03-15 | 2019-05-02 | Data One Technologies Pty Ltd | BinWin is a modern-day waste collection technology enabling councils and waste management authorities to manage waste effectively. The framework consists of IoT, AI, mobile & web applications integrated to monitor, track, and plan. The bins ensure eco-friendliness by keeping a constant check on fill levels enabling waste collection on a needs basis preventing over-flow, maintaining a hygienic environment using solar self-charging capability. BinWin promises to increase operational efficiencies in the waste collection chain, reducing cost and labour associated with rubbish collection & removal. |
| CN111232470A (zh) * | 2020-02-23 | 2020-06-05 | 福州准点信息科技有限公司 | 一种社区袋装垃圾自动分类投放和监测系统 |
| CN212607283U (zh) * | 2020-04-30 | 2021-02-26 | 苏州科技大学 | 垃圾箱系统及公园垃圾智能化综合管理系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI20095369A0 (fi) * | 2009-04-03 | 2009-04-03 | Maricap Oy | Menetelmä ja väline jätteenkäsittelyssä |
| CN112429431A (zh) * | 2020-11-10 | 2021-03-02 | 武汉嵘源科技有限公司 | 一种自动感应式智能垃圾桶控制系统 |
| CN112278668B (zh) * | 2020-12-23 | 2021-07-23 | 福建工蜂物联科技有限公司 | 垃圾投放管理方法、系统、装置 |
| CN217806586U (zh) * | 2022-06-21 | 2022-11-15 | 浙江联运知慧科技有限公司 | 具有自动换桶投放的垃圾箱 |
-
2022
- 2022-11-30 CN CN202211529786.7A patent/CN115743974B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345096A (zh) * | 2018-09-18 | 2019-02-15 | 浙江同美环境科技集团有限公司 | 城市生活垃圾清运调度系统 |
| AU2019100273A4 (en) * | 2019-03-15 | 2019-05-02 | Data One Technologies Pty Ltd | BinWin is a modern-day waste collection technology enabling councils and waste management authorities to manage waste effectively. The framework consists of IoT, AI, mobile & web applications integrated to monitor, track, and plan. The bins ensure eco-friendliness by keeping a constant check on fill levels enabling waste collection on a needs basis preventing over-flow, maintaining a hygienic environment using solar self-charging capability. BinWin promises to increase operational efficiencies in the waste collection chain, reducing cost and labour associated with rubbish collection & removal. |
| CN111232470A (zh) * | 2020-02-23 | 2020-06-05 | 福州准点信息科技有限公司 | 一种社区袋装垃圾自动分类投放和监测系统 |
| CN212607283U (zh) * | 2020-04-30 | 2021-02-26 | 苏州科技大学 | 垃圾箱系统及公园垃圾智能化综合管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115743974A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11527072B2 (en) | Systems and methods for detecting waste receptacles using convolutional neural networks | |
| KR102055782B1 (ko) | 자율주행 로봇을 이용한 중앙집중형 거점식 자동쓰레기 이송 집하 개선시스템 | |
| CN105584910B (zh) | 在群电梯系统中调度电梯轿厢的方法和系统 | |
| CN110053903A (zh) | 生活垃圾分类回收管理系统及方法 | |
| CN110171660A (zh) | 货物分拣系统及货物分拣方法 | |
| CN110844403B (zh) | 一种基于目标识别的垃圾分类识别方法及装置 | |
| CN108256554A (zh) | 基于深度学习的车辆逆向停车判断方法、服务器及系统 | |
| CN102129785A (zh) | 大场景停车场智能管理系统 | |
| KR102137096B1 (ko) | 이동중 안전과 방범 기능이 구비된 자율주행 로봇을 이용한 중앙집중형 거점식 자동쓰레기 이송집하시스템 | |
| CN115759492B (zh) | 一种基于卷积神经网络算法的仓储管理方法及系统 | |
| CN208394111U (zh) | 一种城市居民可回收垃圾自动智能上门收集及运输系统 | |
| CN115743974B (zh) | 基于ai算法的智能分类回收箱智能换桶投递方法 | |
| CN110921154A (zh) | 一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车 | |
| CN107123076A (zh) | 一种垃圾管理系统及垃圾管理方法 | |
| CN115034415A (zh) | 一种智能厨余垃圾回收物联网系统 | |
| CN112766096A (zh) | 可回收垃圾异常投递识别方法、系统、终端及投放装置 | |
| CN112364742A (zh) | 一种车位管理方法、装置、计算机设备及存储介质 | |
| CN111453267A (zh) | 一种垃圾回收方法、垃圾回收装置和垃圾回收无人车 | |
| CN112906565B (zh) | 一种基于智慧城市的社区垃圾投递溯源系统 | |
| CN107399534A (zh) | 一种可监控式垃圾分类回收系统 | |
| CN111196454A (zh) | 一种基于机器学习的垃圾分类系统 | |
| CN116128401A (zh) | 一种智能堆场卸料管理方法及其系统 | |
| CN212333579U (zh) | 一种基于机器学习的垃圾分类系统 | |
| CN111784741B (zh) | 一种目标跨镜布控追踪的方法和系统 | |
| CN115465585A (zh) | 废弃物收集系统及废弃物收集方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |