CN114821283A - 一种基于视觉感知的清扫车垃圾清扫方法及系统 - Google Patents

一种基于视觉感知的清扫车垃圾清扫方法及系统 Download PDF

Info

Publication number
CN114821283A
CN114821283A CN202210744791.3A CN202210744791A CN114821283A CN 114821283 A CN114821283 A CN 114821283A CN 202210744791 A CN202210744791 A CN 202210744791A CN 114821283 A CN114821283 A CN 114821283A
Authority
CN
China
Prior art keywords
garbage
pixel block
target
image
corrosion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210744791.3A
Other languages
English (en)
Other versions
CN114821283B (zh
Inventor
焦兴健
赵捍东
宋媛媛
崔红光
宋宁宁
张宝生
祝玉鲁
田国政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shiweipu Environmental Protection Technology Co ltd
Original Assignee
Shandong Shiweipu Environmental Protection Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shiweipu Environmental Protection Technology Co ltd filed Critical Shandong Shiweipu Environmental Protection Technology Co ltd
Priority to CN202210744791.3A priority Critical patent/CN114821283B/zh
Publication of CN114821283A publication Critical patent/CN114821283A/zh
Application granted granted Critical
Publication of CN114821283B publication Critical patent/CN114821283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
    • E01H1/00—Removing undesirable matter from roads or like surfaces, with or without moistening of the surface
    • E01H1/005—Mobile installations, particularly for upkeeping in situ road or railway furniture, for instance road barricades, traffic signs; Mobile installations particularly for upkeeping tunnel walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Abstract

本公开涉及图像数据处理技术领域，具体涉及一种基于视觉感知的清扫车垃圾清扫方法及系统，该方法包括：获取目标图像序列，然后，对目标图像序列中的每个目标图像进行预处理，确定目标图像对应的垃圾轮廓图像；确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量；预测目标时间间隔后各个垃圾轮廓对应的位置；确定第二相机所需移动的位移；移动第二相机；调节目标清扫车的扫盘档位，清扫类别垃圾集合中各个类别垃圾。因此，本公开提供的方法采用图像数据处理的方式，进行相关的图像数据处理，解决了路面垃圾处理的准确度低下的技术问题，产生了提高了路面垃圾处理的准确度的技术效果。

Description

一种基于视觉感知的清扫车垃圾清扫方法及系统
技术领域
本公开涉及图像数据处理技术领域，具体涉及一种基于视觉感知的清扫车垃圾清扫方法及系统。
背景技术
垃圾清扫对环境清洁至关重要。目前，在进行垃圾清扫时，通常采用的方式为：在预设路况下，通过人工驾驶清扫车采用同一个扫盘档位进行垃圾清理。
然而，当采用上述方式时，经常会存在如下技术问题：
由于驾驶人员往往需要时刻观察道路路况，专心开车，保障驾驶安全，往往不能实时监控路面垃圾情况，往往导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下。其中，路面垃圾处理可以是对路面垃圾的清理。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开提出了一种基于视觉感知的清扫车垃圾清扫方法，来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面，本公开提供了一种基于视觉感知的清扫车垃圾清扫的方法，该方法包括：通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列；根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列；根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置；对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合；根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移；根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像；根据上述垃圾图像，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。
第二方面，本公开提供了一种基于视觉感知的清扫车垃圾清扫系统，包括处理器和存储器，上述处理器用于处理存储在上述存储器中的指令以实现上述的基于视觉感知的清扫车垃圾清扫方法。
本公开具有如下有益效果：通过本公开的基于视觉感知的清扫车垃圾清扫方法，提高了路面垃圾识别和处理的准确度。具体来说，导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下的原因在于：由于驾驶人员往往需要时刻观察道路路况，专心开车，保障驾驶安全，往往不能实时监控路面垃圾情况，往往导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下。因此，当人工驾驶清扫车采用同一个扫盘档位进行垃圾清理时，往往导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下。基于此，本公开的基于视觉感知的清扫车垃圾清扫方法，采用图像数据处理的方式，进行相关的图像数据处理，解决了路面垃圾识别和处理的准确度低下的技术问题，产生了提高了路面垃圾识别和处理的准确度的技术效果。首先，通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列。由于驾驶人员往往需要时刻观察道路路况，专心开车，保障驾驶安全，往往不能实时监控路面垃圾情况，通过实时拍摄目标图像可以实现对路况的实时监控，可以实时监控路面垃圾情况。其次，根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列。接着，根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置。通过运动矢量预测目标时间间隔后各个垃圾轮廓对应的位置，提高了位置预测的准确性。然后，对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合。对垃圾进行聚类，可以明确垃圾种类。之后，根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移。通过移动第二相机，可以改变拍摄的垃圾轮廓的大小。比如，第二相机向左移动时，拍摄物体左边的轮廓会变大，而拍摄的右侧的轮廓会变小。相反的，第二相机右移时，拍摄物体左边的轮廓会变小，右边的轮廓变大。而后，根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像。通过移动第二相机可以采集包括的垃圾信息比较全面的垃圾图像。最后，根据上述垃圾图像，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。可以实时监控路面垃圾情况，提高了路面垃圾识别和处理的准确度。
进一步的，上述对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，包括：
标记分割上述目标图像中的各个垃圾区域，得到上述目标图像对应的垃圾区域图像；
对上述目标图像对应的垃圾区域图像中的各个垃圾区域进行边缘检测，得到上述目标图像对应的垃圾轮廓图像。
进一步的，上述根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列，包括：
根据目标清扫车的运动速度，确定第一运动矢量准确性；
对垃圾轮廓图像序列中的每个垃圾轮廓图像中的各个垃圾轮廓进行腐蚀操作，确定上述垃圾轮廓图像对应的垃圾腐蚀轮廓图像，得到垃圾腐蚀轮廓图像序列；
对垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像包含的各个垃圾腐蚀轮廓划分成多个预设大小的像素块，确定上述垃圾腐蚀轮廓图像对应的像素块组集合；
通过合并相似性公式，确定上述像素块组集合中相邻两个像素块的合并相似性，上述合并相似性公式为：
Figure 100002_DEST_PATH_IMAGE001
其中，
Figure 996678DEST_PATH_IMAGE002
是合并代替次数相关系数，
Figure 100002_DEST_PATH_IMAGE003
是与上述像素块组集合中相邻两个像素块的左边相邻的像素块的合并次数，
Figure 599698DEST_PATH_IMAGE004
是与上述像素块组集合中相邻两个像素块的右边相邻的像素块的合并次数，
Figure 100002_DEST_PATH_IMAGE005
是
Figure 571065DEST_PATH_IMAGE006
与
Figure 100002_DEST_PATH_IMAGE007
进行与运算得到的
Figure 702969DEST_PATH_IMAGE008
矩阵，
Figure 963049DEST_PATH_IMAGE006
与
Figure 340066DEST_PATH_IMAGE007
分别是上述像素块组集合中相邻两个像素块的
Figure 369202DEST_PATH_IMAGE008
邻域内是否存在像素块的位置矩阵，位置矩阵是
Figure 91914DEST_PATH_IMAGE008
矩阵，位置矩阵中对应的值为1的元素对应的邻域存在像素块，位置矩阵中对应的值为0的元素对应的邻域不存在像素块，位置矩阵中的元素对应的值由0或1构成，
Figure 100002_DEST_PATH_IMAGE009
是与运算，
Figure 104869DEST_PATH_IMAGE010
是上述像素块组集合中相邻两个像素块的相似度，
Figure 100002_DEST_PATH_IMAGE011
是矩阵
Figure 315271DEST_PATH_IMAGE005
中第
Figure 198913DEST_PATH_IMAGE012
行第
Figure 100002_DEST_PATH_IMAGE013
列元素对应的值，
Figure 938199DEST_PATH_IMAGE014
是上述像素块组集合中相邻两个像素块的合并意愿，
Figure 674336DEST_PATH_IMAGE014
用于判断上述像素块组集合中相邻两个像素块是否可以合并，
Figure 100002_DEST_PATH_IMAGE015
和
Figure 157270DEST_PATH_IMAGE016
分别是上述像素块组集合中相邻两个像素块在对应的
Figure 160998DEST_PATH_IMAGE008
邻域内包含的像素块的数量；
响应于上述像素块组集合中相邻两个像素块的合并相似性大于预设合并阈值，将上述像素块组集合中相邻两个像素块进行合并，其中，进行合并的像素块对应的运动矢量一样；
从垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像对应的像素块组集合中筛选出满足目标筛选条件的像素块，确定上述垃圾腐蚀轮廓图像对应的目标像素块组集合，其中，上述目标筛选条件是像素块组集合中的像素块对应的运动矢量不同，目标像素块组集合是像素块组集合中去除了进行合并的像素块；
根据高斯模板，确定垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口，上述高斯模板为：
Figure 805606DEST_PATH_IMAGE018
其中，上述高斯模板是
Figure 261995DEST_PATH_IMAGE008
矩阵；
根据垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口，通过第二运动矢量公式，确定上述目标像素块对应的第二运动矢量准确性，上述第二运动矢量公式为：
Figure 17462DEST_PATH_IMAGE020
其中，
Figure 100002_DEST_PATH_IMAGE021
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内第
Figure 905390DEST_PATH_IMAGE022
个目标像素块的高斯权值，
Figure 100002_DEST_PATH_IMAGE023
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内像素块的数量，
Figure 48795DEST_PATH_IMAGE024
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块对应的在垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的后一帧垃圾腐蚀轮廓图像上位置的目标像素块对应的第二运动矢量准确性；
根据垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口和第二运动矢量准确性，确定上述目标像素块对应的预测运动矢量；
根据上述第一运动矢量准确性和垃圾轮廓图像序列中的垃圾轮廓图像对应的目标像素块组集合中的每个目标像素块对应的第二运动矢量准确性，确定上述目标像素块对应的运动矢量总准确性；
根据垃圾轮廓图像序列中的垃圾轮廓图像对应的目标像素块组集合中的每个目标像素块对应的运动矢量总准确性，确定上述目标像素块所在的搜索窗口的大小；
根据垃圾轮廓图像序列中的垃圾轮廓图像内每个目标像素块所在的搜索窗口的大小，确定上述目标像素块对应的运动矢量。
进一步的，上述确定上述目标像素块对应的预测运动矢量对应的公式为：
Figure 195743DEST_PATH_IMAGE026
其中，
Figure 286059DEST_PATH_IMAGE021
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内第
Figure 998800DEST_PATH_IMAGE022
个目标像素块的高斯权值，
Figure 486675DEST_PATH_IMAGE023
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内像素块的数量，
Figure 917656DEST_PATH_IMAGE024
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块对应的在垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的后一帧垃圾腐蚀轮廓图像上位置的目标像素块对应的第二运动矢量准确性，
Figure 100002_DEST_PATH_IMAGE027
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内第
Figure 546084DEST_PATH_IMAGE022
个目标像素块对应的运动矢量，
Figure 113331DEST_PATH_IMAGE028
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块对应的在垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的后一帧垃圾腐蚀轮廓图像上位置的目标像素块对应的预测运动矢量。
进一步的，上述确定上述目标像素块对应的运动矢量总准确性对应的公式为：
Figure 270643DEST_PATH_IMAGE030
其中，
Figure 100002_DEST_PATH_IMAGE031
是上述第一运动矢量准确性，
Figure 720079DEST_PATH_IMAGE032
是上述目标像素块对应的第二运动矢量准确性，
Figure 100002_DEST_PATH_IMAGE033
是上述目标像素块对应的运动矢量总准确性。
进一步的，上述确定上述目标像素块所在的搜索窗口的大小对应的公式为：
Figure 100002_DEST_PATH_IMAGE035
其中，
Figure 650733DEST_PATH_IMAGE033
是上述目标像素块对应的运动矢量总准确性，
Figure 338066DEST_PATH_IMAGE036
是上述目标像素块所在的搜索窗口的边长，
Figure 100002_DEST_PATH_IMAGE037
是上述目标像素块对应的预测运动矢量。
进一步的，上述根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置，包括：
根据目标时间间隔、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像内每个目标像素块对应的运动矢量和位置，通过预测位置公式，预测上述目标像素块在目标时间间隔后对应的位置，上述预测位置公式为：
Figure 100002_DEST_PATH_IMAGE039
其中，
Figure 994175DEST_PATH_IMAGE040
是上述目标像素块在目标时间间隔后对应的位置，
Figure 100002_DEST_PATH_IMAGE041
是上述目标像素块对应的位置，
Figure 166793DEST_PATH_IMAGE042
是目标时间间隔，
Figure 100002_DEST_PATH_IMAGE043
是上述目标像素块对应的运动矢量。
进一步的，上述根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移，包括：
确定类别垃圾组集合中每个类别垃圾组中各个类别垃圾的总面积，得到总面积集合；
从上述总面积集合中筛选出总面积最小的总面积，作为待放大垃圾轮廓面积；
根据上述待放大垃圾轮廓面积和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机位移。
进一步的，上述确定第二相机位移对应的公式为：
Figure 100002_DEST_PATH_IMAGE045
其中，
Figure 933761DEST_PATH_IMAGE046
是上述待放大垃圾轮廓面积对应的类别垃圾组中第
Figure 475600DEST_PATH_IMAGE012
个类别垃圾对应的目标时间间隔后的类别垃圾的中心点的横坐标，
Figure 100002_DEST_PATH_IMAGE047
是垃圾腐蚀轮廓图像序列中的最后一帧垃圾轮廓图像对应的目标时间间隔后的图像的中心点的横坐标，
Figure 505873DEST_PATH_IMAGE048
是上述待放大垃圾轮廓面积对应的类别垃圾组中第
Figure 133164DEST_PATH_IMAGE012
个类别垃圾对应的目标时间间隔后的类别垃圾关于位置的参数，
Figure 100002_DEST_PATH_IMAGE049
是上述待放大垃圾轮廓面积，
Figure 140041DEST_PATH_IMAGE050
是上述待放大垃圾轮廓面积对应的类别垃圾组中类别垃圾的数量，
Figure 100002_DEST_PATH_IMAGE051
是上述待放大垃圾轮廓面积对应的类别垃圾组中第
Figure 333125DEST_PATH_IMAGE012
个类别垃圾对应的目标时间间隔后的类别垃圾的轮廓面积，
Figure 206403DEST_PATH_IMAGE052
是第二相机位移。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为根据本公开的基于视觉感知的清扫车垃圾清扫方法的一些实施例的流程图。
具体实施方式
为了更进一步阐述本公开为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本公开提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。
本实施例提供了一种基于视觉感知的清扫车垃圾清扫方法，该方法包括以下步骤：
通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列；
根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列；
根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置；
对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合；
根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移；
根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像；
根据上述垃圾图像，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。
下面对上述各个步骤进行详细展开：
参考图1，示出了根据本公开的基于视觉感知的清扫车垃圾清扫方法的一些实施例的流程。该基于视觉感知的清扫车垃圾清扫方法，包括以下步骤：
步骤S1，通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列。
在一些实施例中，基于视觉感知的清扫车垃圾清扫方法的执行主体（例如计算设备）可以通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列。
需要说明的是，上述计算设备可以是硬件，也可以是软件。当计算设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
其中，第一相机可以是固定在目标清扫车的前方的摄像机。第一相机可以用于拍摄目标清扫车的前方道路垃圾状况的相机。目标清扫车可以是固定有第一相机和第二相机，用于清扫垃圾的车辆。第二相机可以是在目标清扫车的前方可以左右移动的摄像机。第二相机的初始位置可以是在第一相机的上方。目标图像序列中的目标图像可以是第一相机拍摄的目标清扫车的前方道路垃圾状况的图像。第一相机采集目标图像序列中每相邻的两个目标图像之间的时间间隔可以相同。
作为示例，本步骤可以包括以下步骤：
第一步，通过第一相机获取目标图像序列。
第二步，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列。
例如，本步骤可以包括以下子步骤：
第一子步骤，标记分割上述目标图像中的各个垃圾区域，得到上述目标图像对应的垃圾区域图像。
比如，上述执行主体可以通过语义分割方法，将上述目标图像中的各个垃圾区域识别出来，得到上述目标图像对应的垃圾区域图像。
第二子步骤，对上述目标图像对应的垃圾区域图像中的各个垃圾区域进行边缘检测，得到上述目标图像对应的垃圾轮廓图像。
比如，上述执行主体可以通过边缘检测算法，对上述目标图像对应的垃圾区域图像中的各个垃圾区域进行边缘检测，得到上述目标图像对应的垃圾轮廓图像。
步骤S2，根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列。
在一些实施例中，上述执行主体可以根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列。
其中，垃圾轮廓可以是垃圾区域的边缘。垃圾轮廓图像序列中的第一帧垃圾轮廓图像中的垃圾轮廓没有对应的运动矢量。可以根据第一帧垃圾轮廓图像，确定垃圾轮廓图像序列中的第二帧垃圾轮廓图像中的垃圾轮廓对应的运动矢量。垃圾轮廓图像序列中的第三帧及第三帧以后的垃圾轮廓图像中的垃圾轮廓对应的运动矢量，可以通过以下方式确定。
作为示例，本步骤可以包括以下步骤：
第一步，根据目标清扫车的运动速度，确定第一运动矢量准确性。
其中，上述第一运动矢量准确性可以表征运动矢量计算的准确性。
例如，上述执行主体可以根据目标清扫车的运动速度，通过以下公式，确定第一运动矢量准确性：
Figure 117727DEST_PATH_IMAGE054
其中，
Figure DEST_PATH_IMAGE055
是上述第一运动矢量准确性。
Figure 429760DEST_PATH_IMAGE056
是目标清扫车的运动速度。
目标清扫车的运动速度越慢，计算的运动矢量往往越准确。
第二步，对垃圾轮廓图像序列中的每个垃圾轮廓图像中的各个垃圾轮廓进行腐蚀操作，确定上述垃圾轮廓图像对应的垃圾腐蚀轮廓图像，得到垃圾腐蚀轮廓图像序列。
其中，上述腐蚀操作可以包括预设次数的图像腐蚀操作。上述预设次数可以是5次。
第三步，对垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像包含的各个垃圾腐蚀轮廓划分成多个预设大小的像素块，确定上述垃圾腐蚀轮廓图像对应的像素块组集合。
其中，像素块的形状可以是正方形。上述预设大小可以是预先设置的大小。垃圾腐蚀轮廓图像对应的像素块组集合中的像素块组可以由垃圾腐蚀轮廓图像中的一个垃圾腐蚀轮廓上的所有的像素块组成。垃圾腐蚀轮廓可以是腐蚀后的垃圾轮廓。
第四步，通过合并相似性公式，确定上述像素块组集合中相邻两个像素块的合并相似性，上述合并相似性公式为：
Figure 447656DEST_PATH_IMAGE001
其中，
Figure 288573DEST_PATH_IMAGE002
是合并代替次数相关系数。
Figure 890456DEST_PATH_IMAGE003
是与上述像素块组集合中相邻两个像素块的左边相邻的像素块的合并次数。
Figure 209442DEST_PATH_IMAGE004
是与上述像素块组集合中相邻两个像素块的右边相邻的像素块的合并次数。
Figure 580380DEST_PATH_IMAGE005
是
Figure 388936DEST_PATH_IMAGE006
与
Figure 415798DEST_PATH_IMAGE007
进行与运算得到的
Figure 364906DEST_PATH_IMAGE008
矩阵。
Figure 855931DEST_PATH_IMAGE006
与
Figure 773071DEST_PATH_IMAGE007
分别是上述像素块组集合中相邻两个像素块的
Figure 349546DEST_PATH_IMAGE008
邻域内是否存在像素块的位置矩阵。位置矩阵是
Figure 72651DEST_PATH_IMAGE008
矩阵。位置矩阵中对应的值为1的元素对应的邻域存在像素块。位置矩阵中对应的值为0的元素对应的邻域不存在像素块。位置矩阵中的元素对应的值由0或1构成。
Figure 152603DEST_PATH_IMAGE009
是与运算。
Figure 273268DEST_PATH_IMAGE010
是上述像素块组集合中相邻两个像素块的相似度。
Figure 71459DEST_PATH_IMAGE011
是矩阵
Figure 67097DEST_PATH_IMAGE005
中第
Figure 470397DEST_PATH_IMAGE012
行第
Figure 260498DEST_PATH_IMAGE013
列元素对应的值。
Figure 280407DEST_PATH_IMAGE014
是上述像素块组集合中相邻两个像素块的合并意愿。
Figure 640588DEST_PATH_IMAGE014
用于判断上述像素块组集合中相邻两个像素块是否可以合并。
Figure 695131DEST_PATH_IMAGE015
和
Figure 390555DEST_PATH_IMAGE016
分别是上述像素块组集合中相邻两个像素块在对应的
Figure 163339DEST_PATH_IMAGE008
邻域内包含的像素块的数量。其中，像素块的初始合并次数可以为0，后续合并一次合并次数增加一次。
第五步，响应于上述像素块组集合中相邻两个像素块的合并相似性大于预设合并阈值，将上述像素块组集合中相邻两个像素块进行合并。
其中，可以进行合并的像素块对应的运动矢量一样。上述预设合并阈值可以是0.5。
由于像素块的运动矢量可能是一样的，所以可以先对运动矢量可能相同的像素块进行合并，对于运动矢量相同的像素块只需进行一次运动矢量的计算，减少了计算量。
第六步，从垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像对应的像素块组集合中筛选出满足目标筛选条件的像素块，确定上述垃圾腐蚀轮廓图像对应的目标像素块组集合。
其中，上述目标筛选条件可以是像素块组集合中的像素块对应的运动矢量不同。目标像素块组集合可以是像素块组集合中去除了进行合并的像素块。如，像素块组集合中的像素块可以包括：像素块1，像素块2和像素块3。其中，像素块1和像素块2可以合并。则目标像素块组集合中的目标像素块可以包括：像素块1和像素块3。
第七步，根据高斯模板，确定垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口，上述高斯模板为：
Figure 279542DEST_PATH_IMAGE018
其中，上述高斯模板可以是
Figure 188592DEST_PATH_IMAGE008
矩阵。目标像素块对应的高斯模板窗口可以是以该目标像素块为中心点，框中该目标像素块的
Figure 54917DEST_PATH_IMAGE008
邻域像素块的窗口。
第八步，根据垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口，通过第二运动矢量公式，确定上述目标像素块对应的第二运动矢量准确性，上述第二运动矢量公式为：
Figure 816462DEST_PATH_IMAGE020
其中，
Figure 426435DEST_PATH_IMAGE021
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内第
Figure 455571DEST_PATH_IMAGE022
个目标像素块的高斯权值。
Figure 862105DEST_PATH_IMAGE023
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内像素块的数量。
Figure 609481DEST_PATH_IMAGE024
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块对应的在垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的后一帧垃圾腐蚀轮廓图像上位置的目标像素块对应的第二运动矢量准确性。其中，高斯模板窗口内第
Figure 279539DEST_PATH_IMAGE022
个目标像素块的高斯权值可以是高斯模板中第
Figure 163181DEST_PATH_IMAGE022
个元素对应的值与高斯模板中所有元素对应的值的总和的比值。第二运动矢量准确性可以表征运动矢量计算的准确性。
像素块周围像素块的运动往往与中心像素块的运动趋势是一致的，所以分析当前帧垃圾轮廓图像上像素块的运动矢量时，不仅可以参考上一帧垃圾轮廓图像上的高斯模板窗口的中心像素块的运动矢量，还可以参考上一帧垃圾轮廓图像上的高斯模板窗口的中心像素块的周围像素块的运动矢量，且参考越多，得到的运动矢量的预测值越准确。
第九步，根据垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口和第二运动矢量准确性，确定上述目标像素块对应的预测运动矢量。
其中，预测运动矢量可以是预测的运动矢量的可能值。
例如，上述执行主体可以确定上述目标像素块对应的预测运动矢量对应的公式为：
Figure 230363DEST_PATH_IMAGE026
其中，
Figure 465035DEST_PATH_IMAGE021
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内第
Figure 183855DEST_PATH_IMAGE022
个目标像素块的高斯权值。
Figure 922004DEST_PATH_IMAGE023
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内像素块的数量。
Figure 832191DEST_PATH_IMAGE024
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块对应的在垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的后一帧垃圾腐蚀轮廓图像上位置的目标像素块对应的第二运动矢量准确性。
Figure 554159DEST_PATH_IMAGE027
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内第
Figure 309626DEST_PATH_IMAGE022
个目标像素块对应的运动矢量。
Figure 167860DEST_PATH_IMAGE028
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块对应的在垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的后一帧垃圾腐蚀轮廓图像上位置的目标像素块对应的预测运动矢量。其中，不需要确定垃圾腐蚀轮廓图像序列中的第一帧垃圾腐蚀轮廓图像中的目标像素块对应的运动矢量。垃圾腐蚀轮廓图像序列中的第二帧垃圾腐蚀轮廓图像中的目标像素块对应的运动矢量可以直接根据第一帧垃圾腐蚀轮廓图像确定。
第十步，根据上述第一运动矢量准确性和垃圾轮廓图像序列中的垃圾轮廓图像对应的目标像素块组集合中的每个目标像素块对应的第二运动矢量准确性，确定上述目标像素块对应的运动矢量总准确性。
例如，上述确定上述目标像素块对应的运动矢量总准确性对应的公式为：
Figure 983369DEST_PATH_IMAGE030
其中，
Figure 956748DEST_PATH_IMAGE031
是上述第一运动矢量准确性。
Figure 719168DEST_PATH_IMAGE032
是上述目标像素块对应的第二运动矢量准确性。
Figure 431909DEST_PATH_IMAGE033
是上述目标像素块对应的运动矢量总准确性。
第十一步，根据垃圾轮廓图像序列中的垃圾轮廓图像对应的目标像素块组集合中的每个目标像素块对应的运动矢量总准确性，确定上述目标像素块所在的搜索窗口的大小。
其中，搜索窗口可以表征目标像素块可能所在的区域。搜索窗口可以是正方形窗口。
例如，上述确定上述目标像素块所在的搜索窗口的大小对应的公式为：
Figure 418320DEST_PATH_IMAGE035
其中，
Figure 223202DEST_PATH_IMAGE033
是上述目标像素块对应的运动矢量总准确性。
Figure 320471DEST_PATH_IMAGE036
是上述目标像素块所在的搜索窗口的边长。
Figure 887719DEST_PATH_IMAGE037
是上述目标像素块对应的预测运动矢量。
第十二步，根据垃圾轮廓图像序列中的垃圾轮廓图像内每个目标像素块所在的搜索窗口的大小，确定上述目标像素块对应的运动矢量。
例如，本步骤可以包括以下子步骤：
第一子步骤，对垃圾轮廓图像序列中的每帧垃圾轮廓图像进行灰度化处理，得到上述垃圾轮廓图像对应的灰度直方图。
第二子步骤，对垃圾轮廓图像序列中的每帧垃圾轮廓图像对应的灰度直方图进行聚类，得到上述垃圾轮廓图像对应的灰度直方图对应的八个灰度级范围。
比如，上述执行主体可以k-means聚类算法，对垃圾轮廓图像对应的灰度直方图中的灰度级进行聚类，得到上述灰度直方图对应的八个灰度级范围。其中，k值为8。
第三子步骤，确定垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内每个目标像素块与上述目标像素块对应的在上述相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内的搜索窗口内的各个目标像素块的相似性。
比如，上述执行主体可以通过以下公式，确定垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内每个目标像素块与上述目标像素块对应的在上述相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内的搜索窗口内的各个目标像素块的相似性：
Figure 45031DEST_PATH_IMAGE058
其中，
Figure DEST_PATH_IMAGE059
是垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内任意一个目标像素块与上述任意一个目标像素块对应的在相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内的搜索窗口内的第
Figure 556783DEST_PATH_IMAGE060
个目标像素块的相似性。
Figure DEST_PATH_IMAGE061
是垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内任意一个目标像素块包括的各个像素点与任意一个目标像素块对应的在相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内的搜索窗口内的第
Figure 224787DEST_PATH_IMAGE060
个目标像素块包括的各个像素点对应的灰度级分别对应进行与运算后，运算结果为1的数量。
Figure 443279DEST_PATH_IMAGE062
是像素块的边长。
第四子步骤，将垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内每个目标像素块与上述目标像素块对应的在上述相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内的搜索窗口内的各个目标像素块的相似性中最大的相似性，确定为上述目标像素块对应的最大相似性。
第五子步骤，对于垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内每个目标像素块，根据上述目标像素块对应的最大相似性，确定上述目标像素块对应的在上述相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内目标像素块的运动矢量。
比如，垃圾轮廓图像序列中的相邻两帧垃圾轮廓图像中的前一帧垃圾轮廓图像内的像素块A在上述相邻两帧垃圾轮廓图像中的后一帧垃圾轮廓图像内的搜索窗口内有像素块B和像素块C。其中，像素块A与像素块B之间的相似性大于像素块A与像素块C之间的相似性。则可以认为像素块A与像素块B最相似。可以将像素块A与像素块B之间的运动矢量作为像素块B的运动矢量。
步骤S3，根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置。
在一些实施例中，上述执行主体可以根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置。
其中，位置可以用坐标表征。
作为示例，上述执行主体可以根据目标时间间隔、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像内每个目标像素块对应的运动矢量和位置，通过预测位置公式，预测上述目标像素块在目标时间间隔后对应的位置，上述预测位置公式为：
Figure 771492DEST_PATH_IMAGE039
其中，
Figure 911487DEST_PATH_IMAGE040
是上述目标像素块在目标时间间隔后对应的位置。
Figure 350558DEST_PATH_IMAGE041
是上述目标像素块对应的位置。
Figure 187671DEST_PATH_IMAGE042
是目标时间间隔。
Figure 686785DEST_PATH_IMAGE043
是上述目标像素块对应的运动矢量。其中，上述目标像素块对应的位置可以用上述目标像素块的中心点的坐标表征。
步骤S4，对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合。
在一些实施例中，上述执行主体可以对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合。
其中，类别垃圾组集合中的每个类别垃圾组中的各个类别垃圾可以是同一类垃圾。
作为示例，上述执行主体可以通过均值漂移算法对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合。其中，聚类的考虑因素可以是灰度值以及纹理。
步骤S5，根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移。
在一些实施例中，上述执行主体可以根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移。
作为示例，本步骤可以包括以下步骤：
第一步，确定类别垃圾组集合中每个类别垃圾组中各个类别垃圾的总面积，得到总面积集合。
第二步，从上述总面积集合中筛选出总面积最小的总面积，作为待放大垃圾轮廓面积。
第三步，根据上述待放大垃圾轮廓面积和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机位移。
上述确定第二相机位移对应的公式为：
Figure DEST_PATH_IMAGE063
其中，
Figure 845234DEST_PATH_IMAGE046
是上述待放大垃圾轮廓面积对应的类别垃圾组中第
Figure 822417DEST_PATH_IMAGE012
个类别垃圾对应的目标时间间隔后的类别垃圾的中心点的横坐标。
Figure 749922DEST_PATH_IMAGE047
是垃圾腐蚀轮廓图像序列中的最后一帧垃圾轮廓图像对应的目标时间间隔后的图像的中心点的横坐标。
Figure 154359DEST_PATH_IMAGE048
是上述待放大垃圾轮廓面积对应的类别垃圾组中第
Figure 3366DEST_PATH_IMAGE012
个类别垃圾对应的目标时间间隔后的类别垃圾关于位置的参数。
Figure 82443DEST_PATH_IMAGE049
是上述待放大垃圾轮廓面积。
Figure 598875DEST_PATH_IMAGE050
是上述待放大垃圾轮廓面积对应的类别垃圾组中类别垃圾的数量。
Figure 439792DEST_PATH_IMAGE051
是上述待放大垃圾轮廓面积对应的类别垃圾组中第
Figure 776095DEST_PATH_IMAGE012
个类别垃圾对应的目标时间间隔后的类别垃圾的轮廓面积。
Figure 452671DEST_PATH_IMAGE052
是第二相机位移。其中，
Figure 823609DEST_PATH_IMAGE046
可以用上述待放大垃圾轮廓面积对应的类别垃圾组中第
Figure 835428DEST_PATH_IMAGE012
个类别垃圾包括的各个目标像素块分别对应的目标时间间隔后的目标像素块对应的位置包含的横坐标的均值表征。由于，第一相机和第二相机采集的图像的规格大小可以一样，所以
Figure 924606DEST_PATH_IMAGE047
可以直接用垃圾腐蚀轮廓图像序列中的任意一帧垃圾腐蚀轮廓图像的中心点的横坐标表征。
步骤S6，根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像。
在一些实施例中，上述执行主体可以根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像。
其中，上述垃圾图像可以是第二相机采集目标清扫车的前方道路垃圾状况的图像。
作为示例，首先，上述执行主体可以根据第二相机位移，移动第二相机到第二相机位移处。接着，在预设时刻，上述执行主体可以通过第二相机采集垃圾图像。其中，上述预设时刻与采集最后一帧垃圾轮廓图像的时刻之间的时长可以是目标时间间隔。
步骤S7，根据垃圾图像，调节目标清扫车的扫盘档位，清扫类别垃圾集合中各个类别垃圾。
在一些实施例中，上述执行主体可以根据上述垃圾图像，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。
作为示例，首先，上述执行主体可以将上述垃圾图像输入至神经网络中，得到上述垃圾图像包括的垃圾类别。接着，上述执行主体可以根据垃圾类别，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。例如，神经网络识别的垃圾是树叶或者烟头这些比较轻的垃圾种类，目标清扫车的扫盘一个很小的功率就可以把它们扫起来，即需要一个较小的扫盘档位。神经网络识别的垃圾是玻璃渣或小铁块可以就需要一个较大的扫盘档位。
基于与上述方法实施例相同的发明构思，本实施例提供了一种基于视觉感知的清扫车垃圾清扫系统，该系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，上述计算机程序被处理器执行时实现一种基于视觉感知的清扫车垃圾清扫方法的步骤。
本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的基于视觉感知的清扫车垃圾清扫方法，提高了路面垃圾识别和处理的准确度。具体来说，导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下的原因在于：由于驾驶人员往往需要时刻观察道路路况，专心开车，保障驾驶安全，往往不能实时监控路面垃圾情况，往往导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下。因此，当人工驾驶清扫车采用同一个扫盘档位进行垃圾清理时，往往导致路面垃圾识别的准确度低下，从而导致垃圾清理有遗漏，进而导致路面垃圾处理的准确度低下。基于此，本公开的一些实施例的基于视觉感知的清扫车垃圾清扫方法，采用图像数据处理的方式，进行相关的图像数据处理，解决了路面垃圾识别和处理的准确度低下的技术问题，产生了提高了路面垃圾识别和处理的准确度的技术效果。首先，通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定上述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列。由于驾驶人员往往需要时刻观察道路路况，专心开车，保障驾驶安全，往往不能实时监控路面垃圾情况，通过实时拍摄目标图像可以实现对路况的实时监控，可以实时监控路面垃圾情况。其次，根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列。接着，根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置。通过运动矢量预测目标时间间隔后各个垃圾轮廓对应的位置，提高了位置预测的准确性。然后，对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合。对垃圾进行聚类，可以明确垃圾种类。之后，根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移。通过移动第二相机，可以改变拍摄的垃圾轮廓的大小。比如，第二相机向左移动时，拍摄物体左边的轮廓会变大，而拍摄的右侧的轮廓会变小。相反的，第二相机右移时，拍摄物体左边的轮廓会变小，右边的轮廓变大。而后，根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像。通过移动第二相机可以采集包括的垃圾信息比较全面的垃圾图像。最后，根据上述垃圾图像，调节目标清扫车的扫盘档位，清扫上述类别垃圾集合中各个类别垃圾。可以实时监控路面垃圾情况，提高了路面垃圾识别和处理的准确度。
需要说明的是：上述本公开实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于视觉感知的清扫车垃圾清扫方法，其特征在于，包括以下步骤：
通过第一相机获取目标图像序列，对目标图像序列中的每个目标图像进行预处理，确定所述目标图像对应的垃圾轮廓图像，得到垃圾轮廓图像序列；
根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列；
根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置；
对垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓进行聚类，得到类别垃圾组集合；
根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移；
根据第二相机位移，移动第二相机，通过第二相机采集垃圾图像；
根据垃圾图像，调节目标清扫车的扫盘档位，清扫类别垃圾集合中各个类别垃圾。
2.根据权利要求1所述的方法，其特征在于，所述对目标图像序列中的每个目标图像进行预处理，确定所述目标图像对应的垃圾轮廓图像，包括：
标记分割所述目标图像中的各个垃圾区域，得到所述目标图像对应的垃圾区域图像；
对所述目标图像对应的垃圾区域图像中的各个垃圾区域进行边缘检测，得到所述目标图像对应的垃圾轮廓图像。
3.根据权利要求1所述的方法，其特征在于，所述根据垃圾轮廓图像序列，确定垃圾轮廓图像序列中的垃圾轮廓图像中的每个垃圾轮廓对应的运动矢量，得到运动矢量集合序列，包括：
根据目标清扫车的运动速度，确定第一运动矢量准确性；
对垃圾轮廓图像序列中的每个垃圾轮廓图像中的各个垃圾轮廓进行腐蚀操作，确定所述垃圾轮廓图像对应的垃圾腐蚀轮廓图像，得到垃圾腐蚀轮廓图像序列；
对垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像包含的各个垃圾腐蚀轮廓划分成多个预设大小的像素块，确定所述垃圾腐蚀轮廓图像对应的像素块组集合；
通过合并相似性公式，确定所述像素块组集合中相邻两个像素块的合并相似性，所述合并相似性公式为：
Figure DEST_PATH_IMAGE001
其中，
Figure 886272DEST_PATH_IMAGE002
是合并代替次数相关系数，
Figure DEST_PATH_IMAGE003
是与所述像素块组集合中相邻两个像素块的左边相邻的像素块的合并次数，
Figure 705193DEST_PATH_IMAGE004
是与所述像素块组集合中相邻两个像素块的右边相邻的像素块的合并次数，
Figure DEST_PATH_IMAGE005
是
Figure 419071DEST_PATH_IMAGE006
与
Figure DEST_PATH_IMAGE007
进行与运算得到的
Figure 995546DEST_PATH_IMAGE008
矩阵，
Figure 859596DEST_PATH_IMAGE006
与
Figure 765979DEST_PATH_IMAGE007
分别是所述像素块组集合中相邻两个像素块的
Figure 57283DEST_PATH_IMAGE008
邻域内是否存在像素块的位置矩阵，位置矩阵是
Figure 917792DEST_PATH_IMAGE008
矩阵，位置矩阵中对应的值为1的元素对应的邻域存在像素块，位置矩阵中对应的值为0的元素对应的邻域不存在像素块，位置矩阵中的元素对应的值由0或1构成，
Figure DEST_PATH_IMAGE009
是与运算，
Figure 851113DEST_PATH_IMAGE010
是所述像素块组集合中相邻两个像素块的相似度，
Figure DEST_PATH_IMAGE011
是矩阵
Figure 582308DEST_PATH_IMAGE005
中第
Figure 903568DEST_PATH_IMAGE012
行第
Figure DEST_PATH_IMAGE013
列元素对应的值，
Figure 221680DEST_PATH_IMAGE014
是所述像素块组集合中相邻两个像素块的合并意愿，
Figure 693112DEST_PATH_IMAGE014
用于判断所述像素块组集合中相邻两个像素块是否可以合并，
Figure DEST_PATH_IMAGE015
和
Figure 278814DEST_PATH_IMAGE016
分别是所述像素块组集合中相邻两个像素块在对应的
Figure 708659DEST_PATH_IMAGE008
邻域内包含的像素块的数量；
响应于所述像素块组集合中相邻两个像素块的合并相似性大于预设合并阈值，将所述像素块组集合中相邻两个像素块进行合并，其中，进行合并的像素块对应的运动矢量一样；
从垃圾腐蚀轮廓图像序列中的每个垃圾腐蚀轮廓图像对应的像素块组集合中筛选出满足目标筛选条件的像素块，确定所述垃圾腐蚀轮廓图像对应的目标像素块组集合，其中，所述目标筛选条件是像素块组集合中的像素块对应的运动矢量不同，目标像素块组集合是像素块组集合中去除了进行合并的像素块；
根据高斯模板，确定垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口，所述高斯模板为：
Figure 543759DEST_PATH_IMAGE018
其中，所述高斯模板是
Figure 553304DEST_PATH_IMAGE008
矩阵；
根据垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口，通过第二运动矢量公式，确定所述目标像素块对应的第二运动矢量准确性，所述第二运动矢量公式为：
Figure 524671DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内第
Figure 420689DEST_PATH_IMAGE022
个目标像素块的高斯权值，
Figure DEST_PATH_IMAGE023
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内像素块的数量，
Figure 946348DEST_PATH_IMAGE024
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块对应的在垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的后一帧垃圾腐蚀轮廓图像上位置的目标像素块对应的第二运动矢量准确性；
根据垃圾腐蚀轮廓图像序列中的垃圾腐蚀轮廓图像对应的目标像素块组集合中的每个目标像素块对应的高斯模板窗口和第二运动矢量准确性，确定所述目标像素块对应的预测运动矢量；
根据所述第一运动矢量准确性和垃圾轮廓图像序列中的垃圾轮廓图像对应的目标像素块组集合中的每个目标像素块对应的第二运动矢量准确性，确定所述目标像素块对应的运动矢量总准确性；
根据垃圾轮廓图像序列中的垃圾轮廓图像对应的目标像素块组集合中的每个目标像素块对应的运动矢量总准确性，确定所述目标像素块所在的搜索窗口的大小；
根据垃圾轮廓图像序列中的垃圾轮廓图像内每个目标像素块所在的搜索窗口的大小，确定所述目标像素块对应的运动矢量。
4.根据权利要求3所述的方法，其特征在于，所述确定所述目标像素块对应的预测运动矢量对应的公式为：
Figure 759584DEST_PATH_IMAGE026
其中，
Figure 585457DEST_PATH_IMAGE021
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内第
Figure 825946DEST_PATH_IMAGE022
个目标像素块的高斯权值，
Figure 370060DEST_PATH_IMAGE023
是垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内像素块的数量，
Figure 721406DEST_PATH_IMAGE024
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块对应的在垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的后一帧垃圾腐蚀轮廓图像上位置的目标像素块对应的第二运动矢量准确性，
Figure DEST_PATH_IMAGE027
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块所在的高斯模板窗口内第
Figure 434410DEST_PATH_IMAGE022
个目标像素块对应的运动矢量，
Figure 845800DEST_PATH_IMAGE028
是垃圾腐蚀轮廓图像序列中相邻两帧垃圾腐蚀轮廓图像中的前一帧垃圾腐蚀轮廓图像内的任意一个目标像素块对应的在垃圾腐蚀轮廓图像序列中的相邻两帧垃圾腐蚀轮廓图像中的后一帧垃圾腐蚀轮廓图像上位置的目标像素块对应的预测运动矢量。
5.根据权利要求3所述的方法，其特征在于，所述确定所述目标像素块对应的运动矢量总准确性对应的公式为：
Figure 877209DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE031
是所述第一运动矢量准确性，
Figure 360143DEST_PATH_IMAGE032
是所述目标像素块对应的第二运动矢量准确性，
Figure DEST_PATH_IMAGE033
是所述目标像素块对应的运动矢量总准确性。
6.根据权利要求3所述的方法，其特征在于，所述确定所述目标像素块所在的搜索窗口的大小对应的公式为：
Figure DEST_PATH_IMAGE035
其中，
Figure 895030DEST_PATH_IMAGE033
是所述目标像素块对应的运动矢量总准确性，
Figure 477321DEST_PATH_IMAGE036
是所述目标像素块所在的搜索窗口的边长，
Figure DEST_PATH_IMAGE037
是所述目标像素块对应的预测运动矢量。
7.根据权利要求3所述的方法，其特征在于，所述根据运动矢量集合序列中的最后一个运动矢量集合、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像包含的垃圾轮廓对应的位置和垃圾轮廓图像序列中的最后一帧垃圾轮廓图像的时间与预设的第二相机采集图像的时间之间的目标时间间隔，预测目标时间间隔后各个垃圾轮廓对应的位置，包括：
根据目标时间间隔、垃圾轮廓图像序列中的最后一帧垃圾轮廓图像内每个目标像素块对应的运动矢量和位置，通过预测位置公式，预测所述目标像素块在目标时间间隔后对应的位置，所述预测位置公式为：
Figure DEST_PATH_IMAGE039
其中，
Figure 556879DEST_PATH_IMAGE040
是所述目标像素块在目标时间间隔后对应的位置，
Figure DEST_PATH_IMAGE041
是所述目标像素块对应的位置，
Figure 577925DEST_PATH_IMAGE042
是目标时间间隔，
Figure DEST_PATH_IMAGE043
是所述目标像素块对应的运动矢量。
8.根据权利要求1所述的方法，其特征在于，所述根据类别垃圾组集合和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机所需移动的位移，作为第二相机位移，包括：
确定类别垃圾组集合中每个类别垃圾组中各个类别垃圾的总面积，得到总面积集合；
从所述总面积集合中筛选出总面积最小的总面积，作为待放大垃圾轮廓面积；
根据所述待放大垃圾轮廓面积和目标时间间隔后各个垃圾轮廓对应的位置，确定第二相机位移。
9.根据权利要求8所述的方法，其特征在于，所述确定第二相机位移对应的公式为：
Figure DEST_PATH_IMAGE045
其中，
Figure 436159DEST_PATH_IMAGE046
是所述待放大垃圾轮廓面积对应的类别垃圾组中第
Figure 549871DEST_PATH_IMAGE012
个类别垃圾对应的目标时间间隔后的类别垃圾的中心点的横坐标，
Figure DEST_PATH_IMAGE047
是垃圾腐蚀轮廓图像序列中的最后一帧垃圾轮廓图像对应的目标时间间隔后的图像的中心点的横坐标，
Figure 555873DEST_PATH_IMAGE048
是所述待放大垃圾轮廓面积对应的类别垃圾组中第
Figure 177347DEST_PATH_IMAGE012
个类别垃圾对应的目标时间间隔后的类别垃圾关于位置的参数，
Figure DEST_PATH_IMAGE049
是所述待放大垃圾轮廓面积，
Figure 919782DEST_PATH_IMAGE050
是所述待放大垃圾轮廓面积对应的类别垃圾组中类别垃圾的数量，
Figure DEST_PATH_IMAGE051
是所述待放大垃圾轮廓面积对应的类别垃圾组中第
Figure 437351DEST_PATH_IMAGE012
个类别垃圾对应的目标时间间隔后的类别垃圾的轮廓面积，
Figure 540436DEST_PATH_IMAGE052
是第二相机位移。
10.一种基于视觉感知的清扫车垃圾清扫系统，其特征在于，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现所述权利要求1-9中任一项所述的基于视觉感知的清扫车垃圾清扫方法。
CN202210744791.3A 2022-06-29 2022-06-29 一种基于视觉感知的清扫车垃圾清扫方法及系统 Active CN114821283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210744791.3A CN114821283B (zh) 2022-06-29 2022-06-29 一种基于视觉感知的清扫车垃圾清扫方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210744791.3A CN114821283B (zh) 2022-06-29 2022-06-29 一种基于视觉感知的清扫车垃圾清扫方法及系统

Publications (2)

Publication Number Publication Date
CN114821283A true CN114821283A (zh) 2022-07-29
CN114821283B CN114821283B (zh) 2022-09-09

Family

ID=82522549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210744791.3A Active CN114821283B (zh) 2022-06-29 2022-06-29 一种基于视觉感知的清扫车垃圾清扫方法及系统

Country Status (1)

Country Link
CN (1) CN114821283B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307926A1 (en) * 2017-04-21 2018-10-25 Ford Global Technologies, Llc Stain and Trash Detection Systems and Methods
CN109288455A (zh) * 2018-09-21 2019-02-01 北京智行者科技有限公司 垃圾清扫方法及装置
US20200050922A1 (en) * 2018-08-13 2020-02-13 National Chiao Tung University Recycling system and method based on deep-learning and computer vision technology
JP2020086121A (ja) * 2018-11-26 2020-06-04 合同会社Ｍｂｃ ゴミ収集事業で用いる塵芥処理車を用いた三次元地図作成のための道路状況の情報収集方法及びそれに用いる塵芥処理車
CN112131964A (zh) * 2020-08-31 2020-12-25 南京汽车集团有限公司 一种道路作业车辆视觉感知系统及其使用方法
CN112845143A (zh) * 2021-03-04 2021-05-28 广州大学华软软件学院 一种生活垃圾分类智能分拣系统及方法
CN112896879A (zh) * 2021-02-24 2021-06-04 同济大学 一种用于智能环卫车的环境感知系统
CN114049557A (zh) * 2021-11-10 2022-02-15 中国天楹股份有限公司 一种基于深度学习的垃圾分选机器人视觉识别方法
CN114355907A (zh) * 2021-12-22 2022-04-15 东风汽车集团股份有限公司 一种基于云端的智能化垃圾识别和清扫方法、系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180307926A1 (en) * 2017-04-21 2018-10-25 Ford Global Technologies, Llc Stain and Trash Detection Systems and Methods
US20200050922A1 (en) * 2018-08-13 2020-02-13 National Chiao Tung University Recycling system and method based on deep-learning and computer vision technology
CN109288455A (zh) * 2018-09-21 2019-02-01 北京智行者科技有限公司 垃圾清扫方法及装置
JP2020086121A (ja) * 2018-11-26 2020-06-04 合同会社Ｍｂｃ ゴミ収集事業で用いる塵芥処理車を用いた三次元地図作成のための道路状況の情報収集方法及びそれに用いる塵芥処理車
CN112131964A (zh) * 2020-08-31 2020-12-25 南京汽车集团有限公司 一种道路作业车辆视觉感知系统及其使用方法
CN112896879A (zh) * 2021-02-24 2021-06-04 同济大学 一种用于智能环卫车的环境感知系统
CN112845143A (zh) * 2021-03-04 2021-05-28 广州大学华软软件学院 一种生活垃圾分类智能分拣系统及方法
CN114049557A (zh) * 2021-11-10 2022-02-15 中国天楹股份有限公司 一种基于深度学习的垃圾分选机器人视觉识别方法
CN114355907A (zh) * 2021-12-22 2022-04-15 东风汽车集团股份有限公司 一种基于云端的智能化垃圾识别和清扫方法、系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MILAD HAJI ABBASI等: "Deep Cross Altitude Visual Interpretation for Service Robotic Agents in Smart City", 《2018 6TH IRANIAN JOINT CONGRESS ON FUZZY AND INTELLIGENT SYSTEMS(CFIS)》 *
MUHAMMAD ATTAMIMI等: "Visual Recognition System for Cleaning Tasks by Humanoid Robots", 《INTERNATIONAL JOURAL OF ADVANCED ROBOTIC SYSTEMS》 *
宁凯等: "基于视觉感知的智能扫地机器人的垃圾检测与分类", 《中国图象图形学报》 *
闵海涛等: "路面垃圾物视觉感知算法研究", 《机械工程与自动化》 *

Also Published As

Publication number Publication date
CN114821283B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
Sen-Ching et al. Robust techniques for background subtraction in urban traffic video
Kato et al. An HMM-based segmentation method for traffic monitoring movies
CN111062355A (zh) 一种人体动作识别方法
CN108416780B (zh) 一种基于孪生-感兴趣区域池化模型的物体检测与匹配方法
JP2006506726A (ja) テンプレート予測を用いた画像のセグメント化
CN110059634B (zh) 一种大场景人脸抓拍方法
US11804026B2 (en) Device and a method for processing data sequences using a convolutional neural network
WO2024002211A1 (zh) 一种图像处理方法及相关装置
CN113012149A (zh) 一种智能清洗机器人路径规划方法及系统
CN114627150A (zh) 基于事件相机的数据处理及运动估计方法及装置
CN114821283B (zh) 一种基于视觉感知的清扫车垃圾清扫方法及系统
CN117058232A (zh) 一种改进YOLOv8模型的养殖鱼群中鱼类目标个体的位置检测方法
US11749004B2 (en) Event detector and method of generating textural image based on event count decay factor and net polarity
Samanta et al. Novel approach of adaptive thresholding technique for edge detection in videos
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN114529715B (zh) 一种基于边缘提取的图像识别方法及系统
CN117561540A (zh) 使用帧序列执行计算机视觉任务的系统和方法
CN114359333A (zh) 运动目标提取方法、装置、计算机设备和存储介质
CN115187621A (zh) 融合注意力机制的U-Net医学影像轮廓自动提取网络
CN112419392A (zh) 基于机器视觉计算运动物体实际大小的方法、设备及介质
CN111242983A (zh) 一种采用统计意义背景减除法的运动目标检测方法
Sheng et al. An approach to motion vehicle detection in complex factors over highway surveillance video
Wen et al. Improved Wavelet Feature Extraction Methods Based on HSV Space for Vehicle Detection.
CN116523911B (zh) 一种建筑垃圾再生骨料生产监控系统
CN115527180B (zh) 一种基于图像识别技术的车厢拥挤度识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant