CN114089656A - 基于机器视觉和强化学习的海洋垃圾回收规划方法及系统 - Google Patents
基于机器视觉和强化学习的海洋垃圾回收规划方法及系统 Download PDFInfo
- Publication number
- CN114089656A CN114089656A CN202111255554.2A CN202111255554A CN114089656A CN 114089656 A CN114089656 A CN 114089656A CN 202111255554 A CN202111255554 A CN 202111255554A CN 114089656 A CN114089656 A CN 114089656A
- Authority
- CN
- China
- Prior art keywords
- garbage
- marine
- target
- rate coefficient
- criterion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 219
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000002787 reinforcement Effects 0.000 title claims abstract description 23
- 238000004064 recycling Methods 0.000 title claims abstract description 19
- 238000007667 floating Methods 0.000 claims abstract description 49
- 238000011084 recovery Methods 0.000 claims abstract description 47
- 238000004140 cleaning Methods 0.000 claims abstract description 34
- 238000005265 energy consumption Methods 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims description 26
- 239000002699 waste material Substances 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002910 solid waste Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02B—HYDRAULIC ENGINEERING
- E02B15/00—Cleaning or keeping clear the surface of open water; Apparatus therefor
- E02B15/04—Devices for cleaning or keeping clear the surface of open water from oil or like floating materials by separating or removing these materials
- E02B15/10—Devices for removing the material from the surface
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/25—Pc structure of the system
- G05B2219/25257—Microcontroller
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W90/00—Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Environmental & Geological Engineering (AREA)
- Mechanical Engineering (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Of Solid Wastes (AREA)
Abstract
本发明公开了基于机器视觉和强化学习的海洋垃圾回收规划方法及系统，方法包括：采用目标检测算法对海上漂浮垃圾进行目标检测，获取目标数据，所述目标数据包括海上漂浮垃圾数量、类别、位置和距离的信息；根据所述目标数据建立目标线性系统；根据所述目标线性系统确定海洋垃圾回收规划策略，并根据所述海洋垃圾回收规划策略对所述海上漂浮垃圾进行清理。本发明提高了海上垃圾回收效率且引入了能耗控制，能够降低能耗，提高设备的续航能力，可广泛应用于人工智能和海洋垃圾处理等技术领域。
Description
技术领域
本发明涉及人工智能技术领域，尤其是基于机器视觉和强化学习的海洋垃圾回收规划方法及系统。
背景技术
随着海洋固体废物污染的加剧，海洋生态受到日益严重的威胁，其中漂浮在海平面的固体垃圾具有众多负面效应，包括影响海洋景观，威胁船舶航行安全，并对海洋生态系统、海洋经济产生长久的影响。目前海洋水面垃圾清理以人工清理为主，耗费大量人力物力；除此之外，现有的用于海上垃圾回收的技术主要依靠机械装置、船只进行垃圾回收为主；部分技术引入自动控制、智能化设备组成系统实现海上自主垃圾回收，如通过旋翼飞行器等装置自动搜索识别水面垃圾，然后前往目标垃圾位置，最后对垃圾进行回收。以上技术实现了海洋垃圾清理的机械化与自动化，对海洋垃圾的回收效率有一定的提高，但无论是只靠机械装置、船只，还是结合了自动、智能识别等系统，都仅通过解决如何快速搜索垃圾、清理垃圾的问题来提高清理回收效率，但海洋空间广阔，人类生产垃圾的速度在日益变化，它们在长期的垃圾清理中存在明显的局限性，自身无法对不断变化的海洋垃圾污染情况做出实时优化和改进，在成本相同的情况下缺乏对自身系统效率的可控性和规划性，同时，能源问题也限制了长期的垃圾清理回收。
现有技术大多仅通过提高海上漂浮垃圾的搜索和识别速率、范围或通过自动船只、自动装置进行清理来实现海上垃圾回收。而海洋空间广阔，海面有复杂多变的情况、人类生产垃圾的数量在不断发生变化，在长期的海洋垃圾清理中，现有技术缺乏系统性的规划和预测，在能耗、效率方面缺少可控性，无法根据海洋漂浮的垃圾分布等外界情况将自身的作用最优化。
发明内容
有鉴于此，本发明实施例提供一种高效且能耗低的，基于机器视觉和强化学习的海洋垃圾回收规划方法及系统。
本发明的一方面提供了一种基于机器视觉和强化学习的海洋垃圾回收规划方法，包括：
采用目标检测算法对海上漂浮垃圾进行目标检测，获取目标数据，所述目标数据包括海上漂浮垃圾数量、类别、位置和距离的信息；
根据所述目标数据建立目标线性系统；
根据所述目标线性系统确定海洋垃圾回收规划策略，并根据所述海洋垃圾回收规划策略对所述海上漂浮垃圾进行清理。
可选地，所述根据所述目标数据建立目标线性系统，包括：
从所述目标数据中获取近岸海域的第一垃圾数量、漂浮在远离海岸的海域内的第二垃圾数量以及已被清理回收的第三垃圾数量；
根据所述第一垃圾数量、所述第二垃圾数量和所述第三垃圾数量，计算在第一区域中已被清理回收的垃圾变化情况的第一速率系数、从近岸海域漂流转移到远离海岸的海域的第二速率系数、垃圾从远离海岸的海域漂流转移到近岸海域的第三速率系数、垃圾漂浮面积超出海域面积的第四速率系数以及在第二区域中已被清理回收的垃圾变化情况的第五速率系数；
根据所述第一速率系数、所述第二速率系数、所述第三速率系数、所述第四速率系数以及所述第五速率系数，获取所述第一垃圾数量、所述第二垃圾数量以及所述第三垃圾数量的变化情况；
根据所述第一垃圾数量、所述第二垃圾数量以及所述第三垃圾数量的变化情况，确定垃圾数量随时间变化的目标方程组；
根据所述目标方程组建立目标线性系统。
可选地，所述目标方程组的表达式为：
其中，a1代表所述第一速率系数；b1代表所述第二速率系数；b2代表所述第三速率系数；a2代表所述第四速率系数；c1代表所述第五速率系数；N1代表所述第一垃圾数量；N2代表所述第二垃圾数量；N3代表所述第三垃圾数量；
代表所述第一垃圾数量随时间变化的第一变化情况；
代表所述第二垃圾数量随时间变化的第二变化情况；
代表所述第三垃圾数量随时间变化的第三变化情况。
可选地，所述第一速率系数的计算公式为：
其中，
代表第一垃圾数量在单位时间内的变化数量；N1代表第一垃圾数量所在区域内的垃圾总数量。
可选地，所述根据所述目标线性系统确定海洋垃圾回收规划策略，包括：
当海洋垃圾以近岸垃圾为主时，以所述第一垃圾数量的大小为第一判据，以所述第一变化情况为第二判据，将所述海洋垃圾回收规划策略确定为使得所述第一判据最小且所述第二判据为0；
或者，
当海洋垃圾以远离海岸的垃圾为主时，以所述第二垃圾数量的大小为第一判据，以所述第二变化情况为第二判据，将所述海洋垃圾回收规划策略确定为使得所述第一判据最小且所述第二判据为0。
可选地，所述根据所述目标线性系统确定海洋垃圾回收规划策略，还包括：
获取对所述海上漂浮垃圾进行清理的目标装置的历史能源消耗数据；
根据所述历史能源消耗数据计算能源消耗速率；
将所述能源消耗速率作为第三判据；
根据所述第三判据对所述海洋垃圾回收规划策略进行动态调整。
可选地，所述根据所述目标线性系统确定海洋垃圾回收规划策略，还包括：
通过基于强化学习机制的策略估计法，对所述第一速率系数和所述第五速率系数进行动态调整；
根据所述第一判据、所述第二判据和所述第三判据确定奖励函数的大小；
根据Q-learn ing算法和所述奖励函数的大小，将所述第一速率系数和所述第五速率系数作为DQN算法的输入参数进行迭代学习，得到最优策略。
本发明实施例的另一方面还提供了一种基于机器视觉和强化学习的海洋垃圾回收规划系统，包括：
第一模块，用于采用目标检测算法对海上漂浮垃圾进行目标检测，获取目标数据，所述目标数据包括海上漂浮垃圾数量、类别、位置和距离的信息；
第二模块，用于根据所述目标数据建立目标线性系统；
第三模块，用于根据所述目标线性系统确定海洋垃圾回收规划策略，并根据所述海洋垃圾回收规划策略对所述海上漂浮垃圾进行清理。
本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例采用目标检测算法对海上漂浮垃圾进行目标检测，获取目标数据，所述目标数据包括海上漂浮垃圾数量、类别、位置和距离的信息；根据所述目标数据建立目标线性系统；根据所述目标线性系统确定海洋垃圾回收规划策略，并根据所述海洋垃圾回收规划策略对所述海上漂浮垃圾进行清理。本发明提高了海上垃圾回收效率且引入了能耗控制，能够降低能耗，提高设备的续航能力。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的整体步骤流程图；
图2为本发明实施例提供的中央计算模块的处理步骤流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术大多仅通过提高海上漂浮垃圾的搜索和识别速率、范围或通过自动船只、自动装置进行清理来实现海上垃圾回收。而海洋空间广阔，海面有复杂多变的情况、人类生产垃圾的数量在不断发生变化，在长期的海洋垃圾清理中，现有技术缺乏系统性的规划和预测，在能耗、效率方面缺少可控性，无法根据海洋漂浮的垃圾分布等外界情况将自身的作用最优化等问题，本发明提供了一种基于机器视觉和强化学习的海洋垃圾回收规划方法，如图1所示，方法包括以下步骤：
采用目标检测算法对海上漂浮垃圾进行目标检测，获取目标数据，所述目标数据包括海上漂浮垃圾数量、类别、位置和距离的信息；
根据所述目标数据建立目标线性系统；
根据所述目标线性系统确定海洋垃圾回收规划策略，并根据所述海洋垃圾回收规划策略对所述海上漂浮垃圾进行清理。
可选地，所述根据所述目标数据建立目标线性系统，包括：
从所述目标数据中获取近岸海域的第一垃圾数量、漂浮在远离海岸的海域内的第二垃圾数量以及已被清理回收的第三垃圾数量；
根据所述第一垃圾数量、所述第二垃圾数量和所述第三垃圾数量，计算在第一区域中已被清理回收的垃圾变化情况的第一速率系数、从近岸海域漂流转移到远离海岸的海域的第二速率系数、垃圾从远离海岸的海域漂流转移到近岸海域的第三速率系数、垃圾漂浮面积超出海域面积的第四速率系数以及在第二区域中已被清理回收的垃圾变化情况的第五速率系数；
根据所述第一速率系数、所述第二速率系数、所述第三速率系数、所述第四速率系数以及所述第五速率系数，获取所述第一垃圾数量、所述第二垃圾数量以及所述第三垃圾数量的变化情况；
根据所述第一垃圾数量、所述第二垃圾数量以及所述第三垃圾数量的变化情况，确定垃圾数量随时间变化的目标方程组；
根据所述目标方程组建立目标线性系统。
可选地，所述目标方程组的表达式为：
其中，a1代表所述第一速率系数；b1代表所述第二速率系数；b2代表所述第三速率系数；a2代表所述第四速率系数；c1代表所述第五速率系数；N1代表所述第一垃圾数量；N2代表所述第二垃圾数量；N3代表所述第三垃圾数量；
代表所述第一垃圾数量随时间变化的第一变化情况；
代表所述第二垃圾数量随时间变化的第二变化情况；
代表所述第三垃圾数量随时间变化的第三变化情况。
可选地，所述第一速率系数的计算公式为：
其中，
代表第一垃圾数量在单位时间内的变化数量；N1代表第一垃圾数量所在区域内的垃圾总数量。
可选地，所述根据所述目标线性系统确定海洋垃圾回收规划策略，包括：
当海洋垃圾以近岸垃圾为主时，以所述第一垃圾数量的大小为第一判据，以所述第一变化情况为第二判据，将所述海洋垃圾回收规划策略确定为使得所述第一判据最小且所述第二判据为0；
或者，
当海洋垃圾以远离海岸的垃圾为主时，以所述第二垃圾数量的大小为第一判据，以所述第二变化情况为第二判据，将所述海洋垃圾回收规划策略确定为使得所述第一判据最小且所述第二判据为0。
可选地，所述根据所述目标线性系统确定海洋垃圾回收规划策略，还包括：
获取对所述海上漂浮垃圾进行清理的目标装置的历史能源消耗数据；
根据所述历史能源消耗数据计算能源消耗速率；
将所述能源消耗速率作为第三判据；
根据所述第三判据对所述海洋垃圾回收规划策略进行动态调整。
可选地，所述根据所述目标线性系统确定海洋垃圾回收规划策略，还包括：
通过基于强化学习机制的策略估计法，对所述第一速率系数和所述第五速率系数进行动态调整；
根据所述第一判据、所述第二判据和所述第三判据确定奖励函数的大小；
根据Q-learn ing算法和所述奖励函数的大小，将所述第一速率系数和所述第五速率系数作为DQN算法的输入参数进行迭代学习，得到最优策略。
本发明实施例的另一方面还提供了一种基于机器视觉和强化学习的海洋垃圾回收规划系统，包括：
第一模块，用于采用目标检测算法对海上漂浮垃圾进行目标检测，获取目标数据，所述目标数据包括海上漂浮垃圾数量、类别、位置和距离的信息；
第二模块，用于根据所述目标数据建立目标线性系统；
第三模块，用于根据所述目标线性系统确定海洋垃圾回收规划策略，并根据所述海洋垃圾回收规划策略对所述海上漂浮垃圾进行清理。
本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
下面详细说明本发明实施例的方法的具体实现原理：
本发明的整体系统可以由三个模块组成，分别是视觉模块、中央计算模块和通信模块，本发明的系统可以搭载在进行海上漂浮垃圾清理作业的装置或船只上。
其中，第一个是视觉模块，包括摄像头和NX芯片，用于通过目标检测技术识别海洋垃圾的数量和其所在位置，将数据传输回中央计算模块。
第二个是中央计算模块，由处理器芯片(例如可以采用GPU加速类的处理器)和定位装置组成，本模块在获取其他模块传输的数据信息后，对其进行计算处理和系统建模，获得当前垃圾在一定海域、一定时间段内的总体情况，做出规划最优决策。
第三个是通信模块，本模块确保其它模块之间的数据和信号传输。另外，为计算近岸海域的垃圾数量，需部署岸基视觉模块进行识别检测，然后通过无线传输将信息发送到系统处。
具体地，本发明实施例的视觉模块主要用于：使用目标检测领域的经典算法yolov4，精确识别筛选出海上漂浮垃圾，并对其数量进行计算统计；同时对目标进行测距，根据自身和目标的相对位置建立空间坐标系，最后将数据信息传输到中央计算模块。
具体地，如图2所示，本发明实施例的中央计算模块主要用于：对获取的数据进行计算和系统建模，在一定海域面积S内，设K为垃圾从陆地等区域排放到近岸海域的速率，N1为近岸海域的第一垃圾数量，N2为漂浮在远离海岸的海域内的第二垃圾数量，N3为已被搭载本系统的装置或船只清理回收的第三垃圾数量，则N1、N2、N3有关于时间t的变化函数N1(t)、N2(t)、N3(t)，则它们随t变化的情况可由以下方程组表示：
需要说明的是，本发明实施例的方程组用于N1、N2、N3组成的线性系统的整体表述，同时反映它们之间的相互影响、在时间上的变化情况，以及计算的表达式。当本发明所描述的系统正式运作时，需要此方程组内的所有数据计算和迭代整体持续进行，所以把它们放到一起。另外，对于后续的数据处理，后续所有中央计算模块内数据的计算和处理以此方程组为基础，如：求
或N1时，就使用方程组里的表达式进行计算。
上述a1为本区域(N1)已被搭载本系统的装置或船只清理回收的垃圾变化的第一速率系数；b1为从近岸海域漂流转移到远离海岸的海域的第二速率系数；b2为垃圾从远离海岸的海域漂流转移到近岸海域的第三速率系数；a2为垃圾漂浮超出海域面积S的第四速率系数；c1为本区域(N2)垃圾被搭载本系统的装置或船只清理回收的垃圾的变化的第五速率系数。
其中，a1和c1的大小可根据搭载本系统的装置或船只的垃圾回收效率进行分配调整，它们反映了装置或船只在进行垃圾回收时的功率，可作为控制的依据传输到装置或船只上，即告诉了装置或自动船只应该以何种速度进行清理回收；b1、b2由上述陆基视觉模块检测为主要计算、垃圾清理回收装置上的视觉模块检测为辅助计算得出。a2可逆向推导得出，既没有被清理也没有在区域内进行漂浮转移的垃圾数量即是漂浮到指定海域S以外的垃圾。通用地，以上所有速率系数可由目标(垃圾)在单位时间内的变化数量除以所在区域内的垃圾总数量计算得出，即：
根据上述垃圾总数量的计算公式，可以确定前述各个速率系数的计算公式如下：
1、
其中，Na1为N1(近海岸)区域内已被搭载本系统的装置或船只清理回收的垃圾的变化量，由垃圾清理装置上的视觉模块识别获得。
2、
其中，Na2为垃圾漂浮超出指定清理海域S的数量，没有被清理也没有在区域内进行漂浮转移的垃圾数量即是漂浮到指定海域S以外的垃圾，即Na2＝(ΔN1+ΔN2+ΔN3)-Na1-Nb1-Nb2-Nc1。
3、
其中，Nb1为从近岸海域漂流转移到远离海岸的海域的垃圾数量，由陆基视觉模块检测为主要识别、垃圾清理回收装置上的视觉模块检测为辅助识别得出。
4、
其中，Nb2为从远离海岸的海域漂流转移到近岸海域的垃圾数量，计算原理和Nb1相同。
5、
其中，Nc1为N2(远离海岸)区域内垃圾被搭载本系统的装置或船只清理回收的垃圾的变化量，由垃圾清理装置上的视觉模块识别获得。
6、
其中，Nk为上述时间段内垃圾从陆地被转移排放到近岸海域的数量，也就是N1近岸海域内垃圾的增加量，表示了人类产生的海洋垃圾的来源。
以上组成一个随时间变化的线性系统，根据所指定的海域的垃圾回收清理需求，也可设置主要清理近岸垃圾(N1)或主要清理远离海岸的垃圾(N2)，当系统部分稳定时有：
1、以清理近岸垃圾(N1)为主时，稳定时有
计算可得
以N1的大小为第一判据，以
为第二判据，调整垃圾回收装置的回收清理效率，以使垃圾数量N1尽可能小和
尽量达到0(垃圾数量达到稳定状态)为目标。
2、以清理远离海岸的垃圾(N2)为主时，计算可得
其余过程与上述N1情况下相同。
3、在上述基础引入能耗控制和自适应：获取并记录搭载本系统的装置或自动船只的历史能源消耗数据，计算平均收集单位垃圾所需能耗，即能源消耗速率，以能源消耗速率为第三判据，在使上述第一第二判据尽量达到要求的前提下，以降低能源消耗速率为目标做出调整。
为达到以上目的，本发明实施例的调整目标是a1和c1，使用基于强化学习机制的策略估计法。以
的不同大小为状态组Z＝[z1,z2,z3…](一般由装置在一段时间内执行任务的历史数据记录得出，但也可由人为输入和修改初始值)；以对a1和c1的单位增大或减小的操作作为行动X＝[x1,x2,x3…]；以a1和c1调整到某个值作为策略T＝[p1,p2,p3…](例：p1表示a1＝50％,c1＝50％，此时的策略就是使a1和c1进行增大或减小的行动来达到p1)，同时，以执行清理任务一段时间后计算得出的
作为初始状态，以
为最终(目标)状态，以根据上述第一、第二和第三判据设置奖励函数R(Reward)的大小，结合Q-learning算法，将a1和c1作为DQN算法网络的输入参数进行迭代学习，得到最优策略。
综上所述，相较于现有技术，本发明具有以下特点：
1、设计了一种专门应用于海洋漂浮垃圾回收清理的算法(系统)，以垃圾数量和清理速率等数据作为参数进行系统化的建模和规划，并随外界变化调整适应，提高海洋垃圾回收时的效率。
2、智能化复合调控，以N1或N2的大小为第一判据，以
或
为第二判据，以能源消耗速率为第三判据，并结合强化学习调整垃圾回收装置在不同区域的的回收清理效率，实现更高效的回收处理。
3、不同区域内的垃圾处理速率由本发明中提及的关于时间t的变化函数决定(包括但不限于本文中提及的函数，不同环境可根据不同函数处理)。
4、模糊数据与高精度数据相结合，因本发明所描述的系统需要获取海域内的漂浮垃圾数量和位置分布情况但又要考虑自身能耗影响，为确保系统内计算获取足够的实时参数又能长期续航，对指定海域内海面垃圾的时间和空间变化情况进行实时检测，且当距离较远时采用相对低精度的识别方式，随着机器本身向海洋垃圾的运动，精度逐渐提高，精度与距离关系、识别精度由二者距离与机器本身功耗共同决定。
本发明将视觉处理与神经网络算法(yolov4)结合，计算海面垃圾回收目标的相对位置和几何坐标，精确检测识别垃圾回收目标和其数量，再以此结合计算出的清理速率进行系统化的建模和规划，实时监测指定海域内海面垃圾的时间和空间变化情况，当海面漂浮垃圾分布情况或其产生速率等外界因素发生变化时，自身可结合强化学习不断自动调整以达到优化垃圾回收效率的效果，同时引入能耗控制和自适应，提高了自动工作时的续航能力。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.基于机器视觉和强化学习的海洋垃圾回收规划方法，其特征在于，包括：
采用目标检测算法对海上漂浮垃圾进行目标检测，获取目标数据，所述目标数据包括海上漂浮垃圾数量、类别、位置和距离的信息；
根据所述目标数据建立目标线性系统；
根据所述目标线性系统确定海洋垃圾回收规划策略，并根据所述海洋垃圾回收规划策略对所述海上漂浮垃圾进行清理。
2.根据权利要求1所述的基于机器视觉和强化学习的海洋垃圾回收规划方法，其特征在于，所述根据所述目标数据建立目标线性系统，包括：
从所述目标数据中获取近岸海域的第一垃圾数量、漂浮在远离海岸的海域内的第二垃圾数量以及已被清理回收的第三垃圾数量；
根据所述第一垃圾数量、所述第二垃圾数量和所述第三垃圾数量，计算在第一区域中已被清理回收的垃圾变化情况的第一速率系数、从近岸海域漂流转移到远离海岸的海域的第二速率系数、垃圾从远离海岸的海域漂流转移到近岸海域的第三速率系数、垃圾漂浮面积超出海域面积的第四速率系数以及在第二区域中已被清理回收的垃圾变化情况的第五速率系数；
根据所述第一速率系数、所述第二速率系数、所述第三速率系数、所述第四速率系数以及所述第五速率系数，获取所述第一垃圾数量、所述第二垃圾数量以及所述第三垃圾数量的变化情况；
根据所述第一垃圾数量、所述第二垃圾数量以及所述第三垃圾数量的变化情况，确定垃圾数量随时间变化的目标方程组；
根据所述目标方程组建立目标线性系统。
3.根据权利要求2所述的基于机器视觉和强化学习的海洋垃圾回收规划方法，其特征在于，
所述目标方程组的表达式为：
其中，a1代表所述第一速率系数；b1代表所述第二速率系数；b2代表所述第三速率系数；a2代表所述第四速率系数；c1代表所述第五速率系数；N1代表所述第一垃圾数量；N2代表所述第二垃圾数量；N3代表所述第三垃圾数量；
代表所述第一垃圾数量随时间变化的第一变化情况；
代表所述第二垃圾数量随时间变化的第二变化情况；
代表所述第三垃圾数量随时间变化的第三变化情况。
4.根据权利要求3所述的基于机器视觉和强化学习的海洋垃圾回收规划方法，其特征在于，
所述第一速率系数的计算公式为：
其中，
代表第一垃圾数量在单位时间内的变化数量；N1代表第一垃圾数量所在区域内的垃圾总数量。
5.根据权利要求4所述的基于机器视觉和强化学习的海洋垃圾回收规划方法，其特征在于，所述根据所述目标线性系统确定海洋垃圾回收规划策略，包括：
当海洋垃圾以近岸垃圾为主时，以所述第一垃圾数量的大小为第一判据，以所述第一变化情况为第二判据，将所述海洋垃圾回收规划策略确定为使得所述第一判据最小且所述第二判据为0；
或者，
当海洋垃圾以远离海岸的垃圾为主时，以所述第二垃圾数量的大小为第一判据，以所述第二变化情况为第二判据，将所述海洋垃圾回收规划策略确定为使得所述第一判据最小且所述第二判据为0。
6.根据权利要求5所述的基于机器视觉和强化学习的海洋垃圾回收规划方法，其特征在于，所述根据所述目标线性系统确定海洋垃圾回收规划策略，还包括：
获取对所述海上漂浮垃圾进行清理的目标装置的历史能源消耗数据；
根据所述历史能源消耗数据计算能源消耗速率；
将所述能源消耗速率作为第三判据；
根据所述第三判据对所述海洋垃圾回收规划策略进行动态调整。
7.根据权利要求6所述的基于机器视觉和强化学习的海洋垃圾回收规划方法，其特征在于，所述根据所述目标线性系统确定海洋垃圾回收规划策略，还包括：
通过基于强化学习机制的策略估计法，对所述第一速率系数和所述第五速率系数进行动态调整；
根据所述第一判据、所述第二判据和所述第三判据确定奖励函数的大小；
根据Q-learning算法和所述奖励函数的大小，将所述第一速率系数和所述第五速率系数作为DQN算法的输入参数进行迭代学习，得到最优策略。
8.基于机器视觉和强化学习的海洋垃圾回收规划系统，其特征在于，包括：
第一模块，用于采用目标检测算法对海上漂浮垃圾进行目标检测，获取目标数据，所述目标数据包括海上漂浮垃圾数量、类别、位置和距离的信息；
第二模块，用于根据所述目标数据建立目标线性系统；
第三模块，用于根据所述目标线性系统确定海洋垃圾回收规划策略，并根据所述海洋垃圾回收规划策略对所述海上漂浮垃圾进行清理。
9.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111255554.2A CN114089656B (zh) | 2021-10-27 | 2021-10-27 | 基于机器视觉和强化学习的海洋垃圾回收规划方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111255554.2A CN114089656B (zh) | 2021-10-27 | 2021-10-27 | 基于机器视觉和强化学习的海洋垃圾回收规划方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114089656A true CN114089656A (zh) | 2022-02-25 |
| CN114089656B CN114089656B (zh) | 2023-08-08 |
Family
ID=80297861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111255554.2A Active CN114089656B (zh) | 2021-10-27 | 2021-10-27 | 基于机器视觉和强化学习的海洋垃圾回收规划方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114089656B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115016364A (zh) * | 2022-07-13 | 2022-09-06 | 长春工业大学 | 一种海洋垃圾清理装置控制系统 |
| CN117035750A (zh) * | 2023-07-20 | 2023-11-10 | 浙江蓝景科技有限公司 | 一种海洋塑料垃圾收集处置方法、系统和设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9218364B1 (en) * | 2011-01-28 | 2015-12-22 | Yahoo! Inc. | Monitoring an any-image labeling engine |
| CN108510124A (zh) * | 2018-04-09 | 2018-09-07 | 山东大学 | 基于机器学习的水面垃圾清理路径规划方法和装置 |
| CN108557002A (zh) * | 2018-03-21 | 2018-09-21 | 武汉理工大学 | 一种清漂船及其清漂方法 |
| CN109518673A (zh) * | 2019-01-22 | 2019-03-26 | 浙江理工大学 | 一种基于视觉的静水域垃圾吸纳装置及控制方法 |
| CN110498154A (zh) * | 2019-08-23 | 2019-11-26 | 中国科学院自动化研究所 | 垃圾清理装置和垃圾清理系统 |
| CN110653169A (zh) * | 2019-08-06 | 2020-01-07 | 中国长城科技集团股份有限公司 | 一种垃圾处理方法、装置及终端设备 |
| CN110963209A (zh) * | 2019-12-27 | 2020-04-07 | 中电海康集团有限公司 | 一种基于深度强化学习的垃圾分拣装置与方法 |
| CN111037554A (zh) * | 2019-12-12 | 2020-04-21 | 杭州翼兔网络科技有限公司 | 一种基于机器学习的垃圾清理方法、装置、设备及介质 |
| CN210459506U (zh) * | 2019-06-20 | 2020-05-05 | 中水淮河规划设计研究有限公司 | 泵站视频识别污物智能化清污系统 |
| US20200222949A1 (en) * | 2017-09-19 | 2020-07-16 | Intuitive Robotics, Inc. | Systems and methods for waste item detection and recognition |
| CN112102369A (zh) * | 2020-09-11 | 2020-12-18 | 陕西欧卡电子智能科技有限公司 | 水面漂浮目标自主巡检方法、装置、设备及存储介质 |
| CN113076924A (zh) * | 2021-04-21 | 2021-07-06 | 西交利物浦大学 | 基于无人船的河面垃圾实时检测方法、装置及存储介质 |
-
2021
- 2021-10-27 CN CN202111255554.2A patent/CN114089656B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9218364B1 (en) * | 2011-01-28 | 2015-12-22 | Yahoo! Inc. | Monitoring an any-image labeling engine |
| US20200222949A1 (en) * | 2017-09-19 | 2020-07-16 | Intuitive Robotics, Inc. | Systems and methods for waste item detection and recognition |
| CN108557002A (zh) * | 2018-03-21 | 2018-09-21 | 武汉理工大学 | 一种清漂船及其清漂方法 |
| CN108510124A (zh) * | 2018-04-09 | 2018-09-07 | 山东大学 | 基于机器学习的水面垃圾清理路径规划方法和装置 |
| CN109518673A (zh) * | 2019-01-22 | 2019-03-26 | 浙江理工大学 | 一种基于视觉的静水域垃圾吸纳装置及控制方法 |
| CN210459506U (zh) * | 2019-06-20 | 2020-05-05 | 中水淮河规划设计研究有限公司 | 泵站视频识别污物智能化清污系统 |
| CN110653169A (zh) * | 2019-08-06 | 2020-01-07 | 中国长城科技集团股份有限公司 | 一种垃圾处理方法、装置及终端设备 |
| CN110498154A (zh) * | 2019-08-23 | 2019-11-26 | 中国科学院自动化研究所 | 垃圾清理装置和垃圾清理系统 |
| CN111037554A (zh) * | 2019-12-12 | 2020-04-21 | 杭州翼兔网络科技有限公司 | 一种基于机器学习的垃圾清理方法、装置、设备及介质 |
| CN110963209A (zh) * | 2019-12-27 | 2020-04-07 | 中电海康集团有限公司 | 一种基于深度强化学习的垃圾分拣装置与方法 |
| CN112102369A (zh) * | 2020-09-11 | 2020-12-18 | 陕西欧卡电子智能科技有限公司 | 水面漂浮目标自主巡检方法、装置、设备及存储介质 |
| CN113076924A (zh) * | 2021-04-21 | 2021-07-06 | 西交利物浦大学 | 基于无人船的河面垃圾实时检测方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 徐本一: "基于机器视觉的垃圾塑料瓶识别算法设计", 电子世界, pages 93 - 95 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115016364A (zh) * | 2022-07-13 | 2022-09-06 | 长春工业大学 | 一种海洋垃圾清理装置控制系统 |
| CN117035750A (zh) * | 2023-07-20 | 2023-11-10 | 浙江蓝景科技有限公司 | 一种海洋塑料垃圾收集处置方法、系统和设备 |
| CN117035750B (zh) * | 2023-07-20 | 2024-03-26 | 浙江蓝景科技有限公司 | 一种海洋塑料垃圾收集处置方法、系统和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114089656B (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114089656A (zh) | 基于机器视觉和强化学习的海洋垃圾回收规划方法及系统 | |
| CN108230302B (zh) | 一种核电厂冷源海域入侵海洋生物探测及处置方法 | |
| Ocampo-Martinez et al. | Application of predictive control strategies to the management of complex networks in the urban water cycle [applications of control] | |
| CN101441728B (zh) | 门式起重机优化设计的神经网络方法 | |
| Shamshirband et al. | Adaptive neuro-fuzzy optimization of wind farm project net profit | |
| CN112288193A (zh) | 基于注意力机制的gru深度学习的海洋站表层盐度预测方法 | |
| CN109466725B (zh) | 一种基于神经网络和图像识别的智能水面漂浮物打捞系统 | |
| CN112307688A (zh) | 一种电力推进船舶能效监控管理优化系统和方法 | |
| CN108931243A (zh) | 一种复杂海洋环境影响下基于能耗和采样量多目标优化的uuv路径规划方法 | |
| CN107730539B (zh) | 自主水下机器人控制系统及声纳目标跟踪方法 | |
| Ghorbani et al. | Identification and instance segmentation of oil spills using deep neural networks | |
| Fazri et al. | Implementing Artificial Intelligence to Reduce Marine Ecosystem Pollution | |
| CN114049243A (zh) | 一种浒苔堆积量估算方法、系统及存储介质 | |
| Ding et al. | Neural network based models for forecasting | |
| CN113985876B (zh) | 基于仿生鱼类觅食的海洋垃圾回收路径规划方法及系统 | |
| CN115334165B (zh) | 一种基于深度强化学习的水下多无人平台调度方法及系统 | |
| Chaudhary et al. | Prediction of turbidity in beach waves using nonlinear autoregressive neural networks | |
| Wang et al. | A multi-sensor intelligent surface garbage cleaning robot | |
| CN105550495A (zh) | 一种船舶航行增阻等级的评估方法 | |
| Gao et al. | Artificial intelligence algorithms in unmanned surface vessel task assignment and path planning: A survey | |
| Zhi-Wen et al. | Path planning for UUV in dynamic environment | |
| CN114723336A (zh) | 一种基于mop-dl的地下排水管网养护智能决策方法 | |
| Pashna et al. | Oil Spill trajectory tracking using swarm intelligence and hybrid fuzzy system | |
| CN105182739B (zh) | 一种船舶航行增阻等级的评估方法 | |
| CN114638152B (zh) | 基于HGP-MPC的深海Argo剖面浮标能量管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |