CN113777917A - 基于Mobilenet网络仿生机器鱼场景感知系统 - Google Patents
基于Mobilenet网络仿生机器鱼场景感知系统 Download PDFInfo
- Publication number
- CN113777917A CN113777917A CN202110781755.XA CN202110781755A CN113777917A CN 113777917 A CN113777917 A CN 113777917A CN 202110781755 A CN202110781755 A CN 202110781755A CN 113777917 A CN113777917 A CN 113777917A
- Authority
- CN
- China
- Prior art keywords
- fish
- network
- scene
- robot fish
- perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 70
- 230000008447 perception Effects 0.000 title claims abstract description 31
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000003592 biomimetic effect Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 235000014653 Carica parviflora Nutrition 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 241000243321 Cnidaria Species 0.000 claims 2
- 238000000034 method Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 244000132059 Carica parviflora Species 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000013138 pruning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000009182 swimming Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施方式的目的是提供提供了一种基于Mobilenet网络的仿生机器鱼场景感知系统和方法包括部署有深度学习Mobilnetv3网络，采用轻量级的MobilenetV3网络保证识别的准确性以及实时性，通过对机器鱼获取的周围环境图像进行处理，实现对周围环境的感知以及为机器鱼自主运动控制提供决策依据，提高机器鱼的自主性、智能性。
Description
技术领域
本公开涉及计算机视觉技术与仿生机器人领域，具体为一种基于 Mobilenet网络的仿生机器鱼场景感知系统。
背景技术
21世纪以来，石油、煤炭等能源危机迫使人们将资源探查的目光转向海 洋，针对海洋世界的开发需求剧增。鱼类作为海洋的宠儿，既能够在持久游速下 保持高效率、低能耗，也可以在爆发游速与拉力游速下实现高灵活型，是仿生机 器鱼的理想仿生研究对象。因此，对仿生机器鱼的研究顺应时代变化，适应各种 动态非结构化水下环境的水下机器人也将会得到快速发展。
实际的水下环境通常是复杂苛刻的，甚至是危险的，仿生机器鱼 的未来应用将要求它们在未知和非结构化的水下环境中游泳。为此， 机器鱼感知水下环境的能力是必不可少的。此外，机器鱼等水下移动 作业机器人所实现的功能可以总结为在目的性的驱使下可行的移动 和操作。为了实现上述功能，需要对全局环境进行有效描述以及基于 该描述的规划，机器人必须感知其所在的每个场景。随着深度学习技 术的持续发展与日渐成熟，基于深度学习的场景感知技术逐渐成为研 究热点，并取得了一定的成果。基于深度学习的仿生机器鱼场景感知 可以实现更高的准确率，大大提高机器鱼水下的生存能力。
因此，基于Mobilnet网络的仿生机器鱼场景感知系统可以有 效感知周围环境，为机器鱼自主运动控制提供决策依据，帮助仿生机 器鱼在避障、路径规划、保证自身安全等方面发挥作用。
发明内容
本说明书实施方式的目的是提供一种基于视觉的仿生机器鱼场景 感知系统及方法，通过对机器鱼获取的周围环境图像进行处理，实现 对周围环境的感知以及为机器鱼自主运动控制提供决策依据，提高机 器鱼的自主性、智能性。
本说明书实施方式提供了一种基于Mobilenet网络的仿生机器鱼 场景感知系统，通过一下技术方案实现：
1.系统载体仿生机器鱼，包括摄像模块、图像传感器、嵌入式微 处理器、通信模块和供电模块；
2.Mobilnet网络模型训练与部署，首先采集场景数据，建立 MobilnetV3网络模型，对模型进行训练，得到最优训练模型，进行模 型剪枝量化，最后部署到嵌入式微处理器中。
3.决策模块根据场景识别结果进行决策、发出控制指令。
与现有技术相比，本公开的有益效果为：
本公开设计了一种基于视觉的仿生机器鱼场景感知系统及方法， 包括部署有深度学习Mobilnetv3网络，采用轻量级的MobilenetV3网 络保证识别的准确性以及实时性。
本公开设计了一种基于视觉的仿生机器鱼场景感知系统及方法， 采用树莓派作为微控制器，能够提供轻量网络运行所需的环境。
附图说明
图1ResNet与MobileNetV2结构对比
图2传统残差模块和倒残差模块
图3改进后的网络结构示意图
图4模型部署流程
图5仿生机器鱼场景感知运行框架
表1MobilenetV3-large模型结构
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一 步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本 公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式， 而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除 非上下文另外明确指出，否则单数形式也意图包括复数形式，此外， 还应当理解的是，当在本说明书中使用术语“包含”和/或“包括” 时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例子一
该实施例公开了一种基于MobilnetV3网络的仿生机器鱼场景感知 系统，包括收集数据集，建立MobilnetV3模型，，模型训练以及剪 枝优化。
步骤1：数据集建立，构建MbilnetV3网络模型，模型训练
仿生机器鱼在走向实际水下应用时，真实的水下环境是其执行任 务所必须关注的。同时，合理感知周围环境可以提高仿生机器鱼的自 主性，为机器鱼运动控制提供决策依据，帮助机器鱼规避复杂危险环 境。
鉴于复杂多变的水下环境，本课题从浅水区、深水区、水底等三 个方面考虑，设计了鱼群、巨型鱼、海洋植物、珊瑚礁、浅水岛礁等 五个水下场景作为仿生机器鱼场景感知对象，并在以下情形中进行应 用：
(1)执行水下任务，合理规避鱼群、巨型鱼的碰撞；避免水下 植被的缠绕，防止因触碰珊瑚礁、浅水岛礁等损伤机体。
(2)资源勘探任务，合理规划路线，规避植被、珊瑚岛礁等狭 小不易通过区域。
(3)执行探测任务，监测海洋、河流湖泊等水域的鱼群活动规 律、运动行为等，对其进行及时定位与侦测。针对上述五个场景，收 集整理了场景感知样本数据，对数据样本进行数据清洗，剔除不清晰、 场景不符图像之后构建了场景感知数据集。
步骤1.2建立MobilenetV3模型。
MobileNetV3网络采用pointwise卷积和depthwise卷积替换传统 卷积。
假定初始输入图像的大小为H×W×C，选取F×F大小的卷积核， 二者进行卷积操作后的输出特征图B为H1×W1×C1，那么运算量如 下：
H1×W1×C1×F×F×C (0.1)
由于输出特征图预先指定，且卷积层中卷积核一般取3×3、5×5、 1×1等大小，但输入特征图其通道数可以达到256、512或者更多。 因此，卷积操作的运算量决定于输入特征图具有的通道数。
相比与普通卷积，depthwise拆分卷积核为单通道，在输入特征 图不改变深度的情况下，分别对每个通道进行卷积运算，这样便可获 得具有与输入特征图相同深度的特征图输出。
然后利用pointwise卷积进行升维或者降维。pointwise方法利用 1×1卷积核，其通道数等于depthwise卷积后的输出维度。尽管 pointwise方法通道数多，但大小为1×1的卷积核有利于缩减运算量。
Inverted Residual Blocks：在上述模块构建完成后，对比ResNet 中的bottleneck结构，如图1所示。
ResNet采用标准卷积提取特征，MobileNetV2采用改进的 depthwise卷积提取特征。另外，bottleneck为先降维再卷积最后升维， MobileNetV2与此相反，先升维、再卷积然后降维。
与此同时，为了特征复用，MobileNetv2引入了shortcut，称之为 Invertedresidual block，如图2所示。
MobileNetV3的一个显著特点便是采用了神经网络架构搜索技 术(NAS)，与ManasNet相似。首先利用资源有限的NAS技术在整 个网络及各模块搜索网络，被称作模块级搜索(Blockwise Search)； 再用NetAdapt层级搜索算法调整各个层，特别是各层卷积核个数。
搜索结果表明，网络结构中较前或者较后的层需要较高的运算 量，因此进行一些改进，保证网络精度的条件下优化网络速度。
首先，在原始网络结构的最后几层，利用1×1卷积把特征映射 到高维空间，获得更多特征信息的同时也增加了计算量。因此，将 1×1卷积调整至平均池化层后，这样进行1×1卷积计算所需的特征图 由7×7变为1×1大小，同时，最后一个bottleneck的后半部分也无需 用来减少通道，进而运算量减少。改进后的结构示意图如图3所示。
其次，提出了激活函数H-swish，获得相同准确率的同时使卷积 层运算仅需更少的通道，更进一步的减小了计算量。
谷歌的科研人员提出了swish激活函数，如式4.6所示：
swish(x)＝xsigmoid(βx) (0.2)
Swish函数可以带来比ReLU更高的精度的同时也提高了计算 量。H-swish对Swish进行了改进，用变体ReLU函数替换sigmoid 激活函数，如式4.7所示：
此外，在MobilenetV2的基础上添加了SE(Squeeze-and-excitatio block)模块，用来构建特征图各通道间的内部依存关系，并据此调 整特征，提高了网络精度。
MobileNetV3包括两个版本：Large版本和Small版本，适用于 具有不同计算性能的设备，本课题将MobileNetV3-Large版本应用到 仿生机器鱼的场景感知中，其中Large版本网络结构如表1所示。在 初始部分，二者均采用一个卷积层提取特征，二者的不同之处便在于 bottleneck的数量以及内部结构的具体设置。网络结构的最后，均采 用平均池化层和1×1的卷积层。
建立MobilenetV3模型之后对网络进行训练，在对训练后的模型 进行权重剪枝，得到最优准确率与最快速度相平衡的模型。
ONNX作为表示机器学习模型的开放标准。许多框架(包括 TensorFlow、PyTorch、Scikit-learn、Keras、Chainer、MXNET和 MATLAB)中的模型都可以导出或转换为标准ONNX格式。在模型 采用ONNX格式后，即可在各种平台和设备上运行。ONNX运 行时是用于将ONNX模型部署到生产环境的高性能推理引擎。它针 云和边缘进行了优化，适用于Linux、Windows和Mac。编写C++， 它还具有C、Python和C#等编程语言的API接口。ONNX运 行时为所有ONNX规范提供支持，并与不同硬件(如兼容TensorRT 上的NVidia GPU设备)上的加速器集成。PyTorch模型转化为 ONNX模型部署流程示意图4。
五种水下场景：鱼群、巨型鱼、海洋植被、珊瑚礁、浅水岛礁， 以此为基础结合仿生机器鱼设计了基于MobileNetV3网络的水下场 景感知系统框架，如图5所示。
其工作流程如下：机器鱼自身装备有视觉传感器，或者配有辅助 视觉探测设备，视觉模块采集周围环境图像数据；将图像数据输入到 部署有MobileNetV3网络的深度学习推理模块执行场景感知，输出感 知分类结果，为机器鱼决策提供依据；将感知结果传输至机器鱼微控 制器，由微控制器自主决策，发出运动指令至执行机构；舵机等执行 机构接受到控制指令后动作执行；通信模块负责机器鱼与上位机之间 的通信，将水下图像、机器鱼运动状态等数据上传至上位机；上位机 监控显示各种数据，同时操作人员监测并发出控制命令，经由通信模 块传递至机器鱼。
表1MobileNetV3-Large网络结构
Claims (4)
1.一种基于Mobilebnetv3网络的场景感知仿生机器鱼系统，其特征在于，包括：
设计了仿生机器鱼场景感知运行框架，给出了仿生机器鱼场景感知的一般工作流程；
提出了仿生机器鱼的场景感知对象，包括但不限于以下场景：
珊瑚礁、浅水岛礁、巨型鱼、海洋植被、鱼群；
采用Mobilnet网络作为场景识别算法，对算法的构建、训练、部署情况进行了说明。
2.如权利要求1所述，一种基于MobilebnetV3网络的场景感知仿生机器鱼系统，其特征在于仿生机器鱼在进行场景识别时，其具体的工作流程如下：机器鱼自身装备有视觉传感器，或者配有辅助视觉探测设备，视觉模块采集周围环境图像数据；将图像数据输入到部署有MobileNetV3网络的深度学习推理模块执行场景感知，输出感知分类结果，为机器鱼决策提供依据；将感知结果传输至机器鱼微控制器，由微控制器自主决策，发出运动指令至执行机构；舵机等执行机构接受到控制指令后动作执行；通信模块负责机器鱼与上位机之间的通信，将水下图像、机器鱼运动状态等数据上传至上位机；上位机监控显示各种数据，同时操作人员监测并发出控制命令，经由通信模块传递至机器鱼。
3.如权利要求1所述，一种基于MobilebnetV3网络的场景感知仿生机器鱼系统，其特征在于：仿生机器鱼的场景感知对象，包括但不限于以下场景：珊瑚礁、浅水岛礁、巨型鱼、海洋植被、鱼群。
4.如权利要求1所述，一种基于MobilebnetV3网络的场景感知仿生机器鱼系统，其特征在于：采用MobilenetV3网络作为识别算法进行场景感知。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110781755.XA CN113777917A (zh) | 2021-07-12 | 2021-07-12 | 基于Mobilenet网络仿生机器鱼场景感知系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110781755.XA CN113777917A (zh) | 2021-07-12 | 2021-07-12 | 基于Mobilenet网络仿生机器鱼场景感知系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113777917A true CN113777917A (zh) | 2021-12-10 |
Family
ID=78835848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110781755.XA Pending CN113777917A (zh) | 2021-07-12 | 2021-07-12 | 基于Mobilenet网络仿生机器鱼场景感知系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113777917A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114660947A (zh) * | 2022-05-19 | 2022-06-24 | 季华实验室 | 机器人步态自主学习方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914797A (zh) * | 2020-08-17 | 2020-11-10 | 四川大学 | 基于多尺度轻量级卷积神经网络的交通标志识别方法 |
| CN112836623A (zh) * | 2021-01-29 | 2021-05-25 | 北京农业智能装备技术研究中心 | 设施番茄农事决策辅助方法及装置 |
| CN112861755A (zh) * | 2021-02-23 | 2021-05-28 | 北京农业智能装备技术研究中心 | 一种目标多类别实时分割方法及系统 |
-
2021
- 2021-07-12 CN CN202110781755.XA patent/CN113777917A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914797A (zh) * | 2020-08-17 | 2020-11-10 | 四川大学 | 基于多尺度轻量级卷积神经网络的交通标志识别方法 |
| CN112836623A (zh) * | 2021-01-29 | 2021-05-25 | 北京农业智能装备技术研究中心 | 设施番茄农事决策辅助方法及装置 |
| CN112861755A (zh) * | 2021-02-23 | 2021-05-28 | 北京农业智能装备技术研究中心 | 一种目标多类别实时分割方法及系统 |
Non-Patent Citations (6)
| Title |
|---|
| 司海飞: "基于DeepLab_V3模型的图像语义分割速度优化研究", 计算机工程与应用, vol. 56, no. 24 * |
| 王健: "基于深度可分离卷积的苹果叶病理识别", 计算机系统应用, vol. 29, no. 11 * |
| 范瑞: "多尺度并行融合的轻量级卷积神经网络设计", 广西师范大学学报, vol. 37, no. 3 * |
| 邵伟平;王兴;曹昭睿;白帆;: "基于MobileNet与YOLOv3的轻量化卷积神经网络设计", 计算机应用, no. 1 * |
| 郭渺辰: "小型水下机器人设计及控制方法研究", 《中国优秀硕士学位论文全文数据库》, no. 2, pages 8 - 9 * |
| 龙文汉: "MobileNet-v3网络在中草药查询鉴别系统设计与应用", 《电子世界》, no. 7, pages 206 - 207 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114660947A (zh) * | 2022-05-19 | 2022-06-24 | 季华实验室 | 机器人步态自主学习方法、装置、电子设备及存储介质 |
| CN114660947B (zh) * | 2022-05-19 | 2022-07-29 | 季华实验室 | 机器人步态自主学习方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109800864B (zh) | 一种基于图像输入的机器人主动学习方法 | |
| US9630318B2 (en) | Feature detection apparatus and methods for training of robotic navigation | |
| WO2022160430A1 (en) | Method for obstacle avoidance of robot in the complex indoor scene based on monocular camera | |
| US9346167B2 (en) | Trainable convolutional network apparatus and methods for operating a robotic vehicle | |
| US20190184556A1 (en) | Apparatus and methods for online training of robots | |
| Yu et al. | A framework for biomimetic robot fish's design and its realization | |
| CN109848996B (zh) | 基于图优化理论的大规模三维环境地图创建方法 | |
| Zocco et al. | Towards more efficient efficientdets and real-time marine debris detection | |
| CN113553943B (zh) | 目标实时检测方法以及装置、存储介质、电子装置 | |
| CN116255908B (zh) | 面向水下机器人的海生物定位测量装置及方法 | |
| CN114812551B (zh) | 一种室内环境机器人导航自然语言指令生成方法 | |
| JP2004030629A (ja) | 顔検出装置、顔検出方法及びロボット装置、並びにプログラム及び記録媒体 | |
| Karapetyan et al. | Human diver-inspired visual navigation: Towards coverage path planning of shipwrecks | |
| CN113777917A (zh) | 基于Mobilenet网络仿生机器鱼场景感知系统 | |
| CN113119132A (zh) | 一种基于模仿学习的深海精细遥操纵任务的实现方法 | |
| Bouwmeester et al. | Nanoflownet: Real-time dense optical flow on a nano quadcopter | |
| CN116229394A (zh) | 一种自动驾驶图像识别方法、装置及识别设备 | |
| CN112124537B (zh) | 一种海底生物自主吸取捕捞的水下机器人智能控制方法 | |
| CN117359643A (zh) | 一种多模态元学习机器人自我定位系统及其方法 | |
| Samal et al. | Closed-loop approach to perception in autonomous system | |
| Valdenegro-Toro | Real-time convolutional networks for sonar image classification in low-power embedded systems | |
| Guan et al. | Achelous++: Power-Oriented Water-Surface Panoptic Perception Framework on Edge Devices based on Vision-Radar Fusion and Pruning of Heterogeneous Modalities | |
| CN206654179U (zh) | 一种仿生机器鱼控制系统及水下机器人 | |
| CN106826875B (zh) | 一种仿生鱼型机器人控制系统 | |
| CN115303455A (zh) | 水下仿生机器人运动控制方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211210 |