CN214751405U - 多场景通用的边缘视觉运动控制系统 - Google Patents

多场景通用的边缘视觉运动控制系统 Download PDF

Info

Publication number
CN214751405U
CN214751405U CN202120014921.9U CN202120014921U CN214751405U CN 214751405 U CN214751405 U CN 214751405U CN 202120014921 U CN202120014921 U CN 202120014921U CN 214751405 U CN214751405 U CN 214751405U
Authority
CN
China
Prior art keywords
module
motion control
visual
algorithm
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202120014921.9U
Other languages
English (en)
Inventor
谷朝臣
杨舒盛
吴开杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Application granted granted Critical
Publication of CN214751405U publication Critical patent/CN214751405U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25257—Microcontroller

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

本实用新型提供了一种多场景通用的边缘视觉运动控制系统，包括：智能传感模块：采集视野内的光像并进行光电信号转换，得到信号和图像，同时进行图像预处理；视觉计算模块：根据自定义的视觉算法处理信号和图像，得到视觉控制指令和运动控制指令；运动控制模块：根据运动控制指令，完成自定义多轴插补计算、运动控制指令分发以及其他控制执行指令下发；存储模块：对信号、图像、视觉算法和控制算法进行存储，以及外部存储介质信息的读写；用户交互模块：进行图像显示和传输。本实用新型实现数据流水线处理，更高的时间同步精度和预测控制；提高了视觉运动控制系统的可靠性及稳定性，通过无线下载扩展了视觉运动控制系统的算法柔性和边缘端应用场景。

Description

多场景通用的边缘视觉运动控制系统
技术领域
本实用新型涉及视觉感知与智能控制技术领域，具体地，涉及一种多场景通用的边缘视觉运动控制系统。
背景技术
视觉运动控制技术，是将视觉处理与运动控制结合，以视觉处理结果为运动控制系统给定信号，将视觉传感器纳入运动执行系统闭环决策回路的控制技术。
目前的视觉运动控制，主要采用视觉相机-上位机的方式实现视觉采集和处理，通过上位机-运动控制卡实现运动控制，各模块以特定的协议通过通信线缆相连，其缺点在于图像数据传输、上位机图像处理以及上位机与运动控制卡的通信会产生大量的时间延迟，且时间延迟具有不确定性，无法满足高速视觉反馈过程中的动态响应需求，难以保证系统精准可靠运行；各模块通过通信线缆相连，易出现连接故障；以工控机为代表的上位机成本较高，难以满足边缘计算泛在应用需求；系统的功能柔性较差，难以适应不同场景的多样化需求变更。
实用新型内容
针对现有技术中的缺陷，本实用新型的目的是提供一种多场景通用的边缘视觉运动控制系统。
根据本实用新型提供的多场景通用的边缘视觉运动控制系统，包括：
智能传感模块：采集视野内的光像并进行光电信号转换，得到信号和图像；
视觉计算模块：根据自定义的视觉算法处理信号和图像，得到视觉控制指令和运动控制指令；
运动控制模块：根据运动控制指令，完成自定义多轴插补计算、运动控制指令分发以及其他控制执行指令下发；
存储模块：对信号、图像、视觉算法和控制算法进行存储，以及外部存储介质信息的读写；
用户交互模块：进行图像显示和传输。
优选地，所述智能传感模块包括：
图像传感芯片：采集视野内的光像并进行光电信号转换，通过高速并行总线将信号发送给图像采集驱动及预处理模块；
图像采集驱动及预处理模块：接收来自图像传感芯片的信号，对信号的进行编码与缓存，对图像进行预处理。
优选地，所述视觉计算模块包括：
第一无线下载模块：以远程无线的方式对自定义的视觉算法进行固化，并进行更新；
视觉算法模块：对预处理后图像进行计算，得到当前位置坐标信息，并转换为视觉控制指令和运动控制指令；
视觉控制通信模块：根据视觉控制指令对外输出，进行视觉控制。
优选地，所述运动控制模块包括：
第二无线下载模块：以远程无线的方式对自定义多轴插补算法进行固化，并进行更新；
运动算法模块：根据运动控制指令进行多轴每一控制周期内插补算法控制量的计算，得到计算结果；
高速实时总线模块：将计算结果发送给总线型驱动器带动执行机构运动；
多轴脉冲分发模块：将计算结果发送给脉冲型驱动器带动执行机构运动。
优选地，所述运动控制模块包括：实时闭环反馈采集模块：采集各轴当前运动位置数据，并进行解码，发送给运动算法模块进行各轴的全闭环运动控制量计算。
优选地，所述运动控制模块包括：总线扩展与I/O模块：与外设及执行操作系统进行连接，对视觉运动控制器进行扩展。
优选地，各模块之间通过高速并行总线进行数据的传输，模块之间以串联流水线的方式处理数据，形成视觉处理与运动控制的闭环回路。
优选地，所述视觉算法模块和运动算法模块的内部算法根据使用场景及使用需求进行更换，并通过无线下载模块远程进行算法更新。
优选地，所述用户交互模块，用于图像显示和传输，用户自定义视觉算法、运动控制算法调试和下载。
与现有技术相比，本实用新型具有如下的有益效果：
1、本实用新型提供的多场景通用的边缘视觉运动控制器架构，将图像采集、视觉处理以及运动控制等功能进行板卡集成，极大降低了通用性视觉运动控制、视觉伺服的成本；
2、本实用新型系统各部分通过高速并行总线串联，能够实现数据的流水线处理以及更高的时间同步精度和预测控制能力；
3、本实用新型具有系统架构简洁、板卡成本低廉、资源利用率高等优点，降低了视觉运动控制系统的开发难度，提高了视觉运动控制系统的可靠性及稳定性，并通过无线下载等技术扩展了视觉运动控制器的算法柔性和边缘端应用场景。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本实用新型的其它特征、目的和优点将会变得更明显：
图1为本实用新型提供的多场景通用的边缘视觉运动控制器架构的结构原理图。
具体实施方式
下面结合具体实施例对本实用新型进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本实用新型，但不以任何形式限制本实用新型。应当指出的是，对本领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干变化和改进。这些都属于本实用新型的保护范围。
本实施例提供了一种多场景通用的边缘视觉运动控制器架构。
图1为本实用新型实施例多场景通用的边缘视觉运动控制器架构的结构原理图。
所述图像传感芯片，用于采集视野内光像并进行光电信号转换，通过SCCB总线将采集信号发送给图像采集驱动及预处理模块；
所述图像采集驱动及预处理模块，采用FPGA，用于通过SCCB总线接收图像传感芯片信号，并进行信号的多路并行编码与缓存。同时对图像进行预处理，包括图像滤波、色彩校正等；
所述无线下载模块，用于以远程无线的方式向视觉算法模块及运动算法模块进行算法程序的固化，以更新算法程序的功能；
所述视觉算法模块，采用多核ARM/DSP处理器，用于根据无线下载模块固化好的算法，通过AXI总线读取预处理后图像，对图像进行相应计算，得出指定物体当前位置坐标等信息，并将结果转换为视觉控制指令和运动控制指令，通过AXI总线发送给视觉控制通信模块和运动算法模块；
所述视觉控制通信模块，用于对视觉处理结果的直接对外输出，以满足不同的视觉控制需求，采用工业以太网、工业现场总线将视觉处理结果输出；
所述运动算法模块，采用多核ARM/DSP处理器，用于根据视觉算法模块得出的运动控制指令，以及实时闭环反馈采集模块的数据，进行多运动轴每一控制周期内插补算法控制量的计算。
优选地，所述图像传感芯片、图像采集驱动及预处理模块、视觉算法模块、运动算法模块，各部分之间通过高速并行总线进行数据的传输，模块之间以串联流水线的方式处理数据，形成视觉处理与运动控制的闭环回路；
优选地，所述视觉算法模块、运动算法模块，其内部算法可根据使用场景及使用需求的不同更换，并通过无线下载模块远程进行算法更新；
优选地，本实施例中，所述图像采集驱动及预处理模块、视觉算法模块、运动算法模块，通过ZYNQ嵌入式片上系统集成到一颗芯片中，利用ZYNQ片内的FPGA资源进行图像采集的驱动及预处理，利用片内多核ARM处理器配合DSP资源进行视觉算法的计算及运动控制算法的计算。
所述高速实时总线模块与多轴脉冲分发模块，用于兼容不同的驱动器类型，根据运动控制模块的计算结果，向总线型驱动器或脉冲型驱动器发送相应控制消息，带动执行机构运动。
优选地，所述高速实时总线，采用EtherCAT、PowerLink等实时工业以太网，以降低消息发送的延时，提高系统实时性。
所述实时闭环反馈采集模块，用于采集各运动轴当前运动位置数据，并进行数据的解码，以供运动控制模块根据当前各轴位置、速度及加速度等信息，进行各轴的闭环运动控制量计算；
所述总线扩展与I/O模块，用于与其他外设及控制执行系统的连接，方便视觉运动控制器的扩展；
所述存储模块，用于完成系统配置信息、用户程序、计算过程中间量的存储，以及外部存储介质信息的读写；
所述用户交互模块，用于图像显示和传输、用户自定义视觉计算和运动控制算法调试及下载等交互功能。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本实用新型提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本实用新型提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本实用新型提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本实用新型的具体实施例进行了描述。需要理解的是，本实用新型并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本实用新型的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种多场景通用的边缘视觉运动控制系统，其特征在于，包括：
智能传感模块：采集视野内的光像并进行光电信号转换，得到信号和图像，同时进行图像预处理；
视觉计算模块：根据自定义的视觉算法处理信号和图像，得到视觉控制指令和运动控制指令；
运动控制模块：根据运动控制指令，完成自定义多轴插补计算、运动控制指令分发以及其他控制执行指令下发；
存储模块：对信号、图像、视觉算法和控制算法进行存储，以及外部存储介质信息的读写；
用户交互模块：进行图像显示和传输；
所述智能传感模块包括：
图像传感芯片：采集视野内的光像并进行光电信号转换，通过高速并行总线将信号发送给图像采集驱动及预处理模块；
图像采集驱动及预处理模块：接收来自图像传感芯片的信号，对信号的进行编码与缓存，对图像进行预处理；
所述视觉计算模块包括：
第一无线下载模块：以远程无线的方式对自定义的视觉算法进行固化，并进行更新；
视觉算法模块：对预处理后图像进行计算，得到当前位置坐标信息，并转换为视觉控制指令和运动控制指令；
视觉控制通信模块：根据视觉控制指令对外输出，满足不同的视觉控制需求；
所述运动控制模块包括：
第二无线下载模块：以远程无线的方式对自定义多轴插补算法进行固化，并进行更新；
运动算法模块：根据运动控制指令进行多轴每一控制周期内插补算法控制量的计算，得到计算结果；
高速实时总线模块：将计算结果发送给总线型驱动器带动执行机构运动；
多轴脉冲分发模块：将计算结果发送给脉冲型驱动器带动执行机构运动。
2.根据权利要求1所述的多场景通用的边缘视觉运动控制系统，其特征在于，所述运动控制模块包括：实时闭环反馈采集模块：采集各轴当前运动位置数据，并进行解码，发送给运动算法模块进行各轴的全闭环运动控制量计算。
3.根据权利要求1所述的多场景通用的边缘视觉运动控制系统，其特征在于，所述运动控制模块包括：总线扩展与I/O模块：与外设及执行操作系统进行连接，对视觉运动控制器进行扩展。
4.根据权利要求1所述的多场景通用的边缘视觉运动控制系统，其特征在于，各模块之间通过高速并行总线进行数据的传输，模块之间以串联流水线的方式处理数据，形成视觉处理与运动控制的闭环回路。
5.根据权利要求1所述的多场景通用的边缘视觉运动控制系统，其特征在于，所述视觉算法模块和运动算法模块的内部算法根据使用场景及使用需求进行更换，并通过无线下载模块远程进行算法更新。
6.根据权利要求1所述的多场景通用的边缘视觉运动控制系统，其特征在于，所述用户交互模块，用于图像显示和传输，用户自定义视觉算法、运动控制算法调试和下载。
CN202120014921.9U 2020-01-06 2021-01-05 多场景通用的边缘视觉运动控制系统 Active CN214751405U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020100100575 2020-01-06
CN202010010057.5A CN111142445A (zh) 2020-01-06 2020-01-06 多场景通用的边缘视觉运动控制系统及方法

Publications (1)

Publication Number Publication Date
CN214751405U true CN214751405U (zh) 2021-11-16

Family

ID=70523754

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010010057.5A Pending CN111142445A (zh) 2020-01-06 2020-01-06 多场景通用的边缘视觉运动控制系统及方法
CN202120014921.9U Active CN214751405U (zh) 2020-01-06 2021-01-05 多场景通用的边缘视觉运动控制系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010010057.5A Pending CN111142445A (zh) 2020-01-06 2020-01-06 多场景通用的边缘视觉运动控制系统及方法

Country Status (1)

Country Link
CN (2) CN111142445A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113741247A (zh) * 2021-08-12 2021-12-03 深圳市鑫信腾科技股份有限公司 一种运动控制器、运动控制方法及自动化设备
CN115645776A (zh) * 2022-09-26 2023-01-31 江苏阀艮科技有限公司 一种智能侦测灭火装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202804246U (zh) * 2012-03-12 2013-03-20 何朝霞 一种智能钻孔打靶装置
CN106054874B (zh) * 2016-05-19 2019-04-26 歌尔股份有限公司 视觉定位标定方法、装置及机器人
CN207867299U (zh) * 2018-02-07 2018-09-14 南京敏光视觉智能科技有限公司 一种机器视觉智能控制系统
CN108846828A (zh) * 2018-05-04 2018-11-20 上海交通大学 一种基于深度学习的病理图像目标区域定位方法及系统
CN109597337A (zh) * 2018-12-13 2019-04-09 徐州华讯科技有限公司 一种机器视觉智能采集与控制系统

Also Published As

Publication number Publication date
CN111142445A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN101592951B (zh) 分布式仿人机器人通用控制系统
CN214751405U (zh) 多场景通用的边缘视觉运动控制系统
Lazarin et al. A robotic-agent platform for embedding software agents using raspberry pi and arduino boards
Yu et al. An open CNC system based on component technology
CN104880994A (zh) 一种基于EtherCAT总线的开放式数控系统及方法
CN107942797A (zh) 基于sopc的嵌入式双核伺服控制器及其设计方法
CN111028267B (zh) 一种移动机器人单目视觉跟随系统及跟随方法
CN205959050U (zh) 一体机控制装置
CN104820418A (zh) 一种针对机械臂的嵌入式视觉系统及其使用方法
CN110405750B (zh) 一种机器人的运动控制方法、装置及机器人
CN109454641B (zh) 一种运动控制器多任务分工及数据交互方法
CN104267834A (zh) 空中鼠标系统及其操控方法
CN112947304A (zh) 智能相机多核异构片上集成系统及视觉控制方法
CN103317513A (zh) 一种基于多cpu的网络化机器人控制系统
CN116244905A (zh) 机器人生产过程中状态实时监控方法、系统、终端及介质
CN214375997U (zh) 智能相机多核异构片上集成系统
CN106878127B (zh) 带有新型视频监控的水下机器人有线操控系统
CN115582841A (zh) 一种娱乐机械臂的模块化控制系统及方法
CN115291561A (zh) 一种制造系统与装备虚拟调试平台、方法、设备及应用
CN113741311A (zh) 具有子周期高频处理功能的总线控制系统及方法
CN220680812U (zh) 医疗机器人及其电气控制系统
CN111381552A (zh) 驱控一体技术架构
CN112689121A (zh) 一种基于fpga的运动跟踪系统
CN216623029U (zh) 可编程逻辑控制器数据辅助处理装置及系统
CN117576294B (zh) 采掘装备数字孪生系统的数据传输参数优化方法

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant