CN214375997U - 智能相机多核异构片上集成系统 - Google Patents
智能相机多核异构片上集成系统 Download PDFInfo
- Publication number
- CN214375997U CN214375997U CN202120497447.XU CN202120497447U CN214375997U CN 214375997 U CN214375997 U CN 214375997U CN 202120497447 U CN202120497447 U CN 202120497447U CN 214375997 U CN214375997 U CN 214375997U
- Authority
- CN
- China
- Prior art keywords
- module
- visual
- algorithm
- motion control
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010354 integration Effects 0.000 title description 8
- 230000033001 locomotion Effects 0.000 claims abstract description 72
- 230000000007 visual effect Effects 0.000 claims abstract description 63
- 230000004438 eyesight Effects 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009012 visual motion Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Abstract
本实用新型提供了一种智能相机多核异构片上集成系统，包括图像数据采集模块、图像预处理模块、无线通信模块、视觉算法模块、视觉控制通信模块和运动控制模块；所述图像数据采集模块与图像预处理模块相连接；所述视觉算法模块与图像预处理模块相连接；所述运动控制模块与视觉算法模块相连接；所述无线通信模块和视觉控制通信模块分别与视觉算法模块相连接。本实用新型能够实现视觉控制系统的流水线式数据处理以达到更高的时间同步精度，同时降低了视觉控制系统的应用难度和部署成本，提高了视觉控制系统的控制精度和可靠性，并通过无线传输等技术扩展了视觉控制系统的算法改写柔性和边缘端应用场景。
Description
技术领域
本实用新型涉及视觉感知与智能控制技术领域，具体地，涉及一种智能相机多核异构片上集成系统。
背景技术
智能相机是近年来发展起来的一种高度集成的视觉控制器，目前智能相机多采用X86架构，其通常使用场景如交通监控、图像检测等，主要完成视觉计算功能。对于视觉抓取、目标跟踪等场景，多采用智能相机+PLC或者智能相机+网络型运动控制器等结构，由于操作系统和非实时网络通信的不确定时延，整个系统往往存在时延较大、周期不定的问题，难以保证系统精准可靠运行；多个模块之间通过线缆连接，容易出现连接故障和通信干扰；程序变更需要多个模块同步更新，不利于边缘端部署，难以适应不同场景的柔性变更需求。
专利文献CN107272578A(申请号：CN201710528334.X)公开了一种基于多核处理器的视觉伺服控制系统，包括运动执行系统及连接于运动执行系统的视觉反馈系统，视觉伺服控制系统还包括多核处理器，多核处理器分别连接运动执行系统及视觉反馈系统；多核处理器包括连接于所述视觉反馈系统的第一多核处理器内核及连接于运动执行系统的第二多核处理器内核，第一多核处理器通过共享内存模块连接于所述第二多核处理器内核。视觉伺服控制系统的第一多核处理器内核及第二多核处理器内核分别对视觉反馈系统及运行执行系统进行数据处理。该专利的视觉反馈系统包括数字摄像机、图像采集模块及图像处理模块，视觉采集模块未与视觉计算模块及运动计算模块集成于同一处理系统，系统成本及复杂度相对较高；且视觉计算与运动计算全部置于通用处理器进行，难以实现计算速度与功耗成本的平衡；在视觉伺服控制方面，当视觉计算任务较复杂时，未考虑视觉计算延迟对运动物体跟踪精度的影响。本实用新型则提出在一颗多核异构芯片中，进行视觉采集、视觉处理、运动控制任务等功能进行多核异构芯片内集成，进步简化视觉控制任务部署，提升视觉控制任务性能。
实用新型内容
针对现有技术中的缺陷，本实用新型的目的是提供一种智能相机多核异构片上集成系统。
根据本实用新型提供的智能相机多核异构片上集成系统，包括图像数据采集模块、图像预处理模块、无线通信模块、视觉算法模块、视觉控制通信模块和运动控制模块；
所述图像数据采集模块与图像预处理模块相连接；
所述视觉算法模块与图像预处理模块相连接；
所述运动控制模块与视觉算法模块相连接；
所述无线通信模块和视觉控制通信模块分别与视觉算法模块相连接。
优选的，所述图像数据采集模块，利用芯片内FPGA资源，通过MIPI图像传感接口采集图像传感模组原始数据，并进行RAW格式到RGB格式的转换，并传送至图像预处理模块；
所述图像预处理模块，利用芯片内FPGA资源，对图像进行预处理，包括图像滤波和色彩校正；
所述无线通信模块，利用芯片内ARM处理器驱动WIFI模块，用于以远程无线的方式向视觉算法模块、运动控制模块和FPGA进行算法程序的固化以更新算法程序；
所述视觉算法模块，采用芯片内ARM处理器读取DDR内存中预处理后的图像，对图像进行相应计算，并利用FPGA资源进行算法加速，得出指定物体当前位置坐标信息，并将结果转换为视觉控制指令和运动控制指令，通过AMP共享内存方式发送给视觉控制通信模块和运动控制模块；
所述视觉控制通信模块，用于对视觉处理结果的直接对外输出，以满足不同的视觉控制需求，采用工业以太网、工业现场总线将视觉处理结果输出；
所述运动控制模块，采用芯片内ARM处理器，用于根据运动控制指令进行多运动轴每一控制周期内闭环运动算法控制量的计算。
优选的，所述片内ARM处理器与实时协处理器之间以共享内存方式通信，片内FPGA与处理器之间通过片内高速总线通信。
优选的，还包括高速实时总线模块与多轴脉冲分发模块，所述高速实时总线模块与多轴脉冲分发模块分别与运动控制模块相连接，用于兼容不同驱动器类型，根据运动控制模块的计算结果，向总线型驱动器或脉冲型驱动器发送相应控制消息，从而带动执行机构运动。
优选的，还包括实时闭环反馈采集模块，所述实时闭环反馈采集模块与运动控制模块相连接，用于采集各运动轴当前运动位置数据并进行数据的解码，以供运动控制模块根据当前各轴位置、速度及加速度信息，进行各轴的闭环运动控制量计算。
优选的，还包括总线扩展与I/O模块，所述总线扩展与I/O模块与运动控制模块相连接，用于与其他外设及控制执行系统连接，便于智能相机根据不同场景进行控制功能扩展。
优选的，还包括存储模块，所述存储模块分别与图像预处理模块、视觉算法模块和运动控制模块相连接，用于完成系统配置信息、用户程序、计算过程中间量的存储，以及外部存储介质信息的读写。
优选的，还包括用户交互模块，所述用户交互模块分别与图像预处理模块和存储模块相连接，用于实现图像显示和传输、用户自定义视觉计算和运动控制算法调试及下载的交互功能。
与现有技术相比，本实用新型具有如下的有益效果：
(1)本实用新型提供的智能相机多核异构片上集成方案，将视觉计算和运动控制等功能进行多核异构芯片内集成，极大的扩展了智能相机的控制能力和应用场景；
(2)本实用新型通过对多核异构芯片资源的合理分配，实现视觉控制任务各模块的片内并行计算，能够实现视觉控制系统的流水线式数据处理以达到更高的时间同步精度，同时降低了视觉控制系统的应用难度和部署成本，提高了视觉控制系统的控制精度和可靠性，并通过无线传输等技术扩展了视觉控制系统的算法改写柔性和边缘端应用场景。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本实用新型的其它特征、目的和优点将会变得更明显：
图1为本实用新型提供的智能相机多核异构片上集成方案的结构原理图。
具体实施方式
下面结合具体实施例对本实用新型进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本实用新型，但不以任何形式限制本实用新型。应当指出的是，对本领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干变化和改进。这些都属于本实用新型的保护范围。
实施例：
如图1，为本实用新型实施例智能相机多核异构片上集成方案的结构原理图，本实施例提供了一种智能相机多核异构片上集成方案，包括：
图像数据采集模块，利用芯片内FPGA资源，通过MIPI图像传感接口采集图像传感模组原始数据，并进行RAW格式到RGB格式转换，并传送至图像预处理模块。
图像预处理模块，利用芯片内FPGA资源，对图像进行预处理，包括图像滤波、色彩校正等。
无线通信模块，利用芯片内高性能ARM处理器驱动WIFI模块，用于以远程无线的方式向视觉算法模块、运动算法模块和FPGA进行算法程序的固化，以更新算法程序的功能。
视觉算法模块，采用芯片内多核高性能ARM处理器，用于根据无线通信模块固化好的算法，读取DDR内存中预处理后图像，对图像进行相应计算，并利用FPGA资源进行算法加速，得出指定物体当前位置坐标等信息，并将结果转换为视觉控制指令和运动控制指令，通过AMP共享内存方式发送给视觉控制通信模块和运动算法模块。
视觉控制通信模块，用于对视觉处理结果的直接对外输出，以满足不同的视觉控制需求，采用工业以太网、工业现场总线将视觉处理结果输出。
运动控制模块，采用芯片内多核实时ARM处理器，用于根据视觉算法模块得出的运动控制指令，以及实时闭环反馈采集模块或高速实时总线模块的数据，进行多运动轴每一控制周期内闭环运动算法控制量的计算。
所述视觉算法模块、运动控制模块、图像预处理及视觉算法加速模块，其内部算法可根据使用场景及使用需求的不同更换，并通过无线通信模块远程进行算法更新。
视觉采集、视觉处理、运动控制任务集成于一颗多核异构SoC(片上系统)芯片中，进行任务并行计算，任务之间以串联流水线的方式处理数据，形成视觉处理与运动控制的闭环回路；所述视觉采集任务由片上FPGA通过专用图像传感协议采集图像传感模组数据，并在FPGA中实现图像数据格式转换、图像预处理、数据存储传输；所述视觉处理任务从内存读取待计算图像数据，由片上高性能中央处理器实现自定义视觉算法计算，由片上FPGA实现通用视觉算法加速；所述运动控制任务由片上实时协处理器根据视觉计算结果实现自定义视觉-运动闭环控制算法计算，由片上FPGA通过实时总线协议或脉冲方式实现运动控制数据的收发。
本实施例中，多核异构SoC芯片采用ZYNQ UltraScale+MPSoC系列芯片，利用ZYNQ片内的FPGA资源进行图像数据采集及预处理，利用片内多核高性能ARM处理器进行视觉计算，利用FPGA进行算法加速，利用片内多核实时ARM处理器进行运动控制算法计算。
高速实时总线模块与多轴脉冲分发模块，用于兼容不同的驱动器类型，根据运动控制模块的计算结果，向总线型驱动器或脉冲型驱动器发送相应控制消息，带动执行机构运动。高速实时总线，采用EtherCAT、PowerLink等实时工业以太网，以降低消息发送的延时，提高系统实时性。
实时闭环反馈采集模块，用于采集各运动轴当前运动位置数据，并进行数据的解码，以供运动控制模块根据当前各轴位置、速度及加速度等信息，进行各轴的闭环运动控制量计算。
总线扩展与I/O模块，用于与其他外设及控制执行系统的连接，方便智能相机根据不同场景进行控制功能扩展。
存储模块，用于完成系统配置信息、用户程序、计算过程中间量的存储，以及外部存储介质信息的读写。
用户交互模块，用于图像显示和传输、用户自定义视觉计算和运动控制算法调试及下载等交互功能。
本实用新型还提供了一种片上视觉运动控制方法，采用视觉感知-运动控制双闭环控制结构抑制视觉系统时延和机械系统惯性滞后。视觉感知外环通过内部定时器获取视觉采集和计算时延，并采用固定最小时延的策略对视觉偏差量进行计算，利用基于奇异值分解的无迹卡尔曼滤波对偏差量进行一个控制周期的预测，同时根据图像雅可比矩阵进行图像与执行机构间控制量转换，运动控制内环利用跟踪微分器对给定信号进行平滑处理与微分量提取，利用扩张状态观测器进行扰动前馈抑制。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本实用新型提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本实用新型提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本实用新型提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本实用新型的具体实施例进行了描述。需要理解的是，本实用新型并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本实用新型的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种智能相机多核异构片上集成系统，其特征在于，包括图像数据采集模块、图像预处理模块、无线通信模块、视觉算法模块、视觉控制通信模块和运动控制模块；
所述图像数据采集模块与图像预处理模块相连接；
所述视觉算法模块与图像预处理模块相连接；
所述运动控制模块与视觉算法模块相连接；
所述无线通信模块和视觉控制通信模块分别与视觉算法模块相连接。
2.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，所述图像数据采集模块，利用芯片内FPGA资源，通过MIPI图像传感接口采集图像传感模组原始数据，并进行RAW格式到RGB格式的转换，并传送至图像预处理模块；
所述图像预处理模块，利用芯片内FPGA资源，对图像进行预处理，包括图像滤波和色彩校正；
所述无线通信模块，利用芯片内ARM处理器驱动WIFI模块，用于以远程无线的方式向视觉算法模块、运动控制模块和FPGA进行算法程序的固化以更新算法程序；
所述视觉算法模块，采用芯片内ARM处理器读取DDR内存中预处理后的图像，对图像进行相应计算，并利用FPGA资源进行算法加速，得出指定物体当前位置坐标信息，并将结果转换为视觉控制指令和运动控制指令，通过AMP共享内存方式发送给视觉控制通信模块和运动控制模块；
所述视觉控制通信模块，用于对视觉处理结果的直接对外输出，以满足不同的视觉控制需求，采用工业以太网、工业现场总线将视觉处理结果输出；
所述运动控制模块，采用芯片内ARM处理器，用于根据运动控制指令进行多运动轴每一控制周期内闭环运动算法控制量的计算。
3.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，所述片内ARM处理器与实时协处理器之间以共享内存方式通信，片内FPGA与处理器之间通过片内高速总线通信。
4.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，还包括高速实时总线模块与多轴脉冲分发模块，所述高速实时总线模块与多轴脉冲分发模块分别与运动控制模块相连接，用于兼容不同驱动器类型，根据运动控制模块的计算结果，向总线型驱动器或脉冲型驱动器发送相应控制消息，从而带动执行机构运动。
5.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，还包括实时闭环反馈采集模块，所述实时闭环反馈采集模块与运动控制模块相连接，用于采集各运动轴当前运动位置数据并进行数据的解码，以供运动控制模块根据当前各轴位置、速度及加速度信息，进行各轴的闭环运动控制量计算。
6.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，还包括总线扩展与I/O模块，所述总线扩展与I/O模块与运动控制模块相连接，用于与外设及控制执行系统连接，便于智能相机根据不同场景进行控制功能扩展。
7.根据权利要求1所述的智能相机多核异构片上集成系统，其特征在于，还包括存储模块，所述存储模块分别与图像预处理模块、视觉算法模块和运动控制模块相连接，用于完成系统配置信息、用户程序、计算过程中间量的存储，以及外部存储介质信息的读写。
8.根据权利要求7所述的智能相机多核异构片上集成系统，其特征在于，还包括用户交互模块，所述用户交互模块分别与图像预处理模块和存储模块相连接，用于实现图像显示和传输、用户自定义视觉计算和运动控制算法调试及下载的交互功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202120497447.XU CN214375997U (zh) | 2021-03-09 | 2021-03-09 | 智能相机多核异构片上集成系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202120497447.XU CN214375997U (zh) | 2021-03-09 | 2021-03-09 | 智能相机多核异构片上集成系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN214375997U true CN214375997U (zh) | 2021-10-08 |
Family
ID=77971584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202120497447.XU Active CN214375997U (zh) | 2021-03-09 | 2021-03-09 | 智能相机多核异构片上集成系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN214375997U (zh) |
-
2021
- 2021-03-09 CN CN202120497447.XU patent/CN214375997U/zh active Active
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108942932B (zh) | 基于EtherCAT总线的工业机器人控制系统及方法 | |
| CN101592951B (zh) | 分布式仿人机器人通用控制系统 | |
| CN105643624B (zh) | 一种机器视觉控制方法及机器人控制器与机器人控制系统 | |
| CN104820418B (zh) | 一种针对机械臂的嵌入式视觉系统及其使用方法 | |
| CN104062935A (zh) | 一种双框架磁悬浮变速控制力矩陀螺集成数字控制系统 | |
| CN107942797A (zh) | 基于sopc的嵌入式双核伺服控制器及其设计方法 | |
| CN214751405U (zh) | 多场景通用的边缘视觉运动控制系统 | |
| CN109471435A (zh) | 一种多异构移动机器人控制系统 | |
| JP7294085B2 (ja) | 制御システム、制御装置および制御方法 | |
| CN112947304A (zh) | 智能相机多核异构片上集成系统及视觉控制方法 | |
| CN214375997U (zh) | 智能相机多核异构片上集成系统 | |
| CN103744353A (zh) | 运动控制系统及运动控制方法 | |
| CN111267090A (zh) | 一种双臂机器人主从控制系统及方法 | |
| CN100441483C (zh) | 一种集成化磁悬浮控制力矩陀螺控制平台 | |
| CN105373109B (zh) | 一种Delta机器人驱控系统 | |
| EP3764175A1 (en) | Control device and control system | |
| CN212433614U (zh) | 一种基于fpga的多轴电机流水线控制系统 | |
| CN114995219A (zh) | 基于arm系统的多孔径快速拼接成像控制系统 | |
| CN212019735U (zh) | 一种激光加工系统的通用视觉处理装置及激光加工系统 | |
| CN103676789A (zh) | 一种模块化可重构运动控制器的构建方法 | |
| CN111381552A (zh) | 驱控一体技术架构 | |
| CN213499219U (zh) | 一种用于slam及导航领域的机器人控制系统 | |
| CN216697069U (zh) | 基于ros2的移动机器人控制系统 | |
| US11969890B2 (en) | Control method and control system using the same | |
| CN220680812U (zh) | 医疗机器人及其电气控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220323 Address after: 215100 room 1103, floor 11, No. 28, Dongwu North Road, Wuzhong District, Suzhou City, Jiangsu Province Patentee after: Suzhou Hualu Industrial Control Technology Co.,Ltd. Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District Patentee before: SHANGHAI JIAO TONG University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230602 Address after: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District Patentee after: SHANGHAI JIAO TONG University Address before: 215100 room 1103, floor 11, No. 28, Dongwu North Road, Wuzhong District, Suzhou City, Jiangsu Province Patentee before: Suzhou Hualu Industrial Control Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230707 Address after: 200240 Room 402, No. 134, Lane 777, Jinping Road, Minhang District, Shanghai Patentee after: Gu Chaochen Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District Patentee before: SHANGHAI JIAO TONG University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231226 Address after: 215100 room 1103, floor 11, No. 28, Dongwu North Road, Wuzhong District, Suzhou City, Jiangsu Province Patentee after: Suzhou Hualu Industrial Control Technology Co.,Ltd. Address before: 200240 Room 402, No. 134, Lane 777, Jinping Road, Minhang District, Shanghai Patentee before: Gu Chaochen |
|
| TR01 | Transfer of patent right |