CN104820418A - 一种针对机械臂的嵌入式视觉系统及其使用方法 - Google Patents
一种针对机械臂的嵌入式视觉系统及其使用方法 Download PDFInfo
- Publication number
- CN104820418A CN104820418A CN201510194860.8A CN201510194860A CN104820418A CN 104820418 A CN104820418 A CN 104820418A CN 201510194860 A CN201510194860 A CN 201510194860A CN 104820418 A CN104820418 A CN 104820418A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- gate array
- programmable gate
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000004891 communication Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 238000012937 correction Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 6
- 238000005094 computer simulation Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 13
- 230000000007 visual effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
- G05B19/425—Teaching successive positions by numerical control, i.e. commands being entered to control the positioning servo of the tool head or end effector
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种针对机械臂的嵌入式视觉系统及其使用方法，属于工业视觉领域，该嵌入式视觉系统包括：图像采集模块、现场可编程门阵列FPGA模块、工控机模块和执行终端模块；使用方法为1)、初始化标定；2)图像采集模块采集图像视频模拟信号，转换成数字图像视频信号；3)、现场可编程门阵列FPGA模块进行预处理；4)、工控机模块处理后，得到多图相视频处理结果以及控制信号；5)、执行终端模块根据控制信号进行位姿校正和调整。优点在于：采用分布式通信网络框架，将各个模块化分离开，并行地执行各自相应的功能，同时，通信网络又允许各个独立过程之间进行双向的数据传输，构造出整个完整的系统网络。
Description
技术领域
本发明属于工业视觉领域，具体涉及一种针对机械臂的嵌入式视觉系统及其使用方法。
背景技术
嵌入式系统ES(Embedded System)是一种用途广泛的系统，以应用为中心、计算机技术为基础，软硬件可裁剪，适用于对功能、可靠性、成本、体积和功耗严格要求的专用计算机系统。随着计算机技术和相关电子技术的发展，嵌入式系统已深入应用至社会中的各个领域，特别是工业控制领域。
现有的控制系统中，通常采用集中式系统，控制功能都高度集中在一台服务器或者主机上，所有的功能及处理任务都由服务器或者主机记性处理。但是，在实际应用中，集中式系统不能满足具有更庞大功能需求的工业控制领域，客户需要具有分布处理能力的、完整一体化的分布式系统。
分布式系统是若干计算机的集合，内部由通信网络实现，以通信为网络基础。整个分布式系统采用独立工作或者合作工作两种方式，各个操作主机可以并行操作以及分布控制。
在嵌入式系统中的分布式体系结构，不同的嵌入式设备之间以某种方式分布式地相互连接，彼此协作，最终达到高灵活性和高可靠性的工控系统。
分布式系统与传统的通信网络相比具有一定的优越性：
1)、分布式系统中各个操作主机并行操作，意味着实现了在物理性质上的独立性以及在逻辑性质上的合作性。
2)、分布式系统具有较高的可靠性，当系统中一台或者多台主机发生故障时，其余独立的主机可以自行修复，重新构成和原系统功能一致的系统，使整个分布式系统自动调节恢复到故障前状态。
近年来，工业控制领域中工业机器人得到了广泛地应用，传统的技术方法采用操作人员离线编程引导的方式控制工业机器人，机器人重复地执行存储在内存单元中的程序，执行所要求的操作动作。
这种控制方式对智能机器人限制性极强，不具备实时性，对外界信息变化的感知能力不足，不能够根据环境的变化对操作行为进行相应的调整，同时大量的功能需要大量的编程准备时间，在一定程度上大大降低了系统效率。
为了解决上述问题，需要在工业机器人上添加一套视觉系统，视觉系统实时地较为直观地对外界环境做出反应，并根据其变化相应地做出调整，从而最终提高机器人的灵活性和实时性。
传统通用的工控机器人视觉处理系统的结构如图1所示，包括：工业控制机器人模块，计算机控制器模块，图像显示器模块，大容量存储器模块，专用图像处理硬件模块，图像处理软件模块和获取图像传感器模块；
获取图像传感器模块捕捉特征捕捉对象的信息并传递给专用图像处理硬件模块，经过计算机控制器模块传递给图像处理软件模块进行图像处理，将处理结果返回给计算机控制器模块，控制工业控制机器人模块进行操作，同时显示在图像显示器模块和根据用户命令存储到大容量存储器模块。
传统的嵌入式视觉系统需要进行大量的信息处理，才能够得到较为准确的信息。由于计算机控制器模块中嵌入的CPU芯片计算能力有限，对于计算复杂度很高的视觉算法，嵌入式CPU芯片的处理速度很难满足工业控制的实时性要求。传统的利用专用集成电路实现视觉处理算法虽然能解决视觉系统性能、功耗以及容量等方面的矛盾，但是传统算法同样具有开发周期长、通用性较差、改进不便等缺点。
与此同时，传统的集中式控制器模式中存在以下缺点：所有I/O信号都集中至计算机控制器模块上，传输距离受限且布线困难；集中硬件系统数据传输带宽有限，无法完成特大规模信号处理的要求；系统更新升级困难，容量较为确定，可提升的空间范围小；维修成本高，一旦出现故障需要整机维修。
发明内容
本发明的目的是为了解决上述传统系统的使用方法中的缺点，实现针对机械臂的新型嵌入式视觉系统高性能、低功耗和结构精简的功能。
一种针对机械臂的嵌入式视觉系统，包括：图像采集模块、现场可编程门阵列FPGA(FieldProgrammable Gate Array)模块、工控机模块和执行终端模块。
图像采集模块由多个图像采集装置组成，多个图像采集装置以分布式网络结构搭载在执行终端模块上，采集执行终端模块捕捉到的特征对象的图像，并传输给现场可编程门阵列FPGA模块进行处理。
现场可编程门阵列FPGA模块通过地址总线和数据总线与工控机模块连接，负责整个嵌入式视觉系统的数字逻辑控制以及时序调整，对图像采集模块采集的图像视频进行数字化、图像二值化和滤波等预处理，并将处理后的数据信号通过数据总线传输至工控机模块。
工控机模块采用ARM(Advanced RISC Machines)内核处理器作为主控制器的处理器，进行实时的多视频处理和图像处理，具有强大的运算能力以及判断能力，判断来自主控制器的控制命令，进行控制命令寻址和处理，将现场可编程门阵列FPGA模块得到的ROS消息结果，给出相应的指令控制操作，通过CAN总线以协议形式传输给执行终端模块；
执行终端模块，指模块化的机械臂，与主控制器利用通信节点进行数据传输，且根据工控机模块输出的矫正指令，调整机械臂的位姿。
一种针对机械臂的嵌入式视觉系统的使用方法，具体步骤如下：
步骤一、对嵌入式视觉系统离线进行初始化标定；
步骤二、图像采集模块采集捕捉特征对象的图像视频模拟信号，模数转换成数字图像视频信号并传输给现场可编程门阵列FPGA模块；
步骤三、现场可编程门阵列FPGA模块对数字图像视频信号进行预处理，送入工控机模块中。
步骤四、工控机模块对预处理后的图像视频数据信号进一步处理，得到多图相视频处理结果以及相对应的控制信号，并发送给执行终端模块。
ARM内核处理器具有强大运算功能的算数逻辑单元，对传入的数据信号进行进一步实时的多图像视频处理和图像处理，根据处理结果，工控机模块得出相应的执行操作目的以及控制信号。
步骤五、执行终端模块控制机械臂根据多图相视频处理结果的控制信号进行相应的位姿校正和调整。
工控机模块相应给出矫正指令，向执行终端模块发送控制信号，从而使执行终端模块根据指令相应地调整位姿，完成位置校正操作。
本发明的优点在于：
(1)一种针对机械臂的嵌入式视觉系统，提出新的具有分布式通信网络性质的嵌入式视觉控制系统，相较于传统的视觉控制系统而言，很好地解决了传统工业机器人领域所提出的问题和挑战，具有更高的鲁棒性，稳定性，灵活度。
(2)一种针对机械臂的嵌入式视觉系统，高效实时地利用视觉图像信息对机械臂系统进行位姿调节，具有相应的位姿矫正功能，从而提高了系统的精确度。
(3)一种针对机械臂的嵌入式视觉系统，采用分布式网络通信结构，大大提高了整个系统的并行性能以及处理效率。
(4)一种针对机械臂的嵌入式视觉系统，采用现场可编程门阵列(FPGA)，通过编程修改内部的数字逻辑，从而实现并行的高速的硬件计算，从而在保持低功耗、小体积的前提下，提高嵌入式视觉系统的性能。
(5)一种针对机械臂的嵌入式视觉系统，选用具有对称多处理(SMP)功能的双核OMAP4处理器，为德州仪器公司的首个双核处理器型号，其具有更优秀的性能和构架，更小的发热量，从而可以在更高的能效下处理高时效性应用以及任务管理工作。
(6)一种针对机械臂的嵌入式视觉系统的使用方法，采用嵌入式系统使得图像视频数据采集、自动控制和执行操作集成得更加紧密，另外基于嵌入式系统的视觉系统具有极低的功耗。
(7)一种针对机械臂的嵌入式视觉系统的使用方法，紧随网络化的嵌入式系统发展趋势，采用分布式网络结构，使得系统处理能力大大提高，性能也有了显著提升。
(8)一种针对机械臂的嵌入式视觉系统的使用方法，控制部分及执行部分采用自主研发的RGMP-ROS混合操作系统框架，该框架基于开源ROS机器人操作系统，保证了控制系统的实时性和高效性。
附图说明
图1是本发明领域通用的工控机器人视觉处理系统的结构示意图；
图2是本发明一种针对机械臂的嵌入式视觉系统的结构示意图；
图3是本发明一种针对机械臂的嵌入式视觉系统的使用方法流程图；
图4是本发明现场可编程门阵列FPGA模块与工控机模块通信的原理图；
图5是本发明工控机模块与执行终端模块的通信连接示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。
一种针对机械臂的嵌入式视觉系统及其使用方法，具有分布式网络通信结构的嵌入式视觉伺服系统，对机械臂的控制采用嵌入式内核构架的工控视觉控制，是新型的视觉控制机器人控制系统；通过将视觉系统搭载到工业机械臂上，达成控制系统对外界环境的实时性与高灵敏性控制，并利用分布式网络，使控制系统各个主机服务器在物理独立的情况下逻辑性地并行合作运行。
该嵌入式视觉系统其硬件结构具体包括：图像采集模块、现场可编程门阵列FPGA模块、工控机模块以及执行终端模块。
图像采集模块搭载在执行终端模块上，同时连接现场可编程门阵列FPGA模块，采集执行终端模块捕捉到的特征对象的图像，并传输给现场可编程门阵列FPGA模块进行处理，现场可编程门阵列FPGA模块通过地址总线和数据总线与工控机模块连接，将处理后的数据信号通过数据总线传输至工控机模块，工控机模块作为主控制器，控制图像采集模块以及现场可编程门阵列FPGA模块完成位置获取操作过程；同时工控机模块相应给出矫正指令，传输回执行终端模块上，从而使执行终端模块根据指令相应地调整位姿，完成位置校正操作，从带动图像采集模块捕捉不同的特征对象进行图像采集。
图像采集模块又名视觉图像获取单元，由n个百万像素级的工业定焦相机组成一个工业相机系统，n优选4个，相邻两台相机之间的夹角为90°。，当机器人处于运动中时，由于各路相机水平视野接近90°，4路摄像机基本实现对整个视场的全覆盖。
4个工业相机以分布式网络结构分布在执行终端模块上，通过定焦镜头获取执行终端模块捕捉到的特征对象的视觉图像，该图像已经经过畸化处理，图像采集模块将视觉图像信号转化成数字图像视频信号传输给现场可编程门阵列FPGA模块进行处理。
现场可编程门阵列FPGA模块通过地址总线和数据总线与工控机模块连接进行指令和数据的交换，实现电路接口和总线之间的转换；
具体为：现场可编程门阵列FPGA模块采用初级的图像视频预处理算法，将数字图像视频进行图像二值化和滤波等预处理，并将处理后的数据信号封装成ROS节点，通过数据总线利用ROS通信协议，以ROS消息的形式传输至工控机模块做进一步处理分析。ROS通信协议用GigE千兆以太网接口实现图像视频的传输，I/O接口则由FPGA控制，用于FPGA向执行终端模块、工控机模块发送控制流信号。以ROS消息的形式传输至工控机模块做进一步处理分析。
工控机模块，内部采用ARM内核处理器作为主控制器的处理器，优选双核OMAP4处理器，是高级精简指令集机器的处理器，可以运行实时性内核和非实时性内核，将实时性应用与非实时性应用分别在相应的内核上运行，从而进一步保证系统的实时性与高效性。主控制器基于开源机器人操作系统ROS框架，使用ROS通信实现模块间点对点的松耦合分布式网络连接的处理架构，并相应地执行若干种类型的通讯；ROS框架是利用在机器人之上的一种次级操作系统，它包含：硬件抽象描述，底层驱动程序管理，共用功能的执行，程序间的消息传递，程序发行包管理等功能，同时提供一些工具程序和相关的库程序用于获取、建立、编写和运行分布式框架网络。
ARM内核处理器进行实时的复杂的多视频处理和图像处理，具有强大的运算能力，判断来自主控端主机的控制命令，进行控制命令寻址和处理，将现场可编程门阵列FPGA模块得到的ROS消息结果，给出相应的指令控制操作，通过CAN总线以协议形式传输给执行终端模块；所述协议应与机械臂的类型相对应，如机械臂ROS通信协议。
执行终端模块，指模块化的机械臂，与主控制器利用通信节点进行数据传输，且根据主控制器输出的信息进行相应的位姿校正，调整机械臂的位姿。
一种针对机械臂的嵌入式视觉系统，通过图像采集模块获取机械臂的位姿信息或者位置信息，并传输至主控制器进行判断及计算，主控制器给出对于该位姿或位置情况下的矫正指令，位姿矫正信息基于实时获取的机械臂位姿信息计算得到，主控制器通过ROS协议，以ROS数据节点的形式传输回执行终端模块上，从而使机械臂根据主控制器的指令相应地调整位姿，通过实时调整机械臂的位姿状态，使该嵌入式视觉系统达到更高的操作精度及更小的操作误差。
一种针对机械臂的嵌入式视觉系统的使用方法，具体步骤如下：
步骤一、对嵌入式视觉系统离线进行初始化标定；
具体为对图像采集模块，现场可编程门阵列FPGA模块、工控机模块和执行终端模块均进行初始化设计。
初始化，对图像采集模块中光学参数进行初始化，现场可编程门阵列FPGA模块和工控机模块内部的ARM内核处理器控制参数，依据用户需要完成的算法目的设定初始值，执行终端模块恢复重置为原始初始位姿。
步骤二、图像采集模块采集捕捉特征对象的图像视频模拟信号，模数转换成数字图像视频信号并传输给现场可编程门阵列FPGA模块；
将图像采集模块的n个图像采集装置采用分布式网络结构布置，图像采集模块通过工业相机捕捉特征对象的真实图像视频的模拟信号，工作方式为外触发方式，由现场可编程门阵列FPGA提供触发信号后，利用以太网接口的图像传输通路进行图像采集，将真实图像视频的模拟信号经过图像采集模块内部处理及模数转换单元转换后，转化为现场可编程门阵列FPGA模块可处理的数字图像视频信号，通过数据总线送入现场可编程门阵列FPGA模块中。
步骤三、现场可编程门阵列FPGA模块对数字图像视频信号进行预处理，送入工控机模块中。
现场可编程门阵列FPGA模块，为ARM内核处理器的外设，通过地址总线和数据总线与ARM处理器连接进行指令和数据的交换，负责整个嵌入式视觉系统的数字逻辑控制以及时序调整，接收数字化图像视频信号中的行、场同步及亮度信号，进行简单的图像预处理，图像二值化，边缘分割和滤波等预处理，并将处理后的数据信号和图像视频数据存储入SRAM(静态随机存储器)中，通过嵌入式芯片的图像视频口GigE Vision接口标准和数据总线送入工控机模块中的嵌入式ARM内核处理器。
GigE Vison接口是基于千兆以太网的图像传输标准，具有传输距离长、传输效率高、通信控制方便、软硬件互换性强、可靠性高的优点。
现场可编程门阵列FPGA模块模块不对数据进行运算处理，仅对ARM处理器传送进来的数据进行接收，并依照处理结果输出具体的运动控制指令，通过对指令集解析，执行相应的简单逻辑算法，完成指令所需要的具体要求；起到数据缓冲，数据编码以及控制通道译码锁定的作用，实现了电路接口和总线之间的转换。
步骤四、工控机模块对预处理后的图像视频数据信号进一步处理，得到多图相视频处理结果以及相对应的控制信号，并发送给执行终端模块。
工控机模块内部采用ARM内核处理器作为主控制器的处理器，主控制器发出指令需求，ARM内核处理器进行实时的复杂的多视频处理和图像处理，并判断来自主控制器的控制命令，进行控制命令寻址和处理，给出相应的指令控制操作，利用I/O接口，通过CAN总线以协议形式传输给执行终端模块；
步骤五、执行终端模块控制机械臂，根据工控机模块的控制信号进行相应的位姿校正和调整。
执行终端模块控制机械臂，使其根据工控机的控制指令结果执行相应的位姿校正和调整，工控机模块的控制指令结果通过对图像视频信息进行控制处理算法分析所得到。
作为执行终端模块的机械臂，基于ROS框架与主控制器利用通信节点进行数据传输，通过视觉图像信息流以及相应的矩阵转换处理操作，识别机械臂的位姿以及特征捕捉对象的位置信息。识别过程包括，将图像采集单元采集的特征捕捉对象信息以ROS数据节点的形式，基于一定的协议栈传入至ARM处理器进行相应的处理过程.
本系统采用分布式通信网络框架，其将主控制器，执行单元，视觉图像获取单元，FPGA模块化分离开使其得以并行地执行各自相应的功能，但与此同时，通信网络又允许各个独立过程之间进行双向的数据传输，构造出整个完整的系统网络。
Claims (5)
1.一种针对机械臂的嵌入式视觉系统，其特征在于，包括图像采集模块、现场可编程门阵列FPGA模块、工控机模块和执行终端模块；
图像采集模块由至少两个图像采集装置组成，图像采集装置以分布式网络结构搭载在执行终端模块上，采集特征对象的图像，并传输给现场可编程门阵列FPGA模块进行处理；
现场可编程门阵列FPGA模块与工控机模块连接，采用初级的图像视频预处理算法，对图像采集模块采集的图像视频进行数字化、图像二值化和滤波预处理，并将处理后的数据信号封装成ROS节点，通过数据总线利用ROS通信协议，以ROS消息的形式传输至工控机模块；
工控机模块采用ARM内核处理器作为主控制器的处理器，进行实时的多视频处理和图像处理，判断来自主控制器的控制命令，进行控制命令寻址和处理，将现场可编程门阵列FPGA模块得到的ROS消息结果，给出相应的指令控制操作，通过CAN总线以协议形式传输给执行终端模块；
执行终端模块与主控制器利用通信节点进行数据传输，且根据工控机模块输出的矫正指令，调整位姿。
2.应用如权利要求1所述的一种针对机械臂的嵌入式视觉系统的使用方法，其特征在于，包括如下步骤：
步骤一、对嵌入式视觉系统离线进行初始化；
步骤二、图像采集模块采集捕捉特征对象的图像视频模拟信号，模数转换成数字图像视频信号并传输给现场可编程门阵列FPGA模块；
步骤三、现场可编程门阵列FPGA模块对数字图像视频信号进行预处理后，送入工控机模块中；
步骤四、工控机模块对预处理后的图像视频数据信号进一步处理，得到多图相视频处理结果以及相对应的控制信号，并发送给执行终端模块；
步骤五、执行终端模块控制机械臂根据多图相视频处理结果的控制信号进行相应的位姿校正和调整；
工控机模块相应给出矫正指令，向执行终端模块发送控制信号，执行终端模块根据指令相应地调整位姿，完成位置校正操作。
3.如权利要求2所述的一种针对机械臂的嵌入式视觉系统的使用方法，其特征在于，步骤二具体为：图像采集模块的工作方式为外触发方式，由现场可编程门阵列FPGA模块提供触发信号后，利用以太网接口的图像传输通路进行图像采集，将真实图像视频的模拟信号经过图像采集模块内部处理及模数转换单元转换后，转化为现场可编程门阵列FPGA模块可处理的数字图像视频信号，通过数据总线送入现场可编程门阵列FPGA模块中。
4.如权利要求2所述的一种针对机械臂的嵌入式视觉系统的使用方法，其特征在于，步骤三具体为：现场可编程门阵列FPGA模块，通过地址总线和数据总线与ARM处理器连接进行指令和数据的交换，接收数字化图像视频信号中的行、场同步及亮度信号，进行图像预处理，图像二值化，边缘分割和滤波等预处理，并将处理后的数据信号和图像视频数据存储入SRAM中，通过嵌入式芯片的图像视频口GigE Vision接口标准和数据总线送入工控机模块中的嵌入式ARM内核处理器。
5.如权利要求2所述的一种针对机械臂的嵌入式视觉系统的使用方法，其特征在于，步骤四中所述的进一步处理，是指ARM内核处理器进行实时的复杂的多图像视频处理和图像处理，根据处理结果，工控机模块得出相应的执行操作目的，给出相应的指令控制操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510194860.8A CN104820418B (zh) | 2015-04-22 | 2015-04-22 | 一种针对机械臂的嵌入式视觉系统及其使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510194860.8A CN104820418B (zh) | 2015-04-22 | 2015-04-22 | 一种针对机械臂的嵌入式视觉系统及其使用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104820418A true CN104820418A (zh) | 2015-08-05 |
| CN104820418B CN104820418B (zh) | 2018-04-24 |
Family
ID=53730739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510194860.8A Active CN104820418B (zh) | 2015-04-22 | 2015-04-22 | 一种针对机械臂的嵌入式视觉系统及其使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104820418B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105643624A (zh) * | 2016-03-04 | 2016-06-08 | 南京科远自动化集团股份有限公司 | 一种机器视觉控制方法及机器人控制器与机器人控制系统 |
| CN106444490A (zh) * | 2016-09-08 | 2017-02-22 | 中国电子科技集团公司第三十二研究所 | 基于嵌入式实时操作系统的机器人操作系统 |
| CN108206829A (zh) * | 2017-12-28 | 2018-06-26 | 中国科学院西安光学精密机械研究所 | 基于FPGA实现GigE Vision协议进行网络通信的方法 |
| WO2018137445A1 (zh) * | 2017-01-25 | 2018-08-02 | 南京阿凡达机器人科技有限公司 | 一种基于ros系统的机械臂抓取方法及系统 |
| CN108363971A (zh) * | 2018-02-05 | 2018-08-03 | 四川东鼎里智信息技术有限责任公司 | 一种视觉识别的嵌入式算法 |
| CN109191693A (zh) * | 2018-07-23 | 2019-01-11 | 重庆两江微链智能科技有限公司 | 一种具有机器认知的机器人智能饮料制备系统 |
| CN109253874A (zh) * | 2018-10-19 | 2019-01-22 | 日照职业技术学院 | 一种机器人手臂灵活度检测装置 |
| CN110708460A (zh) * | 2019-09-05 | 2020-01-17 | 北京智行者科技有限公司 | 一种自动泊车系统图像获取方法 |
| CN111007818A (zh) * | 2019-12-13 | 2020-04-14 | 金星阀门有限公司 | 一种基于机器视觉与智能机器人的阀门生产系统 |
| CN111037557A (zh) * | 2019-12-20 | 2020-04-21 | 扬州哈工科创机器人研究院有限公司 | 用于机械臂led显示演绎的系统和控制系统 |
| CN112351181A (zh) * | 2020-11-11 | 2021-02-09 | 重庆科技学院 | 基于cmos芯片和zynq体系的智能相机 |
| CN113499094A (zh) * | 2021-07-08 | 2021-10-15 | 中山大学 | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005342832A (ja) * | 2004-06-02 | 2005-12-15 | Fanuc Ltd | ロボットシステム |
| CN201499257U (zh) * | 2009-09-27 | 2010-06-02 | 上海大学 | 一种嵌入式的ccd高清智能网络摄像系统 |
| CN201667032U (zh) * | 2010-04-08 | 2010-12-08 | 河北工业大学 | 基于arm和双dsp的智能移动机器人控制装置 |
| CN102642207A (zh) * | 2012-04-12 | 2012-08-22 | 华北电力大学 | 核电站作业多功能执行器及其控制方法 |
| US20120236140A1 (en) * | 2011-03-15 | 2012-09-20 | Omron Corporation | User support apparatus for an image processing system, program thereof and image processing apparatus |
-
2015
- 2015-04-22 CN CN201510194860.8A patent/CN104820418B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005342832A (ja) * | 2004-06-02 | 2005-12-15 | Fanuc Ltd | ロボットシステム |
| CN201499257U (zh) * | 2009-09-27 | 2010-06-02 | 上海大学 | 一种嵌入式的ccd高清智能网络摄像系统 |
| CN201667032U (zh) * | 2010-04-08 | 2010-12-08 | 河北工业大学 | 基于arm和双dsp的智能移动机器人控制装置 |
| US20120236140A1 (en) * | 2011-03-15 | 2012-09-20 | Omron Corporation | User support apparatus for an image processing system, program thereof and image processing apparatus |
| CN102642207A (zh) * | 2012-04-12 | 2012-08-22 | 华北电力大学 | 核电站作业多功能执行器及其控制方法 |
Non-Patent Citations (5)
| Title |
|---|
| 刘晶 等: "基于FPGA+ARM的视觉导航轮式机器人", 《计算机工程》 * |
| 孙立宁 等: "基于嵌入式视觉的移动式自重构微小型机器人", 《光学精密工程》 * |
| 曹欢: "基于ARM和FPGA的多自由度机械臂控制系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王其飞 等: "一种基于ARM+FPGA新型数控系统硬件设计", 《安徽工程科技学院学报》 * |
| 郑建飞: "基于嵌入式的视觉检测系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105643624B (zh) * | 2016-03-04 | 2018-03-27 | 南京科远自动化集团股份有限公司 | 一种机器视觉控制方法及机器人控制器与机器人控制系统 |
| CN105643624A (zh) * | 2016-03-04 | 2016-06-08 | 南京科远自动化集团股份有限公司 | 一种机器视觉控制方法及机器人控制器与机器人控制系统 |
| CN106444490A (zh) * | 2016-09-08 | 2017-02-22 | 中国电子科技集团公司第三十二研究所 | 基于嵌入式实时操作系统的机器人操作系统 |
| WO2018137445A1 (zh) * | 2017-01-25 | 2018-08-02 | 南京阿凡达机器人科技有限公司 | 一种基于ros系统的机械臂抓取方法及系统 |
| CN108206829B (zh) * | 2017-12-28 | 2020-06-16 | 中国科学院西安光学精密机械研究所 | 基于FPGA实现GigE Vision协议进行网络通信的方法 |
| CN108206829A (zh) * | 2017-12-28 | 2018-06-26 | 中国科学院西安光学精密机械研究所 | 基于FPGA实现GigE Vision协议进行网络通信的方法 |
| CN108363971A (zh) * | 2018-02-05 | 2018-08-03 | 四川东鼎里智信息技术有限责任公司 | 一种视觉识别的嵌入式算法 |
| CN109191693A (zh) * | 2018-07-23 | 2019-01-11 | 重庆两江微链智能科技有限公司 | 一种具有机器认知的机器人智能饮料制备系统 |
| CN109253874A (zh) * | 2018-10-19 | 2019-01-22 | 日照职业技术学院 | 一种机器人手臂灵活度检测装置 |
| CN110708460A (zh) * | 2019-09-05 | 2020-01-17 | 北京智行者科技有限公司 | 一种自动泊车系统图像获取方法 |
| CN111007818A (zh) * | 2019-12-13 | 2020-04-14 | 金星阀门有限公司 | 一种基于机器视觉与智能机器人的阀门生产系统 |
| CN111037557A (zh) * | 2019-12-20 | 2020-04-21 | 扬州哈工科创机器人研究院有限公司 | 用于机械臂led显示演绎的系统和控制系统 |
| CN111037557B (zh) * | 2019-12-20 | 2022-07-22 | 扬州哈工科创机器人研究院有限公司 | 用于机械臂led显示演绎的系统和控制系统 |
| CN112351181A (zh) * | 2020-11-11 | 2021-02-09 | 重庆科技学院 | 基于cmos芯片和zynq体系的智能相机 |
| CN113499094A (zh) * | 2021-07-08 | 2021-10-15 | 中山大学 | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104820418B (zh) | 2018-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104820418A (zh) | 一种针对机械臂的嵌入式视觉系统及其使用方法 | |
| CN103399637B (zh) | 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法 | |
| CN103605342B (zh) | 基于互联网的远程分布式控制系统及方法 | |
| CN101916429B (zh) | 双目相机的几何校正及视差提取装置 | |
| CN106598226A (zh) | 一种基于双目视觉和深度学习的无人机人机交互方法 | |
| CN104656893B (zh) | 一种信息物理空间的远程交互式操控系统及方法 | |
| CN101710256A (zh) | 基于Camera Link接口的高速图像数据采集处理卡 | |
| CN111028267B (zh) | 一种移动机器人单目视觉跟随系统及跟随方法 | |
| CN106650691A (zh) | 图像处理方法和图像处理设备 | |
| CN105643624A (zh) | 一种机器视觉控制方法及机器人控制器与机器人控制系统 | |
| CN103760976A (zh) | 基于Kinect的手势识别智能家居控制方法及系统 | |
| CN102857703A (zh) | 高清视频字符叠加系统及控制方法 | |
| CN107807777A (zh) | 多核嵌入式电视跟踪器人机交互装置及方法 | |
| CN112788110A (zh) | 一种基于云边协同模型优化的产品外观检测方法及其实现系统 | |
| CN103226707A (zh) | 一种基于图像传感技术的空间目标特征识别装置 | |
| CN110757471A (zh) | 一种基于计算机视觉的舞蹈机器人的系统及其操作方法 | |
| CN214751405U (zh) | 多场景通用的边缘视觉运动控制系统 | |
| CN104290095A (zh) | 一种基于rc的高空清洗机器人控制系统及方法 | |
| CN110142769A (zh) | 基于人体姿态识别的ros平台在线机械臂示教系统 | |
| CN108073097B (zh) | 工业机器人的图像处理装置 | |
| CN101071350B (zh) | 一种通过识别动态轨迹操作光标、视窗的装置 | |
| CN108184062A (zh) | 基于多层次异构并行处理的高速追踪系统及方法 | |
| CN108366229A (zh) | 一种定点设备智能化巡检方法 | |
| CN103685884A (zh) | 一种基于片上视觉系统的智能相机 | |
| Ramil et al. | ROS-based Multiple Cameras Video Streaming for a Teleoperation Interface of a Crawler Robot. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20150805 Assignee: AOBO (JIANGSU) ROBOT CO.,LTD. Assignor: AUBO (BEIJING) ROBOTICS TECHNOLOGY Co.,Ltd. Contract record no.: 2019990000099 Denomination of invention: Embedded vision system for mechanical arm and method of use Granted publication date: 20180424 License type: Exclusive License Record date: 20190328 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Embedded vision system for mechanical arm and method of use Effective date of registration: 20200424 Granted publication date: 20180424 Pledgee: Beijing Zhongguancun bank Limited by Share Ltd. Pledgor: AUBO (BEIJING) ROBOTICS TECHNOLOGY Co.,Ltd. Registration number: Y2020990000372 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210910 Granted publication date: 20180424 Pledgee: Beijing Zhongguancun bank Limited by Share Ltd. Pledgor: AUBO (BEIJING) ROBOTICS TECHNOLOGY Co.,Ltd. Registration number: Y2020990000372 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 02-A523, Floor 2, Block B, No. 22, Xinxi Road, Haidian District, Beijing 100,085 Patentee after: AUBO (Beijing) Intelligent Technology Co.,Ltd. Address before: Room 02-A523, Floor 2, Block B, No. 22, Xinxi Road, Haidian District, Beijing 100,085 Patentee before: AUBO (BEIJING) ROBOTICS TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221201 Address after: 100089 1-01, 10th Floor, Building A, Beijing Haiqing Shuguang Real Estate Development Center (Office) and Postal Branch Project, Wangfuyuan East District, Haidian District, Beijing Patentee after: Beijing AOBO Intelligent Technology Development Co.,Ltd. Address before: Room 02-A523, Floor 2, Block B, No. 22, Xinxi Road, Haidian District, Beijing 100,085 Patentee before: AUBO (Beijing) Intelligent Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP03 | Change of name, title or address |
Address after: 100089 1-01, 10th Floor, Building A, Beijing Haiqing Shuguang Real Estate Development Center (Office) and Postal Branch Project, Wangfuyuan East District, Haidian District, Beijing Patentee after: Beijing Aobo Future Intelligent Manufacturing Technology Innovation Center Co.,Ltd. Country or region after: China Address before: 100089 1-01, 10th Floor, Building A, Beijing Haiqing Shuguang Real Estate Development Center (Office) and Postal Branch Project, Wangfuyuan East District, Haidian District, Beijing Patentee before: Beijing AOBO Intelligent Technology Development Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |