CN112907513B - 一种工业视觉检测中图像位置戳系统及其生成方法 - Google Patents

一种工业视觉检测中图像位置戳系统及其生成方法 Download PDF

Info

Publication number
CN112907513B
CN112907513B CN202110063437.XA CN202110063437A CN112907513B CN 112907513 B CN112907513 B CN 112907513B CN 202110063437 A CN202110063437 A CN 202110063437A CN 112907513 B CN112907513 B CN 112907513B
Authority
CN
China
Prior art keywords
image
camera
information
industrial
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110063437.XA
Other languages
English (en)
Other versions
CN112907513A (zh
Inventor
周向东
唐小琦
张庆祥
郑晓泽
周少峰
陈英滔
宋宝
谭辉
汤胜水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Samson Technology Co ltd
Original Assignee
Guangdong Samson Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Samson Technology Co ltd filed Critical Guangdong Samson Technology Co ltd
Priority to CN202110063437.XA priority Critical patent/CN112907513B/zh
Publication of CN112907513A publication Critical patent/CN112907513A/zh
Application granted granted Critical
Publication of CN112907513B publication Critical patent/CN112907513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种工业视觉检测中图像位置戳系统及其生成方法，包括数个伺服驱动器及伺服电机控制工业测控运动平台，每个测控运动平台的轴上安装编码器，图像检测位置安装工业相机，每个编码器的信号输出端均与图像位置戳生成装置内的图像处理模块连接，以编码器分别检测各轴的实时位置，通过对图像对应相机的曝光瞬间编码器数据进行处理，得到了相机曝光瞬间物料的实时位置，将位置信息与图像信息输入图像处理模块中，最终生成带有位置戳的图像，图像位置戳生成装置通过以太网接口将带有位置戳的图像传输至PC机，PC机直接处理带有位置戳的图像可以保证图像和位置信息的一致性，适应高速和物料密集摆放的情况，满足物料识别的同步性和实时性要求。

Description

一种工业视觉检测中图像位置戳系统及其生成方法
技术领域
本发明涉及工业测控的同步测控技术领域，尤其涉及一种工业视觉检测中图像位置戳系统及其生成方法。
背景技术
工业环境物料检测，一般是将被检测物料置于运动的传送带上，工业相机安装在物料特征检测的路径中，物料到达拍照区域后，通过外部检测装置(如光电传感器)触发相机拍照，PC机接收相机返回的图像数据，同时在曝光瞬间采集传送带编码器数值，通过对图像数据和编码器数据进行分析，最终由PC机完成对测控平台上物料的信息处理。
当前，这种数据处理过程需要在PC机中编程，要求精确对应周期性图像数据和编码器数据相互之间的关系，同步过程比较复杂，对编程能力要求高。同时由于需要利用PC机对图像信息和位置信息进行匹配处理，处理时间长，对于物料移动速度快和物料摆放密集的情况，容易出现漏检和错检的情况，导致测控平台上物料处理错误，不能满足实际工业准确的要求。
发明内容
本发明的目的就在于为了解决上述问题而提供一种工业视觉检测中图像位置戳系统及其生成方法。
本发明通过以下技术方案来实现上述目的：
本发明一种工业视觉检测中图像位置戳系统，包括数个伺服驱动器及伺服电机控制工业测控运动平台，每个所述测控运动平台的轴上安装编码器，图像检测位置安装工业相机，每个所述编码器的信号输出端均与图像位置戳生成装置内的图像处理模块连接，所述工业相机的信号与所述图像处理模块连接，所述图像处理模块的信号输出端与PC机连接。
本发明一种工业视觉检测中图像位置戳生成方法，包括以下步骤：
S1：图像位置戳生成装置初始化时会在图像位置戳生成装置内的FPGA内部建立一个字符表，内部存放有限个数字与像素修改索引的键值对，像素修改索引即对应数字在显示尺寸确定时所应该替换的所有像素点的索引，完成数字与像素修改索引的匹配；
S2：物料运输至拍照区域后，外部检测装置发出传感信号，图像位置戳装置内的STM32主控制器接收到该传感信号，产生触发信号触发相机拍照；
S3：相机在曝光瞬间会产生触发信号，主控制器接收到触发信号，将当前中断周期编码器数据作为相机曝光瞬间编码器返回数据，计算其位置信息，并通过以太网接口1获取相机拍照图像信息；
S4：图像位置戳生成装置内的STM32主控制器通过FSMC接口将位置信息与图像信息传输至图像位置戳生成装置内的FPGA图像处理模块中，图像处理模块将图像信息保存至缓存数组中，并通过输入的位置信息查找字符表获取位置信息对应的像素修改索引，根据像素修改索引以及每一个数字所对应的像素偏移量快速将缓存数组中对应像素进行更改替换，完成重新编码；
S5：将带有位置戳信息的图像通过以太网接口2传递到PC机，PC机通过解码，得到图像信息和拍照瞬间的位置信息。
该方法由外部检测装置(如光电传感器)发出传感信号，图像位置戳生成装置内的STM32主控制器解析传感信号后，输出触发信号触发相机拍照；相机曝光瞬间也会产生触发信号触发STM32主控制器获取相机曝光瞬间测控平台装置编码器数据，同时触发STM32网口外部中断来接收相机拍摄的图像信息。图像位置戳生成装置内的STM32主控制器通过处理编码器数据得到相机曝光瞬间的位置信息，并将图像数据与相机曝光瞬间位置信息传入图像位置戳生成装置内的FPGA，FPGA中的图像处理模块通过一系列算法为图像贴上位置标签，并通过以太网接口将带有位置戳的图像返回至PC机，实现图像信息与位置信息实时同步。本发明通过整合图像数据和编码器位置信息，使PC机收到的图像信息带有位置标签，具有简化编程，实时同步的优点，同样适应高速运动和物料密集摆放，其他具有该功能的检测装置亦适用本方法。
本发明的有益效果在于：
本发明是一种工业视觉检测中图像位置戳系统及其生成方法，与现有技术相比，本发明在伺服电机控制的测控平台中，以编码器分别检测各轴的实时位置，通过对图像对应相机的曝光瞬间编码器数据进行处理，得到了相机曝光瞬间物料的实时位置，将位置信息与图像信息输入图像处理模块中，最终生成带有位置戳的图像，图像位置戳生成装置通过以太网接口将带有位置戳的图像传输至PC机，PC机直接处理带有位置戳的图像可以保证图像和位置信息的一致性，适应高速和物料密集摆放的情况，满足物料识别的同步性和实时性要求。
附图说明
图1是图像位置戳生成系统结构示意图；
图2是图像位置戳生成流程示意图；
图3是图像位置戳生成装置的硬件原理示意图；
图4是图像位置戳生成原理示意图；
图5是图像位置戳生成装置的工作流程示意图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示：本发明一种工业视觉检测中图像位置戳系统，包括数个伺服驱动器及伺服电机控制工业测控运动平台，每个所述测控运动平台的轴上安装编码器，图像检测位置安装工业相机，每个所述编码器的信号输出端均与图像位置戳生成装置内的图像处理模块连接，所述工业相机的信号与所述图像处理模块连接，所述图像处理模块的信号输出端与PC机连接。
如图1和2所示：本发明公开一种工业视觉检测中图像位置戳生成方法，包括如下步骤：
S1：构建图像位置戳生成系统，包括数个伺服驱动器及伺服电机控制工业测控平台运动，测控平台每个轴上安装编码器，在图像检测位置安装工业相机，图像位置戳生成装置初始化时会在图像位置戳生成装置内的FPGA内部建立一个字符表，内部存放有限个数字与像素修改索引的键值对(穷举法)，像素修改索引即对应数字在显示尺寸确定时所应该替换的所有像素点的索引，完成数字与像素修改索引的匹配。
S2：测控平台运动，物料运输至拍照区域后，外部检测装置发出传感信号，图像位置戳装置内的STM32主控制器接收到该传感信号，产生触发信号触发相机拍照。
S3：图像位置戳生成装置内的STM32主控制器在每个中断周期都会通过编码器电缆读取一次编码器数据并保存为当前中断周期编码器数据；相机在曝光瞬间会产生触发信号，主控制器接收到触发信号，将当前中断周期编码器数据作为相机曝光瞬间编码器返回数据，计算其位置信息，并通过以太网接口1获取相机拍照图像信息，确保了图像信息与位置信息的同步性。
S4：图像位置戳生成装置内的STM32主控制器通过FSMC接口将位置信息与图像信息传输至图像位置戳生成装置内的FPGA图像处理模块中，图像处理模块将图像信息保存至缓存数组中，并通过输入的位置信息查找字符表获取位置信息对应的像素修改索引，根据像素修改索引以及每一个数字所对应的像素偏移量快速将缓存数组中对应像素进行更改替换，完成重新编码。
S5：将带有位置戳信息的图像通过以太网接口2传递到PC机，PC机通过解码，得到图像信息和拍照瞬间的位置信息，由于图像上带有的位置信息与图像信息严格控制了采集时机，保持高度同步，同时图像处理模块运行时间较短，因此可以在物料高速运动和密集摆放的情况下保证同步性和实时性。
本发明公开一种工业视觉检测中图像位置戳生成方法，该方法以外部检测装置发出传感信号，图像位置戳生成装置内的STM32主控制器解析该传感信号后，产生触发信号触发相机拍照，接收相机返回的图像数据，同时采集相机曝光瞬间测控平台编码器数据，并通过处理编码器数据得到相机曝光瞬间位置信息，将位置信息与图像信息通过FSMC传入图像位置戳生成装置的FPGA图像处理模块中。图像处理模块通过查表操作为图像贴上位置标签，返回带有位置戳的图像到PC机，实现图像信息与位置信息实时同步。
本发明中，位置检测/同步装置的硬件结构分为三部分，从下往上依次是：电源板、物理接口板、核心控制板，如图3所示。其中，核心控制板是整个检测装置的核心控制单元，包括STM32和FPGA两大主控单元，STM32和FPGA之间通过FSMC(Flexible Static MemoryController)进行数据通信；物理接口板主要为各个模块接口提供物理连接设备，同时会进行相应的信号转换处理，其中编码器与FPGA相连接，FPGA接收编码器的AB反馈脉冲信号，并对脉冲进行鉴相和计数，并由STM32完成角度的计算，相机与STM32连接；电源板实现整个装置中不同功能接口所需的各个电源类型，最终保证整个装置的正常工作。STM32每个定时器中断周期都获取一次编码器数据，当STM32发送触发信号触发相机拍照后，相机通过以太网接口1传输图像到STM32，相机曝光时产生触发信号触发STM32保存当前中断周期编码器数据作为相机曝光瞬间编码器返回数据，将编码器数据处理得到角度和位置，图像信息和位置信息通过FSMC传输到FPGA图像处理模块中，图像信息存入缓存数组，并对位置信息进行查表操作，获取添加位置戳所需要的修改索引，根据获取得到的修改索引对缓存数组中的图像信息对应像素进行替换，完成图像位置戳生成，最终将带有位置戳的图像通过以太网通讯发送到PC机。
本发明中的图像位置戳生成原理示意图如图4所示，由图可知，当图像位置戳生成装置处理编码器数据得到位置信息，同时图像处理模块得到了主控制器生成的位置信息与相机返回的图像信息后，对位置信息中的每一个字符进行查表操作，获取对应字符所需要的像素修改索引，由于位置戳中每个字符的尺寸固定，以及位置戳在图像中的起始位置固定，因此可以基于每个字符的像素修改索引及其像素偏移量，在图像数据缓存数组中对字符像素修改索引所对应像素值进行直接更改替换，得到带有位置戳信息的图像。
本发明中，图像位置戳生成装置得工作流程如图5所示，在图像位置戳装置内，STM32在每个定时器中断周期内都通过编码器线缆读取编码器数据并保存为当前中断周期编码器数据；当STM32接收到外部检测装置拍照命令，通过触发IO口触发相机拍照，曝光瞬间相机产生曝光IO触发信号，触发STM32产生外部中断，将当前中断周期编码器数据作为相机曝光瞬间编码器数据进行位置计算获取位置信息。同时STM32通过触发网口外部中断来接收相机得返回数据，将位置信息与图像信息通过FSMC传输到FPGA图像处理模块中进行处理，实现位置戳生成，最后通过以太网接口发送到PC机。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种工业视觉检测中图像位置戳系统，其特征在于：包括数个伺服驱动器及由伺服电机控制的工业测控运动平台，每个所述测控运动平台的轴上安装编码器，图像检测位置安装工业相机，每个所述编码器的信号输出端均与图像位置戳生成装置内的图像处理模块连接，所述工业相机的信号与所述图像处理模块连接，所述图像处理模块的信号输出端与PC机连接；
所述工业视觉检测中图像位置戳系统的生成方法，包括以下步骤：
S1：图像位置戳生成装置初始化时会在图像位置戳生成装置内的FPGA内部建立一个字符表，内部存放有限个数字与像素修改索引的键值对，像素修改索引即对应数字在显示尺寸确定时，所应该替换的所有像素点的索引，完成数字与像素修改索引的匹配；
S2：物料运输至拍照区域后，外部检测装置发出传感信号，图像位置戳装置内的STM32主控制器接收到该传感信号，产生触发信号触发相机拍照；
S3：相机在曝光瞬间会产生触发信号，主控制器接收到触发信号，将当前中断周期编码器数据作为相机曝光瞬间编码器返回数据，计算相机位置信息，并通过以太网接口1获取相机拍照图像信息；
S4：图像位置戳生成装置内的STM32主控制器通过FSMC接口将位置信息与图像信息传输至图像位置戳生成装置内的FPGA图像处理模块中，图像处理模块将图像信息保存至缓存数组中，并通过输入的位置信息查找字符表，获取位置信息对应的像素修改索引，根据像素修改索引以及每一个数字所对应的像素偏移量快速将缓存数组中对应像素进行更改替换，完成重新编码；
S5：将带有位置戳信息的图像通过以太网接口2传递到PC机，PC机通过解码，得到图像信息和拍照瞬间的位置信息。
CN202110063437.XA 2021-01-18 2021-01-18 一种工业视觉检测中图像位置戳系统及其生成方法 Active CN112907513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110063437.XA CN112907513B (zh) 2021-01-18 2021-01-18 一种工业视觉检测中图像位置戳系统及其生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110063437.XA CN112907513B (zh) 2021-01-18 2021-01-18 一种工业视觉检测中图像位置戳系统及其生成方法

Publications (2)

Publication Number Publication Date
CN112907513A CN112907513A (zh) 2021-06-04
CN112907513B true CN112907513B (zh) 2023-06-27

Family

ID=76115299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110063437.XA Active CN112907513B (zh) 2021-01-18 2021-01-18 一种工业视觉检测中图像位置戳系统及其生成方法

Country Status (1)

Country Link
CN (1) CN112907513B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114308721B (zh) * 2021-12-17 2024-01-26 深圳市杰普特光电股份有限公司 一种光学检测方法、系统及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133313A (ja) * 2009-12-24 2011-07-07 Canon Inc センサ位置姿勢計測方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363508B (zh) * 2018-01-13 2021-03-23 江南大学 一种手机触控屏Mark定位非接触式视觉检测方法
CN108052072A (zh) * 2018-02-07 2018-05-18 蚌埠凯盛工程技术有限公司 电子玻璃生产线拉边机视觉控制系统
CN208155889U (zh) * 2018-05-28 2018-11-27 中兵国铁（广东）科技有限公司 基于机器视觉的纺织品疵点检测装置
US20190370638A1 (en) * 2018-06-01 2019-12-05 Thales Canada Inc System for and method of data encoding and/or decoding using neural networks
CN109682826B (zh) * 2019-01-17 2023-07-21 东莞市三姆森光电科技有限公司 用于弧面外观检测的机器视觉系统及检测方法
CN110948491B (zh) * 2019-12-21 2021-05-18 深圳市华成工业控制股份有限公司 一种基于视觉跟随的工业机器人抓取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133313A (ja) * 2009-12-24 2011-07-07 Canon Inc センサ位置姿勢計測方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于嵌入式图像处理与运动控制的测控系统设计;姚志生;许四祥;翟健健;李天甲;;火力与指挥控制(05);1 *

Also Published As

Publication number Publication date
CN112907513A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN109682826B (zh) 用于弧面外观检测的机器视觉系统及检测方法
CN102674073A (zh) 图像处理装置及图像处理系统和引导装置
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
KR20160146196A (ko) 임베디드 시스템, 고속화된 구조광 기반 3차원 카메라 시스템 및 이를 이용한 3차원 이미지 획득 방법
CN112907513B (zh) 一种工业视觉检测中图像位置戳系统及其生成方法
CN101859439A (zh) 一种用于人机交互的运动追踪装置及其追踪方法
CN107421438B (zh) 基于机器视觉的涂膜尺寸检测控制系统及其方法
CN206772843U (zh) 结合ccd线扫描相机与深度学习的缺陷分类检测系统
CN107398926A (zh) 一种基于末端视觉检测的柔性臂振动测量装置及方法
JP2019119027A (ja) ロボットシステムの制御方法、およびロボットシステム
CN105300320A (zh) 一种基于双辅助标志物的断路器角位移特性检测方法
EP2367151B1 (en) Image processing device and image processing method
CN109974597A (zh) 一种xy平面光电式非接触位移传感器系统及其使用方法
CN110381253A (zh) 一种质量检测的控制方法、装置及系统
CN109343363B (zh) 基于光计算的运动测控系统
CN215178509U (zh) 一种检测显示模组的测试装置
CN108326825B (zh) 检查系统、控制器、检查方法以及记录介质
JP2001074418A (ja) 移動体計測方法および装置
US20090206787A1 (en) Drive Control System and Machine Control Device
CN209541679U (zh) 一种xy平面光电式非接触位移传感器系统
CN209521939U (zh) 一种葡萄酒灌装过程中成品外观检测装置
CN117572818B (zh) 一种板材尺寸精密检测设备及控制方法
CN206023988U (zh) 一种灌装生产线药瓶定位分析系统
CN111060004B (zh) 机器视觉中确定运动物体位置的方法、位置确定装置及位置确定系统
CN207585539U (zh) 一种通过式物件尺寸测量系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 523850 Building 12, No. 6, Zhongnan Road, Shangsha, Chang'an Town, Dongguan City, Guangdong Province

Applicant after: Guangdong Samson Technology Co.,Ltd.

Address before: 523841 No.3, West Zhongnan Road, Haibin District, Shangsha, Chang'an Town, Dongguan City, Guangdong Province

Applicant before: DONGGUAN SAMSUN OPTICAL TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant