CN110189245A - 基于GPUDirect技术的图像检测方法及系统 - Google Patents
基于GPUDirect技术的图像检测方法及系统 Download PDFInfo
- Publication number
- CN110189245A CN110189245A CN201910447991.0A CN201910447991A CN110189245A CN 110189245 A CN110189245 A CN 110189245A CN 201910447991 A CN201910447991 A CN 201910447991A CN 110189245 A CN110189245 A CN 110189245A
- Authority
- CN
- China
- Prior art keywords
- image data
- image
- shared drive
- gpu
- capture card
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000003705 background correction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种基于GPUDirect技术的图像检测方法及系统，涉及工业检测技术领域，包括以下步骤，在内存中应用GPUDirect技术，划分设定大小的区域作为GPU和采集卡的共享内存；通过图像采集模块采集目标对象的图像数据；采集卡获取图像数据并将图像数据发送至CPU；GPU读取共享内存内的图像数据，并对图像数据进行图像处理后发送至共享内存；CPU获取GPU处理后的图像数据，并通过分析处理后的图像数据，判断目标对象是否符合要求，输出判断结果；本发明能够减少不必要的内存拷贝和CPU开销，保证图像处理和分析判断的实时性。
Description
技术领域
本发明涉及工业检测技术领域，具体涉及一种基于GPUDirect技术的图像检测方法及系统。
背景技术
图像检测技术应用领域非常广泛，特别是在工业检测领域对图像检测算法的实时性要求极高。在图像检测算法中会先对图像进行一系列的预处理操作。图像预处理的效果直接最终的检测结果，且图像预处理的耗时严重影响整个检测算法的实时性。而现有技术主要通过以下四种途径来实现图像预处理操作：
1.通过相机对图像进行预处理；
2.通过采集卡对图像进行预处理；
3.通过CPU(Central Processing Unit，中央处理器)对图像进行预处理；
4.通过GPU(Graphics Processing Unit，图形处理器)对图像进行预处理；
现有技术方案的缺点：
1.相机往往只能进行简单的图像预处理操作，而且大部分相机不具有任何图像处理功能。例如：16K E2V相机只能实现图像在X方向翻转，不能实现Y方向翻转，12M JAI相机不具有图像翻转功能；
2.采集卡对图像进行预处理主要是通过采集卡自带的FPGA(Field－Programmable Gate Array，现场可编程门阵列)对图像进行预处理操作，FPGA资源有限，无法实现多种图像预处理操作；
3.通过CPU对图像进行预处理消耗CPU资源，当CPU处理的数据量增加时，CPU的处理时间也会增加；
4.GPU可以快速高效的实现多种图像预处理操作，但是在进行图像预处理操作时，会先将采集的图像数据传给CPU，CPU再将图像数据传给GPU，在GPU中进行一系列图像预处理操作之后再将处理结果传回CPU，导致GPU与CPU之间的数据交换存在一定的延时，GPU与CPU之间的数据同步操作复杂，影响整个检测算法的实时性。
其中，在完成对图像检测的检测时，主要包括以下两种情况：
1.参见图1所示，将图像数据存储于CPU，CPU先进行预处理，在将预处理后的图像数据发送给GPU进行处理，最后CPU再接收处理后的图像数据进行检测；
2.参见图2所示，将图像数据存储于系统内存块，CPU将系统内存块内的图像数据拷贝到另一系统内存块供GPU读取其中的图像数据进行处理，最后CPU接收处理后的图像数据进行检测；
其对应存在的缺点为：
1.CPU对图像数据进行存储和预处理消耗了CPU的资源，容易造成CPU的处理时间过长；
2.存在两个系统内存块间的拷贝，容易导致数据交换存在一定的延时性。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种基于GPUDirect技术的图像检测方法及系统，能够减少不必要的内存拷贝和CPU开销，保证图像处理和分析判断的实时性。
为达到以上目的，本发明采取的技术方案是：
第一方面，提供一种基于GPUDirect技术的图像检测系统的图像检测方法，包括以下步骤：
在内存中应用GPUDirect技术，划分一块共享内存作为GPU和采集卡共享的内存；
通过图像采集模块采集目标对象的图像数据；
采集卡获取图像数据并将图像数据发送至共享内存；
GPU读取共享内存内的图像数据，并对图像数据进行图像处理后发送至CPU；
CPU获取GPU处理后的图像数据，并通过分析处理后的图像数据，判断目标对象是否符合要求，输出判断结果。
在上述技术方案的基础上，采集卡获取图像数据并将图像数据发送至共享内存，具体包括以下步骤：采集卡接收图像采集模块的图像数据为模拟信号，并对模拟信号进行数字化发送至共享内存。
在上述技术方案的基础上，GPU读取共享内存内的图像数据，并对图像数据进行图像处理后发送至共享内存，具体包括以下步骤：GPU读取共享内存内的图像数据，对图像数据进行的图像处理包括图像翻转、平滑、平场校正和畸变校正中的一种或多种。
在上述技术方案的基础上，图像检测方法还包括：通过图像采集模块采集目标对象的图像数据之前，采集卡接收到采集信号，并触发图像采集模块采集目标对象的图像数据。
在上述技术方案的基础上，采集信号包括脉冲信号。
第二方面，还提供一种基于GPUDirect技术的图像检测系统，包括图像采集模块、采集卡、共享内存、GPU和CPU；
图像采集模块用于采集目标对象的图像数据；
采集卡用于获取图像数据并将图像数据发送至共享内存；
共享内存为在内存中应用GPUDirect技术，划分设定大小的区域作为GPU和采集卡共享的内存；
GPU用于读取共享内存内的图像数据，并对图像数据进行图像处理后发送至CPU；
CPU用于获取GPU处理后的图像数据，并通过分析处理后的图像数据，判断目标对象是否符合要求，输出判断结果。
在上述技术方案的基础上，图像采集模块为相机。
在上述技术方案的基础上，采集卡为静态图像采集卡或动态视频采集卡。
在上述技术方案的基础上，采集卡配置有满足GPUDirect的通信协议。
与现有技术相比，本发明的优点在于：
本发明的基于GPUDirect技术的图像检测方法，通过基于GPUDirect技术的共享内存，能够将采集卡接收的图像数据进行保存，并使该图像数据供GPU读取；该图像检测方法通过基于GPUDirect技术的共享内存，减少了CPU进行预处理和两个系统内存块间的拷贝步骤，能够减少不必要的内存拷贝和CPU开销，从而保证了图像处理和分析判断的实时性。
附图说明
图1为本发明背景技术中图像检测方法的步骤流程图；
图2为本发明背景技术中图像检测方法的步骤流程图；
图3为本发明实施例中图像检测方法的步骤流程图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图3所示，本发明实施例提供一种基于GPUDirect技术的图像检测方法，包括以下步骤：
在内存中应用GPUDirect技术，划分一块共享内存作为GPU和采集卡共享的内存；
通过图像采集模块采集目标对象的图像数据；
采集卡获取图像数据并将图像数据发送至共享内存；
GPU读取共享内存内的图像数据，并对图像数据进行图像处理后发送至CPU；
CPU获取GPU处理后的图像数据，并通过分析处理后的图像数据，判断目标对象是否符合要求，输出判断结果。
通过基于GPUDirect技术的共享内存，能够将采集卡接收的图像数据进行保存，并使该图像数据供GPU读取，其中，GPUDirect技术为支持GPU与采集卡通过共享的pin住的系统内存实现共享内存访问；该图像检测方法通过应用GPUDirect技术划分出的共享内存，减少了两个系统内存块间的拷贝步骤，通过GPU进行图像处理，能够避免CPU进行预处理，能够减少不必要的内存拷贝和CPU开销，从而保证了图像处理和分析判断的实时性；基于GPUDirect技术生成的共享内存在进行对图像数据的存储时，GPU能够同时进行对图像数据的读取，即GPU进行对图像数据的读取时，共享内存向GPU传输较小的数据块而不是整帧图像数据，从而避免了图像数据的延时处理。
其中，采集卡获取图像数据并将图像数据发送至共享内存，具体包括以下步骤：采集卡接收图像采集模块发送的模拟信号，并对模拟信号进行数字化发送至共享内存，该采集卡能够完成模拟信号到数字信号的转化。
GPU读取共享内存内的图像数据，并对图像数据进行图像处理后发送至共享内存，具体包括以下步骤：GPU读取共享内存内的图像数据，对图像数据的处理操作包括图像翻转、平滑、平场校正和畸变校正等，能够完成对图像数据的处理操作，保证CPU进行图像数据进行分析判断的结果准确性。
该图像检测方法还包括：通过图像采集模块采集目标对象的图像数据之前，采集卡接收到采集信号，并触发图像采集模块采集目标对象的图像数据。
参见图3所示，本发明实施例还提供一种基于GPUDirect技术的图像检测系统，包括图像采集模块、采集卡、共享内存、GPU和CPU；
图像采集模块用于完成图像数据的采集，优选地，图像采集模块为相机；
采集卡用于获取图像数据并将图像数据发送至共享内存，优选地，采集卡为静态图像采集卡或动态视频采集卡，进一步的，采集卡为microEnable 5 marathon系列的图像采集卡；
共享内存为在内存中应用GPUDirect技术，划分一块作为GPU和采集卡共享的内存；
GPU用于读取共享内存内的图像数据，并对图像数据进行图像处理后发送至CPU，优选地，GPU的型号为Quadro P4000；
CPU用于获取GPU处理后的图像数据，并通过分析处理后的图像数据判断目标对象是否符合要求，并输出判断结果。
通过基于GPUDirect技术生成的共享内存，能够对采集卡接收到的图像数据进行存储，并使GPU对其中存储的图像数据进行读取，避免了现有技术中，采集卡先将图像数据传给CPU，CPU再将图像数据传给GPU，在GPU中进行一系列图像处理操作之后再将处理结果传回CPU的步骤，从而减少了中间过程中不必要的内存拷贝和CPU开销，进而保证了对图像处理和检测的实时性。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (9)
1.一种基于GPUDirect技术的图像检测系统的图像检测方法，其特征在于，包括以下步骤：
在内存中应用GPUDirect技术，划分一块共享内存作为GPU和采集卡共享的内存；
通过图像采集模块采集目标对象的图像数据；
采集卡获取图像数据并将图像数据发送至共享内存；
GPU读取共享内存内的图像数据，并对图像数据进行图像处理后发送至CPU；
CPU获取GPU处理后的图像数据，并通过分析处理后的图像数据，判断目标对象是否符合要求，输出判断结果。
2.如权利要求1所述的图像检测方法，其特征在于，所述采集卡获取图像数据并将图像数据发送至共享内存，具体包括以下步骤：采集卡接收所述图像采集模块的图像数据为模拟信号，并对所述模拟信号进行数字化发送至所述共享内存。
3.如权利要求1所述的图像检测方法，其特征在于，所述GPU读取共享内存内的图像数据，并对图像数据进行图像处理后发送至共享内存，具体包括以下步骤：GPU读取共享内存内的图像数据，对图像数据进行的图像处理包括图像翻转、平滑、平场校正和畸变校正中的一种或多种。
4.如权利要求1所述的图像检测方法，其特征在于，所述图像检测方法还包括：通过图像采集模块采集目标对象的图像数据之前，所述采集卡接收到采集信号，并触发图像采集模块采集目标对象的图像数据。
5.如权利要求4所述的图像检测方法，其特征在于：所述采集信号包括脉冲信号。
6.一种基于GPUDirect技术的图像检测系统，其特征在于，包括图像采集模块、采集卡、共享内存、GPU和CPU；
所述图像采集模块用于采集目标对象的图像数据；
所述采集卡用于获取图像数据并将图像数据发送至共享内存；
所述共享内存为在内存中应用GPUDirect技术，划分一块作为GPU和采集卡共享的内存；
所述GPU用于读取共享内存内的图像数据，并对图像数据进行图像处理后发送至CPU；
所述CPU用于获取GPU处理后的图像数据，并通过分析处理后的图像数据，判断目标对象是否符合要求，输出判断结果。
7.如权利要求6所述的一种基于GPUDirect技术的图像检测系统，其特征在于：所述图像采集模块为相机。
8.如权利要求6所述的一种基于GPUDirect技术的图像检测系统，其特征在于：所述采集卡为静态图像采集卡或动态视频采集卡。
9.如权利要求6所述的一种基于GPUDirect技术的图像检测系统，其特征在于：所述采集卡配置有满足GPUDirect的通信协议。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910447991.0A CN110189245A (zh) | 2019-05-27 | 2019-05-27 | 基于GPUDirect技术的图像检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910447991.0A CN110189245A (zh) | 2019-05-27 | 2019-05-27 | 基于GPUDirect技术的图像检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110189245A true CN110189245A (zh) | 2019-08-30 |
Family
ID=67718107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910447991.0A Pending CN110189245A (zh) | 2019-05-27 | 2019-05-27 | 基于GPUDirect技术的图像检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110189245A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486958A (zh) * | 2021-07-07 | 2021-10-08 | 湖北昊鑫自动化设备科技有限公司 | 一种锯链缺陷检测方法、存储介质及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100118041A1 (en) * | 2008-11-13 | 2010-05-13 | Hu Chen | Shared virtual memory |
-
2019
- 2019-05-27 CN CN201910447991.0A patent/CN110189245A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100118041A1 (en) * | 2008-11-13 | 2010-05-13 | Hu Chen | Shared virtual memory |
Non-Patent Citations (6)
| Title |
|---|
| 刘仲川等著: "《齿轮故障诊断与润滑油在线监测》", 西安交通大学出版社, pages: 387 - 390 * |
| 华为云原生团队: "GPU 通信技术初探（一）- 深度学习集群", 《HTTPS://WWW.LIKECS.COM/SHOW-203417794.HTML》, 21 May 2019 (2019-05-21), pages 1 - 20 * |
| 邓雅等: "以GPU为核心的机器视觉仪表检测系统", 《微计算机信息》 * |
| 邓雅等: "以GPU为核心的机器视觉仪表检测系统", 《微计算机信息》, no. 02, 31 December 2011 (2011-12-31), pages 82 - 83 * |
| 陈玉虎等: "基于模糊C均值聚类的大尺寸图像目标检测加速方法", 《中国海洋大学学报(自然科学版)》 * |
| 陈玉虎等: "基于模糊C均值聚类的大尺寸图像目标检测加速方法", 《中国海洋大学学报(自然科学版)》, no. 02, 15 February 2017 (2017-02-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113486958A (zh) * | 2021-07-07 | 2021-10-08 | 湖北昊鑫自动化设备科技有限公司 | 一种锯链缺陷检测方法、存储介质及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017232186B2 (en) | Fast and robust image alignment for burst mode | |
| KR102309338B1 (ko) | 이미지 데이터에서의 키포인트들의 검출 | |
| US8351672B2 (en) | Machine imaging apparatus and method for detecting foreign materials | |
| WO2020034850A1 (zh) | 识别码识别方法、装置、计算机设备和存储介质 | |
| US20210074001A1 (en) | Motion Detection Method and Motion Detection System with Low Computational Complexity and High Detection Accuracy | |
| CN103424409A (zh) | 一种基于dsp的视觉检测系统 | |
| CA2420013A1 (en) | Image processing apparatus and method and image pickup apparatus | |
| CN107077727A (zh) | 处理宽动态范围图像的有效方法 | |
| CN110189245A (zh) | 基于GPUDirect技术的图像检测方法及系统 | |
| CN206564662U (zh) | 一种视频质量检测系统 | |
| CN103868828A (zh) | 一种基于移动终端的粉尘检测装置 | |
| CN103400153A (zh) | 一种用于实时图像识别的串行滤波匹配方法及系统 | |
| CN109995965A (zh) | 一种基于fpga的超高分辨率视频图像实时校准方法 | |
| JP2846052B2 (ja) | 円筒体の検査装置 | |
| CN113744189A (zh) | 一种基于fpga的自适应阈值边缘检测系统及方法 | |
| CN111669575B (zh) | 图像处理效果的测试方法、系统、电子设备、介质及终端 | |
| US20130163861A1 (en) | Pixel flow processing apparatus with integrated connected components labeling | |
| Kameyama et al. | Research for High Speed Image Processing Programming Method on Combined Environment of CUDA and OpenCV | |
| Archana et al. | Design and analysis of imaging chip using high-speed AXI-interface for MPSOC applications on FPGA platform | |
| Wang et al. | Design and implementation of a flexible DMA controller in video codec system | |
| WO2018222260A1 (en) | Memory footprint and power efficient multi-pass image processing architecture | |
| CN106373113A (zh) | 一种超高清超广角鱼眼图像质量自动检测的方法及装置 | |
| US11509845B2 (en) | Multiple frame defect pixel detection and correction | |
| JP7430471B2 (ja) | カメラベースのコードリーダ及び光学コード読み取り方法 | |
| WO2021192627A1 (ja) | 検査システム、学習装置、学習プログラム、学習方法、検査装置、検査プログラム、検査方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190830 |