CN118333836B - 一种图像定位方法、装置、设备及介质 - Google Patents
一种图像定位方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN118333836B CN118333836B CN202410749031.0A CN202410749031A CN118333836B CN 118333836 B CN118333836 B CN 118333836B CN 202410749031 A CN202410749031 A CN 202410749031A CN 118333836 B CN118333836 B CN 118333836B
- Authority
- CN
- China
- Prior art keywords
- real
- image data
- data
- fpga chip
- time image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000012795 verification Methods 0.000 claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 238000012544 monitoring process Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 7
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种图像定位方法、装置、设备及介质，涉及图像处理领域，包括：FPGA芯片从线阵图像传感器中获取实时图像数据，并通过FPGA芯片中的图像处理模块对实时图像数据进行定位处理，以得到图像定位结果；在将实时图像数据写入物理内存之后，通过FPGA芯片中的软核处理器从物理内存中读取实时图像数据，并对实时图像数据进行定位处理，以得到待验证结果；通过软核处理器对待验证结果与图像定位结果进行对比验证，并将对比验证结果传输至上级系统。本申请通过使FPGA芯片中的可编程逻辑资源与FPGA芯片中的软核处理器共享物理内存，并对待验证结果与图像定位结果进行验证，保证图像数据的可靠性以及定位结果的准确性。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种图像定位方法、装置、设备及介质。
背景技术
按照编码器的工作原理划分，编码器可以分为光电式，磁电式和触点电刷式，其中以光电式、磁电式较为常见。但是目前的编码器产品对于通讯速度要求越来越高，原本很多基于单片机方式的编码器已经难以满足高实时性的要求。虽然通过采用图像视觉技术的编码器可以提高一定的实时性，但是目前在相机等视觉领域，例如工业相机等领域，采集图像的方法大多是基于面阵的。因此，如何实现对线阵图像传感器采集的图像数据的定位是目前有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种图像定位方法、装置、设备及介质，能够使FPGA芯片中的可编程逻辑资源与FPGA芯片中的软核处理器共享物理内存，并对待验证结果与图像定位结果进行验证，保证图像数据的可靠性以及定位结果的准确性。其具体方案如下：
第一方面，本申请提供了一种图像定位方法，应用于FPGA芯片，包括：
从线阵图像传感器中获取实时图像数据，并通过所述FPGA芯片中的图像处理模块对所述实时图像数据进行定位处理，以得到图像定位结果；
在将所述实时图像数据写入物理内存之后，通过所述FPGA芯片中的软核处理器从所述物理内存中读取所述实时图像数据，并对所述实时图像数据进行定位处理，以得到待验证结果；
通过所述软核处理器对所述待验证结果与所述图像定位结果进行对比验证，并将对比验证结果传输至上级系统。
可选的，所述从线阵图像传感器中获取实时图像数据，包括：
若LVDS接口的数据处理位宽小于所述线阵图像传感器的像素深度，则通过所述LVDS接口基于预先配置的数据位宽对所述线阵图像传感器采集的原始图像数据进行读取，并对读取到的若干路图像数据进行对齐，以得到若干路对齐数据；
基于数据读出时序将所述若干路对齐数据存储至先进先出队列中，并对从存储后的所述先进先出队列中读取的小位宽数据进行拼接，以得到所述FPGA芯片所需的大位宽的所述实时图像数据。
可选的，所述FPGA芯片中包括基于AXI总线协议的数据传输模块、读写仲裁模块和双工模式转换模块；
相应的，所述从线阵图像传感器中获取实时图像数据之后，还包括：
将所述实时图像数据通过所述数据传输模块传输至所述读写仲裁模块；
通过所述读写仲裁模块对所述实时图像数据进行仲裁，以基于仲裁顺序将所述实时图像数据传输至所述双工模式转换模块；
通过所述双工模式转换模块将全双工模式转换为半双工模式，并基于所述半双工模式将所述实时图像数据写入所述物理内存中。
可选的，所述通过所述FPGA芯片中的软核处理器从所述物理内存中读取所述实时图像数据，包括：
通过所述FPGA芯片中的软核处理器经由所述读写仲裁模块和所述双工模式转换模块，从所述物理内存中读取所述实时图像数据。
可选的，所述通过所述FPGA芯片中的图像处理模块对所述实时图像数据进行定位处理之前，还包括：
通过所述图像处理模块获取与所述实时图像数据中的每个像素数据分别对应的数据校准系数，并基于所述数据校准系数对所述实时图像数据进行乘法运算，以得到校准后的所述实时图像数据。
可选的，所述方法还包括：
通过所述软核处理器对所述FPGA芯片的运行状态以及所述线阵图像传感器的运行状态进行监控，以得到监控结果；
若所述监控结果表征所述FPGA芯片的运行状态和/或所述线阵图像传感器的运行状态存在异常，则通过所述软核处理器将所述监控结果传输至所述上级系统，和/或基于所述监控结果对所述FPGA芯片和/或所述线阵图像传感器进行自适应调节。
可选的，所述软核处理器通过串行外设接口与非易失存储器相连，所述非易失存储器用于存储所述FPGA芯片运行所需的比特流文件以及所述软核处理器运行所需的二进制源文件。
第二方面，本申请提供了一种图像定位装置，应用于FPGA芯片，包括：
第一图像定位模块，用于从线阵图像传感器中获取实时图像数据，并通过所述FPGA芯片中的图像处理模块对所述实时图像数据进行定位处理，以得到图像定位结果；
第二图像定位模块，用于在将所述实时图像数据写入物理内存之后，通过所述FPGA芯片中的软核处理器从所述物理内存中读取所述实时图像数据，并对所述实时图像数据进行定位处理，以得到待验证结果；
定位结果验证模块，用于通过所述软核处理器对所述待验证结果与所述图像定位结果进行对比验证，并将对比验证结果传输至上级系统。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现前述的图像定位方法。
第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的图像定位方法。
本申请中，FPGA芯片从线阵图像传感器中获取实时图像数据，并通过所述FPGA芯片中的图像处理模块对所述实时图像数据进行定位处理，以得到图像定位结果；在将所述实时图像数据写入物理内存之后，通过所述FPGA芯片中的软核处理器从所述物理内存中读取所述实时图像数据，并对所述实时图像数据进行定位处理，以得到待验证结果；通过所述软核处理器对所述待验证结果与所述图像定位结果进行对比验证，并将对比验证结果传输至上级系统。由此可见，本申请通过应用于FPGA芯片，可以满足对图像定位处理的高实时性要求，以及实现对线阵图像传感器采集的图像数据的定位处理；并且通过使FPGA芯片中的可编程逻辑资源与FPGA芯片中的软核处理器共享物理内存，从而使得软核处理器可以直接从共享物理内存中获取图像数据，保证图像数据的可靠性；进一步的，本申请通过采用软核处理器可以方便开发者调试算法，并且，通过软核处理器对自身得到的待验证结果与FPGA芯片中的图像处理模块得到的图像定位结果进行对比验证，从而保证图像定位结果的准确性，通过将对比验证结果传输至上级系统，可以使用户了解到更多图像定位所涉及的信息，避免只采用纯逻辑资源的FPGA芯片在进行图像定位时所带来的只可查看定位结果的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种图像定位方法流程图；
图2为本申请公开的一种数据位宽转换流程图；
图3为本申请公开的一种具体的图像定位处理流程图；
图4为本申请公开的一种FPGA芯片的架构图；
图5为本申请公开的一种图像定位装置结构示意图；
图6为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前的编码器产品对于通讯速度要求越来越高，原本很多基于单片机方式的编码器已经难以满足高实时性的要求。虽然采用图像视觉技术的编码器可以提高一定的实时性，但是目前在相机等视觉领域，采集图像的方法大多是基于面阵的。为此，本申请提供了一种图像定位方法，通过使FPGA芯片中的可编程逻辑资源与FPGA芯片中的软核处理器共享物理内存，并对待验证结果与图像定位结果进行验证，保证图像数据的可靠性以及定位结果的准确性。
参见图1所示，本发明实施例公开了一种图像定位方法，应用于FPGA芯片，包括：
步骤S11、从线阵图像传感器中获取实时图像数据，并通过所述FPGA芯片中的图像处理模块对所述实时图像数据进行定位处理，以得到图像定位结果。
本实施例中，FPGA（Field Programmable Gate Array，现场可编程逻辑门阵列）芯片通过LVDS（Low-Voltage Differential Signaling，低电压差分信号）接口与线阵图像传感器连接。其中，线阵图像传感器可以采用CMOS（Complementary Metal OxideSemiconductor，互补型金属氧化物半导体）或者CCD（Charge Coupled Device 电荷耦合元件）等；并且，线阵图像传感器可以支持的行频信号最高可达200K，有效像素位为512H*1V，FPGA芯片中的软核处理器通过I2C（Inter-Integrated Circuit，集成电路总线）对线阵图像传感器进行可编程控制。
考虑到线阵图像传感器如果采用CMOS，由于CMOS的像素深度一般有如8bit，10bit，12bit等，而FPGA芯片中的LVDS接口处理的位宽序列只有8位到10位，因此为了能使FPGA芯片可以处理一些高精度的数据，例如12bit、16bit等，本实施例在FPGA芯片中添加了一级可配置的FIFO（First Input First Output，先进先出队列）数据整理模块。
具体的，如图2所示，若LVDS接口的数据处理位宽小于线阵图像传感器的像素深度，则通过可配置的FIFO数据整理模块基于LVDS接口根据预先配置的数据位宽对线阵图像传感器采集的原始图像数据进行读取，并对读取到的n路图像数据进行对齐，以得到n路对齐数据。其中，预先配置的数据位宽是小于线阵图像传感器的像素深度的，例如可以配置为线阵图像传感器的像素深度的一半。然后基于数据读出时序将n路对齐数据存储至先进先出队列中，并对从存储后的先进先出队列中读取的小位宽数据进行拼接，以得到FPGA芯片所需的大位宽的实时图像数据。在得到FPGA芯片所需的大位宽的实时图像数据之后，基于AXI（Advanced eXtensible Interface，一种总线协议）总线的数据流接口（Axi-stream）将实时图像数据传输至FPGA芯片中的图像处理模块。
进一步的，在FPGA芯片中的图像处理模块接收到实时图像数据之后，需要对实时图像数据进行定位处理，以得到图像定位结果。需要说明的是，在对实时图像数据进行定位处理之前，需要先对实时图像数据进行校准。具体的，通过FPGA芯片中的图像处理模块从只读存储器（Read-Only Memory，ROM）中读取与实时图像数据中的每个像素数据分别对应的数据校准系数，并基于数据校准系数对实时图像数据进行乘法运算，从而得到校准后的实时图像数据。其中，乘法运算既可以通过FPGA芯片中的乘法器进行，也可以通过FPGA芯片中的DSP（Digital Signal Processing，数字信号处理技术）单元进行。
考虑到本实施例针对的是线阵图像传感器采集的明暗相间的序列图像，因此通过FPGA芯片中的图像处理模块对实时图像数据进行定位处理以得到图像定位结果，具体操作如图3所示。将校准后的实时图像数据输入二值化方波模块，以对校准后的实时图像数据进行二值化，从而得到二值化方波。然后通过基于亚像素的偏移量的计算单元利用线性插值法对二值化方波进行插值，以得到二值化方波上下边沿的亚像素，并基于二值化方波上下边沿的亚像素计算相应的偏移量。同时，通过快速查表法对二值化方波的序列长度进行查表操作，以得到固定序列长度对应的位移角度值，也即粗角度。最后通过运动方向和偏移量的偏移方向这两个属性，对粗角度和偏移量进行加减运算，以得到针对实时图像数据的高精度定位结果。进一步的，在得到图像定位结果之后，需要将图像定位结果传输至FPGA芯片中的软核处理器；同时，还可以将图像定位结果传输至上级系统。
步骤S12、在将所述实时图像数据写入物理内存之后，通过所述FPGA芯片中的软核处理器从所述物理内存中读取所述实时图像数据，并对所述实时图像数据进行定位处理，以得到待验证结果。
本实施例中，在通过可配置的FIFO数据整理模块获取到FPGA芯片所需的大位宽的实时图像数据之后，需要将实时图像数据写入物理内存；其中，物理内存可以选用RAM（Random Access Memory，随机存取存储器）。具体的，在将实时图像数据写入物理内存的过程中，需要用到数据传输模块、读写仲裁模块和双工模式转换模块，这三个模块均位于FPGA芯片中，并且均为基于AXI总线协议的模块。
其中，通过可配置的FIFO数据整理模块基于AXI总线的数据流接口（Axi-stream）将实时图像数据传输至数据传输模块。然后数据传输模块再基于AXI总线将实时图像数据传输至读写仲裁模块；通过读写仲裁模块对实时图像数据进行仲裁，以利用仲裁顺序将实时图像数据基于AXI总线传输至双工模式转换模块；其中，仲裁顺序为多个设备对物理内存进行数据读写时的读写顺序。最后通过双工模式转换模块将全双工模式转换为半双工模式，并基于半双工模式将实时图像数据写入物理内存中。
其中，数据传输模块可以采用DMA（Direct Memory Access，直接内存访问）模块，这里使用的DMA模块本质上是基于AXI总线技术的内存读写模块，而DMA模块的主要功能是将数据传输到其他设备，而且是多路的，但是在本发明的设计中只用到了其中一路写入的功能，因此本发明对DMA模块不做强制限定。其次，从技术原理上来说，数据传输模块也可以采用基于AXI主模式的内存读写控制体。
进一步的，为了使FPGA芯片中的软核处理器可以直接从物理内存中读取数据，从而实现FPGA芯片中的可编程逻辑资源与FPGA芯片中的软核处理器共享物理内存。本实施例将软核处理器基于AXI总线经由读写仲裁模块和双工模式转换模块与物理内存连接，从而通过软核处理器经由读写仲裁模块和双工模式转换模块，从物理内存中读取实时图像数据。其中，软核处理器可以选用基于RISC-V（Reduced Instruction Set Computer，精简指令集计算机）的CPU（Center Process Unit，中央处理器）。这样一来，通过软核处理器直接从共享物理内存中获取图像数据，保证了图像数据的可靠性。
本实施例中，在通过FPGA芯片中的软核处理器从物理内存中获取到实时图像数据之后，需要进一步对实时图像数据进行定位处理，从而得到待验证结果。
步骤S13、通过所述软核处理器对所述待验证结果与所述图像定位结果进行对比验证，并将对比验证结果传输至上级系统。
本实施例中，通过FPGA芯片中的软核处理器对待验证结果以及从FPGA芯片中的图像处理模块获取的图像定位结果进行对比验证，以得到对比验证结果，并将对比验证结果传输至上级系统。其中，对比验证结果包括待验证结果、图像定位结果以及这两个结果的对比验证情况。
其中，FPGA芯片与上级系统进行数据传输的通讯接口既可以为SSI（SynchronousSerial Interface，同步串行接口）、RS485/422接口、enDat全双工同步串行接口，也可以为SPI（Serial Peripheral Interface，串行外设接口）、UART（Universal AsynchronousReceiver/Transmitter，通用异步收发器）接口。例如，对于RS485/422接口，在10MHZ的时钟频率下，定位更新速度可达5us-20us，这样高速率的要求下，基于软核处理器或者其他独立的ARM（Advanced RISC Machine，高级精简指令集计算机）核、DSP核等是无法满足高速率要求的，主要是因为耗时在各种内核的运算效能与运算结果的搬运上，而基于纯逻辑的单FPGA芯片可以解决上述问题，满足高速率和实时性的要求。
进一步的，通过软核处理器还可以对FPGA芯片的运行状态以及线阵图像传感器的运行状态进行监控，以得到监控结果；若监控结果表述FPGA芯片的运行状态和/或线阵图像传感器的运行状态存在异常，则通过软核处理器将监控结果传输至上级系统，和/或基于监控结果对FPGA芯片和/或线阵图像传感器进行自适应调节。
更进一步的，本实施例还可以根据实际情况外置非易失存储器，以通过软核处理器基于串行外设接口SPI与非易失存储器相连；其中，非易失存储器用于存储FPGA芯片运行所需的比特流文件以及软核处理器运行所需的二进制源文件；非易失存储器可以选用flash存储器。
由此可见，本申请通过应用于FPGA芯片，可以满足对图像定位处理的高实时性要求，以及实现对线阵图像传感器采集的图像数据的定位处理；并且通过使FPGA芯片中的可编程逻辑资源与FPGA芯片中的软核处理器共享物理内存，从而使得软核处理器可以直接从共享物理内存中获取图像数据，保证图像数据的可靠性；进一步的，本申请通过采用软核处理器可以方便开发者调试算法，并且，通过软核处理器对自身得到的待验证结果与FPGA芯片中的图像处理模块得到的图像定位结果进行对比验证，从而保证图像定位结果的准确性，通过将对比验证结果传输至上级系统，可以使用户了解到更多图像定位所涉及的信息，避免只采用纯逻辑资源的FPGA芯片在进行图像定位时所带来的只可查看定位结果的问题。
参见图4所示，本发明实施例公开了一种图像定位方法，应用于FPGA芯片，包括：
通过FPGA芯片中的可配置的FIFO数据整理模块基于LVDS接口根据预先配置的数据位宽，对线阵图像传感器（例如CMOS或CCD）采集的原始图像数据进行读取，并对读取到的n路图像数据进行对齐，以得到n路对齐数据。然后基于数据读出时序将n路对齐数据存储至FIFO队列中，并对从存储后的FIFO队列中读取的小位宽数据进行拼接，以得到FPGA芯片所需的大位宽的实时图像数据。在得到FPGA芯片所需的大位宽的实时图像数据之后，基于AXI总线的数据流接口（Axi-stream）将实时图像数据传输至FPGA芯片中的图像处理模块以及数据传输模块（例如DMA或者内存读写控制体）。其中，FPGA芯片中的软核处理器（例如RISC-V CPU）通过I2C集成电路总线对线阵图像传感器进行可编程控制。
通过FPGA芯片中的图像处理模块对实时图像数据进行定位处理，以得到图像定位结果，并将图像定位结果通过UART/SPI高速接口传输至外部的上级系统，同时将图像定位结果通过APB3 slave0（Advanced Peripheral Bus，高级外设总线）接口传输至FPGA芯片中的软核处理器。
并且，在数据传输模块获取到实时图像数据之后，基于AXI总线将实时图像数据经由读写仲裁模块传输至双工模式转换模块，以便通过双工模式转换模块基于半双工模式将实时图像数据写入物理内存（例如RAM）中。同时，通过FPGA芯片中的软核处理器基于Axislave接口经由读写仲裁模块和双工模式转换模块，从物理内存中读取实时图像数据，以便软核处理器中的算法验证单元对实时图像数据进行定位处理，以得到待验证结果，并对待验证结果与图像定位结果进行对比验证，并将对比验证结果基于APB3 slave0接口和UART/SPI高速接口传输至外部的上级系统。
进一步的，软核处理器通过本地的状态监控单元实现对FPGA芯片的运行状态以及线阵图像传感器的运行状态的监控。例如，若因长时间运行导致线阵图像传感器的LED（Light Emitting Diode，发光二极管）发光量变弱时，通过状态监控单元利用PID（Proportion Integration Differentiation，比例、积分、微分）自适应调节算法，基于APB3 slave0接口对PWM（Pulse Width Modulation，脉冲宽度调制）的占空比进行调节，从而使得线阵图像传感器的LED发光强度工作在最佳状态，起到延长产品寿命的作用。需要说明的是，LED既可以是跟线阵图像传感器集成封装在一起的，也可以是与线阵图像传感器分离的。除此之外，软核处理器中的状态监控单元还可以获取电池状态、系统上电前的绝对位置信息、上一次外部上级系统运行时的参数备份等。
需要说明的是，软核处理器通过APB3 slave1接口与数据传输模块相连，从而实现软核处理器对数据传输模块的参数配置，并且软核处理器还通过APB3 slave1接口控制数据传输模块的使能开关以及监控数据传输模块的运行状态。并且，软核处理器基于SPI串行外设接口与外部的flash存储器相连，以便flash存储器可以存储FPGA芯片运行所需的比特流文件以及软核处理器运行所需的二进制源文件。另外，软核处理器与UART/jtag调试口相连，从而通过UART/jtag调试口实现对软核处理器的调试。
需要说明的是，通过在FPGA芯片中设置软核处理器，可以实现对本地参数的配置，例如线阵图像传感器的行频参数，曝光参数等，同时还可以通过软核处理器实现对运行状态的监控以及算法的调试等。
由此可见，本申请通过应用于FPGA芯片，可以满足对图像定位处理的高实时性要求，以及实现对线阵图像传感器采集的图像数据的定位处理；并且通过使FPGA芯片中的可编程逻辑资源与FPGA芯片中的软核处理器共享物理内存，从而使得软核处理器可以直接从共享物理内存中获取图像数据，保证图像数据的可靠性；进一步的，本申请通过采用软核处理器可以方便开发者调试算法，并且，通过软核处理器对自身得到的待验证结果与FPGA芯片中的图像处理模块得到的图像定位结果进行对比验证，从而保证图像定位结果的准确性，通过将对比验证结果传输至上级系统，可以使用户了解到更多图像定位所涉及的信息，避免只采用纯逻辑资源的FPGA芯片在进行图像定位时所带来的只可查看定位结果的问题。
参见图5所示，本发明实施例公开了一种图像定位装置，应用于FPGA芯片，包括：
第一图像定位模块11，用于从线阵图像传感器中获取实时图像数据，并通过所述FPGA芯片中的图像处理模块对所述实时图像数据进行定位处理，以得到图像定位结果；
第二图像定位模块12，用于在将所述实时图像数据写入物理内存之后，通过所述FPGA芯片中的软核处理器从所述物理内存中读取所述实时图像数据，并对所述实时图像数据进行定位处理，以得到待验证结果；
定位结果验证模块13，用于通过所述软核处理器对所述待验证结果与所述图像定位结果进行对比验证，并将对比验证结果传输至上级系统。
由此可见，本申请通过应用于FPGA芯片，可以满足对图像定位处理的高实时性要求，以及实现对线阵图像传感器采集的图像数据的定位处理；并且通过使FPGA芯片中的可编程逻辑资源与FPGA芯片中的软核处理器共享物理内存，从而使得软核处理器可以直接从共享物理内存中获取图像数据，保证图像数据的可靠性；进一步的，本申请通过采用软核处理器可以方便开发者调试算法，并且，通过软核处理器对自身得到的待验证结果与FPGA芯片中的图像处理模块得到的图像定位结果进行对比验证，从而保证图像定位结果的准确性，通过将对比验证结果传输至上级系统，可以使用户了解到更多图像定位所涉及的信息，避免只采用纯逻辑资源的FPGA芯片在进行图像定位时所带来的只可查看定位结果的问题。
在一些具体实施例中，所述第一图像定位模块11，包括：
数据对齐单元，用于若LVDS接口的数据处理位宽小于所述线阵图像传感器的像素深度，则通过所述LVDS接口基于预先配置的数据位宽对所述线阵图像传感器采集的原始图像数据进行读取，并对读取到的若干路图像数据进行对齐，以得到若干路对齐数据；
数据拼接单元，用于基于数据读出时序将所述若干路对齐数据存储至先进先出队列中，并对从存储后的所述先进先出队列中读取的小位宽数据进行拼接，以得到所述FPGA芯片所需的大位宽的所述实时图像数据。
在一些具体实施例中，所述FPGA芯片中包括基于AXI总线协议的数据传输模块、读写仲裁模块和双工模式转换模块；
相应的，所述图像定位装置，还包括：
第一传输单元，用于将所述实时图像数据通过所述数据传输模块传输至所述读写仲裁模块；
第二传输单元，用于通过所述读写仲裁模块对所述实时图像数据进行仲裁，以基于仲裁顺序将所述实时图像数据传输至所述双工模式转换模块；
数据写入单元，用于通过所述双工模式转换模块将全双工模式转换为半双工模式，并基于所述半双工模式将所述实时图像数据写入所述物理内存中。
在一些具体实施例中，所述第二图像定位模块12，包括：
数据读取单元，用于通过所述FPGA芯片中的软核处理器经由所述读写仲裁模块和所述双工模式转换模块，从所述物理内存中读取所述实时图像数据。
在一些具体实施例中，所述图像定位装置，还包括：
数据校准单元，用于通过所述图像处理模块获取与所述实时图像数据中的每个像素数据分别对应的数据校准系数，并基于所述数据校准系数对所述实时图像数据进行乘法运算，以得到校准后的所述实时图像数据。
在一些具体实施例中，所述图像定位装置，还包括：
运行状态监控单元，用于通过所述软核处理器对所述FPGA芯片的运行状态以及所述线阵图像传感器的运行状态进行监控，以得到监控结果；若所述监控结果表征所述FPGA芯片的运行状态和/或所述线阵图像传感器的运行状态存在异常，则通过所述软核处理器将所述监控结果传输至所述上级系统，和/或基于所述监控结果对所述FPGA芯片和/或所述线阵图像传感器进行自适应调节。
进一步的，本申请实施例还公开了一种电子设备，图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备 20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的图像定位方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的图像定位方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的图像定位方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (7)
1.一种图像定位方法，其特征在于，应用于FPGA芯片，包括：
从线阵图像传感器中获取实时图像数据，并通过所述FPGA芯片中的图像处理模块对所述实时图像数据进行定位处理，以得到图像定位结果；
在将所述实时图像数据写入物理内存之后，通过所述FPGA芯片中的软核处理器从所述物理内存中读取所述实时图像数据，并对所述实时图像数据进行定位处理，以得到待验证结果；
通过所述软核处理器对所述待验证结果与所述图像定位结果进行对比验证，并将对比验证结果传输至上级系统；
其中，所述从线阵图像传感器中获取实时图像数据，包括：
若LVDS接口的数据处理位宽小于所述线阵图像传感器的像素深度，则通过所述LVDS接口基于预先配置的数据位宽对所述线阵图像传感器采集的原始图像数据进行读取，并对读取到的若干路图像数据进行对齐，以得到若干路对齐数据；
基于数据读出时序将所述若干路对齐数据存储至先进先出队列中，并对从存储后的所述先进先出队列中读取的小位宽数据进行拼接，以得到所述FPGA芯片所需的大位宽的所述实时图像数据；
其中，所述FPGA芯片中包括基于AXI总线协议的数据传输模块、读写仲裁模块和双工模式转换模块；
相应的，所述从线阵图像传感器中获取实时图像数据之后，还包括：
将所述实时图像数据通过所述数据传输模块传输至所述读写仲裁模块；
通过所述读写仲裁模块对所述实时图像数据进行仲裁，以基于仲裁顺序将所述实时图像数据传输至所述双工模式转换模块；
通过所述双工模式转换模块将全双工模式转换为半双工模式，并基于所述半双工模式将所述实时图像数据写入所述物理内存中；
其中，所述通过所述FPGA芯片中的软核处理器从所述物理内存中读取所述实时图像数据，包括：
通过所述FPGA芯片中的软核处理器经由所述读写仲裁模块和所述双工模式转换模块，从所述物理内存中读取所述实时图像数据。
2.根据权利要求1所述的图像定位方法，其特征在于，所述通过所述FPGA芯片中的图像处理模块对所述实时图像数据进行定位处理之前，还包括：
通过所述图像处理模块获取与所述实时图像数据中的每个像素数据分别对应的数据校准系数，并基于所述数据校准系数对所述实时图像数据进行乘法运算，以得到校准后的所述实时图像数据。
3.根据权利要求1所述的图像定位方法，其特征在于，还包括：
通过所述软核处理器对所述FPGA芯片的运行状态以及所述线阵图像传感器的运行状态进行监控，以得到监控结果；
若所述监控结果表征所述FPGA芯片的运行状态和/或所述线阵图像传感器的运行状态存在异常，则通过所述软核处理器将所述监控结果传输至所述上级系统，和/或基于所述监控结果对所述FPGA芯片和/或所述线阵图像传感器进行自适应调节。
4.根据权利要求1至3任一项所述的图像定位方法，其特征在于，所述软核处理器通过串行外设接口与非易失存储器相连，所述非易失存储器用于存储所述FPGA芯片运行所需的比特流文件以及所述软核处理器运行所需的二进制源文件。
5.一种图像定位装置，其特征在于，应用于FPGA芯片，包括：
第一图像定位模块，用于从线阵图像传感器中获取实时图像数据，并通过所述FPGA芯片中的图像处理模块对所述实时图像数据进行定位处理，以得到图像定位结果；
第二图像定位模块，用于在将所述实时图像数据写入物理内存之后，通过所述FPGA芯片中的软核处理器从所述物理内存中读取所述实时图像数据，并对所述实时图像数据进行定位处理，以得到待验证结果；
定位结果验证模块，用于通过所述软核处理器对所述待验证结果与所述图像定位结果进行对比验证，并将对比验证结果传输至上级系统；
其中，所述第一图像定位模块，包括：
数据对齐单元，用于若LVDS接口的数据处理位宽小于所述线阵图像传感器的像素深度，则通过所述LVDS接口基于预先配置的数据位宽对所述线阵图像传感器采集的原始图像数据进行读取，并对读取到的若干路图像数据进行对齐，以得到若干路对齐数据；
数据拼接单元，用于基于数据读出时序将所述若干路对齐数据存储至先进先出队列中，并对从存储后的所述先进先出队列中读取的小位宽数据进行拼接，以得到所述FPGA芯片所需的大位宽的所述实时图像数据；
其中，所述FPGA芯片中包括基于AXI总线协议的数据传输模块、读写仲裁模块和双工模式转换模块；
相应的，所述图像定位装置，还包括：
第一传输单元，用于将所述实时图像数据通过所述数据传输模块传输至所述读写仲裁模块；
第二传输单元，用于通过所述读写仲裁模块对所述实时图像数据进行仲裁，以基于仲裁顺序将所述实时图像数据传输至所述双工模式转换模块；
数据写入单元，用于通过所述双工模式转换模块将全双工模式转换为半双工模式，并基于所述半双工模式将所述实时图像数据写入所述物理内存中；
其中，所述第二图像定位模块，包括：
数据读取单元，用于通过所述FPGA芯片中的软核处理器经由所述读写仲裁模块和所述双工模式转换模块，从所述物理内存中读取所述实时图像数据。
6.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至4任一项所述的图像定位方法。
7.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的图像定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410749031.0A CN118333836B (zh) | 2024-06-12 | 2024-06-12 | 一种图像定位方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410749031.0A CN118333836B (zh) | 2024-06-12 | 2024-06-12 | 一种图像定位方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118333836A CN118333836A (zh) | 2024-07-12 |
| CN118333836B true CN118333836B (zh) | 2024-09-27 |
Family
ID=91766403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410749031.0A Active CN118333836B (zh) | 2024-06-12 | 2024-06-12 | 一种图像定位方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118333836B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114111570A (zh) * | 2021-11-01 | 2022-03-01 | 广东亚微伽科技有限公司 | 一种二维自准直仪及基于其的图像定位计算方法和装置 |
| CN114697536A (zh) * | 2020-12-31 | 2022-07-01 | 上海微电子装备（集团）股份有限公司 | 一种2k线阵相机和自动对相方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106643666B (zh) * | 2016-09-13 | 2019-12-06 | 首都师范大学 | 基于同平台多个传感器的运动目标探测方法和系统 |
| CN114285957A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 图像处理电路及数据传输方法 |
| CN116933723A (zh) * | 2022-03-30 | 2023-10-24 | 龙芯中科技术股份有限公司 | 多核处理器验证系统 |
| CN115426350A (zh) * | 2022-09-23 | 2022-12-02 | 北京有竹居网络技术有限公司 | 图像上传方法、图像上传装置、电子设备和存储介质 |
-
2024
- 2024-06-12 CN CN202410749031.0A patent/CN118333836B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114697536A (zh) * | 2020-12-31 | 2022-07-01 | 上海微电子装备（集团）股份有限公司 | 一种2k线阵相机和自动对相方法 |
| CN114111570A (zh) * | 2021-11-01 | 2022-03-01 | 广东亚微伽科技有限公司 | 一种二维自准直仪及基于其的图像定位计算方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118333836A (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5922898B2 (ja) | 情報処理装置、通信方法およびプログラム | |
| US20220382365A1 (en) | High-precision anti-interference vr system and operation method | |
| CN102193497A (zh) | 用gps秒脉冲信号实现多源数据精确时间对准的方法 | |
| CN118333836B (zh) | 一种图像定位方法、装置、设备及介质 | |
| US20140078351A1 (en) | Signal processing device, signal processing method, and program | |
| CN110401586A (zh) | 一种总线通信方法、装置、设备及可读存储介质 | |
| CN104954694A (zh) | 一种通过wifi实时查看全景图像的工业相机 | |
| CN103883540A (zh) | 散热系统、转速控制电路及其方法 | |
| CN104221310A (zh) | 动态自适应频率调整 | |
| CN201107857Y (zh) | 多功能集成化的数字图像处理系统 | |
| CN114217540B (zh) | 一种非标设备的控制方法、装置、设备及存储介质 | |
| CN110476155A (zh) | 算法触发的传感器数据采集 | |
| CN113206927A (zh) | 图像信号处理器和图像传感处理系统 | |
| CN110268692A (zh) | 一种数据处理方法、装置、控制器及可移动装置 | |
| CN215897820U (zh) | 车载摄像头、图像处理装置及智能行驶设备 | |
| CN213582141U (zh) | 一种基于面部微表情的物联显示屏控制系统 | |
| JP2007006125A (ja) | 画像処理支援装置、電子カメラ、画像処理装置、現像処理システム、並びにこれらの画像処理支援装置および画像処理装置を実現するプログラム | |
| JP2000350032A (ja) | 画像読取方法及び装置並びに記憶媒体 | |
| US7839961B2 (en) | Communication timing changing method and device | |
| CN210166638U (zh) | 一种基于CANopen协议的磁性编码器 | |
| CN110900607B (zh) | 一种机器人控制方法及装置 | |
| CN117221747B (zh) | 一种基于sopc的单周期坏点补偿与非均匀校正方法 | |
| CN210072387U (zh) | 一种数字信号处理装置 | |
| Scholles et al. | IEEE 1394" FireWire" system design for industrial and factory automation applications | |
| CN108334009A (zh) | 基于stm32芯片的数采仪系统及数采仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |