CN114765660A - 用于tof摄像模组的图像标定方法及fpga芯片 - Google Patents

用于tof摄像模组的图像标定方法及fpga芯片 Download PDF

Info

Publication number
CN114765660A
CN114765660A CN202011608613.5A CN202011608613A CN114765660A CN 114765660 A CN114765660 A CN 114765660A CN 202011608613 A CN202011608613 A CN 202011608613A CN 114765660 A CN114765660 A CN 114765660A
Authority
CN
China
Prior art keywords
calibration
module
image
fpga chip
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011608613.5A
Other languages
English (en)
Inventor
钱仁瑞
俞冠华
刘敏
章炳刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sunny Optical Intelligent Technology Co Ltd
Original Assignee
Zhejiang Sunny Optical Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sunny Optical Intelligent Technology Co Ltd filed Critical Zhejiang Sunny Optical Intelligent Technology Co Ltd
Priority to CN202011608613.5A priority Critical patent/CN114765660A/zh
Publication of CN114765660A publication Critical patent/CN114765660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种用于TOF摄像模组的图像标定方法及FPGA芯片。所述图像标定方法，包括：通过FPGA芯片的标定数据获取模块从所述TOF摄像模组的标定数据存储单元获取一级标定信息；通过所述FPGA芯片的标定数据解码模块获得二级标定信息，所述二级标定信息包括第一标定参数和第二标定参数；通过所述FPGA芯片的标定数据读写模块将所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输给所述FPGA芯片的图像校正模块；以及通过所述FPGA芯片的所述图像校正模块基于所述第一标定参数对图像数据进行第一类型的校正，基于所述第二标定参数对所述图像数据进行第二类型的校正。实现对不同的标定参数的并行化传输，缩短初始化时间，提高数据处理效率。

Description

用于TOF摄像模组的图像标定方法及FPGA芯片
技术领域
本申请涉及摄像模组领域，且更为具体地，涉及一种用于TOF摄像模组的图像标定方法及FPGA芯片。
背景技术
近年来，TOF摄像模组在深度视觉领域得到了广泛的应用。TOF摄像模组是指利用TOF技术成像的摄像模组，通过TOF技术可实现3D成像。TOF是time of flight的简写，译为飞行时间。利用飞行时间法实现3D成像的关键在于测距，即测定目标对象到摄像模组的距离。
具体地，主要通过两种方式，第一种是通过向目标对象发射激光脉冲，然后接收自目标对象反射到TOF摄像模组的激光脉冲，基于从发射激光脉冲到接收激光脉冲的时间差，确定目标对象到摄像模组的距离；第二种是基于从发射激光脉冲到接收激光脉冲的相位差，确定目标对象到摄像模组的距离。第一种方法对时间精度，数据处理能力的要求较高，进而，对芯片设计提出了非常高的要求，在实际应用中，第二种方法被普遍应用。
测距的精准度是TOF摄像模组的重要指标之一。基于从发射激光脉冲到接收激光脉冲的相位差，确定目标对象到摄像模组的距离的方法中，图像的标定方法对测距的精准度具有重要影响。传统的标定方法主要通过CPU芯片对TOF摄像模组的内部寄存(例如：EEPROM，flash)器的标定数据进行处理，实现图像标定。
具体地，将压缩的标定数据写入TOF摄像模组的内部寄存器，CPU芯片与TOF摄像模组电连接；上电后，首先，从TOF摄像模组的内部寄存器中读出压缩的标定数据；然后，以特定的解码程序对压缩的标定数据件进行解码；接着，将解码后的标定数据存储到存储器以等待待校正图像的输入；在待校正图像输入后，从存储器中提取出解码后的标定数据，以进行图像校正。而此种标定方法的数据处理过程较慢，安装有摄像模组的设备从开机到开始工作的时间较长，即初始化时间较长，且输出图像数据的速率较慢。
因此，期待一种优化的图像标定方法，以缩短初始化时间，提高数据处理效率。
发明内容
本发明的一个优势在于提供了一用于TOF摄像模组的图像标定方法及FPGA芯片，其中，所述图像标定方法利用FPGA芯片实现对标定数据的并行化传输，缩短初始化时间，提高数据处理效率。
本发明的另一优势在于提供了一用于TOF摄像模组的图像标定方法及FPGA芯片，其中，所述FPGA芯片对从TOF摄像模组的标定数据存储单元获取的标定数据解码后，获得不同类的标定参数，以实现对不同的标定参数的并行化传输，缩短初始化时间，提高数据处理效率。
为了实现上述至少一优势或其他优势和目的，根据本申请的一个方面，提供了一种用于TOF摄像模组的图像标定方法，所述TOF摄像模组包括图像传感器和标定数据储存单元，所述标定数据存储单元上存储有一级标定信息，其中，所述用于TOF摄像模组的图像标定方法，包括：
通过FPGA芯片的标定数据获取模块从所述TOF摄像模组的标定数据存储单元获取一级标定信息，所述一级标定信息具有预设压缩编码格式，所述FPGA芯片与所述TOF摄像模组可通信地连接；
通过所述FPGA芯片的标定数据解码模块对所述一级标定信息按照所述预设压缩编码格式进行解码，以获得二级标定信息，所述二级标定信息包括第一标定参数和第二标定参数；
通过所述FPGA芯片的标定数据读写模块将所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输给所述FPGA芯片的图像校正模块；以及
通过所述FPGA芯片的所述图像校正模块基于从所述标定数据读写模块获取的所述第一标定参数对从所述图像传感器获取的图像数据进行第一类型的校正以及在完成第一类型的校正后基于获取的所述第二标定参数对所述图像数据进行第二类型的校正。
在根据本申请的用于TOF摄像模组的图像标定方法中，所述第一标定参数和所述第二标定参数具有适于直接存储于所述FPGA芯片中的数据量。
在根据本申请的用于TOF摄像模组的图像标定方法中，所述第一标定参数为温度标定参数，所述第二标定参数为Wiggling标定参数；其中，通过所述FPGA芯片的所述图像校正模块基于从所述标定数据读写模块获取的所述第一标定参数对所获取的图像数据进行第一类型的校正以及在完成第一类型的校正后基于获取的所述第二标定参数对所述图像数据进行第二类型的校正，包括：基于获取的所述温度标定参数对所述图像数据进行温度校正；以及，在完成所述温度校正后，基于获取的所述Wiggling标定参数对所述图像数据进行Wiggling校正。
在根据本申请的用于TOF摄像模组的图像标定方法中，所述二级标定信息还包括第三标定参数，所述第三标定参数具有不适于存储于所述FPGA芯片的数据量；其中，在通过所述FPGA芯片的标定数据读写模块将所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输给所述FPGA芯片的图像校正模块的过程中，进一步包括：并行地将所述第三标定参数写入外部存储模块中；以及，并行地从所述外部存储模块中读取出所述第三标定参数并传输至所述图像校正模块。
在根据本申请的用于TOF摄像模组的图像标定方法中，进一步包括：在完成对所述图像数据进行第二类型的校正后，通过所述FPGA芯片的所述图像校正模块接收来自所述标定数据读写模块的第三标定参数；以及，通过所述FPGA芯片的所述图像校正模块基于所获得的所述第三标定参数对所述图像数据进行第三类型的校正。
在根据本申请的用于TOF摄像模组的图像标定方法中，所述第三标定参数为FPPN标定参数；其中，通过所述FPGA芯片的所述图像校正模块基于所获得的所述第三标定参数对所述图像数据进行第三类型的校正，包括：基于所获得的所述FPPN标定参数对所述图像数据进行FPPN校正。
在根据本申请的用于TOF摄像模组的图像标定方法中，进一步包括：通过所述FPGA芯片的所述图像校正模块输出校正后的图像数据。
在根据本申请的用于TOF摄像模组的图像标定方法中，输出校正后的图像数据的速率为30帧/s。
在根据本申请的用于TOF摄像模组的图像标定方法中，所述外部存储模块为双倍速率同步动态随机存储器。
根据本申请的另一方面，提供了一种FPGA芯片，其中，所述FPGA芯片，包括：
标定数据获取模块，用于从TOF摄像模组的标定数据存储单元获取一级标定信息，所述一级标定信息具有预设压缩编码格式；
标定数据解码模块，用于对所述一级标定信息按照所述预设压缩编码格式进行解码，以获得二级标定信息，所述二级标定信息包括第一标定参数和第二标定参数；
标定数据读写模块，用于所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输；以及
图像校正模块，用于基于来自所述标定数据读写模块的所述第一标定参数对所获取的图像数据进行第一类型的校正以及在完成第一类型的校正后基于获取的所述第二标定参数对所述图像数据进行第二类型的校正。
在根据本申请的FPGA芯片中，所述第一标定参数和所述第二标定参数具有适于直接存储于所述FPGA芯片中的数据量。
在根据本申请的FPGA芯片中，所述第一标定参数为温度标定参数，所述第二标定参数为Wiggling标定参数；其中，所述图像校正模块，进一步用于：基于所获取的所述温度标定参数对所述图像数据进行温度校正；以及，在完成所述温度校正后，基于所获取的所述Wiggling标定参数对所述图像数据进行Wiggling校正。
在根据本申请的FPGA芯片中，所述二级标定信息还包括第三标定参数，所述第三标定参数具有不适于存储于所述FPGA芯片的数据量；其中，标定数据读写模块，进一步用于：并行地将所述第三标定参数写入外部存储模块中；以及，并行地从所述外部存储模块中读取出所述第三标定参数并传输至所述图像校正模块。
在根据本申请的FPGA芯片中，所述图像校正模块，进一步用于：在完成对所述图像数据进行第二类型的校正后，接收来自所述标定数据读写模块的第三标定参数；以及，基于所获得的所述第三标定参数对所述图像数据进行第三类型的校正。
在根据本申请的FPGA芯片中，所述第三标定参数为FPPN标定参数；其中，所述图像校正模块，进一步用于：基于所获得的所述FPPN标定参数对所述图像数据进行FPPN校正。
在根据本申请的FPGA芯片中，所述图像校正模块，进一步用于：通过所述FPGA芯片的所述图像校正模块输出校正后的图像数据。
在根据本申请的FPGA芯片中，输出校正后的图像数据的速率为30帧/s。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1图示了根据本申请实施例的FPGA芯片的基本结构示意图。
图2示出了根据本申请实施例的用于TOF摄像模组的图像标定方法的流程图。
图3通过FPGA芯片的标定数据读写模块将所述二级标定信息中的各类参数并行地传输给所述FPGA芯片的图像校正模块的流程图。
图4图示了标定数据传输过程示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
申请概述
如前所述，传统的标定方法主要通过CPU芯片对TOF摄像模组的内部寄存器的标定数据进行处理，实现图像标定。而此种标定方法的数据处理过程较慢，设备从开机到开始工作需要花费的时间较长，即初始化时间较长，且输出图像数据的速率较慢。
经研究，本申请发明人发现，通过CPU芯片对TOF摄像模组的内部寄存器的标定数据进行处理的方法中，数据处理过程较慢，初始化时间较长的关键原因为：对标定数据单线程地进行处理。具体地，CPU芯片从TOF摄像模组的内部寄存器中读出压缩的标定数据；并对压缩数据解码后，将解码后的标定数据单线程地存储到存储器；在校正图像输入后，单线程地从存储器中提取出解码后的标定数据，以进行图像校正。然而，压缩数据解码后，数据量较大，无论将标定数据单线程地存储到存储器，或者单线程地从存储器中提取出解码后的标定数据，均将耗费大量的时间。进而，使得设备的初始化时间较长，输出图像数据的速率较慢。
基于此，本申请发明人从标定数据的处理方式出发，重新设计了图像标定方法。具体地，本申请的技术方案中，利用FPGA芯片对标定数据进行并并行化传输，以缩短初始化时间；进而，快速地将标定数据传输至图像校正模块，以利用标定数据对图像数据进行处理，提高数据处理效率。
基于此，本申请提出了一种用于TOF摄像模组的图像标定方法，其包括：通过FPGA芯片的标定数据获取模块从所述TOF摄像模组的标定数据存储单元获取一级标定信息，所述一级标定信息具有预设压缩编码格式，所述FPGA芯片与所述TOF摄像模组可通信地连接；通过所述FPGA芯片的标定数据解码模块对所述一级标定信息按照所述预设压缩编码格式进行解码，以获得二级标定信息，所述二级标定信息包括第一标定参数和第二标定参数；通过所述FPGA芯片的标定数据读写模块将所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输给所述FPGA芯片的图像校正模块；以及，通过所述FPGA芯片的所述图像校正模块基于获取的所述第一标定参数对从所述图像传感器获取的图像数据进行第一类型的校正以及在完成第一类型的校正后以所获取的第二标定参数对所述图像数据进行第二类型的校正。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图1图示了根据本申请实施例的FPGA芯片的结构框图。如图1所示，根据本申请的实施例的FPGA芯片70，包括：标定数据获取模块10，标定数据解码模块20，标定数据读写模块30，以及，图像校正模块40。所述标定数据获取模块10用于从TOF摄像模组80的标定数据存储单元获取一级标定信息；所述标定数据解码模块20用于对所述一级标定信息进行解码，以获得二级标定信息；所述标定数据读写模块30用于所述二级标定信息中的数据进行传输；所述图像较正模块40用于基于所述二级标定信息对图像数据进行校正。
图2示出了根据本申请实施例的用于TOF摄像模组的图像标定方法的流程图，其中，所述TOF摄像模组80包括图像传感器81和标定数据储存单元82，所述标定数据存储单元上存储有一级标定信息。如图2所示，所述用于TOF摄像模组的图像标定方法，包括：S110，通过FPGA芯片70的标定数据获取模块10从所述TOF摄像模组80的标定数据存储单元获取一级标定信息，所述一级标定信息具有预设压缩编码格式，所述FPGA芯片70与所述TOF摄像模组80可通信地连接；S120，通过所述FPGA芯片70的标定数据解码模块20对所述一级标定信息按照所述预设压缩编码格式进行解码，以获得二级标定信息，所述二级标定信息包括第一标定参数和第二标定参数；S130，通过所述FPGA芯片70的标定数据读写模块30将所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输给所述FPGA芯片70的图像校正模块40；以及，S140通过所述FPGA芯片70的所述图像校正模块40基于获取的所述第一标定参数对从所述图像传感器81获取的图像数据进行第一类型的校正以及在完成第一类型的校正后以所获取的第二标定参数对所述图像数据进行第二类型的校正。
在步骤S110中，通过FPGA芯片70的标定数据获取模块10从所述TOF摄像模组80的所述标定数据存储单元获取一级标定信息。所述一级标定信息可提前写入所述TOF摄像模组80的存储芯片(例如，flash芯片)中。所述FPGA芯片70与所述TOF摄像模组80可通信地连接后，所述FPGA芯片70的所述数据获取模块利用通用协议，从所述TOF摄像模组80的所述标定数据存储单元获取一级标定信息。具体地，所述FPGA芯片70从所述TOF摄像模组80的所述标定数据存储单元获取一级标定信息的时间为纳秒级。
所述TOF摄像模组80的所述标定数据储存单元82的规格固定，可存储的数据量有限，所述一级标定信息是经过特定的数据格式编码压缩的，即所述一级标定信息具有预设压缩编码格式。通过这样的方式，将所述一级标定信息存储在存储空间有限的所述标定数据储存单元82。
在步骤S120中，通过所述FPGA芯片70的标定数据解码模块20对所述一级标定信息按照所述预设压缩编码格式进行解码，以获得二级标定信息，所述二级标定信息包括第一标定参数和第二标定参数。所述二级标定信息，即解码后的一级标定信息，可用于图像的标定。特别的是，所述二级标定信息包括不同类的标定参数，以便于所述FPGA芯片70的标定数据读写模块30将所述二级标定信息中的不同类的标定参数并行地传输给所述FPGA芯片70的图像校正模块40。
具体地，所述第一标定参数和所述第二标定参数具有适于直接存储于所述FPGA芯片70中的数据量，换句话说，所述第一标定参数和所述第二标定参数均具可直接存储于所述FPGA芯片70中，以便于所述FPGA芯片70的标定数据读写模块30直接从所述FPGA芯片70中读取所述第一标定参数和所述第二标定参数。
相应地，在本申请实施例中，所述第一标定参数为温度标定参数。温度的变化会对所述TOF摄像模组80的所述图像传感器81的发光模块发出的激光脉冲的波形造成影响，进而影响所述TOF摄像模组80对相位差的测定的精准度，使得依据理想的波形测得的相位差和实际的相位差之间存在差异。可通过引入温度标定参数，对该差异进行补偿，消除温度对所述TOF摄像模组80的所述图像传感器81造成的影响。
所述第二标定参数为Wiggling标定参数，Wiggling也称为Cyclic errorcalibration，可译为循环误差校准。Wiggling标定参数与距离信息相关，实际应用中，所述TOF摄像模组80发出的激光脉冲的波形与理想的波形有一定的差异，使得测得的相位差和实际的相位差之间存在差异，并且该差异呈现一定的规律。可通过引入Wiggling标定参数，对该差异进行补偿，消除测得的相位差和实际的相位差之间存在的规律性差异。
相应地，在本申请实施例中，通过所述FPGA芯片70的所述图像校正模块40基于获取的所述第一标定参数对所获取的图像数据进行第一类型的校正以及在完成第一类型的校正后以所获取的第二标定参数对所述图像数据进行第二类型的校正的过程，包括：基于所获取的所述温度标定参数对所述图像数据进行温度校正；以及，在完成所述温度校正后，基于所获取的所述Wiggling标定参数对所述图像数据进行Wiggling校正。
当然，在本申请其他示例中，所述第一标定参数和所述第二标定参数也可为其他具有适于直接存储于所述FPGA芯片70中的数据量的标定参数，对此，并不为本申请所局限。
值得一提的是，所述二级标定信息还包括第三标定参数，所述第三标定参数具有不适于存储于所述FPGA芯片70的数据量，换句换说，所述第三标定参数不适于直接存储于所述FPGA芯片70中。例如，当所述第三标定参数的数据量过大时，所述第三标定参数不适于直接存储于所述FPGA芯片70中。
图3示出了通过FPGA芯片的标定数据读写模块将所述二级标定信息中的各类参数并行地传输给所述FPGA芯片的图像校正模块的流程图。如图3所示，在通过所述FPGA芯片70的标定数据读写模块30将所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输给所述FPGA芯片70的图像校正模块40的过程中，进一步包括：S150，并行地将所述第三标定参数写入外部存储模块90中；以及，S160，并行地从所述外部存储模块90中读取出所述第三标定参数并传输至所述图像校正模块40。作为示例，所述外部存储模块90可实施为双倍速率同步动态随机存储器。
相应地，根据本申请的实施例，用于TOF摄像模组的图像标定方法，进一步包括：在完成对所述图像数据进行第二类型的校正后，通过所述FPGA芯片70的所述图像校正模块40接收来自所述标定数据读写模块30的第三标定参数；以及，通过所述FPGA芯片70的所述图像校正模块40基于所获得的所述第三标定参数对所述图像数据进行第三类型的校正。
根据本申请的实施例，用于TOF摄像模组的图像标定方法，进一步包括：通过所述FPGA芯片70的所述图像校正模块40输出校正后的图像数据，例如，深度数据和灰度数据。
具体地，在本申请实施例中，所述第三标定参数为FPPN标定参数，FPPN(fixedpattern pixel noise)也可称为Pixel dependent Offset。所述FPPN标定参数用于校正固定模式像素噪声。由于所述TOF摄像模组80的发送端的每个像素点所处的位置不一样，或者快门延迟等原因，导致了不同像素点对应的计算得到的相位差存在误差，进而造成了深度测试结果的误差，使得计算得到的物体与实际物体之间存在差异，例如，实际中一个平面的物体，计算得到的可能是一个球面的物体，可通过引入FPPN标定参数校正该误差。
相应地，通过所述FPGA芯片70的所述图像校正模块40基于所获得的所述第三标定参数对所述图像数据进行第三类型的校正，包括：基于所获得的所述FPPN标定参数对所述图像数据进行FPPN校正。
当然，在本申请其他示例中，所述第三标定参数也可为其他具有不适于直接存储于所述FPGA芯片70中的数据量的标定参数，对此，并不为本申请所局限，同样地，所述二级标定信息还可包括更多类的标定参数，例如，第四标定参数，第五标定参数，对此，同样并不为本申请所局限。
在步骤S130中，通过所述FPGA芯片70的标定数据读写模块30将所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输给所述FPGA芯片70的图像校正模块40。所述标定数据读写模块30包括一标定数据写模块31和一标定数据读模块32，在本申请实施例中，通过所述标定数据写模块31将具有适于直接存储于所述FPGA芯片70中的数据量的标定参数写入所述FPGA芯片70中，将具有不适于直接存储于所述FPGA芯片70中的数据量的标定参数并行地写入所述外部存储模块90。在设备上电时，所述标定数据读模块32将各类标定参数(即所述二级标定信息)并行地读出，并行地传输至所述FPGA芯片70的图像校正模块40，进行设备的初始化。通过并行地传输各类标定参数，节省了各类标定参数对所述图像数据进行校正的顺序等待时间。
特别的是，在本申请实施例中，步骤S150和步骤S160中，并行地将所述第三标定参数写入外部存储模块90；以及，并行地从所述外部存储模块90中读取出所述第三标定参数并传输至所述图像校正模块40，一方面，步骤S150和步骤S160与步骤S130同时进行。
具体地，图4图示了标定数据传输过程示意图，如图4所示，通过所述FPGA芯片70的标定数据读写模块30将所述第一标定参数(例如，所述温度标定参数)和所述第二标定参数(例如，所述wiggling标定参数)并行地传输给所述FPGA芯片70的图像校正模块40的同时，并行地将所述第三标定参数(例如，所述FPPN标定参数)写入所述外部存储模块90中，并读取出所述第三标定参数，传输至所述图像校正模块40。如此，当所述FPGA芯片70的所述图像校正模块40完成所述第一类型的校正(例如，温度标定参数的校正)和所述第二类型的校正(例如，wiggling标定参数的校正)后，接着，所述FPGA芯片70的所述图像校正模块40对所述图像数据进行第三类型的校正(例如，FPPN标定参数的校正)。
通过上述方式，避免了等待所述第三标定参数的传输过程的时间，即当所述FPGA芯片70的所述图像校正模块40完成所述第一类型的校正和所述第二类型的校正后，无需等待所述第三标定参数被写入所述外部存储模块90中，并被传输至所述图像校正模块40，即可通过所述FPGA芯片70的所述图像校正模块40对所述图像数据进行第三类型的校正。换句话说，节省了不同的标定参数对所述图像数据进行校正的顺序等待时间，极大程度地缩短了数据处理的时间。
值得一提的是，步骤S150和步骤S160中，并行地将所述第三标定参数写入外部存储模块90；以及，并行地从所述外部存储模块90中读取出所述第三标定参数并传输至所述图像校正模块40，另一方面，步骤S150和步骤S160也同时进行。
换句话说，将所述第三标定参数写入所述外部存储模块90的同时，所述外部存储模块90中读取出所述第三标定参数并传输至所述图像校正模块40。通过上述方式，一边写入标定数据，一边读取标定数据，在实现传输标定数据的同时，利用传输至所述图像校正模块40的标定数据对所述图像数据进行处理，进一步缩短了标定数据的传输时间，提高图像处理效率。
相应地，在本申请实施例中，所述二级标定信息的所述FPPN标定参数和所述温度标定参数、所述wiggling标定参数是并行传输的，因此，所述二级标定信息的传输时间为所述温度标定参数和所述wiggling标定参数的传输时间之和。所述温度标定参数的传输时间为60纳秒，所述willing标定参数的传输时间为40纳秒，总计100纳秒，总的传输时间为纳秒级。所述FPPN标定参数的传输时间主要受限于所述外部存储模块90本身。相应地，初始化时间为纳秒级。
此外，实际测试结果表明，从向所述FPGA芯片70的所述图像校正模块40输入图像，到所述图像校正模块40输出校正后的图像数据的时间为200微秒左右，即图像处理时间为微秒级。而利用CPU芯片对所述TOF摄像模组80的标定数据进行处理时，初始化时间和图像处理时间均为毫秒级。无论是依据设备开始初始化，对标定信息的传输时间，或者是依据图像处理时间，利用所述FPGA芯片70对数据的处理效率都大幅超过CPU芯片进行标定数据的数据处理速率。由此可见，所述图像标定方法利用FPGA芯片70实现对标定数据的并行化传输，大大缩短了初始化时间，提高了数据处理效率。
值得一提的是，依据上述分析，利用FPGA芯片70实现对标定数据的并行化传输，不仅能够快速地传输标定数据，而且能够提高图像处理效率。不仅如此，原本比较耗费时间的图像算法(例如，滤波程序)可通过所述FPGA芯片70来实现，充分利用FPGA芯片70的并行计算能力和流水线架构，缩短对所述图像数据的处理时间，提高图像输出速率。在本申请实施例中，所述图像校正模块40输出校正后的图像数据的速率为30帧/s。而传统的图像标定方法中，利用CPU芯片对所述图像数据进行处理，对应的输出校正后的图像数据的速率小于等于10帧/s。所述图像标定方法利用所述FPGA芯片70对所述图像数据进行处理，提高了数据处理效率，进而提高了图像数据的输出速率。
示例性FPGA芯片
图1图示了根据本申请实施例的FPGA芯片的结构框图。如图1所示，根据本申请的实施例的FPGA芯片70，包括：一标定数据获取模块10，一标定数据解码模块20，一标定数据读写模块30，以及，一图像校正模块40。所述标定数据获取模块10用于从TOF摄像模组80的标定数据存储单元获取一级标定信息，所述一级标定信息具有预设压缩编码格式；所述标定数据解码模块20用于对所述一级标定信息按照所述预设压缩编码格式进行解码，以获得二级标定信息，所述二级标定信息包括第一标定参数和第二标定参数；所述标定数据读写模块30用于所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输；所述图像校正模块40用于基于来自所述标定数据读写模块30的所述第一标定参数对所获取的图像数据进行第一类型的校正以及在完成第一类型的校正后以所获取的第二标定参数对所述图像数据进行第二类型的校正。
具体地，所述第一标定参数和所述第二标定参数具有适于直接存储于所述FPGA芯片70中的数据量，换句话说，所述第一标定参数和所述第二标定参数均具可直接存储于所述FPGA芯片70中，以便于所述FPGA芯片70的标定数据读写模块30直接从所述FPGA芯片70读出所述第一标定参数和所述第二标定参数。
所述第一标定参数为温度标定参数，所述第二标定参数为Wiggling标定参数；其中，所述图像校正模块40，进一步用于：基于所获取的所述温度标定参数对所述图像数据进行温度校正；以及在完成所述温度校正后，基于所获取的所述Wiggling标定参数对所述图像数据进行Wiggling校正。
值得一提的是，所述二级标定信息还包括第三标定参数，所述第三标定参数具有不适于存储于所述FPGA芯片70的数据量；其中，标定数据读写模块30，进一步用于：并行地将所述第三标定参数写入外部存储模块90中；以及并行地从所述外部存储模块90中读取出所述第三标定参数并传输至所述图像校正模块40。
相应地，所述图像校正模块40，进一步用于：在完成对所述图像数据进行第二类型的校正后，接收来自所述标定数据读写模块30的第三标定参数；以及基于所获得的所述第三标定参数对所述图像数据进行第三类型的校正。
所述第三标定参数为FPPN标定参数；其中，所述图像校正模块40，进一步用于：基于所获得的所述FPPN标定参数对所述图像数据进行FPPN校正。
所述图像校正模块40，进一步用于：通过所述FPGA芯片70的所述图像校正模块40输出校正后的图像数据，其中，输出校正后的图像数据的速率为30帧/s。利用所述FPGA芯片70对所述图像数据进行处理，提高了数据处理效率，进而提高了图像数据的输出速率。
值得一提的是，所述标定数据读写模块30包括一标定数据写模块31和一标定数据读模块32，在本申请实施例中，通过所述标定数据写模块31将具有适于直接存储于所述FPGA芯片70中的数据量的标定参数写入所述FPGA芯片70中，将具有不适于直接存储于所述FPGA芯片70中的数据量的标定参数并行地写入所述外部存储模块90。在设备上电时，所述标定数据读模块32将各类标定参数并行地读出，并行地传输至所述FPGA芯片70的图像校正模块40，进行设备的初始化。通过并行地传输各类标定参数，节省了各类标定参数对所述图像数据进行校正的顺序等待时间。

Claims (18)

1.一种用于TOF摄像模组的图像标定方法，其中，所述TOF摄像模组包括图像传感器和标定数据储存单元，所述标定数据存储单元上存储有一级标定信息，其特征在于，包括：
通过FPGA芯片的标定数据获取模块从所述TOF摄像模组的标定数据存储单元获取一级标定信息，所述一级标定信息具有预设压缩编码格式，所述FPGA芯片与所述TOF摄像模组可通信地连接；
通过所述FPGA芯片的标定数据解码模块对所述一级标定信息按照所述预设压缩编码格式进行解码，以获得二级标定信息，所述二级标定信息包括第一标定参数和第二标定参数；
通过所述FPGA芯片的标定数据读写模块将所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输给所述FPGA芯片的图像校正模块；以及
通过所述FPGA芯片的所述图像校正模块基于获取的所述第一标定参数对从所述图像传感器获取的图像数据进行第一类型的校正以及在完成第一类型的校正后以所获取的第二标定参数对所述图像数据进行第二类型的校正。
2.根据权利要求1所述的用于TOF摄像模组的图像标定方法，其中，所述第一标定参数和所述第二标定参数具有适于直接存储于所述FPGA芯片中的数据量。
3.根据权利要求2所述的用于TOF摄像模组的图像标定方法，其中，所述第一标定参数为温度标定参数，所述第二标定参数为Wiggling标定参数；
其中，通过所述FPGA芯片的所述图像校正模块基于获取的所述第一标定参数对所获取的图像数据进行第一类型的校正以及在完成第一类型的校正后以所获取的第二标定参数对所述图像数据进行第二类型的校正，包括：
基于所获取的所述温度标定参数对所述图像数据进行温度校正；以及
在完成所述温度校正后，基于所获取的所述Wiggling标定参数对所述图像数据进行Wiggling校正。
4.根据权利要求1所述的用于TOF摄像模组的图像标定方法，其中，所述二级标定信息还包括第三标定参数，所述第三标定参数具有不适于存储于所述FPGA芯片的数据量；
其中，在通过所述FPGA芯片的标定数据读写模块将所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输给所述FPGA芯片的图像校正模块的过程中，进一步包括：
并行地将所述第三标定参数写入外部存储模块中；以及
并行地从所述外部存储模块中读取出所述第三标定参数并传输至所述图像校正模块。
5.根据权利要求3所述的用于TOF摄像模组的图像标定方法，其中，所述二级标定信息还包括第三标定参数，所述第三标定参数具有不适于存储于所述FPGA芯片的数据量；
其中，在通过所述FPGA芯片的标定数据读写模块将所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输给所述FPGA芯片的图像校正模块的过程中，进一步包括：
并行地将所述第三标定参数写入外部存储模块中；以及
并行地从所述外部存储模块中读取出所述第三标定参数并传输至所述图像校正模块。
6.根据权利要求4所述的用于TOF摄像模组的图像标定方法，进一步包括：
在完成对所述图像数据进行第二类型的校正后，通过所述FPGA芯片的所述图像校正模块接收来自所述标定数据读写模块的第三标定参数；以及
通过所述FPGA芯片的所述图像校正模块基于所获得的所述第三标定参数对所述图像数据进行第三类型的校正。
7.根据权利要求6所述的用于TOF摄像模组的图像标定方法，其中，所述第三标定参数为FPPN标定参数；
其中，通过所述FPGA芯片的所述图像校正模块基于所获得的所述第三标定参数对所述图像数据进行第三类型的校正，包括：
基于所获得的所述FPPN标定参数对所述图像数据进行FPPN校正。
8.根据权利要求1或6所述的用于TOF摄像模组的图像标定方法，进一步包括：
通过所述FPGA芯片的所述图像校正模块输出校正后的图像数据。
9.根据权利要求8所述的用于TOF摄像模组的图像标定方法，其中，输出校正后的图像数据的速率为30帧/s。
10.根据权利要求4所述的用于TOF摄像模组的图像标定方法，其中，所述外部存储模块为双倍速率同步动态随机存储器。
11.一种FPGA芯片，其特征在于，包括：
标定数据获取模块，用于从TOF摄像模组的标定数据存储单元获取一级标定信息，所述一级标定信息具有预设压缩编码格式；
标定数据解码模块，用于对所述一级标定信息按照所述预设压缩编码格式进行解码，以获得二级标定信息，所述二级标定信息包括第一标定参数和第二标定参数；
标定数据读写模块，用于所述二级标定信息中的所述第一标定参数和所述第二标定参数并行地传输；以及
图像校正模块，用于基于来自所述标定数据读写模块的所述第一标定参数对所获取的图像数据进行第一类型的校正以及在完成第一类型的校正后以所获取的第二标定参数对所述图像数据进行第二类型的校正。
12.根据权利要求11所述的FPGA芯片，其中，所述第一标定参数和所述第二标定参数具有适于直接存储于所述FPGA芯片中的数据量。
13.根据权利要求12所述的FPGA芯片，其中，所述第一标定参数为温度标定参数，所述第二标定参数为Wiggling标定参数；
其中，所述图像校正模块，进一步用于：
基于所获取的所述温度标定参数对所述图像数据进行温度校正；以及
在完成所述温度校正后，基于所获取的所述Wiggling标定参数对所述图像数据进行Wiggling校正。
14.根据权利要求13所述的FPGA芯片，其中，所述二级标定信息还包括第三标定参数，所述第三标定参数具有不适于存储于所述FPGA芯片的数据量；
其中，标定数据读写模块，进一步用于：
并行地将所述第三标定参数写入外部存储模块中；以及
并行地从所述外部存储模块中读取出所述第三标定参数并传输至所述图像校正模块。
15.根据权利要求14所述的FPGA芯片，其中，所述图像校正模块，进一步用于：
在完成对所述图像数据进行第二类型的校正后，接收来自所述标定数据读写模块的第三标定参数；以及
基于所获得的所述第三标定参数对所述图像数据进行第三类型的校正。
16.根据权利要求15所述的FPGA芯片，其中，所述第三标定参数为FPPN标定参数；
其中，所述图像校正模块，进一步用于：基于所获得的所述FPPN标定参数对所述图像数据进行FPPN校正。
17.根据权利要求16所述的FPGA芯片，其中，所述图像校正模块，进一步用于：通过所述FPGA芯片的所述图像校正模块输出校正后的图像数据。
18.根据权利要求17所述的用于TOF摄像模组的图像标定方法，其中，输出校正后的图像数据的速率为30帧/s。
CN202011608613.5A 2020-12-30 2020-12-30 用于tof摄像模组的图像标定方法及fpga芯片 Pending CN114765660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011608613.5A CN114765660A (zh) 2020-12-30 2020-12-30 用于tof摄像模组的图像标定方法及fpga芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011608613.5A CN114765660A (zh) 2020-12-30 2020-12-30 用于tof摄像模组的图像标定方法及fpga芯片

Publications (1)

Publication Number Publication Date
CN114765660A true CN114765660A (zh) 2022-07-19

Family

ID=82364418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011608613.5A Pending CN114765660A (zh) 2020-12-30 2020-12-30 用于tof摄像模组的图像标定方法及fpga芯片

Country Status (1)

Country Link
CN (1) CN114765660A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102538709A (zh) * 2012-01-09 2012-07-04 黑龙江科技学院 一种基于结构光的三维测量系统中利用gpu并行计算的方法
CN110264527A (zh) * 2019-06-19 2019-09-20 上海物联网有限公司 基于zynq的实时双目立体视觉输出方法
WO2020097851A1 (zh) * 2018-11-15 2020-05-22 深圳市大疆创新科技有限公司 一种图像处理方法、控制终端及存储介质
CN112146589A (zh) * 2020-09-16 2020-12-29 天津大学 一种基于zynq平台的三维形貌测量系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102538709A (zh) * 2012-01-09 2012-07-04 黑龙江科技学院 一种基于结构光的三维测量系统中利用gpu并行计算的方法
WO2020097851A1 (zh) * 2018-11-15 2020-05-22 深圳市大疆创新科技有限公司 一种图像处理方法、控制终端及存储介质
CN110264527A (zh) * 2019-06-19 2019-09-20 上海物联网有限公司 基于zynq的实时双目立体视觉输出方法
CN112146589A (zh) * 2020-09-16 2020-12-29 天津大学 一种基于zynq平台的三维形貌测量系统及方法

Similar Documents

Publication Publication Date Title
CN111372005B (zh) Tof摄像模组自动曝光补偿方法及其系统
WO2023284576A1 (zh) 深度图生成方法、装置、电子设备
CN112463700A (zh) 一种控制axi总线带宽的方法和装置
CN114765660A (zh) 用于tof摄像模组的图像标定方法及fpga芯片
CN112822495B (zh) 红外图像压缩方法及装置、电子设备、存储介质
CN112014829B (zh) 一种激光雷达扫描仪的性能指标测试方法与装置
WO2017063104A1 (zh) 一种波束合成方法、装置及超声成像设备
US20230177709A1 (en) Electronic device and method for controlling same
CN102420982B (zh) 芯片及其验证方法和系统、处理器端
CN111582385A (zh) Slam质量的量化方法、系统、计算机设备和存储介质
CN116226018A (zh) 一种数据解码结构
US8195432B2 (en) Media capture system, method, and computer program product for assessing processing capabilities utilizing cascaded memories
CN113891065B (zh) 一种单帧图像传输延时测量方法和系统
CN116450993A (zh) 多测量向量卫星数据的处理方法、电子设备及存储介质
CN113922910B (zh) 传感器时间同步处理方法、装置和系统
CN105182316B (zh) 一种波束合成方法、装置及超声成像设备
CN115297285A (zh) 一种读出图像数据的方法、装置、计算机及存储介质
CN114283241A (zh) 一种结构光三维重建装置及方法
CN107657610B (zh) 一种基于计盒方法的ct扫描结果分析方法
CN111064948B (zh) 影像深度解码器及计算机装置
CN108259868A (zh) 双模投影装置及投影方法、存储介质
CN109165171B (zh) 自适应的快速数字波形成像方法
CN116804976A (zh) 一种应用于异构系统性能分析的时间同步方法和系统
CN113686363B (zh) 基于编码器的测量方法、系统、电子设备及存储介质
US11066088B2 (en) Detection and positioning method for train water injection port

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination