CN112346047A - 微型嵌入式的毫米波雷达视觉融合系统及产品检测方法 - Google Patents
微型嵌入式的毫米波雷达视觉融合系统及产品检测方法 Download PDFInfo
- Publication number
- CN112346047A CN112346047A CN202011247534.6A CN202011247534A CN112346047A CN 112346047 A CN112346047 A CN 112346047A CN 202011247534 A CN202011247534 A CN 202011247534A CN 112346047 A CN112346047 A CN 112346047A
- Authority
- CN
- China
- Prior art keywords
- fusion
- radar
- millimeter wave
- product
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 104
- 238000001514 detection method Methods 0.000 title abstract description 32
- 238000004519 manufacturing process Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims description 8
- 238000009434 installation Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明属于产品检测技术领域，提供了一种微型嵌入式的毫米波雷达视觉融合系统及产品检测方法，所述系统具体包括：融合处理器、分别与融合处理器连接的图像采集模块和雷达模块；其中，图像采集模块将采集的流水线上的产品图像信息发送给融合处理器；雷达模块将采集的流水线上的产品空间位置信息发送给融合处理器；融合处理器将接收的产品图像信息和产品空间位置信息进行融合，得到融合信息，并将融合信息传输至显示设备进行显示。本发明将图像信息和空间位置的多源信息进行时空匹配后进行融合，使得传感器数据融合可相互补充，提高流水线上的产品检测效率，从而使得流水线产品生产更快速准确，提高生产流水线上的生产效率。
Description
技术领域
本发明涉及产品生产辅助技术领域，尤其涉及一种微型嵌入式的毫米波雷达视觉融合系统及产品检测方法。
背景技术
随着工业化的不断发展,流水线的应用越来越广泛,由单对象发展为多对象,由装配流水线发展到加工、运输、检查和存储的一体化。但是目前,生产检测仍以人工检测为主,存在一定的误判率,生产效率也被严重制约。所以,如何解放生产线上上数率的束缚,使检测的效率有进一步的提高,产品采用自动化技术检测代替人工检测有着十分重要现实的意义。为了提高检测的可靠性,使用自动检测设备,在现代高速的通机上,传统人工由于视觉疲劳等原因,不能保证可靠性,带有破损、残次的产品一旦流向市场,不仅会影响到品牌和企业形象,更有甚者,给顾客带来不必要的麻烦和痛苦。在现代化的线上,研究具有现实的检测系统代替传统人工检测方法,使之既满足生产自动化和产品高质量的要求,增强检测的准确性和高水准,为生产产品的质量提供根本性保障。
而传统的检测系统大都基于单个传感器,作为工业生产的主要传感器,例如，采用单目摄像头传感器，摄像头能够实现环境景象信息,是机器视觉在工业生产上的应用,是产品生产实现相关环境信息的第一大来源。在检视产品外观、色调、包装等方面具有独到之处。而目前使用较为普遍的单目摄像头传感器,无法提供如内部损伤、材质改变、多伤害等影响的检测。
或者单独采用毫米波雷达传感器，其工作频率选在30～300GHz频域(波长为1～10mm,即毫米波波段)，其优势在于波束窄,角分辨率高,频带宽,争议之,抗干扰能力强,穿透力强,体积小,重量轻,可测距离远,具有全天时全天候工作特点。因此,毫米波雷达(尤其是77GHz毫米波雷达)在目标距离、出尼体体速度及雷达截平截度方面面积具有极佳优势。但是毫米波雷达识别能力差,不能准确识别生产产品细节特征,不具备识别声音及色泽变化的能力。
因此,如何融合多传感器,利用互补的信息进行生产产品的检测,使得产品生产更快速准确,这个问题亟待解决。
发明内容
为了解决上述技术问题，本发明提供了一种微型嵌入式的毫米波雷达视觉融合系统及产品检测方法，应用多传感器克服了单一传感器漏检、误检、跟踪失败、状态及系统不精确等缺陷,通过图像采集模块采集产品流水线上的产品视觉信息搭配雷达模块与物体交互作用后的信号进行解算后的所得数据,可采集产品空间位置信息,因此同时具备图像信息和空间位置的多源信息,利用互补的信息进行流水线上的产品检测，使得产品生产更快速准确，从而提高了生产流水线上的生产效率。
第一方面，本发明提供了一种微型嵌入式的毫米波雷达视觉融合系统，具体包括：
融合处理器、分别与所述融合处理器连接的图像采集模块和雷达模块；
其中，所述图像采集模块，用于实时采集流水线上的产品图像信息，并将采集的所述产品图像信息发送给所述融合处理器；
所述雷达模块，用于采集流水线上的产品空间位置信息，并将采集的所述产品空间位置信息发送给所述融合处理器；
所述融合处理器将接收的所述产品图像信息和所述产品空间位置信息进行融合，得到融合信息，并将所述融合信息传输至显示设备进行显示。
优选的，所述图像采集模块通过CSI与所述融合处理器连接，所述雷达模块通过USB与所述融合处理器连接。
优选的，所述图像采集模块为激光摄像头。
优选的，所述激光摄像头包括摄像头、摄像头壳体、设置于所述摄像头壳体内的PCB线路板、所述PCB线路板上设有控制MCU、图像采集电路以及CSI输出接口；
所述摄像头凸出嵌入安装在所述摄像头壳体的安装孔位中,所述PCB线路板包括图像采集电路，所述图像采集电路的输入端连接所述摄像头,输出端连接所述控制MCU的数据输入端,所述控制MCU的数据输出端通过CSI输出接口连接所述融合处理器的CSI输入接口。
优选的，所述激光摄像头采用型号为SONY-IMX219PQ的图像传感器。
优选的，所述雷达模块采用毫米波雷达。
优选的，所述毫米波雷达包括雷达壳体、高频电子扫描雷达元件以及设置于雷达壳体内的PCB线路板,所述高频电子扫描雷达元件凸出嵌入安装在所述雷达壳体的安装孔位中,PCB线路板上集成设置了控制MCU和硬件加速器的毫米波传感器、雷达数据采集电路、电源管理、温度传感器和控制IC、UART通讯电路和UART输出接口,所述雷达数据采集电路的输入端连接所述高频电子扫描雷达组件,所述雷达数据采集电路的输出端连接所述控制MCU的数据输入端,所述控制MCU输出端通过所述UART通讯电路连接所述融合处理器的USB输入接口。
优选的，所述毫米波雷达采用型号为AWR1642的单芯片毫米波传感器。
优选的，所述融合处理器采用微型嵌入式系统。
第二方面，本发明还提供了一种产品检测方法，应用于上述微型嵌入式的毫米波雷达视觉融合系统中，主要包括以下步骤：
步骤一、雷达模块采集流水线上的产品空间位置信息，并将采集的所述产品空间位置信息及对应的第一时间标签发送给融合处理器；
步骤二、图像采集模块采集流水线上的产品图像信息，并将采集的所述产品图像信息及对应的第二时间标签发送给所述融合处理器；
步骤三、所述融合处理器将所述产品空间位置信息和所述产品图像信息进行空间修正，并结合所述第一时间标签和第二时间标签进行时空匹配后进行融合，得到融合信息；
步骤五、所述融合处理器将所述融合信息输出至显示设备，并以视频方式进行显示。
本发明中通过图像采集模块采集产品流水线上的产品视觉信息，搭配雷达模块与物体交互作用后的信号进行解算后所得的数据,可采集流水线上的产品空间位置信息,因此同时具备图像信息和空间位置的多源信息,将多源数据进行时空匹配后进行融合，使得传感器数据融合可相互补充，提高流水线上的产品检测效率。本发明应用多传感器克服了现有技术中采用单一传感器而导致的漏检、误检、跟踪失败、状态及系统不精确等缺陷，使得流水线产品生产更快速准确，从而提高了生产流水线上的生产效率。
附图说明
1、图1为本发明实施例提供的一种微型嵌入式的毫米波雷达视觉融合系统的结构示意图；
2、图2为本发明实施例提供的一种应用于微型嵌入式的毫米波雷达视觉融合系统的产品检测方法的流程示意图。
最佳实施方式
为了使本领域技术人员更清楚的理解本发明所提供的微型嵌入式的毫米波雷达视觉融合系统及产品检测方法，下面将结合附图对其进行详细的说明。
如图1所示，本发明实施例提供了一种微型嵌入式的毫米波雷达视觉融合系统，具体包括：
融合处理器、分别与所述融合处理器连接的图像采集模块和雷达模块；
其中，所述图像采集模块，用于实时采集流水线上的产品图像信息，并将采集的所述产品图像信息发送给所述融合处理器；
所述雷达模块，用于采集流水线上的产品空间位置信息，并将采集的所述产品空间位置信息发送给所述融合处理器；
所述融合处理器将接收的所述产品图像信息和所述产品空间位置信息进行融合，得到融合信息，并将所述融合信息传输至显示设备进行显示。
具体的，本发明实施例提供的一种微型嵌入式的毫米波雷达视觉融合系统主要应用于高速生产流水线上对产品的检测系统。
其中，所述图像采集模块可采用激光摄像头，所述激光摄像头包括摄像头、摄像头壳体、设置于所述摄像头壳体内的PCB线路板、所述PCB线路板上设有控制MCU、图像采集电路以及CSI输出接口；所述摄像头凸出嵌入安装在所述摄像头壳体的安装孔位中,所述PCB线路板包括图像采集电路，所述图像采集电路的输入端连接所述摄像头,输出端连接所述控制MCU的数据输入端,所述控制MCU的数据输出端通过CSI输出接口连接所述融合处理器的CSI输入接口。
其中，优选的，所述图像采集电路采用C674x DSP A/D转换器进行设计,DSP内核使用基于二级缓存的体系结构。1级程序缓存(L1P)是32KB直接映射高速缓存,而1级数据高速缓存(L1D)是32KB；2路,集关联高速缓存。2级程序缓存(L2P)由256KB的存储空间组成,该空间在程序和数据空间之间共享。2级程序缓存(L2P)可以配置为映射内存、高速缓存或二者的组合。
具体的，所述激光摄像头可采用型号为SONY-IMX219PQ的图像传感器进行设计实现。
所述雷达模块可采用毫米波雷达，所述毫米波雷达包括雷达壳体、高频电子扫描雷达元件以及设置于雷达壳体内的PCB线路板,所述高频电子扫描雷达元件凸出嵌入安装在所述雷达壳体的安装孔位中,PCB线路板上集成设置了控制MCU和硬件加速器的毫米波传感器、雷达数据采集电路、电源管理、温度传感器和控制IC、UART通讯电路和UART输出接口,所述雷达数据采集电路的输入端连接所述高频电子扫描雷达组件,所述雷达数据采集电路的输出端连接所述控制MCU的数据输入端,所述控制MCU输出端通过所述UART通讯电路连接所述融合处理器的USB输入接口。
具体的，所述毫米波雷达可采用型号为AWR1642的单芯片毫米波传感器，发射波段为德州仪器的AWR1642，集成MCU和硬件加速器的76GHz至81GHz的单芯片毫米波传感器，其板载天线可进行现场测试，具有串行端口接口的基于XDS110的JTAG,可用于闪存编程及UART-接口,可用于控制、配置和数据可视化。
具体的实施方式可为：
将上述激光摄像头安装在高速生产流水线的上方，并对准且完全覆盖生产流水线，用于采集流水线上的产品图像信息；激光摄像头具备可独立采集图像的图像采集系统，所述激光摄像头通过CSI连接所述融合处理器，将采集得到的产品图像信息通过CSI发送给所述融合处理器。
所述毫米波雷达安装的高速生产流水线的上方，且位于所述激光摄像头的下方；所述毫米波雷达接入5V的供电系统，并通过USB连接所述融合处理器，用于采集流水线上的产品空间位置信息，所述产品空间位置信息具体可以包括产品空间位置、速度、加速度以及回波能量数据(包括雷达反射面积)；并将采集的产品空间位置信息通过USB传输给所述融合处理器。
优选的，上述USB传输采用USB3.0。
具体的，所述融合处理器采用微型嵌入式系统。
具体可采用由英国树莓派基金会开发的树莓派第四代设计实现,具备ARMv8系列1.5GHz、能够处理H.265及H.264的图像处理芯片、4GB内存、15-针头MIPI相机(CSI)界面、Micro-HDMI(2个)分辨率最大可由4Kp60、4个USB接口、额定功率为15w(5V/3A)、其重量为45g。
优选的，所述融合处理器可安装在所述显示设备的背面，用于接收所述激光摄像头发送的产品图像信息，以及接收所述毫米波雷达发送的产品空间位置信息，并将所述产品图像信息和产品空间位置信息进行融合，最后，通过HDMI将融合后得到的信息传输至所述显示设备进行实时显示流水线上的产品状态，提供异常产品的监测和声光提示，供监测人员随时可以掌握产品状态以便确保生产产品的质量，有助于生产产品的管理和检测，避免了漏检、误检和不精确等问题，提高了生产效率。
需要说明的是，本发明实施例涉及的时空匹配和融合算法，具体实施方式可为：在融合的过程中，来自多个传感器的数据通常要变化到相同的时空参考系中。传感器的匹配是指多个传感器数据无误差转换时所需要的处理过程，一般主要包括时间匹配和空间匹配两个方面。
所谓时间匹配，就是将关于同一个目标的各传感器不同步的量测信息同步到同一时刻。由于各传感器多于目标的量测都是相互独立进行的，且采样周期往往不同，所以数据向融合控制处理器提供的时刻往往是不同的。时间匹配的一般做法是将个传感器数据统一到扫描周期较长的一个传感器数据上，因此在本发明实施例中采用扫描周期较长的毫米波数据做为标准进行时间匹配。利用最小二乘准则配准法，通过最小化误差的平方和寻找时间数据的最佳函数匹配，可消除由于时间偏差而引起的对目标状态量测的不同步，进而消除时间偏差对多传感器数据融合造成的影响。
所谓空间匹配，又称为传感器配准，就是借助于多传感器对于空间共同目标的量测对传感器的偏差进行估计和补偿。对于多个不同传感器，每个传感器采用的座标系是不同的，所以在融合各传感器间的信息前，需要将多个不同传感器转换到同一个量测座标系中。
本发明实施例中采用光学影像及雷达量测融合算法。
具体的，用于目标跟踪的传感器按传感器座标系或称框架提供对目标物的量测。在本发明实施例中采用的是毫米波数据接收情形，采用二维极坐标系，量测为距离及方位角。将极坐标系下的位置(距离和方位角)量测转换到笛卡儿座标下，可表示为：
完成毫米波雷达座标转换后，接下来考虑两传感器间的距离差及观测角度。这里假设光学摄像头是往前直视，而毫米波雷达具有观测角度，将两座标系经过座标平移及坐标旋转后，可确定两座标系之间的座标关系。确定座标关系后，进行空间匹配。在假定传感器偏差向量不随时间改变，且与噪声无关，就可以应用卡尔曼滤波对于传感器的偏差向量进行估计。卡尔曼滤波(Kalman filter)是一种高效率的递归滤波器，它能够从一系列的不完全及包含杂讯的测量中，估计动态系统的状态。卡尔曼滤波会根据各测量量在不同时间下的值，考虑各时间下的联合分布，再产生对未知变数的估计，因此会比只以单一测量量为基础的估计方式要更加准确。
综上所述，本发明实施例中通过图像采集模块采集产品流水线上的产品视觉信息，搭配雷达模块与物体交互作用后的信号进行解算后所得的数据,可采集流水线上的产品空间位置信息,因此同时具备图像信息和空间位置的多源信息,多源数据进行时空匹配后进行融合，使得传感器数据融合可相互补充，实现流水线上的产品检测。本发明应用多传感器克服了现有技术中采用单一传感器而导致的漏检、误检、跟踪失败、状态及系统不精确等缺陷，使得流水线产品生产更快速准确，从而提高了生产流水线上的生产效率。
同时，相较于现有技术，本发明实施例中提供的微型嵌入式的毫米波雷达视觉融合系统整体结构设计轻薄、结构合理稳定，易于安装使用，且制造成本低。
一方面通过CSI传输图像采集模块采集的流水线上的产品图像信息，高速稳定且画质清晰，清晰度可达1080P，另一方面，通过USB3.0传输毫米波雷达采集的产品空间位置信息高速且完整，成本低，有利于推广应用。
如图2所示，本发明实施例还提供了一种产品检测方法，应用于上述微型嵌入式的毫米波雷达视觉融合系统，具体包括以下步骤：
S1：雷达模块采集流水线上的产品空间位置信息，并将采集的所述产品空间位置信息及对应的第一时间标签发送给融合处理器；
S2：图像采集模块采集流水线上的产品图像信息，并将采集的所述产品图像信息及对应的第二时间标签发送给所述融合处理器；
S3：所述融合处理器将所述产品空间位置信息和所述产品图像信息进行空间修正，并结合所述第一时间标签和第二时间标签进行时空匹配后进行融合，得到融合信息；
S4：所述融合处理器将所述融合信息输出至显示设备，并以视频方式进行显示。
具体的，根据所需雷达参数对雷达模块(如毫米波雷达模组)进行设定后，毫米波雷达开始进行探测，实时获取流水线上产品的二维数据及时间标签，即产品空间位置信息，和对应的时间标签，记为第一时间标签，通过图像采集模块(如光学摄像头)实时获取流水线上产品的实时影像及对应的时间标签，即产品图像信息和对应的时间标签，记为第二时间标签。采用二维极坐标系，量测为距离及方位角。将极坐标系下的位置(距离和方位角)量测转换到笛卡儿座标下，可表示为：
完成毫米波雷达座标转换后，然后测量雷达模块和图像采集模块间的距离差及观测角度。再将测量的距离差和观测角度传输至融合处理器，由融合处理器将产品空间位置信息和产品图像信息进行空间修正，并结合时间标签(包括第一时间标签和第二时间标签)进行时空匹配，最后进行融合，得到融合信息。
其它方案具体的实施方式已在上述实施例中作详细的说明，此处不再赘述。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种微型嵌入式的毫米波雷达视觉融合系统，其特征在于，包括：
融合处理器、分别与所述融合处理器连接的图像采集模块和雷达模块；
其中，所述图像采集模块，用于实时采集流水线上的产品图像信息，并将采集的所述产品图像信息发送给所述融合处理器；
所述雷达模块，用于采集流水线上的产品空间位置信息，并将采集的所述产品空间位置信息发送给所述融合处理器；
所述融合处理器将接收的所述产品图像信息和所述产品空间位置信息进行融合，得到融合信息，并将所述融合信息传输至显示设备进行显示。
2.根据权利要求1所述的微型嵌入式的毫米波雷达视觉融合系统，其特征在于，所述图像采集模块通过CSI与所述融合处理器连接，所述雷达模块通过USB与所述融合处理器连接。
3.根据权利要求2所述的微型嵌入式的毫米波雷达视觉融合系统，其特征在于，所述图像采集模块为激光摄像头。
4.根据权利要求3所述的微型嵌入式的毫米波雷达视觉融合系统，其特征在于，所述激光摄像头包括摄像头、摄像头壳体、设置于所述摄像头壳体内的PCB线路板、所述PCB线路板上设有控制MCU、图像采集电路以及CSI输出接口；
所述摄像头凸出嵌入安装在所述摄像头壳体的安装孔位中,所述PCB线路板包括图像采集电路，所述图像采集电路的输入端连接所述摄像头,输出端连接所述控制MCU的数据输入端,所述控制MCU的数据输出端通过CSI输出接口连接所述融合处理器的CSI输入接口。
5.根据权利要求4所述的微型嵌入式的毫米波雷达视觉融合系统，其特征在于，所述激光摄像头采用型号为SONY-IMX219PQ的图像传感器。
6.根据权利要求2所述的微型嵌入式的毫米波雷达视觉融合系统，其特征在于，所述雷达模块采用毫米波雷达。
7.根据权利要求6所述的微型嵌入式的毫米波雷达视觉融合系统，其特征在于，所述毫米波雷达包括雷达壳体、高频电子扫描雷达元件以及设置于雷达壳体内的PCB线路板,所述高频电子扫描雷达元件凸出嵌入安装在所述雷达壳体的安装孔位中,PCB线路板上集成设置了控制MCU和硬件加速器的毫米波传感器、雷达数据采集电路、电源管理、温度传感器和控制IC、UART通讯电路和UART输出接口,所述雷达数据采集电路的输入端连接所述高频电子扫描雷达组件,所述雷达数据采集电路的输出端连接所述控制MCU的数据输入端,所述控制MCU输出端通过所述UART通讯电路连接所述融合处理器的USB输入接口。
8.根据权利要求7所述的微型嵌入式的毫米波雷达视觉融合系统，其特征在于，所述毫米波雷达采用型号为AWR1642的单芯片毫米波传感器。
9.根据权利要求1-8任一项所述的微型嵌入式的毫米波雷达视觉融合系统，其特征在于，所述融合处理器采用微型嵌入式系统。
10.一种产品检测方法，其特征在于，应用于如权利要求1-9任一项所述的微型嵌入式的毫米波雷达视觉融合系统，具体包括以下步骤：
步骤一、雷达模块采集流水线上的产品空间位置信息，并将采集的所述产品空间位置信息及对应的第一时间标签发送给融合处理器；
步骤二、图像采集模块采集流水线上的产品图像信息，并将采集的所述产品图像信息及对应的第二时间标签发送给所述融合处理器；
步骤三、所述融合处理器将所述产品空间位置信息和所述产品图像信息进行空间修正，并结合所述第一时间标签和第二时间标签进行时空匹配后进行融合，得到融合信息；
步骤五、所述融合处理器将所述融合信息输出至显示设备，并以视频方式进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011247534.6A CN112346047A (zh) | 2020-11-10 | 2020-11-10 | 微型嵌入式的毫米波雷达视觉融合系统及产品检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011247534.6A CN112346047A (zh) | 2020-11-10 | 2020-11-10 | 微型嵌入式的毫米波雷达视觉融合系统及产品检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112346047A true CN112346047A (zh) | 2021-02-09 |
Family
ID=74362372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011247534.6A Pending CN112346047A (zh) | 2020-11-10 | 2020-11-10 | 微型嵌入式的毫米波雷达视觉融合系统及产品检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112346047A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393010A (zh) * | 2008-08-11 | 2009-03-25 | 张育民 | 嵌入式视觉检测系统 |
| US20090135065A1 (en) * | 2006-02-24 | 2009-05-28 | Toyota Jidosha Kabushiki Kaisha | Object Detecting Apparatus and Method for Detecting an Object |
| KR20190086951A (ko) * | 2018-01-15 | 2019-07-24 | 주식회사 스트리스 | 레이저 관측 장비를 이용한 ｍｍｓ의 캘리브레이션을 위한 장치 및 방법 |
| CN110414396A (zh) * | 2019-07-19 | 2019-11-05 | 中国人民解放军海军工程大学 | 一种基于深度学习的无人艇感知融合算法 |
| KR20190131402A (ko) * | 2018-05-16 | 2019-11-26 | 주식회사 유진로봇 | 카메라와 라이다를 이용한 융합 센서 및 이동체 |
| CN110726990A (zh) * | 2019-09-23 | 2020-01-24 | 江苏大学 | 一种基于ds-gnn算法的多传感器融合方法 |
| CN111098786A (zh) * | 2020-03-19 | 2020-05-05 | 南京泰晟科技实业有限公司 | 基于视觉和毫米波雷达融合的商用车安全驾驶辅助系统 |
| CN210572004U (zh) * | 2019-07-26 | 2020-05-19 | 华中科技大学 | 一种用于多流水线的平面信息检测系统 |
| CN111860589A (zh) * | 2020-06-12 | 2020-10-30 | 中山大学 | 一种多传感器多目标协同探测信息融合方法、系统 |
-
2020
- 2020-11-10 CN CN202011247534.6A patent/CN112346047A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090135065A1 (en) * | 2006-02-24 | 2009-05-28 | Toyota Jidosha Kabushiki Kaisha | Object Detecting Apparatus and Method for Detecting an Object |
| CN101393010A (zh) * | 2008-08-11 | 2009-03-25 | 张育民 | 嵌入式视觉检测系统 |
| KR20190086951A (ko) * | 2018-01-15 | 2019-07-24 | 주식회사 스트리스 | 레이저 관측 장비를 이용한 ｍｍｓ의 캘리브레이션을 위한 장치 및 방법 |
| KR20190131402A (ko) * | 2018-05-16 | 2019-11-26 | 주식회사 유진로봇 | 카메라와 라이다를 이용한 융합 센서 및 이동체 |
| CN110414396A (zh) * | 2019-07-19 | 2019-11-05 | 中国人民解放军海军工程大学 | 一种基于深度学习的无人艇感知融合算法 |
| CN210572004U (zh) * | 2019-07-26 | 2020-05-19 | 华中科技大学 | 一种用于多流水线的平面信息检测系统 |
| CN110726990A (zh) * | 2019-09-23 | 2020-01-24 | 江苏大学 | 一种基于ds-gnn算法的多传感器融合方法 |
| CN111098786A (zh) * | 2020-03-19 | 2020-05-05 | 南京泰晟科技实业有限公司 | 基于视觉和毫米波雷达融合的商用车安全驾驶辅助系统 |
| CN111860589A (zh) * | 2020-06-12 | 2020-10-30 | 中山大学 | 一种多传感器多目标协同探测信息融合方法、系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105045262A (zh) | 用于自动读表的变电站巡检机器人 | |
| CN114638909A (zh) | 基于激光slam和视觉融合的变电站语义地图构建方法 | |
| CN103926554A (zh) | 智能电能表外观标识一致性检测装置及其方法 | |
| CN110619617B (zh) | 三维成像方法、装置、设备及计算机可读存储介质 | |
| CN104464173A (zh) | 基于空间图像三维测量的输电线路防外力破坏系统 | |
| CN109831655A (zh) | 基于多摄像头数据融合的船舶环境感知与预警系统 | |
| CN210603292U (zh) | 一种冬小麦干旱遥感监测分级指标系统 | |
| CN102944879A (zh) | 一种基于mems二维扫描镜的四维成像装置及其成像方法 | |
| CN207487813U (zh) | 一种基于无线激光技术的声音和图像获取装置 | |
| CN112346047A (zh) | 微型嵌入式的毫米波雷达视觉融合系统及产品检测方法 | |
| CN113945921A (zh) | 一种多模态数据采集系统及同步采集方法 | |
| CN113790718A (zh) | 一种基于无人船的信息共享系统 | |
| CN112781530A (zh) | 一种基于双目视觉的rcs检测系统及其检测方法 | |
| CN111323771A (zh) | 基于固定距离的毫米波雷达与视频数据融合方法 | |
| CN111612833A (zh) | 一种行驶车辆高度实时检测方法 | |
| CN111474536A (zh) | 一种基于岸基雷达系统的智能船舶自主定位系统及方法 | |
| CN110865367A (zh) | 一种雷达视频数据智能融合方法 | |
| EP4332632A1 (en) | Three-dimensional ultrasonic imaging method and system based on laser radar | |
| CN113280750B (zh) | 一种三维变形监测方法和装置 | |
| CN108415332A (zh) | 一种基于激光雷达的家用防盗系统 | |
| CN211402712U (zh) | 一种激光雷达系统 | |
| CN113091733A (zh) | 一种基于毫米波雷达与imu融合的实时定位装置及方法 | |
| CN209312098U (zh) | 激光点云与可见光图像共光路配准装置 | |
| CN103398695B (zh) | 一种应用于冠层反射光谱测量的测距系统及其方法 | |
| CN113253255A (zh) | 一种多点位多传感器目标监测系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |