CN117636333A - 一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质 - Google Patents

一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN117636333A
CN117636333A CN202311735051.4A CN202311735051A CN117636333A CN 117636333 A CN117636333 A CN 117636333A CN 202311735051 A CN202311735051 A CN 202311735051A CN 117636333 A CN117636333 A CN 117636333A
Authority
CN
China
Prior art keywords
camera
fruit
vegetable
color camera
infrared camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311735051.4A
Other languages
English (en)
Inventor
李绪琴
王海彬
汪洋
沙正霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Vision Optoelectronics Technology Co ltd
Original Assignee
Anhui Vision Optoelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Vision Optoelectronics Technology Co ltd filed Critical Anhui Vision Optoelectronics Technology Co ltd
Priority to CN202311735051.4A priority Critical patent/CN117636333A/zh
Publication of CN117636333A publication Critical patent/CN117636333A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质，属于图像融合技术领域。针对现有技术中存在的采用双相机果蔬分选设备进行果蔬分选时存在图像难以对齐、难以识别等问题，本发明将彩色相机垂直设置于标定板上标定彩色相机与果蔬图像平面的位置，对彩色相机和红外相机进行标定分别得到彩色相机的内外参数和红外相机的内外参数，通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离，通过垂直距离将红外相机获取的果蔬图像对齐到彩色相机中，最后根据红外相机与彩色相机对果蔬图像的对齐结果判进行缺陷检测，实现果蔬有效分选。

Description

一种基于多相机的果蔬分选方法、装置、计算机设备及可读存 储介质
技术领域
本发明涉及图像融合技术领域，更具体地说，涉及一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质。
背景技术
红外相机与彩色相机相结合的成像系统已经越来越多的应用到智能家居、体感游戏、三维重建、机器人自主导航等领域。随着红外相机与彩色相机技术的不断发展，红外相机与彩色相机相结合的成像系统也逐渐应用于果蔬分选行业中，用于检测果蔬内部和果蔬外部是否存在缺陷。
但是，对于红外相机与彩色相机，因为不同的摄像头位于不同的位置，在空间上红外相机与彩色相机之间有平移，还有轻微的旋转。因此，简单的平移图像是无法使得成像系统画面上每一个像素都对齐的。由此，在进行果蔬分选时，需要消弭红外相机镜头与彩色相机镜头之间的平移、旋转带来的影响。
现有技术中，将红外相机与彩色相机在空间上有旋转和平移的图像进行像素级别的对齐，至少有两个流派的方法。流派一遵循严谨的多视角几何方法，认为拍摄同一个目标时，图像和空间物体之间满足对极几何约束的关系。这样，如果将图像转换为只有视差关系，没有旋转关系，接下来就可以通过求取每个像素点的视差，并在视差方向进行图像的扭曲变换来达到对齐图像的目的。然而，这个方案的缺点是必须对红外相机和彩色彩色相机进行标定，并以此对两个图像进行极线校正再进行视差计算。因此，该多视角几何方法流程比较复杂和冗长，而且标定势必会影响生产效率。流派二则是观察到红外相机摄像头与彩色相机摄像头之间的空间位置差异不会太大，因此图像之间的运动也不会很大，那么就比较适合计算它们之间的光流，并用光流信息来对齐每个像素。但是现有技术中，立体匹配在一维上搜素匹配点已经很困难了，而光流在二维上搜索匹配点就更加困难了。由于光流算法在二维上进行搜索，还需要考虑更多的问题，例如计算量以及因为某些像素的运动过大导致的匹配困难的问题。综上，流派一和流派二的方法应用于果蔬分选时均存在图像难以对齐以及难以识别的问题，且流派一和流派二的算法也相对耗时。
发明内容
1.要解决的技术问题
针对现有技术中存在的采用双相机果蔬分选设备进行果蔬分选时存在图像难以对齐及难以识别等问题，本发明提供了一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质，通过彩色相机和红外相机进行果蔬缺陷检测，实现果蔬有效分选。
2.技术方案
本发明的目的通过以下技术方案实现。
一种基于多相机的果蔬分选方法，包括以下步骤：
获取果蔬图像，将果蔬图像设置于标定板上；
将彩色相机垂直设置于标定板上标定彩色相机与果蔬图像平面的位置；
通过棋盘格图像对果蔬图像进行预处理；
对彩色相机和红外相机进行标定分别得到彩色相机的内外参数和红外相机的内外参数；
通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离；
通过垂直距离将红外相机获取的果蔬图像对齐到彩色相机中；
根据红外相机与彩色相机对果蔬图像的对齐结果判进行缺陷检测。
进一步地，将彩色相机垂直设置于标定板上标定彩色相机与果蔬图像平面的位置后，判断彩色相机与果蔬图像平面是否垂直，判断步骤包括：
彩色相机采集标定板数据；
建立世界坐标系和像素坐标系；
利用世界坐标系和像素坐标系确定标定板数据的变换矩阵；
通过变换矩阵判断彩色相机与果蔬图像平面是否垂直。
进一步地，通过变换矩阵判断彩色相机与果蔬图像平面是否垂直的计算公式为：
其中，x＇、y＇、w＇表示世界坐标系的坐标，u、v、w表示像素坐标系的坐标，a11、a12、a13、a21、a22、a23、a31、a32、a33均表示变化矩阵。
进一步地，通过棋盘格图像对果蔬图像进行预处理，所述预处理包括对果蔬图像进行清晰度检测。
进一步地，所述预处理还包括将果蔬图像的亮度进行拉伸。
进一步地，彩色相机的内参数包括彩色相机焦距、彩色相机光心坐标，彩色相机的外参数包括彩色相机到红外相机的旋转矩阵以及彩色相机到红外相机的平移矩阵；红外相机的内参数包括红外相机焦距、红外相机光心坐标，红外相机的外参数包括红外相机到彩色相机的旋转矩阵以及红外相机到彩色相机的平移矩阵。
进一步地，通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离的计算公式为：
其中，Z1表示在水平方向果蔬图像平面到彩色相机和红外相机的距离，fx_ir表示红外相机水平方向的焦距，xr表示彩色相机水平方向的像素坐标，Cx_rgb表示彩色相机水平方向的中心坐标，Tx表示红外相机和彩色相机水平距离，Tz表示红外相机和彩色相机垂直距离，xir表示红外相机水平方向的像素坐标，Cx_ir表示表示红外相机水平方向的中心坐标，fx_rgb表示彩色相机的焦距，R表示红外相机和彩色相之间的旋转矩阵，Z2表示在竖直方向果蔬图像平面到彩色相机和红外相机的距离，fy_ir表示红外相机竖直方向的焦距，yr表示彩色相机竖直方向的像素坐标，Cy_rgb表示表示彩色相机竖直方向的中心坐标，Ty表示红外相机和彩色相机竖直距离，yir表示红外相机竖直方向的像素坐标，Cy_ir表示彩色相机竖直方向的中心坐标，fy_rgb表示彩色相机竖直方向的焦距信息，Zi表示果蔬图像上每个像素点到平面的距离。
一种基于多相机的果蔬分选装置，包括：
输入模块，获取果蔬图像，将果蔬图像设置于标定板上；
处理模块，将彩色相机垂直设置于标定板上标定彩色相机与果蔬图像平面的位置，通过棋盘格图像对果蔬图像进行预处理，对彩色相机和红外相机进行标定分别得到彩色相机的内外参数和红外相机的内外参数，通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离，通过垂直距离将红外相机获取的果蔬图像对齐到彩色相机中；
输出模块，根据红外相机与彩色相机对果蔬图像的对齐结果判进行缺陷检测，输出检测结果。
一种计算机设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述所述的方法。
3.有益效果
相比于现有技术，本发明的优点在于：
本发明的一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质，在果蔬分选过程中，将彩色相机获取的果蔬图像与红外相机获取的果蔬图像进行对齐，能够实现快速识别果蔬品质，耗时少，计算量小；同时，将彩色相机获取的果蔬图像信息与红外相机获取的果蔬图像信息进行融合，能够有效提高果蔬缺陷检测的速度和精度。
附图说明
图1为本发明实施例方法流程图。
具体实施方式
下面结合说明书附图和具体的实施例，对本发明作详细描述。
实施例
如图1所示，为本实施例提供的一种基于多相机的果蔬分选方法，步骤包括：获取果蔬图像，将果蔬图像设置于标定板上；将彩色相机垂直设置于标定板上标定彩色相机与果蔬图像平面的位置；通过棋盘格图像对果蔬图像进行预处理；对彩色相机和红外相机进行标定分别得到彩色相机的内外参数和红外相机的内外参数；通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离；通过垂直距离将红外相机获取的果蔬图像对齐到彩色相机中；根据红外相机与彩色相机对果蔬图像的对齐结果判进行缺陷检测。
具体到本实施例中，首先获取果蔬图像，并将果蔬图像设置于标定板上，从而得到果蔬图像平面。进一步地，将彩色相机垂直设置于标定板上，用于标定彩色相机与果蔬图像平面的位置。需要说明的是，在标定板上还分布有若干个大小相同的标记圆。本实施例中，需要保证彩色相机垂直于标定板，进而使得彩色相机在拍摄果蔬图像标记点间的距离时不会因为倾斜而发生变化。值得说明的是，本实施例中，将彩色相机垂直设置于标定板上标定彩色相机与果蔬图像平面的位置后，还需要判断彩色相机与果蔬图像平面是否垂直，判断步骤包括：彩色相机采集标定板数据，建立世界坐标系和像素坐标系，利用世界坐标系和像素坐标系确定标定板数据的变换矩阵，通过变换矩阵判断彩色相机与果蔬图像平面是否垂直。具体地，通过彩色相机采集标定板数据，获取标定板上标记圆的圆心坐标，标定板数据即为标记圆的圆心坐标数据。进一步地，建立世界坐标系和像素坐标系，世界坐标系用于获得标记圆圆心的理论坐标，像素坐标系用于获得标记圆圆心的实际坐标，进而通过仿射变换确认标记圆圆心的理论坐标和标记圆圆心的实际坐标后确定标定板数据的变换矩阵，由此通过变换矩阵判断彩色相机与果蔬图像平面是否垂直的计算公式为：
其中，x＇、y＇、w＇表示世界坐标系的坐标，u、v、w表示像素坐标系的坐标，a11、a12、a13、a21、a22、a23、a31、a32、a33均表示变化矩阵。
本实施例中，还需要通过棋盘格图像对果蔬图像进行预处理，对果蔬图像进行预处理包括对果蔬图像进行清晰度检测以及将果蔬图像的亮度进行拉伸。本实施例中，设定棋盘格图像，对果蔬图像进行清晰度检测是指将棋盘格图像从对焦模糊到对焦清晰再到对焦模糊，同时，棋盘格图像方块边缘梯度变化同样从大到小再到变大，进而通过上述操作使得棋盘格图像在对焦清晰时，棋盘格图像所有方块边缘的梯度和最小。具体地，首先选取果蔬图像中心三分之一的区域图像，采用中值滤波操作去除果蔬图像上的斑点噪声。需要说明的是，由于果蔬图像处的边缘图像畸变较大，因此，本实施例中，选择果蔬图像中心三分之一的区域图像进而可以获得更加清晰的果蔬图像；进一步地，通过一个7像素×7像素尺寸的矩阵对果蔬图像进行膨胀和腐蚀操作，由此，利用膨胀后的果蔬图像减去腐蚀后的果蔬图像从而得到清晰的果蔬图像；在获得清晰的果蔬图像后，还需要对清晰的果蔬图像进行二值化处理，具体地，提取清晰的果蔬图像的横线宽度和纵线宽度，并计算横线宽度和纵线宽度的均值，即所有方块梯度和均值，再设定清晰度阈值T，其中，9≤T≤11，由此，通过清晰度阈值T判断果蔬图像的清晰度。本实施例中，通过对果蔬图像进行清晰度检测可以判断棋盘格图像是否对焦清晰以及果蔬图像是否过曝。棋盘格图像对焦不清晰会造成提取的角点精度明显下降，影响标定算法的稳定性，而果蔬图像过曝会造成棋盘格角点断裂，造成角点提取失败，导致标定失败率大大提高。此外，需要说明的是，由于彩色相机标定是在标定箱中进行，照射光源采用的是环视LED光源，若在进行标定时未调节彩色相机的光源参数或者照射光源调节偏暗，会导致采集标定的果蔬图像偏暗，而果蔬图像偏暗会降低图像的对比度，由此需要将果蔬图像的亮度进行拉伸。本实施例中，通过计算果蔬图像的最大灰度，并将果蔬图像的最大灰度拉伸到200像素的比例，再等比例地将果蔬图像进行拉伸，由此将果蔬图像的亮度进行拉伸。
本实施例中，通过对彩色相机和红外相机进行标定分别得到彩色相机的内外参数和红外相机的内外参数，进而通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离。本实施例中，通过张正友的多板标定方案标定彩色相机和红外相机的内外参数，彩色相机的内参数包括彩色相机焦距、彩色相机光心坐标，彩色相机的外参数包括彩色相机到红外相机的旋转矩阵以及彩色相机到红外相机的平移矩阵；红外相机的内参数包括红外相机焦距、红外相机光心坐标，红外相机的外参数包括红外相机到彩色相机的旋转矩阵以及红外相机到彩色相机的平移矩阵。需要说明的是，通过张正友的多板标定方案标定彩色相机和红外相机的内外参数为现有技术。进而，通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离的计算公式为：
其中，Z1表示在水平方向果蔬图像平面到彩色相机和红外相机的距离，fx_ir表示红外相机水平方向的焦距，xr表示彩色相机水平方向的像素坐标，Cx_rgb表示彩色相机水平方向的中心坐标，Tx表示红外相机和彩色相机水平距离，Tz表示红外相机和彩色相机垂直距离，xir表示红外相机水平方向的像素坐标，Cx_ir表示表示红外相机水平方向的中心坐标，fx_rgb表示彩色相机的焦距，R表示红外相机和彩色相之间的旋转矩阵，Z2表示在竖直方向果蔬图像平面到彩色相机和红外相机的距离，fy_ir表示红外相机竖直方向的焦距，yr表示彩色相机竖直方向的像素坐标，Cy_rgb表示表示彩色相机竖直方向的中心坐标，Ty表示红外相机和彩色相机竖直距离，yir表示红外相机竖直方向的像素坐标，Cy_ir表示彩色相机竖直方向的中心坐标，fy_rgb表示彩色相机竖直方向的焦距信息，Zi表示果蔬图像上每个像素点到平面的距离。
最后，通过垂直距离将红外相机获取的果蔬图像对齐到彩色相机中，再根据红外相机与彩色相机对果蔬图像的对齐结果判进行缺陷检测。由此，本发明提供的一种基于多相机的果蔬分选方法，利用彩色相机和红外相机将果蔬图像进行对齐，对于果蔬图像上的同一缺陷点，可以通过彩色相机和红外相机分别进行外部检测和内部检测，从而判断果蔬存在的缺陷是内部缺陷还是外部缺陷，准确实现果蔬分选，耗时少，计算量小。此外，将彩色相机获取的果蔬图像信息与红外相机获取的果蔬图像信息进行融合，能够有效提高果蔬缺陷检测的速度和精度。
本实施例还提供一种基于多相机的果蔬分选装置，包括输入模块、处理模块以及输出模块。所述输入模块用于获取果蔬图像，将果蔬图像设置于标定板上。所述处理模块，将彩色相机垂直设置于标定板上标定彩色相机与果蔬图像平面的位置，通过棋盘格图像对果蔬图像进行预处理，对彩色相机和红外相机进行标定分别得到彩色相机的内外参数和红外相机的内外参数，通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离，通过垂直距离将红外相机获取的果蔬图像对齐到彩色相机中。所述输出模块，根据红外相机与彩色相机对果蔬图像的对齐结果判进行缺陷检测，输出检测结果。本实施例提供的一种基于多相机的果蔬分选装置能够实现所述基于多相机的果蔬分选方法的任一种方法，且一种基于多相机的果蔬分选装置的具体工作过程可参考所述基于多相机的果蔬分选方法实施例中的对应过程。本实施例所提供的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，某个模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的连接或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电性、机械或其它的形式的连接。
本实施例还提供一种计算机设备。一种计算机设备，包括存储器、处理器以及储存在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种果蔬大小分选方法。
本实施例还提供一种计算机可读存储介质。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行本实施例中所述的一种果蔬大小分选方法。其中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用；计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种基于多相机的果蔬分选方法，包括以下步骤：
获取果蔬图像，将果蔬图像设置于标定板上；
将彩色相机垂直设置于标定板上标定彩色相机与果蔬图像平面的位置；
通过棋盘格图像对果蔬图像进行预处理；
对彩色相机和红外相机进行标定分别得到彩色相机的内外参数和红外相机的内外参数；
通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离；
通过垂直距离将红外相机获取的果蔬图像对齐到彩色相机中；
根据红外相机与彩色相机对果蔬图像的对齐结果判进行缺陷检测。
2.根据权利要求1所述的一种基于多相机的果蔬分选方法，其特征在于，将彩色相机垂直设置于标定板上标定彩色相机与果蔬图像平面的位置后，判断彩色相机与果蔬图像平面是否垂直，判断步骤包括：
彩色相机采集标定板数据；
建立世界坐标系和像素坐标系；
利用世界坐标系和像素坐标系确定标定板数据的变换矩阵；
通过变换矩阵判断彩色相机与果蔬图像平面是否垂直。
3.根据权利要求2所述的一种基于多相机的果蔬分选方法，其特征在于，通过变换矩阵判断彩色相机与果蔬图像平面是否垂直的计算公式为：
其中，x＇、y＇、w＇表示世界坐标系的坐标，u、v、w表示像素坐标系的坐标，a11、a12、a13、a21、a22、a23、a31、a32、a33均表示变化矩阵。
4.根据权利要求3所述的一种基于多相机的果蔬分选方法，其特征在于，通过棋盘格图像对果蔬图像进行预处理，所述预处理包括对果蔬图像进行清晰度检测。
5.根据权利要求4所述的一种基于多相机的果蔬分选方法，其特征在于，所述预处理还包括将果蔬图像的亮度进行拉伸。
6.根据权利要求5所述的一种基于多相机的果蔬分选方法，其特征在于，彩色相机的内参数包括彩色相机焦距、彩色相机光心坐标，彩色相机的外参数包括彩色相机到红外相机的旋转矩阵以及彩色相机到红外相机的平移矩阵；红外相机的内参数包括红外相机焦距、红外相机光心坐标，红外相机的外参数包括红外相机到彩色相机的旋转矩阵以及红外相机到彩色相机的平移矩阵。
7.根据权利要求6所述的一种基于多相机的果蔬分选方法，其特征在于，通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离的计算公式为：
其中，Z1表示在水平方向果蔬图像平面到彩色相机和红外相机的距离，fx_ir表示红外相机水平方向的焦距，xr表示彩色相机水平方向的像素坐标，Cx_rgb表示彩色相机水平方向的中心坐标，Tx表示红外相机和彩色相机水平距离，Tz表示红外相机和彩色相机垂直距离，xir表示红外相机水平方向的像素坐标，Cx_ir表示表示红外相机水平方向的中心坐标，fx_rgb表示彩色相机的焦距，R表示红外相机和彩色相之间的旋转矩阵，Z2表示在竖直方向果蔬图像平面到彩色相机和红外相机的距离，fy_ir表示红外相机竖直方向的焦距，yr表示彩色相机竖直方向的像素坐标，Cy_rgb表示表示彩色相机竖直方向的中心坐标，Ty表示红外相机和彩色相机竖直距离，yir表示红外相机竖直方向的像素坐标，Cy_ir表示彩色相机竖直方向的中心坐标，fy_rgb表示彩色相机竖直方向的焦距信息，Zi表示果蔬图像上每个像素点到平面的距离。
8.一种基于多相机的果蔬分选装置，其特征在于，包括：
输入模块，获取果蔬图像，将果蔬图像设置于标定板上；
处理模块，将彩色相机垂直设置于标定板上标定彩色相机与果蔬图像平面的位置，通过棋盘格图像对果蔬图像进行预处理，对彩色相机和红外相机进行标定分别得到彩色相机的内外参数和红外相机的内外参数，通过彩色相机的内外参数和红外相机的内外参数求解得到彩色相机和红外相机到果蔬图像平面之间的垂直距离，通过垂直距离将红外相机获取的果蔬图像对齐到彩色相机中；
输出模块，根据红外相机与彩色相机对果蔬图像的对齐结果判进行缺陷检测，输出检测结果。
9.一种计算机设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1-7中任一项所述的方法。
CN202311735051.4A 2023-12-15 2023-12-15 一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质 Pending CN117636333A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311735051.4A CN117636333A (zh) 2023-12-15 2023-12-15 一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311735051.4A CN117636333A (zh) 2023-12-15 2023-12-15 一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN117636333A true CN117636333A (zh) 2024-03-01

Family

ID=90033952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311735051.4A Pending CN117636333A (zh) 2023-12-15 2023-12-15 一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN117636333A (zh)

Similar Documents

Publication Publication Date Title
US11272161B2 (en) System and methods for calibration of an array camera
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
US11546576B2 (en) Systems and methods for dynamic calibration of array cameras
CN109410207B (zh) 一种基于ncc特征的无人机巡线图像输电线路检测方法
WO2017023210A1 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
EP2194725A1 (en) Method and apparatus for correcting a depth image
CN106570899B (zh) 一种目标物体检测方法及装置
CN110322485A (zh) 一种异构多相机成像系统的快速图像配准方法
CN115108466B (zh) 一种集装箱吊具智能定位的方法
KR20150105190A (ko) 컬러-코드화된 구조를 사용하는 카메라 캘리브레이션 방법 및 장치
CN105335959B (zh) 成像装置快速对焦方法及其设备
CN117636333A (zh) 一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质
CN110827230A (zh) 一种利用tof提升rgb图像质量的方法和装置
CN110728714B (zh) 图像处理方法和装置、存储介质、电子设备
Mustaniemi et al. Disparity estimation for image fusion in a multi-aperture camera
WO2022074554A1 (en) Method of generating an aligned monochrome image and related computer program
CN117078522A (zh) 一种用于数据中心巡检的机柜组图像矫正方法
CN110793564A (zh) 视觉检测设备和视觉检测方法
KR20150125766A (ko) 광각 카메라 영상의 특징점 검출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination