CN114677398B - 一种用于烟叶智能分级处理的烟叶正反面图像合成方法 - Google Patents

一种用于烟叶智能分级处理的烟叶正反面图像合成方法 Download PDF

Info

Publication number
CN114677398B
CN114677398B CN202210306574.6A CN202210306574A CN114677398B CN 114677398 B CN114677398 B CN 114677398B CN 202210306574 A CN202210306574 A CN 202210306574A CN 114677398 B CN114677398 B CN 114677398B
Authority
CN
China
Prior art keywords
image
alignment
tobacco leaves
images
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210306574.6A
Other languages
English (en)
Other versions
CN114677398A (zh
Inventor
王孝奇
徐珍娣
刁翠玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Qidi Ruishi Intelligent Technology Co ltd
Original Assignee
Henan Qidi Ruishi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Qidi Ruishi Intelligent Technology Co ltd filed Critical Henan Qidi Ruishi Intelligent Technology Co ltd
Priority to CN202210306574.6A priority Critical patent/CN114677398B/zh
Publication of CN114677398A publication Critical patent/CN114677398A/zh
Application granted granted Critical
Publication of CN114677398B publication Critical patent/CN114677398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供了一种用于烟叶智能分级处理的烟叶正反面图像合成方法，预设固定的外角点，获取烟叶带外角点的正面图像和反面图像；根据外角点的位置获取正面图像和反面图像的粗对齐图像；根据外角点和图像轮廓计算粗对齐图像正面图的内角点；根据外角点和图像轮廓计算反面图像的内角点；根据内角点的位置获取反面图像和粗对齐图像正面图的精对齐图像，并作为合成图像。该发明先通过外角点对正面图像和反面图像进行一次初步对齐，计算粗对齐图像正面的内角点和原始反面图像的内角点后，再根据内角点对粗对齐图像正面图和原始反面图像进行一次对齐处理，从而获取更加精准的对齐图像，进而合成高纬度的图像。

Description

一种用于烟叶智能分级处理的烟叶正反面图像合成方法
技术领域
本发明涉及烟叶智能分级领域，尤其是涉及了一种用于烟叶智能分级处理的烟叶正反面图像合成方法。
背景技术
烟叶分级是指对同一产区和品种的烟叶按生长部位和颜色进行分组,然后再按成熟度、叶片结构、油分、身份、色度、长度、残伤7个品质因素进行组内分级,其中正确分组是关键。随着科技的发展，目前多通过图像识别等技术对烟叶进行智能分级，从而节省人工和提高效率。烟叶智能分级处理一般需要先获取烟叶正面和反面两张RGB彩色三维图像，进行对齐后合成一张六维度的高维度图像，再通过神经网络进行图像处理和识别。
现有的采用拍照传送带动态角点方法计算图像对齐矩阵的方式，在传送带上预设固定的角点后，获取烟叶在透明传送带上正面和反面的图像后，由角点作为参考基准点将两个烟叶建立在同一坐标系下进行对齐。这种方式对于平面型的目标对齐效果较好，但是由于烟叶属于柔性物体，烟叶本身有褶皱、拱起等，也即烟叶的叶片不是一个平面，导致部分部位上下成像存在不一致的现象，因此采用上述对齐合成后的图像存在部分误差。
发明内容
为了解决背景技术中所存在的问题，本发明提出了一种用于烟叶智能分级处理的烟叶正反面图像合成方法。
一种用于烟叶智能分级处理的烟叶正反面图像合成方法，预设固定的外角点，获取烟叶带外角点的正面图像和反面图像；根据外角点的位置获取正面图像和反面图像的粗对齐图像；根据外角点和图像轮廓计算粗对齐图像正面图的内角点；根据外角点和图像轮廓计算反面图像的内角点；根据内角点的位置获取反面图像和粗对齐图像正面图的精对齐图像，并精对齐图像合成为高纬度图像。
基于上述，根据外角点的位置，对正面图像和反面图像建立同一个坐标系，通过对齐矩阵将正面图像和反面图像进行对齐处理。
基于上述，根据外角点的位置，采用同一方法分别计算粗对齐图像正面图的内角点和反面图像的内角点。
基于上述，根据外角点位置建立坐标系，分别构建图像中烟叶的轮廓曲线方程，及构建角点直线方程，将角点直线与烟叶轮廓曲线的交点作为内角点。
基于上述，烟叶轮廓计算时，先对图像中烟叶进行去背景处理，再对图像中的烟叶部分进行二值化处理，最后对烟叶构建轮廓的曲线拟合方程。
基于上述，通过hsv三通道颜色空间对图像中的烟叶部分进行二值化处理，如下：
其中，src_img表示拍摄的正反面图像，hsv_split表示将图像rgb转换成hsv，h_imgh表示hsv阈图像的h通道，s_imgh表示hsv阈图像的s通道，v_imgh表示hsv阈图像的v通道，dst_img表示二值化的图像，h_bin表示h通道的二值化，low_val表示h通道的低阈值，upper_val表示h通道的高阈值，h_img表示h通道的图像。
基于上述，在外角点坐标系下，烟叶的轮廓曲线拟合方程为：
y轮廓曲线＝a*x+b*x2+c*x3+d
其中，a、b、c和d为常数；角点直线方程为：
y角点直线＝k*x+b1
其中，k和b1为常数。
基于上述，粗对齐图像和精对齐图像分别在外角点坐标系内，通过对齐矩阵对图像进行对齐计算，对齐矩阵为：
其中，h11、h12、h13、h21、h22、h23、h31、h32和h33分别表示矩阵的子元素，dst(x，y)表示对齐后的图像。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明先通过外角点对正面图像和反面图像进行一次初步对齐，计算粗对齐图像正面的内角点和原始反面图像的内角点后，再根据内角点对粗对齐图像正面图和原始反面图像进行一次对齐处理，从而获取更加精准的对齐图像，最后合成高纬度的图像。
附图说明
图1是本发明的流程示意图。
图2是本发明的内角点确定示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种用于烟叶智能分级处理的烟叶正反面图像合成方法，预设固定的外角点，获取烟叶带外角点的正面图像和反面图像；根据外角点的位置获取正面图像和反面图像的粗对齐图像；根据外角点和图像轮廓计算粗对齐图像正面图的内角点；根据外角点和图像轮廓计算反面图像的内角点；根据内角点的位置获取反面图像和粗对齐图像正面图的精对齐图像，并精对齐图像合成为高纬度图像。
具体的，现实中通过透明的传送带传送烟叶，对于一片烟叶，在传送带上预先涂定固定的四个外角点，将该烟叶放置在四个外角点确定的矩形区域内，通过固定的上下两个相机获取烟叶和四个外角点的图像，也即带有外角点的烟叶原始的正面图像和反面图像。由于外角点的位置是固定的，因此根据外角点建立坐标系后，即可将正面图像和反面图像建立在同一个坐标系，通过对齐矩阵将正面图像和反面图像进行初步的对齐处理，获取的对齐图像也即粗对齐图像。
对粗对齐图像正面图和原始的反面图像分别去背景处理，也即将图像中不是烟叶的部分去除，换成单一背景色如黑色，再对图像中的烟叶部分进行二值化处理后，根据外角点位置建立的坐标系，构建图像中烟叶的轮廓曲线方程，及构建角点直线方程，将角点直线与烟叶轮廓曲线的交点作为内角点。通过hsv三通道颜色空间对图像中的烟叶部分进行二值化处理，如下：
其中，src_img表示拍摄的正反面图像，hsv_split表示将图像rgb转换成hsv，h_imgh表示hsv阈图像的h通道，s_imgh表示hsv阈图像的s通道，v_imgh表示hsv阈图像的v通道，dst_img表示二值化的图像，h_bin表示h通道的二值化，low_val表示h通道的低阈值，upper_val表示h通道的高阈值，h_img表示h通道的图像。
在外角点坐标系下，分别对粗对齐图像正面图和原始的反面图像中的烟叶，构建烟叶的轮廓曲线和角点直线。获取二值化后的图像，通过轮廓点的坐标即可构建轮廓的曲线拟合方程。如图2为示意图，图中椭圆线示意表示烟叶轮廓曲线(非真实烟叶轮廓曲线)，带箭头直线示意表示角点直线，相交角点即为内角点，矩形框的四个顶点示意表示为外角点。曲线的阶数越高，曲线的拟合程度越大。本烟叶轮廓选用三阶拟合方程，烟叶的轮廓曲线拟合方程为：
y轮廓曲线＝a*x+b*x2+c*x3+d
其中，a、b、c和d为常数。角点直线方程选用一阶方程，角点直线方程为：
y角点直线＝k*x+b1
其中，k和b1为常数。针对粗对齐图像正面图和原始的反面图像，分别构建四条角点直线，角点直线与烟叶轮廓曲线的交点，作为粗对齐图像正面图的内角点和原始的反面图像的内角点。
根据外角点确定的位置坐标，由对齐矩阵将相机拍摄的烟叶正面图像和反面图像放到同一个坐标系内，即粗对齐的正面图像和反面图像在同一个图像坐标系。在粗对齐过程中，由于烟叶在成像时存在高度上的上下起伏，因此粗对齐的角点对齐平面和烟叶成像平面存在一部分的差异，需要进一步的进行修正即需要轮廓的再次对齐修正。细对齐修正通过寻找轮廓角点来完成，即使粗对齐图像正面图和原始的反面图像在烟叶的外界轮廓上达到一致。
由于外角点的位置是固定的，内角点是在外角点的坐标系内根据图像轮廓进一步确定的，即粗对齐图像正面图的内角点和原始的反面图像的内角点也处在同一个坐标系内。根据粗对齐图像正面图的内角点坐标，和原始的反面图像的内角点坐标，通过对齐矩阵将粗对齐图像正面图和原始的反面图像进行进一步的对齐处理，获取的对齐图像也即精对齐图像。
粗对齐图像和精对齐图像分别在外角点坐标系内，通过对齐矩阵对图像进行对齐计算，对齐矩阵为：
其中，h11、h12、h13、h21、h22、h23、h31、h32和h33分别表示矩阵的子元素，dst(x，y)表示对齐后的图像。
将精对齐图像合成一张六维度的高维度图像，再通过神经网络进行图像处理和识别。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (5)

1.一种用于烟叶智能分级处理的烟叶正反面图像合成方法，其特征在于：
预设固定的外角点，获取烟叶带外角点的正面图像和反面图像；
根据外角点的位置获取正面图像和反面图像的粗对齐图像；
根据外角点和图像轮廓计算粗对齐图像正面图的内角点；
根据外角点和图像轮廓计算反面图像的内角点；
内角点计算具体包括：根据外角点的位置，采用同一方法分别计算粗对齐图像正面图的内角点和反面图像的内角点；根据外角点位置建立坐标系，分别构建图像中烟叶的轮廓曲线方程，及构建角点直线方程，将角点直线与烟叶轮廓曲线的交点作为内角点；
根据内角点的位置获取反面图像和粗对齐图像正面图的精对齐图像，粗对齐图像和精对齐图像分别在外角点坐标系内，通过对齐矩阵对图像进行对齐计算，对齐矩阵为：
其中，h11、h12、h13、h21、h22、h23、h31、h32和h33分别表示矩阵的子元素，dst(x，y)表示对齐后的图像，将精对齐图像合成为高纬度图像。
2.根据权利要求1所述的用于烟叶智能分级处理的烟叶正反面图像合成方法，其特征在于：根据外角点的位置，对正面图像和反面图像建立同一个坐标系，通过对齐矩阵将正面图像和反面图像进行对齐处理。
3.根据权利要求1所述的用于烟叶智能分级处理的烟叶正反面图像合成方法，其特征在于：烟叶轮廓计算时，先对图像中烟叶进行去背景处理，再对图像中的烟叶部分进行二值化处理，最后对烟叶构建轮廓的曲线拟合方程。
4.根据权利要求3所述的用于烟叶智能分级处理的烟叶正反面图像合成方法，其特征在于：通过hsv三通道颜色空间对图像中的烟叶部分进行二值化处理，如下：
其中，src_img表示拍摄的正反面图像，hsv_split表示将图像rgb转换成hsv，h_imgh表示hsv阈图像的h通道，s_imgh表示hsv阈图像的s通道，v_imgh表示hsv阈图像的v通道，dst_img表示二值化的图像，h_bin表示h通道的二值化，low_val表示h通道的低阈值，upper_val表示h通道的高阈值，h_img表示h通道的图像。
5.根据权利要求3所述的用于烟叶智能分级处理的烟叶正反面图像合成方法，其特征在于：在外角点坐标系下，烟叶的轮廓曲线拟合方程为：
y轮廓曲线＝a*x+b*x2+c*x3+d
其中，a、b、c和d为常数；角点直线方程为：
y角点直线＝k*x+b1
其中，k和b1为常数。
CN202210306574.6A 2022-03-25 2022-03-25 一种用于烟叶智能分级处理的烟叶正反面图像合成方法 Active CN114677398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210306574.6A CN114677398B (zh) 2022-03-25 2022-03-25 一种用于烟叶智能分级处理的烟叶正反面图像合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210306574.6A CN114677398B (zh) 2022-03-25 2022-03-25 一种用于烟叶智能分级处理的烟叶正反面图像合成方法

Publications (2)

Publication Number Publication Date
CN114677398A CN114677398A (zh) 2022-06-28
CN114677398B true CN114677398B (zh) 2024-08-13

Family

ID=82076238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210306574.6A Active CN114677398B (zh) 2022-03-25 2022-03-25 一种用于烟叶智能分级处理的烟叶正反面图像合成方法

Country Status (1)

Country Link
CN (1) CN114677398B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657964A (zh) * 2015-03-09 2015-05-27 重庆邮电大学 一种碎片图像计算机自动拼接方法
CN106250896A (zh) * 2016-03-03 2016-12-21 上海创和亿电子科技发展有限公司 基于图像采集装置的在线烟叶的正反面的识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5091098B2 (ja) * 2008-12-10 2012-12-05 富士フイルム株式会社 画像合成装置、画像合成方法および画像合成プログラム
CN204988936U (zh) * 2015-09-28 2016-01-20 中国烟草总公司郑州烟草研究院 一种用于辅助测定烟叶叶面密度的弧形对开式固定夹
CN110070559A (zh) * 2019-04-30 2019-07-30 哈尔滨理工大学 一种基于无人机图像的风力发电叶片三维重构方法
CN110677599B (zh) * 2019-09-30 2021-11-05 西安工程大学 一种重建360度全景视频图像的系统和方法
CN110751680A (zh) * 2019-10-17 2020-02-04 中国科学院云南天文台 一种具有快速对齐算法的图像处理方法
CN111524071B (zh) * 2020-04-24 2022-09-16 安翰科技(武汉)股份有限公司 胶囊内窥镜图像拼接方法、电子设备及可读存储介质
CN112651259B (zh) * 2020-12-29 2024-08-06 芜湖哈特机器人产业技术研究院有限公司 二维码的定位方法、基于二维码的移动机器人定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657964A (zh) * 2015-03-09 2015-05-27 重庆邮电大学 一种碎片图像计算机自动拼接方法
CN106250896A (zh) * 2016-03-03 2016-12-21 上海创和亿电子科技发展有限公司 基于图像采集装置的在线烟叶的正反面的识别方法

Also Published As

Publication number Publication date
CN114677398A (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN109785291B (zh) 一种车道线自适应检测方法
US9898836B2 (en) Method for automatic video face replacement by using a 2D face image to estimate a 3D vector angle of the face image
CN105205781B (zh) 输电线路航拍图像拼接方法
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN109859137B (zh) 一种广角相机非规则畸变全域校正方法
CN110956661A (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN111739031A (zh) 一种基于深度信息的作物冠层分割方法
CN107169973A (zh) 一种图像的背景去除和合成方法及装置
CN108197521A (zh) 一种多相位二维码获取识别装置及方法
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
CN101315664A (zh) 用于文字识别的文本图像预处理方法
CN111126418A (zh) 一种基于平面透视投影的倾斜影像匹配方法
CN113313116A (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN113963054A (zh) 一种基于双目相机的智能快递箱尺寸测量方法及系统
CN114998571A (zh) 基于固定尺寸标志物的图像处理及颜色检测方法
CN114677398B (zh) 一种用于烟叶智能分级处理的烟叶正反面图像合成方法
CN108109118B (zh) 一种无控制点的航拍图像几何校正方法
CN107680035B (zh) 一种参数标定方法和装置、服务器及可读存储介质
CN107067368B (zh) 基于影像变形的街景影像拼接方法及系统
CN106023170A (zh) 一种基于gpu处理器的双目3d畸变矫正方法
CN107122782A (zh) 一种均衡的半密集立体匹配方法
CN111311517A (zh) 基于抠图的颜色校正优化方法
CN115239667A (zh) 一种基于多目摄像机的轮胎合格检测方法
CN113077504B (zh) 基于多粒度特征匹配大场景深度图生成方法
CN110188756B (zh) 产品定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant