CN111524193A - 一种物体二维尺寸的测量方法及测量装置 - Google Patents

一种物体二维尺寸的测量方法及测量装置 Download PDF

Info

Publication number
CN111524193A
CN111524193A CN202010310276.5A CN202010310276A CN111524193A CN 111524193 A CN111524193 A CN 111524193A CN 202010310276 A CN202010310276 A CN 202010310276A CN 111524193 A CN111524193 A CN 111524193A
Authority
CN
China
Prior art keywords
detected
depth
image
camera
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010310276.5A
Other languages
English (en)
Other versions
CN111524193B (zh
Inventor
梁晋
叶美图
任茂栋
张铭凯
冯超
龚春园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xtop 3d Technology Shenzhen Co ltd
Xian Jiaotong University
Original Assignee
Xtop 3d Technology Shenzhen Co ltd
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xtop 3d Technology Shenzhen Co ltd, Xian Jiaotong University filed Critical Xtop 3d Technology Shenzhen Co ltd
Priority to CN202010310276.5A priority Critical patent/CN111524193B/zh
Publication of CN111524193A publication Critical patent/CN111524193A/zh
Application granted granted Critical
Publication of CN111524193B publication Critical patent/CN111524193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开揭示了一种物体二维尺寸测量方法，包括：对RGB‑D相机进行标定；获取待测物体所在区域和背景区域的彩色图像及深度图像；对RGB‑D相机进行配准；从待测物体所在区域彩色图像和背景区域彩色图像中分离待测物体彩色图像；对待测物体彩色图像进行二值化和形态学处理获得待测物体掩模图像；对待测物体所在区域的深度图像进行空洞填补获得待测物体的改善深度图像；对待测物体的改善深度图像进行三维重建获得待测物体三维点云；求取待测物体三维点云的最小外接长方体，根据长方体的边长计算待测物体的长度和宽度。本公开适用于任意方向放置的物体二维尺寸的测量，具有自动化测量、快速准确的优点，有效提高了物体尺寸测量的速度和准确度。

Description

一种物体二维尺寸的测量方法及测量装置
技术领域
本公开属于计算机视觉与图像处理技术领域，具体涉及一种物体二维尺寸的测量方法及测量装置。
背景技术
近年来，随着计算机视觉的发展与进步，基于计算机视觉的物体二维尺寸测量技术，逐步取代了传统的皮尺测量估计方法，具有操作简单、省时省力等优点，广泛的应用于各个领域，如货物尺寸及物流包装箱测量，农副产品的尺寸估计，工业零部件流水线测量等。
基于计算机视觉的物体二维尺寸测量技术通常由图像采集设备和图像处理算法两部分构成。基于单目的图像采集由单个相机拍摄待测物体，并一般根据图像像素距离及添加实际比例尺计算物体尺寸，这种方法需要多次人工选择待测物体部分，实时性不足且自动化程度不高。基于RGB-D相机的图像采集，一般是先用RGB-D相机对待测物体进行三维重建，再利用点云处理算法提取点云外边界尺寸作为待测物体尺寸；现有的基于RGB-D相机的测量方法，如仅提取物体边缘点云进行计算，难以获得稳定的边界，且现有的方法往往忽略了RGB-D相机的本身成像缺陷，如因待测物体的吸光性、反光性或自遮挡等因素导致的图像数据不完整，尤其对于形状不规则的物体该问题更为突出，导致测量的结果存在较大的误差。
发明内容
针对现有技术中的不足，本公开的目的在于提供一种物体二维尺寸的测量方法，通过结合物体的彩色图像和深度图像对物体二维尺寸进行测量，能够提高测量速度和准确度。
为实现以上目的，本公开提出以下技术方案：
一种物体二维尺寸的测量方法，包括如下步骤：
S100：对RGB-D相机进行标定；
S200：利用标定后的RGB-D相机拍摄获取待测物体所在区域和待测物体背景区域的彩色图像及深度图像；
S300：对RGB-D相机进行配准，获取所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系，获取所述待测物体所在区域和待测物体背景区域的深度图像上每个像素对应彩色图像的像素点的位置和R、G、B三个通道的值；
S400：以所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系为约束，以所述R、G、B三个通道的值为参考，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割，获取待测物体的彩色图像；
S500：对所述待测物体的彩色图像进行二值化处理，获得待测物体的二值化图像；
S600：对所述待测物体的二值化图像进行形态学闭操作，获得待测物体的改善二值化图像，以所述改善二值化图像作为待测物体的掩模图像；
S700：根据所述待测物体所在区域和待测物体背景区域的深度图像确定待测物体的深度有效值范围，并进行深度空洞填补，获得待测物体的改善深度图像；
S800：以所述待测物体的掩模图像的区域像素点和深度有效值为范围约束，对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取待测物体的三维点云；
S900：提取所述待测物体的三维点云的最小外接长方体，根据所述最小外接长方体的长轴和短轴计算待测物体的长度和宽度。
优选的，步骤S100中，对所述RGB-D相机进行标定通过以下步骤进行：
S101：使用带有标志点的标定板进行标定，从8个不同方位拍摄标定板，其中，所述标志点包括环形编码点和圆形非编码点；
S102：利用所述RGB-D相机拍摄RGB标定板图像和红外标定板图像，分别在所述RGB标定板图像和红外标定板图像上识别环形编码点和圆形非编码点，获得非编码点和编码点的中心及编号；
S103：以RGB-D相机的理论内参数作为内方位参数初值，实施下列子步骤：
S1031：完成拍摄的标定板的RGB图像和红外图像的相对定向并重建编码点三维坐标；
S1032：利用后方交会计算其余图片的外方位参数；
S1033：利用前方交会计算所有非编码点的三维坐标；
S1034：利用光束平差迭代优化所有内、外方位参数以及标志点的三维坐标；
S1035：加入比例尺，得到标志点实际的三维坐标；
S1036：利用计算得到的外方位参数，获取所述彩色相机的内参数矩阵Krgb、深度相机的内参数矩阵Kir及深度相机相对于彩色相机的外参数矩阵[R|T]，其中，R是旋转矩阵，T是平移矩阵。
优选的，步骤S300中，对所述RGB-D相机进行配准通过以下步骤进行：
S301：利用构成RGB-D相机的彩色相机和深度相机之间的投影关系构建彩色图像与深度图像像素位置间的映射关系，并通过深度图像获取每个像素点上的深度信息；
S302：计算深度图像上每个像素对应彩色图像的像素点的位置和R、G、B三个通道的值，实现彩色图像与深度图像的对齐。
优选的，步骤S400中，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割通过以下步骤进行：
S401：根据待测物体所在区域和待测物体背景区域的R、G、B值之间存在的差值，设定待测物体所在区域和待测物体背景区域之间的色彩分割阈值；
S402：根据设定的色彩分割阈值，从包含有待测物体所在区域和待测物体背景区域的彩色图像中分割出待测物体所在区域，获取待测物体的彩色图像。
优选的，步骤S500中，对所述待测物体的彩色图像进行二值化处理通过以下步骤进行：
S501：对所述待测物体的彩色图像进行置灰处理，获得所述待测物体的灰度图像；
S502：对所述待测物体的灰度图像进行二值化，将所述待测物体的灰度图像的多个灰阶归化为两个灰阶，其中，所述待测物体所在区域的像素灰度为255，待测物体背景区域的像素灰度为0，获得待测物体的二值化图像。
优选的，步骤S600中，对所述待测物体的二值化图像进行形态学闭操作通过以下步骤进行：
S601：确定待测物体的二值化图像所需的膨胀核和腐蚀核；
S602：对所述待测物体的二值化图像进行膨胀处理，获取内部连通的膨胀图像；
S603：对所述膨胀图像进行腐蚀处理，获取边缘平滑的腐蚀图像，所述边缘平滑的腐蚀图像即为待测物体的掩模图像。
优选的，步骤S700中，对所述待测物体所在区域和待测物体背景区域的深度图像进行深度空洞填补通过以下步骤进行：
S701：根据所述待测物体所在区域的深度图像和待测物体背景区域的深度图像，通过下式确定待测物体的深度有效值范围：
h＝H-Δh
Δh＜h0/2
其中，h表示深度有效值范围，H表示相机到地面的距离，Δh表示设定高度阈值，一般该阈值设定不超过待测物体的一半高度，即h0/2。
S702：遍历所述待测物体所在区域的深度图像，判断所述待测物体深度图像中存在深度空洞的像素坐标位置，并判断所述深度空洞位置的上、下、左、右4个邻近位置深度是否有效，并根据邻近位置的深度有效值对深度空洞位置进行填补，其中，判断所述深度空洞位置的上、下、左、右4个邻近位置深度是否有效通过以下方式进行：
若4个邻近位置均为深度有效值，则求所述4个深度有效值的众数，若众数不存在，则求深度有效值的最大值，以所述最大值为所述深度空洞位置的深度值；
若4个邻近位置有3个深度有效值，则求所述3个深度有效值的众数，若众数不存在，则求深度有效值的最大值，以所述最大值为所述深度空洞位置的深度值；
若4个邻近位置有2个深度有效值，则求所述2个深度有效值的众数，若众数不存在，则求深度有效值的最大值，以所述最大值为所述深度空洞位置的深度值；
若4个邻近位置有1个深度有效值，则以所述1个深度有效值为所述深度空洞位置的深度值；
若4个邻近位置有0个深度有效值，则先不做处理，直至满足上述4种情况之一，则以所述方式填补；
S703：完成对待测物体深度图像的深度空洞填补后，获取待测物体的改善深度图像。
优选的，步骤S800中，对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建通过以下步骤进行：
S801：以待测物体的掩模图像的区域像素点和深度有效值范围为约束，获取待测物体的改善深度图像上对应像素位置的深度数据；
S802：对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取所述待测物体的三维点云。
优选的，步骤S900中，提取所述待测物体点云的最小外接长方体的长轴和短轴通过以下步骤进行：
S901：获取待测物体的三维点云的中心以及X轴、Y轴和Z轴，构建所述待测物体的三维点云的最小外接长方体的坐标系；
S902：根据所述待测物体的三维点云的最小外接长方体及长方体中心，计算由所述中心引出的半长轴和半短轴，通过倍数关系获得所述待测物体的三维点云的最小外接长方体的长轴和短轴，并根据所述最小外接长方体的长轴和短轴计算所述待测物体的长度和宽度。
本公开还提供了一种物体二维尺寸测量装置，包括：RGB-D相机和图像处理模块，其中，
所述图像处理模块包括：
标定单元，用于对所述RGB-D相机进行标定；
配准单元，用于对所述RGB-D相机进行配准；
图像分割单元，用于接收并分割所述RGB-D相机拍摄获取的待测物体所在区域和待测物体背景区域的彩色图像，获取待测物体的彩色图像；
掩模制作单元，用于接收并处理所述待测物体的彩色图像，获取待测物体的掩模图像；
深度空洞填补单元，用于接收并改善所述RGB-D相机拍的获取的待测物体所在区域和待测物体背景区域的深度图像，获取待测物体的改善深度图像；
三维重建单元，用于对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取待测物体的三维点云；
尺寸计算单元，用于从提取所述待测物体的三维点云的最小外接长方体的半长轴和半短轴，并通过倍数关系和单位换算获取待测物体的长度和宽度。
与现有技术相比，本公开带来的有益效果为：
1、仅通过较少的测前准备(如RGB-D相机标定和配准，相关参数设定等)即可实现后续的多次测量，减少了测量过程中参数设定的时间，提高了测量效率，且后续测量过程无人工干预，极大地提高了测量自动化程度；
2、通过彩色图像和深度图像结合的方法进行计算，图像处理计算步骤较现有技术相比相对简单，步骤少，且利用图像处理算法对相机的成像缺陷进行自动判断和弥补，有效地提高了测量的准确率。
附图说明
图1为本公开一个实施例提供的一种物体二维尺寸的测量方法流程图；
图2为本公开一个实施例提供的用于RGB-D相机标定的标定板；
图3为本公开一个实施例提供的由RGB-D相机拍摄的待测物体所在区域和背景区域的彩色图像；
图4为本公开一个实施例提供的分割出的待测物体所在区域的彩色图像；
图5为本公开一个实施例提供的分割出的待测物体所在区域的彩色图像的二值化图像；
图6为本公开一个实施例提供的分割出的待测物体所在区域的彩色图像的二值化图像进行形态学处理后获得的掩模图像；
图7为本公开一个实施例提供的由RGB-D相机获取的待测物体的深度图像；
图8为本公开一个实施例提供的待测物体的深度图像进行深度空洞填补之后的深度图像；
图9为本公开一个实施例提供的待测物体未进行深度空洞填补三维重建点云示例效果图；
图10为本公开一个实施例提供的待测物体进行深度空洞填补后三维重建点云示例效果图；
图11为本公开一个实施例提供的待测物体三维重建点云的最小外接长方体及坐标系；
图12是本公开另一个实施例提供的一种物体二维尺寸的测量装置结构示意图。
具体实施方式
下面将参照附图1至附图12详细地描述本公开的具体实施例。虽然附图中显示了本公开的具体实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式，而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本公开的保护范围当视所附权利要求所界定者为准。
为便于对本公开实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本公开实施例的限定。
一个实施例中，如图1所示，本公开提供一种物体二维尺寸的测量方法，包括如下步骤：
S100：对RGB-D相机进行标定；
S200：利用标定后的RGB-D相机拍摄获取待测物体所在区域和待测物体背景区域的彩色图像(如图3所示)及深度图像(如图7所示)；
S300：对RGB-D相机进行配准，获取所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系，获取所述待测物体所在区域和待测物体背景区域的深度图像上每个像素对应彩色图像的像素点的位置和R、G、B三个通道的值；
S400：以所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系为约束，以所述R、G、B三个通道的值为参考，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割，获取待测物体的彩色图像；
S500：对所述待测物体的彩色图像进行二值化处理，获得待测物体的二值化图像；
S600：对所述待测物体的二值化图像进行形态学闭操作，获得待测物体的改善二值化图像，以所述改善二值化图像作为待测物体的掩模图像；
S700：根据所述待测物体所在区域和待测物体背景区域的深度图像确定待测物体的深度有效值范围，并进行深度空洞填补，获得待测物体的改善深度图像；
S800：以所述待测物体的掩模图像的区域像素点和深度有效值为范围约束，对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取待测物体的三维点云；
S900：提取所述待测物体的三维点云的最小外接长方体，根据所述最小外接长方体的长轴和短轴计算待测物体的长度和宽度。
本实施例提供了一种针对物体二维尺寸的新的测量方案，该方案仅需要通过较少的测前准备(如RGB-D相机标定和配准，相关参数设定等)即可实现后续的多次测量，减少了测量过程中参数设定的时间，提高了测量效率，且后续测量过程无人工干预，极大地提高了测量自动化程度；另外，本实施通过彩色图像和深度图像结合的方法进行对物体的二维尺寸进行计算，较现有技术计算过程简单，且利用图像处理算法对相机的成像缺陷进行自动判断和弥补，有效地提高了测量的准确率。
另一个实施例中，步骤S100中，对所述RGB-D相机进行标定通过以下步骤进行：
S101：使用带有标志点的标定板进行标定，从8个不同方位拍摄如图2所示的标定板，其中，所述标志点包括环形编码点和圆形非编码点；
S102：利用所述RGB-D相机拍摄RGB标定板图像和红外标定板图像，分别在所述RGB标定板图像和红外标定板图像上识别环形编码点和圆形非编码点，获得非编码点和编码点的中心及编号；
S103：以RGB-D相机的理论内参数作为内方位参数初值，实施下列子步骤：
S1031：完成拍摄的标定板的RGB图像和红外图像的相对定向并重建编码点三维坐标；
S1032：利用后方交会计算其余图片的外方位参数；
S1033：利用前方交会计算所有非编码点的三维坐标；
S1034：利用光束平差迭代优化所有内、外方位参数以及标志点的三维坐标；
S1035：加入比例尺，得到标志点实际的三维坐标；
S1036：利用计算得到的外方位参数，获取所述彩色相机的内参数矩阵Krgb、深度相机的内参数矩阵Kir及深度相机相对于彩色相机的外参数矩阵[R|T]，其中，R是旋转矩阵，T是平移矩阵。
另一个实施例中，步骤S300中，对所述RGB-D相机进行配准通过以下步骤进行：
S301：利用构成RGB-D相机的彩色相机和深度相机之间的投影关系构建彩色图像与深度图像像素位置间的映射关系，并通过深度图像获取每个像素点上的深度信息；
该步骤中，彩色图像与深度图像像素位置间的映射关系可表示为：
Zrgb*prgb＝Krgb*Rir_rgb*Kir-1*Zir*pir+Krgb*Tir_rgb
其中，Zrgb表示彩色相机空间中一点P的z坐标，prgb表示点P在彩色图像平面上的投影的坐标，Krgb表示彩色相机的内参数矩阵，Rir_rgb表示深度相机坐标系旋转到彩色相机坐标系的旋转矩阵，Kir表示深度相机的内参数矩阵，Zir表示深度相机空间中的一点P的z坐标，pir表示点P在深度图像平面上的投影的坐标，Tir_rgb表示深度相机坐标系原点平移到彩色相机坐标系原点的平移矩阵，
且
Rir_rgb＝Rrgb*Rir-1
Tir_rgb＝Trgb-Rir_rgb*Tir
其中，Rrgb表示彩色相机坐标系相对世界坐标系的旋转矩阵，Rir表示深度相机坐标系相对世界坐标系的旋转矩阵，Trgb表示彩色相机坐标系原点平移到世界坐标系原点的平移矩阵，Tir表示红外坐标系原点平移到世界坐标系原点的平移矩阵。
S302：计算深度图像上每个像素对应彩色图像的像素点的位置和R、G、B三个通道的值，实现彩色图像与深度图像的对齐。
另一个实施例中，步骤S400中，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割通过以下步骤进行：
S401：根据待测物体所在区域和待测物体背景区域的R、G、B值之间存在的差值，设定待测物体所在区域和待测物体背景区域之间的色彩分割阈值；
该步骤中，对于所述彩色图像上任意像素位置(i，j)，如果满足
R(i，j)≤Rthreshold
G(i，j)≤Gthreshold
B(i，j)≤Bthreshold
则认为(i，j)像素为所述待测物体区域。
其中，R(i，j)，G(i，j)，B(i，j)分别表示所述彩色图像上任意像素位置(i，j)处的R、G、B值，Rthreshold，Gthreshold，Bthreshold分别表示用于对所述彩色图像待测物体区域分割设定的R、G、B的阈值。
S402：根据设定的色彩分割阈值，从包含有待测物体所在区域和待测物体背景区域的彩色图像中分割出待测物体所在区域，获取待测物体的彩色图像，示例性的，Rthreshold，Gthreshold，Bthreshold分别为120，120，120时分割的图像如图4所示。
另一个实施例中，步骤S500中，对所述待测物体的彩色图像进行二值化处理通过以下步骤进行：
S501：对所述待测物体的彩色图像进行置灰处理，获得所述待测物体的灰度图像；
S502：对所述待测物体的灰度图像进行二值化，将所述待测物体的灰度图像的多个灰阶归化为两个灰阶，其中，所述待测物体所在区域的像素灰度为255，待测物体背景区域的像素灰度为0，获得待测物体的二值化图像，如图5所示。
另一个实施例中，步骤S600中，对所述待测物体的二值化图像进行形态学闭操作通过以下步骤进行：
S601：确定待测物体的二值化图像所需的膨胀核(dx，dy)和腐蚀核(ex，ey)及取值条件；
取值条件表示为：
dx＝dy
ex＝ey
ex-dx＝Const
其中，Const为[0，10]的常数。
S602：对所述待测物体的二值化图像进行膨胀处理，获取内部连通的膨胀图像；
S603：对所述膨胀图像进行腐蚀处理，获取边缘平滑的腐蚀图像，所述边缘平滑的腐蚀图像即为待测物体的掩模图像。
示例性的，当(dx，dy)、(ex，ey)、Const分别取值(5，5)、(14，14)、9时，闭操作处理结果图像如图6所示。
另一个实施例中，步骤S700中，对所述待测物体所在区域和待测物体背景区域的深度图像进行深度空洞填补通过以下步骤进行：
S701：根据所述待测物体所在区域的深度图像和待测物体背景区域的深度图像，确定待测物体的深度有效值范围；
该步骤中，确定待测物体的深度有效值范围通过如下方式进行：
h＝H-Δh
Δh＜h0/2
其中，h表示深度有效值，H表示相机到地面的距离，Δh表示设定高度阈值，一般该阈值设定不超过待测物体的一半高度，即h0/2。
S702：遍历所述待测物体所在区域的深度图像，判断所述待测物体深度图像中存在深度空洞的像素坐标位置(i，j)，并判断所述深度空洞位置的上、下、左、右4个邻近位置(i-1，j)，(i+1，j)，(i，j-1)，(i，j+1)的深度a，b，c，d是否为深度有效值，并根据邻近位置的深度有效值对深度空洞位置进行填补。
S703：完成对待测物体深度图像的深度空洞填补后，获取待测物体的改善深度图像，如图8所示，图8为H为1120mm，h0为310mm，Δh为150mm深度填补之后的改善深度图像。
另一个实施例中，步骤S800中，对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建通过以下步骤进行：
S801：以待测物体的掩模图像的区域像素点和深度有效值范围为范围约束，获取待测物体的改善深度图像上对应像素位置的深度数据；
S802：对所述待测物体的改善深度图像上对应像素位置(i，j)的深度数据进行三维重建，获取所述待测物体的三维点云。
该步骤中，具体三维重建过程表示为：
Xi＝d(i，j)*(xi-cx)/fx
Yi＝d(i，j)*(yi-cy)/fy
Zi＝d(i，j)
其中，d(i，j)表示待测物体深度图像上(i，j)位置处的深度值；xi和yi分别等于i和j；cx和cy分别表示深度相机在x和y方向的中心点；fx和fy分别表示深度相机在x和y方向的焦距；(Xi，Yi，Zi)表示对深度图像上(i，j)处的深度进行三维重建后的空间坐标；集合所有重建的(Xi，Yi，Zi)获取待测物体的三维点云。
如图9所示，为未进行深度空洞填补三维重建点云，图10为经过深度空洞填补后的三维重建点云。
另一个实施例中，步骤S900中，提取所述待测物体点云的最小外接长方体的边长通过以下步骤进行：
S901：获取待测物体的三维点云的中心以及X轴、Y轴和Z轴，构建所述待测物体的三维点云的最小外接长方体的坐标系，如图11所示；
该步骤中，可通过方向包围盒法或固定方向凸包法获取待测物体的三维点云的中心以及X轴、Y轴和Z轴，示例性的，若采用方向包围盒法，根据步骤S802的三维重建点云坐标(Xi，Yi，Zi)，利用主成分分析法计算所有(Xi，Yi，Zi)的最大特征值和最大特征向量，根据最大特征向量可得到方向包围盒的X、Y、Z主轴，再将所有的(Xi，Yi，Zi)坐标投影至方向包围盒的X、Y、Z主轴上得到(Xip，Yip，Zip)，对所有(Xip，Yip，Zip)求和并平均得到待测物体的三维点云的中心，将X、Y、Z主轴平移至三维点云的中心，得到待测物体的三维点云的X轴、Y轴和Z轴，同时得到待测物体三维点云的最小外接长方体的坐标系；若采用固定方向凸包法，则首先选择多个固定方向(如10个)，然后用对应固定方向的方向向量包含所有(Xi，Yi，Zi)，当包含足够紧密时，求取主方向向量作为固定方向凸包的X、Y、Z主轴，后续计算与方向包围盒算法相同，不再赘述。
S902：根据所述待测物体的三维点云的最小外接长方体及长方体中心，计算由所述长方体中心引出的半长轴|OX|和半短轴|OY|，通过2倍关系获得所述待测物体的三维点云的最小外接长方体的长轴和短轴，并根据所述最小外接长方体的长轴和短轴计算所述待测物体的长度L和宽度W，其中，
L＝2*|OX|
W＝2*|OY|
根据图11所示的实施例，待测物体(7#篮球)的测量结果为L为23.37cm，W为23.29cm，实际皮尺测量为23.70±0.5cm，可见测量结果误差很小。
另一个实施例中，如图12所示，本公开还提供了一种物体二维尺寸测量装置，包括：RGB-D相机和图像处理模块，其中，
所述图像处理模块包括：
标定单元，用于对所述RGB-D相机进行标定；
配准单元，用于对所述RGB-D相机进行配准；
图像分割单元，用于接收并分割所述RGB-D相机拍摄获取的待测物体所在区域和待测物体背景区域的彩色图像，获取待测物体的彩色图像；
掩模制作单元，用于接收并处理所述待测物体的彩色图像，获取待测物体的掩模图像；
深度空洞填补单元，用于接收并改善所述RGB-D相机拍的获取的待测物体所在区域和待测物体背景区域的深度图像，获取待测物体的改善深度图像；
三维重建单元，用于对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取待测物体的三维点云；
尺寸计算单元，用于从提取所述待测物体的三维点云的最小外接长方体的半长轴和半短轴，并通过倍数关系获取待测物体的长度和宽度。
以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (10)

1.一种物体二维尺寸的测量方法，包括如下步骤：
S100：对RGB-D相机进行标定；
S200：利用标定后的RGB-D相机拍摄获取待测物体所在区域和待测物体背景区域的彩色图像及深度图像；
S300：对RGB-D相机进行配准，获取所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系，获取所述待测物体所在区域和待测物体背景区域的深度图像上每个像素对应彩色图像的像素点的位置和R、G、B通道的值；
S400：以所述待测物体所在区域和待测物体背景区域的彩色图像与深度图像的像素位置间的映射关系为约束，以所述R、G、B通道的值为参考，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割，获取待测物体的彩色图像；
S500：对所述待测物体的彩色图像进行二值化处理，获得待测物体的二值化图像；
S600：对所述待测物体的二值化图像进行形态学闭操作，获得待测物体的改善二值化图像，以所述改善二值化图像作为待测物体的掩模图像；
S700：根据所述待测物体所在区域和待测物体背景区域的深度图像确定待测物体的深度有效值范围，并进行深度空洞填补，获得待测物体的改善深度图像；
S800：以所述待测物体的掩模图像的区域像素点和深度有效值范围为约束，对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取待测物体的三维点云；
S900：提取所述待测物体的三维点云的最小外接长方体，根据所述最小外接长方体的长轴和短轴计算待测物体的长度和宽度。
2.根据权利要求1所述的方法，其中，优选的，步骤S100中，对所述RGB-D相机进行标定通过以下步骤进行：
S101：使用带有标志点的标定板进行标定，从8个不同方位拍摄标定板，其中，所述标志点包括环形编码点和圆形非编码点；
S102：利用所述RGB-D相机拍摄RGB标定板图像和红外标定板图像，分别在所述RGB标定板图像和红外标定板图像上识别环形编码点和圆形非编码点，获得非编码点和编码点的中心及编号；
S103：以RGB-D相机的理论内参数作为内方位参数初值，实施下列子步骤：
S1031：完成拍摄的标定板的RGB图像和红外图像的相对定向并重建编码点三维坐标；
S1032：利用后方交会计算其余图片的外方位参数；
S1033：利用前方交会计算所有非编码点的三维坐标；
S1034：利用光束平差迭代优化所有内、外方位参数以及标志点的三维坐标；
S1035：加入比例尺，得到标志点实际的三维坐标；
S1036：利用计算得到的外方位参数，获取所述彩色相机的内参数矩阵Krgb、深度相机的内参数矩阵Kir及深度相机相对于彩色相机的外参数矩阵[R|T]，其中，R是旋转矩阵，T是平移矩阵。
3.根据权利要求1所述的方法，其中，步骤S300中，对所述RGB-D相机进行配准通过以下步骤进行：
S301：利用构成RGB-D相机的彩色相机和深度相机之间的投影关系构建彩色图像与深度图像像素位置间的映射关系，并通过深度图像获取每个像素点上的深度信息；
S302：计算深度图像上每个像素对应彩色图像的像素点的位置和R、G、B三个通道的值，实现彩色图像与深度图像的对齐。
4.根据权利要求1所述的方法，其中，步骤S400中，对所述待测物体所在区域和待测物体背景区域的彩色图像进行色彩阈值分割通过以下步骤进行：
S401：根据待测物体所在区域和待测物体背景区域的R、G、B值之间存在的差值，设定待测物体所在区域和待测物体背景区域之间的色彩分割阈值；
S402：根据设定的色彩分割阈值，从包含有待测物体所在区域和待测物体背景区域的彩色图像中分割出待测物体所在区域，获取待测物体的彩色图像。
5.根据权利要求1所述的方法，其中，步骤S500中，对所述待测物体的彩色图像进行二值化处理通过以下步骤进行：
S501：对所述待测物体的彩色图像进行置灰处理，获得所述待测物体的灰度图像；
S502：对所述待测物体的灰度图像进行二值化，将所述待测物体的灰度图像的多个灰阶归化为两个灰阶，其中，所述待测物体所在区域的像素灰度为255，待测物体背景区域的像素灰度为0，获得待测物体的二值化图像。
6.根据权利要求1所述的方法，其中，步骤S600中，对所述待测物体的二值化图像进行形态学闭操作通过以下步骤进行：
S601：确定待测物体的二值化图像所需的膨胀核和腐蚀核；
S602：对所述待测物体的二值化图像进行膨胀处理，获取内部连通的膨胀图像；
S603：对所述膨胀图像进行腐蚀处理，获取边缘平滑的腐蚀图像，所述边缘平滑的腐蚀图像即为待测物体的掩模图像。
7.根据权利要求1所述的方法，其中，步骤S700中，对所述待测物体所在区域和待测物体背景区域的深度图像进行深度空洞填补通过以下步骤进行：
S701：根据所述待测物体所在区域的深度图像和待测物体背景区域的深度图像，通过下式确定待测物体的深度有效值范围：
h＝H-△h
△h＜h0/2
其中，h表示深度有效值范围，H表示相机到地面的距离，△h表示设定高度阈值，一般该阈值设定不超过待测物体的一半高度，即h0/2；
S702：遍历所述待测物体所在区域的深度图像，判断所述待测物体深度图像中存在深度空洞的像素坐标位置，并判断所述深度空洞位置的上、下、左、右4个邻近位置深度是否有效，并根据邻近位置的深度有效值对深度空洞位置进行填补，其中，判断所述深度空洞位置的上、下、左、右4个邻近位置深度是否有效通过以下方式进行：
若4个邻近位置均为深度有效值，则求所述4个深度有效值的众数，若众数不存在，则求深度有效值的最大值，以所述最大值为所述深度空洞位置的深度值；
若4个邻近位置有3个深度有效值，则求所述3个深度有效值的众数，若众数不存在，则求深度有效值的最大值，以所述最大值为所述深度空洞位置的深度值；
若4个邻近位置有2个深度有效值，则求所述2个深度有效值的众数，若众数不存在，则求深度有效值的最大值，以所述最大值为所述深度空洞位置的深度值；
若4个邻近位置有1个深度有效值，则以所述1个深度有效值为所述深度空洞位置的深度值；
若4个邻近位置有0个深度有效值，则先不做处理，直至满足上述4种情况之一，则以所述方式填补；
S703：完成对待测物体深度图像的深度空洞填补后，获取待测物体的改善深度图像。
8.根据权利要求1所述的方法，其中，步骤S800中，对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建通过以下步骤进行：
S801：以待测物体的掩模图像的区域像素点和深度有效值范围为约束，获取待测物体的改善深度图像上对应像素位置的深度数据；
S802：对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取所述待测物体的三维点云。
9.根据权利要求1所述的方法，其中，步骤S900中，提取所述待测物体的三维点云的最小外接长方体的长轴和短轴通过以下步骤进行：
S901：获取待测物体的三维点云的中心以及X轴、Y轴和Z轴，构建所述待测物体的三维点云的最小外接长方体的坐标系；
S902：根据所述待测物体的三维点云的最小外接长方体及长方体中心，计算由所述长方体中心引出的半长轴和半短轴，通过倍数关系获得所述待测物体的三维点云的最小外接长方体的长轴和短轴，并根据所述最小外接长方体的长轴和短轴计算待测物体的长度和宽度。
10.一种用于实施权利要求1所述方法的物体二维尺寸测量装置，包括：RGB-D相机和图像处理模块，其中，
所述图像处理模块包括：
标定单元，用于对所述RGB-D相机进行标定；
配准单元，用于对所述RGB-D相机进行配准；
图像分割单元，用于接收并分割所述RGB-D相机拍摄获取的待测物体所在区域和待测物体背景区域的彩色图像，获取待测物体的彩色图像；
掩模制作单元，用于接收并处理所述待测物体的彩色图像，获取待测物体的掩模图像；
深度空洞填补单元，用于接收并改善所述RGB-D相机拍的获取的待测物体所在区域和待测物体背景区域的深度图像，获取待测物体的改善深度图像；
三维重建单元，用于对所述待测物体的改善深度图像上对应像素位置的深度数据进行三维重建，获取待测物体的三维点云；
尺寸计算单元，用于提取所述待测物体的三维点云的最小外接长方体，并根据所述最小外接长方体的长轴和短轴获取待测物体的长度和宽度。
CN202010310276.5A 2020-04-17 2020-04-17 一种物体二维尺寸的测量方法及测量装置 Active CN111524193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010310276.5A CN111524193B (zh) 2020-04-17 2020-04-17 一种物体二维尺寸的测量方法及测量装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010310276.5A CN111524193B (zh) 2020-04-17 2020-04-17 一种物体二维尺寸的测量方法及测量装置

Publications (2)

Publication Number Publication Date
CN111524193A true CN111524193A (zh) 2020-08-11
CN111524193B CN111524193B (zh) 2022-05-03

Family

ID=71903349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010310276.5A Active CN111524193B (zh) 2020-04-17 2020-04-17 一种物体二维尺寸的测量方法及测量装置

Country Status (1)

Country Link
CN (1) CN111524193B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112550A (zh) * 2020-12-23 2021-07-13 合肥工业大学 一种用于摄像机内外参数标定的编码平面靶标及其编码方法
CN115410135A (zh) * 2022-11-01 2022-11-29 中国民航大学 自主式搬运的航空行李特征感知重构方法、系统及其应用
CN116524000A (zh) * 2023-04-10 2023-08-01 苏州大学 基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067431A (zh) * 2017-01-16 2017-08-18 河海大学常州校区 一种基于Kinect的物体体积计算方法
US20180218513A1 (en) * 2017-02-02 2018-08-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN108399632A (zh) * 2018-03-02 2018-08-14 重庆邮电大学 一种联合彩色图像的rgb-d相机深度图像修复方法
CN108592788A (zh) * 2018-03-29 2018-09-28 湖南大学 一种面向喷涂生产线的3d智能相机系统与工件在线测量方法
CN109472822A (zh) * 2018-12-29 2019-03-15 上海大学 基于深度图像处理的物体尺寸测量方法
CN109785379A (zh) * 2018-12-17 2019-05-21 中国科学院长春光学精密机械与物理研究所 一种对称物体尺寸及重量的测量方法及测量系统
US20190213389A1 (en) * 2018-01-05 2019-07-11 Aquifi, Inc. Systems and methods for volumetric sizing
WO2020067168A1 (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 採寸装置及び採寸方法
CN111008966A (zh) * 2019-12-02 2020-04-14 深圳市繁维医疗科技有限公司 基于rgbd的单视角人体测量方法、装置以及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067431A (zh) * 2017-01-16 2017-08-18 河海大学常州校区 一种基于Kinect的物体体积计算方法
US20180218513A1 (en) * 2017-02-02 2018-08-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing
US20190213389A1 (en) * 2018-01-05 2019-07-11 Aquifi, Inc. Systems and methods for volumetric sizing
CN108399632A (zh) * 2018-03-02 2018-08-14 重庆邮电大学 一种联合彩色图像的rgb-d相机深度图像修复方法
CN108399610A (zh) * 2018-03-20 2018-08-14 上海应用技术大学 一种融合rgb图像信息的深度图像增强方法
CN108592788A (zh) * 2018-03-29 2018-09-28 湖南大学 一种面向喷涂生产线的3d智能相机系统与工件在线测量方法
WO2020067168A1 (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 採寸装置及び採寸方法
CN109785379A (zh) * 2018-12-17 2019-05-21 中国科学院长春光学精密机械与物理研究所 一种对称物体尺寸及重量的测量方法及测量系统
CN109472822A (zh) * 2018-12-29 2019-03-15 上海大学 基于深度图像处理的物体尺寸测量方法
CN111008966A (zh) * 2019-12-02 2020-04-14 深圳市繁维医疗科技有限公司 基于rgbd的单视角人体测量方法、装置以及计算机可读存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
GUOXIANG SUN等: ""Three-Dimensional Point Cloud Reconstruction and Morphology Measurement Method for Greenhouse Plants Based on the Kinect Sensor Self-Calibration"", 《AGRONOMY》 *
MARKUS YLIMKI等: ""Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement"", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 *
WENPAN LI等: ""Accurate and efficient 3D reconstruction system for the human body with color texture based on DIC"", 《OPTICS AND LASERS IN ENGINEERING》 *
刘路平: ""Kinect尺寸测量方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张扣文等: ""基于双目视觉和散斑投射的快速形貌测量"", 《激光与红外》 *
徐胜勇等: ""使用Kinect传感器的油菜叶片面积测量方法"", 《中国油料作物学报》 *
梁晋等: ""高亮度下近红外激光散斑投射的轮廓测量"", 《中国测试》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112550A (zh) * 2020-12-23 2021-07-13 合肥工业大学 一种用于摄像机内外参数标定的编码平面靶标及其编码方法
CN113112550B (zh) * 2020-12-23 2022-08-02 合肥工业大学 一种用于摄像机内外参数标定的编码平面靶标及其编码方法
CN115410135A (zh) * 2022-11-01 2022-11-29 中国民航大学 自主式搬运的航空行李特征感知重构方法、系统及其应用
CN115410135B (zh) * 2022-11-01 2023-04-07 中国民航大学 自主式搬运的航空行李特征感知重构方法、系统及其应用
CN116524000A (zh) * 2023-04-10 2023-08-01 苏州大学 基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统
CN116524000B (zh) * 2023-04-10 2024-09-06 苏州大学 基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统

Also Published As

Publication number Publication date
CN111524193B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN110689579B (zh) 基于合作目标的快速单目视觉位姿测量方法及测量系统
CN111524193B (zh) 一种物体二维尺寸的测量方法及测量装置
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
CN106408609B (zh) 一种基于双目视觉的并联机构末端运动位姿检测方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
Kurazume et al. Simultaneous 2D images and 3D geometric model registration for texture mapping utilizing reflectance attribute
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN111144213B (zh) 一种对象检测方法和相关设备
CN109615654B (zh) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法
CN107977996B (zh) 基于靶标标定定位模型的空间目标定位方法
CN113470090A (zh) 基于sift-shot特征的多固态激光雷达外参标定方法
CN112308916A (zh) 一种基于图像靶标的目标位姿识别方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN111640158A (zh) 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
CN110930382A (zh) 基于标定板特征点提取的点云拼接精度评估方法及系统
CN114283203A (zh) 一种多相机系统的标定方法及系统
CN116778288A (zh) 一种多模态融合目标检测系统及方法
CN114396875A (zh) 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN112929626A (zh) 一种基于智能手机影像的三维信息提取方法
CN114608522B (zh) 一种基于视觉的障碍物识别与测距方法
CN113947724A (zh) 一种基于双目视觉的线路覆冰厚度自动测量方法
CN110851978B (zh) 一种基于可见性的摄像机位置优化方法
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant