CN108171715B - 一种图像分割方法及装置 - Google Patents

一种图像分割方法及装置 Download PDF

Info

Publication number
CN108171715B
CN108171715B CN201711268402.XA CN201711268402A CN108171715B CN 108171715 B CN108171715 B CN 108171715B CN 201711268402 A CN201711268402 A CN 201711268402A CN 108171715 B CN108171715 B CN 108171715B
Authority
CN
China
Prior art keywords
point cloud
equation
frame
dimensional point
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711268402.XA
Other languages
English (en)
Other versions
CN108171715A (zh
Inventor
陈平
卢维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201711268402.XA priority Critical patent/CN108171715B/zh
Publication of CN108171715A publication Critical patent/CN108171715A/zh
Application granted granted Critical
Publication of CN108171715B publication Critical patent/CN108171715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像分割方法及装置，该方法包括：获取水平视角下采集的第一帧三维点云图像，以及获取第一地面方程、特征变换；根据所述第一地面方程以及所述第一帧三维点云图像中点云数据确定所述第一帧三维点云图像的第二地面方程；根据所述特征变换和所述第二地面方程确定所述第一帧三维点云图像的第一天花板方程；根据所述第二地面方程以及所述第一天花板方程确定第一待分割数据，所述第一待分割数据为所述第一帧三维点云图像中除了位于所述第二地面方程中的点云数据和所述第一天花板方程中的点云数据之外的点云数据；根据所述第一待分割数据进行图像分割。

Description

一种图像分割方法及装置
技术领域
本申请涉及图像处理领域，尤其涉及一种图像分割方法及装置。
背景技术
随着软硬件设备性能的提高和人工智能技术的发展，三维摄像设备越来越受到广泛地关注，三维摄像设备在未知环境下执行自主性任务过程中，需要对所处环境下的场景进行分析和理解，即像人脑一般识别和理解当前视野下的目标，能够智能地感知自身所处的环境和完成人工规定的任务，而对场景获取的图像进行分割是实现场景分析或理解的理论基础和前提条件。
现有技术中，三维图像的室内即时定位与地图重建等场景分析主要为对图像直接进行识别，由于地面和天花板的干扰，极大的增加了图像分割时的数据量，另外，对三维图像的深度信息直接处理需要较长的处理时间，使得算法的复杂度较高且实时性较差，并且很容易导致图像分割时对目标的分割错误。
因此，亟需一种图像分割方法，以实现实时地对三维图像进行场景分割。
发明内容
本申请实施例提供一种图像分割方法及装置，应用于室内环境下的三维摄像设备，以实现对图像实时地进行场景分割。
本申请实施例提供一种图像分割方法，所述方法包括：
获取水平视角下采集的第一帧三维点云图像，以及获取第一地面方程、特征变换；所述第一地面方程为第二帧三维点云图像中的地面方程，所述特征变换为三维点云图像中地面方程与天花板方程之间的变换关系；所述第二帧三维点云图像为所述第一帧三维点云图像之前的第M帧三维点云图像，M为大于或等于1的正整数；
根据所述第一地面方程以及所述第一帧三维点云图像中点云数据确定所述第一帧三维点云图像的第二地面方程；
根据所述特征变换和所述第二地面方程确定所述第一帧三维点云图像的第一天花板方程；
根据所述第二地面方程以及所述第一天花板方程确定第一待分割数据，所述第一待分割数据为所述第一帧三维点云图像中除了位于所述第二地面方程中的点云数据和所述第一天花板方程中的点云数据之外的点云数据；
根据所述第一待分割数据进行图像分割。
一种可能的实现方式，根据所述第一地面方程以及所述第一帧三维点云图像中点云数据确定所述第一帧三维点云图像的第二地面方程，包括：
选取所述第一帧三维点云图像第一预设区域内的N个点云数据作为拟合所述第二地面方程的拟合数据；N为大于或等于1的正整数；
根据所述第一地面方程和所述拟合数据确定所述第一帧三维点云图像的第二地面方程。
一种可能的实现方式，所述获取特征变换，包括：
获取在水平视角下采集的第三帧三维点云图像和旋转视角下采集的第四帧三维点云图像；所述旋转视角为相对于所述水平视角沿垂直方向向上旋转第一预设角度的视角；
根据所述第三帧三维点云图像的点云数据，确定所述第三帧三维点云图像的第三地面方程；
根据所述第四帧三维点云图像的点云数据，确定所述第四帧三维点云图像的第二天花板方程；
根据所述第三地面方程和所述第二天花板方程确定所述特征变换。
一种可能的实现方式，所述方法还包括：
获取旋转视角下采集的第五帧三维点云图像；所述第五帧三维点云图像为所述第一帧三维点云图像之后的第P帧三维点云图像；
根据所述第一天花板方程以及所述第五帧三维点云图像中点云数据确定所述第五帧三维点云图像的第三天花板方程；
根据所述特征变换和所述第三天花板方程确定所述第五帧三维点云图像的第四地面方程；
根据所述第四地面方程以及所述第三天花板方程确定第二待分割数据，所述第二待分割数据为所述第五帧三维点云图像中除了位于所述第四地面方程和所述第三天花板方程中的点云数据之外的点云数据；
根据所述第二待分割数据进行图像分割。
一种可能的实现方式，根据所述第一天花板方程以及所述第五帧三维点云图像中点云数据确定所述第五帧三维点云图像的第三天花板方程，包括：
选取所述第五帧三维点云图像第二预设区域内的K个数据点作为拟合所述第三天花板方程的拟合数据；
根据所述第一天花板方程和所述第三天花板方程的拟合数据确定所述第五帧三维点云图像的第三天花板方程；K为大于等于1的正整数。
本申请实施例提供一种图像分割装置，所述装置包括：
获取单元，用于获取水平视角下采集的第一帧三维点云图像，以及获取第一地面方程、特征变换；所述第一地面方程为第二帧三维点云图像中的地面方程，所述特征变换为三维点云图像中地面方程与天花板方程之间的变换关系；所述第二帧三维点云图像为所述第一帧三维点云图像之前的第M帧三维点云图像，M为大于或等于1的正整数；
处理单元，用于根据所述第一地面方程以及所述第一帧三维点云图像中点云数据确定所述第一帧三维点云图像的第二地面方程；根据所述特征变换和所述第二地面方程确定所述第一帧三维点云图像的第一天花板方程；根据所述第二地面方程以及所述第一天花板方程确定第一待分割数据，所述第一待分割数据为所述第一帧三维点云图像中除了位于所述第二地面方程中的点云数据和所述第一天花板方程中的点云数据之外的点云数据；根据所述第一待分割数据进行图像分割。
一种可能的实现方式，所述处理单元，还用于选取所述第一帧三维点云图像第一预设区域内的N个点云数据作为拟合所述第二地面方程的拟合数据；N为大于或等于1的正整数；根据所述第一地面方程和所述拟合数据确定所述第一帧三维点云图像的第二地面方程。
一种可能的实现方式，所述获取单元，还用于获取在水平视角下采集的第三帧三维点云图像和旋转视角下采集的第四帧三维点云图像；所述旋转视角为相对于所述水平视角沿垂直方向向上旋转第一预设角度的视角；
所述处理单元，具体用于根据所述第三帧三维点云图像的点云数据，确定所述第三帧三维点云图像的第三地面方程；根据所述第四帧三维点云图像的点云数据，确定所述第四帧三维点云图像的第二天花板方程；根据所述第三地面方程和所述第二天花板方程确定所述特征变换。
一种可能的实现方式，所述获取单元，还用于获取旋转视角下采集的第五帧三维点云图像；所述第五帧三维点云图像为所述第一帧三维点云图像之后的第P帧三维点云图像；
所述处理单元，还用于根据所述第一天花板方程以及所述第五帧三维点云图像中点云数据确定所述第五帧三维点云图像的第三天花板方程；根据所述特征变换和所述第三天花板方程确定所述第五帧三维点云图像的第四地面方程；根据所述第四地面方程以及所述第三天花板方程确定第二待分割数据，所述第二待分割数据为所述第五帧三维点云图像中除了位于所述第四地面方程和所述第三天花板方程中的点云数据之外的点云数据；根据所述第二待分割数据进行图像分割。
一种可能的实现方式，所述处理单元具体用于：
选取所述第五帧三维点云图像第二预设区域内的K个数据点作为拟合所述第三天花板方程的拟合数据；根据所述第一天花板方程和所述第三天花板方程的拟合数据确定所述第五帧三维点云图像的第三天花板方程；K为大于等于1的正整数。
本申请实施例提供一种图像分割方法及装置，通过前一帧图像中的地面方程和特征变换以及获取到的当前帧图像的点云数据，确定当前帧图像的地面方程和天花板方程，进而确定当前帧图像中待分割的点云数据，通过区域生长算法对待分割数据进行图像分割。在保证分割精度的同时，减少了分割场景所需的数据量，提升了图像分割在移动场景下的实时性和效率。
附图说明
图1为本申请实施例提供的一种图像分割方法的流程示意图；
图2为本申请实施例提供的一种三维摄像设备的示意图；
图3为本申请实施例提供的一种图像分割的示意图；
图4为本申请实施例提供的一种图像分割的示意图；
图5为本申请实施例提供的一种图像分割的示意图；
图6为本申请实施例提供的一种图像分割的示意图；
图7为本申请实施例提供的一种图像分割装置的结构示意图。
具体实施方式
图像分割是让三维摄像设备对未知环境具有感知能力的关键技术，三维摄像设备可以采集三维空间场景信息，引入深度信息后三维空间图像分割能够更有效分割图像，并能够提取场景中的目标的三维尺寸、位置和形状信息，以及识别场景中的各类目标中的平面和曲面，使得三维摄像设备相对于二维空间图像，能够实现人体检测识别、人脸检测识别、场景语义分析和地图制作定位等感知功能。
室内环境下的图像分割是实现移动平台避障、跟踪、识别等操作的前提，同时有助于获取物体的尺寸、位置和形状等信息，从而为最终构建室内环境下的移动场景分析系统提供技术支持。在移动场景下的地面和天花板平面需要随着三维摄像设备的运动不断更新，因此，在三维摄像设备中的图像分割需要能够实时地分割图像和提取目标。
室内环境下的地面和天花板通常为平面，其平面范围大，在增加图像分割时的数据量的同时，很容易导致图像分割时由于地面和天花板的干扰，导致目标分割的错误。因此，优先区分出天花板和地面，在图像分割中排除天花板和地面的数据，可以简化图像分割的拟合复杂度，提高图像分割的准确度和效率，实现在移动场景下的实时图像分割和目标检测。
如图1所示，为本申请实施例中的一种图像分割方法的流程示意图。包括以下步骤：
步骤101、获取水平视角下采集的第一帧三维点云图像，以及获取第一地面方程、特征变换；
步骤102、根据所述第一地面方程以及所述第一帧三维点云图像中点云数据确定所述第一帧三维点云图像的第二地面方程；
步骤103、根据所述特征变换和所述第二地面方程确定所述第一帧三维点云图像的第一天花板方程；
步骤104、根据所述第二地面方程以及所述第一天花板方程确定第一待分割数据；
步骤105、根据所述第一待分割数据进行图像分割。
图1所示的流程的执行主体可以为三维摄像机等三维摄像设备，例如，可以为Kinect设备等，为描述方便，以下统称为三维摄像设备。本申请实施例中，三维点云图像可以包括彩色信息与深度信息，例如，所述彩色信息可以为Lab色彩模型信息，L表示亮度(Luminosity)，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。
一种可能的实现方式，所述三维摄像设备可以根据所述第一帧三维点云图像之前的第M帧三维点云图像，第二帧三维点云图像，确定所述第一地面方程，具体步骤如下：
步骤一、获取在水平视角下采集的第二帧三维点云图像；选取所述第二帧三维点云图像第一预设区域内的N个点云数据作为拟合所述第一地面方程的拟合数据；N为大于或等于1的正整数；
室内场景中的三维摄像设备位于地面和天花板之间，三维摄像设备在水平视角下采集图像过程中的成像坐标系可以如图2所示，所述三维摄像设备的xz平面与地面和天花板保持平行，即三维摄像设备的成像平面与地面或者天花板相互垂直，且三维摄像设备的有效成像区域位于[zmin,zmax]之间，例如，所述有效成像区域为图中所示201的区域。
所述第二帧三维点云图像可以为包括颜色信息和深度信息的三维点云图像。例如，本申请实施例提供一种图像分割的示意图，如图4所示，在水平视角下采集的三维点云图像，地面处于图像的下半部分，因此，为减少计算量，可以选择第1行至第L行像素的区域作为第一预设区域401，将所述第一预设区域的M个点云数据确定所述第一地面方程所需的拟合数据。所述L可以根据实际需要调整，在此不做限定。
步骤二、根据所述拟合数据确定所述第二帧三维点云图像的第一地面方程。
在具体实施过程中，所述三维摄像设备可以根据随机采样一致性估计方法，确定所述第一地面方程。随机采样一致性估计方法可以从一组包含不满足该模型的局外点的观测数据集中，通过迭代方式，通过采用不断的采样和验证策略，求解出大部分数据都能满足的数学模型的参数。具体步骤如下：
在所述第一预设区域的点云数据中选择四个点作为局内点，根据所述局内点确定拟合平面方程。
将所有局外点中与拟合平面方程的距离小于预设阈值的局外点作为局内点；所述第一预设区域的点云数据中除所述局内点的其他点为局外点。
若所述局内点的数量与第一预设区域中点云数据的数量的比值，大于预设最优阈值时，则将待拟合平面方程作为第一地面方程；否则，返回选择四个点作为局内点拟合平面方程的步骤。
一种可能的实现方式，所述三维摄像设备可以根据在水平视角下采集的第三帧三维点云图像和旋转视角下采集的第四帧三维点云图像，确定所述特征变换，具体步骤如下：
步骤一、获取在水平视角下采集的第三帧三维点云图像和旋转视角下采集的第四帧三维点云图像。
其中，所述旋转视角为相对于水平视角沿垂直方向向上旋转第一预设角度的视角，即将所述三维摄像设备绕
Figure GDA0002402858290000081
轴向上旋转第一预设角度，所述第一预设角度可以根据室内场景的具体情况确定，在此不做限定。所述三维摄像设备在获取所述第三帧三维点云图像和所述第四帧三维点云图像时所处的位置相同。
步骤二、根据所述第三帧三维点云图像的点云数据，确定所述第三帧三维点云图像的第三地面方程。
其中，可以只选择所述第三帧三维点云图像的第一预设区域的N个点云数据作为确定所述第三地面方程的数据。在具体实施过程中，可以根据随机采样一致性估计方法，确定所述第三地面方程。
例如，如图4所示的第三帧三维点云图像的所述第三地面方程为
a1x+b1y+c1z+d1＝0
其中，所述a1，b1，c1，d1为所述第三地面方程的参数。
步骤三、根据所述第四帧三维点云图像的点云数据，确定所述第四帧三维点云图像的第二天花板方程。
在步骤三中，所述三维摄像设备位于天花板之下，在所述第四帧三维点云图像中，天花板通常位于图像的上半部分，因此，可以选取所述第四帧三维点云数据中的第二预设区域的N个点云数据作为所述第二天花板方程的拟合数据，利用随机采样一致性估计方法对天花板进行拟合，确定所述第二天花板方程。例如，本申请实施例提供一种图像分割的示意图，如图5所示，第二预设区域501可以为第四帧三维点云图像中第L行至最后一行的区域，以使所述第二预设区域为包括天花板点云数据的区域，所述L为大于或等于1的正整数。L的取值可以根据实际应用场景确定，在此不再赘述。所述第二天花板方程拟合方法与所述第一地面方程的确定方法相同，在此不再赘述。
例如，如图5所示的第四帧三维点云图像的所述第二天花板方程为
a2x+b2y+c2z+d2＝0
其中，所述a2，b2，c2，d2为所述第二天花板方程的参数。
步骤四、根据所述第三地面方程和所述第二天花板方程确定所述特征变换。
同一室内环境中，地面和天花板为平行的两个平面，在所述三维摄像设备移动时，地面和天花板的平行关系保持不变，即三维摄像设备在不同位置和不同视角下采集的同一帧三维点云数据中，天花板方程和地面方程都有唯一的对应关系，即特征变换。
因此，可以通过SIFT特征提取，获取所述第三地面方程中的SIFT特征点及其三维坐标，以及获取所述第四帧三维点云图像中的第二天花板方程中的SIFT特征点及其三维坐标；并根据PnP特征变换，确定当前室内环境中地面方程和天花板方程的特征变换。
具体的，可以利用尺度不变特征变换(Scale-invariant feature transform，SIFT)对不同帧中的不同视角下获得的地面方程和天花板方程中的三维点云数据进行关键点的提取，并对所述地面方程和天花板方程对应的三维点云图像进行特征匹配。
在获得n组匹配点后，通过三维位姿PnP特征变换方法，可以确定所述2帧图像的变换关系，即所述地面方程与所述天花板方程的变换关系。例如，所述第三地面方程与所述第二天花板方程的变化关系可以为：
Figure GDA0002402858290000101
其中，R为相机的姿态，即旋转的第一视角的旋转矩阵，C为相机的标定矩阵。通过SIFT特征匹配确定至少四组匹配点，就可以确定地面方程与所述天花板方程的特征变换矩阵。
例如，若确定所述第三地面方程为：
0.0291x+0.9978y+0.0597z+0.8229＝0
所述第二天花板方程为：
0.0233x-0.9510y-0.3082z+2.0149＝0
根据所述第三地面方程和所述第二天花板方程确定的特征变换矩阵为：
Figure GDA0002402858290000102
通过所述特征变换，可以使三维摄像设备在运动状态时，只需获取地面或天花板其中一个方程，即可利用该特征变换获取当前帧的三维点云图像中的另一个方程，进一步提高了图像分割的效率，节约了所述三维摄像设备的运算资源。
在步骤102中，随着所述三维摄像设备在所述室内环境中的位置的不断变化，需要不断更新地面和天花板方程。在具体实施过程中，通常相邻两帧的点云数据图像的变化较小，因而可以选取所述第一帧三维点云图像第一预设区域内的N个点云数据作为拟合所述第二地面方程的拟合数据；N为大于或等于1的正整数；可选的，通常相邻两帧的点云数据图像的变化较小，为节省不必要的计算，可以在所述第一预设区域内选择N个点云数据作为所述拟合数据；所述N个点云数据为所述第一预设区域内随机选择的10％的点云数据。
根据所述第一地面方程和所述拟合数据确定所述第一帧三维点云图像的第二地面方程。所述第二地面方程的确定方法与所述第一地面方程的确定方法相同，在此不再赘述。
综上所述，随着所述三维摄像设备在所述室内环境中的位置的不断变化，需要不断更新地面和天花板空间方程。因而利用前一次确定的地面和天花板方程作为初始方程，并根据获取的当前位置下的三维点云图像，进行新的地面方程和天花板方程的更新，减少了所述三维摄像设备的计算量，使得本申请实施例能够实时更新地面方程和天花板方程。
在步骤103中，第二地面方程与第一天花板方程的变换关系，即所述特征变换确定后，可以根据所述特征变换和第一地面方程，确定所述第一天花板方程。
例如，若确定第一地面方程为：
a3x+b3y+c3z+d3＝0
其中，所述a3，b3，c3，d3为所述第一地面方程的参数。
由特征变换矩阵T确定第一地面方程和第一天花板方程的关系为：
Figure GDA0002402858290000111
因此，可以确定所述第一天花板方程为：
a4x+b4y+c4z+d4＝0
其中，所述a4，b4，c4，d4为所述第一天花板方程的参数。
在步骤104中，所述第一待分割数据为所述第一帧三维点云图像中除了位于所述第二地面方程中的点云数据和所述第一天花板方程中的点云数据之外的点云数据。
例如，本申请实施例提供一种图像分割的示意图，如图6所示，区域601为去除所述第二地面方程中的点云数据和所述第一天花板方程中的点云数据后的所述第一帧三维点云图像的所述第一待分割数据。
在室内环境下的地面和天花板不利于深度信息连通域分析和图像分割，将剔除第一帧三维点云图像中第二地面方程和第一天花板方程中的点云数据后的三维点云图像的点云数据，作为第一待分割数据，通过对第一待分割数据利用区域生长方法进行区域分割和分类，可以极大的减少所述三维摄像设备的计算量，提高计算精度，使所述三维摄像设备在移动状态下能够实时地分割场景和提取目标。提高了图像分割的效率和图像分割的精度，节约了所述三维摄像设备的运算资源。
在步骤105中，根据所述第一待分割数据进行图像分割。
在具体实施过程中，可以以三维点云数据中颜色信息确定的邻域为基础，且以深度信息确定的距离为度量，构建由颜色Lab空间和坐标xyz空间的六位向量，结合区域生长算法，可以实现室内场景的三维点云图像的快速准确分割。利用构建的颜色Lab空间和xyz几何坐标空间的六位向量，有助于实现在物体的Lab颜色相似且xy的平面坐标相近的情况下仍可以根据z坐标的目标的深度信息将图像中的目标物体有效分割开来。
一种可能的实现方式，可以根据区域生长算法对所述第一待分割数据进行图像分割，将第一待分割数据分割为多个区域。
在具体实施过程中，可以包括以下步骤：
步骤一、根据颜色Lab空间和xyz几何坐标空间确定所述第一帧图像点云数据的六维向量；
本申请实施例中，所述分割可以用于将空间中的较大目标整体分割成一体，若所述分割的目标包含的像素点数目小于预设数目，则将所述分割的目标忽略。
步骤二、根据所述第一待分割数据中，根据所述六位向量确定相邻点云数据间的欧氏距离；若所述欧氏距离小于第三预设阈值，则将所述相邻点云数据确定为同一区域，以此确定所述第一待分割数据的分割区域。
例如，在所述第一待分割数据中，若确定点p的相邻点为qi，则当点p与点qi的欧式距离小于预设阈值时，将所述点p与点qi确定为同一区域。所述点p和与点qi的欧式距离可以为根据Lab空间与xyz几何空间加权确定的。
本申请实施例，依赖采集的三维点云图像中的点云数据与其相邻点云数据间的Lab和xyz六维向量的加权欧式距离关系，将三维摄像设备视野下的目标有效分割开来，并依据目标距地高度和目标自身高度等信息用于判别目标属性，获取各目标的长宽高尺寸以及位于移动平台下的位置信息，为后续的场景语义分析和地图制作定位等场景分析提供基础。
所述三维摄像设备在不同操作下会选取不同的视角进行切换，用以获取三维摄像机不同视角下各物体的分割块。例如，所述三维摄像设备处于水平视角状态下，主要用于解决运动避障和地图制作。所述三维摄像设备处于旋转第一预设角度的状态下，主要用于解决人体检测、识别和跟踪。
本申请实施例中，可以根据以下步骤在旋转第一预设角度下更新第三天花板方程和第四地面方程：
步骤一、获取所述旋转视角下采集的第五帧三维点云图像。
步骤二、根据所述第一天花板方程以及所述第五帧三维点云图像中点云数据确定所述第五帧三维点云图像的第三天花板方程。
在步骤二中，根据所述第一天花板方程以及所述第五帧三维点云图像中点云数据确定所述第五帧三维点云图像的第三天花板方程，可以包括以下步骤：
将所述第一天花板方程作为拟合所述第三天花板方程的初始值，选取所述第五帧三维点云图像第二预设区域内的K个点云数据作为拟合所述第三天花板方程的拟合数据，根据所述第三天花板方程的初始值和所述第三天花板方程的拟合数据确定所述第五帧三维点云图像的第三天花板方程；K为大于等于1的正整数；所述第五帧三维点云图像位于所述第一帧三维点云图像之后的P帧三维点云图像，P为大于或等于1的正整数。
可选的，所述第二预设区域可以为所述第五帧三维点云图像的包括天花板的点云数据的区域。通常情况下，相邻两帧的点云数据图像的变化较小，为提高计算效率，所述拟合数据可以为所述第一帧三维点云数据中的所述第二预设区域的点云数据，进一步的，可以在所述第二预设区域内选择K个点云数据作为所述拟合数据；所述K个点云数据为所述第二预设区域内的10％的点云数据。
步骤三、根据所述特征变换和所述第三天花板方程确定所述第五帧三维点云图像的第四地面方程。
第四地面方程与第三天花板方程的变换关系即所述特征变换，根据所述特征变换和第三天花板方程，可以确定所述第四地面方程。
当第四地面方程和第三天花板方程确定后，所述三维摄像设备可以根据第四地面方程和第三天花板方程，确定所述第二待分割数据，具体包括：
根据所述第四地面方程以及所述第三天花板方程确定第二待分割数据，所述第二待分割数据为所述第五帧三维点云图像中除了位于所述第四地面方程和所述第三天花板方程中的点云数据。
根据区域生长算法，将所述第二待分割数据的目标连通域相互分离，具体包括：
利用颜色Lab空间和xyz几何坐标空间构成的六维向量作为相似性度量，对剔除第三天花板方程和第四地面方程中的点云数据的点云图像作为第二待分割数据，根据点云图像的领域特性进行区域生长，使得本申请实施例能够实时准确地进行图像分割和目标检测。
依赖采集图像像素与其邻域像素的Lab和xyz六维向量的加权欧式距离关系，将三维摄像设备视野下的目标有效分割开来，并依据目标距地高度和目标自身高度等信息用于判别目标属性，获取各目标的长宽高尺寸以及位于移动平台下的位置信息，为后续的人体检测识别、人脸检测识别、场景语义分析等场景分析提供基础。
如图3所示，本申请实施例提供一种图像分割方法，包括以下步骤：
步骤301、所述三维摄像设备进行初始化且保持静止状态下，采集水平视角下的彩色图像和深度图像并融合为第三帧三维点云图像；
步骤302、所述三维摄像设备通过采集到的所述第三帧三维点云图像的点云数据，确定所述第三帧三维点云图像中的第三地面方程；
可选的，所述三维摄像设备可以通过所述三维摄像设备的电机和陀螺仪调节所述三维摄像设备的光轴与水平方向平行。
步骤303、所述三维摄像设备绕x轴向上旋转仰角第一预设角度，采集旋转视角下的彩色图像和深度图像并融合为第四帧点云图像；
步骤304、将采集到的所述第四帧点云图像的点云数据确定所述第四帧点云图像的第二天花板方程；
步骤305、所述三维摄像设备获取所述第二天花板方程中的SIFT特征和所述第三地面方程中的SIFT特征，根据所述第四帧点云图像中的第二天花板方程中的SIFT特征和第三地面方程中的SIFT特征进行SIFT特征匹配，并根据PnP特征变换确定水平视角和旋转第一预设角度的视角下的地面方程与天花板方程的对应关系，确定特征变换。
在所述三维摄像设备进入运动状态之后，若所述三维摄像设备处于水平视角时，则转至步骤306；若所述三维摄像设备处于旋转视角时，则转至步骤311；
步骤306、所述三维摄像设备采集并融合形成第一帧三维点云图像；所述第一帧三维点云图像为所述第一地面方程对应的第二帧三维点云图像之后的第M帧的三维点云图像；
步骤307、选取所述第一帧三维点云图像的第一预设区域的10％的点云数据，结合所述第一地面方程确定所述第一帧三维点云图像的第二地面方程；
步骤308、根据所述第二地面方程和所述特征变换，确定所述第一帧三维点云图像对应的第一天花板方程；
步骤309、根据所述第二地面方程和所述第一天花板方程，将所述第一帧三维点云图像中除所述第二地面方程和所述第一天花板方程中的点云数据之外的数据，确定为第一待分割数据；
步骤310、通过区域生长算法，结合Lab和xyz六维向量，对所述第一待分割数据进行区域分割，且将分割区域的结果中目标占像素数目小于预设阈值的分割区域剔除，并确定各分割目标的长宽高尺寸和位置信息。
步骤311、所述三维摄像设备采集并融合形成第五帧三维点云图像，所述第五帧三维点云图像为所述第四帧三维点云图像之后的第P帧的三维点云图像；
步骤312、选取所述第五帧三维点云图像的第二预设区域的10％的点云数据，结合所述第一天花板方程，确定所述第五帧三维点云图像的第三天花板方程；
步骤313、根据所述第三天花板方程，结合所述特征变换，确定所述第五帧三维点云图像的第四地面方程；
步骤314、根据所述第四地面方程和所述第三天花板方程，将所述第五帧三维点云图像中的除所述第四地面方程和所述第三天花板方程中的点云数据之外的点云数据，确定为第二待分割数据；
步骤315、通过区域生长算法，结合Lab和xyz六维向量，对所述第二待分割数据进行区域分割，且将分割区域的结果中目标占像素数目小于预设阈值的分割区域剔除，并获取各分割目标的长宽高尺寸和位置信息。
在水平视角下，每间隔P-1帧之后采集一次三维点云图像，针对采集的三维点云图像，通过前一次确定的天花板方程确定新的天花板方程，利用更新后的天花板方程结合特征变换确定新的地面方程。可选的，M的取值可以为M<25。在旋转视角下，每间隔P-1帧之后采集一次三维点云图像，针对采集的三维点云图像，通过前一次确定的地面方程确定当前帧的三维点云图像的地面方程，利用当前帧的三维点云图像的地面方程结合特征变换确定当前帧的三维点云图像的天花板方程，P的取值可以为P<25。
基于同样的发明构思，所述地面方程和天花板方程的确定也可以根据实际需要选择三维点云图像中的墙体和桌面等大范围平面物体，通过剔除所述大范围的平面物体，可以更加快速、精确的进行图像分割。
如图7所示，本申请实施例提供一种图像分割装置，所述装置包括：
获取单元701，用于获取水平视角下采集的第一帧三维点云图像，以及获取第一地面方程、特征变换；所述第一地面方程为第二帧三维点云图像中的地面方程，所述特征变换为三维点云图像中地面方程与天花板方程之间的变换关系；所述第二帧三维点云图像为所述第一帧三维点云图像之前的第M帧三维点云图像，M为大于或等于1的正整数；
处理单元702，用于根据所述第一地面方程以及所述第一帧三维点云图像中点云数据确定所述第一帧三维点云图像的第二地面方程；根据所述特征变换和所述第二地面方程确定所述第一帧三维点云图像的第一天花板方程；根据所述第二地面方程以及所述第一天花板方程确定第一待分割数据，所述第一待分割数据为所述第一帧三维点云图像中除了位于所述第二地面方程中的点云数据和所述第一天花板方程中的点云数据之外的点云数据；根据所述第一待分割数据进行图像分割。
一种可能的实现方式，处理单元702，具体用于选取所述第一帧三维点云图像第一预设区域内的N个点云数据作为拟合所述第二地面方程的拟合数据；N为大于或等于1的正整数；根据所述第一地面方程和所述拟合数据确定所述第一帧三维点云图像的第二地面方程。
一种可能的实现方式，获取单元701，还用于获取在水平视角下采集的第三帧三维点云图像和旋转视角下采集的第四帧三维点云图像；所述旋转视角为相对于所述水平视角沿垂直方向向上旋转第一预设角度的视角；
处理单元702，还用于根据所述第三帧三维点云图像的点云数据，确定所述第三帧三维点云图像的第三地面方程；根据所述第四帧三维点云图像的点云数据，确定所述第四帧三维点云图像的第二天花板方程；根据所述第三地面方程和所述第二天花板方程确定所述特征变换。
一种可能的实现方式，获取单元701，还用于获取旋转视角下采集的第五帧三维点云图像；所述第五帧三维点云图像为所述第一帧三维点云图像之后的第P帧三维点云图像；
处理单元702，还用于根据所述第一天花板方程以及所述第五帧三维点云图像中点云数据确定所述第五帧三维点云图像的第三天花板方程；根据所述特征变换和所述第三天花板方程确定所述第五帧三维点云图像的第四地面方程；根据所述第四地面方程以及所述第三天花板方程确定第二待分割数据，所述第二待分割数据为所述第五帧三维点云图像中除了位于所述第四地面方程和所述第三天花板方程中的点云数据之外的点云数据；根据所述第二待分割数据进行图像分割。
一种可能的实现方式，处理单元702具体用于：
选取所述第五帧三维点云图像第二预设区域内的K个数据点作为拟合所述第三天花板方程的拟合数据；根据所述第一天花板方程和所述第三天花板方程的拟合数据确定所述第五帧三维点云图像的第三天花板方程；K为大于等于1的正整数。
在室内环境下的地面和天花板不利于深度信息连通域分析和图像分割，因而利用地面和天花板具有平面范围大且平整程度高的特点，结合随机采样一致性估计算法将三维点云图像中的地面和天花板分割开来，使得本方案能够更准确地进行后续图像分割和目标检测；利用特征变换确定天花板方程和地面方程的变换关系，进而在后续的天花板方程和地面方程的确定过程中，只需要确定其中一个方程，就可以根据变换关系确定另外一个方程，节约了计算成本，提高了计算的精度。
在移动场景下的地面方程和天花板方程需要随着所述三维摄像设备的运动不断更新，因而利用前一次确定的地面方程和天花板方程作为初始值，并随机获取预设区域的N个点云数据确定新的地面方程或或K个点云数据确定新的天花板方程，使得本方案能够实时更新地面方程和天花板方程应用于新的图像分割过程。
在移动场景下的图像分割需要能够实时地分割场景和提取目标，因而利用颜色Lab空间和xyz几何坐标空间构成的六维向量作为相似性度量，剔除三维点云图像中地面方程和天花板方程中的点云数据后的三维点云图像的点云数据，作为待分割数据，通过对待分割数据利用区域生长方法进行区域分割和分类，使得所述三维摄像设备在移动状态下能够实时地分割场景和提取目标。相比现有技术，本申请实施例具有实时性强、标定快速和分割准确等优点。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：
获取水平视角下采集的第一帧三维点云图像，以及获取第一地面方程、获取特征变换；所述第一地面方程为第二帧三维点云图像中的地面方程，所述特征变换为三维点云图像中地面方程与天花板方程之间的变换关系；所述第二帧三维点云图像为所述第一帧三维点云图像之前的第M帧三维点云图像，M为大于或等于1的正整数；
根据所述第一地面方程以及所述第一帧三维点云图像中点云数据确定所述第一帧三维点云图像的第二地面方程；
根据所述特征变换和所述第二地面方程确定所述第一帧三维点云图像的第一天花板方程；
根据所述第二地面方程以及所述第一天花板方程确定第一待分割数据，所述第一待分割数据为所述第一帧三维点云图像中除了位于所述第二地面方程中的点云数据和所述第一天花板方程中的点云数据之外的点云数据；
根据所述第一待分割数据进行图像分割。
2.如权利要求1所述的方法，其特征在于，根据所述第一地面方程以及所述第一帧三维点云图像中点云数据确定所述第一帧三维点云图像的第二地面方程，包括：
选取所述第一帧三维点云图像第一预设区域内的N个点云数据作为拟合所述第二地面方程的拟合数据；N为大于或等于1的正整数；
根据所述第一地面方程和所述拟合数据确定所述第一帧三维点云图像的第二地面方程。
3.如权利要求1所述的方法，其特征在于，所述获取特征变换，包括：
获取在水平视角下采集的第三帧三维点云图像和旋转视角下采集的第四帧三维点云图像；所述旋转视角为相对于所述水平视角沿垂直方向向上旋转第一预设角度的视角；
根据所述第三帧三维点云图像的点云数据，确定所述第三帧三维点云图像的第三地面方程；
根据所述第四帧三维点云图像的点云数据，确定所述第四帧三维点云图像的第二天花板方程；
根据所述第三地面方程和所述第二天花板方程确定所述特征变换。
4.如权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
获取旋转视角下采集的第五帧三维点云图像；所述第五帧三维点云图像为所述第一帧三维点云图像之后的第P帧三维点云图像；P为大于1的整数；
根据所述第一天花板方程以及所述第五帧三维点云图像中点云数据确定所述第五帧三维点云图像的第三天花板方程；
根据所述特征变换和所述第三天花板方程确定所述第五帧三维点云图像的第四地面方程；
根据所述第四地面方程以及所述第三天花板方程确定第二待分割数据，所述第二待分割数据为所述第五帧三维点云图像中除了位于所述第四地面方程和所述第三天花板方程中的点云数据之外的点云数据；
根据所述第二待分割数据进行图像分割。
5.如权利要求4所述的方法，其特征在于，根据所述第一天花板方程以及所述第五帧三维点云图像中点云数据确定所述第五帧三维点云图像的第三天花板方程，包括：
选取所述第五帧三维点云图像第二预设区域内的K个数据点作为拟合所述第三天花板方程的拟合数据；
根据所述第一天花板方程和所述第三天花板方程的拟合数据确定所述第五帧三维点云图像的第三天花板方程；K为大于等于1的正整数。
6.一种图像分割装置，其特征在于，所述装置包括：
获取单元，用于获取水平视角下采集的第一帧三维点云图像，以及获取第一地面方程、特征变换；所述第一地面方程为第二帧三维点云图像中的地面方程，所述特征变换为三维点云图像中地面方程与天花板方程之间的变换关系；所述第二帧三维点云图像为所述第一帧三维点云图像之前的第M帧三维点云图像，M为大于或等于1的正整数；
处理单元，用于根据所述第一地面方程以及所述第一帧三维点云图像中点云数据确定所述第一帧三维点云图像的第二地面方程；根据所述特征变换和所述第二地面方程确定所述第一帧三维点云图像的第一天花板方程；根据所述第二地面方程以及所述第一天花板方程确定第一待分割数据，所述第一待分割数据为所述第一帧三维点云图像中除了位于所述第二地面方程中的点云数据和所述第一天花板方程中的点云数据之外的点云数据；根据所述第一待分割数据进行图像分割。
7.如权利要求6所述的装置，其特征在于，所述处理单元，具体用于：
选取所述第一帧三维点云图像第一预设区域内的N个点云数据作为拟合所述第二地面方程的拟合数据；N为大于或等于1的正整数；根据所述第一地面方程和所述拟合数据确定所述第一帧三维点云图像的第二地面方程。
8.如权利要求6所述的装置，其特征在于，所述获取单元，还用于获取在水平视角下采集的第三帧三维点云图像和旋转视角下采集的第四帧三维点云图像；所述旋转视角为相对于所述水平视角沿垂直方向向上旋转第一预设角度的视角；
所述处理单元，还用于根据所述第三帧三维点云图像的点云数据，确定所述第三帧三维点云图像的第三地面方程；根据所述第四帧三维点云图像的点云数据，确定所述第四帧三维点云图像的第二天花板方程；根据所述第三地面方程和所述第二天花板方程确定所述特征变换。
9.如权利要求6-8任一项所述的装置，其特征在于，所述获取单元，还用于获取旋转视角下采集的第五帧三维点云图像；所述第五帧三维点云图像为所述第一帧三维点云图像之后的第P帧三维点云图像；P为大于1的整数；
所述处理单元，还用于根据所述第一天花板方程以及所述第五帧三维点云图像中点云数据确定所述第五帧三维点云图像的第三天花板方程；根据所述特征变换和所述第三天花板方程确定所述第五帧三维点云图像的第四地面方程；根据所述第四地面方程以及所述第三天花板方程确定第二待分割数据，所述第二待分割数据为所述第五帧三维点云图像中除了位于所述第四地面方程和所述第三天花板方程中的点云数据之外的点云数据；根据所述第二待分割数据进行图像分割。
10.如权利要求9所述的装置，其特征在于，所述处理单元具体用于：
选取所述第五帧三维点云图像第二预设区域内的K个数据点作为拟合所述第三天花板方程的拟合数据；根据所述第一天花板方程和所述第三天花板方程的拟合数据确定所述第五帧三维点云图像的第三天花板方程；K为大于等于1的正整数。
CN201711268402.XA 2017-12-05 2017-12-05 一种图像分割方法及装置 Active CN108171715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711268402.XA CN108171715B (zh) 2017-12-05 2017-12-05 一种图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711268402.XA CN108171715B (zh) 2017-12-05 2017-12-05 一种图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN108171715A CN108171715A (zh) 2018-06-15
CN108171715B true CN108171715B (zh) 2020-08-04

Family

ID=62524386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711268402.XA Active CN108171715B (zh) 2017-12-05 2017-12-05 一种图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN108171715B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197215A (zh) * 2019-05-22 2019-09-03 深圳市牧月科技有限公司 一种自主驾驶的地面感知点云语义分割方法
CN110595480A (zh) * 2019-10-08 2019-12-20 瓴道(上海)机器人科技有限公司 一种导航方法、装置、设备和存储介质
CN112862829B (zh) * 2019-11-27 2024-03-12 武汉Tcl集团工业研究院有限公司 标签图片的分割方法、装置及存储介质
CN111142514B (zh) * 2019-12-11 2024-02-13 深圳市优必选科技股份有限公司 一种机器人及其避障方法和装置
CN111586299B (zh) * 2020-05-09 2021-10-19 北京华捷艾米科技有限公司 一种图像处理方法和相关设备
CN111681282A (zh) * 2020-06-18 2020-09-18 浙江大华技术股份有限公司 一种栈板识别处理方法及装置
CN111899266B (zh) * 2020-07-17 2024-07-12 奥比中光科技集团股份有限公司 一种基于rgbd相机的抠图方法及系统
CN117649495B (zh) * 2024-01-30 2024-05-28 山东大学 基于点云描述符匹配的室内三维点云地图生成方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914786A (zh) * 2014-03-10 2014-07-09 北京农业信息技术研究中心 一种大田农业生产情景感知计算方法及装置
CN103914875A (zh) * 2014-04-17 2014-07-09 中国科学院深圳先进技术研究院 室内场景的功能性建模方法
CN104036544A (zh) * 2014-06-25 2014-09-10 西安煤航信息产业有限公司 一种基于机载LiDAR数据的建筑物屋顶重建方法
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN105913489A (zh) * 2016-04-19 2016-08-31 东北大学 一种利用平面特征的室内三维场景重构方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9118905B2 (en) * 2011-12-30 2015-08-25 Google Inc. Multiplane panoramas of long scenes
KR20150089663A (ko) * 2014-01-28 2015-08-05 한국전자통신연구원 그래프 기반의 멀티 프리미티브 피팅 장치 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914786A (zh) * 2014-03-10 2014-07-09 北京农业信息技术研究中心 一种大田农业生产情景感知计算方法及装置
CN103914875A (zh) * 2014-04-17 2014-07-09 中国科学院深圳先进技术研究院 室内场景的功能性建模方法
CN104036544A (zh) * 2014-06-25 2014-09-10 西安煤航信息产业有限公司 一种基于机载LiDAR数据的建筑物屋顶重建方法
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN105913489A (zh) * 2016-04-19 2016-08-31 东北大学 一种利用平面特征的室内三维场景重构方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Methodology for Automated Segmentation and Reconstruction of Urban 3-D Buildings from ALS Point Clouds;Dong Chen 等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20141231;第1卷(第10期);第4199-4217页 *
Efficient RANSAC for Point-Cloud Shape Detection;R.Schnabel 等;《COMPUTER GRAPHICS forum》;20071231;第26卷(第2期);第214-226页 *
利用贝叶斯抽样一致性的点云特征面拟合;李珍 等;《测绘科学》;20150830;第40卷(第8期);第92-96页 *
基于特征线的点云数据分割算法;张大鹏 等;《地理空间信息》;20150630;第13卷(第3期);第120-121、132-133页 *
融合深度相机点云与光学影像的室内三维建模;张恬洁 等;《测绘科学》;20161231;第41卷(第12期);第217-223页 *

Also Published As

Publication number Publication date
CN108171715A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
CN108171715B (zh) 一种图像分割方法及装置
Moreau et al. Lens: Localization enhanced by nerf synthesis
US11915502B2 (en) Systems and methods for depth map sampling
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
WO2020113423A1 (zh) 目标场景三维重建方法、系统及无人机
US9679384B2 (en) Method of detecting and describing features from an intensity image
CN108229416B (zh) 基于语义分割技术的机器人slam方法
EP2874097A2 (en) Automatic scene parsing
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN103971378A (zh) 一种混合视觉系统中全景图像的三维重建方法
CN110021029B (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
US10607350B2 (en) Method of detecting and describing features from an intensity image
CN104794737A (zh) 一种深度信息辅助粒子滤波跟踪方法
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
CN109492525A (zh) 一种测量基站天线工程参数的方法
CN108596947A (zh) 一种适用于rgb-d相机的快速目标跟踪方法
Zhou et al. Information-efficient 3-D visual SLAM for unstructured domains
CN113689365A (zh) 一种基于Azure Kinect的目标跟踪定位方法
CN103533332A (zh) 一种2d视频转3d视频的图像处理方法
EP2879090B1 (en) Aligning ground based images and aerial imagery
CN112395985B (zh) 基于无人飞行器图像的地面无人车辆视觉道路检测方法
CN115294358A (zh) 特征点提取方法、装置、计算机设备及可读存储介质
Zhang et al. Feature regions segmentation based RGB-D visual odometry in dynamic environment
Bazin et al. An original approach for automatic plane extraction by omnidirectional vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant