CN109813283B - 手持装置、利用手持装置进行的基于图像的测量的方法 - Google Patents

手持装置、利用手持装置进行的基于图像的测量的方法 Download PDF

Info

Publication number
CN109813283B
CN109813283B CN201811373767.3A CN201811373767A CN109813283B CN 109813283 B CN109813283 B CN 109813283B CN 201811373767 A CN201811373767 A CN 201811373767A CN 109813283 B CN109813283 B CN 109813283B
Authority
CN
China
Prior art keywords
image
camera
handheld device
remote object
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811373767.3A
Other languages
English (en)
Other versions
CN109813283A (zh
Inventor
E·V·范德泽万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Geosystems AG
Original Assignee
Leica Geosystems AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems AG filed Critical Leica Geosystems AG
Publication of CN109813283A publication Critical patent/CN109813283A/zh
Application granted granted Critical
Publication of CN109813283B publication Critical patent/CN109813283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/14—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection
    • G01C11/16—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection in a common plane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Abstract

手持装置、利用手持装置进行的基于图像的测量的方法。一种手持装置(1)，包括：具有正面(11)和背面(12)的壳体(10)；用于记录对象(5)的图像(51、52)的第一摄像头(3a)和第二摄像头(3b)，其被设置为在背面(12)上并具有立体基线(30)；分析单元，其具有用于对摄像头(3a、3b)的图像(51、52)进行立体摄影测量分析的算法；以及显示单元(20)，其设置在正面(11)，用于显示对象(5)的图像(50)和立体摄影测量分析的结果，其中，该壳体(10)具有纵向轴线(15)，立体基线(30)相对于该纵向轴线(15)对角地对准，并且分析单元被设计成在立体摄影测量分析期间考虑立体基线(30)的相对对准。

Description

手持装置、利用手持装置进行的基于图像的测量的方法
技术领域
本发明涉及包括立体摄像头的手持装置以及借助于这种装置对远程对象进行基于图像的测量的方法。
背景技术
用于立体摄影测量图像记录的装置和方法在现有技术中大致已知，并且以多种方式用于在图像中执行测量，即，特别是用于确定图像中的尺寸，例如，所描绘的特征之间的距离。
例如，EP 2 918 972A2公开了一种用于通过立体摄影测量法产生空间模型的方法和相应的手持装置。
如果已知的立体摄影测量装置用于记录诸如建筑物之类的人造和/或人造结构的图像，则在通过特征提取来自动匹配图像期间会发生错误。这是因为特别是现代建筑具有许多等同和重复的特征。如果立体摄影测量装置的立体基线在记录期间与重复方向巧合地平行，则在某些情况下两个图像中的等同特征会彼此错误地彼此关联，因此产生不正确编辑的立体图像并且其中执行的图像测量有缺陷。
发明内容
因此，本发明的一个目的是提供一种装置和方法，借助于该装置和方法，可以降低在立体摄影测量范围内编辑图像期间的错误概率。
具体地，本发明的目的是提供这样的一种装置和这样的方法，借助于该装置和方法，可以在没有特殊设计支出或显着提高的计算能力的情况下降低错误概率。
另一个目的是提供这样的装置和这样的方法，其可以由用户简单且直观地处理。
由于特别是现代建筑物通常是直线规划和建造的并且具有多个直角，因此它们与重力方向和与其正交的水平线对准。这导致在建筑物中，相同特征(例如，窗口立面的窗口)的重复方向通常是完全水平和/或垂直的。在根据本发明的立体摄像装置中，因此根据本发明使用立体基线，其相对于装置的纵向轴线对角地设置，该纵向轴线在正常使用期间大致水平地对准。
本发明的第一方面涉及一种用于对远程对象进行基于图像的测量的手持装置，该手持装置包括具有正面和背面的壳体；用于记录对象的图像的第一摄像头和第二摄像头，其被设置在该背面上，具有作为彼此的固定间隔的立体基线；分析单元，其包括用于对第一摄像头和第二摄像头的图像进行立体摄影测量分析的算法；和显示单元，其设置在该正面上，用于显示所述对象的图像以及该立体摄影测量分析的结果。壳体具有纵向轴线，并且立体基线相对于纵向轴线对角地对准，其中分析单元被设计为在立体摄影测量分析期间考虑立体基线的相对对准。
根据一个实施方式，该装置包括电子测距仪，具体地该电子测距仪设计为激光测距仪，其设置在背面，用于测量到远程对象的距离，其中，分析单元被设计为在立体摄影测量分析期间考虑所测量的距离。
根据该装置的另一实施方式，立体基线相对于纵向轴线以至少20°的角度设置，具体地以30°到60°之间的角度设置。
根据另一实施方式，该装置被设计为用户手持使用，从而以纵向轴线大致水平的方式来保持装置以记录对象的图像。
根据一个实施方式，摄像头以这样的方式设置：立体基线包括背面的最大延伸的至少75％，具体地至少90％。
在一个实施方式中，该装置具有输入装置，其设置在正面，用于由用户输入数据和/或命令。输入装置具体地可以实现为按钮，或者显示单元和输入装置设计为触摸屏。
具体地输入装置设计为能够由用户标记或选择对象的图像中的像素，其中，像素对应于对象的目标点。分析单元可以被设计为确定与所选择的像素对应的目标点之间的距离并将该距离显示在显示单元上。
在一个实施方式中，该装置具有记录功能，该记录功能在用户触发后自动运行，在该记录的范围内，按时间顺序相关地，具体地同时地，第一摄像头记录第一图像并且第二摄像头记录该对象的第二图像；分析单元的算法通过特征识别并基于关于立体基础的知识将第一图像和第二图像彼此关联，并且在显示单元上显示对象的图像。
在这种情况下，具体地，将第一图像和第二图像彼此的关联的处理可以包括图像的校正和校正后的图像的立体匹配，具体地通过半全局匹配方法进行立体匹配。
根据另一实施方式，分析单元被设计为识别图像中至少一个图像的重复图案并从中得到对象的重复特征的重复方向，并确定重复方向与极线之间的角度β。
本发明的第二方面涉及一种用于对远程对象进行基于图像的测量的手持装置，该手持装置具有正面和背面的壳体；用于记录对象的图像的第一摄像头和第二摄像头，其被设置在该背面上，具有作为彼此的固定间隔的立体基线；分析单元，其包括用于对第一摄像头和第二摄像头的图像进行立体摄影测量分析的算法；和显示单元，其设置在该正面上，用于显示所述对象的图像以及该立体摄影测量分析的结果。根据本发明的该方面，分析单元被设计用于识别图像中至少一个图像的重复图案并从中得到对象的重复特征的重复方向，并确定重复方向与极线之间的角度β。其中，分析单元被设计为如果该角度β的值低于预定阈值，则启动措施，其中，该措施能够使得进一步记录对象的图像，在进一步记录的图像中达到或超过该预定阈值。
根据该装置的一个实施方式，所述措施包括以下处理指示，该处理指示使用户针对所述进一步记录与先前记录相比对角地保持所述装置，具体地其中，该处理指示显示在显示单元上。
本发明的第三方面涉及一种借助于手持装置对远程对象进行基于图像的测量的方法，该手持装置是根据本发明的第一方面或第二方面的装置，该方法包括：由第一摄像头和第二摄像头对图像进行立体记录，并且对第一摄像头和第二摄像头的图像进行立体摄影测量分析。根据本发明的这个方面，考虑已知角度α来对图像进行分析，其中，所述第一摄像头和所述第二摄像头被设置在所述装置上，具有作为彼此的固定间隔的立体基线，使得该立体基线相对于所述装置的纵向轴线以角度α对角地取向。
根据一个实施方式，该方法包括
-基于第一摄像头和第二摄像头的图像中的至少一个图像在装置的显示单元上显示图像，
-由用户选择要测量的尺寸，
-基于立体摄影测量分析后的图像进行对应于选择的测量，和
-在显示单元上输出结果和/或在装置的数据存储单元中存储结果。
本发明的第四方面涉及一种具有程序代码的计算机程序产品，该程序代码存储在机器可读载体上，用于通过手持装置执行基于图像的远程对象测量的方法，特别是根据第三方面的方法，其中，程序在根据本发明第一方面或第二方面的装置的分析单元中执行，并且至少包括以下步骤：
-第一摄像头和第二摄像头对图像进行立体记录，以及
-对第一摄像头和第二摄像头的图像进行立体摄影测量分析，其中，考虑已知角度α来执行该分析，其中，所述第一摄像头和所述第二摄像头被设置在所述装置上，具有作为彼此的固定间隔的立体基线，使得该立体基线相对于所述装置的纵向轴线以角度α对角地取向。
本发明的第五方面涉及一种用于对远程对象进行基于图像的测量的系统，该系统包括手持装置和计算机程序产品。在这种情况下，手持装置包括具有正面和背面的壳体；用于记录对象的图像的第一摄像头和第二摄像头，其被设置在该背面上，具有作为彼此的固定间隔的立体基线；以及用于向外部电子装置发送所记录的图像的数字图像数据的数据接口。该计算机程序产品具有存储在机器可读载体上的程序代码，该程序代码具有用于对第一摄像头和第二摄像头的图像进行立体摄影测量分析的算法。壳体具有纵向轴线并且立体基线相对于纵向轴线对角地对准，其中，程序代码包含关于立体基线的相对对准的信息项，可在外部电子装置中执行，并且被设计为在立体摄影测量分析期间考虑立体基线的相对对准。
根据一个实施方式，该手持装置包括机器可读载体，具体地其中该机器可读载体是永久安装的数据存储单元，并且被设计为经由该数据接口向外部电子装置发送程序代码。
附图说明
在下文中，基于附图中示意性示出的特定示例性实施方式，将仅通过示例的方式更详细地描述根据本发明的装置和根据本发明的方法，其中还将讨论本发明的其他优点。在具体附图中：
图1示出了借助于现有技术的手持立体摄影测量装置记录建筑物的图像；
图2a-图2b示出了图1的立体摄影测量装置；
图3a-图3c示出了使用图1中的装置对建筑物进行摄影测量测量期间的问题；
图4a-图4b示出了根据本发明的手持立体摄影测量装置的示例性实施方式；
图5示出了借助于根据本发明的手持式立体摄影测量装置的示例性实施方式的建筑物图像的记录。
图6a-图6c示出了使用根据本发明的装置的建筑物的摄影测量测量；
图7示出了根据本发明的用于对远程对象进行基于图像的测量的方法的示例性实施方式；
图8a-图8b示出了对象线与特征的重复方向之间的角度的识别；
图9示出了用于识别极线和重复方向之间的角度的方法步骤；以及
图10示出了根据本发明的用于对远程对象进行基于图像的测量的系统的示例性实施方式。
具体实施方式
借助于现有技术的手持式立体摄影测量装置1记录建筑物5的图像50在图1中示出。示出了在记录期间装置1的面向用户的正面11。该正面具有显示单元20，其例如被实施为触摸屏，以及具有用于选择装置1的功能的按钮21的面板。
两个摄像头3a、3b设置成在装置1的面向待记录的建筑物5的背面具有立体基线30。立体基线30在此平行于装置1的纵向轴线。
作为要由摄像头3a、3b记录的对象的建筑物5，其这里在地平线6前面示出以进行例示，具有水平即沿X轴排列的明显特征的阵列。这涉及例如沿着水平线61-64对准的窗口和屋檐。此外，主要使用了直角，因此窗口和墙壁的特征还竖直延伸。
立体摄影测量装置1被设计为使得它优选地直线地由用户保持，即，其纵轴平行于地平线6，尤其是因为显示在显示单元20上的测量值因此最容易读取。这导致立体基线30在与建筑物5的明显特征相同的方向上延伸。
图1中的立体摄影测量装置1在图2a和图2b中详细示出。在这种情况下，图2a示出了具有显示单元20和按钮21的正面11，图2b示出了具有两个摄像头3a、3b的背面12，摄像头设置在壳体的相同高度处。
图3a-图3c示出了在借助于图2a-图2b中所示的装置1记录图1中所示的建筑物5的情况下出现的问题。
图3a示出了由两个摄像头3a、3b同时记录的建筑物的图像51、52彼此相邻。在用于立体匹配的典型算法中，例如，“半全局匹配”，作为先行步骤，必须对图像彼此进行校正。
在图3b中，对图3a的图像进行相应校正。在校正后图像51’、52’中示出了极线70，其与各个图像以直线相交。在校正后，极线70在校正后图像51’、52’中的是水平的，即，与位于第一图像51’中的像素相对应的第二图像52’中的像素位于同一图像线上。第二图像52’中的与设置在第一图像51’中并且位于所示的极线70上的点71对应的像素72也可以因此仅位于极线70上。
为了匹配两个图像51、52，算法因此必须将第一校正后图像51’中的特征仅与位于同一极线70上的第二校正后图像52’的那些特征进行比较。窗口交叉的角在左图像51’中作为示例示出为特征71。由于统一的构造，在建筑物上在水平方向上重复相同的特征-两个窗口具有相同的大小和相同的设计，而且位于相同的高度。
由于极线70也在校正后图像51’、52’中水平延伸，因此多个相似或等同特征72、72’在右图像52’中的极线70上彼此相邻。因此，如果算法错误地将等同特征72’与第一图像51中的特征71相关联，而不是与第二图像52中的实际对应特征72相关联，则在特征匹配期间会发生错误。
图3c示出了校正后图像51’、52’，其中在两点之间进行距离测量。在左图像51’中，其为分别位于建筑物的水平延伸线上的点73和71。由于两个极线70、70’与建筑物特征的平行性，这里也会发生错误，因此执行了不正确的距离测量。
图4a和图4b示出了根据本发明的立体摄影测量装置1的示例性实施方式。在这种情况下，分别示出了具有摄像头3a、3b的装置1的壳体10的背面12。在图4a中另外示出了用于测量到远程对象(例如，到建筑物上的点)的距离的激光测距仪4和用于在固定面上对装置1进行止动的止动单元17。
使用激光测距仪4记录的距离可以具体地用于缩放由摄像头3a、3b记录的图像，这提高了摄影测量的准确性。
图4b例示了几何。示出了壳体纵向轴线15、与其正交延伸的壳体横向轴线16以及相对于这两个轴线以对角对准的立体基线30。除了沿着纵向轴线15延伸或相对于纵向轴线15平行延伸的纵向间隔33外，两个摄像头还设置成彼此具有横向间隔35，该横向间隔35相对于纵向轴线15正交地延伸。因此，在立体基线30与壳体的纵向轴线15之间产生角度α，该角度α根据纵向间隔33和横向间隔35。
使用所示出的装置1，即使是未经训练的用户也可以对建筑物和其他人造结构进行高质量的摄影测量。在这种情况下，通常不需要在图像记录期间对角地保持装置1。此外，由于摄像头3a、3b的倾斜设置，可以有利地实现立体基线30的最大长度。
然而，在要测量自然或人工对象的情况下，需要对角地保持该装置，在该情况下，对象特征以与立体基线30的倾斜相对应的角度重复。然而，这种情况在实践中发生的相对较少。
图5与图1类似地示出了借助于图4a和图4b的手持立体摄影测量装置1记录建筑物5的图像50。与图1中所示的装置1相比，虽然装置1是被线性保持的，但是立体基线30没有相对于水平线61-64平行对准，建筑物5的明显特征沿着水平线61-64对准。
用户可以使用摄像头3a、3b记录建筑物5的立体图像，并且可以标记由显示单元20显示的图像50中的像素56、57，该像素对应于实际建筑物5上的目标点66、67，并且可以通过摄影测量来确定目标点之间的距离68并显示该距离。
图6a-图6c示出了如何借助于根据本发明的装置来避免图3a-图3c中所示的问题。
图6a示出了由图5中的装置的两个摄像头3a、3b同时记录的建筑物的图像51、52。在通常的立体匹配算法中，例如，“半全局匹配”，作为先行步骤，需要对图像相互校正。
在图6b中，对图6a的图像进行相应校正。在校正后图像51’、52’中示出了极线70，其与各个图像以直线相交。在校正之后，对极线70在校正后图像51’、52’中是水平的，即，与位于第一图像51’中的像素对应的第二图像52’中的像素位于同一图像线上。第二图像52’中的与设置在第一图像51’中并且位于所示的极线70上的点71对应的像素72也可以因此仅位于极线70上。
为了匹配两个图像51、52，算法因此必须将第一校正后图像51’中的特征仅与位于同一极线70上的第二校正后图像52’的那些特征进行比较。窗口交叉的角在左图像51’中作为示例示出为特征71。由于统一的构造，在建筑物上在水平方向上重复相同的特征-两个窗口具有相同的大小和相同的设计，而且位于相同的高度。
由于摄像头的对角设置，这些自然水平的线在校正后图像中对角地延伸。因此，与图3b相反，在右图像52’中，多个相似或等同的特征不在对极线70上彼此相邻，而仅是对应于第一图像51中的特征71的特征72。因此避免了在关联期间的错误。
图6c示出了校正后图像51’、52’，其中将执行两点之间的路线75的距离测量。在左图像51’中，其为点73和71，它们各自位于建筑物的水平延伸线上。由于摄像头的对角设置，这些自然水平线在校正后图像中对角地延伸。因此，右图像52’中的点72、74可以唯一地与左图像51’中的点71、73相关联，由此也可以无错误地确定路径75的距离。
或者，当然也可以在没有事先校正的情况下进行匹配。在图1的传统装置的情况下，(标称)水平极线70则穿过多个相同外观的水平排列的特征72和72’。相反，使用来自图5的根据本发明的装置，极线有利地仅穿过特征72。
另选地，只有特定的关注点也可以彼此相关，而不是必须处理整个图像。例如，可以在用户选择关注点之后执行模板匹配。
图7例示了根据本发明的方法100的示例性实施方式，其用于借助于根据本发明的手持装置对远程对象进行基于图像的测量。
在步骤110中，首先借助于两个摄像头对对象的图像进行立体记录。可选地，可以同时执行到对象的距离测量130，以能够精确地缩放图像，并因此具有用于在图像中的测量的精确比例。
使用关于角度α的知识(即，关于立体基线相对于装置纵轴的相对对准，参见图4b)，以及可选地距离测量结果，在步骤140对立体记录的图像进行立体摄影测量分析。
同时，在步骤120中，在装置的显示单元上向用户显示对象的图像，这可以是例如摄像头的图像中的有个，或已编辑的图像。因此，用户在步骤150中基于该图像选择将要测量尺寸的某些路线或区域。这些尺寸在步骤160中通过在立体摄影测量分析后的图像中进行图像测量来确定，并最终在步骤170中在显示单元上显示给用户，并在步骤180中存储在装置的存储单元中。
在一个实施方式中，装置的分析单元被设计用于识别图像中的重复图案并从中得到重复真实特征的重复方向。这在图8a和图8b中示出。
图8a通过示例示出了由图1中的装置记录的对象的校正后图像51’。分析单元的算法将建筑物的窗口识别为重复特征77并且从其得到这些特征的重复方向78。
随后，确定重复方向78平行于极线70，这会在图像匹配期间导致错误，如图3b所示。在这种情况下，分析单元启动措施以结束这种并行性。尤其是，这些措施可以包括指示用户进行新的记录，在新的记录中该装置被不同地保持，具体地相对于最后记录进行倾斜。该指示可以优选地在显示单元上执行，此外，还可以触发声信号或振动。
作为示例，图8b示出了校正后图像51’，其中特征77的重复方向78与极线70之间的角度β足够大。这尤其可以是相对于图8a改变装置姿态的结果-或者是使用图5中的装置进行记录的结果。
分析单元优选地设计为确定重复方向78和极线70之间的角度β，并且如果角度β的值低于预定阈值则启动该措施。
图9示出了作为图7的方法100的部分200的进一步的步骤，其涉及图8a、图8b中所示的极线和重复方向的比较。
具体地，该方法部分200可以排布在图7所示的之前。开始于步骤210，其中，由装置的摄像头中的一个或两个记录图像，其中记录待测量对象的至少一个图像。在该图像中，重复对象特征被识别为重复图案(步骤220)并且与对极线进行比较(步骤230)。立体基线的已知角度α可用于此目的。如果重复方向和极线过度接近，即，如果角度β的值低于建立的阈值，则向用户输出不同地保持装置的处理指示(步骤240)。否则，可以执行图7中所示的方法。
图10示出了根据本发明的手持立体摄影测量装置1的另一示例性实施方式。该装置具有用于连接到外部电子装置的至少一个接口90、95，外部电子装置例如膝上型计算机2。在这里通过示例示出了用于建立有线连接92的插头接口90(例如，通过USB)和用于建立无线连接97的无线接口95(例如，借助于WLAN或蓝牙)。由摄像头3a、3b记录的图像的图像数据经由(有线或无线)连接92、97向膝上型计算机2发送，在那里对其进行立体摄影分析。该系统具有相应的软件，该软件还提供关于两个摄像头3a、3b的设置的信息项，并且为此目的安装在膝上型计算机2上。该软件优选地存储在装置1的存储单元19中并且通过(有线或无线)连接92、97向膝上型计算机2发送。其也可以在数据载体上或在云中提供。该实施方式的优点在于手持装置1不是必须具有单独的分析单元；显示单元也不是必须的。因此，所得到的装置1可以较紧凑并且较轻，并且可以以较少的技术支出来生产。
用户使用立体摄影测量装置1来记录图像，其数据被实时地或者在记录序列之后向膝上型计算机2传送。该软件被存储在存储单元19中并例如连同图像数据一起向膝上型计算机发送。。特别地，来自图7的方法100的步骤140-170可以是能够在该膝上型计算机上执行的。
显然，这些示出的附图仅示意性地示出了可能的示例性实施方式。各种方法也可以彼此组合并与现有技术的方法和装置组合。

Claims (25)

1.一种用于对远程对象(5)进行基于图像的测量的手持装置(1)，该手持装置(1)包括：
具有正面(11)和背面(12)的壳体(10)；
用于记录所述远程对象(5)的第一图像(51)和第二图像(52)的第一摄像头(3a)和第二摄像头(3b)，其被设置在该背面(12)上，具有作为彼此的固定间隔的立体基线(30)；
分析单元，其具有用于对第一摄像头(3a)和第二摄像头(3b)记录的所述第一图像(51)和所述第二图像(52)进行立体摄影测量分析的算法；和
显示单元(20)，其设置在该正面(11)上，用于显示所述远程对象(5)的图像(50)以及该立体摄影测量分析的结果，
其中，所述壳体(10)具有纵向轴线(15)，并且所述手持装置(1)被设计为由用户手持使用，以所述纵向轴线(15)大致水平的方式来保持所述手持装置(1)以记录所述远程对象(5)的所述第一图像(51)和所述第二图像(52)，
其特征在于，所述立体基线(30)相对于该纵向轴线(15)对角地对准，其中，该分析单元被设计为在立体摄影测量分析期间考虑所述立体基线(30)的相对对准。
2.根据权利要求1所述的手持装置(1)，其特征在于，在所述背面(12)设置有用于测量到所述远程对象(5)的距离的电子测距仪(4)，其中，所述分析单元设计为在所述立体摄影测量分析期间考虑所测量的距离。
3.根据权利要求2所述的手持装置(1)，其特征在于，所述电子测距仪(4)被设计为激光测距仪。
4.根据权利要求1或2所述的手持装置(1)，其特征在于，所述立体基线(30)相对于所述纵向轴线(15)以至少20°的角度(α)设置。
5.根据权利要求4所述的手持装置(1)，其特征在于，所述立体基线(30)相对于所述纵向轴线(15)以30°到60°之间的角度(α)设置。
6.根据权利要求1所述的手持装置(1)，其特征在于，所述第一摄像头(3a)和第二摄像头(3b)被设置成使得立体基线(30)包括所述背面(12)的最大延伸的至少75％。
7.根据权利要求6所述的手持装置(1)，其特征在于，所述第一摄像头(3a)和所述第二摄像头(3b)被设置成使得所述立体基线(30)包括所述背面(12)的最大延伸的至少90％。
8.根据权利要求1所述的手持装置(1)，其特征在于输入装置，其设置在所述正面(11)，用于由用户输入数据和/或命令。
9.根据权利要求8所述的手持装置(1)，其中，该输入装置：
被实现为按钮(21)，或者所述显示单元(20)和所述输入装置被设计为触摸屏；且/或
被设计为能够由用户标记或选择所述远程对象(5)的所述图像(50)中的像素(56、57)，其中，所述像素(56、57)对应于所述远程对象(5)的目标点(66、67)，并且所述分析单元被设计为确定与所选择的像素(56、57)对应的目标点(66、67)之间的距离(68)并将所确定的距离(68)显示在显示单元上(20)。
10.根据权利要求1所述的手持装置(1)，其特征在于在用户触发之后自动运行的记录功能，在所述记录功能的范围内：
按时间顺序相关地，所述第一摄像头(3a)记录所述远程对象(5)的第一图像(51)并且所述第二摄像头(3b)记录所述远程对象(5)的第二图像(52)，
所述分析单元的所述算法通过特征识别并基于关于立体基线(30)的知识将第一图像(51)和第二图像(52)彼此关联，以及
在所述显示单元(20)上显示所述远程对象(5)的图像(50)。
11.根据权利要求10所述的手持装置(1)，其中，同时地，所述第一摄像头(3a)记录所述远程对象(5)的第一图像(51)并且所述第二摄像头(3b)记录所述远程对象(5)的第二图像(52)。
12.根据权利要求10所述的手持装置(1)，其中，将所述第一图像(51)和所述第二图像(52)彼此关联的处理包括：
对所述第一图像(51)和所述第二图像(52)进行校正，并且
对校正后图像(51’、52’)进行立体匹配。
13.根据权利要求12所述的手持装置(1)，其中，所述立体匹配是通过半全局匹配法进行的。
14.根据权利要求1所述的手持装置(1)，其特征在于，所述分析单元被设计为识别所述第一图像(51)和所述第二图像(52)中的至少一个图像中的重复图案并从中得到所述远程对象(5)的重复特征(77)的重复方向(78)，并且
确定该重复方向(78)与极线(70)之间的角度(β)。
15.一种用于对远程对象(5)进行基于图像的测量的手持装置(1)，该手持装置(1)包括：
具有正面(11)和背面(12)的壳体(10)；
用于记录所述远程对象(5)的第一图像(51)和第二图像(52)的第一摄像头(3a)和第二摄像头(3b)，其被设置在该背面(12)上，具有作为彼此的固定间隔的立体基线(30)；
分析单元，其具有用于对该第一摄像头(3a)和该第二摄像头(3b)记录的所述第一图像(51)和所述第二图像(52)进行立体摄影测量分析的算法；和
显示单元(20)，其设置在该正面(11)上，用于显示所述远程对象(5)的图像(50)以及该立体摄影测量分析的结果，
其特征在于，所述分析单元被设计为
识别所述第一图像(51)和所述第二图像(52)中的至少一个图像的重复图案并从中得到所述远程对象(5)的重复特征(77)的重复方向(78)，并且
确定该重复方向(78)与极线(70)之间的角度(β)，
其中，分析单元被设计为如果该角度(β)的值低于预定阈值，则启动措施，其中，所述措施能够使得进一步记录所述远程对象(5)的所述第一图像(51)和所述第二图像(52)，在进一步记录的图像中达到或超过该预定阈值。
16.根据权利要求15所述的手持装置(1)，其特征在于，所述措施包括以下处理指示，该处理指示使用户针对所述进一步记录与先前记录相比对角地保持所述手持装置(1)。
17.根据权利要求16所述的手持装置(1)，其中，所述处理指示显示在所述显示单元(20)上。
18.一种借助手持装置(1)来对远程对象(5)进行基于图像的测量的方法(100)，所述方法包括以下步骤：
由第一摄像头(3a)和第二摄像头(3b)立体地记录(110)第一图像(51)和第二图像(52)，并且
对该第一摄像头(3a)和该第二摄像头(3b)记录的所述第一图像(51)和所述第二图像(52)进行立体摄影测量分析(140)，
其特征在于，考虑已知角度(α)来执行对所述第一图像(51)和所述第二图像(52)的所述分析(140)，其中，所述第一摄像头(3a)和所述第二摄像头(3b)被设置在所述手持装置(1)上，具有作为彼此的固定间隔的立体基线(30)，该立体基线(30)相对于所述手持装置(1)的纵向轴线(15)以所述已知角度(α)对角地取向。
19.根据权利要求18所述的方法，其中，该手持装置(1)是根据权利要求1-17中任一项所述的手持装置。
20.根据权利要求18所述的方法(100)，其特征在于：
基于所述第一摄像头(3a)和所述第二摄像头(3b)记录的所述第一图像(51)和所述第二图像(52)中的至少一个图像，在所述手持装置(1)的显示单元(20)上显示(120)图像(50)，
由用户选择(150)要测量的尺寸，
基于所述立体摄影测量分析后的所述第一图像(51)和所述第二图像(52)进行对应于所述选择(150)的测量(160)，以及
在显示单元(20)上输出(170)结果和/或将该结果存储(180)在所述手持装置(1)的数据存储单元中。
21.一种机器可读载体，所述机器可读载体存储有计算机程序，所述计算机程序在由手持装置运行时使得所述手持装置(1)执行对远程对象(5)进行基于图像的测量的方法，其中，所述程序在根据权利要求1至17中任一项所述的手持装置(1)的所述分析单元中执行并且至少包括以下步骤：
由第一摄像头(3a)和第二摄像头(3b)立体地记录(110)所述第一图像(51)和所述第二图像(52)，以及
对所述第一摄像头(3a)和所述第二摄像头(3b)记录的所述第一图像(51)和所述第二图像(52)进行立体摄影测量分析(140)，其中，考虑已知角度(α)来执行所述分析(140)。
22.根据权利要求21所述的机器可读载体，其中，所述方法为根据权利要求18至20中任一项所述的方法。
23.一种用于对远程对象(5)进行基于图像的测量的系统，该系统包括手持装置(1)和存储有计算机程序的机器可读载体，其中，该手持装置(1)包括：
具有正面(11)和背面(12)的壳体(10)；
用于记录所述远程对象(5)的第一图像(51)和第二图像(52)的第一摄像头(3a)和第二摄像头(3b)，其被设置在该背面(12)上，具有作为彼此的固定间隔的立体基线(30)；以及
用于向外部电子装置(2)发送所记录的所述第一图像(51)和所述第二图像(52)的数字图像数据的数据接口(90、95)，
其中，该壳体(10)具有纵向轴线(15)，并且所述手持装置(1)被设计为由用户手持使用，以所述纵向轴线(15)大致水平的方式来保持所述手持装置(1)以记录所述远程对象(5)的所述第一图像(51)和所述第二图像(52)，并且
其中，所述计算机程序在由所述手持装置运行时使得所述手持装置执行对所述第一摄像头(3a)和所述第二摄像头(3b)记录的所述第一图像(51)和所述第二图像(52)进行立体摄影测量分析，
其特征在于，所述立体基线(30)相对于该纵向轴线(15)对角地对准，其中程序代码：
包含有关所述立体基线(30)的相对对准的信息项，
能够在外部电子装置(2)中执行，并且
被设计为在立体摄影测量分析期间考虑所述立体基线(30)的相对对准。
24.根据权利要求23所述的系统，
其特征在于，所述手持装置(1)
包括所述机器可读载体，并且
被设计为经由所述数据接口(90、95)向外部电子装置(2)发送所述程序代码。
25.根据权利要求24所述的系统，
其中，所述机器可读载体是永久安装的数据存储单元(19)。
CN201811373767.3A 2017-11-20 2018-11-19 手持装置、利用手持装置进行的基于图像的测量的方法 Active CN109813283B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17202630.4A EP3486606A1 (de) 2017-11-20 2017-11-20 Stereokamera und stereophotogrammetrisches verfahren
EP17202630.4 2017-11-20

Publications (2)

Publication Number Publication Date
CN109813283A CN109813283A (zh) 2019-05-28
CN109813283B true CN109813283B (zh) 2021-05-07

Family

ID=60421612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811373767.3A Active CN109813283B (zh) 2017-11-20 2018-11-19 手持装置、利用手持装置进行的基于图像的测量的方法

Country Status (3)

Country Link
US (1) US11509881B2 (zh)
EP (1) EP3486606A1 (zh)
CN (1) CN109813283B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3486607B1 (de) * 2017-11-20 2021-09-01 Leica Geosystems AG Bildbasierte kantenvermessung
DE102020127060A1 (de) 2020-10-14 2022-04-14 Thyssenkrupp Elevator Innovation And Operations Gmbh Verfahren zum Modellieren eines Aufzugschienensystems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013202658A1 (de) * 2013-02-19 2014-08-21 Frederic Ludley Verfahren und Vorrichtung zur Bestimmung der Abmessungen von Gegenständen
CN106382917A (zh) * 2015-08-07 2017-02-08 武汉海达数云技术有限公司 一种室内环境三维空间信息连续采集方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038074A (en) * 1997-05-20 2000-03-14 Ricoh Company, Ltd. Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
WO2008062407A2 (en) * 2006-11-21 2008-05-29 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
JP4931668B2 (ja) * 2007-03-29 2012-05-16 富士フイルム株式会社 複眼撮像装置
JP4856611B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
EP2533541A4 (en) * 2010-02-02 2013-10-16 Konica Minolta Holdings Inc STEREO CAMERA
WO2012090309A1 (ja) * 2010-12-28 2012-07-05 コニカミノルタホールディングス株式会社 情報処理装置、そのプログラム、および情報処理方法
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
US9324190B2 (en) * 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
CN104272715A (zh) * 2012-05-01 2015-01-07 中央工程株式会社 立体相机及立体相机系统
US9185387B2 (en) * 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
US20150009119A1 (en) * 2013-01-29 2015-01-08 Imimtek, Inc. Built-in design of camera system for imaging and gesture processing applications
US20140210950A1 (en) * 2013-01-31 2014-07-31 Qualcomm Incorporated Systems and methods for multiview metrology
US9609305B1 (en) * 2013-03-13 2017-03-28 Amazon Technologies, Inc. Feature-based rectification of stereo cameras
US9303982B1 (en) * 2013-05-08 2016-04-05 Amazon Technologies, Inc. Determining object depth information using image data
KR101775591B1 (ko) * 2013-06-11 2017-09-06 퀄컴 인코포레이티드 데이터베이스 생성의 목적을 위한 대화식 및 자동 3-d 오브젝트 스캐닝 방법
TWI486551B (zh) * 2013-10-21 2015-06-01 Univ Nat Taiwan Science Tech 三維資料擷取方法及其系統
EP2919067B1 (en) * 2014-03-12 2017-10-18 Ram Srikanth Mirlay Multi-planar camera apparatus
EP2918972B1 (de) 2014-03-14 2019-10-09 Leica Geosystems AG Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells
US10049454B2 (en) * 2014-06-24 2018-08-14 Mantis Vision Ltd. Active triangulation calibration
KR102172992B1 (ko) * 2014-07-31 2020-11-02 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
CN106796661B (zh) * 2014-08-12 2020-08-25 曼蒂斯影像有限公司 投影光图案的系统、方法和计算机程序产品
US11019323B2 (en) * 2015-02-06 2021-05-25 Tara Chand Singhal Apparatus and method for 3D like camera system in a handheld mobile wireless device
CN107850425B (zh) * 2015-07-13 2022-08-26 瑞尼斯豪公司 用于测量制品的方法
CN106709899B (zh) * 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
JP6855587B2 (ja) * 2016-10-18 2021-04-07 フォトニック センサーズ アンド アルゴリズムス，エセ．エレ． 視点から距離情報を取得するための装置及び方法
US10109055B2 (en) * 2016-11-21 2018-10-23 Seiko Epson Corporation Multiple hypotheses segmentation-guided 3D object detection and pose estimation
US10726558B2 (en) * 2017-02-27 2020-07-28 Dolphin AI, Inc. Machine learning-based image recognition of weather damage
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013202658A1 (de) * 2013-02-19 2014-08-21 Frederic Ludley Verfahren und Vorrichtung zur Bestimmung der Abmessungen von Gegenständen
CN106382917A (zh) * 2015-08-07 2017-02-08 武汉海达数云技术有限公司 一种室内环境三维空间信息连续采集方法

Also Published As

Publication number Publication date
US11509881B2 (en) 2022-11-22
CN109813283A (zh) 2019-05-28
US20190158811A1 (en) 2019-05-23
EP3486606A1 (de) 2019-05-22

Similar Documents

Publication Publication Date Title
US10810734B2 (en) Computer aided rebar measurement and inspection system
EP3368859B1 (en) Method of solving initial azimuth for survey instruments, cameras, and other devices with position and tilt information
US9800867B2 (en) Calibration device of camera, camera system, and calibration method of camera
US11015930B2 (en) Method for 2D picture based conglomeration in 3D surveying
JP5715735B2 (ja) ３次元測定方法、装置、及びシステム、並びに画像処理装置
US20180108143A1 (en) Height measuring system and method
JPWO2005017644A1 (ja) ３次元測量装置及び電子的記憶媒体
KR20130033374A (ko) 측량 방법
CN113418543A (zh) 自动驾驶传感器的检测方法、装置、电子设备及存储介质
CN109813283B (zh) 手持装置、利用手持装置进行的基于图像的测量的方法
CN103890541A (zh) 圆柱状物体的直径测定装置及测定方法、测定程序
JP2005017286A (ja) カメラキャリブレーション方法およびカメラキャリブレーション装置
US11595558B2 (en) Apparatus and method for measuring cracks in wall surface
JP6614954B2 (ja) ひび割れ幅計測装置
KR101535801B1 (ko) 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
JP2007212187A (ja) ステレオ写真計測装置、ステレオ写真計測方法、及びステレオ写真計測プログラム
JP5987549B2 (ja) 建設部材の設置精度の測定システム及び方法
JP2017068465A (ja) 情報処理装置、制御方法、及びプログラム
JP2016217944A (ja) 計測装置、および計測方法
WO2015159835A1 (ja) 画像処理装置、画像処理方法、プログラム
JP6448413B2 (ja) 屋根勾配推定システム及び屋根勾配推定方法
KR101475742B1 (ko) 사진 계측 장치 및 방법
CN113140031A (zh) 三维影像建模系统、方法及应用其的口腔扫描设备
JP2018117191A (ja) 携帯端末、プログラム、および携帯端末の制御方法
KR102423217B1 (ko) ToF 센서의 3차원 거리분포 정보를 이용한 균열조사 장치 및 이를 이용한 균열정보 도출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant