CN105825498A - 测量数据处理装置、测量数据处理方法以及程序 - Google Patents
测量数据处理装置、测量数据处理方法以及程序 Download PDFInfo
- Publication number
- CN105825498A CN105825498A CN201610054191.9A CN201610054191A CN105825498A CN 105825498 A CN105825498 A CN 105825498A CN 201610054191 A CN201610054191 A CN 201610054191A CN 105825498 A CN105825498 A CN 105825498A
- Authority
- CN
- China
- Prior art keywords
- target
- rest image
- image
- video camera
- datum mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及测量数据处理装置、测量数据处理方法以及程序。具备数据受理部;操作信息受理部;外部定向要素计算部,基于所述多个基准点来计算拍摄了第一静止图像和第二静止图像的摄像机的外部定向要素;坐标统一部,将未受到所述指定的位置已知的未指定基准点的坐标系和所述摄像机的位置的坐标系统一,得到在一个坐标系上记述所述基准点的位置和摄像机的位置的统一坐标系;反投影图像制作部,将所述统一坐标系中的未指定基准点反投影到特定的位置处的摄像机的位置来得到反投影图像;以及目标位置估计部,基于所述反投影图像中的未指定基准点的画面中的位置来估计所述摄像机从所述特定的位置拍摄的静止图像中的未指定基准点的位置。
Description
技术领域
本发明涉及测量技术。
背景技术
已知有例如从上空对土木工程现场等进行照相拍摄而基于在此时得到的图像数据来得到成为对象的地形的三维模型(作为电子数据而模型化的三维地形数据)(例如,参照日本特开2013-96745号公报)。在该技术中,需要向所得到的三维模型提供实际尺寸的作业。在该作业中,需要在为几十~几百以上的静止图像中发现在各静止图像中显现的基准点并且将其在各静止图像间对应的作业。
也研究了通过软件处理自动检测上述的基准点的技术。在该技术中,设想为在基准点放置目标而容易进行通过软件处理的基准点的检测。但是,来自图像中的目标的自动检测容易产生错误检测,实际上,进行作业者手工地一边1个1个地放大缩小各静止图像一边以目视确认来特定指定在图像中的记号的位置的作业是实情。该作业必须在为几十~几百以上的静止图像中进行,繁杂且非效率。
发明内容
在这样的背景中,本发明的目的在于提供一种能够提高对在拍摄的图像中显现的基准点进行特别指定的作业的效率的技术。
方案1所记载的发明是,一种测量数据处理装置,其特征在于,具备:数据受理部,受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图像的数据和通过在所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据;指定受理部,受理在所述第一静止图像和所述第二静止图像中共同显现且位置已知的多个基准点的指定;外部定向要素计算部,基于所述多个基准点来计算拍摄了所述第一静止图像的摄像机的外部定向要素和拍摄了所述第二静止图像的摄像机的外部定向要素;坐标统一部,将未受到所述指定的位置已知的基准点的坐标系和所述外部定向要素计算部所计算的所述摄像机的位置的坐标系统一,得到在一个坐标系上记述所述基准点的位置和所述摄像机的位置的统一坐标系;反投影图像制作部,将所述统一坐标系中的未受到所述指定的位置已知的基准点反投影到特定的位置处的所述摄像机的位置来得到反投影图像;以及估计部,基于所述反投影图像中的未受到所述指定的所述基准点的画面中的位置来估计所述摄像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所述基准点的位置。
根据方法1所记载的发明,使用反投影图像来估计作业者(用户)未选择的基准点。因此,与重复静止图像的放大缩小来以目视寻找基准点的情况的作业相比较,提高发现基准点的作业的效率。
方案2所记载的发明的特征在于,在方案1所记载的发明中,进行如下处理:在所述第一静止图像和/或所述第二静止图像中,设定对包含由所述估计部估计的未受到所述指定的所述基准点的位置的区域进行放大后的探索对象区域。根据方案2所记载的发明,通过设定对静止图像的一部分进行放大的探索对象区域,从而为限定发现基准点的区域的区域,因此,能够提高发现基准点的作业的效率。
方案3所记载的发明的特征在于,在方案2所记载的发明中,从所述探索对象区域进行在未受到所述指定的位置已知的基准点的位置配置的目标的检测。
方案4所记载的发明的特征在于,在方案2或3所记载的发明中,在未正常地进行所述检测的情况下,进行通知其意思的处理。
方案5所记载的发明的特征在于,在方案4所记载的发明中,在未正常地进行所述检测的情况下,进行在画面上显示成为对象的探索对象区域的控制。
方案6所记载的发明的特征在于,在方案2~5的任一项所记载的发明中,进行如下控制:将所述探索对象区域的多个作为缩小图像缩略图显示在画面上,并且,在指定所述多个缩小图像的一个的情况下,在画面上显示与该缩小图像对应的所述探索对象区域的放大图像。
方案7所记载的发明的特征在于,在方案2~6的任一项所记载的发明中,具备判定部,所述判定部在从所述探索对象区域检测出的目标的已知的位置数据与从不同的静止图像利用交会法计算的该目标的位置数据的差满足特定的条件的情况下将该目标判定为错误目标。
根据没有任何错误、误差的理想的状况,预先取得的目标的位置信息与基于针对同一目标的图像解析的利用交会法计算出的目标的位置信息一致。另一方面,如果在目标的位置的特定、使用了静止图像的位置的特定处理中存在问题,则在所检测的目标的已知的位置数据与从不同的静止图像利用交会法计算出的该目标的位置数据之间产生差。方案7所记载的发明通过评价该差来检测错误目标。
方案8所记载的发明的特征在于,在方案7所记载的发明中,具备错误类型判定部,所述错误类型判定部判定所述错误目标的错误的类型。在未检测出错误目标的情况下,这存在如下情况:想要针对与该错误目标有关的数据的消除、修正就可或者必须再次进行一部分的信息的取得、重新研究或者存在对整体带来影响的问题而需要返回到相当以前的阶段重新测量等情况得到推测。如在后面叙述的那样,能够对错误进行分类、类型化。此外,关于错误的类型,通过调查在错误目标的判定中使用的参数,从而能够进行某种程度的预想。通过判定错误的类型,作业者能够得到上述的推测。
方案9所记载的发明的特征在于,在方案8所记载的发明中,在多个目标中调查所述差,在所述多个目标中的所述差的不同满足特定的条件的情况下,选择预先确定的特定的错误的类型。再有,在此,所谓的差是从探索对象区域检测出的目标的已知的位置数据与从不同的静止图像利用交会法计算出的该目标的位置数据的差。
方案10所记载的发明的特征在于,在方案8或9所记载的发明中,基于所述差的时间轴上的推移,选择预先确定的特定的错误的类型。
方案11所记载的发明的特征在于,在方案8~10的任一项所记载的发明中,进行在画面上显示所述错误的类型的控制。
方案12所记载的发明是,一种测量数据处理方法,其特征在于,具备:数据受理步骤,受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图像的数据和通过在所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据;指定受理步骤,受理在所述第一静止图像和所述第二静止图像中共同显现且位置已知的多个基准点的指定;外部定向要素计算步骤,基于所述多个基准点来计算拍摄了所述第一静止图像的摄像机的外部定向要素和拍摄了所述第二静止图像的摄像机的外部定向要素;坐标统一步骤,将未受到所述指定的位置已知的基准点的坐标系和在所述外部定向要素计算步骤中计算的所述摄像机的位置的坐标系统一,得到在一个坐标系上记述所述基准点的位置和所述摄像机的位置的统一坐标系;反投影图像制作步骤,将所述统一坐标系中的未受到所述指定的位置已知的基准点反投影到特定的位置处的所述摄像机的位置来得到反投影图像;以及估计步骤,基于所述反投影图像中的未受到所述指定的所述基准点的画面中的位置来估计所述摄像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所述基准点的位置。
方案13所记载的发明是,一种程序,被计算机读取并执行,其特征在于,使计算机作为以下部分发挥作用:数据受理部,受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图像的数据和通过在所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据;指定受理部,受理在所述第一静止图像和所述第二静止图像中共同显现且位置已知的多个基准点的指定;外部定向要素计算部,基于所述多个基准点来计算拍摄了所述第一静止图像的摄像机的外部定向要素和拍摄了所述第二静止图像的摄像机的外部定向要素;坐标统一部,将未受到所述指定的位置已知的基准点的坐标系和所述外部定向要素计算部所计算的所述摄像机的位置的坐标系统一,得到在一个坐标系上记述所述基准点的位置和所述摄像机的位置的统一坐标系;反投影图像制作部,将所述统一坐标系中的未受到所述指定的位置已知的基准点反投影到特定的位置处的所述摄像机的位置来得到反投影图像;以及估计部,基于所述反投影图像中的未受到所述指定的所述基准点的画面中的位置来估计所述摄像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所述基准点的位置。
根据本发明,得到能够提高对在拍摄的图像中显现的基准点进行特别指定的作业的效率的技术。
附图说明
图1是示出拍摄的状况的概念图。
图2是实施方式的框图。
图3是示出得到反投影图像的原理的原理图。
图4是示出后方交会法的原理的原理图。
图5是示出模板匹配(templatematching)的原理的原理图。
图6是示出前方交会法的原理的原理图。
图7是示出处理的顺序的一个例子的流程图。
图8是示出处理的顺序的一个例子的流程图。
图9是示出错误的一个例子的说明图。
图10是示出错误的一个例子的说明图。
图11是示出UI图像的一个例子的附图代用照片。
图12是示出UI图像的一个例子的附图代用照片。
图13是示出UI图像的一个例子的附图代用照片。
图14是示出UI图像的一个例子的附图代用照片。
图15是示出错误的类型判定处理的一个例子的流程图。
具体实施方式
1.第一实施方式
(概要)
以下,对在实施方式中进行的处理的原理简单地进行说明。在图1中概念性地示出了测量的原理。在该例子中,使用在能够自主飞行的无人飞机(UAV(UnmannedAirVehicle))10装载有能够进行照相拍摄的摄像机的机械材料。UAV10装载有GNSS装置(使用了导航卫星的位置特定装置)和IMU(惯性导航装置),能够进行自主飞行,但是,其精度对于制作在后面叙述的三维模型不足。当然,虽然变得成本增加,但是,也可以使用具备高精度的GNSS装置和IMU的UAV。再有,在本实施方式中的三维模型的制作中,UAV的GNSS装置和IMU不是必须的。此外,也能够使用不是UAV而是有人的飞机。
UAV10一边飞行一边连续地拍摄地表。即,一边飞行,一边连续地进行在时刻t1拍摄第一静止图像、在时刻t2拍摄第二静止图像、在时刻t3拍摄第三静止图像等处理。拍摄的间隔只要根据需要来决定即可,例如,采用2秒间隔。再有,也能够进行活动图像拍摄而将构成活动图像的帧图像处理为静止图像。即,活动图像由在时刻t1拍摄的第一帧图像、在时刻t2拍摄的第二帧图像等按照时间序列排列的多个帧图像构成,但是,也能够将该帧图像用作本实施方式中的静止图像。
在上述的拍摄中,为在飞行的状态下的拍摄,因此,视点的位置一点儿一点儿地偏离,此外,得到许多拍摄对象的范围一点儿一点儿地偏离的静止图像。此外,在成为拍摄的对象的地表预先配置有多个利用全站仪(totalstation)等特别指定了三维位置的目标。当比较拍摄时刻在时间轴上邻接或接近的2个静止图像时,2个静止图像存在重复的部分,此外,在该重复的部分得到多个目标显现的部分。以当改变观察方法时在上述的2个静止图像中映入相同的多个目标的方式决定飞行计划、目标的配置状况。
作业者从所得到的图像数据选择上述的2个静止图像,以手动操作选择在两者中共同的多个(最少4个)目标。该作业例如对个人计算机、平板电脑(平板终端)进行操作。在此,利用共同地显现特别指定了三维位置的多个目标的情况且使用后方交会法来计算装载于UAV10的摄像机的在该静止图像的拍摄时的外部定向要素(三维位置和姿势)。
在图4中示出了后方交会法的原理。后方交会法是指观测从未知点朝向3个以上的已知点的方向而将未知点的位置确定为这些方向线的交点的方法。作为后方交会法,可举出:单照片定向、DLT法(DirectLinerTransformationMethod,直接线性变换法)。在基础测量学(电气书院:2010/4发行)p.182、184中记载有交会法。此外,在日本特开2013-186816号公报中,关于交会法,示出了具体的计算方法的例子。
在此,当将第一静止图像的拍摄时刻设为t1且将第二静止图像的拍摄时刻设为t2时,计算在t1的UAV10(摄像机)的三维位置和姿势以及在t2的UAV10(摄像机)的三维位置和姿势。在该处理中,将由作业者指定的目标的位置用作明确地知晓的基准点,基于该基准点的三维坐标和静止图像中的画面坐标值且利用后方交会法来求取在拍摄该静止图像的时刻的摄像机的三维位置和姿势。
当简单地进行说明时,图4的P1~P3为位置明确的基准点,p1~p3为其画面坐标值。在此,当设定连结P1和p1、P2和p2、P3和p3的3个线时,其交点O为摄像机的位置。此外,连结点O和画面中心的线的延长的方向为摄像机的光轴。像这样,能够使用拍摄了位置明确的多个基准点的图像来求取拍摄该图像的摄像机的外部定向要素(位置和姿势)。
另一方面,通过图像处理而从第一静止图像和第二静止图像中提取特征点来求取在2个静止图像间的特征点的对应关系。使用模板匹配来进行在2个静止图像间的特征点彼此的对应关系的特定。
作为模板匹配,可举出残差逐步检定法(SSDA:SequentialSimilarityDetectionAlgorithm,序贯相似检测算法)、互相关系数法等。以下,对模板匹配的一个例子进行说明。模板匹配是将2个坐标系中的图像的坐标数据相互比较而根据两者的相关关系来求取2个图像的对应关系的方法。在模板匹配中,求取从2个视点各自观察的图像的特征点的对应关系。图5是说明模板匹配的原理的说明图。在该方法中,如图示的那样,使N1×N1像素的模板图像在比其大的M1×M1像素的输入图像内的探索范围(M1-N1+1)2上移动,求取以下述数式1示出的互相关函数C(a,b)为最大的那样的(即相关的程度为最大的那样的)模板图像的左上位置。
数式1
其中
。
一边改变一个图像的倍率此外一边使其旋转一边进行上述的处理。然后,在相关关系为最大的条件下求取两个图像一致的区域,进而,提取该区域中的特征点,由此,进行对应点的检测。
使用模板匹配,由此,能够特别指定所比较的2个图像的一致的部分,能够知晓2个图像的对应关系。在该方法中,以使2个图像的相关关系为最大的方式确定两者的相对的位置关系。2个图像的相关关系由两个图像的特征点决定。
在此,首先求取在时刻t1和t2的摄像机的外部定向要素(位置和姿势),因此,能够使用前方交会法来计算上述的位置未知的特征点的三维位置。在图6中示出了前方交会法的原理。前方交会法是指观测从已知的多个点(在图6的情况下为O1和O2这2点)朝向未知点P的方向而求取未知点P的位置来作为这些方向线的交点的方法。像这样,取得第一静止图像和第二静止图像中的目标和特征点的三维坐标。
在此,摄像机坐标系和基准点的坐标系是相同的坐标系(例如,在GNSS中利用的坐标系),因此,能够将两者统一,在该统一后的坐标系中,能够记述在该时间点被指定或检测的目标(基准点)的位置、作为未提取的位置已知的未确定的目标(基准点)的位置。
当将该统一坐标系反投影到拍摄了特定的静止图像的摄像机位置时,利用图3所示的原理而在特定的静止图像中得到能够记述未确定的目标的位置(基准点的位置)的反投影图像。
在该例子中,准备对反投影图像中的未确定的目标的位置进行放大显示后的放大图像。然后,针对该放大图像,使用图像识别功能在该图像中探索未确定的目标,软件地进行未确定目标的探索。在此,在能够探索未确定目标的情况下,从图像取得其标识码(identificationcode),取得存储于数据库的该目标的三维位置的数据。
假设在不能取得未确定目标的三维坐标的情况下,作业者以目视观察放大显示后的区域的图像,进行发现目标的作业。在该情况下,探索范围被缩小,因此,利用目视的探索的作业与探索的范围未被缩小的情况相比变得容易。像这样,在第一静止图像和第二静止图像中,特别指定作业者最初未指定的目标,取得其位置信息。
接着,比较第二静止图像和第三静止图像。在此,在第三静止图像中选择显现有在第二静止图像中显现的特征点和目标的部分。在该阶段中,拍摄第三静止图像时的摄像机的位置和姿势是未知的。但是,已经与第二静止图像相关联地求取在第二静止图像和第三静止图像中共同显现的已经选择的目标和特征点的三维位置。因此,能够利用图4的后方交会法来计算在拍摄第三静止图像的时刻的摄像机的位置和姿势。
只要能够计算在拍摄第三静止图像的时刻的摄像机的位置和姿势,则与第一和第二静止图像所涉及的处理的情况同样地制作第三静止图像所涉及的反投影图像,进行第三静止图像所涉及的新的未确定目标的探索。此外,另一方面,在第三静止图像中进行新的特征点的提取,并计算其三维位置。
也对第四静止图像、第五静止图像…进行以上的处理,由此,利用多个目标提供真比例尺(realscale),得到由许多特征点构成的三维模型(测定对象的三维模型)。以上为在本实施方式中进行的处理的原理和概要。在此,对制作地表的三维模型的情况进行说明,但是,对象并不限定于地表,也可以为建筑物等人工构造物。
(硬件的结构)
在图2中示出了利用了发明的测量数据处理装置100的框图。测量数据处理装置100为执行上述的处理的硬件。测量数据处理装置100具有作为计算机的功能,具备:CPU、固体电子存储器、硬盘存储装置、各种接口、此外根据需要的运算元件。在图2中记载有作为功能掌握的各种功能部。图示的各种功能部的一部或多个可以软件地构成,也可以以专用的硬件构成。
例如,也能够以专用的硬件构成测量数据处理装置100,但是,也能够为使用通用的计算机来软件地实现图示的功能部的功能的结构。在使用了通用的计算机的情况下,在该计算机所具备的(或者连接于该计算机的)显示器上进行在后面叙述的缩略图显示、对目标的估计位置附近进行放大的画面显示,使用能够通过该计算机利用的UI(userinterface,用户界面)来进行根据作业者的各种作业。此外,也能够通过平板电脑(平板终端)、智能电话进行测量数据处理装置100的至少一部的功能。
测量数据处理装置100具备:数据存储部101、GUI控制部102、数据受理部103、操作信息受理部104、目标信息取得部105、外部定向要素计算部(外部定向要素取得部)106、特征点提取部107、对应点特定部108、特征点位置计算部109、坐标统一部110、反投影图像制作部111、目标位置估计部112、目标检测部113、目标好坏判定部114、三维模型制作部115、超分辨(super-resolution)处理部116、以及错误类型判定部117。
在数据存储部101存储有所使用的目标的识别信息和三维位置数据。此外,在数据存储部101存储有测量数据处理装置100的工作所需要的各种数据。GUI控制部102对显示测量数据处理装置100中的处理的结果的显示器上的GUI(graphicaluserinterface,图形用户界面)的工作进行控制。作业者通过对该显示器上的GUI进行操作来进行目标的以手动的指定、确认等作业。通过GUI控制部102的工作来进行在后面叙述的各种画面显示。
数据受理部103受理UAV所装载的摄像机所拍摄的静止图像的图像数据。在该图像数据中,静止图像与拍摄该静止图像的时刻相关联。操作信息受理部104受理由作业者指示的内容。例如,通过操作信息受理部104受理与使用上述的GUI的作业者的操作内容有关的信息。
目标信息取得部105进行作业者所指定的目标的位置信息(该位置信息被存储到数据存储部101中)的取得、在后面叙述的目标检测部113所检测的目标的位置信息的取得。
外部定向要素计算部(外部定向要素取得部)106利用在装载于UAV的摄像机所拍摄的静止图像中显现的目标和/或从该静止图像提取的特征点的三维坐标且使用图4的后方交会法来计算摄像机的在该静止图像的拍摄时的三维位置和姿势。再有,外部定向要素计算部(外部定向要素取得部)106也可以取得UAV所具备的GNSS装置和IMU所测量的位置数据和姿势的数据。
特征点提取部107从静止图像中提取特征点。特征点为能够从周围区别的点,例如,将边缘部分、周围和彩色不同的部分提取为特征点。特征点的提取通过软件处理来进行。在特征点的提取中使用Sobel、Laplacian、Prewitt、Robert等微分滤波器。
对应点特定部108对在2个静止图像中分别个别地提取的特征点的对应关系进行特别指定。即,进行将与在一个静止图像中提取的特征点相同的特征点在另一个静止图像中特别指定的处理。对该特征点的对应关系进行特别指定的处理例如使用图5所示的模板匹配来进行。特征点位置计算部109使用图6的前方交会法来计算特别指定了在不同的静止图像间的对应关系的特征点的三维坐标。
坐标统一部110将摄像机位置的坐标系和基准点(目标)的坐标系统一。在外部定向要素计算部106中计算在各静止图像的拍摄时刻的摄像机的位置。所谓的摄像机位置的坐标系是记述摄像机的位置的坐标系。在该摄像机位置的坐标系中也记述由特征点位置计算部109计算出的特征点的位置、由作业者指定的目标的位置。
所谓的基准点的坐标系是记述预先取得的多个目标各自的位置的坐标系。使用相同的地图坐标系(处理地上的坐标的坐标系:例如,记述由GNSS取得的位置信息的坐标系)来记述摄像机位置的坐标系和基准点的坐标系。通过将摄像机位置的坐标系和基准点(目标的位置)的坐标系统一,从而得到在相同的坐标系(地图坐标系)上记述摄像机的位置、特征点的位置、由作业者指定的目标的位置和未由作业者指定的目标的位置的坐标系(统一坐标系)。
反投影图像制作部111利用图3的原理得到反投影图像。用直线连结摄像机位置(视点)和由坐标统一部110得到的统一坐标(实际空间(realspace)坐标)中的各点的坐标位置并且在静止图像中描绘该直线与从该摄像机位置拍摄的静止图像面交叉的点,由此,得到反投影图像。例如,考虑在时刻t1得到静止图像L1的情况。在该情况下,用直线将上述的统一坐标系上的基准点(目标的位置)和在时刻t1的摄像机的位置(视点)连结,将该直线与静止图像L1的画面交叉的点赋予到静止图像L1,由此,得到在时刻t1的反投影图像。
目标位置估计部112使用反投影图像来估计在静止图像中未被特别指定的目标的位置。目标检测部113使用上述的估计的结果来从上述的反投影图像之中检测在该时间点未被特别指定的目标。
目标好坏判定部114进行由作业者指定的目标和目标检测部113所检测的目标是否适当的判定。作为不适当的目标,可举出作业者错误指定(输入信息的输错等)的目标、在步骤S112(图8)中错误检测的目标(检测出不同的目标的情况下)、在本来注册的位置信息存在错误的目标、由于某种理由而位置信息的可靠性低的目标、本来不是目标而被检测出的拟目标(与目标弄错而识别的物理、图案等)来作为不适当的目标。此外,也有可能存在由于通过风而移动、人移动等理由在拍摄的中途目标的位置移动的情况。也将这样的目标用作基准点,成为不适当的目标。
目标的好坏的判定使用立体测量的目标的位置信息来进行。即,关于在装置侧在图像中特别指定后的目标,本来确定了其位置信息,但是,另一方面,能够利用图6所示的原理根据在时间轴上邻接或接近的2个静止图像(反投影图像)来进行其三维位置的计算。目标好坏判定部114关于目标的位置(基准位置)比较上述的计算位置和预先取得的位置,在其差超过预先决定的阈值的情况下,判定为:判定对象的目标不适当即为错误目标。
以下,对具体的处理的一个例子进行说明。首先,考虑与第一静止图像对应的第一反投影图像和与第二静止图像对应的第二反投影图像。在此,假设2个反投影图像为拍摄时间接近且拍摄大致相同的对象的情况下的图像。然后,使用上述第一反投影图像和上述第二反投影图像,利用图6的前方交会法,求取所检测的目标的三维位置。接着,比较所求取的目标的三维位置和该目标的预先注册的三维位置。此时,在其差超过预先确定的阈值的情况下,将成为对象的目标判定为错误目标。
错误的类型判定部117在检测出不适当的目标的情况下判定与预先确定的错误的类型之中的哪一个对应。在产生错误的情况下,根据其仅仅是错误检测或者是装置整体的问题或者在目标的位置信息中存在错误等状态,所取得的对应不同。
例如,在图9中示出了使用图6的方法计算出的目标的位置与预先取得的目标的位置的差偏离的情况。在该情况下,考虑在进行作业者的指定时存在失误的可能性、存在目标的错误检测的可能性。此外,在追逐静止图像的情况的中途得到图9所示的结果的情况下,考虑在拍摄中目标移动的可能性。
在图10中示出了在存在多个的目标之中只有一个计算值和已知的值偏离的情况。在该情况下,根据3个静止图像求取的目标(基准点)的三维位置一致。因此,预先取得的□标记的目标的位置信息是错误的可能性高。目标的位置使用全站仪、得到精密的位置信息的GNSS装置来预先取得,但是,由于设备的操作失误、来自导航卫星的导航信号不能正确地检测等理由而存在错误测定目标的位置而取得错误的位置信息的情况。在这样的情况下,得到图10所示的那样的结果的可能性高。
此外,在关于多个目标而计算值与注册值不一致的情况下,考虑设备的工作不佳。此外,在多个目标中,在计算值和注册值的差中出现不均的情况下,考虑装置的工作不佳、在图像解析中存在问题(例如,静止图像的一部分的画质较暗而在特征点的提取中存在故障等)的情况。
以下,对错误的类型一个例子进行说明。再有,所选择的类型并不限于为1个,也可以为多个。
(1)输入失误
存在输错基准点的情况。关于作业者指定的目标,在图9所示的那样的只有该目标与其他不同而在计算值与注册值之间出现偏差进而该偏差过度大的情况下,存在该目标的指定中的作业者的输入失误的可能性。
(2)目标位置由于某种影响而在拍摄图像中移动的情况
例如,在着眼于特定的目标的情况下,在使用第N个静止图像和第N+1个静止图像来进行计算时,在计算值和注册值中没有偏差,在使用第N+10个静止图像和第N+11个静止图像来进行计算时而在计算值和注册值中产生偏差的情况下,存在在第N+2个以后目标移动的可能性。
(3)基准点的测量设备的问题
在最初,目标的位置使用全站仪等来特别指定并且取得其位置数据,但是,在此时存在在位置的特定产生失误的情况。例如,在存在设备的故障、在来自导航卫星的导航信号的接收不稳定的情况下测量的位置信息的精度低、设备的操作的失误等问题的情况下,产生了该问题的目标产生计算值与注册值之间的不一致。特别地,在图10所示的那样的情况下存在其可能性。
(4)基本存在问题的情况
在整体中未出现计算值和注册值的一致的情况、计算值不收敛的情况下,设想装置的故障、在数据中产生基本的问题的事态。
(5)可靠性
存在起因于所利用的数据的可靠性、所得到的静止图像的画质等而计算结果的可靠性不稳定的情况。在该情况下,存在如下情况:在作业者侧必须进行以下等判断:是进行再次的基准点的定位、重新拍摄还是使用可靠性高的数据来继续进行处理。
例如,在由于天气的影响等而拍摄特定的区域的静止图像的画质变暗而存在目标的检测精度降低等问题的情况下,关于从该区域检测出的多个目标,出现容易产生计算位置与已知的位置的差的趋势。同样的趋势也出现在特定的区域的目标的测定精度低的情况下。例如,在某个区域中的目标的位置测量时天气差而精度不能确保的那样的情况下,有可能存在这样的状况。
此外,评价通过与从该区域检测出的目标有关的计算来求取的目标的位置(基准点的位置)和预先取得的目标的位置的差的不均,考虑根据所得到的不均的程度来改变警告的等级的处理。在该情况下,误差分为测量分辨率的σ、2σ、3σ、其以上等等级,设定警告的等级。关于测量分辨率Δxy,假设f:摄像机的焦点距离、B:摄像机间距离、δp:图像分辨率、H:拍摄距离或拍摄高度,以Δxy=H·δp/f、Δz=H·Hδp/(f·B)提供。
三维模型制作部115制作由通过解析许多静止图像而得到的多个目标和许多特征点构成的三维模型。例如,将所得到的特征点用作点群位置数据来制作tin(不规则三角形网),进行拍摄对象物的三维模型的制作。此时,提供利用多个目标而得到的三维目标的实际尺寸。关于基于点群位置数据来制作三维模型的技术,例如,在日本特开2012-230594号公报、日本特开2014-35702号公报中记载。
超分辨处理部116进行提高静止图像的分辨率的处理。在该例子中,作为超分辨处理进行以下的处理。首先,在选择成为对象的静止图像之后,选择与该静止图像在时间轴上邻接或接近的之前的多个图像。例如,选择前n-1个、前n-2个、前n-3个、…等多个静止图像。
即使为显现相同的场所的静止图像,也为通过在移动的状态下的拍摄而得到的图像,因此,虽说在时间轴上邻接或接近,在不同的静止图像间,针对拍摄对象的光轴的角度微妙地不同。进行用于对针对该拍摄对象的光轴的角度的偏差进行校正的正(ortho)处理。在“国土地理院技術資料A·1-No.289ディジタルオルソ作成の公共測量作業マニュアル平成16年1月国土交通省国土地理院”中记载有正处理。正处理对成为对象的多个图像进行。在进行正处理之后,使成为对象的多个图像重合。此时,将在该时间点以已知的目标决定的基准点作为定位记号来高精度地重叠各图像。
在重叠的多个静止图像中,构成各静止图像的像素不会完全地重叠,像素的位置微妙地偏离。即,在大部分的情况下,为在第一静止图像的像素间的缝隙存在第二静止图像的像素的状态。这是起因于拍摄各静止图像的摄像机的位置偏离。关于上述的像素偏离的状态,重叠的图像越增加而变得越显著。即,重叠的图像越增加,得到像素的缝隙越少的细密的图像,也就是说,像素密度更高,得到高分辨率的图像。通过进行超分辨处理,从而放大显示时的模糊的程度变低,得到高分辨率的图像。然后,通过使用高分辨率的图像,从而能够提高目标的检测精度。
(处理的一个例子)
在图7和图8中示出了在测量数据处理装置100中进行的处理的顺序的一个例子。用于执行图7和图8所示的顺序的处理的程序被存储在测量数据处理装置100内部或外部的适当的存储区域中,由测量数据处理装置100的CPU读出并执行。该程序能够存储在适当的存储介质中。在此,说明不利用UAV得到的位置数据和姿势的数据的情况。当然,也能够利用UAV得到的位置数据和姿势的数据。
首先,作为事前的处理,使UAV在成为测量对象的土地的上空飞行,在此时使用摄像机以特定的时间间隔对成为测量对象的土地的静止图像进行拍摄。然后,将该拍摄数据输入到测量数据处理装置100中。摄像机具有测量基准时间的时钟功能,在得到的拍摄数据中,拍摄时刻与拍摄的静止图像相关联。
当开始处理时(步骤S100),在作业者观察的显示器上按照时间序列顺序缩略图显示所拍摄的许多静止图像。作业者从该缩略图显示的许多静止图像之中选择在时间轴上邻接或接近的2个静止图像(步骤S101)。例如,取得在时刻t1和t2(t2>t1)的2个静止图像L1、L2。在图2的操作信息受理部104中受理该操作内容,在GUI控制部102中执行所对应的处理。
接着,在显示器上显示所选择的2个静止图像(步骤S102)。作业者以目视从该2个静止图像找出在两个图像中共同的4个以上的目标,对它们进行指定。该作业例如通过作业者对构成测量数据处理装置100的计算机进行操作来进行的。再有,在没有发现4个以上的共同的目标的情况下,变更所选择的图像。
在测量数据处理装置100侧判定是否进行成为基准点的4个以上的目标的指定(步骤S103),在进行4个以上的目标的指定的情况下,从图2的数据存储部101取得所指定的目标的位置信息(步骤S104),在不进行4个以上的目标的指定的情况下,重复步骤S103的处理。步骤S104的处理在图2的目标信息取得部105中进行。
在步骤S104之后,使用图4的后方交会法来计算拍摄了在步骤S101中选择的2个静止图像的每一个的摄像机的位置和姿势(步骤S105)。该处理在图2的外部定向要素计算部(外部定向要素取得部)106中进行。即,在图4中,将由作业者指定的4个以上的目标的位置信息设为P1、P2、P3(在图4中为3点,但是,实际上为4点以上)并且将各目标的在静止图像中的画面坐标位置设为p1、p2、p3(同样地,在图4中为3点,但是,实际上为4点以上),利用图4的原理来求取拍摄了符合的静止图像的摄像机的位置O。此外,只要求取O,则根据p1、p2、p3与静止图像的图像中心的位置关系来判明在拍摄该静止图像时的摄像机的光轴的方向,因此,知晓此时的摄像机的姿势。像这样,在步骤S105中,求取在拍摄在步骤S102中选择的2个静止图像的时刻的摄像机的外部定向要素(位置和姿势)。
接着,从在该时间点选择的2个静止图像进行特征点的提取(步骤S106)。该处理在图2的特征点提取部107中使用软件性地构成的Sobel、Laplacian、Prewitt、Robert等微分滤波器来进行。再有,也可以在所提取的特征点中包含目标。
接着,关于在步骤S106中提取的特征点,对在成为了对象的2个静止图像之间对应的特征点(对应点)进行特别指定(步骤S107)。该处理在图2的对应点特定部108中例如使用模板匹配来进行。在此,也可以进行对错误对应的特征点进行检测的错误对应点的检测处理。例如在日本特开2013-186816号公报中记载错误对应点的检测处理。
在对在所选择的2个静止图像中对应的特征点进行特别指定之后,计算该特别指定后的对应点的三维位置(步骤S108)。该处理在图2的特征点位置计算部109中进行。例如,假设在时刻t1拍摄静止图像L1,在时刻t2拍摄静止图像L2。此外,假设在步骤S105中求取在时刻t1的摄像机的位置和姿势、在时刻t2的摄像机的位置和姿势。
在该情况下,图6的点O1为在时刻t1的摄像机的位置,p1为静止图像L1中的着眼的特征点P的画面中的位置,点O2为在时刻t2的摄像机的位置,p2为静止图像L2中的着眼的特征点P的画面中的位置。在此,设定连结O1和p1的线和连结O2和p2的线,求取该2个线的交点的坐标,由此,得到特征点P的坐标。该计算在成为对象的特征点的全部中进行,由此,进行步骤S108的处理。
在步骤S108之后,前进到步骤S109。在步骤S109中,将记述在步骤S105中取得的摄像机的位置的坐标系(摄像机的位置的坐标系)和记述目标的位置的坐标系统一。其结果是,在一个坐标系上记述摄像机的位置、在步骤S108中计算出的特征点的位置、在该时间点被指定或检测的目标的位置、进而在该时间点未被指定或检测的目标的位置。使用地图坐标系来记述摄像机的位置和特征点的位置,在地图坐标系上使用全站仪等来预先特别指定目标的位置,因此,两者的坐标系的统一通过将目标的坐标写入到摄像机位置的坐标系中来进行。
例如,假设,在第一静止图像和第二静止图像中,特别指定共同的多个目标Ai(i=1、2、3…)和多个特征点Bj(j=1、2、3…),也取得它们的三维位置。在此,关于未在第一静止图像和第二静止图像中特别指定的其他的目标Ck(k=1、2、3…),其三维位置是已知的(本来,全部目标在特定了三维位置之上设置)。因此,设想存在上述特别指定的多个目标Ai(i=1、2、3…)和多个特征点Bj(j=1、2、3…)的实际空间,能够在该实际空间中配置未被特别指定的目标Ck(k=1、2、3…)。在该情况下,通过将记述Ai和Bj的坐标系和记述Ck的坐标系统一,从而能够在统一后的一个坐标系之中记述Ck。
在统一摄像机位置的坐标系和基准点的坐标系之后,前进到步骤S110。在步骤S110中,制作在该时间点选择的静止图像的一个或两个所对应的反投影图像。该处理在图2的反投影图像制作部111中进行。即,在步骤S109中得到的统一坐标中,作为数据描绘在步骤S104中未取得此外在此阶段中未检测出的目标(未特定目标)的位置。然后,当将该统一后的坐标系反投影到得到特定的静止图像A的视点(摄像机位置)来制作反投影图像时,在上述的静止图像A中未被认知的上述的目标Ck(k=1、2、3…)在该反投影图像中出现。
在步骤S110之后,进行以下处理:对使用了反投影图像的未选择目标的位置进行估计(步骤S111)。该处理在图2的目标位置估计部112中进行。在该处理中,将反投影图像中出现的未特定的目标(未在步骤S104中取得位置信息且未检测的目标)的位置作为目标的估计位置取得。即,以“根据计算,大概存在于那里”这样的意味将在反投影图像中出现的新的目标的位置识别为估计位置的处理在步骤S111中进行。
在估计未特定的目标之后,进行对估计了位置的目标进行检测的处理(步骤S112)。以下,对在步骤S112中进行的处理进行说明。在该处理中,首先,设定放大了反投影图像的未特定目标的估计位置的附近的探索对象区域。例如,该探索对象区域选择为以未特定的目标的位置为中心的几m~10m左右方形程度的区域。该探索对象区域为将静止图像的一部分放大后的放大图像。像这样,在静止图像中设定估计为未确定的目标应该存在的区域。
接着,着眼于所设定的探索对象区域,利用软件处理从其中检测成为估计的对象的目标。关于目标,为了容易图像地识别,而例如在白的圆盘的中心显示圆印,此外,显示对该位置进行特别指定的二维码(用于读取码的图案)。利用图像解析从上述的探索对象区域中检测该目标。
具体来说,首先,在图2的数据存储部101中存储有目标的参照图像,通过将该参照图像用作比较图像,从而进行来自探索对象区域的新的目标的检测。该技术能够使用公知的图像识别技术来进行。
此外,在步骤S112中也可以进行超分辨处理。例如,作为超分辨处理进行以下的处理。首先,选择与在步骤S112中成为对象的静止图像在时间轴上邻接或接近的之前的多个静止图像。例如,选择前n-1个、前n-2个、前n-3个、…等静止图像。然后,对所得到的多个静止图像实施正校正,进而将实施了正校正后的多个静止图像位置对准并重合来得到重叠静止图像。此时,将在该时间点以已知的目标决定的基准点作为定位记号来高精度地重叠各图像。在得到重叠静止图像之后,得到对重叠静止图像中的成为对象的未确定目标的附近进行放大后的放大重叠静止图像。在得到放大重叠静止图像之后,以其为对象使用图像识别处理来进行目标的检测。
在步骤112中进行的利用图像处理的目标的检测存在对与目标相似的那样的形状、图案进行错误检测的可能性。该可能性根据分辨率低的情况而变更。通过进行超分辨处理,从而得到即使放大也清晰的图像,因此,能够提高目标的检测精度。其优越性在以目视进行观察的情况也同样。因此,上述的超分辨处理在后面叙述的步骤S116中也为有效。
步骤S112的处理由于限定了成为对象的区域,所以能够高效地进行。像这样,进行不利用作业者的操作的来自静止图像中的目标的检测。该处理针对在反投影图像中出现的未确定的目标的全部进行。再有,也可能存在不能在步骤S112中检测出目标的情况。在该情况下,也能够进行忽视未找到的目标的处理,但是,也可以画面显示探索对象区域而作业者观察其以目视进行寻找目标的作业。在该情况下,进行如下控制:显示目标的检测不能进行的意思,显示为放大了该探索对象区域的图像进而对目标的估计位置做记号后的放大图像。在该情况下,作业者以目视探索的区域被限定,因此,作业者的负担为比较小的负担就可。
在检测出新的目标之后,进行判定在所检测的目标之中是否存在不适当的目标(错误目标)的处理(步骤S113)。在该处理中,也同时判定在被作业者指定的目标之中是否存在不适当的目标。该处理在图2的目标好坏判定部114中进行。在该处理中,使用在该时间点选择的(例如,在步骤S101中选择的)第一反投影图像和第二反投影图像,利用图6的前方交会法来求取所检测的目标的三维位置。接着,对以前方交会法求取的目标的三维位置和该目标的预先注册的三维位置进行比较。此时,在其差超过预先确定的阈值的情况下,进行成为对象的目标为错误目标的意思的判定。
在没有错误目标的情况下,前进到步骤S119,从数据存储部101取得所检测的目标的位置信息。在存在错误目标的情况下,进行前述的错误的类型的判定(步骤S115)。该处理在错误类型判定部117中进行。
在图15中示出对错误的类型进行判定的处理的顺序的一个例子。关于在判定中使用的规定值(阈值),准备几阶段而能够配合现场的状态来选择。在图15的处理中,当开始判定错误的类型的处理时,判定在使多个静止图像为对象的处理中错误发生的频度是否为规定值以上(步骤S301)。在该处理中,例如,进行错误的频度是否为特定的百分比以上的判定。在错误的频度多的情况下,猜测在所使用的数据自身的可靠性、精度存在问题的可能性,设备的工作不佳的可能性。在该情况下,判定数据错误的可能性、设备的错误的可能性。
接着,判定错误的频度与特定的静止图像相关联而是否超过规定值(步骤S302)。在错误的频度与特定的静止图像相关联而超过规定值的情况下,猜测在对比度、分辨率存在问题等该静止图像的问题。在该情况下,判定在该静止图像中存在错误的可能性。
接着,如图10的情况那样,预先取得的基准位置(目标)的位置与计算值不一致而在基于多个静止图像的计算值存在可靠性的情况下,猜测基准点的数据的可靠性,因此,判定基准点的数据错误的可能性(步骤S303)。
接着,判定在时间轴上是否存在成为错误的基准点(步骤S304)。例如,在着眼于特定的目标的情况下,存在如下情况:在使用第N个静止图像和第N+1个静止图像来进行计算时,在计算值和预先取得的值中不存在偏差,在使用第N+10个静止图像和第N+11个静止图像来进行计算时,在计算值和预先取得的值中产生偏差。在这样的情况下,考虑在第N+2个以后目标移动的可能性,因此,判定在拍摄中目标进行移动的可能性。
接着,进行通知处理(步骤S116)。在通知处理中,进行存在判定为错误的目标的意思的通知和在步骤S115中判定的错误的类型的通知。通知在作业者使用的终端的显示器上进行。该处理在图2的GUI控制部101中进行。
例如,在步骤S116的通知处理中,显示显示了判定为错误的目标的附近的缩略图图像的一览表。当作业者从该缩略图图像的一览表之中选择特定的缩略图图像时,将其放大显示。例如,探索对象区域被显示为放大图像。作业者目视放大图像来进行寻找目标的作业。在该作业中发现目标的情况下,作业者使用GUI对其进行指定。在存在多个错误检测的目标的情况下,对成为对象的全部目标进行该作业。此外,仅将错误检测目标的存在通知给作业者就停止,作业者能够选择缩略图图像一览表的显示的有无也可。在未从所估计的附近检测出目标的情况下,进行将该区域判定为检测失误区域的处理也可。在该情况下,在画面上缩略图显示检测失误区域。这些处理在图2的GUI控制部102中进行。
在图11中示出了判定为错误的目标显现的缩略图图像、其放大图像、显示其名单的UI图像的一个例子。在该UI中,当作业者对特定的图像进行指定时,放大该图像,显示放大探索对象区域后的放大图像。作业者观察该放大图像进行错误的确认、修正。此外,在图11中也显示(未确定的显示)在目标的探索中失败的探索对象区域的信息。作业者通过观察在目标的探索中失败的探索区域对象的图像,从而能够进行该目标的以目视的探索。在图12中示出了显示有在基准点的坐标的测量中存在问题或基准点的错误指定的可能性的点的一览表的UI显示的一个例子。
在步骤S117中判定在由作业者在步骤S116中放大显示的放大图像中是否选择了新的目标。在指定了目标的情况下,前进到步骤S118,在不是这样的情况下,重复步骤S117。在步骤S118中,判定是否存在未进行由作业者进行的确认作业的其他的错误目标即在显示的缩略图图像一览表之中是否存在还未被选择的目标,如果还存在成为对象的缩目标,则重复步骤S116以下的处理,如果不是这样,则前进到步骤S119,取得在步骤S116之后由作业者指定的目标的位置信息。所指定的目标的位置信息的取得从图2的数据存储部101利用目标位置信息取得部105来进行。
在步骤S119之后,前进到步骤S120。在步骤S120中,判定是否存在下一个静止图像。在存在下一个静止图像的情况下,前进到步骤S121,取得下一个静止图像。在不是下一个静止图像的情况下,基于在此阶段中得到的特定了三维坐标的特征点和目标来进行三维木星的制作(步骤S125)。步骤S125的处理在图2的三维模型制作部115中进行。在制作三维模型之后,结束处理(步骤S126)。
在步骤S121中取得了下一个静止图像的情况下,进行在步骤S121中取得的静止图像与前一个静止图像之间共同的特征点的特别指定(步骤S122)。在该处理中,首先,从在步骤S121中取得的静止图像提取特征点。该处理与步骤S106的处理相同。接着,进行在与前一个静止图像之间对应的特征点的特别指定。该处理与步骤S107的处理相同。
例如,在步骤S122中,进行以下的处理。假设,在步骤S121中取得第三静止图像L3。在该情况下,在步骤S122中,特别指定在第二静止图像L2与第三静止图像L3之间共同的特征点。在此,从静止图像L2提取出的特征点的三维坐标在步骤S108中计算完毕。因此,在步骤S122中特别指定的在静止图像L2与静止图像L3之间共同的特征点的位置在该时间点是已知的。
在步骤S122之后,前进到步骤S105。在此,计算拍摄了在步骤S121中取得的静止图像的摄像机的位置和姿势(摄像机的外部定向要素)。在此阶段中,判明在前一个静止图像与在步骤S121中取得的静止图像中对应的特征点的位置。因此,能够利用图4所示的原理来进行在拍摄在步骤S121中取得的静止图像的时刻的摄像机的位置和姿势的计算。
例如,假设,在步骤S121中取得第三静止图像L3。在该情况下,在前进为步骤S122→步骤S105的处理中,计算在拍摄了静止图像L3的时刻的摄像机的位置和姿势。在以下说明此时的处理的一个例子。首先,在图4中,将静止图像L3中的在静止图像L2之间共同的特征点的位置设为P1、P2、P3。此外,将这些特征点的静止图像L3中的画面坐标的位置设为p1、p2、p3。在此,当设定连结P1和p1、P2和p2、P3和p3的3个线时,其交点O为拍摄了静止图像L3的摄像机的位置。此外,连结点O和画面中心的线的延长的方向为拍摄了静止图像L3的摄像机的光轴,根据该光轴的朝向得到在拍摄了静止图像L3的时刻的摄像机的姿势。
再有,在针对在步骤S121中取得的静止图像的步骤S106的处理中,在该时间点提出未提取的特征点(包含新在步骤S121中取得的静止图像中出现的特征点)。
之后,执行步骤S107以下的处理,进行从在步骤S121中取得的静止图像新提取出的特征点的三维位置的计算(步骤S108)、将在步骤S121中取得的静止图像作为对象的目标的检测(步骤S112)。即,步骤S107以下的处理与针对前一个静止图像同样地以在步骤S121中取得的静止图像为对象来进行。
像这样,一个接一个地进行针对第N个静止图像、第N+1个静止图像、第N+2个静止图像…的特征点的提取和其三维位置的特定,进而一个接一个地进行目标的检测。
然后,计算多个静止图像中的特征点的三维坐标,由此,得到由特征点构成的三维模型。例如,能够将土木工程现场作为三维模型来得到数据化后的模型。
在上述的处理中,能够在作业者需要的定时使所取得的目标的一览表显示。此时,当从一览表之中选择特定的目标时,能够显示该目标的附近的放大图像。该处理通过图2的GUI控制部102进行。图13和图14示出了所检测的目标的名单、缩略图图像的一览表、显示有该阶段的放大图像的UI显示画面的一个例子。
(优越性)
假设没有检测出错误目标,则作业者进行的作业仅为最初的第一个和第二个静止图像中的目标的指定。然后,在检测出错误目标的情况下,接受对其意思进行通知的处理,作业者进行确认该目标的正误的作业以及手工地指定目标的作业。该作业与以往的作业相同,但是,由于判明了周围的特征点、与已经指定的目标的相对位置关系,所以,寻找未知的目标的范围被限定,作业容易进行。总的来说,手工地指定目标的作业减少,作业的繁杂度较大地减轻。
(其他)
再有,在一边利用卫星测位系统等高精度地测量位置信息一边利用进行飞行的无人飞机(UAV(UnmannedAirVehicle)的情况下,能够在不进行求取摄像机位置的运算的情况下使用在UAV侧得到的位置信息。当然,使用从UAV得到的位置信息和基于图像解析利用运算而求取的位置信息这两者来得到摄像机的位置的方法也是可能的。在该情况下,采用两者的平均值、采用进行加权的加权平均的值、采用通过条件判定为精度更高的一方等方法也是可能的。
此外,在上述的例子中,UAV未必需要自主飞行,也可以为以远距离操作进行飞行的方式。根据成本、能够准备的UAV的种类、现场的状况或测定对象的规模等,有可能存在该方式的可能性。
此外,对步骤S111的估计的位置的区域的一览表进行缩略图图像显示,作业者从其中选择探索对象区域并以该所选择的探索对象区域为对象进行利用作业者的目视的目标的检测作业的方式也是可能的。在该情况下,不进行目标的自动检测,但是,作业者利用目视探索的区域被限定,因此,与不进行缩小探索对象区域的处理的情况相比较,较大地减轻作业者的负担。特别地,通过在放大显示的探索对象区域之中显示目标的估计位置,从而更容易地进行利用目视的目标的检测。
以上说明了的技术能够用于从拍摄的图像中检测基准点的技术。例如,能够用于进行车辆、飞机、船舶等移动体的移动路径的计算的技术。在该情况下,通过步骤S105的处理按照每个静止图像得到移动体的外部定向要素,因此,能够进行在得到静止图像的时刻的移动体的位置的计算。该处理也能够移动并实时地进行。
作为目标,也能够利用道路标识、位置已知的建筑、铁塔、各建筑物、建造物。此外,也能够利用公共道路、铁道的铁轨、输电线、支承输电线的铁塔等来作为位置已知的目标。
再有,本发明也能够用于将多个摄像机的拍摄图像合成来得到1个图像的情况。
2.第二实施方式
在本发明中,也能够并用附带摄像机的全站仪、激光扫描仪得到的三维点群位置数据(或者基于该三维点群位置数据的三维模型)。在该情况下,在不使用基准点的情况下利用在第一实施方式中说明了的方法来制作第一三维模型。关于该三维模型(其1),由于未进行第一实施方式那样的基准点的指定,所以,为对特征点间的相对的位置关系进行了特别指定的相对模型。
另一方面,除了激光测距装置之外,使用具备摄像机的全站仪(例如,参照日本特开2014-173990号公报)、激光扫描仪,进行与三维模型(其1)重复的地域的点群位置数据取得,制作基于该点群位置数据的三维模型(其2)。
在此,关于三维模型(其2),在使用具备摄像机的全站仪的情况下,得到具备真比例尺的三维模型。在使用了激光扫描仪的情况下,预先特别指定扫描仪的位置,由此,得到具备真比例尺的三维模型。
然后,使三维模型(其1)与三维模型(其2)匹配,求取两者的对应关系。例如,使三维模型(其1)放大、缩小、旋转和平行移动来探索与三维模型其2匹配的条件。在取得两者的匹配的阶段中,对三维模型其1提供真比例尺。根据该方法,能够省略作业者指定基准点的作业。
3.第三实施方式
在第一实施方式中,通过图像识别自动检测在最初指定的基准点的方式也是可能的。在该情况下,彻底弄清在最初选择的2个静止图像中共同显现的多个位置(4个以上的位置)来设置容易进行图像识别的基准目标。关于该基准目标,为了容易进行图像识别,注意成为背景的地表的状态等来决定设置场所。再有,该基准目标以外的目标与第一实施方式的情况同样地配置。
在该例子的情况下,从在步骤S102中选择的静止图像中利用软件处理来进行目标的检测。之后,进行与第一实施方式同样的处理。在本实施方式中,需要将最初检测出的目标设为容易自动检测的特殊的目标,但是,存在不需要进行在实施方式1中需要的作业者在最初指定目标的作业的优越性。在本实施方式中,作为目标,能够利用道路标识、位置已知的建筑、铁塔、各建筑物、建造物、公共道路、铁道的铁轨、输电线、支承输电线的铁塔等。
Claims (15)
1.一种测量数据处理装置,其特征在于,具备:
数据受理部,受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图像的数据和通过在所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据;
指定受理部,受理在所述第一静止图像和所述第二静止图像中共同显现且位置已知的多个基准点的指定;
外部定向要素计算部,基于所述多个基准点来计算拍摄了所述第一静止图像的摄像机的外部定向要素和拍摄了所述第二静止图像的摄像机的外部定向要素;
坐标统一部,将未受到所述指定的位置已知的基准点的坐标系和所述外部定向要素计算部所计算的所述摄像机的位置的坐标系统一,得到在一个坐标系上记述所述基准点的位置和所述摄像机的位置的统一坐标系;
反投影图像制作部,将所述统一坐标系中的未受到所述指定的位置已知的基准点反投影到特定的位置处的所述摄像机的位置来得到反投影图像;以及
估计部,基于所述反投影图像中的未受到所述指定的所述基准点的画面中的位置来估计所述摄像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所述基准点的位置。
2.根据权利要求1所述的测量数据处理装置,其特征在于,进行如下处理:在所述第一静止图像和/或所述第二静止图像中,设定对包含由所述估计部估计的未受到所述指定的所述基准点的位置的区域进行放大后的探索对象区域。
3.根据权利要求2所述的测量数据处理装置,其特征在于,从所述探索对象区域进行在未受到所述指定的位置已知的基准点的位置配置的目标的检测。
4.根据权利要求3所述的测量数据处理装置,其特征在于,在未正常地进行所述检测的情况下,进行通知其意思的处理。
5.根据权利要求4所述的测量数据处理装置,其特征在于,在未正常地进行所述检测的情况下,进行在画面上显示成为对象的探索对象区域的控制。
6.根据权利要求2~5的任一项所述的测量数据处理装置,其特征在于,进行如下控制:将所述探索对象区域的多个作为缩小图像缩略图显示在画面上,并且,在指定所述多个缩小图像的一个的情况下,在画面上显示与该缩小图像对应的所述探索对象区域的放大图像。
7.根据权利要求2~5的任一项所述的测量数据处理装置,其特征在于,具备判定部,所述判定部在从所述探索对象区域检测出的目标的已知的位置数据与从不同的静止图像利用交会法计算的该目标的位置数据的差满足特定的条件的情况下将该目标判定为错误目标。
8.根据权利要求7所述的测量数据处理装置,其特征在于,具备错误类型判定部,所述错误类型判定部判定所述错误目标的错误的类型。
9.根据权利要求8所述的测量数据处理装置,其特征在于,
在多个目标中调查所述差,
在所述多个目标中的所述差的不同满足特定的条件的情况下,选择预先确定的特定的错误的类型。
10.根据权利要求8或9所述的测量数据处理装置,其特征在于,基于所述差的时间轴上的推移,选择预先确定的特定的错误的类型。
11.根据权利要求8或9所述的测量数据处理装置,其特征在于,进行在画面上显示所述错误的类型的控制。
12.一种测量数据处理方法,其特征在于,具备:
数据受理步骤,受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图像的数据和通过在所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据;
指定受理步骤,受理在所述第一静止图像和所述第二静止图像中共同显现且位置已知的多个基准点的指定;
外部定向要素计算步骤,基于所述多个基准点来计算拍摄了所述第一静止图像的摄像机的外部定向要素和拍摄了所述第二静止图像的摄像机的外部定向要素;
坐标统一步骤,将未受到所述指定的位置已知的基准点的坐标系和在所述外部定向要素计算步骤中计算的所述摄像机的位置的坐标系统一,得到在一个坐标系上记述所述基准点的位置和所述摄像机的位置的统一坐标系;
反投影图像制作步骤,将所述统一坐标系中的未受到所述指定的位置已知的基准点反投影到特定的位置处的所述摄像机的位置来得到反投影图像;以及
估计步骤,基于所述反投影图像中的未受到所述指定的所述基准点的画面中的位置来估计所述摄像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所述基准点的位置。
13.一种程序,被计算机读取并执行,其特征在于,使计算机作为以下部分发挥作用:
数据受理部,受理在移动的同时通过在第一时刻拍摄同一对象而得到的第一静止图像的数据和通过在所述第一时刻之后的第二时刻拍摄而得到的第二静止图像的数据;
指定受理部,受理在所述第一静止图像和所述第二静止图像中共同显现且位置已知的多个基准点的指定;
外部定向要素计算部,基于所述多个基准点来计算拍摄了所述第一静止图像的摄像机的外部定向要素和拍摄了所述第二静止图像的摄像机的外部定向要素;
坐标统一部,将未受到所述指定的位置已知的基准点的坐标系和所述外部定向要素计算部所计算的所述摄像机的位置的坐标系统一,得到在一个坐标系上记述所述基准点的位置和所述摄像机的位置的统一坐标系;
反投影图像制作部,将所述统一坐标系中的未受到所述指定的位置已知的基准点反投影到特定的位置处的所述摄像机的位置来得到反投影图像;以及
估计部,基于所述反投影图像中的未受到所述指定的所述基准点的画面中的位置来估计所述摄像机从所述特定的位置拍摄的静止图像中的未受到所述指定的所述基准点的位置。
14.根据权利要求6所述的测量数据处理装置,其特征在于,具备判定部,所述判定部在从所述探索对象区域检测出的目标的已知的位置数据与从不同的静止图像利用交会法计算的该目标的位置数据的差满足特定的条件的情况下将该目标判定为错误目标。
15.根据权利要求10所述的测量数据处理装置,其特征在于,进行在画面上显示所述错误的类型的控制。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015013358A JP6510247B2 (ja) | 2015-01-27 | 2015-01-27 | 測量データ処理装置、測量データ処理方法およびプログラム |
JP2015-013358 | 2015-01-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105825498A true CN105825498A (zh) | 2016-08-03 |
CN105825498B CN105825498B (zh) | 2021-10-19 |
Family
ID=55237524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610054191.9A Active CN105825498B (zh) | 2015-01-27 | 2016-01-27 | 测量数据处理装置、测量数据处理方法以及程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9911038B2 (zh) |
EP (1) | EP3051493B1 (zh) |
JP (1) | JP6510247B2 (zh) |
CN (1) | CN105825498B (zh) |
CA (1) | CA2918552A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107604874A (zh) * | 2017-10-19 | 2018-01-19 | 扬州大学 | 一种河工模型试验中二次定位控制方法 |
CN108629808A (zh) * | 2017-03-24 | 2018-10-09 | 东芝电梯株式会社 | 图像处理系统以及标记物 |
CN110568450A (zh) * | 2018-06-06 | 2019-12-13 | 丰田自动车株式会社 | 传感器控制装置、物体探索系统、物体探索方法及程序 |
CN111748925A (zh) * | 2019-03-28 | 2020-10-09 | 兄弟工业株式会社 | 缝纫机 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858478B2 (en) * | 2014-12-19 | 2018-01-02 | Intel Corporation | Bi-directional community information brokerage |
MX2019001387A (es) * | 2016-08-18 | 2019-06-03 | Tevel Advanced Tech Ltd | Sistema y procedimiento de gestion de tareas de agricultura y recogida de datos en plantaciones. |
WO2018163571A1 (ja) | 2017-03-10 | 2018-09-13 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
CA3089200A1 (en) | 2018-01-25 | 2019-08-01 | Geomni, Inc. | Systems and methods for rapid alignment of digital imagery datasets to models of structures |
CN111801548A (zh) | 2018-01-26 | 2020-10-20 | 威罗门飞行公司 | 用于后场生成的图像的沃罗诺伊裁剪 |
JP7097709B2 (ja) * | 2018-02-01 | 2022-07-08 | 株式会社トプコン | 測量システム |
JP6989849B2 (ja) * | 2018-04-19 | 2022-01-12 | 株式会社Geoソリューションズ | 被検査構造体の検査システム |
JP6858742B2 (ja) * | 2018-12-17 | 2021-04-14 | 株式会社フジタ | 変位計測装置 |
CN113362384A (zh) * | 2021-06-18 | 2021-09-07 | 安徽理工大学环境友好材料与职业健康研究院(芜湖) | 多通道亚像素卷积神经网络的高精度工业零件测量算法 |
CN116647032B (zh) * | 2022-01-14 | 2023-12-01 | 北京中创恒益科技有限公司 | 一种目标施工车辆的输电线路实时防护系统和方法 |
WO2023223887A1 (ja) * | 2022-05-18 | 2023-11-23 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、表示制御装置、表示制御方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5699444A (en) * | 1995-03-31 | 1997-12-16 | Synthonics Incorporated | Methods and apparatus for using image data to determine camera location and orientation |
CN1677060A (zh) * | 2004-03-29 | 2005-10-05 | 株式会社拓普康 | 测量数据处理系统、电子地图的存储媒体、电子地图显示装置 |
CN1701214A (zh) * | 2003-08-13 | 2005-11-23 | 株式会社拓普康 | 三维测量装置及电子存储媒体 |
US20100098293A1 (en) * | 2008-10-17 | 2010-04-22 | Manmohan Chandraker | Structure and Motion with Stereo Using Lines |
US20110096957A1 (en) * | 2008-07-01 | 2011-04-28 | Tetsuji Anai | Position measurement method, position measurement device, and program |
CN102376089A (zh) * | 2010-12-09 | 2012-03-14 | 深圳大学 | 一种标靶校正方法及系统 |
CN103119611A (zh) * | 2010-06-25 | 2013-05-22 | 天宝导航有限公司 | 基于图像的定位的方法和设备 |
EP2728376A1 (en) * | 2012-11-05 | 2014-05-07 | The Chancellor, Masters and Scholars of the University of Oxford | Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus |
CN103970408A (zh) * | 2013-01-25 | 2014-08-06 | 株式会社摩如富 | 图像显示装置以及图像显示方法 |
WO2014171988A2 (en) * | 2013-01-29 | 2014-10-23 | Andrew Robert Korb | Methods for analyzing and compressing multiple images |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5027747B2 (ja) * | 2008-07-01 | 2012-09-19 | 株式会社トプコン | 位置測定方法、位置測定装置、およびプログラム |
JP5711039B2 (ja) | 2011-04-27 | 2015-04-30 | 株式会社トプコン | 三次元点群位置データ処理装置、三次元点群位置データ処理方法、三次元点群位置データ処理システムおよびプログラム |
JP2013096745A (ja) | 2011-10-28 | 2013-05-20 | Hokuriku Kosoku Co Ltd | 三次元モデルの作成方法 |
JP5832341B2 (ja) | 2012-03-09 | 2015-12-16 | 株式会社トプコン | 動画処理装置、動画処理方法および動画処理用のプログラム |
JP5963353B2 (ja) | 2012-08-09 | 2016-08-03 | 株式会社トプコン | 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム |
JP6181388B2 (ja) | 2013-03-08 | 2017-08-16 | 株式会社トプコン | 計測装置 |
US9384402B1 (en) * | 2014-04-10 | 2016-07-05 | Google Inc. | Image and video compression for remote vehicle assistance |
JP6194903B2 (ja) * | 2015-01-23 | 2017-09-13 | コニカミノルタ株式会社 | 画像処理装置及び画像処理方法 |
-
2015
- 2015-01-27 JP JP2015013358A patent/JP6510247B2/ja active Active
-
2016
- 2016-01-22 CA CA2918552A patent/CA2918552A1/en not_active Abandoned
- 2016-01-25 EP EP16152525.8A patent/EP3051493B1/en active Active
- 2016-01-27 US US15/007,380 patent/US9911038B2/en active Active
- 2016-01-27 CN CN201610054191.9A patent/CN105825498B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5699444A (en) * | 1995-03-31 | 1997-12-16 | Synthonics Incorporated | Methods and apparatus for using image data to determine camera location and orientation |
CN1701214A (zh) * | 2003-08-13 | 2005-11-23 | 株式会社拓普康 | 三维测量装置及电子存储媒体 |
CN1677060A (zh) * | 2004-03-29 | 2005-10-05 | 株式会社拓普康 | 测量数据处理系统、电子地图的存储媒体、电子地图显示装置 |
US20110096957A1 (en) * | 2008-07-01 | 2011-04-28 | Tetsuji Anai | Position measurement method, position measurement device, and program |
US20100098293A1 (en) * | 2008-10-17 | 2010-04-22 | Manmohan Chandraker | Structure and Motion with Stereo Using Lines |
CN103119611A (zh) * | 2010-06-25 | 2013-05-22 | 天宝导航有限公司 | 基于图像的定位的方法和设备 |
CN102376089A (zh) * | 2010-12-09 | 2012-03-14 | 深圳大学 | 一种标靶校正方法及系统 |
EP2728376A1 (en) * | 2012-11-05 | 2014-05-07 | The Chancellor, Masters and Scholars of the University of Oxford | Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus |
CN103970408A (zh) * | 2013-01-25 | 2014-08-06 | 株式会社摩如富 | 图像显示装置以及图像显示方法 |
WO2014171988A2 (en) * | 2013-01-29 | 2014-10-23 | Andrew Robert Korb | Methods for analyzing and compressing multiple images |
Non-Patent Citations (2)
Title |
---|
LU LUPING ET AL.: "Auto-registration of satellite image with the existing vector map", 《2011 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 * |
王密 等: "一种基于物方几何约束的线阵推扫式影像坐标反投影计算的快速算法", 《测绘学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108629808A (zh) * | 2017-03-24 | 2018-10-09 | 东芝电梯株式会社 | 图像处理系统以及标记物 |
CN108629808B (zh) * | 2017-03-24 | 2021-08-31 | 东芝电梯株式会社 | 图像处理系统以及标记物 |
CN107604874A (zh) * | 2017-10-19 | 2018-01-19 | 扬州大学 | 一种河工模型试验中二次定位控制方法 |
CN107604874B (zh) * | 2017-10-19 | 2019-05-10 | 扬州大学 | 一种河工模型试验中二次定位控制方法 |
CN110568450A (zh) * | 2018-06-06 | 2019-12-13 | 丰田自动车株式会社 | 传感器控制装置、物体探索系统、物体探索方法及程序 |
CN110568450B (zh) * | 2018-06-06 | 2023-04-07 | 丰田自动车株式会社 | 传感器控制装置、物体探索系统、物体探索方法及程序 |
CN111748925A (zh) * | 2019-03-28 | 2020-10-09 | 兄弟工业株式会社 | 缝纫机 |
CN111748925B (zh) * | 2019-03-28 | 2022-03-29 | 兄弟工业株式会社 | 缝纫机 |
Also Published As
Publication number | Publication date |
---|---|
US20160217582A1 (en) | 2016-07-28 |
EP3051493B1 (en) | 2018-05-16 |
CN105825498B (zh) | 2021-10-19 |
JP2016138788A (ja) | 2016-08-04 |
JP6510247B2 (ja) | 2019-05-08 |
EP3051493A1 (en) | 2016-08-03 |
CA2918552A1 (en) | 2016-07-27 |
US9911038B2 (en) | 2018-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105825498A (zh) | 测量数据处理装置、测量数据处理方法以及程序 | |
JP6543520B2 (ja) | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム | |
AU2019217205B2 (en) | Method of and apparatus for analyzing images | |
EP3385912B1 (en) | Near field manoeuvring for ar-devices using image tracking | |
CN103175524A (zh) | 一种无标识环境下基于视觉的飞行器位置与姿态确定方法 | |
Rumpler et al. | Automated end-to-end workflow for precise and geo-accurate reconstructions using fiducial markers | |
DE102013202393A1 (de) | Bestimmen von Neigungswinkel und Neigungsrichtung unter Verwendung von Bildverarbeitung | |
US20100054627A1 (en) | Methods and systems for creating an aligned bank of images with an iterative self-correction technique for coordinate acquisition and object detection | |
JP2013186816A (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
CA2678156A1 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
JP6506032B2 (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
JPWO2017119202A1 (ja) | 構造物の部材特定装置及び方法 | |
KR20180070070A (ko) | 무인항공기를 이용한 침수흔적도 작성 시스템 및 방법 | |
WO2018193880A1 (ja) | プラント設備機器認識システムおよびプラント設備機器認識方法 | |
Tang et al. | Surveying, geomatics, and 3D reconstruction | |
Chen et al. | Real-time geo-localization using satellite imagery and topography for unmanned aerial vehicles | |
Xiao et al. | Monitoring excavation slope stability using drones | |
KR101943426B1 (ko) | 관거의 내벽 상태에 대한 도면을 생성하는 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체, 관거의 내벽 상태를 조사하는 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
JP2022183597A (ja) | 工事現場の検出装置および検出プログラム | |
Wu et al. | An Assessment of Errors Using Unconventional Photogrammetric Measurement Technology-with UAV Photographic Images as an Example | |
MICKLEThWAITE et al. | Mapping from an Armchair: Rapid, high-resolution mapping using UAV and computer vision technology | |
JP2003083744A (ja) | 航空機搭載撮像装置および航空撮像データ処理装置 | |
Trusheim et al. | Cooperative localisation using image sensors in a dynamic traffic scenario | |
KR101782299B1 (ko) | 가스시설물 점검 방법 | |
KR100586815B1 (ko) | 3차원 위치 추적 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |