CN110520691A - 映射图数据生成装置和方法 - Google Patents

Abstract

具有编辑处理部(14)，该编辑处理部(14)将由输入部(19)受理的指定时刻作为时刻数据，与映射图数据数据库(12)进行对照，确定与指定时刻对应的映射图数据，映射图数据生成处理部(11)在输入部(19)受理了指定时刻的情况下，使用在输入部(19)受理了指定时刻之后新取得的计测数据，重新更新由编辑处理部(14)确定的映射图数据。

Description

映射图数据生成装置和方法

技术领域

本发明涉及生成三维空间的映射图数据的技术。

背景技术

在根据二维的图像数据生成三维的映射图数据的情况下，通常，将由从各个不同的位置拍摄到的、摄像范围的一部分重叠的图像数据与距该图像数据中的对象物的距离数据构成的计测数据彼此合成，生成三维的映射图数据。例如，在专利文献1中公开有如下技术：从二维摄像机和深度摄像机取得计测数据，反复进行将已有的映射图数据与新的计测数据对应起来的映射处理，由此，生成映射图数据。

这样，在用新取得的计测数据逐次更新映射图数据来生成大范围的映射图数据的情况下，有时在更新映射的中途不能适当地更新映射图数据。例如，在突然有人横穿计测中的空间的情况下，或取得计测数据的计测传感器移动的场所或速度不合适的情况下等，不能适当地更新映射图数据。其结果是，通常，如果在不能适当地更新映射图数据的状态下之后仍连接新的计测数据的信息而更新映射图，则会使误差累积下去，最终完成的映射图数据的精度降低。

现有技术文献

专利文献

专利文献1：国际公开第2012/106069号

发明内容

发明要解决的课题

在专利文献1等所示的现有的映射图数据的生成方法中，当在映射图数据的生成中不能适当地更新的情况下，需要从最初开始重新生成映射图数据。本发明的目的在于，即使在映射图数据的生成中途产生了误差的情况下，也无需从最初开始重新生成，而是从中途开始重新生成映射图数据，从而高效地生成映射图数据。

用于解决课题的手段

本发明的映射图数据生成装置的特征在于，该映射图数据生成装置具有：计测数据取得部18，其取得连续拍摄到的、部分摄像范围与至少一个其他图像数据重叠的多个二维的图像数据以及距图像数据中的对象物的距离数据，作为计测数据；计测数据数据库，其将所取得的计测数据与时刻数据对应起来进行存储，该时刻数据用于使计测数据按照时间序列对应起来存储于数据库；映射图数据生成处理部，每当取得计测数据时，该映射图数据生成处理部更新根据多个计测数据而生成的三维的映射图数据；映射图数据数据库，其将每个依次更新的映射图数据与时刻数据对应起来进行存储，该时刻数据对应于在更新映射图数据时利用的计测数据；输入部，其受理期望的指定时刻的输入；以及编辑处理部，其将由输入部受理的指定时刻作为时刻数据，与映射图数据数据库进行对照，确定与指定时刻对应的映射图数据，在输入部受理了指定时刻的情况下，映射图数据生成处理部使用在输入部受理了指定时刻之后新取得的计测数据，重新更新由编辑处理部确定的映射图数据。

发明效果

根据本发明，能够高效地生成三维的映射图数据。

附图说明

图1是示出本发明的实施方式1的映射图数据生成装置的框图。

图2是示出利用者通过实施方式1的映射图数据生成装置扫描计测对象而生成三维映射图数据的情形的俯视图。

图3是示出本发明的实施方式1的映射图数据生成处理部的内部处理的框图。

图4是示出图1的映射图生成装置的动作的流程图。

图5是示出映射图生成处理装置的结构的硬件结构图。

图6是示出本发明的实施方式2的映射图数据生成装置的框图。

图7是示出本发明的实施方式2的映射图数据生成中的显示画面的图。

图8是示出本发明的实施方式2的映射图数据生成暂时中断时的显示画面的图。

图9是示出本发明的实施方式3的映射图数据生成装置的框图。

图10是示出本发明的实施方式3的映射图数据生成暂时中断时的显示画面的框图。

图11是示出本发明的实施方式4的映射图数据生成装置的框图。

图12是示出图11的映射图数据生成处理部的动作的流程图。

图13是示出本发明的实施方式4的映射图数据生成中的显示画面的图。

图14是示出本发明的实施方式4的映射图数据生成暂时中断时的显示画面的图。

图15是示出本发明的实施方式4的映射图数据生成处理装置的动作的流程图。

图16是示出本发明的实施方式4的映射图数据生成中的显示画面的图。

图17是示出本发明的实施方式4的映射图数据生成暂时中断时的显示画面的图。

图18是示出本发明的实施方式5的映射图数据生成暂时中断时的显示画面的图。

图19是示出本发明的实施方式5的映射图数据生成处理装置的动作的流程图。

图20是示出本发明的实施方式5的映射图数据生成暂时中断时的显示画面的图。

图21是示出本发明的实施方式6的映射图数据生成中的显示画面的图。

图22是示出本发明的实施方式7的映射图数据生成处理装置的动作的流程图。

图23是示出图22的步骤S14的详细流程的图。

图24是示出本发明的实施方式7的映射图数据生成暂时中断时的显示画面的图。

图25是示出本发明的实施方式7的映射图数据生成处理装置的动作的流程图。

图26是示出本发明的实施方式7的映射图数据生成中的显示画面的图。

具体实施方式

以下，参照附图，对用于实施本发明的方式进行说明。

实施方式1

图1是示出包含本发明的实施方式1的映射图数据生成装置1的结构的框图。图1由映射图数据生成装置1、数据输入装置2、输入装置3以及输出装置4构成。

数据输入装置2取得用于生成三维的映射图数据的计测对象的计测数据和作为分别取得该计测数据的位置的自身位置数据。将取得的计测数据发送给计测数据取得部18。这里，计测数据由图像数据、与各个图像数据对应的距图像数据中的对象物的距离的距离数据等多个数据构成。图像数据是指拍摄三维的映射图数据生成对象而得到的RGB图像等二维的图像数据。该图像数据是连续拍摄到的，部分摄像范围与至少一个其他图像数据重叠。连续取得与图像数据对应的距离数据。将该连续取得的一个一个的计测数据称作帧。

通过ToF(Time of Flight：飞行时间)方式或利用使用投影仪和摄像机的系统的图案投影的主动立体方式等各种方式得到距离数据。自身位置数据例如是与平移/旋转的6个自由度对应的数据。也可以将GPS数据等用作自身位置数据。

数据输入装置2可以是利用者一边用手保持着行走一边通过计测设备取得计测数据和自身位置数据那样的装置，也可以是通过设置于台车等的计测设备利用台车移动而取得计测数据和自身位置数据那样的装置，装置的形式没有限定。另外，也可以使用在映射图数据生成处理部11生成映射图数据时内部生成的自身位置估计数据，作为自身位置数据。

输入装置3可以是键盘和鼠标那样的输入装置，也可以如触摸面板那样通过按压画面来受理输入，形式没有限定。在输入装置是鼠标的情况下，通过后述的显示画面利用鼠标进行输入。另外，输出装置可以是显示器等，显示要生成的映射图数据和生成中的计测数据等，只要能够显示画面即可而没有限定。

图2是示出利用者通过实施方式1的映射图数据生成装置扫描计测对象而生成空间的映射图数据的情形的俯视图。如图2所示，使用平板PC作为映射图数据生成处理装置1，在将数据输入装置2固定于映射图数据生成处理装置1的情况下，利用者能够用手保持映射图数据生成装置移动或旋转。

即，能够通过平移/旋转的6个自由度表示映射图数据生成装置的位置和朝向。在图2中，示出时刻t1～t2和t2～t3的利用者的位置。利用者这样地在时刻t1～t3进行移动。利用者从数据输入装置2以与之前时刻的计测数据相比存在部分重叠的区域的方式取得各个时刻的计测数据。

映射图数据生成处理装置1具有映射图数据生成处理部11、映射图数据数据库12、计测数据数据库13、编辑处理部14、计测数据取得部18以及输入部19。计测数据取得部18取得由数据输入装置2取得的计测数据和自身位置数据，并输送到映射图数据生成处理部11。输入部19取得从输入装置输入的信号，并输送到编辑处理部14。计测数据数据库13将取得的计测数据与时刻对应起来进行存储。这里，映射图数据数据库12、计测数据数据库13是指映射图数据数据库、计测数据数据库。

映射图数据生成处理部11从取得的计测数据提取计测对象的特征，之后，使用提取出的特征进行映射处理，从而进行映射图数据的生成和更新。映射图数据数据库12将生成和更新后的映射图数据与时刻对应起来进行存储，该时刻对应于在生成和更新映射图数据时利用的计测数据。以下，将这样用于按照时间序列对应起来存储于数据库的时刻称作时刻数据。

编辑处理部14根据从输入装置3输入的控制信号，进行映射图数据的生成和更新的中断或重新开始等编辑处理。详情容后再述。这里，将计测数据和映射图数据与时刻数据对应起来，时刻数据是用于确定哪个映射图数据被哪个计测数据更新的信息。时刻数据的例子是取得计测数据的时刻、更新映射图数据的时刻、拍摄图像数据的时刻等，只要将计测数据与由该计测数据生成的映射图数据对应起来即可而没有限定。将时刻数据与计测数据对应起来存储于计测数据数据库。即，将图像数据、距离数据以及时刻数据对应起来进行存储。输入部19从输入装置3取得受理的输入。

图3是将映射图数据生成处理部11的处理细分化而成的框图。映射图数据生成处理部11还由特征提取部111、映射处理部112以及数据存储处理部113构成。特征提取部111从图像数据进行特征提取。特征是指形状特征或元素等。例如，形状特征是指棱线等直线、顶点等点、直线的方向以及面的法线等。

另外，元素例如是指圆、四方和球等。作为特征提取方法，顶点的提取例如能够使用曲率计算法。另外，棱线的提取例如能够使用霍夫变换法。此外，元素的提取例如能够使用利用三维模型的模型拟合法。这样，能够通过通常的方法提取形状特征和元素。

进行映射处理的映射处理部112使用提取出的特征，对摄影位置不同且摄影范围部分重叠的计测数据进行对位并合成，进行映射图数据的生成和更新。映射处理部112最初对计测数据与摄像位置不同且摄像范围部分重叠的计测数据进行合成，生成映射图数据。

接下来，映射处理部112对取得的计测数据与取得的前一个计测数据进行合成，对生成的映射图数据进行更新，从而依次更新映射图数据。通过依次更新，能够扩大映射图数据的范围，生成大范围的空间的映射图数据。映射处理部这样地对至少2个计测数据进行合成，将各个特征在三维空间上对应起来。

这里，使用提取出的特征是指从2个计测数据寻找共同的特征。而且，映射图数据生成处理部11在三维空间上以使计测数据的特征重叠的方式进行坐标变换。例如，映射图数据生成处理部11以新得到的帧的计测数据的前一个计测数据为基准，以使移动后的计测数据中的特征与移动前的计测数据的特征重叠的方式，对移动后的计测数据进行坐标变换。

此时，可得到数据输入装置2的移动后相对于移动前的位置姿态关系(自身位置数据)。能够通过使用点、线、面等特征中的至少1个种类计算变换矩阵而得到自身位置数据。另外，能够从计测数据数据库13取得映射中使用的计测数据。

另外，数据存储处理部113对计测数据数据库13和映射图数据数据库12赋予(同步)同一时刻数据，重新存储从数据输入装置2得到的计测数据和生成的映射图数据。时刻数据只要按照时间序列与计测数据和映射图数据对应起来进行存储即可，可以存储取得计测数据的时刻并对应起来，也可以存储拍摄图像数据的时刻并对应起来。

另外，映射图数据生成处理部11根据从编辑处理部14输入的与生成映射图数据有关的控制信号，进行映射图数据生成中断、再次生成开始、生成结束处理。详情在后面的处理流程的说明中叙述。此外，每当进行映射图数据生成处理时，映射图数据生成处理部11将最新的映射图数据和计测数据输出到输出装置4。可以显示计测数据，也可以显示计测数据和映射图数据双方，没有限定。

映射图数据数据库12是将包含最新的映射图数据在内的过去生成/更新的映射图数据与时刻数据一起进行存储的数据库。另外，计测数据数据库13是将由数据输入装置2取得的计测数据与时刻数据一起进行存储的数据库。

这里，在说明编辑处理部14之前，对输入装置3和输出装置4进行叙述。输入装置3输入与生成映射图数据有关的控制数据，例如映射图数据生成的开始和中断、指定从中途开始重新生成的时刻、映射图数据再次生成开始和生成结束等。例如，可举出通过CUI(Character User Interface：字符用户接口)等输入接口输出命令或字符串的方法。另外，不限定于CUI，也可以通过GUI(Graphical User Interface：图形用户接口)进行输入。另外，通过GUI进行输入的详情容后再述。另外，由输入部19受理由输入装置3输入的控制数据。

这里，将想要重新生成要输入的映射图数据的时刻称作指定时刻。当在受理的指定时刻通过后述的结构更新映射图数据的情况下，可以在受理指定时刻进而按下再现按钮等按钮之后，即在受理了映射图数据的更新请求的情况下，重新生成映射图数据，也可以将指定时刻的受理作为触发，重新生成映射图数据。这里，重新生成映射图数据是指从中途的地点重新更新映射图数据。在更新映射图数据的同时成为最终的映射图数据，但是，在从中途开始重新生成该映射图数据的情况下，返回中途的地点并从此处开始重新更新映射图数据，完成最终的映射图数据。

输出装置4是输出为了利用者输入与生成映射图数据有关的控制数据所需的信息的终端。例如，如果是平板PC，则能够使用触摸面板一体型的显示器作为输入装置3和输出装置4，但不限定于此。

编辑处理部14根据从输入装置3输入的控制信号，进行映射图数据的编辑处理。在开始、中断、生成结束的控制信号的情况下，编辑处理部14向映射图数据生成处理部11输送控制信号，分别使其执行开始、中断、生成结束的处理。编辑处理部14在从输入装置3输入了重新指定映射图数据的时刻即指定时刻的情况下，将该指定时刻作为时刻数据，从计测数据数据库13确定对应的计测数据，从映射图数据数据库12确定对应的映射图数据。未图示的描绘处理部将确定的映射图数据和计测数据输出到输出装置4。

该映射图数据和计测数据是作为用于返回到过去利用者想要重新指定的时刻的线索而输出的。此时，描绘处理部也可以显示计测数据或计测数据和映射图数据双方。例如，在图2中，现在的时刻是时刻t3，如果指定时刻t1为指定时刻，则在输出装置4输出作为指定时刻的时刻t1的时点的计测数据。根据该计测数据的信息，利用者以与时刻t1的位置姿态接近的方式移动数据输入装置2。

在从输入装置3得到映射图数据再次生成开始的信号的情况下，当在此之前没有指定时刻的输入的情况下，映射图数据生成处理部11重新开始映射图数据生成。在存在指定时刻的输入的情况下，将映射图数据数据库12和计测数据数据库13在该指定时刻的映射图数据和计测数据作为最新时刻而删除之后的数据，映射图数据生成处理部11重新开始映射图数据生成。但是，也可以不使用而保留指定的指定时刻之后的数据。

图4是示出图1的映射图生成装置的动作的流程图。使用图4的流程图，说明与本实施方式的映射图数据生成装置有关的整体处理流程。在处理开始时，映射图数据生成处理装置1的计测数据取得部18从数据输入装置2取得计测数据(步骤S1)，从计测数据提取特征(步骤S2)。接下来，进行使计测数据与连续的其他计测数据的特征重叠的映射处理(步骤S3)。通过进行映射处理来生成或更新三维的映射图数据。每当取得计测数据时，更新根据多个计测数据生成的三维的映射图数据(步骤S4)。

在映射处理时，映射图数据生成处理部11对从计测数据数据库13取得的最新的计测数据和从数据输入装置2取得的计测数据进行合成，生成或更新映射图数据。合成的计测数据的取得不限定于此，也可以是，使从计测数据数据库13取得的数据彼此合成。

然后，映射图数据生成处理装置11赋予同一时刻数据，将最新的计测数据和生成或更新后的映射图数据分别存储于映射图数据数据库12和计测数据数据库13，在输出装置4显示最新的映射图数据(步骤S5)。映射图数据的显示不是必须的，也可以不显示。之后，确认编辑处理部14是否通过输入装置3受理了映射图数据生成中断的输入(步骤S6)。在没有映射图数据生成中断的输入的情况下，确认编辑处理部14是否受理了映射图数据生成结束的输入(步骤S13)，如果没有，则再次取得新的计测数据(步骤S1)，之后，反复进行相同的处理。

在输入部19从输入装置3受理了映射图数据生成中断的输入的情况下(步骤S6)，编辑处理部14向映射图数据生成处理部11输送终端映射图数据生成处理的控制信号，映射图数据生成处理部11在使正在进行的基于计测数据的映射图数据生成/更新处理结束之后，停止新的映射图数据更新，等待来自输入装置3的新的输入(步骤S7)。在输入部19从输入装置3受理了重新生成映射图数据的时刻(指定时刻)的输入的情况下(步骤S8)，描绘处理部将输入的指定时刻作为时刻数据，从计测数据数据库13取得对应的计测数据，并输出到输出装置4(步骤S9)。

在输入部19从输入装置3受理再次生成开始的输入之前(步骤S11)，如果存在指定时刻的输入受理(步骤S8)，则编辑处理部14反复向输出装置4输出计测数据(步骤S9)。此时，在数据输入装置2中，确认了输出的指定时刻的计测数据的利用者，以该计测数据为线索将输入装置3移动至估计接下来新取得的计测数据与指定时刻的计测数据部分重叠的位置(步骤S10)。

在输入部19受理再次生成开始的输入时(步骤S11)，映射图数据生成处理部11将指定时刻作为时刻数据，与映射图数据数据库12和计测数据数据库13进行对照，确定对应的映射图数据和计测数据，将确定的映射图数据和计测数据在映射图数据数据库12和计测数据数据库13内设定为最新的数据，之后，执行删除从该时刻起的映射图数据数据库12和计测数据数据库13内的映射图数据和计测数据等的编辑处理(步骤S12)。

之后，在输入部19没有从输入装置3受理映射图数据生成结束的输入的情况下，返回步骤S1，映射图数据生成处理部11使用在输入部19受理了指定时刻之后新取得的计测数据，重新生成由编辑处理部14确定的映射图数据。

在输入部19受理了指定时刻的情况下，在输入部19从输入装置3受理指示结束映射图数据生成处理的输入时，映射图数据生成处理部11结束映射图数据生成处理(步骤S13)。这里，将指定时刻的输入和作为映射图数据更新请求的再次生成开始的输入作为触发，进行映射图数据的更新处理，但不限定于此，也可以将指定时刻的输入作为触发来更新映射图数据。

根据这样的映射图数据生成装置，当利用者在映射图数据生成中途，在映射图数据的更新中确认误差的产生等而判断为没有适当地进行更新的情况下，能够再次取得过去(产生误差之前)的时刻的映射图数据，从该时刻开始重新合成计测数据，再次生成映射图数据。由此，不用从最初开始重新生成映射图数据或在映射图数据生成后进行映射图数据的编辑，从而能够使利用者的映射图数据生成作业高效化。

另外，对于实施方式1的映射图数据生成装置的映射图数据生成处理开始，可以是在从输入装置3输入映射图数据生成开始的控制信号之后开始，也可以在映射图数据生成装置启动系统之后立刻开始映射图数据生成。另外，在映射处理的步骤S3中，也可以是，当在特征的提取步骤S2中没有取得充分的特征的情况下(在设定阈值，但不满足该阈值的情况下)，不实施之后的处理，再次返回步骤S1。

也可以不向输出装置4输出映射图数据生成中的最新映射图数据(和计测数据)，取而代之，也可以在映射图数据生成中断时在输出装置4显示最新的映射图数据。即，也可以是，针对利用者，在映射图数据生成中不是始终向输出装置4反馈最新映射图数据，而是仅在暂时中断映射图数据生成的情况下进行反馈。

此外，计测数据取得部18也可以读取预先取得的计测数据/自身位置数据，并输入到映射图数据生成处理部11。在该情况下，存储计测数据和自身位置数据的场所可以是云上，场所没有限定。在步骤S8中输入了指定时刻之后，使数据输入装置2移动而取得新的计测数据是包含根据与存储着的指定时刻的计测数据关联的其他计测数据更新映射图数据的概念。

图5是示出映射图生成处理装置1的结构的硬件结构图。本映射图生成处理装置由输入接口21、CPU(Central Processing Unit：中央处理单元)22、存储装置23以及输出接口24构成。以后，将接口称作IF。由存储装置23实现映射图数据数据库12和计测数据数据库13等的数据，通过CPU22执行程序来实现映射图数据生成处理部11、编辑处理部14等的功能。计测数据取得部18和输入部19由输入接口构成，描绘处理部由输出接口构成。

另外，接口是线缆用端口等有线端口、USB端口、直接连接的端口、无线网的端口。存储装置23是HDD或SSD、闪存等存储介质。另外，能够使用例如平板PC(板状个人计算机)或笔记本PC，作为构成映射图数据生成装置1的计算机。

实施方式2

在本实施方式中，记载与通过GUI(Graphical User Interface)进行输入的方法有关的方法。与实施方式1的不同在于具有描绘GUI的描绘处理部15的部分。除此以外的映射图数据的生成和更新处理与实施方式1不变。

在实施方式1的映射图数据生成装置1中，利用者为了重新生成映射图数据而指定指定时刻。然后，确认该时刻的计测数据和映射图数据，判断作为重新生成映射图数据的时刻是否适合，如果不适合，则输入其他的指定时刻，能够从该时刻开始再次生成映射图数据。但是，需要反复输入指定时刻直至利用者找到合适的指定时刻为止，输入操作复杂。

鉴于这一点，在本实施方式中，能够使用GUI输入以指定时刻的输入为首的映射图数据生成的控制，从而能够使利用者简便地进行输入。以下对其具体方法进行说明。

图6是示出本发明的实施方式2的映射图数据生成处理装置1B的框图。映射图数据生成处理装置1B除了映射图数据生成处理装置1(图1)的结构之外还具有输入事件处理部16。

描绘处理部15进行如下处理：作为图形画面描绘映射图数据生成状况、用于编辑映射图数据的输入单元以及为了控制其他映射图数据生成所需的输入单元，并输出到输出装置4。描绘处理部15将构成画面的图像部件配置在计算机上的逻辑坐标系上。图像部件例如是按钮、查找条等示出操作接口的图像部件、计测数据或映射图数据等。

示出操作接口的图像部件预先存储于描绘处理部15内。而且，描绘处理部15通常通过普及的图像显示系统的坐标变换方法坐标变换成物理坐标系，并输出到显示器等输出装置4。根据来自映射图数据生成处理部11和编辑处理部14的描绘更新命令进行描绘处理。描绘内容容后再述。

输入事件处置部16将经由输入部19对输出装置4上的图像部件输入的来自输入装置3的利用者的操作区分成操作事件，将分配给各个操作事件的控制信号输送到编辑处理部14。通过将输入的物理坐标系下的坐标变换成逻辑坐标系下的坐标来确定操作的图像部件，通过一般公知的方法判别与该操作内容对应的操作事件，从而进行操作事件的区分。然后，输入事件处理部16将与操作事件对应的控制信号输送到编辑处理部14。另外，在本实施方式中，操作事件和控制信号的信息存储在计算机上。

实施方式2的编辑处理部14根据从输入事件处理部16输送的控制信号，通过与实施方式1相同的方法进行映射图数据生成处理部11的映射图数据生成控制。另外，根据控制信号，对描绘处理部15输送描绘更新命令。

实施方式2的映射图数据生成处理部11在生成映射图数据时，将最新的计测数据和映射图数据输送到描绘处理部15。另外，在输入了指定时刻的情况下，通过将与指定时刻对应的计测数据和映射图数据显示于画面，也能够确认计测数据和映射图数据而决定利用者想要重新更新映射图数据的场所。

这里，计测数据可以是计测数据中的图像数据，利用者通过确认图像数据，能够判断利用者在哪个时刻哪个时点。以下，使用显示于输出装置4的画面例，说明映射图数据生成处理装置1B的处理流程。另外，映射图数据生成处理的内容与实施方式1相同。

图7是在映射图数据生成中输出装置4描绘的画面例。描绘部件具有查找条41、映射图数据描绘区域42、计测数据描绘区域43以及用于控制映射图数据生成的控制按钮组44等。查找条41由游标411、条412、映射图数据生成开始时刻413、映射图数据生成经过时刻414、指定时刻415的描绘部件构成。条412表示计测的时间轴。在条412的下部显示时刻信息。

在该例子中，在左端显示计测开始时刻413，在右端显示从映射图数据生成开始经过的总时间即映射图数据生成经过时刻、条指示的时刻即指定时刻415。映射图数据生成开始时刻是“0：00”。在该例子中，条412的横宽固定，只要继续进行映射图数据生成，就每隔一定时刻例如每隔1秒更新映射图数据生成经过时刻414，使条412的每单位时间的长度变动。

游标411显示在条412上，左右移动。但是，在映射图数据生成中，游标411固定显示于某个时刻(例如映射图数据生成经过时刻414)的位置。或者，也可以不显示。通过使游标左右移动来受理并输入指定时刻，但不限定于此，也可以直接指定指定时刻，指定的方法可以是任意的。

在映射图数据描绘区域42在映射图数据生成中显示最新的映射图数据421a。例如以从三维坐标系的某个坐标俯瞰的形式显示映射图数据421a。在计测数据描绘区域43显示为了生成映射图数据421而利用的最新的计测数据431(例如，RGB图像)。

该映射图数据描绘区域42和该计测数据描绘区域43在映射图数据生成处理部11重新生成映射图数据之后的时刻，从映射图数据生成处理部11向描绘处理部15输送该映射图数据和该计测数据以及映射图数据和计测数据的描绘更新命令，描绘处理部15更新描绘。

描绘处理部15将映射图数据配置于三维的逻辑坐标系，生成来自某个三维坐标的视点图像，从而得到映射图数据421。随着映射图数据生成的进行，在映射图数据421的描绘无法收纳于映射图数据描绘区域42时，描绘处理部15通过调整三维坐标系的比例尺等缩小或放大映射图数据421进行描绘。

显示表示映射图数据的生成开始、中断、再次生成开始、结束的控制按钮，作为控制按钮组44。在映射图数据生成中，例如显示映射图数据生成中断按钮441和映射图数据生成结束按钮442。

在利用者操作映射图数据生成中断按钮441时，编辑处理部14经由输入部19通过输入事件处理部16的处理受理该控制信号，编辑处理部14使映射图数据生成处理部11暂时中断映射图数据生成，向描绘处理部15指示用于从过去的某个时刻开始重新生成映射图数据的指定时刻的指定画面，在输出装置4描绘该画面。

图8示出映射图数据生成暂时中断时的显示画面(指定时刻的指定画面)的一例。作为例子，该画面由查找条41、映射图数据描绘区域42、计测数据显示区域45以及控制按钮组44构成。查找条41的游标411能够在映射图数据生成中断时左右并行移动，利用者通过操作游标411，指定过去的想要返回的指定时刻，输入部19受理指定时刻。此时，描绘最接近该指定时刻的计测数据432和映射图数据422，并提示给利用者。这里，计测数据主要称作图像数据。

即，在受理了指定时刻的情况下，编辑处理部14将指定时刻作为时刻数据，与计测数据数据库进行对照，确定所述图像数据，描绘处理部15将由编辑集处理部确定的图像数据或由编辑处理部14确定的映射图数据显示在画面中。在本例中，在配置于游标411上的计测数据显示区域45描绘计测数据432，但是，也可以在映射图数据描绘区域42的旁边显示计测数据显示区域45，显示方法不限于此。

以下，示出操作游标411时的处理流程。在中断中，在输入事件处理部16检测到游标411的移动时，判别为指定时刻的指定的操作事件，在取得游标411的移动量之后，与控制信号一起输送到编辑处理部14。编辑处理部14命令描绘处理部15进行游标411的描绘更新。

描绘处理部15在计算游标411的描绘位置的同时，根据游标411的位置计算更新后的时刻，请求编辑处理部14将指定时刻作为时刻数据分别与计测数据数据库13和映射图数据数据库12进行对照，取得指定时刻的计测数据和映射图数据。

之后，编辑处理部14从计测数据数据库13和映射图数据数据库12确定最接近该时刻的计测数据432和映射图数据422，并输送给描绘处理部15。描绘处理部15接受该计测数据432和该映射图数据422，描绘映射图数据422、计测数据432以及移动后的游标411。在产生游标411的操作事件的期间(移动期间)内反复执行这一系列的处理。

在控制按钮组中显示有上述的映射图数据生成结束按钮442和映射图数据再次生成开始按钮443。在利用者决定重新生成映射图数据的指定时刻之后，与实施方式1相同地使数据输入装置2移动，操作映射图数据再次生成开始按钮443时，映射图数据生成处理部11将画面显示切换成生成中画面，并且更新查找条41的描绘，将指定时刻作为时刻数据，根据该时点的映射图数据再次连接计测数据的信息，生成映射图数据。

这里，操作映射图数据再现开始按钮443是指受理映射图数据更新请求。受理映射图数据更新请求的方法没有限定。当在通过描绘处理部15显示在指定时刻确定的图像数据或映射图数据的期间内，由输入部19受理了请求更新映射图数据的映射图数据更新请求的情况下，映射图数据生成处理部11从受理映射图数据更新请求的时点开始重新生成映射图数据。以使重新生成映射图数据的时刻位于条412的右端的方式再次计算，并与之相应地重新描绘，由此，进行查找条的描绘更新。

操作映射图数据再次生成开始按钮之后的具体的处理顺序与实施方式1所示的内容和本实施方式2所述的内容相同。根据这样的映射图数据生成装置，当在映射图数据生成中途在映射图数据中确认了误差的情况下，利用者能够使查找条的游标移动，一边确认与该游标位置(时刻)连动显示的过去的计测数据和映射图数据，一边决定重新生成映射图数据的时刻。即，利用者能够容易地进行映射图数据生成输入，提高映射图数据生成作业的效率。

另外，实施方式2的查找条41的条412的横宽(时间轴的长度)不一定固定，也可以是每当映射图数据生成时间增加时使条412的显示各伸长一定宽度的显示。在该情况下，也可以是，当在查找条41的区域内无法装下条显示的情况下，另外设置滚动条来滚动显示(在映射图数据生成中始终显示最新时刻)。

另外，针对显示于映射图数据描绘区域42的映射图数据421和过去的映射图数据422，也可以不采用从某个固定的三维坐标的视点进行固定显示的方法，而是描绘处理部15使用数据输入装置2的自身位置数据，生成/描绘能够从数据输入装置2的三维坐标和朝向观测的映射图数据。

此外，也可以是，在指定指定时刻时，作为对利用者的线索，取得/显示现在的数据输入装置2的计测数据，一边与指定时刻的计测数据进行比较一边使利用者返回指定时刻的位置。另外，在本实施方式中对与实施方式1不同的部分进行了说明。除此以外的部分与实施方式1相同。

实施方式3

实施方式2的映射图数据生成装置在指定重新生成映射图数据的时刻(指定时刻)时，提示指定时刻的计测数据(图像数据)和映射图数据，作为用于使利用者返回过去场所的线索。但是，仅通过这些信息，利用者很难判断拍摄到计测数据的数据输入装置2的位置姿态，返回适当的位置需要时间。

鉴于这一点，在本实施方式中，在返回重新生成映射图数据的时刻时向利用者提示作为数据输入装置2的位置信息的自身位置数据，从而能够容易地向利用者再现指定的指定时刻的位置姿态，顺畅地重新开始映射图数据生成，该自身位置数据是数据输入装置2移动的轨迹。以下，对其具体方法进行说明。

图9是本实施方式的框图。映射图数据生成处理装置1C除了实施方式2的结构之外还具有自身位置数据数据库20。自身位置数据数据库20将按照每帧取得的自身位置数据与时刻数据一起蓄积。与其他的实施方式的不同在于，编辑处理部14从受理的指定时刻确定自身位置数据，描绘处理部15将自身位置数据显示于画面等输出装置。

作为处理方法，在图4的流程图中，在进行了映射处理之后保存计测数据/映射图数据的步骤S5和输出指定时刻的计测数据的步骤S9中追加处理。首先，在步骤S5中，映射图数据生成处理部11在将最新的计测数据和映射图数据保存于计测数据数据库13和映射图数据数据库12时，同样将时刻数据和在该帧得到的自身位置数据蓄积于自身位置数据数据库20。

另外，在中断映射图数据生成处理并输出输入的指定时刻的计测数据的步骤S9中，进行将数据输入装置2的位置姿态和摄影范围描绘在映射图数据上的处理。编辑处理部14在被输入指定时刻时，与计测数据和映射图数据一起，将指定时刻作为时刻数据与自身位置数据数据库20对照，取得指定时刻的自身位置数据。

与计测数据、映射图数据一起，命令绘处理部15描绘数据输入装置2的位置姿态并输送自身位置数据。描绘处理部15在描绘映射图数据之后，根据取得的自身位置数据，在映射图数据上描绘数据输入装置2的位置姿态。这里，使映射图数据和自身位置数据显示于画面，但不限定于此，也可以是，仅使自身位置数据显示于画面，或仅使映射图数据显示于画面。另外，也可以还使计测数据显示于画面。

图10示出本实施方式的映射图数据生成暂时中断时的显示画面(指定时刻的指定画面)的一例。在图7的画面的基础上，还描绘位置姿态显示画面4231和计测范围4232。在采用与平移/旋转对应的6个自由度的自身位置数据的情况下，描绘处理部15将示出数据输入装置2的显示(位置姿态显示4231)描绘在三维逻辑坐标系上。此外，描绘处理部15将该时刻的计测数据图像投影在三维逻辑坐标系上，将投影的结果作为计测范围4232进行描绘，向输出装置4进行输出处理。这里，自身位置数据的位置信息是不仅包含数据输入装置2的三维的位置而且包含数据输入装置2的姿态的概念。

通过上述处理，利用者通过参考显示在映射图数据上的指定时刻的数据输入装置2的位置姿态和计测范围，能够在返回场所重新开始时，容易地判断想要由数据输入装置2计测的区域，流畅地移动至该时刻的场所，进行映射图数据生成。

另外，也可以仅显示描绘处理部15的位置姿态显示画面4231和计测范围4232中的任意一个。另外，也可以是，编辑处理部14取得指定时刻以前的自身位置数据，使描绘处理部15追加描绘数据输入装置2在指定时刻以前移动的轨迹。另外，在本实施方式中，对与实施方式1、2不同的部分进行了说明。除此以外的部分与实施方式1、2相同。

实施方式4

在上述的使用映射图数据生成装置的空间映射图数据计测中，利用者为了指定在映射图数据中产生误差的时刻以前的时刻，一边每次确认依次输入的时刻的计测数据和映射图数据，一边寻找产生误差的时刻。作为产生映射图数据误差的原因之一，可举出如下情况：在映射时成为不能进行计测数据彼此的匹配(丢失(lost))状态而中断映射图数据生成之后，继续更新映射图数据，因此，环境导致进行错误的映射处理。

这样，在产生丢失之后再次进行更新处理的点，在映射图数据的更新中产生误差的可能性变高，但现在利用者只能靠自己寻找产生该误差的部分。例如，利用者需要一边观察时间序列的计测数据和映射图数据一边进行寻找，并自己判断在哪个时点映射图数据的更新可能产生误差，找出误差花费时间。

丢失是指不能进行计测数据彼此的匹配，不能用该计测数据进行映射图数据的生成和更新的状态。在存在丢失的情况下，之后，受理并非被判定为丢失时的计测数据的新的计测数据，继续进行映射图数据的生成和更新处理。

鉴于这一点，在本实施方式中，通过检测丢失并向利用者显示丢失产生期间，使利用者容易掌握可能产生映射图数据误差的时刻，从而能够顺畅地指定指定时刻。

图11是实施方式4的映射图生成装置的结构例。在实施方式3的结构的基础上还具有映射评价数据库17，作为映射图数据生成处理装置1D。映射评价数据库17与时刻数据一起按照时间序列存储是否产生丢失。与其他实施方式不同的点在于，映射图数据生成处理部11对丢失进行判定，在画面等输出装置中显示描绘处理部15判定出丢失。在丢失的判定中，每当取得计测数据时，从取得的计测数据和与计测数据连续的其他计测数据分别提取多个特征，判定在多个特征中一致的特征的数量即特征一致数量是否为阈值以下。详情容后再述。

图12是示出实施方式4的映射图数据生成处理部11的动作的流程图。使用图12的示出映射图数据生成处理部11的处理步骤的流程图对本处理的流程进行说明。

图12是从图4的整体流程图抽出一部分并追加关于丢失判定的步骤(步骤S31、步骤S32、步骤S51)而成的。首先，映射图数据生成处理部11取得计测数据(步骤S1)，实施特征提取处理(步骤S2)。

这里，映射图数据生成处理部11判定是否具有映射处理所需最低限度数量的特征(步骤S21)，如果没有则再次取得计测数据(步骤S1)，之后进行该处理。如果有，则根据提取出的特征实施映射处理(步骤S3)。

此时，映射图数据生成处理部11在使计测数据彼此重合时，计算特征点的一致度(步骤S31)。具体而言，映射图数据生成处理部11从至少2个计测数据中寻找共同的特征，在以使各计测数据的特征在三维空间上重叠的方式进行坐标变换之后，计算计测数据内的全部特征中共同的特征的数量(特征一致数量)。之后，映射图数据生成处理部11通过判定特征一致数量是否为阈值以下，判定是否产生丢失(步骤S32)。

在映射图数据生成处理部11中，如果超过阈值，则进行映射图数据的更新处理(步骤S4)，如果没有超过，则判定为丢失，前进至步骤S5，将最新的计测数据和映射图数据与时刻数据一起对应起来保存。这里，在判定为丢失的时刻，保存与上次处理相同(与紧前的时刻相同)的映射图数据。之后，映射图数据生成处理部11使用与步骤S5相同的时刻数据，将丢失判定结果保存于映射评价数据库17。

具体而言，丢失判定结果是以存储时刻数据并与该时刻数据关联的形式，例如如果没有产生丢失则存储0等的数值，如果产生丢失则存储1等的数值。然后，映射图数据生成处理部11将丢失判定结果(0或1)与当前帧的计测数据、映射图数据以及时刻数据一起输送到描绘处理部15。接下来，对描绘处理部15的处理进行说明。

图13是在映射图数据生成中输出装置4中描绘的画面例。在查找条41内条412上显示有示出产生丢失的时刻或期间的丢失显示部件4121。如果丢失判定结果示出产生丢失，则描绘处理部15将丢失显示部件4121显示在条412上的最新时刻位置。

描绘处理部15例如保持上一帧处理时的丢失判定结果，参照上一帧的丢失判定结果，如果丢失状态连续，则描绘跨越多个时间量的丢失显示部件4121。如果是离散的，则描绘新的丢失显示部件4121。按照每帧的处理，随着映射图数据生成时刻增加，与实施方式2相同地，一边调整条412上的每个单位时间的显示区域一边更新描绘。

接下来，对暂时中断映射图数据生成并输入指定时刻时的处理进行说明。在暂时中断映射图数据生成并输入指定时刻时，编辑处理部14在上述的处理的基础上，还从映射评价数据库17取得存储着的全部时刻数据和丢失判定结果。之后，将丢失判定结果与暂时中断画面的描绘命令一起输送到描绘处理部15。描绘处理部15进行暂时中断画面的描绘处理。

图14示出在本实施方式的映射图数据生成暂时中断时输出装置4中描绘的画面(指定时刻的指定画面)的一例。在查找条41内的条412上显示有示出产生丢失的时刻或期间的丢失显示部件4121。描绘处理部15根据从编辑处理部14输送的时刻数据和丢失判定结果，在相当于条412上的丢失产生时刻(丢失判定结果为1的时刻数据)的位置显示丢失显示部件。另外，只要在画面等输出装置中显示判定为丢失即可，形式没有限定。丢失显示部件4121的表现方法不限于此。另外，查找条41的显示也可以直接使用在映射图数据生成时最后描绘出的画面。

在产生游标411的操作，描绘处理部15计算游标411的移动后的时刻时，判定移动后的时刻是否在丢失期间内。例如，使用参照相当于计算时刻的丢失判定结果的方法、或判别游标411的描绘位置是否包含于构成丢失显示部件的区域内的方法等进行判定。

将游标重叠在丢失显示部件上时的计测数据显示区域45′显示在查找条上41。如果判定的结果为移动后的时刻在丢失期间内，则如计测数据显示区域45′那样，描绘向利用者提示是丢失期间的显示画面(例如，阴影显示)。在被输入再次生成映射图数据的指定时刻并更新映射图数据的情况下，编辑处理部14与上述处理相同地，更新比指定时刻新的映射图数据。

通过上述的结构和处理，在查找条上提示丢失期间，利用者能够一目了然地掌握产生丢失的时刻。在指定再次生成映射图数据的时刻时，能够集中于丢失时刻周边，确认返回时刻的映射图数据的状态，因此，减少用于设定适当时刻的作业负担。另外，在映射图数据生成中能够确认丢失产生，因此，增加用于决定中断映射图数据生成的时刻的线索，能够尽早重新生成映射图数据。

另外，当在映射图数据生成中产生了丢失的情况下，描绘处理部15也可以在计测数据描绘区域43或映射图数据描绘区域42上描绘示出丢失的显示(例如阴影显示)。另外，也可以不像计测数据显示区域45′那样阴影显示丢失期间，而像上述的实施方式的计测数据显示区域45那样进行显示。另外，也可以在映射图数据显示区域42上描绘示出丢失期间的显示(阴影显示等)。

此外，当在计测中产生了丢失的情况下，描绘处理部15也可以将产生丢失的意思及其应对方法(返回到稍前的计测部位等)的指示作为信息向利用者提示。描绘处理部15在映射图数据生成处理部11判定为丢失的情况下，在画面中显示判定为丢失，但其显示方法没有限定。

丢失是示出可能成为映射图数据的精度降低原因的1个可能性的现象，映射图数据的精度不一定降低。例如，即使以使计测数据不与前一帧重叠的速度移动数据输入装置2而产生丢失，当在环境中特征较多的情况下等，有时只要回到原来的位置就能够不损失映射图数据精度地继续进行再次生成。

因此，鉴于这一点，在本实施方式的映射图数据生成装置中，也可以是，通过还在生成中评价映射的精度，使该评价的结果按照时间序列可视化，由此，提示映射图数据精度降低，作为用于利用者重新生成映射图数据的线索。

与其他实施方式不同的部分在于如下部分：映射图数据生成处置部11进一步增加映射图数据精度的评价步骤，映射评价数据库17存储映射图数据精度的评价结果，描绘处理部15输出映射评价值。

图15是作为例子，在实施方式4的处理步骤中追加本实施方式的处理步骤而成的映射图数据生成装置的流程图。使用该流程图对映射图数据生成处理部11的处理进行说明。从计测数据的取得(步骤S1)至映射图数据的更新(步骤S4)与上述的处理相同。

映射图数据生成处理部11在映射图数据更新后(步骤S4)，使用当前帧的特征实施映射图数据的更新结果的评价(步骤S44)。作为产生映射图数据的误差的原因，例如存在构成数据输入装置2的传感器的物理的计测误差、数据输入装置2的自身位置数据的误差(自身位置估计误差或位置姿态的计测误差)以及向三维空间映射的特征点的坐标的误差。

作为映射图数据的更新结果的评价方法之一，例如存在使用特征的再投影误差的评价方法。该评价方法是，重新将映射的三维空间上的特征的位置(坐标)再投影到计测数据(2D图像)上，计算与原来的计测数据的特征的坐标之间的误差，误差越小，则能够判断为实施了精度越高的映射图数据生成。该评价方法是本技术领域的基础的评价方法之一。

另外，作为其他的方法，能够使用数据输入装置2的传感器的计测视野内的特征分布的偏向和密度中的至少任意一个作为评价值。存在特征的分布越是较大的范围，或特征的数量越多，则映射时的误差越小的倾向，因此，判断为映射图数据生成精度越高。另外，存在特征的分布越是偏向较窄的范围，或特征的数量越少，则映射时的误差越大的倾向，因此，判断为映射图数据生成精度越低。

映射图数据生成处理部11通过上述的任意手段或两个手段进行映射图数据评价，根据统计量计算映射评价值。评价值例如是作为数个阶段的值来计算的。之后，映射图数据生成处理部11在保存了最新的计测数据和映射图数据(步骤S5)之后，保存映射评价值。映射评价值与同计测数据和映射图数据相同的时刻数据一起存储于映射评价数据库17。之后，映射图数据生成处理部11向描绘处理部15输送包含映射评价值的画面更新所需的数据。

图16是在映射图数据生成中显示于输出装置4的画面的例子。在查找条41的条412上描绘有基于取得的映射评价值的映射精度降低期间4122。在图16的例子中，示出映射评价值是好/坏这2个阶段时的显示画面。但是，不限于此，也可以设定多阶段的评价值，更细致地区分显示(例如，以分成特别好的期间、好期间、坏的期间、特别坏期间等的方式进行描绘等)。描绘方法与上述的丢失状态的显示相同。

图17是暂时中断映射图数据生成的状态的画面显示的例子。在该情况下，在条412上也同样地显示映射评价值4122。在游标411位于映射精度降低期间4122的时刻时，与上述的方法相同地，将示出映射精度降低的显示(例如阴影)描绘在计测数据45”上。描绘方法与上述的丢失状态的显示相同。

根据上述的结构和处理，能够使用某个计测帧的计测数据评价映射处理的执行结果的精度，能够将其结果提示给利用者。由此，在计测中，能够掌握映射精度变低的时点，能够在该时点中断并重新进行映射图数据生成处理。此外，在指定重新生成映射图数据的时刻时，能够决定映射精度降低部位作为追加的线索，提高映射图数据生成效率。

另外，当在计测中映射精度降低的情况下，描绘处理部15也可以将该意思和应对方法作为消息传递给用户。另外，在本实施方式中，对与实施方式1、2、3不同的部分进行了说明。除此以外的部分与实施方式1、2、3相同。

实施方式5

上述的映射图数据生成装置能够在输入了重新生成映射图数据的过去的时刻之后，从该时点起重新生成映射图数据处理。但是，在仅某个期间的映射图数据精度降低的情况下，需要包含之后的正常的映射图数据精度的期间在内从映射图数据精度降低以前重新生成。

鉴于这一点，在本实施方式的映射图数据生成装置中，能够删除(放弃(drop))指定期间的映射图数据。在本映射图数据生成装置中，输入事件处理部16判别与放弃处理有关的事件，编辑处理部14进行放弃处理，描绘处理部15描绘用于放弃的接口这点与其他实施方式不同。以实施方式4的结构为基础进行说明。

在暂时中断映射图数据生成的状态下执行放弃处理。作为处理的流程，按照如下流程进行：在利用者输入放弃编辑开始的请求时，使用放弃用接口设定放弃开始时刻和放弃结束时刻，执行确定后放弃处理。将指定的放弃开始时刻和放弃结束时刻作为时刻数据，与映射图数据数据库12进行对照，确定放弃开始时刻至放弃结束时刻更新的映射图数据，放弃确定的映射图数据。详情容后再述。

输入事件处理部16检测放弃编辑开始事件、放弃开始时刻/结束时刻的操作事件以及放弃处理执行事件，并输送给编辑处理部14。编辑处理部14向描绘处理部15命令用于进行放弃处理的描绘处理，并且分别从计测数据数据库13、映射图数据数据库12以及自身位置数据数据库20删除指定的放弃期间的计测数据、映射图数据以及自身位置数据。描绘处理部15描绘指定放弃期间的接口、使放弃对象部位在映射图数据上可视化的接口以及由于指令放弃执行的接口。

图18是示出本实施方式的映射图数据生成暂时中断时的显示画面的图。使用在图18的映射图数据生成中断时输出的画面，对具体的处理流程进行说明。在图18上新配置有放弃开始条4131、放弃结束条4132、放弃期间4133、放弃对象映射图数据424以及放弃处理执行按钮444。

输入事件处理部16首先在映射图数据生成暂时中断时检测通过输入部10输入放弃编辑开始事件，并向编辑处理部14输送信号。例如，可以在查找条41上进行长按时这样地进行检测，或另外配置放弃编辑开始按钮。之后，编辑处理部14将用于指定放弃期间的接口(放弃开始条4131、放弃结束条4132、放弃期间4133的描绘命令输送到描绘处理部15，描绘处理部15执行描绘处理。

之后，输入事件处理部16通过输入部19，检测放弃开始条4131和放弃结束条4132的操作事件，并向编辑处理部14输送信号。编辑处理部14取得放弃期间的映射图数据。具体而言，将指定的放弃开始时刻和放弃结束时刻作为时刻数据而与映射图数据数据库12进行对照，确定从放弃开始时刻至放弃结束时刻更新的映射图数据，删除确定的所述映射图数据。

更具体而言，取得放弃结束时刻的映射图数据和放弃开始时刻前一个时刻的映射图数据，通过计算2个映射图数据的差分，取得在放弃期间追加的映射图数据。之后，编辑处理部14对描绘处理部15输送描绘更新放弃开始条4131和放弃结束条4132的命令、使放弃期间的追加映射图数据可视化的命令以及差分的映射图数据。

描绘处理部15更新放弃开始条4131、放弃结束条4132以及放弃开始条4131和放弃结束条4132之间的放弃期间4133的描绘，并且在映射图数据422上描绘/更新放弃对象映射图数据424。这里，2个映射图数据的差分是指在映射图数据中的放弃期间内更新的部分。例如，相当于更新映射图数据中的一部分范围而得到的部分。

在输入事件处理部16检测到放弃处理执行按钮444的输入时，编辑处理部14执行放弃处理。编辑处理部14从计测数据数据库13、映射图数据数据库12以及自身位置数据数据库20分别删除放弃期间内包含的时刻数据的计测数据、映射图数据以及自身位置数据。

然后，编辑处理部14根据存储于映射图数据数据库12的从放弃结束时刻起的时刻数据的全部映射图数据，执行删除计算出的差分的映射图数据的处理。通过执行该删除，从映射图数据删除在放弃期间内更新的部分。删除的部分没有数据，因此，通过在显示上涂黑来表示。

在从映射图数据数据库12的删除处理结束后，编辑处理部14向描绘处理部15输送描绘更新命令。描绘处理部15描绘在查找条41中除了放弃期间以外的条412，停止描绘放弃开始条4131/放弃结束条4132。在将游标411设定于放弃期间的时刻的情况下，例如使游标411前后移动，通过编辑处理部14从映射图数据数据库12取得并描绘与该时刻最接近的时刻数据的映射图数据422。另外，清除放弃对象映射图数据424的描绘。

通过上述的处理，当在映射图数据生成中途具有部分精度较低的期间的情况下，能够进行仅删除在该期间追加的映射图数据的处理。由此，利用者能够容易地仅删除精度较低的映射图数据，不需要全部重新生成从某个时刻起的映射图数据，提高映射图数据生成作业的效率。

另外，也可以是，在执行放弃处理时，另外保存编辑处理部14放弃的各种数据，在进行放弃处理之后再次复原(能够撤销)。另外，也可以是，管理放弃处理的删除和基于新的映射图数据生成的追加的映射图数据的差分，从而能够返回到映射图数据生成/放弃处理执行前。

这样，示出了能够在精度降低的情况下等手动删除(放弃)在某个固定期间生成/更新的映射图数据的映射图数据生成装置的例子。但是，利用者每当执行删除时，需要确认有无精度降低，暂时中断映射图数据生成并手动输入期间，具有精度较差的部位越多利用者的作业负担越高的倾向。

鉴于这一点，本实施方式的映射图数据生成装置也可以能够自动放弃精度降低的期间。在实施方式4的映射图数据生成装置的处理步骤中，也可以追加在映射评价的结果是判断为映射精度较低的情况下，不将该映射处理结果反映于映射图数据的处理。在该情况下，映射图数据生成处理部11根据映射图数据的评价结果，控制计测数据和映射图数据的更新处理。

图19是示出映射图数据生成处理装置的处理的流程图。映射图数据生成处理部11在实施映射图数据更新和映射图数据评价之后(步骤S4～S44)，根据映射图数据评价值使处理分支(步骤S45)。在评价值不满足设定的某个阈值的情况下，不进行计测数据和映射图数据向数据库的保存和映射评价值的保存(步骤S5、步骤S51)，生成示出评价值降低的信号，结束该帧处理。即，在映射图数据评价值为阈值以上的情况下，进入计测数据和映射图数据向数据库的保存和映射评价值的保存的步骤。

另外，映射图数据生成处理部11不对描绘处理部15发送最新的计测数据和映射图数据，而是生成该帧的时刻数据，与评价值降低信号一起输送到描绘处理部15。在描绘处理部15接收到评价值降低信号时，进行查找条41的描绘更新处理(映射图数据422、自身位置数据4231保持上次的状态不更新)。

图20是映射图数据生成中断中画面的一例。在查找条上描绘放弃期间4123，在计测数据显示区域上描绘放弃显示433。描绘处理部15使用评价值降低信号和时刻数据，在该时刻描绘放弃期间。另外，在将游标411操作至放弃期间上时，与示出实施方式4的丢失的描绘相同地，在计测数据显示区域43上描绘放弃显示。另外，也可以在映射图数据描绘区域42上描绘示出当前帧的映射精度较低而放弃的显示(例如阴影显示)。

在使用这样的映射图数据生成装置时，映射精度较低的映射结果不会作为映射图数据进行更新，因此，即使在精度降低的情况下，利用者也不需要手动放弃映射图数据，精度较高的映射图数据的生成效率进一步提高。另外，在本实施方式中，对与实施方式1、2、3、4不同的部分进行说明。除此之外的部分与实施方式1、2、3、4相同。

实施方式6

中断映射图数据生成，从指定时刻开始重新生成映射图数据，显示指定时刻的计测数据，从而向利用者提示应该返回的位置。但是，利用者不能掌握在返回时移动的数据输入装置2拍摄的范围，因此，存在指定时刻或指定时刻的计测数据与数据输入装置2的摄影范围不适当重叠的情况，有可能使映射图数据生成重新开始时的映射精度降低。

鉴于这一点，也可以是，映射图生成装置在中断映射图数据生成并设定重新生成映射图数据的时刻(指定时刻)时，能够显示数据输入装置2当前正在计测的计测数据。编辑处理部14在映射图数据生成中断时从数据输入装置2取得每帧计测出的计测数据(例如，RGB图像)，每次输送给描绘处理部15。

图21示出由描绘处理部15描绘的画面的一例，在图10中还配置有当前计测数据描绘区域46和当前计测数据461。当前计测数据461是描绘处理部15接收的数据输入装置2的计测数据，描绘处理部15更新每帧的描绘。

这样，在返回过去的位置时，通过使现在的数据输入装置2计测的当前计测数据461可视化，利用者能够与过去的计测数据432进行比较，能够更迅速地返回到适当的位置。另外，在本实施方式中，对与实施方式1、2、3、4、5不同的部分进行了说明。除此以外的部分与实施方式1、2、3、4、5相同。

实施方式7

在实施方式6的映射图数据生成装置中，将过去的计测数据和当前计测数据以及过去的映射图数据等信息作为线索，进行重新生成映射图数据的时刻的设定、向该时刻的场所的移动以及映射图数据生成重新开始。但是，即使利用者适当地返回到设定时刻的场所，当该场所的特征较少的情况下等，也会产生不能开始连接的情况和映射精度降低的情况。在这样的情况下，利用者在重新开始映射图数据生成之后，需要再次设定指定时刻或重新生成映射图数据。

鉴于这一点，本实施方式的映射图数据生成装置在重新生成映射图数据时，在使用该场所的计测数据和设定时刻的映射图数据进行重新开始处理时，能够评价能否适当地进行连接(映射)处理，并将评价结果提示给利用者。利用者能够观察评价结果来重新开始映射图数据的更新，因此，能够省去重新生成无用错误的映射图数据的工夫。

与其他实施方式不同的部分在于，映射图数据生成处理部11在映射图数据生成中断中进行使用数据输入装置2取得的当前计测数据评价映射图数据生成重新开始时的映射预测精度的处理，编辑处理部14从映射图数据生成处理部11取得评价结果并发送给描绘处理部15，描绘处理部15进行评价结果的描绘处理。使用图22和图23的处理步骤对暂时中断映射图数据生成之后的处理进行说明。

图22示出从映射图数据生成暂时中断的输入处理之后的步骤。在映射图数据生成处理的停止之后(步骤S7)，如果有指定时刻的输入，则输出指定时刻的计测数据和映射图数据(步骤S8、步骤S9)，此前的处理相同。在输出计测数据/映射图数据(步骤S9)之后和在步骤S8中没有输入指定时刻的情况下的任何情况下，数据输入装置2都进行评价能否使当前正在计测的计测数据与指定时刻的映射图数据连接的处理(步骤S14)。

图23是示出步骤S14的详细流程的图。首先，编辑处理部14向映射图数据生成处理部11输送信号，以评价现在的数据输入装置2与指定的指定时刻的映射图数据的映射预测精度。此时，还同时输送编辑处理部14保持的指定时刻的映射图数据。之后，映射图数据生成处理部11执行步骤S14的处理。映射图数据生成处理部11将评价结果输送到编辑处理部14。

映射图数据生成处理部11从数据输入装置2取得当前计测数据(步骤S141)，从当前计测数据进行特征提取(步骤S142)。之后，实施能否进行映射处理、是否不丢失以及映射预测精度是否较低这三个观点的评价。在本实施方式中，以三个观点进行评价，但不限定于此，也可以如仅考虑是否不丢失那样仅从1个观点出发进行评价，也可以从2个观点出发进行评价，数量没有限定。丢失的判定方法与实施方式4所述的方式相同。首先，在步骤S143中，映射图数据生成处理部11判定能否进行映射。如果当前计测数据的特征满足映射所需最低限度的特征数量，则进入下一个步骤。

在不满足的情况下，映射图数据生成处理部11生成示出不能映射的评价值，并输送到编辑处理部14，结束步骤S14。接下来，如果存在最低限度的特征，则映射图数据生成处理部11进行映射处理(步骤S144)。在映射处理中，使用从编辑处理部14输送的指定时刻的映射图数据作为三维数据。处理内容与上述的实施方式相同。之后，映射图数据生成处理部11计算映射结果的特征一致数量(步骤S145)，判定特征一致数量是否为阈值以下，判定是否已丢失(步骤S146)。

在判定为特征一致数量为阈值以上的情况下，转移至下一步骤。如果小于阈值，则生成示出丢失的评价值，并输送给编辑处理部14，结束评价处理S14。另外，该步骤与实施方式4所述的处理相同。在以后的步骤中，评价当前计测数据的映射预测精度。

首先，使用在前一步骤中实施的映射结果，在计算机上更新指定时刻的映射图数据(步骤S147)。之后，映射图数据生成处理部11通过使用特征的再投影误差的评价方法或将当前计测数据内的特征分布的偏向和密度中的至少任意一个作为评价值的评价方法评价映射精度，根据统计量计算映射评价值(步骤S148)。

本处理与实施方式4所述的处理相同，映射评价值可以是好和坏2个阶段，也可以是多阶段。映射图数据生成处理部11最后将作为评价值的映射评价值和当前计测数据输送到编辑处理部14。编辑处理部14将评价值和当前计测数据输送到描绘处理部15，并输送描绘更新命令(步骤S15)。描绘处理部15根据当前计测数据和评价值进行描绘的更新处理。在本实施方式中显示评价值，但不限定于此，也可以显示能否映射的判定结果或有无丢失等。

图24是映射图数据生成处理暂时中断时的画面的一例。与实施方式6相同地，描绘处理部15将取得的当前计测数据461描绘在当前计测数据描绘区域46上。之后，描绘示出评价值的结果的信息。描绘处理部15在当前计测数据描绘区域46上和在计测数据显示区域45上描绘示出在当前计测数据中连接精度降低的信息(例如阴影)。

在示出映射评价值的描绘中，描绘区分上述3个种类的评价值的显示(在映射评价值的情况下可以为2个阶段或多阶段)和不进行区分而单纯示出映射预测精度较低(在重新开始时对连接产生障碍)的显示等。每隔一定时间或按照每帧等，反复实施以上的处理，直到有映射图数据再次生成开始的输入为止。

根据本映射图数据生成装置，在映射图数据生成暂时中断时，利用者能够在再次生成开始前掌握以现在的数据输入装置2的位置姿态能否适当开始映射图数据再次生成。因此，在开始映射图数据再次生成之后，省去再次重新生成映射图数据的工夫，提高映射图数据生成效率。另外，如上所述从3个观点出发进行评价，但不限定于全部从3个观点出发进行评价，可以从1个观点出发进行评价，也可以从2个观点出发进行评价。此外，示出评价值的信息的显示方法不限于图24。

对映射图数据生成装置自动放弃映射精度较差的期间的情况进行了叙述，但没有考虑可否进行之后的连接，当在放弃处理之后计测数据与最新映射图数据的特征一致数量为阈值以下(已丢失)的情况下，有时会生成错误的映射图数据。

鉴于这一点，也可以是，在映射图数据生成中，自动放弃映射精度较低的期间，并且判别通过之后的计测数据能否连接(是否已丢失)，如果能够连接则反复进行连接处理，由此，不用人手动进行映射图数据的编辑作业也能够自动进行精度较高的映射图数据生成。

在该情况下，映射图数据生成处理部11自动放弃映射精度降低的期间，并且仅在能够连接的情况下实施映射处理，描绘处理部15根据该结果进行映射图数据生成中画面的描绘处理。

图25是示出自动放弃映射精度降低的期间的处理的流程图。使用该流程图对处理的流程进行说明。映射图数据生成处理部11处理的从取得计测数据至基于特征一致数量的丢失判定与上述的处理方法相同(步骤S1～S32)。这里，如果没有丢失，则之后在与实施方式5相同的映射评价值较低的情况下进行自动放弃的处理。

处理的结果是，映射图数据生成处理部11将表示映射评价值降低的意思的信号和其时刻数据输送到编辑处理部14。另一方面，在产生丢失的情况下，生成示出产生丢失的信号和时刻数据并输送到描绘处理部15。即，直到取得避免丢失的计测数据之前不进行映射图数据更新(步骤S4)～映射图数据/计测数据保存(步骤S5)而放弃，如果能够连接则进行重新开始映射图数据生成的处理。

图26是在映射图数据生成中描绘处理部15描绘的画面的一例。描绘处理部15按照每帧处理从映射图数据生成处理部11接收示出时刻数据、评价值、丢失以及映射评价值的信号，更新查找条41、计测数据描绘区域43以及映射图数据描绘区域42。在条41上根据示出丢失和映射评价值低的信号描绘放弃期间4123。

在使用该映射图数据生成装置时，使用能够连接的计测数据仅在映射精度较好的情况下进行映射处理，因此，针对装置判断的映射图数据的精度降低，利用者不用进行映射图数据的编辑处理就能够生成空间映射图数据。此时，不需要严格地注意数据输入装置2的移动方法，例如为了防止产生丢失而慢慢移动计测装置、每次移动到能够计测较多的特征的位置等，通过自由移动数据输入装置2，能够容易地进行映射图数据生成，因此，能够减少利用者对映射图数据生成的负担。

另外，从作为映射图数据计测器的观点出发，正常进行映射图数据生成，但是，在利用者判断为拍摄到不需要的物体的情况下，如上所述，能够暂时中断映射图数据生成，手动放弃该期间的映射图数据。另外，在本实施方式中，对与实施方式1、2、3、4、5、6不同的部分进行了说明。除此以外的部分与实施方式1、2、3、4、5、6相同。

标号说明

1：映射图数据生成处理装置；2：数据输入装置；3：输入装置；4：输出装置；11：映射图数据生成处理部；12：映射图数据数据库；13：计测数据数据库；14：编辑处理部；15：描绘处理部。

Claims (8)

1.一种映射图数据生成装置，其特征在于，该映射图数据生成装置具有：

计测数据取得部，其取得连续拍摄到的、部分摄像范围与至少一个其他图像数据重叠的多个二维的图像数据以及距所述图像数据中的对象物的距离数据，作为计测数据；

计测数据数据库，其将所取得的所述计测数据与时刻数据对应起来进行存储，该时刻数据用于将所述计测数据按照时间序列对应起来存储于数据库；

映射图数据生成处理部，每当取得所述计测数据时，该映射图数据生成处理部更新根据多个所述计测数据而生成的三维的映射图数据；

映射图数据数据库，其将每个依次更新的所述映射图数据与所述时刻数据对应起来进行存储，该时刻数据对应于在更新所述映射图数据时利用的所述计测数据；

输入部，其受理期望的指定时刻的输入；以及

编辑处理部，其将由所述输入部受理的所述指定时刻作为所述时刻数据，与所述映射图数据数据库进行对照，确定与所述指定时刻对应的所述映射图数据，

在所述输入部受理了所述指定时刻的情况下，所述映射图数据生成处理部使用在所述输入部受理了所述指定时刻之后新取得的所述计测数据，重新更新由所述编辑处理部确定的所述映射图数据。

2.根据权利要求1所述的映射图数据生成装置，其特征在于，

所述编辑处理部在受理了所述指定时刻的情况下，将所述指定时刻作为所述时刻数据，与所述计测数据数据库进行对照，确定所述图像数据，

该映射图数据生成装置具有描绘处理部，该描绘处理部在画面中显示由所述编辑处理部确定的所述图像数据或由所述编辑处理部确定的所述映射图数据，

所述输入部接受请求更新所述映射图数据的映射图数据更新请求，

在所述描绘处理部显示着在所述指定时刻确定的所述图像数据或所述映射图数据的期间，所述输入部受理了所述映射图数据更新请求的情况下，所述映射图数据生成处理部重新更新所述映射图数据。

3.根据权利要求2所述的映射图数据生成装置，其特征在于，

每当所述计测数据取得部取得所述计测数据时，所述描绘处理部在画面中显示所取得的所述图像数据。

4.根据权利要求2或3所述的映射图数据生成装置，其特征在于，

该映射图数据生成装置具有存储自身位置数据和所述时刻数据的自身位置数据数据库，该自身位置数据是在拍摄到所述图像数据时取得所述图像数据并发送给所述计测数据取得部的数据输入装置的位置信息，

所述编辑处理部将所述指定时刻作为所述时刻数据，与所述自身位置数据数据库进行对照，确定所述自身位置数据，

所述描绘处理部在画面中显示所确定的所述自身位置数据。

5.根据权利要求2～4中的任意一项所述的映射图数据生成装置，其特征在于，

所述编辑处理部将指定的放弃开始时刻和放弃结束时刻作为所述时刻数据，与所述映射图数据数据库进行对照，确定从所述放弃开始时刻至所述放弃结束时刻更新的所述映射图数据，并删除所确定的所述映射图数据。

6.根据权利要求2～5中的任意一项所述的映射图数据生成装置，其特征在于，

每当取得所述计测数据时，所述映射图数据生成处理部从所取得的所述计测数据和与所述计测数据连续的其他的所述计测数据分别提取多个特征，在所述多个特征中一致的特征的数量即特征一致数量为阈值以下的情况下，判定为不能更新所述映射图数据即丢失，

在所述映射图数据生成处理部判定为所述丢失的情况下，所述描绘处理部在画面中显示判定为所述丢失。

7.根据权利要求6所述的映射图数据生成装置，其特征在于，

在所述输入部受理了所述指定时刻的情况下，所述映射图数据生成处理部在重新更新所述映射图数据之前，判定是否不能用所述新取得的所述计测数据更新所述映射图数据的所述丢失，

所述描绘处理部将所述判定的结果显示于画面。

8.一种映射图数据生成方法，其特征在于，该映射图数据生成方法由如下步骤构成：

取得连续拍摄到的、部分摄像范围与至少一个其他图像数据重叠的多个二维的图像数据以及距所述图像数据中的对象物的距离数据，作为计测数据；

将所述取得的计测数据与时刻数据对应起来存储于计测数据数据库，该时刻数据用于将计测数据按照时间序列对应起来存储于数据库；

每当取得所述计测数据时，更新根据多个所述计测数据而生成的三维的映射图数据；

将每个依次更新的所述映射图数据与所述时刻数据对应起来存储于映射图数据数据库，该时刻数据对应于在更新所述映射图数据时利用的所述计测数据；

受理期望的指定时刻的输入；

将由输入部受理的所述指定时刻作为所述时刻数据，与所述映射图数据数据库进行对照，确定与所述指定时刻对应的所述映射图数据；以及

在所述输入部受理了所述指定时刻的情况下，中断所述映射图数据的更新，使用在所述输入部受理了所述指定时刻之后新取得的所述计测数据，重新更新所确定的所述映射图数据。