CN101163940A - 摄影位置分析方法 - Google Patents

Abstract

本发明的目的在于，对一边移动一边拍摄的多帧图像数据，高精度地求出各帧的摄影位置。图像数据获取装置(100)在利用车辆一边行驶一边用摄像机(120)拍摄正面图像。进行该摄影时，将车速传感器(104)检测出的车速脉冲与帧数据对应记录。图像数据处理装置(200)将图像的各帧的数据，按照与车速脉冲的对应关系沿着初始轨迹配置。其后，就道路区分线等图像内所包含的特征，求各帧之间的偏移量。然后，使该偏移量反映于初始轨迹，修正与移动方向交叉的方向上的误差，以求取移动轨迹，同时求取各帧的摄影位置。利用这种方法，可以提高求各帧的摄影位置的精度。

Description

摄影位置分析方法

技术领域

本发明涉及对一边移动一边拍摄下来的移动图像等的由多帧构成的图像，分析各帧的摄影位置的技术。

背景技术

关于搭载在车辆上的摄像机拍摄的图像的利用，提出了各种方案。例如从这些图像得到的信息，可以应用于生成用于提供以利用电脑图形的三维图像再现街道的情景等的三维地图的电子地图数据。而日本特开平7-37065号公报(以下称为专利文献1)公开了将摄像机拍摄的各帧图像合成，生成一张区域广阔的图像，以应用于铁道线、输电线的状态监视的技术。

为了将摄像机拍摄的图像应用于上述目的等，有必要预先高精度检测出拍摄各帧图像的位置、例如纬度、经度等。关于这一点，日本专利第2687645号公报(以下称为专利文献2)、日本特开平7-71973号公报(以下称为专利文献3)公开了利用作为通行带的分区线而设置的断续白线的数目和导轨支柱的数目等已知的距离确定车辆在行进方向上的位置的技术。而且也提出了将GPS(Global Positioning System，全球定位系统)和陀螺仪等其他方向传感器一起使用于位置检测的技术。

专利文献1：日本特开平7-37065号公报

专利文献2：日本特许第2687645号公报

专利文献3：日本特开平7-71973号公报

但是在已有的技术中，图像的摄影位置的精度不一定能够说是足够高。摄影地点有必要用纬度、经度等至少二维的坐标值确定位置。专利文献2、3记载的技术虽然能够谋求提高车辆行进方向上的位置精度，但是对于与行进方向交叉的方向没有进行充分探讨。而且用GPS检测出的位置包含数十米程度的误差，因此不能够说在应用于采用图像数据的各种分析中有足够的精度。用陀螺仪等检测出的位置也是相同的。

而且在使用GPS的情况下在时刻上也包含误差，因此即使是再怎么提高位置检测误差，也不能够取得与拍摄的图像完全同步，其结果是，存在不能够以充分的精度确定拍摄时的位置的问题。也就是说，在某一时刻用GPS确定的位置有可能是表示与该时刻不同的时刻的位置。因此一边移动一边用GPS检测位置时，即使是再怎么提高GPS的位置检测精度，得到的信息也不能够以充分的精度表示摄影位置。

在摄影位置精度低的图像中，即使是提高图像自身的分辨率，也不能够进行充分利用图像数据的分辨率的分析。例如，如果摄影位置不正确，则不能够高精度确定拍摄在图像上的道路标识、道路上的表示、建筑物等的形状、位置，不能够使其反映于地图数据中。而且在像专利文献1记载的技术那样进行图像合成的情况下，如果位置精度不够，多帧图像之间发生偏移，不能够得到充分利用了原图像的分辨率的高清晰的合成图像。

这样的问题不仅在搭载在车辆上进行图像拍摄时发生，而且对于一边步行一边拍摄的图像等的一边移动一边拍摄的图像也同样可能发生。而且不限于移动图像，对于在多个不同的地点拍摄的静止图像也同样可能发生。鉴于这样的问题，本发明目的在于，对一边移动一边拍摄的由多帧构成的图像，高精度地确定各帧的摄影位置。

发明内容

本发明可以构成为对由多帧构成的图像分析各帧的摄影位置的摄影位置分析装置(下面有时也简称为“分析装置”)。摄影位置分析装置以在与地表面相对的姿势角大致保持一定的状态下一边移动一边在已知的时刻拍摄下来的图像为处理对象。作为这样的图像，可以举出有例如用一定的姿势角固定摄影装置的车辆一边移动一边进行拍摄的移动图像。只要是能够保持大致一定的姿势角，也可以是一边步行一边拍摄的移动图像。也可以不必是移动图像，而可以采用在多个位置上拍摄的静止图像。在图像的各帧中，包含与前后至少一方紧接着的帧共同拍摄的规定的连续体。该连续体不必是作为处理对象的全部帧共有的。作为连续体，可以列举例如道路上的通行带的分区线等。

分析装置输入上述由多帧构成的图像数据。而且作为分析的初始值，输入摄影时的移动的初始轨迹。假定图像是一边在该初始轨迹上移动一边拍摄下来的图像，则各帧图像能够配置在初始轨迹上。这样，分析装置能够根据摄影的时刻，沿着初始轨迹的移动方向，暂时设定各帧的摄影位置。由于初始轨迹中包含相对于摄影位置的误差，所以在初始轨迹上配置的帧之间，连续体的图像发生偏移。

分析装置利用图像处理检测出跨多帧拍摄的连续体的摄影图像之间的偏移，根据该偏移在初始轨迹的移动交叉方向上修正暂时设定的摄影位置，以分析各帧的摄影位置。例如，在连续体的位置在后一帧比在前一帧向右偏移的情况下，根据该偏移量，对暂时设定的摄影位置进行修正，使其向左移。反之，在向左偏移的情况下，对暂时设定的摄影位置进行修正，使其向右移。本发明的摄影位置分析装置，利用对拍摄的连续体进行的图像分析，确定相对于初始轨迹在移动交叉方向上的误差，通过反映该误差，能够高精度地检测出实际进行摄影时的移动轨迹(以下称为“实际轨迹”)，或高精度地确定各帧的摄影位置。这种方法将图像分析用于实际轨迹的确定，因此有能够实现与图像的分辨率相符的位置精度的优点。而且如果采用这种方法，假设即使是实际轨迹中包含位置误差，也能够充分保持多个帧之间的图像之间的匹配性，因此有这样的优点，即能够确保使用多帧图像的地图数据的生成等的分析所要求的精度。

上述图像只要在图像的一部分中包含移动方向的前方或后方即可，例如也可以使用向斜前方、斜后方设置的摄像机拍摄的图像。只要是用足够大的广角拍摄的图像，相对于移动方向面向正侧面的摄像机所拍摄的图像也可以使用。但是，从能够最有效而且高精度地检测出移动交叉方向的偏差的考虑出发，上述图像最好是采用移动方向的正面或背面的图像。而且，为了分析摄影位置，也可以不采用这样拍摄的整个图像，而采用下部的一部分。这是因为，图像的下部被认为是拍摄到比较接近摄影位置的地点，因此有利于提高摄影位置的分析精度。

用于确定实际轨迹的连续体，可以采用跨多帧拍摄的各种对象。虽然也可以利用从附近通过的公共汽车、卡车等大型车辆等，但是必须保证其不向移动交叉方向移动。从保证其不向移动交叉方向移动的考虑出发，连续体最好是固定在道路上的对象，例如可以将道路旁的导轨、建筑物的边缘等当作连续体。如果也考虑到比较容易识别图像而且能够高精度进行，连续体采用道路的通行带的分区线是理想的。

在本发明中，帧图像相对于初始轨迹的配置可以采用各种方法。例如也可以输入表示摄影时的时刻与沿着移动方向的移动距离之间的关系的移动距离信息，根据该移动距离信息暂时设定沿着移动方向的各帧的摄影位置。由于各帧的摄影时刻是已知的，所以能够通过利用移动距离信息来高精度确定初始轨迹上的各帧的摄影位置，能够谋求提高最终得到的摄影位置的二维坐标的精度。

又可以根据移动距离信息从多个帧数据中提取每隔规定的移动距离拍摄的帧作为进行摄影位置分析用的帧。在这样的形态下，所提取的帧之间的移动距离相等，因此有容易进行多个帧之间的合成等的图像处理的优点。在这样的状态下，希望在每个单位时间内拍摄的帧数(以下称为“帧速率”)足够高，借以能够保证每个规定的移动距离都有帧存在。应要求的帧速率将由摄影时的移动速度、作为帧提取时的基准的移动距离决定。例如，用搭载在以一般道路的限速左右的速度移动的车辆上的摄影装置进行摄影的情况下，如果是具有30帧/秒左右的帧速率的移动图像，就能够满足上述要求。

作为移动距离信息，可以采用对例如在道路上断续描画的分区线、导轨的支柱等间隔已知的对象物体进行拍摄得到的图像信息。而且，在利用车辆上搭载的摄影装置拍摄图像的情况下，也可以将车辆的车速脉冲、即车辆每行进一定的距离输出的脉冲信号作为移动距离信息使用。

进行摄影时，最好是还预先与图像数据对应地记录表示到达交叉点等已知的基准位置的时刻的基准位置信息。通过这样做，分析装置能够将与该基准位置信息对应的时刻的摄影位置(以下称为“基准位置”)作为已知位置处理。从而，在分析过程中，能够根据基准位置信息至少使沿着移动方向的位置初始化，能够提高摄影位置的推定精度。

可以以各种形态利用基准位置信息。例如也可以以基准位置为始点，按照摄影的顺序配置帧。也就是说也可以沿着摄影时移动的方向按照时间系列配置帧。反之，也可以以基准位置为始点，与摄影的顺序相反顺序地配置帧。也就是说，也可以与摄影时的移动方向相反方向地，以与时间系列逆向的顺序配置帧。不管是哪一种配置方法，都是越接近始点，帧的配置精度越高。

例如，在导航系统中，考虑相应于车辆的位置显示拍摄的帧图像或据此生成的图形的状况。在后者的状态下、即以基准位置为始点与时间系列相反顺序配置的状态下，车辆越接近基准位置，所提供的图像的位置精度越高。以交叉点为基准位置使用的情况下，如果考虑到车辆在交叉点的近前停下或在交叉点拐弯，则最好是越靠近交叉点，图像的位置精度越高。在这个意义上可以说，前面说明的后一状态对于导航用的数据的生成更加有用。

在处理对设有对置的多个通行带的道路进行拍摄得到的图像的情况下，以基准位置为始点与时间系列相反顺序地配置帧图像等的状态，对于只拍摄单侧通行带(通常是拍摄时移动的通行带)的图像是有用的。另一方面，对于拍摄两侧的通行带的图像，以基准位置为始点，在移动方向和反方向双方依序配置帧数据的方法是有用的。

摄影位置的初始化也可以用下述方法进行。首先，在移动交叉方向上拍摄多帧的横向图像数据。作为横向图像数据，也可以利用例如相对于车辆的行进方向横向设置的摄像机拍摄的摄影图像。假定这种横向图像数据的被拍摄物体的位置坐标通过参考地图数据已经知道。摄影位置分析装置从多帧的横向图像数据计算出表示被拍摄物体的位置的被拍摄物体坐标。多帧的横向图像数据相当于从多个摄影位置对被拍摄物体进行摄影得到的图像数据，因此如果移动速度和各帧的摄影时刻为已知，则多个摄影位置之间的距离为已知，因此根据三角测量的原理，以摄影位置为基准，能够求出被拍摄物体的位置。这样求出的被拍摄物体的坐标与地图数据中记录的位置坐标的偏差表示求取被拍摄物体的坐标时使用的摄影位置的误差。从而，能够根据该偏差进行摄影位置的初始化、即误差修正。

本发明中使用的初始轨迹是作为使用拍摄的图像进行的分析的初始值使用的，因此只要是表示拍摄轨迹的大概情况的轨迹即可。例如在能够参照以节点、链路表示道路的道路网络数据的情况下，也可以用节点、链路指定摄影时通过的轨迹，借助于这一方法等，根据道路网络数据设定初始轨迹。道路网络数据中也含有道路的高度信息的情况下，也能够三维地确定初始轨迹。

初始轨迹也可以利用位置检测传感器的输出进行设定。位置检测传感器可以采用陀螺仪、距离计和GPS等能够在规定的误差范围内至少二维地检测出拍摄图像时的移动轨迹的装置。在这里，允许的误差最好是在能够通过图像处理修正与初始轨迹交叉的方向上的误差的范围内。从而，允许误差最好是能够使得初始轨迹与实际轨迹之间的偏差收敛在摄影装置的视角内的大小。

本发明也可以在进行摄影位置的分析之前，将图像数据变换为从正面拍摄连续体的状态下的图像。图像变换可以采用仿射变换等各种方法。可以将图像数据分配在多个区域，通过在各区域使用不同的变换系数，可以谋求提高变换时的精度。例如，可将多个区域和变换系数设定为，可从根据拍摄已知形状的网状体得到的图像数据得到该网状体的正视图像。

本发明也可以构成为生成使用于上述分析的图像数据的图像数据获取装置。图像数据获取装置可以采用具备例如在地表面移动的车辆、摄影装置、移动距离信息记录部的装置。摄影装置以相对的姿势角大致保持一定的状态安装在车辆上，在已知的时刻拍摄多帧构成的图像、移动图像或静止图像。当然，摄影装置此外还可以搭载多个。移动距离信息记录部与进行拍摄时的时刻相关地记录表示车辆移动规定距离的情况的移动距离信息。作为该移动距离信息，可以采用例如车辆产生的车速脉冲。这样做，可以向分析装置提供适于分析的图像数据和移动距离信息。

本发明不必具备以上说明的全部特征，而可以省略一部分或适当加以组合。本发明除了作为上述摄影位置分析装置以及图像数据获取装置的状态外，也可以构成为利用计算机对摄影位置进行分析的分析方法。而且也可以构成为实现这样的分析用的计算机程序，又可以构成为记录这种计算机程序的记录媒体。在这种情况下，记录媒体可以采用软盘、CD-ROM、光磁盘、IC卡、只读存储器盒(ROM cartridge)、穿孔卡、印刷有条形码等符号的印刷品、计算机的内部存储装置(RAM和ROM等的存储器)以及外部存储装置等计算机可读的各种记录媒体。

附图说明

图1是表示作为实施例的图像数据处理系统的结构的说明图。

图2是表示构成图像数据获取装置100的各装置的搭载、连接例的说明图。

图3是表示图像数据等的结构的说明图。

图4是表示初始轨迹的设定方法的说明图。

图5是表示作为变形例的初始轨迹的设定方法的说明图。

图6是表示特征点寻迹处理的原理的说明图。

图7是变换系数设定方法的工序图。

图8是表示特征点寻迹处理的例子的说明图。

图9是摄影位置分析处理的流程图。

图10是特征点寻迹处理的流程图。

图11是作为变形例的特征点寻迹处理的流程图。

图12是标识、标示提取处理的流程图。

图13是表示图像数据的处理例之一的说明图。

图14是表示图像数据的处理例之二的说明图。

图15是表示作为变形例的帧数据配置方法的说明图。

图16是表示利用侧面图像求取基准位置的方法的说明图。

图17是变形例的基准位置计算处理的流程图。

图18是经时变化判定处理的流程图。

图19是导向板位置坐标分析处理的流程图。

具体实施方式

本发明的实施例按照以下顺序进行说明。

A.装置结构

B.数据结构

C.摄影位置分析原理

C-1.初始轨迹

C-2.特征点寻迹处理

D.摄影位置分析处理

E.标识、标示提取处理

F.处理例

G1.变形例～帧数据配置方法

G2.变形例～侧面图像的利用

G3.变形例～经时变化的确定

G4.变形例～导向板的位置坐标分析

A.装置结构

图1是表示作为实施例的图像数据处理系统的结构的说明图。图像数据处理系统是一边在街道等地方移动一边拍摄的移动图像的处理系统。作为处理内容，第1，可以列举对构成移动图像的各帧进行分析求出经纬度等拍摄位置坐标的摄影位置分析处理。第2，可以列举利用该结果生成各帧的合成图像(该处理被称为“图像合成处理”)，作为生成三维地图数据用的数据，根据合成图像确定道路面上的标示及道路分界处的标识的类别和位置等处理(该处理被称为“标示、标识提取处理”)。借助于第1处理分析了摄影位置的移动图像，也可以使用于道路分界处的建筑物的高度和正面宽度的测量。

图像数据处理系统由拍摄移动图像用的图像数据获取装置100与处理移动图像用的图像数据处理装置200构成。在本实施例中，两者作成独立的结构，但是也可以构成为一个装置。而且图像数据处理装置200也可以形成为由多个装置构成的分散处理系统。

实施例的图像数据获取装置100是在车辆上搭载各种装置构成的。车辆上搭载拍摄正面图像用的摄像机120和拍摄侧方图像用的摄像机122。摄像机120、122以能够相对于车辆保持一定的姿势角的状态固定。为了高效率取得大范围、高清晰的图像，摄像机120、122最好是利用高清晰度的广角摄像机。

摄像机120的图像，如下所述被用于摄影位置分析处理。从这样的观点出发，摄像机120最好是沿着车辆的前后轴以在行走中平行于地表面的姿势角安装。不过，这样的姿势角并非必须的。摄影位置分析处理中，只要有部分拍摄车辆的前方或后方的状态得到的图像就足够了，因此摄像机120也可以向着后方、斜前方、斜后方等方向安装，只要是能够用足够大的广角拍摄，向正侧面安装也可以。

侧方图像使用于标识、标示的提取、建筑物的高度和正面宽度的测量等的应用上。从而，摄像机122只要根据应用的种类和目的而增加台数或决定摄像机的设置方向即可。

车辆上备有用于将获取的数据作为数字图像数据进行保存的硬盘114和对该保存等进行控制用的控制部110。控制部110可通过在例如通用计算机上安装用于取得并管理图像数据的计算机程序而构成。

GPS(Global Positioning System，全球定位系统)102周期性地检测摄影时的车辆的位置信息、即经纬度，将其与检测时刻一起输出。该数据与图像数据一起记录于各种硬盘114上。当然，如下所述，GPS102的输出由于并非摄影位置的分析所必须的数据，因此也可以省略GPS102。车速传感器104每当车辆移动一定的距离就输出被称为车速脉冲的信号。车速脉冲也与图像数据一起记录于硬盘114。

在本实施例中，为了提高摄影位置的分析精度，在摄影过程中在通过基准位置、即经纬度已知的位置的时刻，记录通过的时刻和基准位置的信息。为了按照操作者的指示进行所述记录，在车辆上设置基准位置输入部112。基准位置输入部112与控制部110一样，可通过在通用计算机上安装用于实现基准位置输入功能的计算机程序而构成。

本实施例中构成为，在显示器上显示的地图132d中如果操作者用鼠标器等点击要记录的基准位置，就能够记录点击的时刻和基准位置的信息的结构。显示地图所需要的地图数据可以预先记录于硬盘114、CD-ROM等记录媒体上，也可以通过无线网络从外部服务器取得。基准位置信息的输入不限于上述方法，也可以直接从键盘等输入经纬度等信息，在预先设定要记录的基准位置的情况下，也可以输入与各基准位置对应的代码。还可以在摄影时省略基准位置信息的输入，只输入通过的时刻。

在本实施例中，控制部110和基准位置输入部112通过安装计算机程序以软件方式实现，但是这些部件也可以利用专用电路以硬件方式构成。

下面对图像数据处理装置200的结构进行说明。图像数据处理装置200通过在通用计算机上安装图像数据处理用的计算机程序构成。从图像数据获取装置100向图像数据处理装置200进行的数据传送采用了可拆卸硬盘114a。但是不限于这样的方法，可以采用DVD等其他记录媒体，也可以通过网络传送。

通过安装上述计算机程序，在图像数据处理装置200中构成图示的各种功能块。当然，这些功能块的至少一部分也可以利用ASIC等以硬件方式构成。

数据输入部206输入图像数据获取装置100生成的图像数据。如上所述，与图像数据一起也输入GPS 102检测出的经纬度、车速脉冲、以及基准位置信息。该信息被交付至初始轨迹设定部204和切出图像生成部208。

初始轨迹设定部204生成下述摄影位置分析处理用的初始轨迹。指令输入部202通过操作者对鼠标器或键盘的操作，输入初始轨迹的生成所需要的指令。由操作者输入的指令也适当向初始轨迹设定部204以外的功能块交接，但是为了避免附图复杂化，图中只表示出向关联程度最高的初始轨迹设定部204交接的状况。

在本实施例中，初始轨迹的设定可以采用两种生成方法。一种方法是利用GPS 102检测出的经纬度的方法。另一种方法是不利用GPS 102的检测结果，而利用道路网络数据生成的方法。所谓道路网络数据，是使用于路径探索的数据，是借助于以折线表示道路的经由地点的链路、表示链路的交点或端点的节点、以及链路和节点的属性信息表示道路的数据。在本实施例中，作为网络数据库220存储于图像数据处理装置200内。网络数据库220也可以由CD-ROM等记录媒体、通过网络连接的外部伺服器等提供。

图像配置部210沿着所设定的初始轨迹确定图像数据中各帧拍摄的位置。通过利用该位置能够将各帧配置于初始轨迹上，因此在本说明书中，有时候也将决定摄影位置的处理称为“配置”。在这里确定的位置是包含误差的，成为摄影位置分析处理的初始值。在该处理中使用车速脉冲和基准位置信息。处理的内容将在下面叙述。

在本实施例中，在摄影位置分析处理中仅使用输入的图像数据的一部分。为了实现该处理，切出图像生成部208实施从输入的图像的各帧切出使用于摄影位置分析处理的部分的处理。这时，利用仿射变换等来修正以广角拍摄的图像中包含的各种畸变，是理想的。图像的切出并非必须，在利用各帧图像的全部进行摄影位置分析处理的情况下，也可以省略切出图像生成部208，也可以使切出图像生成部208只进行图像畸变的修正。

轨迹修正部212在初始轨迹上配置多个切出图像，根据对这些切出图像进行的图像处理，修正初始轨迹以使切出图像之间保持连续性。该处理的内容将在下面叙述。通过这样对初始轨迹进行修正，能够求得各帧的正确的摄影位置。图像数据处理装置200也能够输出轨迹修正部212求得的摄影位置，完成图像数据的处理。

本实施例的图像数据处理装置200能够利用上述处理结果执行标识、显示提取处理。所谓标识、显示提取处理，是生成将多帧图像合成的合成图像，同时根据该合成图像确定道路上的标示和道路分界处的标识等的形状、位置的处理。这种处理利用标识、显示提取部214实现。作为确定对象的标识、标示，可以举出例如人行横道和表示行进方向的限制的箭头等标示、信号、道路标识和街道树等。这些标识、标示，其大概形状和颜色是预先决定的。标识、标示数据库222将其大概形状和颜色作为基本图案加以存储。

标识、标示提取部214从合成图像提取与标识、标示数据库222中存储的基本图案相当的图像，使基本图案变形，决定对合成图像适合的正确的标识、标示形状，同时确定其位置。图像数据处理装置200将这样设定的形状和位置作为标识、标示位置数据224管理。标识、标示位置数据224可以使用于真实性高的三维地图的生成等之中。

图2是表示构成图像数据获取装置100的各装置的搭载、连接例的说明图。图示的各装置能够可脱卸地安装于车辆。各装置的电源是将从车辆的蓄电池经点烟插口110b引出的直流电源用DC-AC车用逆变器110c作交流变换之后而进行使用。图1所示的控制部110以及可拆卸硬盘114a的功能用笔记本电脑110a实现。笔记本电脑110a输入GPS102的检测信号。GPS102的天线102a设置于能够接收GPS的电波的位置上。

在图中的结构例中，设置有3台拍摄正面的摄像机120a、120b、120c。摄像机120b是拍摄方向引导板的专用机。摄像机120a、120b、120c与笔记本电脑110a通过IEEE接口200a连接，表示各帧的摄影时刻的时间代码从摄像机120a、120b、120c发送到笔记本电脑110a。笔记本电脑110a为了用于分析摄影位置，预先将该时间代码与车速脉冲和基准位置信息对应地进行记录。

摄像机122R、122L是拍摄车辆左右方向的图像的摄像机。摄像机122R、122L的声音输入与笔记本电脑110a的声音输出连接。笔记本电脑110a按照车速脉冲输出规定的声音脉冲信号时，声音脉冲信号被记录于摄像机122R、122L的声轨上，因此分析时能够将所拍摄的各帧与车速脉冲对应起来。除了图示的连接例以外，也可以将利用声音输入输出的连接方法适用于摄像机120a、120b、120c。又可以将利用IEEE接口的连接方法适用于摄像机122R、122L。

检测车速用的脉冲发生器104a是用磁学方式检测车辆后轮的旋转，产生与旋转同步的脉冲的装置。可以使用例如先锋株式会社(パイオニア社)制造的ND-PG1(商标)。脉冲计数器104b是对产生的脉冲进行计数，将计数结果与时刻一起输出的装置。可以使用例如タ-トル工业株式会社制造的TUSB-S01CN1(商标)。在本实施例中，脉冲发生器104a和脉冲计数器104b分别设置于车辆后方的后备箱内。

如果采用图示的结构，可以用市面上销售的装置加以组合构成图像数据获取装置100。而且由于能够脱卸地安装于车辆，因此装置容易移动。具有例如下述的优点，利用电车、飞机等将图示的各装置运送到测量地点，在测量地点借助于车辆能够容易地进行测量。

B.数据结构

图3是表示图像数据等的结构的说明图。这表示构成摄像机120拍摄的移动图像的帧数据和车速脉冲、基准位置脉冲的关系。图上方的数据群T表示所述各种数据按照时间基准配置的状态。

如数据群T所示，帧数据Fr1～Fr10是以一定的时间间隔取得的。在本实施例中为30Hz。当然，帧数据也可以采用任意时刻拍摄的静止图像的集合。在这种情况下，时间间隔也可以是不定的。

车辆每移动一定距离就取得车速脉冲P1～P6。在本实施例中，每移动约0.39m取得车速脉冲。数据群T是以时间基准排列的，因此车速脉冲的间隔相应于车辆的移动速度而变化。例如脉冲P1、P2之间的间隔狭窄是因为移动速度比较大。反之，脉冲P2、P3之间的间隔比较宽是因为移动速度比较慢。

基准位置脉冲是在车辆通过人行横道等预先规定的基准位置的时刻取得的。由于基准位置脉冲是在车辆移动某一定程度的距离的时刻取得的，所以与帧数据和车速脉冲相比，取得的频度比较低。又如下面所述，基准位置脉冲是为了提高摄影位置分析处理的精度而作为初始位置使用的，因此即使是这样低的频度也无妨。

下方的数据群R表示将数据群T所示的各数据以摄影时的移动距离基准排列的状态。由于是移动距离基准，如图所示，车速脉冲P1～P6形成等间隔排列。帧数据Fr1～Fr8是按照各车速脉冲之间车辆等速移动的假定排列的。其结果是，例如帧数据Fr2按照下面的规则排列。

t1∶t2＝r1∶r2

t1...数据群T中的车速脉冲P1与帧Fr2之间的时间

t2...数据群T中的车速脉冲P2与帧Fr2之间的时间

r1...数据群R中的车速脉冲P1与帧Fr2之间的距离

r2...数据群R中的车速脉冲P2与帧Fr2之间的距离

其他各帧数据以及基准位置脉冲也相同。通过这样做，如数据群R所示，能够沿着摄影时的轨迹配置各帧数据，也就是说能够确定沿着轨迹的方向的位置。

帧数据的位置可以不按照图示的方法而采用各种方法。例如与车速脉冲相比帧数据以足够高的频度取得的情况下，也可以从这些帧数据提取与车速脉冲同步的帧数据。通过这样做，能够生成以等间隔距离取得的帧数据群。在提取与车速脉冲同步的帧数据的情况下，考虑到摄影位置的分析所要求的精度，也可以允许两者的时刻之间有规定范围的误差。

C.摄影位置分析原理

以下以利用帧数据的提取来生成以等间隔距离取得的帧数据群的情况为例，对摄影位置分析处理的原理进行说明。但是，即使是图3的数据群R那样以不定间隔距离配置帧数据的情况，也可以使用相同的处理。

在本实施例的摄影位置分析处理中，首先设定在一定的误差范围内表示摄影时的移动轨迹的初始轨迹。然后借助于称为特征点寻迹处理的、利用帧数据的图像分析处理，对该初始轨迹进行修正，以此求出各帧数据的摄影位置。下面首先按照初始轨迹的设定方法、特征点寻迹处理的顺序进行说明。

C-1.初始轨迹

图4是表示初始轨迹的设定方法的说明图。在这个例子中，根据用GPS102取得的经纬度数据设定初始轨迹。假定在摄影时，采用从箭头Ar1向Ar2通过包括道路R1、R2的交叉点的轨迹。图中的黑三角形表示GPS102得到的经纬度数据。GPS102的经纬度也可以通过同时使用陀螺仪等进行插补。白圆点表示以等间隔距离得到的帧数据群。又，白色双重圆点CP1、CP2表示取得基准位置脉冲的地点。如上面所述，在本实施例中，假设是在人行横道CW1、CW2取得基本位置脉冲。

初始轨迹是通过依序连结GPS102得到的经纬度进行设定的。以取得基准位置脉冲的地点为基准，在初始轨迹上以等间隔距离配置各帧数据，如图4所示，求得各帧数据的摄影位置作为摄影位置分析处理的初始值。用GPS 102得到的经纬度由于包含误差，因此图4所示的初始轨迹也分别包含摄影时的移动方向(以下简称为“移动方向”)的误差、以及与移动方向交叉的方向(以下简称为“交叉方向”)的误差。但是，由于采用从得到基准位置脉冲的地点起以等间隔距离配置的方法，移动方向的误差被认为足够小，主要包含交叉方向的误差。

图5是表示作为变形例的初始轨迹的设定方法的说明图。这表示不采用由GPS102得到的经纬度地设定初始轨迹的例子。在变形例中，使用道路网络数据代替经纬度。图中所示的虚线L1、L2表示分别对应于道路R1、R2的链路。黑圆点N1是节点，所谓道路网络数据是这样利用链路、节点表示道路的数据。在图5中，链路表示为直线状，但是也有根据道路的形状表示为折线状的情况。链路由各经过的点和端点的经纬度规定。也有在经纬度之外还包含高度信息的情况。

在变形例中，将摄影时通过的道路的链路作为初始轨迹使用。在图例中，将从道路R1到R2的路径使用于摄影的情况下，链路L1、L2作为初始轨迹使用。各帧数据在该初始轨迹上以对应于基准位置脉冲的地点为基准以等间隔距离配置。如果采用变形例的方法，则如节点N1附近所示，有时候初始轨迹形成割断的状态，但是利用下述特征点寻迹处理对轨迹进行修正，能够得到连续的轨迹，因此不会有什么妨碍。

变形例的初始轨迹也包含相对于实际摄影位置的误差。但是也与利用GPS102的输出的例子(参照图4)一样，被认为移动方向上的误差比较小，主要包含交叉方向上的误差。

C-2.特征点的寻迹处理

图6是表示特征点寻迹处理的原理的说明图。图中央所示的虚线的圆Pt1～Pt4表示在初始轨迹上配置帧数据的位置。从圆Pt1向Pt4的方向是移动方向。在图的右侧例示与各位置对应的帧数据所表示的图像Pic1～Pic4。这些图像是将拍摄的图像的下方的一部分切出的图像。例如图像Pic1是将图下方所示的原图像Por中虚线所示的下部区域切出得到的图像。其他图像Pic2～Pic4也同样是将下部切出得到的图像。以下将这样从原图像切出的图像称为切出图像。

在特征点寻迹处理中，根据这些图像中包含的特征点的位置确定初始轨迹的误差，对轨迹进行修正。在本实施例中，将道路的车辆通行带的分区线作为特征点使用。在图中的例子中，原图像Por的中央下部所示的实线表示分区线。

使图像Pic1～Pic4的重心分别与初始轨迹Pt1～Pt4一致地配置。这时，如图中的虚线FP所示，使特征点依序偏移。假如初始轨迹Pt1～Pt4正确表示出摄影时的轨迹，则在各图像之间理应不发生特征点的偏移。也就是说，特征点的偏移表示在初始轨迹中包含误差的情况。例如图像Pic1与Pic2之间的偏移量OS在以初始轨迹位置Pt1为基准考虑的情况下，位置Pt2的交叉方向上的误差为OS。从而，如果使位置Pt2向交叉方向移动“-OS”，则能够得到正确的轨迹。这样得到的位置就是图中的实线所示的圆Pc2。

对于其他位置Pt3、Pt4也一样，求相邻的图像之间的特征点的偏移量，根据该偏移量修正交叉方向的位置，这样能够得到正确的轨迹上的位置Pc3、Pc4。在图例中，借助于这一处理，可以得到通过位置Pt1、Pc2～Pc4的实线的轨迹。在图的左侧表示出配置为图像Pic1～Pic4的重心来到实线的轨迹上的例子。如图所示，图像之间特征点的偏移被消除。

图6中，表示出使用从原图像单纯切出的图像的例子。也可以在特征点寻迹处理之前利用仿射变换等修正图像下部的畸变。在采用本实施例这样用广角摄像机拍摄的图像数据的情况下，最好是进行修正。利用这种修正能够得到相当于从道路的正上方拍摄路面的状态的图像，因此能够提高特征点寻迹处理得到的摄影位置的分析精度。

在本实施例中，如上所述，切出原图像的下部使用于特征点寻迹处理。作为特征点，可以使用初始轨迹的误差出现于图像内的位置的偏移中的任意点。除了例如道路上的标示外，导轨、道路分界处的建筑物等拍摄多帧的连续体的一部分可以作为特征点使用。特征点寻迹处理中使用的切出图像不限于原图像的下部，可以选择包含特征点的任意处。又可以利用原图像本身进行特征点寻迹处理。但是，图像下部的特征点包含图像内拍摄的各种部位中最接近摄像机的位置，因此通过利用图像下部，能够提高摄影位置的分析精度。

如上所述，在特征点寻迹处理中，也可以利用仿射变换等对图像进行畸变修正。还例示了实施该畸变修正用的变换系数的设定步骤。

图7是变换系数设定方法的工序图。首先，在作为图像数据获取装置100的车辆的前方路面上，配置矫正用的栅格(步骤S100)。配置栅格的路面最好是没有倾斜和凹凸的平坦面。栅格仅空开能够拍摄车辆侧的端线NS的程度的间隔d2配置于前方。栅格的宽度W和长度L可以任意设定，但是为了提高变换系数的设定精度，最好是采用可覆盖摄像机能拍摄的范围的尺寸。在本实施例中，宽度W采用15m，长度采用3.5m。而且栅格的网格尺寸d1也可以任意设定。网格尺寸越细小，则变换精度越高，但是会增大预先存储变换系数用的存储容量。在本实施例中，网格尺寸d1为50cm。

下面对栅格的每一网格计算出变换系数(步骤S102)。图中表示出变换系数的计算方法。在车辆前方配置的栅格的摄影图像，如图中的实线所示，畸变形成大致梯形形状。对每一网格设定变换系数以便能够将这样畸变的各网格变换为图中虚线所示的本来形状、即从正面拍摄栅格时的图像。例如，设定使网格G11拍摄为网格G21的变换系数。又设定使网格G12拍摄为网格G22的变换系数。两者的变换系数也可以不同。

将这样设定的变换系数作为表格存储(步骤S104)，使用于特征点寻迹处理中的畸变修正。图中表示出表格的构成例。在本实施例中，采用对摄影图像SCR的各像素Pxy分配变换系数Cxy1、Cxy2...Cxyn的表格。例如，对拍摄栅格的图像中拍摄网格G13的像素，设定在步骤S102中与网格G13对应地计算出的变换系数。通过这样做，在特征点寻迹处理中也能够对摄影图像的每一个像素实施高精度的畸变修正。变换系数不限于这样的设定，例如也可以在摄影图像的画面内采用统一的值，又可以对x方向上排列的每一网格采用统一的值。

图8是表示特征点寻迹处理的例子的说明图。这例示对变形例所示的初始轨迹(参照图5)实施特征点寻迹处理的结果。在初始轨迹上配置的帧数据(图中的白圆圈)借助于特征点寻迹处理分别修正交叉方向的误差。结果得到图中粗线所示的轨迹Tr。初始轨迹形成为在节点N1附近断开的状态，但是对交叉方向的位置进行修正后，结果如图中所示，轨迹Tr形成连续状态。

在图8中表示出基准位置(图中的双重圆圈)本身也在交叉方向上进行位置修正的例子。这是因为，虽然基准位置是经纬度已知的地点，但是为了利用道路网络设定初始轨迹的方便，基准位置也有必要在道路网络数据上临时设定。使基准位置向已知经纬度的位置移动，然后实施特征点寻迹处理，能够得到图示的轨迹。

在本实施例中，以在基准位置上经纬度已知为前提，但是特征点寻迹处理在基准位置的经度和纬度中的任意方不清楚的情况下、即不能够确定交叉方向的位置的情况下也能够使用。在这样的情况下，只要根据例如基准位置上的图像内的特征点的绝对位置确定交叉方向上的摄影位置即可。例如，在基准位置上，拍摄于图像中的道路的宽度的中央点与图像下部的中点一致的情况下，摄影位置则确定为道路的中央。图像下部的中点为以规定比例内分道路宽度的内分点的情况下，确定为摄影位置是以相同的比例内分道路的位置。

在以上说明中，例示了将单一的基准位置作为移动方向和交叉方向两者的基准使用的情况。特征点寻迹处理也可以是移动方向的基准位置与交叉方向的基准位置不同。例如也可以是，移动方向的基准位置如图8所示采用人行横道上的点，同时交叉方向的基准位置采用轨迹Tr横切分区线的地点Fra。地点Fra是分区线来到图像的大约中央的地点。这样，特征点寻迹处理中的基准位置的选择、其坐标的利用可以采用各种方法。在特征点寻迹处理中，可以只采用任意一种单一方法，也可以根据各种条件分开使用多种方法。

D.摄影位置分析处理

图9是摄影位置分析处理的流程图。这是图像数据处理装置200的各功能块(参照图1)协同实现的处理，以硬件方式实施时，是构成图像数据处理装置200的计算机的CPU执行的处理。

该处理一旦开始，CPU就输入图像数据，基准位置信息、车速脉冲(步骤S10)。如图1所示，这些数据是图像数据获取装置100生成的数据，在本实施例中，通过可拆卸硬盘114a输入到图像数据处理装置200。

接着，CPU输入初始轨迹(步骤S20)。在本实施例中，根据用户的选择，输入利用GPS102检测出的经纬度的情况下的初始轨迹(参照图4)、以及利用道路网络数据的初始轨迹(参照图5)中的任一轨迹。当然，也可以只利用任意一方。在利用道路网络数据的情况下，也可以在步骤S20中，根据用户的指令，接受节点、链路的指定，生成初始轨迹。

初始轨迹一旦被输入，CPU就将帧数据配置于该初始轨迹上(步骤S30)。这相当于前面在图3中所示的处理。也就是说，是对输入的各帧数据，用车速脉冲决定沿着初始轨迹的位置的处理。也可以采用通过提取与车速脉冲对应的帧数据，以等间隔距离配置帧数据的处理。

CPU对这些帧数据实施利用仿射变换的畸变修正，然后切出图像的下部实行特征点寻迹处理(步骤S40、S50)。然后，将求得的摄影位置的数据与各帧数据对应存储(步骤S60)。这些相当于用图6说明的处理。

图10是特征点寻迹处理的流程图。这相当于上述图9的步骤S50的处理。在该处理中，CPU输入作为处理对象的切出图像(步骤S51)，确定特征点位置(步骤S52)。特征点位置是相对于切出图像取左右方向、即与车辆移动方向交叉的方向的×轴方向的坐标。

在图中例示了求特征点位置的方法。在该例中，对切出图像的更下部的一定区域Ras进行分析求出特征点位置。在以道路上的分区线位置为特征点的情况下，由于分区线用白线，所以比其他部分明亮。从而，对于区域可以得到x轴方向上如图所示的亮度分布。在其中，求取超过在能够识别白线的范围预先设定的阈值Th的范围D，以该范围D的中央值为特征点位置。

一旦这样求出特征点位置，CPU就计算出偏离瞬间之前的切出图像的特征点位置的偏移量(步骤S53)。所谓瞬间之前是指沿着初始轨迹以时间序列配置的多个帧数据中作为对象的帧数据的瞬间之前配置的数据。例如从拍摄的帧数据中提取与车速脉冲对应的帧数据进行配置的情况下，有时候与所拍摄的帧数据中的瞬间之前的帧数据不同。

CPU反复进行以上处理，直到对全部帧数据完成以上处理为止(步骤S54)，完成特征点寻迹处理。

上述方法只不过是一个例子。特征点除了白线以外，也可以根据建筑物边缘等进行设定。在上述例子中，根据亮度分布求取特征点，但是也可以考虑色调和色度，确定特征点位置。又，作为另一种方法，也可以例如利用图像处理，提取切出图像中的边缘，从其中确定看作分区线的线条，以这样的方法求出特征点位置。

在图10的处理中示出了根据图像的下部的区域Ras求取特征点位置的偏移量的例子。但是也可以对瞬间之前的帧数据，根据切出图像上部的区域，用特征点位置求取偏移量。也就是说，求取瞬间之前的切出图像的上部的特征点位置与作为处理对象的切出图像的下部的特征点位置之间的偏移量。采用这样的方法其优点是能够更高精度地匹配上述2个切出图像。

图11是作为变形例的特征点寻迹处理的流程图。在这一处理中，CPU首先输入连续配置的2个切出图像[1]、[2](步骤S54)。然后，一边使切出图像[1]、[2]的位置相对偏移，一边计算出连接部分的亮度差评价值Ev(步骤S55)。

在图中表示以切出图像Pic[1]、[2]为对象的亮度差评价值Ev的计算方法。情况A～情况D分别表示相对切出图像Pic[1]，使切出图像Pic[2]的交叉方向的相对位置从左向右移动4个阶段的状态。如情况A所示，在该配置中切出图像Pic[1]、[2]连接的区域中，求取×轴方向的坐标相同的像素P×1、P×2的亮度差的绝对值或亮度差的平方值，以该值的×轴方向的总和作为亮度差评价值Ev。

亮度差评价值Ev因切出图像Pic[1]、[2]的相对位置而变化。图右侧表示亮度差评价值Ev的变化。如图所示，切出图像Pic[1]、[2]的图像匹配的情况C中，亮度差评价值Ev为最小。反之，如果求出亮度差评价值Ev为最小的相对位置关系，则能够确定切出图像Pic[1]、[2]的偏移量(步骤S56)。

一旦这样求出偏移量，CPU就一边用切出图像[2]置换切出图像[1]，一边对全部帧数据反复进行处理直到完成。利用变形例的方法也能够实现特征点寻迹处理。又，在该处理中，根据相邻的切出图像之间的亮度差确定偏移量，因此具有可以使图像之间高精度匹配的优点。

E.标识、标示提取处理

图12是标识、标示提取处理的流程图。这是利用图10、9所示的摄影位置分析处理求出的摄影位置数据进行的作为应用的处理。这相当于图1所示的标识、标示提取处理214执行的处理，从硬件上说是图像数据处理装置200的CPU执行的处理。

处理一旦开始，CPU就输入切出图像和摄影位置数据(步骤S70)。切出图像如上所述，经过了仿射变换，成为与从上方对道路进行摄影得到的平面图像相当的状态。

CPU按照摄影位置数据配置各切出图像，将图像加以合成(步骤S71)。该配置意味着将切出图像贴在平面上。图中例示了切出图像的配置方法。假定摄影位置分析处理的结果是，切出图像的摄影位置由x、y坐标确定，车辆的移动轨迹确定为像曲线Pass那样。又，假定切出图像Pic的重心位置为Ps，交叉方向和移动方向的坐标轴为Lx、Ly。这时，切出图像Pic使重心Ps与上述摄影位置一致，图像的坐标轴Ly配置于与移动轨迹Pass相切的方向。

在图的下方，表示出用上述方法连续配置图像的例子。在左侧表示出在x-y平面上二维地配置切出图像的状态。切出图像就这样沿着移动轨迹一边平滑地改变方向一边配置，能够得到航空照片那样的平面合成图像。该合成图像在本实施例中采用在路面附近拍摄的图像，因此能够得到航空照片的数倍的分辨率。

图的右侧表示沿着伴有高度方向(z方向)的变化的移动轨迹配置图像的例子。这样的移动轨迹可以通过对例如用道路网络数据的高度信息设定的初始轨迹使用特征点寻迹处理(参照图10、9)取得。通过这样使用高度信息，对通往高速公路的斜坡等上坡道路也能够得到合成图像，而且由于使用一边在路面上行驶一边摄影得到的图像，因此对于像穿过高架下的道路那样的航空摄影拍摄不到的部分，也能够得到平面的合成图像。

CPU通过读入预先准备的标识、标示图案数据(步骤S72)、合成图像的图像处理，确定对这些图案数据合适的部位，以此确定标识、标示的位置(步骤S73)。并且能够确定标识、标示的形状。标识、标示图案数据包含例如表示左右转向限制的箭头等的在道路上描画的标示、信号灯和道路标识等。CPU借助于图像处理，从合成图像中提取出与该标示对应的形状，确定其位置。又，在作为图案数据准备的形状与合成图像包含的标示不同的情况下，进行将图案数据在横向或纵向上以任意比例放大、缩小之类的处理，确定标识、标示的形状。对于道路标识等的处理也相同。

F.处理例

图13和图14是表示图像数据的处理例的说明图。图13所示的图像Porg是用摄像机拍摄的车辆的正面图像。将该图像下部切出得到的切出图像为图像Pco。该图表示实施仿射变换之前的状态。

图14的下部的图像E×1是切出图像的例子。一旦对该切出图像E×1实施仿射变换，就可以得到在图像E×2的下方以四角框包围的部分的图像。对于其他帧数据也同样准备切出图像，一旦在实施仿射变换的基础上沿着初始轨迹配置，就得到图像E×2。也就是说，图像E×2相当于实施摄影位置分析处理(图9)的步骤S30的状态的图像，但是，图像E×2是为了说明处理内容的方便而表示出的图像，在实际处理中，没有必要生成这样将各帧数据配置、合成的合成图像。

图像E×2由于没有修正与移动方向交叉的方向上的位置，存在着路面的标示不连续的不整齐的地方。从中可以了解，例如表示直进、左转车道的标示Mk在帧数据的边界SL向图中的左右方向偏移。图像E×2中，在标示Mk上附加修边，以使偏移容易认识。

图像E×3表示利用特征点寻迹处理修正交叉方向上的偏移的状态。因为是求出各帧数据的摄影位置后的合成图像，这相当于标识、标示提取处理(图12)的步骤S71的状态。从图中可知，道路标示的偏差已经消除。通过利用该图像，能够求出例如道路上的表示左转、直进车道的标示和人行横道等的位置。而且图例中虽然因车辆的关系，左转、直进车道的标示的一部分已经消失，但是利用图案数据能够再现标示的形状。

如果采用以上说明的本实施例的图像数据处理系统，则利用特征点寻迹处理能够高精度求出与移动方向交叉的方向上的摄影位置。而且利用车速脉冲那样的表示摄影时的移动距离的信息，也能够提高移动方向上的位置精度。其结果是，能够以良好的精度确定各帧数据的摄影位置，如图14所示，能够得到高分辨率的合成图像。

通过利用这样的合成图像，只要车辆一边行走一边用摄像机拍摄，不需要特别测量，就能够确定路面的道路标示和路边的标识的形状以及位置。从而能够大大减少生成能够正确再现路面的情况的三维地图数据所需要的负担。这不过是求出各帧数据的摄影位置后的应用的一个例子，被赋子摄影位置的帧数据可以使用于建筑物的高度推定等的各种用途。

G1.变形例～帧数据配置方法：

图15是表示作为变形例的帧数据配置方法的说明图。这相当于摄影位置分析处理(图9)的步骤S30的处理的变形例。例示了与实施例一样，将一边从箭头Ar1向Ar2的方向移动一边拍摄的帧数据配置于用链路L1、L2设定的初始轨迹上的例子。

在变形例中，将基准位置(图中的双重圆圈)作为始点，在摄影时与时间序列相反地配置帧。例如在链路L1上，以基准位置为始点，在逆行与车速脉冲对应的距离的位置上，即向图中的箭头DL方向移动的位置上，依序配置帧数据。其结果是，在链路L1上，靠近基准位置的区域E1比远离基准位置的区域E2，其帧图像的位置精度更高。从而，如果利用这样的配置进行摄影位置的分析和图像的合成、标识、标示提取处理(参照图12～12)，则图像的精度、所提取的标识等的位置精度越靠近基准位置越高。这样生成的数据可以使用于例如车辆上搭载的导航系统的导向图像，从图15中的箭头Ar1向Ar2移动时，能够以越接近与节点N1对应的交叉点越是高精度，正确且顺利地进行车辆导向。进而也能够实现车辆的自动运行控制。

作为上述形态的又一变形例，也可以以基准位置为始点，在移动方向和相反方向两个方向上依序配置帧数据。也就是说，也可以将变形例(图15)说明的配置方法与实施例(图5)说明的配置方法组合使用。这样做，具有能够使全部帧数据的位置精度提高的优点。

在处理拍摄设有对置的多条通行带的道路得到的图像的情况下，以基准位置为始点，与时间序列相反顺序地配置帧图像等的形态，对于只拍摄单侧通行带(通常是在摄影时移动的通行带)的图像是有用的。另一方面，对于拍摄两侧的通行带的图像，以基准位置为始点，在移动方向及其反方向的两个方向上依序配置帧数据的方法是有用的。

G2.变形例～侧面图像的利用：

在实施例中，例示了以人行横道作为基准位置使用的例子(参照图6)。为了提高分析精度，最好是并用各种各样的基准位置。因为例如在人行横道模糊到不能够作为基准位置使用的程度的情况下、或被其他车辆等遮住不能够拍摄的情况下，也能够利用其他基准位置。在变形例中，作为这样的基准位置的一个例子，例示了利用侧面用的摄像机122R、122L(参照图2)拍摄的图像上显现的建筑物的例子。

图16是表示利用侧面图像求取基准位置的方法的说明图。在图的上方放大表示出二维地图的一部分。假定通过图中的道路从P1点到P2点一边移动一边拍摄侧面图像。假定在该道路上有大楼BLD1～BLD3。大楼BLD1～BLD3的位置坐标(纬度、经度)为已知。

考虑在P1点以实线表示的视角A1拍摄大楼的情况。如图的下方所示，在该时刻的图像PIC1中拍摄了大楼BLD1、BLD2。当移动到P2点时，则以虚线表示的视角拍摄大楼。将在P1点、P2点分别拍摄的图像加以比较，发现大楼BLD1的角CNR的位置相对移动。将P1点与角CNR的连线与视角的端线的夹角记为角度A2时，在P1点的时刻，与角CNR对应的边缘EDG1拍摄在以A2/A1内分画面PIC1的宽度SC的点上。在P2点的时刻，由于角度A2变大，边缘EDG1的位置向图中的右边移动。将该移动距离记为MB。从P1点到P2点的移动距离MA为已知。从而，可以根据移动距离MA、MB以及视角A1，以几何学方法决定从摄影位置到角CNR的距离DIST。同样的处理也可以对大楼BLD1的另一边缘BDG2进行。而且如果求距离DIST，可以根据视角A1，确定边缘EDG1、EDG2之间的实际距离、即大楼BLD1的宽度。

上面对假定拍摄的建筑物为大楼BLD1的情况进行说明，但是上述运算在不确定拍摄了哪一栋建筑物的状态下也能够顺利进行。变形例的图像数据处理装置200根据上述运算结果检索拍摄在图像PIC1上的建筑物。在变形例中，也能够在规定的误差范围内确定P1点和P2点的位置。从而，能够以P1点为基准在规定的误差范围内求取处在距离DIST的位置上的建筑物的位置坐标。又，通过参照地图数据库，能够在用上述方法求得的位置坐标的附近，确定具有相当于从边缘EDG1、EDG2求出的值的宽度的建筑物、即拍摄于图像PIC1中的建筑物，确定其坐标。从地图数据库得到的坐标与运算求出的坐标的误差是P1点的位置误差。从而，通过反映该误差，能够修正P1点的位置坐标。这样修正过的摄影位置可以作为基准位置使用。

在上述处理中，建筑物的边缘EDG1、EDG2也可以利用图像处理自动确定，但是在变形例中，为了能够高精度地确定，操作者一边观看图像一边利用鼠标器等指示装置拖曳边缘EDG1、EDG2加以指定。

图17是变形例的基准位置计算处理的流程图。这是图像数据处理装置200按照图16中说明的方法求取基准位置的处理。图像数据处理装置200首先输入多个对象帧、作为分析对象的对象大楼、以及其边缘的指定(步骤S200)。又输入指定的对象帧的摄影位置、即GPS检测出的位置坐标(步骤S202)。

接着，图像数据处理装置200计算对象帧之间的边缘的移动距离MB和摄影位置的移动距离MA(参照图16)(步骤S204)。然后根据移动距离MA、MB计算摄影位置与对象大楼之间的距离DIST以及对象大楼的宽度(步骤S206)。图像数据处理装置200参照网络数据库220(参照图1)，将对摄影位置(GPS输出)、距离DIST、对象大楼的宽度合适的大楼确定为对象大楼(步骤S208)。

当这样确定对象大楼，就能够从网络数据库220得到对象大楼的坐标。从而，图像数据处理装置200以对象大楼的位置为基准，根据距离DIST以及摄影图像内的边缘的位置确定摄影位置(步骤S210)。这相当于将运算得到的对象大楼的位置坐标与从网络数据库220得到的位置坐标的误差反映于作为GPS输出的摄影位置上以修正摄影位置的误差的处理。图像数据处理装置200将这样确定的摄影位置作为基准位置设定(步骤S211)，结束基准位置计算处理。如果采用以上说明的变形例的处理，即使是不能够把人行横道作为基准位置利用的情况下，也能够根据建筑物位置消除摄影位置的误差，因此能够提高各帧的摄影位置的分析精度。

G3.变形例～经时变化的确定：

上述实施例和变形例中说明的移动图像的摄影不仅是新生成三维地图数据时进行，而且也有作为已经生成三维地图数据的地域的维修保养进行的情况。在这种情况下，所拍摄的移动图像可以采用于通过与已经准备好的三维地图数据进行比较，进行是否有新建筑物、有无拆毁、改建等经时变化的判断。下面例示这种经时变化的判定。

图18是经时变化判定处理的流程图。在该处理中，图像数据处理装置200首先读入多个对象帧和摄影位置(步骤S150)。在该处理中，利用侧面图像进行处理。摄影位置使用GPS的输出结果。

图像数据处理装置200又利用已有的3D图形数据、即用于生成三维地图数据的建筑物等的三维数据，生成从摄影位置观察这些建筑物的图像，以此生成对应于对象帧的二维图像(步骤S152)。然后，通过将这样生成的二维图像与对象帧进行匹配，判定两者是否有不一致(步骤S154)。图像之间的匹配采用模板匹配、DP匹配、固有空间法等众所周知的方法即可。判定是否有不一致的基准值只要在能够检测出二维图像与对象帧之间的不一致中有否相当于建筑物的新建、拆毁等的大的不一致的范围中进行设定即可。

图像数据处理装置200在匹配结果为不一致的情况下(步骤S156)，将对象帧使用于先前用图17说明的基准位置计算处理(步骤S200)。这是因为采用判定为没有发生经时变化的建筑物的摄影图像，能够高精度且稳定地进行基准位置计算处理。基准位置计算处理并非必须，省略也无妨。匹配的结果存在不一致的情况下(步骤S156)，图像数据处理装置200进行根据对象帧图像更新三维图形数据的处理(步骤S158)。在建筑物为新建筑或改建的情况下，该处理中包含自动或通过操作者的操作从对象帧图像切出新建筑物或改建的建筑物的结构的处理。在建筑物被拆毁的情况下，包含从已有的图形数据中删除相应的建筑物的数据的处理。不管在哪一种情况下，都不必以全自动方式处理，也可以根据操作者的操作进行处理。如果利用以上说明的经时变化判定处理，则能够容易地判断已有的3D图形数据有无经时变化，能够减轻维修保养的负担。

G4.变形例～导向板的位置坐标分析：

图19是导向板位置坐标分析处理的流程图。这是从拍摄的图像确定设置在街道上的导向板的位置坐标用的处理。位置坐标的确定采用图16说明的原理、即以摄影位置为基准计算建筑物的位置坐标的方法。

图像数据处理装置200读入分析中使用的多个对象帧和各帧的摄影位置(步骤S300)。对象帧采用拍摄导向板得到的侧面图像，摄影位置采用GPS的输出结果或实施例的处理结果。

接着，图像数据处理装置200从对象帧中输入导向板的支柱位置的指定(步骤S302)。在这里，采用在如图所示拍摄了导向板SP的图像中，由操作者用指示装置将线PSP拖曳至支柱位置上以进行指定的方法。也可以利用图像分析自动确定支柱位置。

图像数据处理装置200根据由各帧指定的支柱位置和摄影位置，按照图16说明的原理计算出支柱的位置坐标(步骤S304)。然后输出这样得到的位置坐标(步骤S306)，结束导向板位置坐标的分析处理。也可以参照网络数据库确认所计算出的位置坐标不是异常值。例如在计算出的位置坐标为道路或人行道的中央的情况下，可以判断为异常结果。

如果采用以上所述的处理，可以比较容易地在将导向板设置于适当位置的状态下生成三维地图数据。导向板通常不能够从网络数据库等已有的数据中得到位置坐标。可以说导向板通常是设置于交叉点附近，可是在设置于与现实的位置很不同的场所的状态下生成的三维地图数据，有时候反而可能给使用者造成混乱。如果使用上述处理，只要对导向板的移动图像进行拍摄，就能够对位置进行分析，因此可以避免测量导向板的位置坐标那样的麻烦，具有能够提供回避上述存在问题，符合现实状态的三维地图数据的优点。

以上对本发明的各种实施例进行了说明，但是本发明不限于这些实施例，在不脱离本发明的主旨的范围内，当然本发明也可以采取各种结构。例如在实施例中，根据道路的分区线实施特征点寻迹处理。特征点寻迹处理可以用拍摄在多个帧中的各种对象进行。也可以使用例如导轨、路旁的建筑物等。

在实施例中，用车速脉冲确定移动方向的位置，但是在该处理中也可以利用车速脉冲以外的信息。只要是提供车辆的移动距离与时刻的关系的信息，可以采用各种信息。例如也可以用道路上用虚线描画的分区线的通过条数、导轨的支柱的数目等来代替车速脉冲使用。

工业应用性

本发明可以使用于对一边移动一边拍摄的移动图像等由多帧构成的图像分析各帧的摄影位置。

Claims (14)

1.一种摄影位置分析装置，是对于图像分析各帧的摄影位置的摄影位置分析装置，其中，所述图像由以与地表面相对的姿势角大致保持一定的状态下一边移动一边在已知的时刻拍摄下来的多帧构成，所述各帧中包含与前后至少一方紧接着的帧共同拍摄下来的规定的连续体，其特征在于，具备

输入部，输入所述由多帧构成的图像数据；

初始轨迹输入部，输入所述移动的初始轨迹作为所述分析的初始值；以及

摄影位置分析部，根据所述摄影的时刻，沿着所述初始轨迹的移动方向，暂时设定所述各帧的摄影位置，同时对所述规定的连续体，根据跨所述多帧拍摄的图像之间的偏移，在所述初始轨迹的移动交叉方向上修正所述暂时设定的摄影位置，以分析所述各帧的摄影位置。

2.根据权利要求1所述的摄影位置分析装置，其特征在于，

所述图像是所述移动方向的正面或背后的图像，

所述输入部输入所述图像的下部的一部分。

3.根据权利要求1所述的摄影位置分析装置，其特征在于，

所述图像是一边在道路上移动一边拍摄的图像，

所述连续体是道路通行带的分区线。

4.根据权利要求1所述的摄影位置分析装置，其特征在于，

所述输入部沿着所述移动方向输入表示所述摄影时的时刻与沿着所述移动方向的移动距离之间的关系的移动距离信息，

所述摄影位置分析部根据所述移动距离信息暂时设定沿着所述移动方向的所述各帧的摄影位置。

5.根据权利要求1所述的摄影位置分析装置，其特征在于，

所述输入部沿着所述移动方向输入表示所述摄影时的时刻与沿着所述移动方向的移动距离之间的关系的移动距离信息，

所述摄影位置分析部根据所述移动距离信息提取每隔规定的移动距离所拍摄的帧以进行所述分析。

6.根据权利要求4所述的摄影位置分析装置，其特征在于，

所述图像是由车辆上搭载的摄影装置所拍摄的图像，

所述移动距离信息是所述车辆的车速脉冲。

7.根据权利要求1所述的摄影位置分析装置，其特征在于，

所述输入部还与所述图像数据保持对应地输入表示进行所述摄影时到达已知的基准位置的时刻的基准位置信息，

所述摄影位置分析部在进行所述分析的过程中至少对沿着所述移动方向的位置进行基于所述基准位置信息的初始化。

8.根据权利要求1所述的摄影位置分析装置，其特征在于，

所述图像数据还包含在所述移动交叉方向拍摄的多帧的横向图像数据，

具有参照记录所述横向图像数据的被拍摄物体的位置坐标的地图数据的地图数据参照部、以及

根据所述多帧的横向图像数据计算出表示所述被拍摄物体的位置的被拍摄物体坐标的坐标计算部，

所述摄影位置分析部在进行分析的过程中至少对沿着所述移动方向的位置，进行以所述地图数据中记录的位置坐标和所述被拍摄物体的坐标为依据的初始化。

9.根据权利要求1所述的摄影位置分析装置，其特征在于，

具有参照以节点、链路表示道路的道路网络数据的网络数据参照部，

所述初始轨迹输入部根据所述道路网络数据设定所述初始轨迹。

10.根据权利要求1所述的摄影位置分析装置，其特征在于，

所述初始轨迹输入部输入在规定的误差范围内至少2维地检测拍摄所述图像时的移动轨迹的位置检测传感器的输出，设定所述初始轨迹。

11.根据权利要求1所述的摄影位置分析装置，其特征在于，

具有在进行所述摄影位置的分析之前，将所述图像数据变换为从正面拍摄所述连续体的状态下的图像的图像变换处理部，

所述图像变换处理部将所述图像数据分配到多个区域，在各区域以不同的变换系数进行所述变换，

所述多个区域和所述变换系数设定为能够从拍摄已知形状的网状体得到的图像数据得到该网状体的正视图像。

12.一种摄影位置分析方法，是对于图像分析各帧的摄影位置的摄影位置分析方法，其中，所述图像由以与地表面相对的姿势角大致保持一定的状态下一边移动一边在已知的时刻拍摄下来的多帧构成，所述各帧中包含与前后至少一方紧接着的帧共同拍摄下来的规定的连续体，其特征在于，作为计算机执行的工序，具备

输入所述由多帧构成的图像数据的输入工序、

输入所述移动的初始轨迹作为所述分析的初始值的初始轨迹输入工序、以及

根据所述摄影的时刻，沿着所述初始轨迹的移动方向，暂时设定所述各帧的摄影位置，同时对所述规定的连续体，根据跨所述多帧所拍摄的图像之间的偏移，在所述初始轨迹的移动交叉方向上修正所述暂时设定的摄影位置，以分析所述各帧的摄影位置的摄影位置分析工序。

13.一种记录媒体，是记录了用于对图像分析各帧的摄影位置的计算机程序的记录媒体，其中，所述图像由以与地表面相对的姿势角大致保持一定的状态下一边移动一边在已知的时刻拍摄下来的多帧构成，所述各帧中包含与前后至少一方紧接着的帧共同拍摄下来的规定的连续体，其特征在于，记录有

输入所述由多帧构成的图像数据的输入程序代码、

输入所述移动的初始轨迹作为所述分析的初始值的初始轨迹输入程序代码、以及

根据所述摄影的时刻，沿着所述初始轨迹的移动方向，暂时设定所述各帧的摄影位置，同时对所述规定的连续体，根据跨所述多帧拍摄的图像之间的偏移，在所述初始轨迹的移动交叉方向上修正所述暂时设定的摄影位置，以分析所述各帧的摄影位置的摄影位置分析程序代码。

14.一种图像数据获取装置，是根据由多帧构成的图像数据，生成要输入到对各帧的摄影位置进行分析的摄影位置分析装置的图像数据的图像数据获取装置，其特征在于，具有

在地表面上移动的车辆、

以相对的姿势角大致保持一定的状态安装于所述车辆上，在已知的时刻拍摄由多帧构成的图像的摄影装置、以及

与进行所述拍摄时的时刻相关地记录表示所述车辆移动规定的距离的移动距离信息的移动距离信息记录部。

Images