CN1979087B - 图像处理装置及其方法 - Google Patents

图像处理装置及其方法 Download PDF

Info

Publication number
CN1979087B
CN1979087B CN2006101659990A CN200610165999A CN1979087B CN 1979087 B CN1979087 B CN 1979087B CN 2006101659990 A CN2006101659990 A CN 2006101659990A CN 200610165999 A CN200610165999 A CN 200610165999A CN 1979087 B CN1979087 B CN 1979087B
Authority
CN
China
Prior art keywords
point
photographs
corresponding point
candidate corresponding
unique point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006101659990A
Other languages
English (en)
Other versions
CN1979087A (zh
Inventor
穴井哲治
高地伸夫
大谷仁志
佐藤宏一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Publication of CN1979087A publication Critical patent/CN1979087A/zh
Application granted granted Critical
Publication of CN1979087B publication Critical patent/CN1979087B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明在需要进行摄影装置的摇动处理及消失和再现的特征点的处理的情况下，可以从动态图像或顺序地一点一点变化的摄影图像，高精度地测试该摄影装置的摄影位置、姿势或对象物的坐标。本发明的图像处理装置(100)，具有：摄影图像获取部(2)，对于相对移动的对象物，依次获取一点一点变化的摄影图像；特征抽取部(3)，从通过摄影图像获取部(2)得到的摄影图像中抽取特征点；特征点跟踪部(4)，对于在被抽取了所述特征点的摄影图像之前或之后获取的多个摄影图像，搜索对应所述特征点的候补对应点，进行所述特征点的跟踪；处理部(5)，对于所述候补对应点，根据跟踪结果确定对应点，使用所确定的对应点计算摄影位置或对象物的坐标。

Description

图像处理装置及其方法
技术领域
本发明涉及一种图像处理装置及其方法。具体讲涉及跟踪摄影装置相对于对象物相对移动时的动态图像，并测定摄影装置或对象物的坐标的图像处理装置及其方法。
背景技术
已经存在一面进行相对移动一面连续拍摄对象物并测定摄影装置的位置的技术。但是，实际上将摄影装置搭载于汽车等移动体上进行拍摄时，由于汽车的摇动，未必能够获得稳定的图像，需要对每帧进行上下移动、倾斜校正等，并且有时在摄影装置和对象物之间例如进入其他汽车、飞鸟、落叶等，使得特征点被其阴影遮挡或消失并且再次恢复。因此，需要进行这种摄影装置的摇动处理及消失和再现的特征点的处理。另一方面，在利用静止的摄影装置拍摄静止的对象物时，具有高精度地自动进行对应点探测、测试的三维测试技术(参照专利文献1)。
专利文献1日本专利特开2002-64094号公报(第0018～0073段落，图1～图11等)
因此，在将上述利用静止的摄影装置拍摄静止的对象物的技术扩展适用于其中任一方移动，在需要进行这种摄影装置的摇动处理及消失和再现的特征点的处理的情况下，需要提供以下技术，能够从动态图像或顺序地一点一点变化的摄影图像，高精度地测试该摄影装置的摄影位置、姿势或对象物的坐标。
发明内容
本发明的目的在于提供一种技术，在需要进行摄影装置的摇动处理及消失和再现的特征点的处理的情况下，可以从动态图像或顺序地一点一点变化的摄影图像，高精度地测试该摄影装置的摄影位置、姿势或对象物的坐标。
为了解决上述问题，本发明的方式(1)的图像处理装置100，例如图2所示，具有：摄影图像获取部2，对于相对移动的对象物，依次获取一点一点变化的摄影图像；特征抽取部3，从通过摄影图像获取部2得到的摄影图像中抽取特征点；特征点跟踪部4，对于在被抽取了所述特征点的摄影图像之前或之后获取的多个摄影图像，搜索对应所述特征点的候补对应点，进行所述特征点的跟踪；处理部5，对于所述候补对应点，根据跟踪结果确定对应点，使用所确定的对应点计算摄影位置或对象物的坐标。
其中，所谓一点一点变化的摄影图像指在时间上或空间上顺序地一点一点变化的摄影图像，意味着对象物的图像的大部分相同。更加具体地讲，指至少包括4个相同特征点而变化的摄影图像。优选相同特征点的数量尽可能多。可以是利用摄像机连续拍摄的动态图像，也可以利用单体照相机一点一点地改变时间或场所依次进行拍摄，还可以全部获取顺序拍摄的帧，也可以隔几个帧获取图像。虽然在典型的对象物或摄影装置任一方移动、另一方静止的状态下拍摄，但只要是在两者相对移动的状态下拍摄即可。并且，所谓特征点的跟踪指从特征点开始依次搜索对应的候补对应点、对应点，但从广义上讲可以指综合了候补对应点及对应点的特征点，所以作为这种表述，有时从这种广义意义上讲也使用特征点。并且，所谓候补对应点指被确定之前的对应点。另外，所谓摄影位置指典型的摄像透镜的位置坐标，所谓对象物坐标指典型的赋予给对象物的各个特征点的坐标或对象物重心的位置坐标。如果形成这种结构，可以提供一种图像处理装置，在需要进行摄影装置的摇动处理及消失和再现的特征点的处理的情况下，也可以从动态图像或顺序地一点一点变化的摄影图像，高精度地测试该摄影装置的摄影位置、姿势或对象物的坐标。
并且，本发明的方式(2)涉及的发明，在方式(1)的图像处理装置中，作为跟踪结果，使用从使用了依次获取的摄影图像中的两个摄影图像的投影转换求出的画面相对移动量、或者两个摄影图像之间的特征点的移动向量、或者将画面相对移动量或移动向量依次连接后的移动轨迹。
其中，所谓画面相对移动量指在摄影装置和摄影对象(包括特征点)之间的画面上的相对移动量，所谓移动向量指二维摄影图像上的各个特征点的相对移动向量。该移动向量优选使用通过投影转换修正摄影装置的摇动后的向量，但也包括使用未修正的向量的情况。并且，作为两个摄影图像使用典型的相邻图像，但不限于此，也可以使用隔开数帧的图像。如果形成这种结构，可以使用画面相对移动量、移动向量或者它们的移动轨迹，高精度地选择作为对应点不适应的候补对应点。
并且，本发明的方式(3)涉及的发明，在方式(2)的图像处理装置中，特征点跟踪部对于被抽取了特征点的摄影图像、和在其之前或之后依次获取的多个摄影图像，搜索对应特征点的候补对应点，根据所搜索的候补对应点和特征点的位置关系形成移动向量，根据移动向量和画面相对移动量，选择被判断为对应特征点的可能性较大的候补对应点，对于在其之前或之后依次获取的多个摄影图像，搜索特征点和对应于对应点的候补对应点，顺序重复移动向量的形成、候补对应点的选择、候补对应点的搜索。
如果形成这种结构，可以使用特征点的跟踪结果提高候补对应点的可靠性。
并且，本发明的方式(4)涉及的发明，在方式(2)的图像处理装置中，特征点跟踪部4根据相邻的摄影图像之间的各个特征点的跟踪结果，求出各个特征点的移动向量和画面相对移动量，将各个特征点的移动向量与从画面相对移动量推测的各个特征点的推测位置比较，将差异较大的作为不良点排除。
如果形成这种结构，可以容易且高精度地去除作为对应点不适应的候补对应点。
并且，本发明的方式(5)涉及的发明，在方式(1)的图像处理装置中，处理部5检测特征点或对应点的消失，在产生了规定数量以上的消失、规定范围以上的空白区域的情况下，指示特征抽取部3重新设定特征点。
其中，规定数量、规定范围例如可以在画面上显示的特征点的1/4、画面的1/4等能够充分进行模板匹配等的范围内，确定适当的值。如果形成这种结构，可以经常保持画面上的特征点为合适数量。
并且，本发明的方式(6)涉及的发明，在方式(2)的图像处理装置中，处理部5对于第1摄影图像的各个特征点，使用将画面相对移动量或所述移动向量顺序连接后的移动轨迹，生成隔开规定量(时间、位置)获取的第2摄影图像涉及的推测图像，比较第2摄影图像和其涉及的推测图像，从候补对应点中确定对应点，使用所确定的对应点计算摄影位置或对象物的坐标。
其中，规定量(时间、位置)根据所获取的摄影图像的变化程度而变化，所以决定用于确定对应点的充足的实效量即可。并且，规定量不限于一个值，指具有合适范围的值。如果形成这种结构，可以使用推测图像选择具有可靠性的对应点。
并且，本发明的方式(7)涉及的发明，在方式(6)的图像处理装置中，第1摄影图像是在第2摄影图像之前或之后、或者在其前方或后方摄影的图像，移动轨迹用于使时间或位置跟随行进方向或逆行方向。
如果形成这种结构，可以进行顺时针、逆时针任一方向的推测。
并且，本发明的方式(8)涉及的发明，在方式(6)的图像处理装置中，特征点跟踪部4对于暂且被从候补对应点中除外、但被推测为在其前或其后获取的摄影图像中再现的候补对应点，把在其前或其后获取的摄影图像作为第2摄影图像，比较第2摄影图像和其涉及的推测图像，使被判断为作为候补对应点的可能性较大的候补对应点再次恢复为候补对应点。
如果形成这种结构，可以实现候补对应点的恢复。
并且，本发明的方式(9)涉及的发明，在方式(4)的图像处理装置中，处理部5调整相邻图像的获取，以使相邻图像之间或者所述第1图像和所述第2图像之间的画面相对移动量成为规定量。
其中，规定量与方式(6)的情况相同。如果形成这种结构，可以经常长期地进行视野的移动向量的比较。
并且，本发明的方式(10)涉及的发明，在方式(4)的图像处理装置中，处理部5进行调整以使相邻图像之间或者所述第1图像和所述第2图像之间的像素偏移达到规定数量。
其中，规定数量根据所获取的摄影图像的变化程度而变化，所以根据经验决定用于确定对应点的充足的有效量即可。并且，规定数量不限于一个值，指具有合适范围的值。如果形成这种结构，可以容易抽取特征点或候补对应点。
并且，本发明的方式(11)涉及的发明，在方式(6)的图像处理装置中，具有图像选择部，根据通过摄影图像获取部2得到的摄影图像之间的重合率、基线长度、移动向量中的任一方，选择第2图像。
如果形成这种结构，可以稳定选择比较图像。
并且，本发明的方式(12)的图像处理方法，包括：摄影图像获取步骤，对于相对移动的对象物，依次获取一点一点变化的摄影图像；特征抽取步骤，从通过摄影图像获取部得到的摄影图像中抽取特征点；特征点跟踪步骤，对于在被抽取了所述特征点的摄影图像之前或之后获取的多个摄影图像，搜索对应特征点的候补对应点，进行特征点的跟踪；计算处理步骤，对于候补对应点，根据跟踪结果确定对应点，使用所确定的对应点计算摄影位置或对象物的坐标。
如果形成这种结构，可以提供一种图像处理方法，在需要进行摄影装置的摇动处理及消失和再现的特征点的处理的情况下，可以从动态图像或顺序地一点一点变化的摄影图像，高精度地测试该摄影装置的摄影位置、姿势或对象物的坐标。
根据本发明，可以提供一种技术，在需要进行摄影装置的摇动处理及消失和再现的特征点的处理的情况下，可以从动态图像或顺序地一点一点变化的摄影图像，高精度地测试该摄影装置的摄影位置、姿势或对象物的坐标。
本申请以在日本国于2005年12月8日提交的专利申请特愿2005-355470号为基础，其内容形成本申请的内容的一部分。
并且，本申请根据以下的具体说明可以更加彻底地理解其内容。本申请的应用范围根据以下的具体说明将更加清楚。但是，具体说明和特定的示例只是本发明的优选实施方式，只是基于说明的目的而记载的。对本行业人员而言，当然可以根据该具体说明在本发明的精神和范围内进行各种变更、修改。申请人没有将所记载的实施方式都呈献给公众的打算，所公开的修改、替代方案中在语言上也许未包含于权利要求书中，但根据等同原则视为发明的一部分。
在本说明书或权利要求书的记载中，名词和相同指示代词的使用只要没有特别指示、或者没有通过语句明确否定，则应该解释为包括单数和复数双方。在本说明书中提供的任何示例或示例性用语(例如“等”)的使用，只不过是单纯地用来容易说明本说明，只要权利要求书中没有特别记载，则不能对本发明的范围附加限制。
附图说明
图1是说明本发明的概念的图。
图2是表示第1实施方式的图像处理装置的结构示例的方框图。
图3是表示第1实施方式的图像处理方法的流程示例的图。
图4是表示动态图像分析中的实时处理的流程示例的图。
图5是表示对应点匹配的示例图。
图6是表示重新设定特征点的示例图。
图7是说明动态图像分析中长期的向量合格与否的判断程序的图。
图8是说明标定的图。
图9是表示三维测试的结果的图。
图10是说明推测图像的图。
图11是表示边缘抽取处理的示例图。
具体实施方式
以下，根据附图说明本发明的实施方式。
[第1实施方式]
图1是说明本实施方式的概念的图，表示以下示例，将摄像机安装在汽车上，一点一点地改变汽车的位置，拍摄对象物即市区街道，从这些多个摄影图像的跟踪结果，求出摄像机的位置坐标即汽车的轨迹。由此，可以在汽车导航器上连续显示汽车的位置，对在不能接收GPS电波的区间进行插补具有重大使用意义。关于动态的特征点和摇动较大的特征点，由于不适合求出摄像机的位置坐标，所以去除。
图2表示本实施方式的图像处理装置100的结构示例。在图中，1表示控制图像处理装置100的各部分，并作为图像处理装置发挥作用的操作部，具体地讲，进行针对摄影图像获取部2的摄影开始和停止指示、针对特征抽取部3的设定变更指示、针对特征点跟踪部4的设定变更、开始、停止的指示，针对处理部5的判断开始指示、标定执行指示等。
2表示依次获取动态图像等摄影图像的摄影图像获取部，除获取摄影图像外，还进行对特征抽取部3的输出、对动态图像存储器10的摄影图像的保存等。另外，也可以不进行摄影图像的摄影，而通过通信从其他摄影装置获取摄影图像。
3表示从依次获取的一点一点变化的摄影图像中抽取特征点的特征抽取部，进行对从摄影图像获取部2输入的摄影图像的特征点抽取、所抽取的特征点向特征点跟踪部4和处理部5的输出等。
4表示搜索对应从特征抽取部3输入的特征点的候补对应点，并进行特征点的跟踪的特征点跟踪部，除跟踪处理外，还进行跟踪结果向处理部5的输出、处理部5的执行开始指示、候补对应点的配置判断、和针对特征抽取部3的特征点重新设定指示等。
5表示处理部，具有长期判断处理部6和标定处理/三维测试部7。长期判断处理部6根据特征点跟踪部4的跟踪结果确定对应点，还根据跟踪结果进行对应点的消失、恢复。长期判断处理部6还执行针对从特征抽取部3输入的初始帧的特征点的推测位置计算处理，针对从特征点跟踪部4输入的当前帧的候补对应点的合格与否判断处理、对应点恢复处理，这些处理在特征点跟踪部4中的体现，候补对应点的信息在对应点信息存储器9中的记录等。标定处理/三维测试部7使用所确定的对应点，执行标定计算、三维测试，此外还执行从动态图像存储器10获取摄影图像，从对应点信息存储器9获取候补对应点信息，标定结果和三维测试结果向显示部8的输出及在对应点信息存储器9中的体现，标定结果和三维测试结果向外部的输出等。
8表示显示部，立体显示通过处理部进行了标定处理和三维测试后的对象物的图像，9表示存储特征点和与其对应点(包括候补对应点)相关的信息的对应点信息存储器，10表示存储摄影图像的动态图像存储器。
图3表示第1实施方式的图像处理方法的流程示例。首先，通过动态图像分析，分析图像上的特征点的移动(S10)。在动态图像分析中，进行图像获取、特征抽取、跟踪、特征点的相对应。一点一点地改变汽车等移动体的位置并摄影对象物，对相邻的各个图像自动地依次进行特征点的相对应，抽取候补对应点。另外，通过继续跟踪，确定对应点。然后，进行错误对应点的去除(S20)，之后进行具有充足的基线长度的立体图像对(pair)的确定，并且进行相互标定和基于束(bundle)调整的自动标定(S30)，求出摄像机的位置坐标、状态、三维坐标(S40)。
[动态图像分析]
图4表示动态图像分析的流程示例。此处表示实时处理的流程示例，图7表示其整体流程。动态图像分析依次处理动态图像和一点一点变化的摄影图像。首先，在摄影图像获取部2获取摄影图像。可以利用自己的摄影装置拍摄获取图像，也可以通过通信线路获取由其他摄影装置拍摄的图像。操作部1依次把从摄影图像一点一点变化的摄影图像提供给特征抽取部3。在本实施方式中，把摄影装置安装在汽车上移动着进行摄影，所以所谓一点一点变化的摄影图像指在时间或空间上一点一点变化的摄影图像，意味着对象物的图像的大部分相同。利用特征抽取部3从各个摄影图像抽取特征点(S11)。并且，进行噪声去除、特征点的选点。
然后，利用特征点跟踪部4对通过特征抽取处理选点的各个特征点进行跟踪处理(S12)。即，求出对应特征点的候补对应点，求出特征点的移动向量和画面相对移动量，另外连接它们求出移动轨迹。所谓画面相对移动量指在摄影装置和摄影对象(包括特征点)之间的画面上的相对移动量，所谓移动向量指二维摄影图像上的各个特征点的相对移动向量。在跟踪特征点时，首先对相邻摄影图像进行模板匹配(S13)，求出对应特征点的候补对应点。由此求出各个特征点的移动向量。并且，通过使用相邻摄影图像进行投影转换(S15)，求出相对摄影装置的画面相对移动量。然后，将各个特征点的移动向量与帧间的画面相对移动量比较，判断移动向量的合格与否(S14)。并且，删除被认为表示异常移动的错误对应的候补对应点(S16)。通过重复步骤S15和S16，投影转换的精度提高。
然后，进行候补对应点的配置判断(S17)。即，确认摄影图像上的特征点、候补对应点的配置。如果特征点的配置极端偏移并且产生了空白部分等，则指示特征抽取部3重新设定，把位于重新产生的空白部分的点作为新的特征点。并且，再次返回特征抽取(S11)，依次对新的相邻图像实时地重复特征抽取(S11)和跟踪处理(S12)。如果对一系列的摄影图像完成特征抽取，则返回模板匹配(S13)，依次对新的相邻图像一并进行跟踪处理(S12)。
[特征抽取]
特征抽取(S11)在特征抽取部3中进行。在典型的初始帧中从整个画面进行抽取，从下一个帧起，从与初始帧不重复的新的画面区域进行抽取。在本实施方式中，在初始帧的特征点的抽取中，例如可以适当采用MORAVEC操作器(H.P.Moravec.Towards Automatic Visual ObstacleAvoidance.Proc.5th International Joint Conference on ArtificialIntelligence，pp.584，1977.)和Hariss、Pressy、Susan等操作器。
特征抽取操作器无论使用哪种操作器，都存在容易与图像上的微小噪声(边缘上的噪声等)反应的问题。为了改善这种性质，在使用特征抽取操作器之前，使用平均值滤波器等噪声滤波器进行图像的噪声去除处理。
但是，即使进行噪声去除，根据摄影对象，特征点集中于图像上的某个部分(树和草坪等)，有时对后述的模板匹配等带来不良影响。为了避免该问题，进行选点处理。选点处理例如使用通过限制各个特征点的点间处理等方法。并且，在预先指定了特征点的最大数的情况下，求出在整个图像上均等地配置时的点间距离，进行不低于该距离的配置。这样，通过总体上均等地配置特征点，使相互标定更加可靠。
[跟踪处理]
利用特征点跟踪部4对通过特征抽取处理选点的各个特征点进行跟踪处理(S12)。即，求出对应特征点的候补对应点，求出特征点的移动向量和画面相对移动量，并且将它们连接求出移动轨迹。
[模板匹配]
在本实施方式中，特征点的跟踪使用模板匹配(S13)。依次从所获取的摄影图像中选择相邻图像作为立体对(stereo pair)，例如利用SSDA法(逐次残差法)等方法进行立体匹配，求出候补对应点(S13)。所谓SSDA法(逐次残差法)指使用残差确定类似度的方法，求出部分矩阵的残差为最小时的位置作为候补对应点。SSDA模板匹配作为模板匹配其速度比较快，被认为容易硬件化。另外，也可以采用规范化相关法等其他方式。在模板匹配中选择最佳的模板尺寸和探索范围是非常重要的，关于探索范围，以摄像机的帧率、移动速度等为基准作为最佳设定。
[移动向量的合格与否判断]
虽然能够通过模板匹配求出各个特征点的候补对应点，但是会产生许多错误匹配。例如，在SSDA模板匹配的值过高(精度较差)时，判定该点产生了错误匹配。另外，在模板匹配的结果为特征点之间重合时，根据相关值的结果，以精度较好的优先。
并且，根据在模板匹配中求出的候补对应点，求出各个特征点的移动向量，判断移动向量的合格与否、候补对应点的合适性，去除在错误匹配中产生的候补对应点(S14)。首先，将各个特征点的移动向量与帧间的画面相对移动量比较，删除被认为表示异常值的错误对应的候补对应点。该情况时，也可以确定阈值进行删除。画面相对移动量指在摄影装置和摄影对象(包括特征点)之间的画面上的相对移动量，但在是同一摄影对象时，根据距摄影装置的距离、方向而变化，所以利用该特征点周围的大部分特征点(大致相同地移动)的移动量比较即可。
在本实施方式中，去除候补对应点时使用投影转换。帧间的整体移动在时间上非常短，所以假设通过投影转换可以大致近似，通过投影转换推测画面相对移动量(S15)。即，在移动的推测中进行基于投影转换的推测，将有关各个特征点的移动向量与画面相对移动量比较，废弃表示异常值的候补对应点(S16)。
并且，伴随汽车等移动体的摇动，摄影图像也在摇动，所以通过使用投影转换对旋转和摄像机位置的摇动进行修正，可以求出去除了旋转和摄像机的位置摇动的移动向量、画面相对移动量。推测该画面相对移动量，同时删除被认为错误反应的候补对应点。并且，通过在删除错误对应点后再次进行投影转换，候补对应点的可靠性提高。另外，可以提高使用旋转和摄像机的位置摇动被修正的候补对应点的模板匹配的精度，也可以提高移动向量的可靠性。
在摄影画面中，对行驶中的汽车、飞鸟、落叶等的移动物体赋予了特征点时，在摄像机的摇动剧烈时等，可能产生错误对应点。关于摄像机的摇动，可以通过投影转换修正。另一方面，进行与摄影对象物不同的移动的物体使错误对应点产生。因此，通过去除由于物体等的移动产生的错误对应点，可以提高特征点(包括对应点、候补对应点)的可靠性，提高错误匹配的判定精度，也能够对应摄像机的较大摇动。
[对应点的配置判断]
然后，进行对应点的配置判断(S17)。此处，对于不良点被去除后剩余的候补对应点，确认其配置。另外，在判断该配置时，也进行特征点的重新设定指示和候补对应点的恢复(S18，参照图7)。
图5示意地表示对应点匹配中的特征点和候补对应点的示例。左图像和右图像的物体位置稍微不同。虽然左图像中获取了多个特征点，但在右图像中描绘了少量与其对应的候补对应点。这示意地表示不良的候补对应点被去除。
图6表示重新设定特征点的示例。例如，在画面上的特征点的配置范围不在画面宽度、高度的50％的范围内时，或者其中心位置不在画面中心附近时，指示特征抽取部3通过特征抽取操作器实施特征点的重新设定处理。按照该基准，在图6(a)中，特征点的配置偏向右上部，中心位置位于上述范围外，所以重新设定特征点，在图6(b)中，中心位置位于上述范围内，所以不重新设定特征点。在特征点的数量小于规定数量时，基于稳定的标定分析等的需要，也进行特征点的重新设定。
并且，确认一度消失于画面外的候补对应点是否再次出现于画面内，如果出现则将其恢复。具体地讲，对由于消失到画面外而被删除的候补对应点，通过残留在当前帧上的点的仿射转换，推测在当前帧上的对应部位。在所推测的部位再次进行模板匹配，恢复获得良好结果的候补对应点。
并且，在配置判断中，在候补对应点并非不良，候补对应点的配置与基于投影转换的推测值准确一致时，返回特征抽取(S11)，对具有该候补对应点的帧的该候补对应点，搜索下一帧的对应的候补对应点。重复该作业直到动态图像等的摄影图像的最后帧，并继续跟踪(S19，参照图7)。
在以上的说明中，将多个摄影图像中的一个作为初始帧的图像抽取特征点，对在该图像之后获取的图像搜索对应该特征点的候补对应点。这例如在把本发明应用于测量、土木、GIS(地理信息系统(GIS：Geographic Information System))领域、或汽车导航器等时，适合于在不能接收GPS电波的区间进行插补时使用。即，适合于实时搜索候补对应点的场合。但是，也可以反之对在被抽取了特征点的摄影图像之前获取的多个图像，搜索对应该特征点的候补对应点。该情况时，例如最后图像的帧成为初始帧。这例如适合于在获取多个摄影图像后据此进行分析并测定对象物的坐标的场合。在以下的说明中，对可以进行逆向搜索的情况也相同。
[长期的向量合格与否的判断]
下面，说明长期的向量合格与否的判断程序(routine)。该程序用于把候补对应点确定为对应点，并且根据长期的跟踪数据重新设定、去除、再现特征点(包括对应点、候补对应点)(S201，参照图7)。长期的向量合格与否的判断处理(S201)通过长期判断处理部6进行。
图7是说明动态图像分析中长期的向量合格与否的判断程序的图。首先，把通过初始帧的特征抽取处理(S11，参照图4)获取的候补对应点的坐标信息输出给[长期的合格与否判断处理]程序(S21)。并且，在通过投影转换推测各个帧间的画面整体的移动量后(S15)，把各个帧涉及的投影转换系数(旋转矩阵、并行向量、摄像机外部参数等)输出给[长期合格与否判断处理]程序(S22)。然后，对在步骤S21得到的初始帧上的特征点，使用在步骤S22输出的投影转换系数，对每个帧进行投影转换，从通过这些投影转换得到的相当于各个帧的二维图像，求出各个帧上的候补对应点的推测位置(S23)。
在经过了规定的移动量、时间或帧数的阶段，把候补对应点确定为对应点，并且进行对应点的重新设定、恢复。即，在[跟踪处理]程序中(S12，参照图4)，在候补对应点满足一定条件时(S202)，即满足：获得为确定对应点所需的充足的移动量、经过了时间或帧数、许多候补对应点被去除后剩余的候补对应点配置产生偏移、候补对应点数量变少、发出了重新设定特征点的指示等(S18)等，成为开始执行长期的合格与否判断的触发(S29)，[长期合格与否判断处理]程序获取通过[跟踪处理]程序(S21)计算的当前帧的候补对应点的跟踪位置信息(S241)，进行该跟踪位置信息和在步骤S23中计算的候补对应点的推测位置的比较(S242)，进行对应点的确定(S251～S252)、错误对应点的去除处理(S261～S263)、和虽然暂且消失但在当前帧中再现的候补对应点的恢复处理(S271～S273)。
在当前帧的候补对应点的跟踪位置和候补对应点的推测位置之间位置残差较小时(S251)，把候补对应点确定为对应点(S252)。在当前帧的候补对应点的跟踪位置和候补对应点的推测位置之间位置残差较大时(S261)，认为产生错误对应的可能性较大。因此，进行从当前帧到初始帧的逆向匹配(S262)，判断其合格与否。具体地讲，执行把当前帧的候补对应点周围的较小区域作为模板，把初始帧的候补对应点周围作为探索区域的模板匹配。模板匹配的结果，把在初始帧的候补对应点位置附近能够获得充足的相关的情况视为合格，把除此以外的情况视为异常点，删除该候补对应点(S263)。
并且，在当前帧中，对于虽然在[跟踪处理]程序中暂且消失但在当前帧内再现的点(S271)，使用当前帧的候补对应点的推测位置进行候补对应点的恢复处理。具体地讲，执行把初始帧的候补对应点周围的较小区域作为模板，把当前帧的候补对应点周围作为探索区域的模板匹配(S272)。模板匹配的结果，在能够获得充足的相关的情况下恢复该候补对应点(S273)。另外，把候补对应点的删除、恢复的处理结果反馈给[跟踪处理程序](S28)。
[错误对应点的删除]
通过前述的对应点跟踪部4、处理部5的动态图像分析处理，对所有帧赋予了特征点的相对应性。但是，这些相对应性是基于二维分析的，实际上有可能包含错误对应点。
因此，在本实施方式中进一步进行错误对应点的删除(S20)。这些错误对应点的删除使用以下的标定处理和三维测试处理的结果进行。
[标定处理/三维测试处理]
然后，通过标定处理/三维测试部7进行相互标定和三维测试。对被实施了立体对选择的各个图像，使用特征点和对应点的坐标进行标定计算处理。通过标定计算处理，可以求出所摄影的摄像机的位置、倾斜、对应点的三维位置。标定计算处理通过相互标定进行被实施了立体对选择的摄影图像的对应关系，关于多个或所有图像间的标定，通过束调整进行。在进行该立体对选择时，在标定处理/三维测试部中，从通过摄影图像获取部得到的多个图像中选择被推测为合适基线长度的图像的组，由此可以进行合适的标定处理和三维测试。
图8是说明标定的图，是立体图像中的模型图像坐标系XYZ和摄像机坐标系X1Y1Z1、X2Y2Z2的关系示意图。把模型图像坐标系的原点作为左侧的投影中心，把连接右侧的投影中心的线设为X轴。缩小比例尺把基线长度(摄像机坐标原点间的距离)设为单位长度。此时求出的参数为以下6个旋转角：左侧的摄像机的Z轴旋转角k1、Y轴旋转角φ1、X轴旋转角ω1、右侧的摄像机的Z轴旋转角k2、Y轴旋转角φ2、X轴旋转角ω2。通过标定计算处理求出这些旋转角，使用它们计算摄像机的精密的三维坐标、状态和对象物的三维坐标。并且，这些标定和三维测试可以自动化(参照专利文献1)。
图9是表示三维测试的结果的图，表示求出了在左侧面下方大致呈直线状并列的点的摄影位置，表示立体图中散乱的较小的绘图点被赋予了三维坐标值的特征点和对应点。
根据以上的第1实施方式，可以提供一种技术，在需要进行摄影装置的摇动处理及消失和再现的特征点的处理的情况下，可以从动态图像或顺序地一点一点变化的摄影图像，高精度地测试该摄影装置的摄影位置、姿势的坐标。并且，可以利用计算机实现动态图像分析和错误对应点的去除处理，包括已经自动化的标定、三维测试在内，可以实现图像处理方法的所有步骤的自动化。并且，可以高精度地稳定求出摄影装置的三维坐标。
[第2实施方式]
本实施方式对图像的特征点进行前方(未来)、后方(过去)的多个画面部分的跟踪，通过将其跟踪轨迹延长，从基准画面(例如初始帧和当前帧)推测前方或后方的图像。将该推测值与实测值比较，删除具有偏离推测值的实测值的候补对应点。或者，从暂且消失但又再现的候补对应点进行后方(过去)的多个画面部分的跟踪，并进行推测，与原来的特征点比较，恢复推测值和实测值大致一致的候补对应点。与第1实施方式相比追加了这种功能，但其他方面与第1实施方式相同。另外，基准画面对应于第1图像，与第1图像比较的推测图像对应于第2图像。
图10是说明推测图像的图。为了确保推测点的可靠性，利用前置侧、后置侧图像进行连续检查。作为其方式，(1)对前置侧、后置侧使用投影转换推测每一个画面的移动，比较各个特征点的移动向量的跟踪值和基于画面相对移动量的推测值，废弃表示异常值的候补对应点。(2)依次对前置侧、后置侧持续进行推测直到确保规定的帧数和移动量，将推测值与实测值比较，判定生成推测图像的妥当性。判定例如通过模板匹配进行。由此，恢复再现的候补对应点。特别是在初始帧和当前帧之间没有重合部分或较少的情况下，在具有重合的范围内比较推测值和跟踪值，通过对它们进行检查并连接，可以进行相分离的图像的推测，所以意义重大。
[第3实施方式]
本实施方式以容易抽取特征点的处理、和确保合适的基线长度并使测试容易进行的处理为目的，通过软件或硬件调整移动量。与第1和第2实施方式相比追加了这种功能，但其他方面与这些实施方式相同。作为通过软件调整的示例，在处理部5中，可以参照多个图像中的各个特征点的移动量数据，调整图像的移动修正量、具有方向性的滤波处理等任一方，以使相邻图像间的各个特征点的移动量成为规定量的间隔。作为通过硬件调整的示例，在摄影图像获取部2中，可以参照多个图像中的各个特征点的移动量数据，调整摄影定时、摄影位置或摄影方向等任一方，以使相邻图像间的各个特征点的移动量成为规定量的间隔。并且，也可以利用像素数调整成为规定量的间隔。在进行合适的立体对选择时，在标定处理/三维测试部中，从通过摄影图像获取部得到的多个图像中选择被推测为合适基线长度的图像的组，由此可以进行合适的标定处理和三维测定。并且，也可以设计图像选择部，根据通过摄影图像获取部得到的多个图像的重合率、基线长度、移动向量等任一方，选择比较图像。
[第4实施方式]
本实施方式作为特征点的抽取方法，在实施特征抽取操作器之前，还使用边缘抽取法。与第1实施方式相比追加了这种功能，但其他方面与第1实施方式相同。单纯地抽取特征点的处理(例如MORAVEC法)对整个画面实施处理，所以花费处理时间。并且，存在利用参数对整个画面抽取过多点的问题。作为减轻这些问题的处理，在利用MORAVEC法进行处理之前，通过简单的处理进行边缘抽取，在该抽取图像上进一步进行特征点抽取。由此，抽取特征点的部位锐减，而且相比单纯的特征点抽取，可以设定可靠的特征点，即可以提高特征点的可靠性。
图11表示边缘抽取处理的示例。如果使各个连续帧间的图像存在差分，则可以简单地获取边缘图像。在该图中像建筑物墙壁那样没有变化的部分，通过获取微小变化的摄影图像的差分，使数据相抵消成为零，并在图上显示为全黑。由于墙壁和窗户的边界、墙壁和空间的边界等是具有变化的部分，所以如果获取摄影图像的差分，则留有数据。因此，各部分的边界线利用残留的数据在图上显示为白线。并且在该边缘图像上例如实施基于MORAVEC操作器的特征抽取处理，形成跟踪用的特征点。例如可以把白线的交叉点作为特征点。
边缘抽取处理即使不采用帧间的差分，而采用使一个图像逐个像素地例如向上偏移1像素、或者向下偏移1像素、或者向左偏移1像素、或者向右偏移1像素后的图像、与自身图像的差分，或者采用上下左右方向组合后的图像，也能够获取相对方向性的边缘图像。如果摄像机向右移动，则可以使向右方向移动像素部分的图像产生差分。这样，即使帧间距离过大的图像，也能够通过简单的差分处理进行边缘抽取、即特征点抽取。该处理仅利用差分即可进行，所以软件处理简单，另外如果硬件化，则可以实时地进行处理。
[第5实施方式]
在第1实施方式中，为了确定对应点，在长期的向量合格与否的判断程序中，在经过了规定的移动量或帧数的阶段，进行候补对应点的推测位置和通过[跟踪处理]程序计算的当前帧的候补对应点的跟踪位置的比较来确定，但在本实施方式中，表示在跟踪处理程序中把在经过了规定的移动量、时间或帧数的阶段未被去除而残留的候补对应点确定为对应点的示例。这一点与第1实施方式不同，但其他方面与第1实施方式相同。例如，把持续经过第7次程序循环而残留的候补对应点确定为对应点。该情况时，在长期的向量合格与否的判断程序中，对应点也有可能消失或再现，但该情况下进行去除或恢复处理即可。并且，在恢复时，同样可以恢复虽然暂且消失但是例如持续经过第7次程序循环而残留的候补对应点。
[第6实施方式]
在第1实施方式中，说明了在摄影对象为静止状态、摄影装置移动的示例，但本实施方式表示摄影装置为静止状态、摄影对象移动的示例。在该情况下，除原来的对象物外，有在摄影装置和对象物之间加入移动的物体，并使摄影装置产生摇动的情况，也可以跟踪特征点，并求出动态图像或依次一点一点变化的摄影图像中的对象物涉及的特征点的三维坐标。并且，如果对象物自身是旋转的物体，由于该特征点重复消失和再现，所以可以适用本发明。而且，有时多个对象物进行不同的移动，在这种情况下，可以把本发明适用于各个对象物。
[第7实施方式]
在第1实施方式中，说明了使用投影转换的示例，但在摄影装置不摇动而且方向一定(向前方直进等)的情况下，未必进行投影转换，通过求出移动向量，比较各个特征点的移动向量和画面整体或该特征点周围的移动向量，也可以进行候补对应点的确定、去除、重新设定、恢复。另外，如果使用投影转换生成画面相对移动量并修正摄影画面的摇动，可以实现更具可靠性的处理。
并且，本发明可以实现为使计算机执行以上实施方式记载的图像处理方法的程序。程序可以存储在操作部1的内置存储器中使用，也可以存储在系统内外的存储装置中使用，还可以从因特网下载使用。并且，也可以实现为记录了该程序的记录介质。
以上说明了本发明的实施方式，但本发明不限于以上实施方式，当然可以对实施方式进行各种变更。
例如，在以上实施方式中，说明了在对象物或摄影装置一方移动、另一方静止的状态下获取摄影图像的示例，但也可以把本发明适用于两者都移动的场合。例如，完全可以适用于一方的移动速度和方向一定的场合等。并且，对于三维坐标说明了正交坐标的示例，但也可以根据对象物和摄影装置的情况，使用柱坐标、球坐标。而且，也可以省略步骤S20的错误对应点的去除等部分步骤。此外，说明了在特征点的抽取中使用MORAVEC操作器，在模板匹配中使用SSDA模板匹配的示例，但也可以使用其他的操作器、模板匹配方法。并且，说明了使用用于求出画面相对移动量的投影转换的示例，但也可以使用仿射(affine)转换、Helmert转换等的投影转换。另外，在第1实施方式等中，关于对应点的确定、候补对应点的去除和恢复的算法，说明了比较当前帧的候补对应点的跟踪位置和候补对应点的推测位置的示例等，但也可以通过两次比较跟踪位置和推测位置来确定，还可以使用将移动轨迹与推测位置的轨迹比较等其他算法。并且，说明了在经过规定的移动量、时间或帧数后的阶段，把候补对应点确定为对应点的示例，但规定的移动量、时间或帧数可以根据经验确定。
本发明用于使用了动态图像的摄影装置或摄影对象的位置坐标的测试等。

Claims (10)

1.一种图像处理装置，具有：
摄影图像获取部，对于相对移动的对象物，依次获取一点一点变化的摄影图像；
特征抽取部，从通过所述摄影图像获取部得到的摄影图像中抽取特征点；
特征点跟踪部，对于在被抽取了所述特征点的摄影图像之前或之后获取的多个摄影图像，搜索对应所述特征点的候补对应点，进行所述特征点的跟踪；
处理部，对于所述候补对应点，根据跟踪结果从所述候补对应点中确定对应点，使用所确定的对应点计算摄影位置或对象物的坐标，
作为所述跟踪结果，使用根据使用了依次获取的摄影图像中的两个摄影图像的投影转换求出的画面相对移动量、或者两个摄影图像之间的特征点的移动向量、或者将所述画面相对移动量或所述移动向量依次连接后的移动轨迹，
所述特征点跟踪部对于被抽取了特征点的摄影图像、和在其之前或之后依次获取的多个摄影图像，搜索对应所述特征点的候补对应点，根据所搜索的候补对应点和特征点的位置关系形成所述移动向量，根据所述移动向量和所述画面相对移动量，选择被判断为对应所述特征点的可能性较大的候补对应点，对于在其之前或之后依次获取的多个摄影图像，搜索所述特征点和对应于所述对应点的候补对应点，顺序重复移动向量的形成、候补对应点的选择、候补对应点的搜索。
2.根据权利要求1所述的图像处理装置，所述特征点跟踪部根据相邻的摄影图像之间的各个特征点的跟踪结果，求出各个特征点的移动向量和画面相对移动量，将所述各个特征点的移动向量与根据所述画面相对移动量推测的各个特征点的推测位置比较，将差异较大的作为不良点排除。
3.根据权利要求1所述的图像处理装置，所述处理部检测所述特征点或所述根据跟踪结果从所述候补对应点中确定的对应点的消失，在产生了规定数量的消失、规定范围以上的空白区域的情况下，指示所述特征抽取部重新设定特征点。
4.根据权利要求1所述的图像处理装置，所述处理部对于第1摄影图像的各个特征点，使用将所述画面相对移动量或所述移动向量顺序连接后的移动轨迹，生成与隔开规定量获取的第2摄影图像相关的推测图像，比较所述第2摄影图像和其涉及的推测图像，从所述候补对应点中确定对应点，使用所确定的对应点计算摄影位置或对象物的坐标。
5.根据权利要求4所述的图像处理装置，所述第1摄影图像是在所述第2摄影图像之前或之后、或者在其前方或后方摄影的图像，所述移动轨迹用于使时间或位置跟随行进方向或逆行方向。
6.根据权利要求4所述的图像处理装置，所述特征点跟踪部对于暂且被从候补对应点中去除、但被推测为在其前或其后获取的摄影图像中再现的候补对应点，把所述在其前或其后获取的摄影图像作为所述第2摄影图像，比较所述第2摄影图像和与其相关的推测图像，使被判断为成为所述候补对应点的可能性较大的候补对应点再次恢复为候补对应点。
7.根据权利要求4所述的图像处理装置，所述处理部调整相邻图像的获取，以使相邻图像之间或者所述第1摄影图像和所述第2摄影图像之间的所述画面相对移动量成为规定量。
8.根据权利要求4所述的图像处理装置，所述处理部进行调整以使相邻图像之间或者所述第1摄影图像和所述第2摄影图像之间的像素偏移达到规定数量。
9.根据权利要求4所述的图像处理装置，具有图像选择部，根据通过所述摄影图像获取部得到的摄影图像之间的重合率、基线长度、所述移动向量中的任一方，选择所述第2图像。
10.一种图像处理方法，包括：
摄影图像获取步骤，对于相对移动的对象物，依次获取一点一点变化的摄影图像；
特征抽取步骤，从通过所述摄影图像获取部得到的摄影图像中抽取特征点；
特征点跟踪步骤，对于在被抽取了所述特征点的摄影图像之前或之后获取的多个摄影图像，搜索对应所述特征点的候补对应点，进行所述特征点的跟踪；
计算处理步骤，对于所述候补对应点，根据跟踪结果确定对应点，使用所确定的对应点计算摄影位置或对象物的坐标，
所述特征点跟踪步骤对于被抽取了特征点的摄影图像、和在其之前或之后依次获取的多个摄影图像，搜索对应所述特征点的候补对应点，根据所搜索的候补对应点和特征点的位置关系形成所述移动向量，根据所述移动向量和所述画面相对移动量，选择被判断为对应所述特征点的可能性较大的候补对应点，对于在其之前或之后依次获取的多个摄影图像，搜索所述特征点和对应于所述对应点的候补对应点，顺序重复移动向量的形成、候补对应点的选择、候补对应点的搜索。
CN2006101659990A 2005-12-08 2006-12-08 图像处理装置及其方法 Expired - Fee Related CN1979087B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005355470 2005-12-08
JP355470/2005 2005-12-08

Publications (2)

Publication Number Publication Date
CN1979087A CN1979087A (zh) 2007-06-13
CN1979087B true CN1979087B (zh) 2010-11-17

Family

ID=37836628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101659990A Expired - Fee Related CN1979087B (zh) 2005-12-08 2006-12-08 图像处理装置及其方法

Country Status (3)

Country Link
US (1) US7860276B2 (zh)
EP (1) EP1796039B1 (zh)
CN (1) CN1979087B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102798380A (zh) * 2012-07-09 2012-11-28 中国人民解放军国防科学技术大学 线阵图像中目标运动参数的测量方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8156115B1 (en) 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US9063952B2 (en) * 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
JP4800163B2 (ja) * 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
JP5084374B2 (ja) * 2007-07-06 2012-11-28 株式会社トプコン 位置計測装置及び位置計測方法
US8259998B2 (en) * 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
US20120020518A1 (en) * 2009-02-24 2012-01-26 Shinya Taguchi Person tracking device and person tracking program
JP5421624B2 (ja) 2009-03-16 2014-02-19 株式会社トプコン 三次元計測用画像撮影装置
JP5559997B2 (ja) * 2009-07-17 2014-07-23 株式会社トプコン 位置測定方法及び位置測定装置
TWI452540B (zh) 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
JP2013038454A (ja) * 2011-08-03 2013-02-21 Sony Corp 画像処理装置および方法、並びにプログラム
JP5728399B2 (ja) * 2012-01-19 2015-06-03 株式会社東芝 計測装置、方法及びプログラム
US9986208B2 (en) 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
IL219639A (en) * 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
EP2946361B1 (en) 2013-01-15 2018-01-03 Israel Aerospace Industries Ltd. Remote tracking of objects
IL224273B (en) 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
US9990004B2 (en) * 2013-04-02 2018-06-05 Samsung Dispaly Co., Ltd. Optical detection of bending motions of a flexible display
JP6312991B2 (ja) * 2013-06-25 2018-04-18 株式会社東芝 画像出力装置
KR101883481B1 (ko) * 2013-07-12 2018-07-31 한화에어로스페이스 주식회사 영상 안정화 장치 및 방법
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
JP6261266B2 (ja) * 2013-10-02 2018-01-17 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検知装置
CN103644894B (zh) * 2013-12-10 2016-03-09 大连交通大学 一种复杂曲面目标识别及三维位姿测量的方法
CN104006747B (zh) * 2014-05-28 2016-06-29 合肥云鹤江森汽车座椅有限公司 一种汽车座椅安全带上固定点的位移跟踪测试装置及方法
JP6840645B2 (ja) * 2017-09-08 2021-03-10 株式会社小松製作所 施工管理装置および施工管理方法
JP6647489B1 (ja) * 2018-11-27 2020-02-14 株式会社アジラ 不審体・異常体検出装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1141427A (zh) * 1995-12-29 1997-01-29 西安交通大学 基于图像识别的运动物体测量方法
WO2000004506A1 (en) * 1998-07-20 2000-01-27 Geometrix, Inc. Method and system for generating fully-textured 3-d models
JP2003050110A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd ３次元形状データ生成システム、３次元形状データ生成方法、プログラム、および記録媒体
JP2005174151A (ja) * 2003-12-12 2005-06-30 Topcon Corp 三次元画像表示装置及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
US6384859B1 (en) 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
ATE346278T1 (de) * 2000-03-30 2006-12-15 Topcon Corp Stereobildmessvorrichtung
US20010045980A1 (en) * 2000-05-26 2001-11-29 Jacques Leonard Calibration method for digital camera and printer
JP3784289B2 (ja) 2000-09-12 2006-06-07 松下電器産業株式会社 メディア編集方法及びその装置
US7126630B1 (en) * 2001-02-09 2006-10-24 Kujin Lee Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
CA2446150C (en) * 2001-05-04 2013-01-08 Legend Films, Llc Image sequence enhancement system and method
DE60316738T2 (de) 2002-03-08 2008-07-24 Topcon Corp. Vorrichtung und Verfahren zur stereoskopischen Bildwiedergabe
JP4166993B2 (ja) 2002-03-08 2008-10-15 株式会社トプコン 立体画像表示装置及び方法
JP4147059B2 (ja) * 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP3868876B2 (ja) * 2002-09-25 2007-01-17 株式会社東芝 障害物検出装置及び方法
US20070065004A1 (en) 2005-08-01 2007-03-22 Topcon Corporation Three-dimensional measurement system and method of the same, and color-coded mark
JP5362189B2 (ja) * 2006-05-10 2013-12-11 株式会社トプコン 画像処理装置及びその処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1141427A (zh) * 1995-12-29 1997-01-29 西安交通大学 基于图像识别的运动物体测量方法
WO2000004506A1 (en) * 1998-07-20 2000-01-27 Geometrix, Inc. Method and system for generating fully-textured 3-d models
JP2003050110A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd ３次元形状データ生成システム、３次元形状データ生成方法、プログラム、および記録媒体
JP2005174151A (ja) * 2003-12-12 2005-06-30 Topcon Corp 三次元画像表示装置及び方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Jason Meltzer等.Simulatneous Localization and Mapping using MultipleViewFeature Descriptions.IEEE.2004,第1550页第1栏第15行-第1555页第1栏第5行.
Jason Meltzer等.Simulatneous Localization and Mapping using MultipleViewFeature Descriptions.IEEE.2004,第1550页第1栏第15行-第1555页第1栏第5行. *
Simon Gibson等.Accurate Camera Calibration for Off-line,Video-BasedAugmented Reality.IEEE.2002,第1页第1栏第23行-第10页第2栏第10行. *
SimonGibson等.AccurateCameraCalibrationforOff-line Video-BasedAugmented Reality.IEEE.2002

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102798380A (zh) * 2012-07-09 2012-11-28 中国人民解放军国防科学技术大学 线阵图像中目标运动参数的测量方法
CN102798380B (zh) * 2012-07-09 2014-11-26 中国人民解放军国防科学技术大学 线阵图像中目标运动参数的测量方法

Also Published As

Publication number Publication date
EP1796039A3 (en) 2014-09-10
CN1979087A (zh) 2007-06-13
US7860276B2 (en) 2010-12-28
US20070140528A1 (en) 2007-06-21
EP1796039A2 (en) 2007-06-13
EP1796039B1 (en) 2018-11-28

Similar Documents

Publication Publication Date Title
CN1979087B (zh) 图像处理装置及其方法
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
JP4889351B2 (ja) 画像処理装置及びその処理方法
CN112444242B (zh) 一种位姿优化方法及装置
JP5087264B2 (ja) 画像処理装置及びその方法
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
JP4349367B2 (ja) 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム
Ma et al. Stage-wise salient object detection in 360 omnidirectional image via object-level semantical saliency ranking
Zhang et al. Robust metric reconstruction from challenging video sequences
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
CN106534692A (zh) 一种视频稳像方法及装置
CN110223380B (zh) 融合航拍与地面视角图像的场景建模方法、系统、装置
JPH11509946A (ja) 視差依存技法を用いた画像結合のための方法とシステム
CN111951201A (zh) 一种无人机航拍图像拼接方法、装置和存储介质
JP5396585B2 (ja) 地物特定方法
JP3333721B2 (ja) 領域検出装置
CN112270748B (zh) 基于图像的三维重建方法及装置
TWI471821B (zh) A system, a method, and a recording medium for establishing a correlation for a plurality of images
US20230100238A1 (en) Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object
CN110849380A (zh) 一种基于协同vslam的地图对齐方法及系统
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
Colbert et al. Building indoor multi-panorama experiences at scale
CN114372994B (zh) 视频浓缩中背景图像的生成方法
JP4136652B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び電子機器
Alibay et al. Hybrid visual and inertial RANSAC for real-time motion estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101117

Termination date: 20131208