CN101137890A - 导航和检查系统 - Google Patents
导航和检查系统 Download PDFInfo
- Publication number
- CN101137890A CN101137890A CNA2006800072751A CN200680007275A CN101137890A CN 101137890 A CN101137890 A CN 101137890A CN A2006800072751 A CNA2006800072751 A CN A2006800072751A CN 200680007275 A CN200680007275 A CN 200680007275A CN 101137890 A CN101137890 A CN 101137890A
- Authority
- CN
- China
- Prior art keywords
- image
- geographical space
- passing
- gps
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 10
- 230000005291 magnetic effect Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000001983 electron spin resonance imaging Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 235000019633 pungent taste Nutrition 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 235000012813 breadcrumbs Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010425 computer drawing Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Navigation (AREA)
- Studio Devices (AREA)
- Instructional Devices (AREA)
- Traffic Control Systems (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
一种从移动车辆检测地理空间内状况变化的方法。结合GPS坐标以及所述地理空间的GPS坐标,记录所述地理空间的图像。一边从移动的车辆穿越相同的地理空间,一边访问路线的GPS坐标。通过搭配记录图像上的GPS数据与经穿越的地理空间的GPS数据,重放记录图像,从而同时观看记录图像与正在穿越的地理空间。正在穿越的观察者在移动车辆内可以比较记录图像与正在穿越的地理空间的图像,以便标识出变化的状况。
Description
技术领域
视频一般按时间录制,例如,每秒30帧。通过根据照相机位置的GPS、或根据行进的距离选择要录制和/或使用哪些帧,来创建新的数据库。此视频或连续图象的数据库地理上包括参考图象,所述参考图象空间上相关而非时间上相关。通过选择标识哪些帧将要被采集的帧之间的距离而非时间,产生了极小的数据库,其能够被更容易地搜索。这提供了大小明显减小的数据库,是一种数据压缩的技术。通过地理位置,特定的帧或数据可以被更容易地检索,而所述地理位置可以通过全球定位卫星、惯性系统或其它电机械传感器来确定。通常,前视的视频视图还没有按行进的距离或相关的地理位置来录制。它们按时间而不是按距离隔开。本发明涉及一种导航和检查系统,该系统具有更精确形式的车辆导航或检查附近对象的效用。例如,如果人们希望快速执行对公路外观的查看,可以使用该系统,以便标识出公路人行道上新的裂缝或坑洼、隧道或桥梁、或由于植被或土体移动导致的路边侵蚀。此外,可以标识附近对象的变化,例如,电线、建筑物外立面、停放的车辆。其它应用包括提供当前位置和方向的日时(daytime)图象、更精确导航的增强型夜间驾车,通过先前精确标识的路径和用先前采集的数据或图象增强当前图象,例如用夜晚的图象融合日间录制的对象,使车辆适合精确的导航。
此外,还可以通过在数据库中选择最匹配先前采集的已知GPs坐标的帧,利用本发明标识当前的GPS位置。
发明背景
过去,包括公路的地形已经被绘制成地质图,其大部分通过在被绘制区域上航行的飞机由顶向下观察得到。然而,考虑到航空摄影机平台的摆动、视角限制和航空地图区域转化成以基于操作员观看的平面的镜头畸变,先前地质图绘制技术已证明很复杂。其它的复杂化来自拼接技术,其是沿行进的路线将帧整合成可查找的数据库所必需的。此外,为了车辆操作员标识地理绘制图象之间的变化,已经确定了在认识上非常有助于向目前正被导航的当前路线提供地质图绘制的路线的分区屏幕或其它类型的平行跟踪显示器,以便能够快速比较当前状况与未来动作或检查应该基于的用作标准的那些状况。
硬件需要同步或近似同时显示当前图象以及地理上参考的数据库图象。
因此,本发明的目的在于,提供一种向车辆操作员提供足够信息的简便装置,使操作员能够标识表面变化或附近特征的变化,或标识附近对象或其关联位置的具体变化。
本发明的又一目的在于,提供向司机警报即将出现的道路状况的装置,其通过前视数据库中山上或弯道旁会是什么。
本发明再一目的还在于,整合对公路或其它路旁状况进行检查的信息,以突出显示这种状况和危险、并将其用及时的方式呈现给车辆操作员的格式,以便向操作员提供采取有效补救措施的机会。
另一目的在于,提供给出了GPS位置和方向的日间视图。
再一目的在于,在屏幕上向司机显示车辆后面的视图,所述视图基于在屏幕上显示的先前的视图和车辆周界,从而车轮与危险的当前联系可以被看到,并且对当前车辆的位置是大致准确的。
另一目的在于,通过用距离间隔而非时间间隔来录制图象,提供一种降低帧数目和数据库大小的装置。这通常通过按每秒30帧完成的序列录制所有的帧并在所有的三十个帧上标记GPS位置来完成。虽然本发明可以用所有的30帧来实施,但是优选实施例将在照相机已经移动了规定距离之后开始录制,以便减少对带宽和存储容量的需要。
又一目的在于,利用其它形式的图象或数据,例如光雷达、雷达、声纳、磁测(magnetics)、多频谱、音频,来自深度图或线框图(wireframe)或其它形式的数据(例如,可按地理位置离散采集的声音)的计算机渲染图(rendering)。这些替换的数据源可以被混合,例如热感(thermal)与日间视频混合、磁测与视频混合、多频谱与渲染的图象混合。
另一目的在于,通过在数据库中选择与先前采集的已知GPS坐标最匹配的帧,来标识当前GPS位置。
这些和其它目的将在考虑下列公开时被容易地理解。
发明概述
本发明涉及-种从移动车辆检测地理空间内状况变化的方法。该方法包括:结合与所述地理空间相关联的GPS/地理坐标,捕捉并记录(memorialize)地理空间的图象。-边从所述移动车辆穿越(traversed)所述地理空间,一边访问GPS或其它地理坐标。在穿越所述地理空间的同时,通过这样搭配(coordinating)所述记录图象上的地理坐标数据,即,正被观看的所述记录图象与正在穿越的地理空间相同,访问并重放(playback)记录图象,(即,照相机现在和过去的位置都在相同的地理坐标范围方向+/-某些容差之内)。记录图象和被穿越的地理空间的图象都呈现给观察者,使观察者能够直接比较面向观察者的所记录图象与正在穿越地理空间的图象。理想地,记录图象采用摄像机创建,而摄像机还可以用于显示正在穿越的地理空间。可替换地,可以采用其它图象捕捉设备,例如红外照相机、声纳、或传感器数据(例如,可以用图形显示在屏幕上的磁或声学数据)。为了提供最直接的比较,显示来自移动车辆穿越的图象的照相机应该放置在如下地方,即与用于捕捉记录图象的具有同样视场的照相机的位置和方向近似相同。最好可以光学上或通过电子缩放(scaling)匹配视场。图象稳定技术还可被用于提高图象之间的相对配准(registration)。两个图象都可显示在屏幕上,例如,分区屏幕,在分区屏幕中正在穿越的图象显示在上面,而记录图象显示在下面。还可以使用替换显示器,例如连续显示、交替显示、迭加显示或抠像(keying)和衬边(matting)技术。通过GPS坐标,相同地理的图象同时显示在观察者面前,使观察者能够快速并直观地识别公路中的任何状况变化。此外,虽然可以在日间进行拍摄和捕捉记录图象和所穿越的图象来提供与日光视图之间的针对性比较,但本发明也可以用于增强夜间行车,通过比较在能见度相对好时的日间拍摄的记录图象与在恶劣天气期间或夜晚实时拍摄的图象,以及在合适的分区屏幕上重放那些图象。对按当前GPS位置选择的白天录制的单个视图的显示,表现了在当时情况下未必看得见的重要信息。无需同时显示当前和以前的状况。有时在天气恶劣、或GPS出故障的情况下,将可能丢失当前的GPS。通过比较当前的图象与数据库的图象,可以通过数据库中最匹配特定帧的图象选择当前的GPS位置。
因为司机未必能直视其与沟壑或悬崖或其它危险相关的车轮,所以可能发生意外的倾翻。通过使用基于gPs的偏移,即,车辆后一定距离,导航视图可被呈现给司机。包括车辆车轮的车辆轮廓周界可被叠加在采集的图象上。视图可被显示成包括道路和车辆的视图,该视图看来象是来自于车辆后面的照相机。这通过使用距离当前位置大约有20尺的GPS位置来完成,以便确定与当前位置最相关的图象帧。
通过在显示屏的笛卡尔(cartesean)坐标系上的适当位置上打点(placing a dot)(指引(Breadcrumb)),人们可创建表示记录数据的地图。可以组合每个帧在自上而下(top down)地图上的指引标记,以提供驶入区域的精确地图。这些地图可以被迭加在可被输入系统的标准参考地图上。这提供了可用于显示任何特定速率的路线的视图的图形接口。
通过使用可见或红外波段的辅助照明,变化检测在晚上被增强。在晚上,利用放置得比照相机低的辅助照明,放大拉长的阴影,以便产生增强的阴影效果,突出显示这些变化。该辅助照明可以是恒定的或脉冲触发的,以便搭配在行进特定距离之后帧的GPS捕捉。照明可以处于可见和/或非可见范围内。
附图简述
图1是实现本发明所需的主要部分的示意框图。
图2描述了一种典型的数据分区屏幕显示,所述数据在实施本发明中将呈现给车辆操作员。
发明详述
过去,其他人已经教导了录制图象以及将它们与GPS或地理坐标数据关联的方法,以便提供与位置而非时间有关的重放。例如,参考美国专利No.6,741,790,该公开被引入作为参考。此‘790专利教导了一种包括硬件和软件的系统,这些硬件和软件可用三种模式配置和操作,即,录制模式、编制索引模式以及重放模式。在录制模式中,其中采用的硬件连接GPS接收机和视频录制设备,并允许GPS数据被录制在利用视频录制设备录制图象的相同录制介质上。结果,与特殊图象相关联的特定的地理位置,可被GPS数据直接参考。在录制图象之后,硬件设备连接到已经适当地安装了软件的计算机上,所述软件在播放录制的图象时使GPS数据从录制介质传送到计算机。在此编制索引步骤期间,计算机绘制地图,所述地图显示出录制在录制介质上的全部GPS参考位置。每张地图位置表示了录制的位置图象与GPS数据。一旦完成了编制索引模式,在‘790专利中公开的系统可用于根据在地图上选择的位置重放如此录制的图象。在此步骤期间,称作重放模式,可以在计算机生成的索引地图上选择标记,并且系统将使视频录制设备重放在所选位置上录制的图象。此外,‘790专利教导了录制的图象被传送给某些其它介质,例如CD ROM或硬盘,促使计算机重放在所选位置上录制的图象。然而,没有人达到使此技术用于在此所示目的的申请人的知识。例如,本发明可以在其优选实施例中,用GPS确定何时录制画面,以便减少存储器中帧的数目,以及确定在重放期间调用哪个图象。虽然所有帧都可以被录制,但最好只按故意设置的距离分开录制这些帧。因此,照相机帧速率取决于照相机的速度。这还可以通过使用GPS触发的照相机,提高录制图象所需的照相机频率,超过每秒30帧,用于更高的行进速度。
此外,美国专利No.6,895,126教导了-种用于合成现场图象的系统和方法,以便生成提供了现场全景的合成图象。‘126专利公开了采用沿着街道移动的摄像机,沿着街道录制对象的图象。当正在录制图象时,GPS接收机和惯性导航系统提供了照相机的位置。用GPS接收机和惯性导航系统提供的定位数据给图象编制索引。根据‘126本发明的一个方面,图象录制设备沿着路线移动,沿着路线录制目标的图象。如所述,在图象正在被采集时,GPS接收机和/或惯性导航系统提供图象录制设备的位置信息。图象和位置信息被提供给计算机,以便将每个图象与位置信息相关联。同样地,现有技术已知GPS坐标与录象数据相关联用于以后的重放。美国专利No.6,895,126在此引用作为参考。
作为第一实施例,本发明涉及一种采用人为干预的检测系统,通过显示地形(例如,公路)连同从先前行程捕捉的图象的视频来检测场景的变化。在采集期间,系统捕捉来自实况视频馈送的图象并用包括特定视点的位置和方向的补充信息给它们加上元标签。重要的“元标签”信息将包括,例如,行进方向和GPS坐标和/或海拔高度。这些“元标签”然后与先前拍摄的视频图象的特定帧相关联。在重放期间,系统利用通过GPS数据采集的当前位置和方向,调用先前从近似相同的位置和方向捕捉的图象。理想地,这两个图象一个显示在单个屏幕上的上部,另一个显示在下部。在某些应用中,例如夜间驾驶,将只显示存储的视图。GPS数据采集提供确定最接近车辆当前位置的“存储的视图”的坐标。这还可以用各种“最匹配帧”的软件来实现。然后,此系统从数据库中选择对应的视图,以便在生成车辆操作员(例如,士兵)正在车辆中实时观察的几乎精确的视图。可以针对相机视场、速度、到道路中心的距离的偏差,以及距离提取参考数据的道路上该位置的X和Y偏差,对数据库的视图进行补偿。这些校正可从照相机平台上诸如侧斜仪和加速表之类的物理传感器、或从连续图象导出的计算中确定出。信息用观察者容易比较的增强格式显示,以便使车辆操作员能够做出关于道路危险的实时决策。
作为优选实施例,可通过增加水平宽度故意使图象失真,以便最小化相对的垂直运动,或者异常的水平高宽比可用于为观察者提供具有在前后画面之间较少垂直距离的视图,从而使眼球运动最小化。这可以这样完成,例如,通过裁剪减少水平线以上区域的图象。在实现此功能的过程中,参见图1示出的组成本发明-种方案的系统10。具体地,系统10包括从部件12和部件13馈送信息的计算机11。部件12是图象源发生器,例如可见的或热感照相机,其用于结合GPS设备13给从照相机12生成帧的加上“元标签”,并被施加给计算机11用于存储。通过此建立的参考而开发的图象,将显示在分区屏幕14的底部,为参照图2另外描述的图象区域16。当行进在与重放视场16中放映的图象所基于的相同路线上时,照相机12重新生成图象,并且这样创建的图象通过GPS设备13进行搭配,通过GPS设备13加上“元标签”,并被重新引入在显示器14的上部画面15中生成实时图象的计算机11中。因为存储的图象和当前的图象两个都用GPS坐标加上了“元标签”,所以将特定场景的重放结合正在进行的当前路线进行搭配,用于直接的比较。
本发明的使用可参照图2来理解。如所述,分区屏幕14显示公路17和其周围地形。显示在显示屏14下半部16中的图象是在较早日期和时间拍摄的公路的图象。显示在屏幕上半部15的公路17和其周围地形示出了公路的相同部分,每个视图水平展开以增强水平显现对象的视觉识别,例如坐在路肩18外的对象19。生成的图象用理论上长镜头拍摄,以便给车辆操作员提供足够的时间在操作员想要调查新对象19的属性的事件中采取行动,在所述事件中,这些新对象代表由于树木倒下或地震产生障碍物而施加给公路的潜在危险。
在行或帧16中生成的图象,即示出先前公路和周围地形的描述,可从许多源进行采集,例如先前车辆的行驶。这种信息可以用电子的方式提交给可被远程显示器访问的中央服务器。
涉及的主要硬件部件是便携式PC、服务器或DVD刻录系统、小型GPS接收机和摄像机、或其它提供2维或多维数据的传感器。原则上(principle),软件部件包括同步视频/数据捕捉和重放,从USB和/或串行端口上的传感器捕捉位置和方向信息;利用“元标签”关联不同的数据组,用可以与其它地理空间信息共享或进行组合的格式存储数据,用于给存储的图象加注释以定位特征(例如,沿路线存在的潜在危险)的技术,与数据交互的接口以及与稍后将行进相同路线的其他人共享数据的方法。
值得考虑的高级功能包括能够在有限的GPS信号情况下追踪或预计视点的行程。这可通过惯性传感器或标识从具有已知GPS位置的连续帧中选择出的最接近帧的技术来实现。
其它标识(identified)的重要应用包括训练(training)以及输送(dispatch)或路线规划。驾驶模拟器将得到从当前类似图象的动画片到真实视频的改进。
通过IR和热传感器,以及诸如磁测地图或光雷达之类的替换源,还可以进行夜间操作。
简易的训练设备是录制路线的DVD,其可在DVD播放器上播放。
至于同步视频捕捉和重放,实况视频将和先前捕捉的图象一起以上/下的样式显示在屏幕的两个部分上,便于变化检测比较。为了创建一个可随机访问的数据库(与MPEG视频信息流相反),可使用JPEG存储器结构。捕捉静止的图象将基于包括已行进的距离和方向的参数。
转到从USB和/或串行端口上的传感器捕捉位置和方向信息,视频、GPS和方向传感器将通过USB或串行端口和或视频帧抓取器连接系统。PC,例如,将支持在这些端口上从传感器拖拽和检索信息的软件。
“元标签”用于关联不同的数据组。“元标签”是一种关联不同的数据组而无需被执行的明显关系的方法。此系统将利用“元标签”使包括视点位置和方向的特征与其对应的图象相关联。日时(time ofday)和异常事件也可以是“元标签”。在“元标签”中包括方向信息属于本发明,所以去北方或南方的行进方向可以确定适当的图象。其它的数据可以是海拔高度和异常事件的注释。预先确定的命令还可以嵌入数据,并只在注释的地理参考的(geo-referenced)“元标签”标记的附近接近显示。
数据以一种可以与其它地理空间信息共享或进行组合的格式来存储。系统将以可以与其它地理空间产品(例如,地质绘图业的产品,具有特征层,例如海拔高度、街道的名称、河流线框图或诸如来自ESRI的形状文件)一起使用的格式存储数据。
本发明提供了一种与稍后行进相同路线的其他人共享数据的方法。客户服务器模型(数据文件管理服务器)可用于记录和共享顾客之间的数据。数据可以使用网络或DVD或其它数据介质在客户机和服务器之间传送。捕捉便携式电脑将具有DVD录制系统,该系统将能够发布向服务器或直接向其他用户分发的DVD。该系统的设计和拓扑结构将取决于给定社区中什么类型的网络基础结构和带宽是可用的。服务器将具有所采集车辆路径的自上而下地图视图。可以用鼠标点击路线上的任一点,以提供车辆视图中的具体细节。
例如,可以采用PC或便携式计算机。可以使用网络照相机(webcam)和视频源,包括具有针对在100米看见的小型对象的9度视场、或针对拐弯街道或市区环境的更大视场的图象。相信大脑记下(register)不一致图象的能力被大大低估了。通过在单个分区屏幕中一个图象在另一个之上地显示图象,能够使观察者立刻识别不正常之处,并且时常地,当忽视图象之间不同的摄像位置、视场、对比度、阴影和色差时,观察者就可以确定这种差别的关系。还可以使用其它技术,例如以多个速率交替帧、迭加显示、对特征加衬边,或融合图象。
设想先前所录制的包括周围地形的公路的视图可以被放映(projected),并与同样放映在移动车辆的风挡玻璃上的相同区域的实时视图进行比较。这对夜间驾驶有用。然而,优选实施例将提供分区屏幕,籍此先前录制的视频与从沿路边向前移动的车辆所拍摄的实况视频相比较。通过在经过使用于计算系统内加上“元标签”进行搭配的另一场景之上提供一个场景,车辆操作员可以非常容易地检测到“以前和当前”视频的区别。当前实施例依赖于现成的商业GPS技术,以便从几乎与装在车上的当前“实况的”照相机视图相一致的数据库中检索出先前录制的参考视图。此外,理论上为了目视比较,两个视频视图都同时呈现在单个显示器上。这种技术以如下方式显示两个视图,即,显著增大和增强操作员检测出新凸出对象的“变化”的本能。还可以采用半自动化的变化检测软件,以便突出显示视图之间的差别。这种软件已经在商业上可用。在另一变型实施例中,在前后画面之间的快速显示产生了生动性,画面的变化部分看起来不时地在闪烁。
在软件应用的设想中,注意,作为地理参考数据帧单个帧是可用的,但是被用作自上而下地图视图。若干商业可用的软件包是基于视频的,但是它们通常使用MPEG压缩协议,说明只有初始帧可以是被地理参考并可容易地选择而没有格外的解码。MPEG压缩还需要处理关键帧的带宽,此外需要利用关键帧。关键帧的使用带来了访问两点之间特殊帧的重要问题,将需要重要的数据库管理工具。可以发现,通过消除对关键帧参考、复数数据访问和数据管理工具的需要,JPEG压缩将更可行。
本发明已经被描述为使用摄像机或热感照相机产生图象。还可以使用之前与当前情况数据装置的不同组合,例如用于采集的日光型彩色摄像机和用于当前夜晚图象的黑白热传感器。利用热感照相机,本发明可以在晚上应用,同时为实现本发明而从日间的图象中提供必要的图象识别和图象分化(differentiation)表示。图象还可以从线框和/或纹理的地图中由计算机生成。磁测剖面、多频谱图象、雷达、声纳或光雷达也被用于实施本发明。还可以采用道路状的视频(roadlike video)、热感HD、或弱光NTSC视频作为可行的视频源,说明实施本发明的关键在于基于地理参考的谨慎(discreet)光栅的成象产品。
作为一实施例,设想从绘制具体路线的地理地图中产生的数据,可以用可以与其它地理空间信息共享或进行组合的格式来存储。已经存在为数据库创建的地理空间扩展格式,例如源于的软件或ESRI,使数据库访问更加容易。用于交换信息的格式已经被机构开发出,例如在www.opeiiris.org可在线得到的格式。注意,国际标准ISO 19136,即,地理信息一地理图形标记语言(GML),包含了存储、组合和/或将信息与其它地理空间上参考数据组相关联的指令。存在如下的特征子类型,即,基于空间域上的覆盖函数(coveragefunction),例如人口和密度,而且观测(observation)被认为是类似于照片或测量,标有观测的时间和其它可能的一般值。本发明意欲利用观测特征作为数据存储的模板。还可以产生诸如告警之类的标记(notation),其被参考,并与捕捉的时间和标明作为参考的GPS位置摄影机方向一起进行存储。注意开放的GIS规范包括地理信息的描绘,地图类型接口通过使用显示观测点的适宜地图上的符号而被采用,因而将允许其他人检索,并显示在实施本发明中创建的信息接口。
虽然实施本发明的优选实施例设想在从车辆拍摄的档案视频之间进行比较,并将其与基本上相同方向即从移动车辆拍摄的实时视频相比较,但是可以在此采用替换的视频源,例如前视航拍(forwardlooking aerial)和下视勘查(reconnaissance)。可以采用扭曲变换和裁剪,以便将前视航拍视图创建成为类似于从在陆上的车辆拍摄的视图。为此,必须结合陆上图象捕捉不需要的处理来进行航拍成象。例如,必须说明航空照相机平台上的自我(ego)矢量,例如俯仰(pitch)、翻滚(roll)和偏航(yaw)。可替换地,车辆视图可以被变换成看起来象自上而下视图,然后可以由工作站中使用下视航拍视图的自动自动变化检测系统使用。这可以使用趋近连续帧的线性扫描来完成。在替换的图象处理技术中,诸如侧斜仪和数字指南针之类的照相机传感器上的信息,也可以被标记成特定帧,并用于计算变体(morphing)参数,以便更精密地记下之前和当前的图象。
如前所述,有各种可用于实施本发明的硬件选择。例如,一种是可以使用简单的低成本网络照相机(web cam)来提供必要的图象。还可以有效地使用常规照相机,例如带有图象稳定化处理的掌上摄录机(palmcorder)。可以采用热象仪(thermal imagery)。也可以使用弱光增强型照相机以及弱光摄像机,以及可以另外采用磁成象、雷达、声纳产生的图象和来自深度图的渲染图象。如果采用模拟视频信号(NTSC),则需要带有车载JPEG压缩的帧抓取器。这全部能够被实现成个人计算机。可替换地,视频-USB或模-数转换器可以用作输入源。GPS设备可用作包括GPS坐标和时间(time ofday)的地理参考,或者可以使用惯性GPS系统。
本发明的一个方面还考虑基于基本需要,在视频或附加的音频档案上提供潜在危险的各种指示器。例如,声音命令,磁场特征、环境声音、车辆速度、气候情况、照明及其它环境因素,可以被安装在记录的场景描述之上。在屏幕上,即将出现的事件、检查点、或判定点的警告可以通过GPS定位被触发。另外,车辆可以利用DVD和服务器一便携式计算机数据链路以及文件管理服务器彼此进行通信。
用于实施本发明的软件必须具有某些明显的要求。它必须能够一边处理实况照相机和传感器的输入,一边在分区屏幕上显示输出。虽然不是必需的,但是给系统提供同步录制和重放的能力,可以自动显示最当前的数据。软件必须能够一边接收用于当前车辆定位的GPS输入,一边从参考的视图数据库中选择一个最接近的GPS坐标所指定的视图。虽然不是必需的,但是可以一边采用相同的GPS坐标来偏移渲染视图的x和Y坐标,一边显示路边的变化,优选以基于单视场的2D输入信号的立体3D进行显示。可以利用已知的技术来达到录制的图象和当前图象之间的更好配准度,该已知的技术考虑当前照相机的自我行程以及所采集的从图象内插或车载传感器(例如,侧斜仪、加速计或数字指南针)所采集的自我行程。车载传感器的信息可以是与每个所采集的图象一起嵌入的元数据字段的一部分。每个所采集的图象的特征是深度检查所需要的。此外,如前所述,作为优选实施例,该软件还可以利用现有的半自动化变化检测软件在屏幕上突出显示可疑的危险。该软件代码将利用从适当的最接近存储的图象帧的数据库中实时精选的车载GPS设备。在车载照相机同时显示这两个图象时,从该数据库中选择最接近的GPS视图。理论上,图象被水平展开(或垂直挤压),以便在录制从车载照相机到存储设备的用于日后参考的图象时,基于道路位置和/或车载传感器进行必要的x、Y调节。变体软件还可以用于提高配准度。还设想本发明将跟踪视频图被捕捉的时间和海拔高度,而将时间和海拔高度作为“元标签”数据组的一部分进行存储。XML模式将提供这种信息的接口。
如前所述,可以结合本发明采用实时变化检测软件。标准地理参考数据(ARC Info/GIS)信息可以被输入和输出。此外,变化检测软件可以对系统进行补偿。这种软件的使用可以帮助消除错误的肯定,因而使本发明更适宜于未经训练的操作员。可以在HMD、下视显示器、LCD、投影仪和膝上计算机的屏幕上向操作员显示图象。
乡村和郊区可以用GPS坐标被绘制成地图并加上“元标签”,并被存储在适宜的图书馆中。如果发生自然灾害,例如地震,其中公路路面和周围地形基本上被改变,因而产生了危险,这种改变通过使用本发明能够被立即显现。
而且,来自船只的照相机可用于精确地航行于深水航道以避免危险。它还可以用于使飞机在不熟悉的地形中更好地降落,或驶入港口,并做出与可视对象(例如,浮标)有关的精确转向。还可以产生对象的比较,例如电力线、路标、油漆标线、路旁植被、隧道以及地形的移动。
本发明还可以产生如下用途,如夜间导航帮助,或用于记录设备沿路线的运输。例如,包括具体的转向、码头引桥(dock approach)的运输路线,以及在码头交付货物的图象,对挂有拖车的牵引车的司机具有特殊的重要性,可以监控和证明司机的执行情况,并可以充当交货证明。利用先前录制的正确位置与当前位置的比较,可以完成对车辆的精确定位。例如,通过匹配高级领航员先前录制的可以比较当前位置的海岸线树木、码头、浮标位置,可以精确地做出什么时候进入深水航道的决定。试图进入狭窄装载码头的卡车可以使用此相同原理。
Claims (24)
1.一种从移动或静止车辆检测地理空间内状况变化的方法,包括:结合GPS、或者与之不同结合捕捉的与所述地理空间相关联的地理坐标,捕捉并记录地理空间的图象或传感器数据;在从所述移动车辆穿越所述地理空间的同时访问这些坐标;当穿越所述地理空间时按照以下方式搭配该所记录图象上的地理坐标数据来重放所述记录图象,亦即:所述记录图象是与正在穿越的地理空间相同的视图;然后呈现给观察者,用于比较所述记录图象和正在穿越的地理空间。
2.权利要求1的方法,其中,所述图象是视频图象。
3.权利要求1的方法,其中,从位于所述移动车辆或移动的摄像机/传感器平台上的照相机中捕捉所述的记录图象。
4.权利要求3的方法,其中,通过查看照相机的输出,来观察所述正在穿越的地理空间的图象,所述照相机基本上位于移动车辆上与用于捕捉所述记录图象的照相机位置相同的位置。
5.权利要求1的方法,其中,所述记录图象和观察正在穿越的地理空间的图象同时被提供到一个或多个观察显示屏上。
6.权利要求5的方法,其中,单个观察显示屏提供用水平延长分界线隔开的分离图象。
7.权利要求6的方法,其中,所述观察显示屏的上半部或上面的部分提供了正在穿越的地理空间的图象,而所述观察显示屏的下半部提供了记录图象的图象。
8.权利要求1的方法,其中,所述记录图象在穿越所述地理空间时的日时拍摄。
9.权利要求1的方法,其中,所述记录图象是在基本上不同的时间拍摄的,例如有日光的数小时期间,而所述正在穿越的地理空间在晚上或其它日时被穿越。
10.权利要求9的方法,其中,使用红外照相机、增强型照相机、或其它基于诸如声纳、光雷达或雷达之类的传感器的光栅,穿越所述正在穿越的地理空间。
11.权利要求1的方法,其中,使用行扫描传感器或其它诸如磁力仪或音频传感器或其它产生地理参考数据的传感器之类的传感器,穿越所述正在穿越的地理空间。
12.权利要求1的方法,其中,使用360度视场的照相机穿越所述正在穿越的地理空间。
13.权利要求1的方法,其中,使用一个以上的传感器或多个传感器的组合,穿越正在穿越的地理空间。
14.权利要求1的方法,其中,所述记录图象被记录在DVD,或其它录制介质上。
15.权利要求1的方法,其中,图象或其它数据用表示GPS位置、观察方向、海拔高度或日时的元数据来标记。
16.权利要求1的方法,其中,图象或其它数据用表示来自惯性传感器、倾角仪、加速表、数字指南针、观察方向、以及日时的地理位置的元数据来标记。
17.权利要求5的方法,其中所述记录图象和正在穿越的地理空间之间的差异被突出显示在所述观察显示屏上。
18.权利要求5的方法,其中,通过快速地交替显示当前和先前的图象,所述记录图象和正在穿越的地理空间之间的差异被突出显示在所述观察显示屏上。
19.一种降低捕捉基于图象的照相机系统的数据库要求和带宽要求的方法,所述图象来自移动车辆或传感器平台,所述方法根据所述移动车辆或传感器平台穿越的距离,有选择地录制图象。
20.一种降低捕捉基于图象的照相机系统的数据库要求和带宽要求的方法,所述图象来自移动车辆或传感器平台,所述方法包括:根据所述移动车辆或传感器平台穿越的距离,使用GPS触发将生成图象的照相机。
21.一种向地理空间内的车辆操作员提供导航视图的方法,所述导航视图包括来自所述车辆后面的导航视图,所述方法包括:结合GPS、或者与之不同结合与所述地理空间相关联的地理坐标,记录车辆后面的地理空间图象,以及重放正在穿越的相同地理空间的所述记录图象。
22.一种确定车辆在地理空间内当前位置的方法,包括:结合GPS、或者与之不同结合采集的所述地理空间的地理坐标,记录所述地理空间的图象或传感器数据;以及,比较GPS或者与之不同采集的这样记录的地理坐标与所述车辆在所述位置的地理坐标。
23.权利要求22的方法,其中,用GPS坐标记录连续的帧,并且其中,把在比较时所述帧中最接近的一帧与车辆位置的GPS坐标进行比较。
24.一种帮助移动车辆在选定地理空间范围导航方法,包括:结合GPS、或者与之不同结合所采集的与所述地理空间相关联的地理坐标,建立所述地理空间的图象或传感器数据的数据库;在从所述移动车辆穿越所述地理空间的同时访问这些坐标;以及,在穿越所述地理空间时按照以下方式搭配所述记录图象上的地理坐标数据来重放所述记录图象,亦即:所述记录图象是与正在穿越的地理空间相同的视图。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US64190605P | 2005-01-06 | 2005-01-06 | |
US60/641,906 | 2005-01-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101137890A true CN101137890A (zh) | 2008-03-05 |
Family
ID=36648174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006800072751A Pending CN101137890A (zh) | 2005-01-06 | 2006-01-06 | 导航和检查系统 |
Country Status (9)
Country | Link |
---|---|
US (4) | US7386394B2 (zh) |
EP (1) | EP1834157A2 (zh) |
JP (2) | JP2008527542A (zh) |
CN (1) | CN101137890A (zh) |
AU (1) | AU2006203980B2 (zh) |
BR (1) | BRPI0606200A2 (zh) |
CA (1) | CA2590346A1 (zh) |
MX (1) | MX2007008283A (zh) |
WO (1) | WO2006074298A2 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103188469A (zh) * | 2011-12-27 | 2013-07-03 | 富士通株式会社 | 调查装置和调查方法 |
CN105491325A (zh) * | 2014-10-03 | 2016-04-13 | 德尔福技术有限公司 | 用于图像存储和检索的带gps的后视相机 |
CN110574365A (zh) * | 2017-03-31 | 2019-12-13 | 本田技研工业株式会社 | 图像生成装置以及图像生成方法 |
Families Citing this family (128)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9875414B2 (en) | 2014-04-15 | 2018-01-23 | General Electric Company | Route damage prediction system and method |
US20150235094A1 (en) | 2014-02-17 | 2015-08-20 | General Electric Company | Vehicle imaging system and method |
US9873442B2 (en) | 2002-06-04 | 2018-01-23 | General Electric Company | Aerial camera system and method for identifying route-related hazards |
US11124207B2 (en) | 2014-03-18 | 2021-09-21 | Transportation Ip Holdings, Llc | Optical route examination system and method |
US10110795B2 (en) | 2002-06-04 | 2018-10-23 | General Electric Company | Video system and method for data communication |
US7818123B2 (en) * | 2004-03-31 | 2010-10-19 | Pioneer Corporation | Routing guide system and method |
EP1834157A2 (en) * | 2005-01-06 | 2007-09-19 | SHULMAN, Alan | Navigation and inspection system |
JP4650028B2 (ja) * | 2005-03-02 | 2011-03-16 | 株式会社デンソー | 運転評価装置および運転評価システム |
US7797019B2 (en) * | 2006-03-29 | 2010-09-14 | Research In Motion Limited | Shared image database with geographic navigation |
US8630768B2 (en) | 2006-05-22 | 2014-01-14 | Inthinc Technology Solutions, Inc. | System and method for monitoring vehicle parameters and driver behavior |
US9067565B2 (en) | 2006-05-22 | 2015-06-30 | Inthinc Technology Solutions, Inc. | System and method for evaluating driver behavior |
US7542376B1 (en) | 2006-07-27 | 2009-06-02 | Blueview Technologies, Inc. | Vessel-mountable sonar systems |
KR100836677B1 (ko) * | 2006-09-19 | 2008-06-10 | 주식회사 레인콤 | 보조 디스플레이를 구비하는 차량용 네비게이션 시스템 |
US7899610B2 (en) | 2006-10-02 | 2011-03-01 | Inthinc Technology Solutions, Inc. | System and method for reconfiguring an electronic control unit of a motor vehicle to optimize fuel economy |
DE102006056874B4 (de) * | 2006-12-01 | 2015-02-12 | Siemens Aktiengesellschaft | Navigationsgerät |
US20080231763A1 (en) * | 2007-03-21 | 2008-09-25 | Texas Instruments Incorporated | System and method for displaying and capturing images |
US20080294337A1 (en) * | 2007-05-23 | 2008-11-27 | Christopher James Dawson | Travel-related information processing system |
US8825277B2 (en) | 2007-06-05 | 2014-09-02 | Inthinc Technology Solutions, Inc. | System and method for the collection, correlation and use of vehicle collision data |
US8666590B2 (en) | 2007-06-22 | 2014-03-04 | Inthinc Technology Solutions, Inc. | System and method for naming, filtering, and recall of remotely monitored event data |
US9129460B2 (en) | 2007-06-25 | 2015-09-08 | Inthinc Technology Solutions, Inc. | System and method for monitoring and improving driver behavior |
JP4895123B2 (ja) * | 2007-07-02 | 2012-03-14 | パイオニア株式会社 | 地物画像データ変更通知装置及び地物画像データ変更通知プログラム |
US7999670B2 (en) | 2007-07-02 | 2011-08-16 | Inthinc Technology Solutions, Inc. | System and method for defining areas of interest and modifying asset monitoring in relation thereto |
US9117246B2 (en) | 2007-07-17 | 2015-08-25 | Inthinc Technology Solutions, Inc. | System and method for providing a user interface for vehicle mentoring system users and insurers |
US8818618B2 (en) | 2007-07-17 | 2014-08-26 | Inthinc Technology Solutions, Inc. | System and method for providing a user interface for vehicle monitoring system users and insurers |
US8577703B2 (en) | 2007-07-17 | 2013-11-05 | Inthinc Technology Solutions, Inc. | System and method for categorizing driving behavior using driver mentoring and/or monitoring equipment to determine an underwriting risk |
US20090076726A1 (en) * | 2007-07-25 | 2009-03-19 | Gemignani Jr Joseph A | Transmission line data acquisition system |
US8401304B2 (en) * | 2007-07-27 | 2013-03-19 | Sportvision, Inc. | Detecting an object in an image using edge detection and morphological processing |
US7876205B2 (en) | 2007-10-02 | 2011-01-25 | Inthinc Technology Solutions, Inc. | System and method for detecting use of a wireless device in a moving vehicle |
JP2009098738A (ja) * | 2007-10-12 | 2009-05-07 | Fujitsu Ten Ltd | 画像記録条件設定装置、画像記録条件設定方法及びドライブレコーダ |
US9488471B2 (en) * | 2007-11-05 | 2016-11-08 | Doubleshot, Inc. | Methods and systems for navigation and terrain change detection |
US8315456B2 (en) | 2008-04-10 | 2012-11-20 | The Nielsen Company | Methods and apparatus for auditing signage |
TWI386626B (zh) * | 2008-07-07 | 2013-02-21 | Wistron Corp | 用於一導航系統中的圖資更新裝置及相關導航系統 |
US8688180B2 (en) | 2008-08-06 | 2014-04-01 | Inthinc Technology Solutions, Inc. | System and method for detecting use of a wireless device while driving |
TW201011259A (en) * | 2008-09-12 | 2010-03-16 | Wistron Corp | Method capable of generating real-time 3D map images and navigation system thereof |
US20100149036A1 (en) * | 2008-11-24 | 2010-06-17 | Craig Rosenberg | System and Methods for Using Current and Past Positional Data to Provide Advanced Spatial and Temporal Information and Unique Location Based Services |
FR2939188B1 (fr) * | 2008-12-02 | 2012-12-28 | Mbda France | Procede et systeme de detection d'engins explosifs improvises ou analogues |
US8892341B2 (en) | 2009-02-13 | 2014-11-18 | Inthinc Technology Solutions, Inc. | Driver mentoring to improve vehicle operation |
US8188887B2 (en) | 2009-02-13 | 2012-05-29 | Inthinc Technology Solutions, Inc. | System and method for alerting drivers to road conditions |
US8963702B2 (en) | 2009-02-13 | 2015-02-24 | Inthinc Technology Solutions, Inc. | System and method for viewing and correcting data in a street mapping database |
US8577518B2 (en) * | 2009-05-27 | 2013-11-05 | American Aerospace Advisors, Inc. | Airborne right of way autonomous imager |
US8294560B2 (en) * | 2009-07-20 | 2012-10-23 | The United States Of America As Represented By The Secretary Of The Army | Method and apparatus for identifying threats using multiple sensors in a graphical user interface |
JP2011070312A (ja) * | 2009-09-24 | 2011-04-07 | Casio Computer Co Ltd | 画像表示装置及び方法並びにプログラム |
NO332170B1 (no) * | 2009-10-14 | 2012-07-16 | Cisco Systems Int Sarl | Anordning og fremgangsmate for kamerakontroll |
US8121618B2 (en) * | 2009-10-28 | 2012-02-21 | Digimarc Corporation | Intuitive computing methods and systems |
US8489319B2 (en) * | 2009-10-28 | 2013-07-16 | Telenav, Inc. | Navigation system with video and method of operation thereof |
US20110102637A1 (en) * | 2009-11-03 | 2011-05-05 | Sony Ericsson Mobile Communications Ab | Travel videos |
KR20110052124A (ko) * | 2009-11-12 | 2011-05-18 | 삼성전자주식회사 | 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기 |
JP2011152865A (ja) * | 2010-01-27 | 2011-08-11 | Kyocera Corp | 車載撮像装置 |
US8773424B2 (en) * | 2010-02-04 | 2014-07-08 | Microsoft Corporation | User interfaces for interacting with top-down maps of reconstructed 3-D scences |
US8624902B2 (en) | 2010-02-04 | 2014-01-07 | Microsoft Corporation | Transitioning between top-down maps and local navigation of reconstructed 3-D scenes |
US20110187704A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | Generating and displaying top-down maps of reconstructed 3-d scenes |
US20110221906A1 (en) * | 2010-03-12 | 2011-09-15 | Board Of Regents, The University Of Texas System | Multiple Camera System for Automated Surface Distress Measurement |
US8295589B2 (en) | 2010-05-20 | 2012-10-23 | Microsoft Corporation | Spatially registering user photographs |
US9122707B2 (en) | 2010-05-28 | 2015-09-01 | Nokia Technologies Oy | Method and apparatus for providing a localized virtual reality environment |
JP5626966B2 (ja) * | 2010-05-28 | 2014-11-19 | 株式会社小糸製作所 | 車両用前照灯の制御装置、車両用前照灯システム |
WO2011159855A1 (en) * | 2010-06-16 | 2011-12-22 | Yale University | Forest inventory assessment using remote sensing data |
SG182831A1 (en) * | 2010-07-06 | 2012-09-27 | Rakan Khaled Y Alkhalaf | System for creating a visual animation of objects |
US8503794B2 (en) | 2010-07-28 | 2013-08-06 | Microsoft Corporation | Data difference guided image capturing |
WO2012037994A1 (en) * | 2010-09-23 | 2012-03-29 | Telefonica, S.A. | Method and system for calculating the geo-location of a personal device |
US8971651B2 (en) | 2010-11-08 | 2015-03-03 | Sony Corporation | Videolens media engine |
US8718837B2 (en) * | 2011-01-28 | 2014-05-06 | Intouch Technologies | Interfacing with a mobile telepresence robot |
JP5775354B2 (ja) | 2011-04-28 | 2015-09-09 | 株式会社トプコン | 離着陸ターゲット装置及び自動離着陸システム |
US9026242B2 (en) | 2011-05-19 | 2015-05-05 | Taktia Llc | Automatically guided tools |
EP2527787B1 (en) * | 2011-05-23 | 2019-09-11 | Kabushiki Kaisha TOPCON | Aerial photograph image pickup method and aerial photograph image pickup apparatus |
JP5882693B2 (ja) | 2011-11-24 | 2016-03-09 | 株式会社トプコン | 航空写真撮像方法及び航空写真撮像装置 |
US8938393B2 (en) | 2011-06-28 | 2015-01-20 | Sony Corporation | Extended videolens media engine for audio recognition |
US8755559B1 (en) * | 2011-08-10 | 2014-06-17 | Google Inc. | Determining GPS coordinates for images |
US10169822B2 (en) | 2011-12-02 | 2019-01-01 | Spireon, Inc. | Insurance rate optimization through driver behavior monitoring |
US8510200B2 (en) | 2011-12-02 | 2013-08-13 | Spireon, Inc. | Geospatial data based assessment of driver behavior |
JP2012063367A (ja) * | 2011-12-14 | 2012-03-29 | Pioneer Electronic Corp | 地物画像データ通知装置、地物画像データ通知方法及び地物画像データ通知プログラム |
GB201202344D0 (en) | 2012-02-10 | 2012-03-28 | Isis Innovation | Method of locating a sensor and related apparatus |
US9981671B2 (en) * | 2012-03-01 | 2018-05-29 | Nordco Inc. | Railway inspection system |
WO2013163588A1 (en) | 2012-04-26 | 2013-10-31 | Alec Rothmyer Rivers | Systems and methods for performing a task on a material, or locating the position of a device relative to the surface of the material |
JP6122591B2 (ja) | 2012-08-24 | 2017-04-26 | 株式会社トプコン | 写真測量用カメラ及び航空写真装置 |
US8954853B2 (en) * | 2012-09-06 | 2015-02-10 | Robotic Research, Llc | Method and system for visualization enhancement for situational awareness |
US20140111322A1 (en) * | 2012-10-23 | 2014-04-24 | Chad Steelberg | System and Method for Capturing and Transmitting Real Time Sports Performance Data |
JP6055274B2 (ja) | 2012-10-31 | 2016-12-27 | 株式会社トプコン | 航空写真測定方法及び航空写真測定システム |
US8933802B2 (en) | 2012-11-05 | 2015-01-13 | Spireon, Inc. | Switch and actuator coupling in a chassis of a container associated with an intermodal freight transport system |
US9779379B2 (en) | 2012-11-05 | 2017-10-03 | Spireon, Inc. | Container verification through an electrical receptacle and plug associated with a container and a transport vehicle of an intermodal freight transport system |
KR101444685B1 (ko) * | 2013-02-04 | 2014-09-26 | 서울시립대학교 산학협력단 | 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치 |
US20140233907A1 (en) * | 2013-02-18 | 2014-08-21 | Thomas Anderson | Method and apparatus for creating and sharing multiple perspective images |
US9672223B2 (en) * | 2013-04-25 | 2017-06-06 | Google Inc. | Geo photo searching based on current conditions at a location |
US10331733B2 (en) | 2013-04-25 | 2019-06-25 | Google Llc | System and method for presenting condition-specific geographic imagery |
KR101428403B1 (ko) | 2013-07-17 | 2014-08-07 | 현대자동차주식회사 | 전방 장애물 검출 장치 및 방법 |
US9538077B1 (en) | 2013-07-26 | 2017-01-03 | Ambarella, Inc. | Surround camera to generate a parking video signal and a recorder video signal from a single sensor |
US9779449B2 (en) | 2013-08-30 | 2017-10-03 | Spireon, Inc. | Veracity determination through comparison of a geospatial location of a vehicle with a provided data |
US9558408B2 (en) | 2013-10-15 | 2017-01-31 | Ford Global Technologies, Llc | Traffic signal prediction |
US20150106010A1 (en) * | 2013-10-15 | 2015-04-16 | Ford Global Technologies, Llc | Aerial data for vehicle navigation |
US9172477B2 (en) | 2013-10-30 | 2015-10-27 | Inthinc Technology Solutions, Inc. | Wireless device detection using multiple antennas separated by an RF shield |
US20150161446A1 (en) * | 2013-12-10 | 2015-06-11 | Eliot Kirkpatrick | 2d/3d analysis and rendering of utilities, valves, information and assets into video |
CN104854428B (zh) | 2013-12-10 | 2018-12-14 | 深圳市大疆创新科技有限公司 | 传感器融合 |
US20150186991A1 (en) | 2013-12-31 | 2015-07-02 | David M. Meyer | Creditor alert when a vehicle enters an impound lot |
US9311639B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods, apparatus and arrangements for device to device communication |
CN110545380B (zh) * | 2014-02-17 | 2021-08-06 | 通用电气全球采购有限责任公司 | 用于数据通信的视频系统和方法 |
CN103841381A (zh) * | 2014-03-19 | 2014-06-04 | 国家电网公司 | 一种无死角摄像记录的输电线路巡查装置 |
US9723224B2 (en) | 2014-03-31 | 2017-08-01 | Google Technology Holdings LLC | Adaptive low-light identification |
US9977935B1 (en) * | 2014-06-20 | 2018-05-22 | Secured Mobility, Llc | Student accountability system |
WO2016033796A1 (en) | 2014-09-05 | 2016-03-10 | SZ DJI Technology Co., Ltd. | Context-based flight mode selection |
CN114675671A (zh) | 2014-09-05 | 2022-06-28 | 深圳市大疆创新科技有限公司 | 多传感器环境地图构建 |
JP6181300B2 (ja) | 2014-09-05 | 2017-08-16 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 無人航空機の速度を制御するシステム |
US20160189323A1 (en) * | 2014-12-26 | 2016-06-30 | Panasonic Intellectual Property Corporation Of America | Risk determination method, risk determination device, risk determination system, and risk output device |
US10336462B2 (en) * | 2015-03-12 | 2019-07-02 | Vu Systems, LLC | Vehicle navigation methods, systems and computer program products |
US9551788B2 (en) | 2015-03-24 | 2017-01-24 | Jim Epler | Fleet pan to provide measurement and location of a stored transport item while maximizing space in an interior cavity of a trailer |
US10456883B2 (en) | 2015-05-13 | 2019-10-29 | Shaper Tools, Inc. | Systems, methods and apparatus for guided tools |
US11270480B2 (en) | 2015-09-10 | 2022-03-08 | Landmark Graphics Corporation | Method for N-dimensional detection of spatial, temporal and gravimetric attributes and associated variation in plots, digital objects and photographs |
SE540595C2 (en) | 2015-12-02 | 2018-10-02 | Icomera Ab | Method and system for identifying alterations to railway tracks or other objects in the vicinity of a train |
US10239456B1 (en) | 2016-02-10 | 2019-03-26 | Ambarella, Inc. | Apparatus to adjust a field of view displayed on an electronic mirror using an automobile state or a driver action |
EP3500894B1 (en) | 2016-08-19 | 2024-05-15 | Shaper Tools, Inc. | Apparatus and method for guiding a tool positioned on the surface of a piece of material |
US10769667B2 (en) | 2016-10-25 | 2020-09-08 | At&T Intellectual Property I, L.P. | Billboard-based advertising system |
US10708547B2 (en) * | 2016-11-11 | 2020-07-07 | Nio Usa, Inc. | Using vehicle sensor data to monitor environmental and geologic conditions |
US10694357B2 (en) | 2016-11-11 | 2020-06-23 | Nio Usa, Inc. | Using vehicle sensor data to monitor pedestrian health |
US10192111B2 (en) | 2017-03-10 | 2019-01-29 | At&T Intellectual Property I, L.P. | Structure from motion for drone videos |
US10549853B2 (en) * | 2017-05-26 | 2020-02-04 | The Boeing Company | Apparatus, system, and method for determining an object's location in image video data |
US10789682B2 (en) | 2017-06-16 | 2020-09-29 | The Boeing Company | Apparatus, system, and method for enhancing an image |
US10606271B2 (en) | 2017-07-17 | 2020-03-31 | The Boeing Company | Magnetic navigation and positioning system |
JP6936098B2 (ja) * | 2017-09-29 | 2021-09-15 | トヨタ自動車株式会社 | 対象物推定装置 |
KR102333033B1 (ko) * | 2017-12-07 | 2021-12-01 | 삼성전자주식회사 | 차량 및 그 제어 방법 |
US10712810B2 (en) | 2017-12-08 | 2020-07-14 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for interactive 360 video playback based on user location |
JP7293648B2 (ja) * | 2018-12-21 | 2023-06-20 | トヨタ自動車株式会社 | 運転支援装置、車両、運転支援システム、及び運転支援方法 |
KR102569032B1 (ko) | 2019-01-22 | 2023-08-23 | 삼성전자주식회사 | 전자 장치 및 그의 컨텐트 제공 방법 |
SE543432C2 (en) * | 2019-06-27 | 2021-02-16 | Vricon Systems Ab | A method and system for navigation of a vehicle |
US20230001282A1 (en) * | 2019-11-25 | 2023-01-05 | Pu Huang | Exercise equipment with interactive real road simulation |
US20210372809A1 (en) * | 2020-06-02 | 2021-12-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Travel route observation and comparison system for a vehicle |
NL2027547B1 (en) * | 2021-02-11 | 2022-09-12 | Ingb Geodelta B V | Method of and apparatus for determining deformations of quay walls using a photogrammetric system |
US20230118819A1 (en) * | 2021-10-14 | 2023-04-20 | Takeleap Dmcc | Gpu based embedded vision solution |
US11615428B1 (en) | 2022-01-04 | 2023-03-28 | Natural Capital Exchange, Inc. | On-demand estimation of potential carbon credit production for a forested area |
US20230267691A1 (en) * | 2022-02-22 | 2023-08-24 | Snap Inc. | Scene change detection with novel view synthesis |
JP7464230B1 (ja) | 2022-10-04 | 2024-04-09 | 株式会社Cct | 表示装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4680120A (en) * | 1985-05-07 | 1987-07-14 | J. T. Baker Chemical Company | Bonded phase of silica and carboalkoxyalkyl silanes for solid phase extraction |
JPH04195397A (ja) * | 1990-11-27 | 1992-07-15 | Matsushita Electric Ind Co Ltd | 道路障害監視装置 |
US5517419A (en) * | 1993-07-22 | 1996-05-14 | Synectics Corporation | Advanced terrain mapping system |
IL117279A (en) * | 1996-02-27 | 2000-01-31 | Israel Aircraft Ind Ltd | System for detecting obstacles on a railway track |
FR2747492B1 (fr) * | 1996-04-15 | 1998-06-05 | Dassault Electronique | Dispositif d'anti-collision terrain pour aeronef avec prediction de virage |
JP3279960B2 (ja) * | 1997-06-27 | 2002-04-30 | 松下電器産業株式会社 | 経路画像情報記録再生装置及び経路画像情報記録方法 |
JPH1194571A (ja) * | 1997-09-18 | 1999-04-09 | Toshiba Corp | 記録再生装置、記録再生方法、及び記録媒体 |
JP3851430B2 (ja) * | 1997-11-04 | 2006-11-29 | 株式会社エクォス・リサーチ | 交通情報表示装置 |
US6154133A (en) * | 1998-01-22 | 2000-11-28 | Ross & Baruzzini, Inc. | Exit guard system |
US20030025599A1 (en) * | 2001-05-11 | 2003-02-06 | Monroe David A. | Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events |
US6246933B1 (en) * | 1999-11-04 | 2001-06-12 | BAGUé ADOLFO VAEZA | Traffic accident data recorder and traffic accident reproduction system and method |
US7216295B2 (en) * | 2001-12-20 | 2007-05-08 | Canon Kabushiki Kaisha | Method of automatic production of image presentations |
US7382277B2 (en) * | 2003-02-12 | 2008-06-03 | Edward D. Ioli Trust | System for tracking suspicious vehicular activity |
JP3725134B2 (ja) * | 2003-04-14 | 2005-12-07 | 株式会社エヌ・ティ・ティ・ドコモ | 移動通信システム、移動通信端末、及びプログラム。 |
DE602004014674D1 (de) * | 2003-05-09 | 2008-08-14 | Matsushita Electric Ind Co Ltd | Videowiedergabesystem und Fahrzeugnavigationsvorrichtung in einem Fahrzeug |
JP2007520934A (ja) * | 2003-12-24 | 2007-07-26 | ウオーカー ディジタル、エルエルシー | 画像を自動的に捕捉し、管理する方法および装置 |
JP4981455B2 (ja) * | 2004-02-04 | 2012-07-18 | ディジマーク コーポレイション | オンチップでの電子透かしの入ったイメージ信号及び電子透かしを通じた写真によるトラベルログ |
EP1834157A2 (en) * | 2005-01-06 | 2007-09-19 | SHULMAN, Alan | Navigation and inspection system |
-
2006
- 2006-01-06 EP EP06717502A patent/EP1834157A2/en not_active Withdrawn
- 2006-01-06 MX MX2007008283A patent/MX2007008283A/es active IP Right Grant
- 2006-01-06 JP JP2007550460A patent/JP2008527542A/ja active Pending
- 2006-01-06 AU AU2006203980A patent/AU2006203980B2/en not_active Ceased
- 2006-01-06 US US11/326,820 patent/US7386394B2/en not_active Expired - Fee Related
- 2006-01-06 CN CNA2006800072751A patent/CN101137890A/zh active Pending
- 2006-01-06 CA CA002590346A patent/CA2590346A1/en not_active Abandoned
- 2006-01-06 BR BRPI0606200-8A patent/BRPI0606200A2/pt not_active IP Right Cessation
- 2006-01-06 US US11/326,821 patent/US7571051B1/en not_active Expired - Fee Related
- 2006-01-06 WO PCT/US2006/000313 patent/WO2006074298A2/en active Application Filing
-
2008
- 2008-06-09 US US12/135,841 patent/US8000895B2/en not_active Expired - Fee Related
-
2009
- 2009-07-20 US US12/505,766 patent/US8036827B2/en not_active Expired - Fee Related
-
2011
- 2011-05-27 JP JP2011118848A patent/JP2011238242A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103188469A (zh) * | 2011-12-27 | 2013-07-03 | 富士通株式会社 | 调查装置和调查方法 |
US9646213B2 (en) | 2011-12-27 | 2017-05-09 | Fujitsu Limited | Survey apparatus, computer-readable storage medium and survey method |
CN105491325A (zh) * | 2014-10-03 | 2016-04-13 | 德尔福技术有限公司 | 用于图像存储和检索的带gps的后视相机 |
CN110574365A (zh) * | 2017-03-31 | 2019-12-13 | 本田技研工业株式会社 | 图像生成装置以及图像生成方法 |
CN110574365B (zh) * | 2017-03-31 | 2021-07-06 | 本田技研工业株式会社 | 图像生成装置以及图像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2006074298A2 (en) | 2006-07-13 |
MX2007008283A (es) | 2007-12-05 |
US7571051B1 (en) | 2009-08-04 |
EP1834157A2 (en) | 2007-09-19 |
US20070061076A1 (en) | 2007-03-15 |
JP2008527542A (ja) | 2008-07-24 |
US7386394B2 (en) | 2008-06-10 |
AU2006203980A1 (en) | 2006-07-13 |
US20090015685A1 (en) | 2009-01-15 |
AU2006203980B2 (en) | 2010-04-22 |
CA2590346A1 (en) | 2006-07-13 |
US8036827B2 (en) | 2011-10-11 |
US20090278938A1 (en) | 2009-11-12 |
BRPI0606200A2 (pt) | 2009-11-17 |
WO2006074298A3 (en) | 2007-08-09 |
JP2011238242A (ja) | 2011-11-24 |
US8000895B2 (en) | 2011-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101137890A (zh) | 导航和检查系统 | |
US9858717B2 (en) | System and method for producing multi-angle views of an object-of-interest from images in an image dataset | |
CN109588060B (zh) | 控制传感器的方法和相应装置、车辆、系统以及计算机可读存储介质 | |
Kanade et al. | Advances in cooperative multi-sensor video surveillance | |
JP4854819B2 (ja) | 画像情報出力方法 | |
Paparoditis et al. | Stereopolis II: A multi-purpose and multi-sensor 3D mobile mapping system for street visualisation and 3D metrology | |
US11415986B2 (en) | Geocoding data for an automated vehicle | |
JP3432212B2 (ja) | 画像処理装置及び方法 | |
CN102855659B (zh) | 高速综合检测列车三维全息可视化系统与方法 | |
JP4273074B2 (ja) | 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 | |
EP2056256A2 (en) | System and method for revealing occluded objects in an image dataset | |
CN101681525A (zh) | 产生多视点全景图的方法及设备 | |
Edelman et al. | Tracking people and cars using 3D modeling and CCTV | |
JP2009217524A (ja) | 都市景観の3次元動画生成および閲覧システム | |
WO2008082423A1 (en) | Navigation and inspection system | |
Manuel et al. | Videogrammetry in vehicle crash reconstruction with a moving video camera | |
Zheng et al. | Scanning and rendering scene tunnels for virtual city traversing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20080305 |