CN102577349A - 基于图像的表面追踪 - Google Patents
基于图像的表面追踪 Download PDFInfo
- Publication number
- CN102577349A CN102577349A CN201080031208XA CN201080031208A CN102577349A CN 102577349 A CN102577349 A CN 102577349A CN 201080031208X A CN201080031208X A CN 201080031208XA CN 201080031208 A CN201080031208 A CN 201080031208A CN 102577349 A CN102577349 A CN 102577349A
- Authority
- CN
- China
- Prior art keywords
- capture device
- image capture
- group
- scene
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 288
- 230000033001 locomotion Effects 0.000 claims abstract description 112
- 238000005457 optimization Methods 0.000 claims description 73
- 238000013507 mapping Methods 0.000 claims description 49
- 238000005259 measurement Methods 0.000 claims description 33
- 230000008878 coupling Effects 0.000 claims description 24
- 238000010168 coupling process Methods 0.000 claims description 24
- 238000005859 coupling reaction Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000011835 investigation Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 25
- 230000006870 function Effects 0.000 description 53
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241001061260 Emmelichthys struhsakeri Species 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000614201 Adenocaulon bicolor Species 0.000 description 1
- 244000291564 Allium cepa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000002837 heart atrium Anatomy 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及一种使用图像捕捉装置(12)进行图像追踪的方法。所述方法包括:使用图像捕捉装置执行场景(54)的图像捕捉;通过使用图像处理算法(64)分析一组图像,追踪图像捕捉装置(12)的运动(62)。
Description
技术领域
本发明涉及基于图像的导航的领域。
背景技术
在看不清天空的区域,例如隧道或森林中,GPS设备由于难以从GPS卫星接收信号,故而在保持准确定位方面面临着巨大挑战。我们提出一种应用,我们称作“地面追踪”,其可发现图像捕捉装置的3D位置。此图像捕捉装置可以采用任意走向,它捕捉图像并组合使用统计学和图像处理算法,估算其3D轨道。
发明内容
在本节发明内容中,将下文具体实施方式中深入描述的概念选出一部分进行介绍。本节发明内容不是为了标识申请标的物的关键或核心特征,也不是为了协助决定申请标的物的范围。
本发明提供一种图像追踪的方法。所述方法包括:(A)使用图像捕捉装置执行场景的图像捕捉;以及(B)通过分析一组图像,追踪所述图像捕捉装置的运动。
附图说明
作为并入本说明书的一部分,以下附图图解说明了本技术的实施方式,并与具体实施方式一起详细解释了本发明:
图1描绘了如本技术一实施方式的图像追踪装置。
图2是如本技术一实施方式的图像追踪方法的流程图。
图3图解说明了如本技术一实施方式的图像追踪方法的流程图,其中使用测距装置获得场景的深度数据。
图4的图表图解说明了图像捕捉装置的所得:一场景的图像。
图5的图表图解说明了如本技术一实施方式使用图像处理算法算出的图像捕捉装置2D运动。
图6的图表图解说明了如本技术一实施方式使用图像处理算法算出的图像捕捉装置高度运动。
图7的图表图解说明了如本技术一实施方式使用图像处理算法算出的图像捕捉装置的总旋转角(yaw、pitch和roll)。
具体实施方式
附图举例说明了本技术的实施方式,以下将对本技术的实施方式进行详细描述。尽管下文将结合各实施方式描述本技术,应知,它们不应将本技术局限于这些实施方式。相反,本技术应涵盖任何替换、修改和等同方式,只要其不脱离所附权利要求书所定义的各实施方式的精神和范畴。
此外,在以下具体实施方式中,为提供对所呈实施方式的透彻理解而提出了众多具体细节。然而,本领域的一般技术人员显然易知,所呈实施方式无须这些特定细节也可实施。另外,对于熟知的方法、工艺、组件和电路不再详细描述,以免对所呈实施方式造成不必要的混淆。
图1的方块图10图解说明了如本技术一实施方式的图像追踪装置22。
在本技术一实施方式中,图像追踪装置22进一步包括:图像捕捉装置12,其被够设为以软件模式(SW)执行场景20的图像捕捉。图像捕捉装置12进一步包括:存储器24,存储器24上装载有图像处理算法25;以及通用处理器(或数字信号处理器、或图形处理单元等)26,其被构设为通过启动图像处理算法25来分析图像组。
在本技术一实施方式中,图像追踪装置22进一步包括:图像捕捉装置12,其被够设为以硬件模式(HW)执行场景20的图像捕捉。图像捕捉装置12进一步包括:ASIC芯片(或FPGA芯片)27(模拟或数字模式),其被构设为通过以硬件执行图像处理算法25来分析图像组。
图像捕捉装置12选自以下集合:{数码相机;数码摄像机;数码摄录机;立体数码相机;立体摄像机;电影摄影像机;电视摄像机;以及深度相机}。
在本技术一实施方式中,图像捕捉装置12为不透光的暗盒,在此暗盒中场景20的图像是通过针孔或镜头16形成在传感器感光板32上。另外,数码摄像机和数码相机将图像存储在固态存储器28、或磁性媒体或光碟28中。
动影或电影摄影机以规则间隔在一系列帧中记录运动。电视摄像机或数码摄像机以电子方式记录运动用于播出,并存储在磁性媒体或光碟上。摄录机和摄像机可在一个设备中同时含有图像传感器和图像记录媒体。
除了针孔相机通过极小的孔将图像聚焦于胶片上,其他所有相机都使用镜头16进行聚焦。镜头的焦距,即镜头后端(聚焦于无穷远时)到成像装置之间的距离,决定了视角或视场(FOV)18以及物体出现在成像表面传感器感光板32上的尺寸。通过调整镜头与所述表面之间的距离可将图像聚焦于所述表面上。
在本技术一实施方式中,镜头16进一步包括规则直线性镜头。直线性镜头是直线没有严重弯曲或扭曲的镜头。
在本技术一实施方式中,镜头16进一步包括鱼眼镜头。鱼眼镜头是采集极广的半球图像的广角镜头。鱼眼镜头常用来拍摄宽幅风景。鱼眼镜头通过弃用直线性图像,达到极宽的视角,替之以一种特殊映射(例如等固角),这种镜头得到的图像将具有典型的凸面外观。
在本技术一实施方式中,镜头16进一步包括用户校准镜头。
在本技术一实施方式中,图像捕捉装置12进一步包括显示器34,显示器34进一步包括光学显示器、液晶显示器(LCD)或屏幕。
在本技术一实施方式中,图像捕捉装置12进一步包括立体数码相机。立体相机是含有两个或更多镜头的相机类型。这样做使相机可以模拟双眼的视觉效果,从而能够捕捉三维图像,即所谓的立体拍摄过程。立体相机可用于制作立体视图和电影用的3D照片,或用于距离成像(range imaging)。位于英国的3D Images Ltd.公司生产一种3D立体数码相机,它是一种全自动的时间同步的立体数码相机。位于加拿大的Point Grey Research Inc.公司生产的双眼镜头或多阵列相机可提供未系统化环境中的全视野3D测量。
物体的图像的基本要素是像素,像素描述单个颜色点或灰阶点。
每个像素包括一系列描述其颜色或亮度的数字。一个像素能声明其颜色的精确程度称为其位元或颜色深度。图像包含的像素越多,其就能描述越多的细节。
由于一个像素仅为信息的一个逻辑单元,故而其不能描述真实世界的维度,除非还声明了其尺寸。术语“每英寸像素数(PPI)”的引入是为了将此理论像素单元与真实世界目视分辨率相关联。
“每英寸像素数(PPI)”是非常直接的术语。它正是表示:图像在水平和垂直方向上的每英寸距离内包含多少像素。
“兆像素”是单位“百万像素”的简称。数码相机可使用兆像素(百万个极小的像素)的传感器阵列来产生图像。当按下相机快门开始曝光时,这些像素的每一个都有一个“光站(photo site)”可存储光子。一旦曝光结束,相机便尝试评估有多少个光子落入其中。继而每个小室中的光子的相对数量被分为不同的亮度级别,其精度由位元深度(8位元图像为0-255)决定。
每个小室不能区分每种颜色落入多少,因此上述描述只能产生灰阶图像。一种提供数字传感器以捕捉颜色信息的方法是:过滤进入每个小室的光,从而使传感器能区分红色(R)、绿色(G)和蓝色(B)光。
在本技术一实施方式中,从场景20上的物点30深度到基于图像的追踪装置22的距离的测定,是使用选自以下集合的测距装置14:{点激光束;声纳;雷达;激光扫描仪;以及深度相机}。
点激光束测距装置14的实施可使用蓝色固态激光仪、红色二极管激光仪、IR激光仪,且可为连续照射激光仪、或脉冲激光仪、或顺序激光仪。
激光扫描仪测距装置14的实施可使用传感器信息网站www.sick.com提供的定位传感器。
例如,可使用型号名称为S10B-9011DA的激光扫描仪,其拥有小巧的外壳和强大的IP 65设计。这种激光扫描仪具有以下数据表单:尺寸:(WxHxD)=102x152x105mm,270°的扫描角度,以及10米的切换场距(field range)。它具有以下功能:待机模式,7段输入显示,系统内的一体化参数存储器,插入式CANopen接口,以及较低的能量消耗。
声纳测距装置14的实施可使用包括声音发送器和接收器的主动式声纳。
主动式声纳产生声音脉冲(常称作“ping”),而后倾听脉冲的反射(回声)。声音脉冲通常是使用声纳发射器以电子方式产生,声纳发射器由信号发生器、功率放大器和电/声换能器/阵列、可能还有波束形成器组成。测量场景20的距离时,测量脉冲从发送到接收的时间,并通过知晓声音的速度将其转换为间距。脉冲可以采用固定频率或变化频率的线性调频脉冲(chirp)(从而允许接收后的脉冲压缩)。脉冲压缩可以使用数字关联技术达成。
雷达测距装置14的实施可使用发送器发出微波或无线电波,微波或无线电波由场景20反射,并由接收器探测,所述接收器通常与所述发送器置于一处。
在本技术一实施方式中,图像捕捉装置12进一步包括深度相机,深度相机将物体图像的采集和物体距离的测量结合在一起。
深度相机的实施可使用能同时捕捉视频和深度信息的ZCam摄像机。这种相机的传感器能够使用一种称为飞行时间(Time-Of-Flight)的原理,测量每个所捕捉到的像素的深度。它通过向场景内所有物体发送红外光脉冲、并感测从每个物体表面反射回来的光,来获得3D信息。深度的测量是通过计算光线从离开光源到被场景20内的物体反射回来的飞行时间。使用CMOS时数转换器,单独将每个像素的该往返时间转换为数字码。根据厂商3DV System的输入,深度分辨率非常好:它可以探测到低至0.4英寸的3D运动和体积,且同时以每秒60帧的速度捕捉1.3兆像素的全色视频。
在本技术一实施方式中,仍参见图1,图像捕捉装置12进一步包括选自以下集合的调查仪器36:{全球导航卫星系统(GNSS)调查系统;激光平面系统;和经纬仪}。在此实施方式中,对场景20进行预调查,并由基于图像的追踪装置22将场景距离数据与一组图像结合起来使用,以确定基于图像的追踪装置22的位置坐标。
全球导航卫星系统(GNSS)调查系统36的实施可使用TRIMBLE R8 GNSS系统,它支持所有的GPS和GLONASS L1/L2信号,包括GPS新的L2C和即将问世的L5信号,并且能够追踪高达44颗卫星。
全球导航卫星系统(GNSS)调查系统36的实施也可使用R7 GNSS系统,它包括整合在一个设备中的高精度GPS接收器和UHF无线电设备。Trimble R7GNSS可用于RTK或静态调查。模块化的Trimble R7 GNSS系统使用独立天线:作为流动站时用Trimble ZephyrTM 2而作为基站时用Zephyr GeodeticTM 2。TrimbleGeoExplorer软件可用于各种探路者(pathfinder)情景。Trimble GeoExplorer具有以下数据表单:含一体化SBAS的1至3米GPS;能清楚生动地查看地图的高分辨率VGA显示器;蓝牙和无线LAN连接选项;1GB的机载存储器外加SD插槽以便使用移动式卡。它包括Windows Mobile第6版操作系统。它也可以实施为带有全天电池的加固手持设备。
激光平面调查系统36的实施也可使用Trimble产品-Spectra Precision激光仪GL412和GL422。激光仪GL 412和GL 422坡度激光仪是性价比高的自动自找平激光仪,可使用铅锤完成三项工作-水平、坡度和垂直对准。两种激光仪都提供双向全功能遥控,这样用户可以在作业现场任何位置进行坡度变化,从而即可缩短设置时间又可加快操作速度。GL 412(单坡度)和GL 422(双坡度)在整个工作区域上发射360度的连续自找平的激光参考信号,并且坡度范围很宽,从而可应用于各种斜坡场合。
激光平面调查系统36的实施也可使用Apache Horizon激光仪,它可发出连续的自找平激光束,而激光束的旋转将产生激光平面。此平面能覆盖的作业面积的直径高达1600英寸(500米)。参考平面被一或更多个激光探测器感测到,所述激光探测器可指示坡度变化的方向。
经纬仪调查系统36的实施也可使用S6 DR(直接反射)全站仪(TotalStation),它是无线的机器人全站和流动站。用户可使用Trimble MultiTrack Targe选择主动式或被动式追踪。主动式追踪允许用户定位并锁定正确目标。
在本技术一实施方式中,图像追踪的方法的实施是使用图1所示的基于图像的追踪装置22。具体而言,通过使用图像捕捉装置12执行场景20的图像捕捉,执行步骤(A),而通过使用图像处理算法25分析一组图像,执行步骤(B)-追踪图像捕捉装置12的运动。
在本技术一实施方式中,使用图像捕捉装置12,实时执行步骤(A)-执行场景20的图像捕捉。
在本技术另一实施方式中,使用图像捕捉装置12,预记录步骤(A)-执行场景20的图像捕捉。
在本技术一实施方式中,步骤(A)-执行场景20的图像捕捉-进一步包括步骤(A3)-通过使用如上文完整揭示的调查仪器36预调查场景20,获得场景20的一组深度数据。
在本技术一实施方式中,使用图像处理算法25,执行步骤(B)-追踪图像捕捉装置12的运动。
在本技术一实施方式中,通过分析图像捕捉装置12所捕捉的所述一组图像,图像处理算法25可实现图像捕捉装置12的视频追踪。
在本技术一实施方式中,图像处理算法25采取全局刚性运动。用图像捕捉装置12的六个自由度将全局光流参数化,便可通过求解非线性最小二乘法问题找出两个相邻帧之间的最优全局变换。
要执行六个自由度的刚性全局变换,需要知晓场景20的深度。如上文完整揭示,或者预调查场景20,或者随同外部装置(如点激光束、深度图像捕捉装置、立体相机装置等)的图像捕捉一起实时获得深度测量值。
在本技术一实施方式中,图像处理算法25使用帧函数匹配像素的光学性能。
在本技术一实施方式中,当深度信息可获得时,图像处理算法25通过对帧函数的重新定义匹配两个帧的深度(而非像素的光学性能)。
在本技术一实施方式中,可通过像素光学性能和深度信息的结合改进图像处理算法25。此举的达成可通过结合使用成本函数、或使两个进程相互辅助,如下文完整揭示。
在本技术一实施方式中,图像处理算法25使用若干坐标系统:固定参考系统;图像捕捉装置12附带的参考系统;以及图像捕捉装置的传感器平面32上的2D参考系统。
在固定参考系统中,场景20中的点30的坐标为x=(x,y,z),图像捕捉装置12表述为6维矢量38,其包括对于每个第i帧装置的位置坐标xci=(xci,yci,zci)和装置的走向坐标(yaw、pitch和roll)。
在图像捕捉装置12附带的参考系统中,场景20中的相同点30的坐标为相对图像捕捉装置12的xi=(xi,yi,zi)。
在图像捕捉装置的传感器平面32附带的2D参考系统中,第i帧中一点的2D像素坐标为:
ui=(ui,vi)。
固定3D系统与图像捕捉装置附带的3D系统之间的关系如下:
xi=(x-cci)Ri, (等式1)
其中
为两个系统之间的旋转矩阵。
图像捕捉装置附带的3D坐标与2D像素坐标之间的关系取决于图像捕捉装置12的映射函数m。映射函数使用在第i帧的图像捕捉装置附带的系统中的3D坐标xi,并映射为第i帧中的2D坐标:
ui=m(xi) (等式3)
映射函数的形式取决于镜头的类型。在本技术一实施方式中,镜头16包括规则直线性镜头(反转针孔模式),则映射函数m可由以下等式得出:
其中f为图像捕捉装置12焦距,su、sv为像素宽度及高度,u0、v0为光学中心和传感器中心之间的偏差。
在本技术另一实施方式中,镜头16包括正交鱼眼镜头,则映射函数m可由以下等式得出:
其中r为点到光学中心的距离
在本技术一实施方式中,映射函数m可以用数字形式校准和存储。
要得出映射函数的反函数:
xi=m-1(ui), (等式6)
需知晓物点30的深度。
在本技术一实施方式中,如上文所揭示,可预调查场景20。在本技术的此实施方式中,深度测量值的取得是在3D固定参考系统中z=z(x,y),帧与帧之间没有变化。
在本技术一实施方式中,如果测距装置14附带于图像捕捉装置12,则场景物点30的深度可作为每一帧中像素位置的函数zi=zi(ui)而获得。这些测量值的取得是在图像捕捉装置附带的3D参考系统中。
在本技术一实施方式中,测距装置14的实施使用了数个点激光仪。在本技术的此实施方式中,由于点激光仪的数目通常远小于像素的数目,所以每个第i帧的深度测量值的密度很可能远小于像素密度。可通过在这些测量值中进行插值,获得每个像素的深度。
在本技术一实施方式中,测距装置14的实施使用了深度相机,如来自3DVsystems的Zcam。在本技术的此实施方式中,可以得到分辨率足以匹敌视频帧的深度测量值阵列,从而使深度测量值阵列可以直接使用而无需进一步处理。
在本技术一实施方式中,测距装置14的实施使用了立体相机。立体相机允许将深度信息从数个已标识特征点中提取出来,并且剩下的像素可以通过插值完成。
两个相继帧-fi和fj-间关系的建立是基于以下假设:场景20中的同一物点30在两个帧中产生亮度相同的像素。意即,如果ui和uj是同一物点在fi和fj中的像素位置,那么fi(ui)=fj(uj)。此处fi(ui)指帧fi中ui处的像素亮度。在此假设下,两个帧之间的关系就是由图像捕捉装置的运动导致的纯粹的几何变换。
图像捕捉装置从fi到fj的运动可以表示为δxci→j和δRi→j(即帧之间的相对位移和旋转)或(即有六个自由度的6维矢量)。如果图像捕捉装置在帧fi处的位置和姿态已知,那么通过求解从fi到fj的相对运动,我们可以得到帧fj处的位置和姿态。下文中只要可以我们将不写下标i->j。
同一物点30在帧fi的参考系统中坐标为xi,而在帧fj的参考系统中坐标为xj且:
xj=(xi-δxc)δR, (等式7)
因此在2D像素坐标系统中,ui和uj之间的关系如下:
其中m为映射函数。或简单表示为:
uj=δP(ui), (等式9)
其中δP=moξom-1表示三个运算的结合。
现在的任务是得出最优ξ从而最小化成本函数:
∫|fi(u)-fj(δP(u))|2du。 (等式10)
这是研究成熟的非线性最小二乘法问题。它的求解涉及线性近似和迭代。不同的线性近似产生不同的收敛方法,如高斯牛顿法、最速下降法、列文伯格-马夸尔特法等。
在本技术一实施方式中,图像处理算法25的实施使用了高斯牛顿公式。要得到高斯牛顿公式,需要展开
写作6x1列矢量,于是得到
dξ≈∫(fi(u)-fj(u))DTdu/∫DDTdu (等式13)
由于fj不是ξ的的线性方程,(等式13)的求解需使用以下迭代例行循环:
1.初始化ξ;
2.由ξ算出δP,执行fj上的变换:
3.由fi、f′j算出dξ,
dξ=∫(fi(u)-f′j(u))DTdu/∫DDTdu;
4.更新
5.如果dξ足够小或达到最大迭代就退出,否则绕回步骤2。
在以上例行程序性中,每个后续迭代fj越来越靠近fj直到他们足够近。然而,在每次迭代中,必须计算f′j的梯度图像,因为步骤2中已经更新了f′j。另外一个问题在于,δP(故而还有雅可比行列式)取决于深度测量值zj,或者当深度的预调查是在固定参考系统中时,取决于深度测量值z和朝向帧fj的总的图像捕捉装置运动:xcj,Rj。
在本技术一实施方式中,深度测量值的取得是在图像捕捉装置附带的参考系统中(如点激光束、深度相机、立体装置等),则对于帧fj可得到更多深度测量值,因为既然xci,Ri已知,那么所有的先行帧测量值都可以变换为帧fj的参考系统。
在本技术一实施方式中,尽管场景深度的预调查是在固定系统中,但还要求解总运动xcj,Rj,因此当算出雅可比行列式的形式时总运动只能表述为xci,Ri和ξ的函数。这不仅会使雅可比行列式的形式复杂化,还会使雅可比行列式与迭代法相关。
在本技术一实施方式中,计算fj的梯度图像和帧fj处的雅可比行列式的同时用迭代进行fj的变换。因此1)dξ用∫|fi(δP-1(u))-fj(u)|2du计算而不用每次迭代(从而允许我们使用fj的梯度图像),且求出帧fj处反向变换的雅可比行列式二者仅需计算一次。2)将累计的ξ和δP应用于fj上以使其接近fj,从而避免fj的任何变换。
1.初始化ξ;
2.初始化帧fj处的
3.由ξ算出δP,执行fj上的变换:
4.由fi、f′j算出dξ,
dξ=∫(fi(u)-f′j(u))DTdu/∫DDTdu;
5.更新
6.如果dξ足够小或达到最大迭代就退出,否则绕回步骤3。
步骤3中计算δP(u)需要f′j中每个像素的深度。因为f′j是fi此刻的最佳估算,所以最简单的选择是使用fi中的像素代替。
在本技术一实施方式中,迭代的收敛情况取决于梯度图像有多“平滑”。如果梯度图像的变化程度远小于两个帧之间的图像捕捉装置运动所导致的图像移位,那么循环不可收敛。因此在将两个帧输入上述循环中之前首先对其进行平滑处理。从平滑处理过的帧得出近似ξ后,可以去掉或减少平滑处理,且可以以前一个ξ作为起点得到更精确的ξ。
因此,在图像迭代金字塔中,较高级经过大量平滑处理,而底部级为没有经过平滑处理的原始图像。如下所述从图像金字塔顶端到底部细化ξ:
1.初始化ξ
2.构建fi和fj的图像金字塔(如果没有现成的)
3.从金字塔顶端到底部的每一级
3.1初始化帧fi处的
3.2由fi、f′j算出dξ,
dξ=∫(fi(u)-f′j(u))DTdu/∫DDTdu;
3.3更新
3.4执行fj上的变换:
3.5如果dξ足够小或达到最大迭代就退出,否则绕回步骤3.2。
δP(ui)的直接形式取决于映射函数m。即使给定m,δP(ui)的形式也非唯一。在本技术一实施方式中,当镜头16包括直线性镜头时且当能得到预调查深度z时,可以选择:
其中为帧fi处总旋转矩阵Ri的第三行的转置。它是z方向上的单位矢量,其表述是在帧fi的图像捕捉装置附带的参考系统中。
在本技术一实施方式中,当深度测量值的取得是在图像捕捉装置附带的系统(zi已知)时,可以选择
和
在本技术一实施方式中,当深度为已知时,可以匹配两个帧的深度而非像素密度,因为当深度已知时,像素点的3D坐标也是已知的。通过将图像捕捉装置附带的系统中的3D坐标作为2D像素坐标的矢量函数:
(xi(ui)-δxc)δR=xj(uj), (等式18)
可以使用帧fi和帧fj之间的3D距离的平方的成本函数:
∫||(xi(u-δxc)δR-xj(δP(u))||2du。 (等式19)
另一种可能性是使用这两者之间z要素之差的平方。
很容易便可延伸此算法以用于处理彩色图像。例如,对于RGB图像,帧f=(fr,fg,fb)为行矢量,D=(Dr,Dg,Db)为6x3矩阵,Dr、Dg、Db各为一个6x1列矢量。
类似于像素密度的算法优化,雅可比行列式的计算在xi上完成,且变换在xj上执行。因为一组3D坐标中有三个分量,所以现在用6x3矩阵D′代替列矢量D:
在本技术一实施方式中,图像处理算法25的实施使用了以下例行循环:
1.初始化ξ
2.构建zi和zj的图像金字塔(如果没有现成的)
3.从金字塔顶端到底部的每一级
3.1初始化帧fi处的D′
3.2由ξ算出δP,执行xj上的变换:
3.3由xi、x′j算出dξ,
dξ=∫(xi(u)-x′j(u))D′Tdu/∫D′D′Tdu
3.4更新
3.5如果dξ足够小或达到最大迭代就退出,否则绕回步骤3.2。
在本技术一实施方式中,可以结合使用像素亮度匹配成本函数与深度匹配成本函数
∫(λ|fi(u)-fj(δP(u))|2+(1-λ)||(xi(u)-δxc)δR-xj(δP(u))||)2du。(等式21)
λ∈[0,1]是加权因子,它根据光流取定的进展情况、光学图像的质量以及深度图像的质量进行调整。每次迭代中的递增量为:
dξ=∫λ(fi(u)-f′j(u))DT+(1-λ)(xi(u)-x′j(u))D′Tdu/∫λDDT+(1-λ)D′D′Tdu
(等式22)
在本技术一实施方式中,fi和fi+1之间的δ运动和总运动的关系如下:
Ri+1=RiδRi→i+1
如果循环在最大迭代上退出,而不是在fi和fj之间收敛于ξ,那么我们可以选择用fi-1代替fi,找出fi-1和fi+1之间的运动,或者可以选择在fi和fi+2之间进行,并将fi和fi+1之间的结果标注为不可靠。
在本技术一实施方式中,场景相对平坦,可以使用一些(远少于帧中的像素点)固定参考系统中的预调查点进行描述。若是如此,表述在固定参考系统中的预调查点需要变换为帧fi的参考系统:继而使用这些点作为参考点,通过三角插值得出fi中每个点的深度。在三角插值中,三角形中的一点表述为三角形三个顶点的组合。在3D参考系统和投影2D参考系统之间切换时,三个组合系数需要根据三个顶点的深度进行调整。
在本技术一实施方式中,与图像捕捉装置附带的系统中每个帧(例如来自图像捕捉装置附带的点激光仪)、或来自立体相机的匹配特征点一起,获得一些(远少于帧中的像素点)深度点。若是如此,那么激光点深度测量值与每个帧一起出现。它们和来自前面帧的点被分为三种类型:
1)休息点(settling point):激光点深度测量值与帧fi+1一起出现。只有在使用深度匹配时才使用它们。
2)活动点(active point):激光点深度测量值与帧fi一起出现,且激光点深度测量值与没有移出任何帧、且已变换成帧fi的参考系统的先期帧一起出现。这些点被放入Delaunay三角剖分。Delaunay顶点作为参考点,用于通过三角插值算出像素深度。
3)停用点(retired point)这些点来自没有移出fi和fi+1的前面的帧。这些点被保存以便需要时可形成场景的深度地图。
在本技术一实施方式中,每个帧可得到深度点阵列(在图像捕捉装置附带的参考系统中),其具有与视频帧相同的或可匹敌的分辨率。在此情形下,帧fi获得的深度测量值在分辨率相同时可直接使用、或在分辨率较低时可进行插值。fi和fi+1获得的深度测量值可直接或进行插值后用于深度匹配。
在本技术一实施方式中,图2是使用图1的装置22进行图像追踪的方法的流程图50,其中场景20的深度数据是通过预调查场景获得。
在本技术的此实施方式中,图像追踪方法包括两个步骤:(步骤54)使用图像捕捉装置执行场景20(如图1)的图像捕捉;以及(步骤62)通过分析步骤54中获得的一组图像,追踪图像捕捉装置的运动。
在本技术一实施方式中,使用图像捕捉装置22(如图1),实时执行场景20的图像捕捉-步骤56。
在本技术一实施方式中,步骤54的执行是通过:使用图像捕捉装置22,预记录场景20-步骤58。
在本技术一实施方式中,步骤54进一步包括:通过预调查场景20,获得场景的一组深度数据-步骤60。
如上所述,图像捕捉装置选自以下集合:{数码相机;数码摄像机;数码摄录机;立体数码相机;立体摄像机;电影摄影机;以及电视摄像机}。
在本技术一实施方式中,通过分析步骤54中获得的一组图像追踪图像捕捉装置的运动这一步骤62进一步包括步骤64:对一组捕捉图像数据和一组场景深度数据执行刚性全局变换,将之变换为一组6坐标数据;其中一组6坐标数据表示图像捕捉装置22(见图1)的运动。
在本技术一实施方式中,图3图解说明了一种图像追踪方法的流程图100,其中使用测距装置14获得场景的深度数据。
在本技术一实施方式中,图像追踪方法的流程图100进一步包括步骤104:使用图像捕捉装置执行场景的图像捕捉。
在本技术一实施方式中,步骤104的实施可通过:使用图像捕捉装置实时执行场景的图像捕捉-步骤106。
在本技术一实施方式中,步骤104的实施可通过执行步骤108:使用图像捕捉装置执行场景的图像记录。
在本技术一实施方式中,图像追踪方法的流程图100进一步包括步骤110:使用选自以下集合的测距装置获得一组场景深度数据:{点激光束;声纳;雷达;激光扫描仪;以及深度相机}。
在本技术一实施方式中,步骤110的实施是通过:使用图像捕捉装置附带的K点测距系统,测定图像捕捉装置附带的3D参考系统中的一组场景深度数据-步骤112。
在本技术一实施方式中,步骤110的实施是通过:使用图像捕捉装置附带的M点测距系统,直接为物点的至少一个像点测定物点的深度,其中场景的深度测量值的数目整数M大致等于帧中的像素数目-步骤114。
在本技术一实施方式中,步骤110的实施是通过:使用图像捕捉装置附带的特征点测距系统,测定图像捕捉装置附带的3D参考系统中的一组场景深度数据-步骤116。
最后,在本技术一实施方式中,图像追踪方法的流程图100进一步包括步骤118:通过分析一组图像,追踪图像捕捉装置的运动。
在本技术一实施方式中,步骤118的实施是通过:对一组捕捉图像数据和一组场景深度数据执行刚性全局变换,将之变换为一组6坐标数据;其中一组6坐标数据表示图像捕捉装置的运动-步骤120。
图4、图5、图6和图7图解说明了使用图1的装置22进行基于图像的追踪的结果举例。更具体而言,图4所描绘的图表140图解说明了场景20在传感器平面16中的图像捕捉装置图像。
图5的图表150图解说明了使用图1的算法25算出的图像捕捉装置2D运动,上文对此已有完整描述。
图6的图表160图解说明了使用图1的算法25算出的图像捕捉装置高度运动,上文对此已有完整描述。
图7的图表170图解说明了使用图1的算法25算出的图像捕捉装置的总旋转角(yaw 172、pitch 174和roll 176),上文对此已有完整描述。
在本技术一实施方式中,特征体并未被定义为仅仅是点,也可以表示区域及/或轮廓线。在本技术的此实施方式中,可使用广义特征体充分扩展表面追踪的能力。
在本技术一实施方式中,可使用广义特征体从而用场景理解技术排除问题物体(即车辆)。
在本技术一实施方式中,场景理解技术意味着更高的图像推断水平。例如,它可以涉及探测一场景中的车辆、人行道边界,并排除位于这些区域中的匹配特征体。一旦标识了这种不需要的物体;就会提取图像的可用区域。接着特征体匹配被限于此区域。
在本技术一实施方式中,探测不需要的物体涉及到物体识别,包括:(A)从一个图像中提取稀疏特征体;(B)执行将相邻特征体聚集成簇;(C)以及从至少一个给定簇推断物体类别。
在本技术一实施方式中,可在初始图像分析(如对比度评估)中使用广义特征体,以确定图像或图像区域就追踪而言的适合性。
在本技术一实施方式中,如果所收集图像的质量差到不得进行表面追踪的程度,例如图像太黑且提取和匹配的特征体很少,那么可执行初始图像评估分析,以提示现场操作者图像是否可用或是否需要重新收集。
在本技术一实施方式中,初始图像评估分析包括从图像中提取至少三个属性:(A)检查图像的饱和性质,看图像是否主要由单个红-绿-蓝值组成;(B)检查图像的纹理性质,看图像是否大部分模糊且缺少进行特征体提取的尖锐区域;(C)检查图像的图像对比度,看图像是否大部分。
在本技术一实施方式中,可使用广义特征体初始化表面追踪解答。
在本技术一实施方式中,更具体而言,可通过使用广义特征体和随机抽样共识(RANdom SAmple Consensus:RANSAC)得到初始解答。
RANSAC是一种迭代方法,用来由一组包含利群的被观测数据估算出数学模型的参数。
在统计学上,离群是其余数据的观测。更具体而言,离群被定义为视觉上明显偏离其所在取样中其他成员的外围观测。
离群可以偶然发生于任何分布中,但它们常常不是暗示测量误差就是暗示总体具有重尾分布。在前一种情形下,我们希望将其排除或使用足以应付离群的统计,而在后一种情形下,它们说明分布峭度较高,且我们在使用正态分布适用的工具或直觉时应该特别谨慎。离群的一个常见原因是混合了两个分布,可以是两个子总体,或可表示“正确检验”而非“测量误差”,它使用混合模型建模。
在本技术一实施方式中,基于广义特征体和RANSAC的初始解答是使用一种非确定性算法,鉴于其仅以某一概率产生合理结果,此概率随着允许迭代次数的增加而增加。该算法最早由Fischler和Bolles在1981年公开。
在本技术一实施方式中,使用广义特征体和RANSAC的初始解答是基于以下假设:数据由“内群”和“离群”组成,“内群”即分布可以用一组模型参数来解释的数据,而“离群”则是不符合模型的数据。此外,数据可能受杂音影响。离群可以来自例如杂音的极值,或来自错误测量值或关于数据解读的错误假设。RANSAC也假设,在给定一组(通常较少)内群的情况下,有一种程序可估算出最能解释或最适合此数据的模型参数。
在本技术一实施方式中,使用一组广义特征体寻找相机位置的初始解答来作为表面追踪的输入这一方法包括以下步骤:探测一组广义特征体;建立一组广义特征体和至少两个选定帧之间的对应性;使用RANSAC数学模型的参数,估算至少两个选定帧之间的单应性;(E1,1,4)从至少两个选定帧之间的单应性中,得出图像捕捉装置的初始态势;其中图像捕捉装置的态势包括图像捕捉装置的位置坐标和图像捕捉装置的一组角坐标;以及使用所得出的图像捕捉装置的初始态势,作为对表面追踪解答的初始解答。
在本技术一实施方式中,使用广义特征体寻找严格二维(strict_2D)表面追踪解答这一方法包括:探测单个追踪表面上的一组广义特征体;使用RANCAC数学模型,选择一组共面广义特征体;建立一组选定的共面广义特征体和至少两个选定帧之间的对应性;从至少两个选定帧之间的单应性中,得出图像捕捉装置的初始态势;使用所得出的图像捕捉装置的初始态势,作为对严格二维(strict_2D)表面追踪解答的初始解答;以及将一组共面特征体组成群组,并使用一个围绕共面特征体群组的区域作为strict_2D表面追踪解答的输入。
在本技术一实施方式中,使用多个二维(2D)追踪表面上的一组共面广义特征体寻找近似二维(sub_2D)表面追踪解答这一方法进一步包括:
探测多个追踪表面上的一组广义特征体;使用RANCAC数学模型,选择一组共面广义特征体;建立一组共面广义特征体和至少两个选定帧之间的对应性;从至少两个选定帧之间的单应性中,得出图像捕捉装置的初始态势;使用所得出的图像捕捉装置的初始态势,作为对近似二维(sub_2D)表面追踪解答的初始解答;以及选择一个围绕选定的每个共面广义特征体的局部区域,将多个选定的局部区域组成一个二维(2D)全局区域,并使用2D全局区域作为sub_2D表面追踪解答的输入。
在本技术一实施方式中,使用从三维(3D)中提取的一组广义特征体寻找近似三维(sub_3D)表面追踪这一方法进一步包括:探测3D表面上的一组广义特征体;建立一组广义特征体和至少两个选定帧之间的对应性;估算至少两个选定帧之间的单应性;从至少两个选定帧之间的单应性中,得出图像捕捉装置的初始态势;使用所得出的图像捕捉装置的初始态势,作为对近似三维(sub_3D)表面追踪解答的初始解答;以及选择一个围绕选定的每个广义特征体的局部区域,将多个选定的局部区域组成一个三维(3D)全局区域,并使用3D全局区域作为近似sub_3D表面追踪解答的输入。
以上论述提出了各种示例系统和装置的操作,以及各种关于操作这些系统和装置的示例方法的实施方式。在各种实施方式中,实施方法的一或更多个步骤的执行使用了一种处于电脑可读且电脑可执行指令控制之下的处理器。因此,在一些实施方式中,这些方法的实施是通过电脑。
在一实施方式中,电脑可读且电脑可执行指令可以储存于电脑可用/可读媒体上。
因此,各种实施方式的一或更多操作的控制或执行可使用电脑可执行指令,例如由电脑执行的程序模块。一般而言,程序模块包括执行特定任务或执行特定抽象数据类型的例行程序、程序、对象、组件、数据结构等。此外,本技术也可实现于分布式计算环境中,分布式计算环境中任务的执行是使用通过通讯网络连接的远程处理装置。在分布式计算环境中,程序模块既可位于本地的也可位于远程的电脑存储媒体(存储器存储装置)中。
尽管本文揭示了示例性实施方法的特定步骤,然而这些步骤只是根据各种示例性实施方式执行的步骤的举例。意即,本文揭示的实施方式很适合于执行各种其他步骤或所述步骤的变形。此外,本文揭示的步骤可以以不同于上文所述的顺序执行,且一个特定实施方式中并非所有的步骤皆要执行。
尽管本文论述了各种基于电子和软件的系统,然而这些系统只是可供利用的环境的举例,并非想要暗示对于本技术的使用范围和功能有任何限制。这些系统也不应理解为与揭示示例中所说明的组件或功能的任一个或其组合有着任何依赖性或相关性。
尽管上文使用构造特征体及/或方法行为特定的语言描述了标的物,然而随附权利要求书中定义的标的物不一定限于上文所述的特定特征体或行为。事实上,所述的特定特征体和行为只是作为实施权利要求的示例性形式来揭示。
权利要求书(按照条约第19条的修改)
1.一种基于图像的定位方法,其包括:
(A)使用图像捕捉装置实时执行场景的图像捕捉;
以及
(B)通过分析一组实时捕捉的图像,确定所述图像捕捉装置的位置坐标。
2.根据权利要求1所述的方法,其中所述步骤(A)进一步包括:
(A1)使用所述图像捕捉装置实时执行所述场景的所述图像捕捉;其中所述图像捕捉装置选自以下集合:{数码相机;数码摄像机;数码摄录机;立体数码相机;立体摄像机;电影摄影机;以及电视摄像机}。
3.根据权利要求1所述的方法,其中所述步骤(B)进一步包括:
(B 1)对所述一组捕捉图像数据和所述一组场景深度数据执行刚性全局变换,将之变换为一组6坐标数据;其中所述一组6坐标数据表示所述图像捕捉装置的运动。
4.根据权利要求3所述的方法,其中所述步骤(B1)进一步包括:
(B1,1)使用所述图像捕捉装置的映射函数,对于至少一个第i帧将至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标,映射为像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标;其中i为整数
5.根据权利要求4所述的方法,其中所述步骤(B1,1)进一步包括:
(B 1,1,1)从以下集合中选择所述图像捕捉装置的所述映射函数:{规则直线性镜头的映射函数;鱼眼镜头的映射函数;以及用户校准镜头的映射函数}
6.根据权利要求3所述的方法,其中所述步骤(B1)进一步包括:
(B1,2)取得所述映射函数的反函数;其中所述映射函数的所述反函数被构设为:对于至少一个第i帧,将至少一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标,映射为至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标。
7.根据权利要求3所述的方法,其中所述步骤(B1)进一步包括:
(B1,3)使用所述场景的所述预调查数据获得所述至少一个物点的3D深度坐标。
8.根据权利要求6所述的方法,其中所述步骤(B1)进一步包括:
(B1,4)从两个相继帧-第i帧和第k帧-之间的关系中,提取描述所述图像捕捉装置的所述运动的6维矢量,其中至少一个物点在所述两个相继帧中产生至少两个亮度大致相同的像素。
9.根据权利要求8所述的方法,其进一步包括:
(B1,4,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
10.根据权利要求8所述的方法,其进一步包括:
(B1,4,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
11.根据权利要求8所述的方法,其进一步包括:
(B1,4,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
12.根据权利要求3所述的方法,其中所述步骤(B1)进一步包括:
(B1,5)通过匹配至少两个像素-第一所述像素和第二所述像素-的所述深度数据,从所述两个相继帧-第i帧和第k帧-之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
13.根据权利要求12所述的方法,其进一步包括:
(B1,5,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
14.根据权利要求12所述的方法,其进一步包括:
(B1,5,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
15.根据权利要求12所述的方法,其进一步包括:
(B1,5,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
16.根据权利要求3所述的方法,其中所述步骤(B1)进一步包括:
(B1,6)通过匹配至少两个像素-第一所述像素和第二所述像素-的所述深度数据,以及通过匹配至少两个位于所述两个相继帧中且亮度大致相同的像素,从两个相继帧-第i帧和第k帧-之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
17.根据权利要求16所述的方法,其进一步包括:
(B1,6,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
18.根据权利要求16所述的方法,其进一步包括:
(B1,6,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
19.根据权利要求16所述的方法,其进一步包括:
(B1,6,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
20.一种图像追踪的方法,其包括:
(A)使用图像捕捉装置实时执行场景的图像捕捉;
(B)使用选自以下集合的测距装置获得一组场景深度数据:{点激光束;声纳;雷达;激光扫描仪;以及深度相机};
以及
(C)通过分析所述一组实时捕捉的图像,追踪所述图像捕捉装置的运动。
21.根据权利要求20所述的方法,其中所述步骤(B)进一步包括:
(B1)使用所述图像捕捉装置附带的K点测距系统,测定图像捕捉装置附带的3D参考系统中的所述一组场景深度数据,其中所述一组场景深度数据包括所述场景的一组整数K点3D深度测量值;且
其中与所述3D物点的2D像点相关的至少一个物点的3D深度坐标通过以下方式获得:对所述场景的所述一组K点3D深度测量值进行插值,以获得至少一个所述物点的至少一个像点的最优深度测量值;
且其中所述整数k远小于所述帧中的像素数目。
22.根据权利要求20所述的方法,其中所述步骤(B)进一步包括:
(B2)使用所述图像捕捉装置附带的M点测距系统,直接为所述物点的至少一个像点测定所述物点的所述深度,其中所述场景的深度测量值的数目整数M大致等于所述帧中的像素数目。
23.根据权利要求20所述的方法,其中所述步骤(B)进一步包括:
(B3)使用所述图像捕捉装置附带的特征点测距系统,测定图像捕捉装置附带的3D参考系统中的所述一组场景深度数据,其中所述场景包括一组整数K个特征物点;
其中所述特征点测距系统获得所述场景中所述K特征物点的一组K点3D深度测量值;
且其中与所述3D物点的2D像点相关的至少一个物点的3D深度坐标通过以下方式获得:对所述场景的所述一组K点3D深度测量值进行插值,以获得至少一个所述物点的至少一个像点的最优深度测量值;
且其中所述整数K远小于所述帧中的像素数目。
24.根据权利要求20所述的方法,其中所述步骤(C)进一步包括:
(C1)对所述一组捕捉图像数据和所述一组场景深度数据执行刚性全局变换,将之变换为一组6坐标数据;其中所述一组6坐标数据表示所述图像捕捉装置的运动。
25.根据权利要求24所述的方法,其中所述步骤(C1)进一步包括:
(C1,1)使用映射函数,对于至少一个第i帧,将至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标,映射为一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标。
26.根据权利要求25所述的方法,其中所述步骤(C1,1)进一步包括:
(C1,1,1)从以下集合中选择所述映射函数:{规则直线性镜头的映射函数;鱼眼镜头的映射函数;以及用户校准镜头的映射函数}。
27.根据权利要求24所述的方法,其中所述步骤(C1)进一步包括:
(C1,2)取得所述映射函数的反函数;所述映射函数的所述反函数被构设为:对于至少一个第i帧,将至少一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标,映射为至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标。
28.根据权利要求24所述的方法,其中所述步骤(C1)进一步包括:
(C1,3)从所述两个相继帧-第i帧和第k帧-之间的关系中,提取描述所述图像捕捉装置的所述运动的6维矢量,其中所述场景中的至少一个点在所述两个相继帧中产生至少两个亮度大致相同的像素。
29.根据权利要求28所述的方法,其进一步包括:
(C1,3,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
30.根据权利要求28所述的方法,其进一步包括:
(C1,3,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
31.根据权利要求28所述的方法,其进一步包括:
(C1,3,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
32.根据权利要求24所述的方法,其中所述步骤(C1)进一步包括:
(C1,4)通过匹配至少两个像素-第一所述像素和第二所述像素-的所述深度数据,从所述两个相继帧-第i帧和第k帧-之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
33.根据权利要求32所述的方法,其进一步包括:
(C1,4,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
34.根据权利要求32所述的方法,其进一步包括:
(C1,4,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
35.根据权利要求32所述的方法,其进一步包括:
(C1,4,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
36.根据权利要求24所述的方法,其中所述步骤(C1)进一步包括:
(C1,5)通过匹配至少两个像素-第一像素和第二像素-的所述深度数据,以及通过匹配至少两个位于所述两个相继帧中且亮度大致相同的像素,从所述两个相继帧-第i帧和第k帧-之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
37.根据权利要求36所述的方法,其进一步包括:
(C1,5,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
38.根据权利要求36所述的方法,其进一步包括:
(C1,5,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
39.根据权利要求36所述的方法,其进一步包括:
(C1,5,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
40.一种用于图像追踪的装置,其包括:
(A)图像捕捉装置,所述图像捕捉装置被构设为实时执行场景的图像捕捉;
以及
(B)追踪机构,所述追踪机构通过分析一组图像追踪所述图像捕捉装置的运动。
41.根据权利要求40所述的装置,其进一步包括:
(C)用于获得所述场景的一组深度数据的机构。
42.根据权利要求40所述的装置,其中所述机构(B)进一步包括:
(B1)刚性全局变换机构,用于对所述一组捕捉图像和所述一组场景深度数据执行刚性全局变换,将之变换为一组6坐标数据;其中所述一组6坐标数据表示所述图像捕捉装置的运动。
43.根据权利要求40所述的装置,其中所述机构(C)进一步包括:
(C1)选自以下集合的调查仪器:{全球导航卫星系统调查系统;激光平面系统;和经纬仪}。
44.根据权利要求40所述的装置,其中所述机构(C)进一步包括:
(C2)选自以下集合的测距装置:{点激光束;声纳;雷达;激光扫描仪;以及深度相机}。
说明或声明(按照条约第19条的修改)
根据PCT条约19(1)的声明
评论:
1.依据PCT条款19(1)修改的说明:
修改后的权利要求没有对说明书和附图增加任何新内容。
2.关于发明缺少单一性的评论:
归入第II组发明的权利要求51-70被撤回,归入第I组发明的权利要求1,2,6-23,26-49留待审查,权利要求3,4,5,24,25,50被删除。
3.权利要求1-7,9-10,45-48和50-已被Thomas等人的在先申请US2005/0190972(以下简称Thomas)所公开,不具备PCT条款33(2)规定的新颖性。
申请人在此恭敬地提出异议。
实际上,Thomas揭示了“一种确定摄影机位置和方向的方法,利用一组储存的参考图像,摄影机获取的当前图像,基于摄影机的当前图像从多幅参考图像中选择一幅作为当前参考图像,并且基于摄影机对应当前参考图像的姿态,对摄影机的姿态提供初始评估”-第7栏,权利要求1。
因此,Thomas揭示了一种基于与参考图像比较而确定摄影机位置和方向的方法。
但是,如修改后的权利要求1所揭示的本发明为:
一种基于图像的定位方法,其包括:
(A)使用图像捕捉装置实时执行一场景的图像捕捉;
以及
(B)通过分析一组实时捕捉的图像,判定所述图像捕捉装置的位置坐标。
因而,修改后的权利要求1所揭示的本发明启示了:
一种基于实时图像的定位方法,完全不使用参考图像。
因此,Thomas和修改后的权利要求1所揭示的本发明之间毫不相同,修改后的权利要求1所揭示的本发明与Thomas相比较具备新颖性。
权利要求3,4,5,24,25,50被删除。
同样的分析也适用于从属权利要求2,6,9-10和45-48,因此,修改后的权利要求2,6,9-10和45-48所揭示的本发明与Thomas相比较具备新颖性。
4.鉴于US 2008/0101713(Edgar),权利要求8相对于Thomas是显而易见的,(以下简称Thomas与Edgar结合),权利要求8因而缺乏PCT条款33(3)规定的创造性。
申请人在此恭敬地提出异议。
实际上,权利要求8相对于Thomas与Edgar结合并非显而易见的,因为基于Thomas与Edgar结合的假设发明不能推知权利要求8所要保护的本发明
如上所述,修改后的权利要求1所揭示的本发明与Thomas相比是新颖的,因此,本发明相对于Thomas与Edgar结合(比Thomas本身更狭义的发明)也是新颖的。因此,不能用Thomas与Edgar结合的假设发明推知权利要求1所要保护的本发明。
权利要求8是从权利要求1衍生出的,包括如下附加步骤:
从以下集合中选择所述图像捕捉装置的所述映射函数:{规则直线性镜头的映射函数;鱼眼镜头的映射函数;以及用户校准镜头的映射函数}。
因此,不能用Thomas与Edgar结合的假设发明推知权利要求8所要求保护的本发明,所以本发明对于Thomas与Edgar结合并非显而易见的。
5.鉴于Kondo的US 6,285,712,权利要求11-22相对于Thomas(以下简称Thomas与Kondo结合)是显而易见的,因而权利要求11-22缺乏PCT条款33(3)规定的创造性。
申请人在此恭敬地提出异议。
实际上,权利要求11-22对于Thomas与Kondo结合并非显而易见的,因为基于Thomas与Kondo结合的假设发明不能推知权利要求11-22所要保护的发明。
如上所述,修改后的权利要求1所揭示的本发明与Thomas相比是新颖的,因此,本发明相对于Thomas与Kondo结合(比Thomas本身更狭义的发明)也是新颖的。因此,不能用Thomas与Kondo结合的假设发明推知权利要求1所要保护的本发明。
权利要求11-22是权利要求1是从权利要求1衍生出的,它们还包括一些附加步骤:
11.(原权利要求)根据权利要求6所述的方法,其中所述步骤(B1)进一步包括:
(B1,4)从两个相继帧-第i帧和第k帧-之间的关系中,提取一个描述所述图像捕捉装置的所述运动的6维矢量,其中至少一个物点在所述两个相继帧中产生至少两个亮度大致相同的像素。
12.(原权利要求)根据权利要求11所述的方法,其进一步包括:
(B1,4,1)使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
13.(原权利要求)根据权利要求11所述的方法,其进一步包括:
(B1,4,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
14.(原权利要求)根据权利要求11所述的方法,其进一步包括:
(B1,4,3)通过使所述两个相继之间的所述关系最优化,使一个描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
15.(原权利要求)根据权利要求6所述的方法,其中所述步骤(B1)进一步包括:
(B1,5)通过匹配至少两个像素-第一所述像素和第二所述像素-的所述深度数据,从所述两个相继帧-第i帧和第k帧-之间的关系中提取一个描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
16.(原权利要求)根据权利要求15所述的方法,其进一步包括:
(B1,5,1)使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
17.(原权利要求)根据权利要求15所述的方法,其进一步包括:
(B1,5,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
18.(原权利要求)根据权利要求15所述的方法,其进一步包括:
(B1,5,3)通过使所述两个相继之间的所述关系最优化,使一个描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
19.(原权利要求)根据权利要求6所述的方法,其中所述步骤(B1)进一步包括:
(B1,6)通过匹配至少两个像素-第一所述像素和第二所述像素-的所述深度数据,以及通过匹配至少两个位于所述两个相继帧中且亮度大致相同的像素,从两个相继帧-第i帧和第k帧-之间的关系中提取一个描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
20.(原权利要求)根据权利要求19所述的方法,其进一步包括:
(B1,6,1)使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
21.(原权利要求)根据权利要求19所述的方法,其进一步包括:
(B1,6,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
22.(原权利要求)根据权利要求19所述的方法,其进一步包括:
(B1,6,3)通过使所述两个相继之间的所述关系最优化,使一个描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
因此,不能用Thomas与Kondo结合的假设发明推知权利要求11-22所要求保护的本发明,所以,本发明对于Thomas与Kondo结合是并非显而易见的
6.鉴于US 2002/0164067(Askey等人),权利要求23-30,32和49与Thomas相比(以下简称Thomas与Askey结合)是显而易见的,因而权利要求23-30,32和49缺乏PCT条款33(3)规定的创造性。
权利要求24,25被删除。
申请人在此恭敬地就留待审查的权利要求23,26-30,32和49表示不同意见。
实际上,权利要求23,26-30,32和49对于Thomas与Askey结合并非是显而易见的,因为基于Thomas与Askey结合的假设发明不能推知权利要求23,26-30,32和49所要保护的本发明。
如上所述,权利要求1所要求保护的本发明与Thomas相比是新颖的,因此,本发明相对于Thomas与Askey结合(比Thomas本身更狭义的发明)也是新颖的。因此,不能用Thomas与Askey结合的假设发明推知权利要求1所要保护的本发明。
权利要求23,26-30,32和49是从权利要求1衍生出的,它们还包括一些附加步骤。
23.(本次修改)一种图像追踪的方法,其包括:
(A)使用图像捕捉装置实时执行一场景的图像捕捉;
(B)使用选自以下集合的测距装置获得一组场景深度数据:{点激光束;声纳;雷达;激光扫描仪;以及深度相机};
以及
(C)通过分析所述一组实时捕捉的图像,追踪所述图像捕捉装置的运动。
26.(原权利要求)根据权利要求23所述的方法,其中所述步骤(B)进一步包括:
(B1)使用所述图像捕捉装置附带的K点测距系统,测定图像捕捉装置附带的3D参考系统中的所述一组场景深度数据,其中所述一组场景深度数据包括所述场景的一组整数K点3D深度测量值;且
其中与至少一个物点的2D像点相关的所述3D物点的3D深度坐标的获得是通过以下方式:对所述场景的所述一组K点3D深度测量值进行插值,以获得至少一个所述物点的至少一个像点的最优深度测量值;
且其中所述整数k远小于所述帧中的像素数目。
27.(原权利要求)根据权利要求23所述的方法,其中所述步骤(B)进一步包括:
(B2)使用所述图像捕捉装置附带的M点测距系统,直接为所述物点的至少一个像点测定所述物点的所述深度,其中所述场景的所述深度测量值的数目整数M大致等于所述帧中的像素数目。
28.(原权利要求)根据权利要求23所述的方法,其中所述步骤(B)进一步包括:
(B3)使用所述图像捕捉装置附带的特征点测距系统,测定图像捕捉装置附带的3D参考系统中的所述一组场景深度数据,其中所述场景包括一组整数K个特征物点;
其中所述特征点测距系统获得所述场景中所述K特征物点的一组K点3D深度测量值;
且其中与至少一个物点的2D像点相关的所述3D物点的3D深度坐标的获得是通过以下方式:对所述场景的所述一组K点3D深度测量值进行插值,以获得至少一个所述物点的至少一个像点的最优深度测量值;
且其中所述整数K远小于所述帧中的像素数目。
29.(原权利要求)根据权利要求23所述的方法,其中所述步骤(C)进一步包括:
(C1)对所述一组捕捉图像数据和所述一组场景深度数据执行刚性全局变换,将之变换为一组6坐标数据;其中所述一组6坐标数据表示所述图像捕捉装置的运动。
30.(原权利要求)根据权利要求29所述的方法,其中所述步骤(C1)进一步包括:
(C1,1)使用映射函数,对于至少一个第i帧,将至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标,映射为一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标。
32.(原权利要求)根据权利要求29所述的方法,其中所述步骤(C1)进一步包括:
(C1,2)取得所述映射函数的反函数;所述映射函数的所述反函数被构设为:对于至少一个第i帧,将至少一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标,映射为至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标。
49.(原权利要求)根据权利要求46所述的装置,其中所述机构(C)进一步包括:
(C2)选自以下集合的测距装置:{点激光束;声纳;雷达;激光扫描仪;以及深度相机}。
因此,不能用Thomas与Askey结合的假设发明,推知权利要求23,26-30,32和49所要求保护的本发明,所以,本发明对于Thomas与Askey结合并非是显而易见的。
7.权利要求51-70被撤销。
8.权利要求31相对于Thomas结合Askey,再考虑到Edgar,是显而易见的,因而缺乏PCT条款33(3)规定的创造性。
申请人在此恭敬地就留待审查的权利要求31提出不同意见。
实际上,权利要求31相对于Thomas结合Askey再考虑到Edgar并非是显而易见的,因为基于Thomas与Askey结合再考虑到Edgar的假设发明,不能推知权利要求31所要保护的发明。
如上所述,权利要求1所要求保护的本发明与Thomas相比是新颖的,因此,本发明相对于Thomas结合Askey再结合Edgar(比Thomas本身更狭义的发明)也是新颖的。因此,不能用Thomas结合Askey再结合Edgar的假设发明,推知权利要求1所要保护的本发明。
权利要求31是从权利要求1衍生出的,它还包括如下附加步骤:
31.(原权利要求)根据权利要求30所述的方法,其中所述步骤(C1,1)进一步包括:
(C1,1,1)从以下集合中选择所述映射函数:{规则直线性镜头的映射函数;鱼眼镜头的映射函数;以及用户校准镜头的映射函数}。
因此,不能用Thomas与Askey结合再考虑到Edgar的假设发明,推知权利要求31所要求保护的本发明,所以,本发明对于Thomas结合Askey再结合Edgar并非是显而易见的。
9.权利要求33-44相对于Thomas结合Askey结合再结合Kondo,是显而易见的,因而权利要求33-44缺乏PCT条款33(3)规定的创造性。
申请人在此恭敬地提出异议。
实际上,权利要求33-44对于Thomas结合Askey再结合Kondo并非是显而易见的,因为基于Thomas与Askey结合再考虑到Kondo的假设发明,不能推知权利要求33-44所要求保护的发明。
如上所述,权利要求1所要求保护的本发明与Thomas相比是新颖的,因此,本发明相对于Thomas与Askey结合再考虑到Kondo(比Thomas本身更狭义的发明)也是新颖的。因此,不能用Thomas结合Askey结合再结合Kondo的假设发明,推知权利要求1所要求保护的本发明。
权利要求33-44是从权利要求1衍生出的,它们还包括一些附加步骤:
33.根据权利要求29所述的方法,其中所述步骤(C1)进一步包括:
(C1,3)从所述两个相继帧-第i帧和第k帧-之间的关系中,提取一个描述所述图像捕捉装置的所述运动的6维矢量,其中所述场景中的至少一个物点在所述两个相继帧中产生至少两个亮度大致相同的像素。
34.根据权利要求33所述的方法,其进一步包括:
(C1,3,1)使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
35.根据权利要求33所述的方法,其进一步包括:
(C1,3,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
36.根据权利要求33所述的方法,其进一步包括:
(C1,3,3)通过使所述两个相继帧之间的所述关系最优化,使一个描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
37.根据权利要求29所述的方法,其中所述步骤(C1)进一步包括:
(C1,4)通过匹配至少两个像素-第一所述像素和第二所述像素-的所述深度数据,从所述两个相继帧-第i帧和第k帧-之间的关系中提取一个描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
38.根据权利要求37所述的方法,其进一步包括:
(C1,4,1)使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
39.根据权利要求37所述的方法,其进一步包括:
(C1,4,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
40.根据权利要求38所述的方法,其进一步包括:
(C1,4,3)通过使所述两个相继之间的所述关系最优化,使一个描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
41.根据权利要求29所述的方法,其中所述步骤(C1)进一步包括:
(C1,5)通过匹配至少两个像素一第一像素和第二像素-的所述深度数据,以及通过匹配至少两个位于所述两个相继帧中且亮度大致相同的像素,从所述两个相继帧-第i帧和第k帧-之间的关系中提取一个描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
42.根据权利要求41所述的方法,其进一步包括:
(C1,5,1)使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
43.根据权利要求41所述的方法,其进一步包括:
(C1,5,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
44.根据权利要求41所述的方法,其进一步包括:
(C1,5,3)通过使所述两个相继之间的所述关系最优化,使一个描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
因此,不能用Thomas与Askey结合再考虑到Kondo的假设发明,推知权利要求33-44所要求保护的本发明,所以,本发明对于Thomas结合Askey再结合Kondo并非是显而易见的。
10.归入第I组发明的权利要求1、2、6-23、26-49留待审查,并重新改写为权利要求1-44。
2011年1月3日
美国登记号38689的申请人的专利代理人Boris Tankhilevich敬上
Claims (70)
1.一种基于图像的定位方法,其包括:
(A)使用图像捕捉装置执行场景的图像捕捉;
以及
(B)通过分析一组图像,确定所述图像捕捉装置的位置坐标。
2.根据权利要求1所述的方法,其中所述步骤(A)进一步包括:
(A1)使用所述图像捕捉装置实时执行所述场景的所述图像捕捉;其中所述图像捕捉装置选自以下集合:{数码相机;数码摄像机;数码摄录机;立体数码相机;立体摄像机;电影摄影机;以及电视摄像机}。
3.根据权利要求1所述的方法,其中所述步骤(A)进一步包括:
(A2)使用所述图像捕捉装置执行所述场景的图像记录。
4.根据权利要求1所述的方法,其中所述步骤(A)进一步包括:
(A3)通过预调查所述场景,获得所述场景的一组深度数据。
5.根据权利要求1所述的方法,其中所述步骤(A3)进一步包括:
(A3,1)使用选自以下集合的调查仪器获得所述场景的所述一组深度数据:{全球导航卫星系统(GNSS)调查系统;激光平面系统;和经纬仪}。
6.根据权利要求1所述的方法,其中所述步骤(B)进一步包括:
(B1)对所述一组捕捉图像数据和所述一组场景深度数据执行刚性全局变换,将之变换为一组6坐标数据;其中所述一组6坐标数据表示所述图像捕捉装置的运动。
7.根据权利要求6所述的方法,其中所述步骤(B1)进一步包括:
(B1,1)使用所述图像捕捉装置的映射函数,对于至少一个第i帧将至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标,映射为一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标;其中i为整数。
8.根据权利要求7所述的方法,其中所述步骤(B1,1)进一步包括:
(B1,1,1)从以下集合中选择所述图像捕捉装置的所述映射函数:{规则直线性镜头的映射函数;鱼眼镜头的映射函数;以及用户校准镜头的映射函数}。
9.根据权利要求6所述的方法,其中所述步骤(B1)进一步包括:
(B1,2)取得所述映射函数的反函数;其中所述映射函数的所述反函数被构设为:对于至少一个第i帧,将至少一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标,映射为至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标。
10.根据权利要求6所述的方法,其中所述步骤(B1)进一步包括:
(B1,3)使用所述场景的所述预调查数据获得所述至少一个物点的3D深度坐标。
11.根据权利要求6所述的方法,其中所述步骤(B1)进一步包括:
(B1,4)从两个相继帧-第i帧和第k帧-之间的关系中,提取描述所述图像捕捉装置的所述运动的6维矢量,其中至少一个物点在所述两个相继帧中产生至少两个亮度大致相同的像素。
12.根据权利要求11所述的方法,其进一步包括:
(B1,4,1)使描述所述图像捕捉装置的所述运动的所述6维矢量最优化。
13.根据权利要求11所述的方法,其进一步包括:
(B1,4,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
14.根据权利要求11所述的方法,其进一步包括:
(B1,4,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
15.根据权利要求6所述的方法,其中所述步骤(B1)进一步包括:
(B1,5)通过匹配至少两个像素一第一所述像素和第二所述像素-的所述深度数据,从所述两个相继帧-第i帧和第k帧-之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
16.根据权利要求15所述的方法,其进一步包括:
(B1,5,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
17.根据权利要求15所述的方法,其进一步包括:
(B1,5,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
18.根据权利要求15所述的方法,其进一步包括:
(B1,5,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
19.根据权利要求6所述的方法,其中所述步骤(B1)进一步包括:
(B1,6)通过匹配至少两个像素-第一所述像素和第二所述像素-的所述深度数据,以及通过匹配至少两个位于所述两个相继帧中且亮度大致相同的像素,从两个相继帧-第i帧和第k帧-之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
20.根据权利要求19所述的方法,其进一步包括:
(B1,6,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
21.根据权利要求19所述的方法,其进一步包括:
(B1,6,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
22.根据权利要求19所述的方法,其进一步包括:
(B1,6,3)通过使所述两个相继帧之间的所述关系最优化,使一个描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
23.一种图像追踪的方法,其包括:
(A)使用图像捕捉装置执行场景的图像捕捉;
(B)使用选自以下集合的测距装置获得一组场景深度数据:{点激光束;声纳;雷达;激光扫描仪;以及深度相机};
以及
(C)通过分析所述一组图像,追踪所述图像捕捉装置的运动。
24.根据权利要求23所述的方法,其中所述步骤(A)进一步包括:
(A1)使用所述图像捕捉装置实时执行所述场景的所述图像捕捉。
25.根据权利要求23所述的方法,其中所述步骤(A)进一步包括:
(A2)使用所述图像捕捉装置执行所述场景的图像记录。
26.根据权利要求23所述的方法,其中所述步骤(B)进一步包括:
(B1)使用所述图像捕捉装置附带的K点测距系统,测定图像捕捉装置附带的3D参考系统中的所述一组场景深度数据,其中所述一组场景深度数据包括所述场景的一组整数K点3D深度测量值;且
其中与所述3D物点的2D像点相关的至少一个物点的3D深度坐标通过以下方式获得:对所述场景的所述一组K点3D深度测量值进行插值,以获得至少一个所述物点的至少一个像点的最优深度测量值;
且其中所述整数k远小于所述帧中的像素数目。
27.根据权利要求23所述的方法,其中所述步骤(B)进一步包括:
(B2)使用所述图像捕捉装置附带的M点测距系统,直接为所述物点的至少一个像点测定所述物点的所述深度,其中所述场景的所述深度测量值的数目整数M大致等于所述帧中的像素数目。
28.根据权利要求23所述的方法,其中所述步骤(B)进一步包括:
(B3)使用所述图像捕捉装置附带的特征点测距系统,测定图像捕捉装置附带的3D参考系统中的所述一组场景深度数据,其中所述场景包括一组整数K个特征物点;
其中所述特征点测距系统获得所述场景中所述K特征物点的一组K点3D深度测量值;
且其中与所述3D物点的2D像点相关的至少一个物点的3D深度坐标通过以下方式获得:对所述场景的所述一组K点3D深度测量值进行插值,以获得至少一个所述物点的至少一个像点的最优深度测量值;
且其中所述整数K远小于所述帧中的像素数目。
29.根据权利要求23所述的方法,其中所述步骤(C)进一步包括:
(C1)对所述一组捕捉图像数据和所述一组场景深度数据执行刚性全局变换,将之变换为一组6坐标数据;其中所述一组6坐标数据表示所述图像捕捉装置的运动。
30.根据权利要求29所述的方法,其中所述步骤(C1)进一步包括:
(C1,1)使用映射函数,对于至少一个第i帧,将至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标,映射为一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标。
31.根据权利要求30所述的方法,其中所述步骤(C1,1)进一步包括:
(C1,1,1)从以下集合中选择所述映射函数:{规则直线性镜头的映射函数;鱼眼镜头的映射函数;以及用户校准镜头的映射函数}。
32.根据权利要求29所述的方法,其中所述步骤(C1)进一步包括:
(C1,2)取得所述映射函数的反函数;所述映射函数的所述反函数被构设为:对于至少一个第i帧,将至少一个像点在所述图像捕捉装置传感器平面上2D参考坐标系统中的2D像素坐标,映射为至少一个物点在所述图像捕捉装置附带的参考系统中的3D坐标。
33.根据权利要求29所述的方法,其中所述步骤(C1)进一步包括:
(C1,3)从所述两个相继帧-第i帧和第k帧-之间的关系中,提取描述所述图像捕捉装置的所述运动的6维矢量,其中所述场景中的至少一个物点在所述两个相继帧中产生至少两个亮度大致相同的像素。
34.根据权利要求33所述的方法,其进一步包括:
(C1,3,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
35.根据权利要求33所述的方法,其进一步包括:
(C1,3,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
36.根据权利要求33所述的方法,其进一步包括:
(C1,3,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
37.根据权利要求29所述的方法,其中所述步骤(C1)进一步包括:
(C1,4)通过匹配至少两个像素-第一所述像素和第二所述像素-的所述深度数据,从所述两个相继帧-第i帧和第k帧-之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
38.根据权利要求37所述的方法,其进一步包括:
(C1,4,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
39.根据权利要求37所述的方法,其进一步包括:
(C1,4,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
40.根据权利要求38所述的方法,其进一步包括:
(C1,4,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
41.根据权利要求29所述的方法,其中所述步骤(C1)进一步包括:
(C1,5)通过匹配至少两个像素-第一像素和第二像素-的所述深度数据,以及通过匹配至少两个位于所述两个相继帧中且亮度大致相同的像素,从所述两个相继帧-第i帧和第k帧-之间的关系中提取描述所述图像捕捉装置的所述运动的6维矢量;其中所述第一像素位于所述第i帧内,而所述第二像素位于所述第k帧内。
42.根据权利要求41所述的方法,其进一步包括:
(C1,5,1)使描述所述图像捕捉装置的运动的所述6维矢量最优化。
43.根据权利要求41所述的方法,其进一步包括:
(C1,5,2)通过求解所述两个相继帧之间所述关系的非线性最小二乘法问题,使描述所述图像捕捉装置的运动的所述6维矢量最优化。
44.根据权利要求41所述的方法,其进一步包括:
(C1,5,3)通过使所述两个相继帧之间的所述关系最优化,使描述所述图像捕捉装置的n维受限运动的(6-n)维矢量最优化;其中整数n小于6。
45.一种用于图像追踪的装置,其包括:
(A)图像捕捉装置,其被构设为执行场景的图像捕捉;
以及
(B)追踪机构,用于通过分析一组图像追踪所述图像捕捉装置的运动。
46.根据权利要求45所述的装置,其进一步包括:
(C)用于获得所述场景的一组深度数据的机构。
47.根据权利要求45所述的装置,其中所述机构(B)进一步包括:
(B1)刚性全局变换机构,用于对所述一组捕捉图像和所述一组场景深度数据执行刚性全局变换,将之变换为一组6坐标数据;其中所述一组6坐标数据表示所述图像捕捉装置的运动。
48.根据权利要求46所述的装置,其中所述机构(C)进一步包括:
(C1)选自以下集合的调查仪器:{全球导航卫星系统调查系统;激光平面系统;和经纬仪}。
49.根据权利要求46所述的装置,其中所述机构(C)进一步包括:
(C2)选自以下集合的测距装置:{点激光束;声纳;雷达;激光扫描仪;以及深度相机}。
50.一种物体,包括存有指令的存储媒体,所述指令被执行时将导致计算平台具有以下能力:通过执行算法,执行图像捕捉装置的图像追踪,其中所述算法进一步包括:
(A)储存由所述图像捕捉装置获得的场景的一组图像捕捉资料;
以及
(B)通过分析所述一组图像捕捉资料,追踪所述图像捕捉装置的运动。
51.一种基于图像的定位方法,包括以下步骤:
(A)使用图像捕捉装置执行场景的图像记录;
(B)执行初始图像分析,以确定所记录图像的适合情况;
(C)通过预调查所述场景,获得所述场景的一组深度数据;
(D)使用场景理解技术排除广义特征体图像就追踪而言不适合的区域,其中所述广义特征体选自以下组合:点;区域的表示;以及轮廓线的表示;
以及
(E)通过分析一组适当记录的图像,追踪所述图像捕捉装置的运动。
52.根据权利要求51所述的方法,其中所述步骤(B)进一步包括:
(B1)执行初始图像评估分析,以确定一组记录图像是否适合于表面追踪。
53.根据权利要求52所述的方法,其中所述步骤(B1)进一步包括:
(B1,1)从至少一个记录图像中提取至少三个属性。
54.根据权利要求52所述的方法,其中所述步骤(B1)进一步包括:
(B1,2)检查至少一个记录图像的饱和性质,看图像是否主要由单个红-绿-蓝值组成。
55.根据权利要求52所述的方法,其中所述步骤(B1)进一步包括:
(B1,3)检查至少一个记录图像的纹理性质。
56.根据权利要求52所述的方法,其中所述步骤(B1)进一步包括:
(B1,4)检查至少一个记录图像的图像对比度。
57.根据权利要求51所述的方法,其中所述步骤(D)进一步包括:
(D1)执行物体识别。
58.根据权利要求57所述的方法,其中所述步骤(D1)进一步包括:
(D1,1)从记录图像中执行稀疏特征体的提取。
59.根据权利要求57所述的方法,其中所述步骤(D1)进一步包括:
(D1,2)执行将相邻特征聚集成簇。
60.根据权利要求57所述的方法,其中所述步骤(D1)进一步包括:
(D1,3)从至少一簇相邻特征体推断物体类别。
61.根据权利要求60所述的方法,其中所述步骤(D1,3)进一步包括:
(D1,3,1)确定推断出的所述物体类别对于表面追踪的适合情况。
62.根据权利要求51所述的方法,其中所述步骤(E)进一步包括:
(E1)对所述一组捕捉的适合图像数据和所述一组场景深度数据执行刚性全局变换,将之变换为一组6坐标数据;其中所述一组6坐标数据表示所述图像捕捉装置的运动;且其中所述一组6坐标数据表示表面追踪解答。
63.根据权利要求62所述的方法,其中所述步骤(E1)进一步包括:
(E1,1)使用一组广义特征体初始化所述表面追踪解答。
64.根据权利要求63所述的方法,其中所述步骤(E1,1)进一步包括:
(E1,1,1)探测一组广义特征体;
(E1,1,2)建立所述一组广义特征体和至少两个选定帧之间的对应性;
(E1,1,3)使用所述RANSAC数学模型的参数,估算所述至少两个选定帧之间的单应性;
(E1,1,4)从所述至少两个选定帧之间的所述单应性中,得出所述图像捕捉装置的初始态势;其中所述图像捕捉装置的所述态势包括所述图像捕捉装置的位置坐标和所述图像捕捉装置的一组角坐标;
以及
(E1,1,5)使用所得出的所述图像捕捉装置的所述初始态势,作为对所述表面追踪解答的初始解答。
65.根据权利要求62所述的方法,其中所述步骤(E1)进一步包括:
(E1,2)将至少一个追踪表面上的一组广义特征体用于严格二维(strict_2D)表面追踪解答。
66.根据权利要求65所述的方法,其中所述步骤(E1,2)进一步包括:
(E1,2,1)探测单个追踪表面上的一组广义特征体;
(E1,2,2)使用所述RANCAC数学模型,选择一组共面广义特征体;
(E1,2,3)建立所述一组共面广义特征体和至少两个选定帧之间的对应性;
(E1,2,4)从所述至少两个选定帧之间的所述单应性中,得出所述图像捕捉装置的初始态势;
(E1,2,5)使用所得出的所述图像捕捉装置的所述初始态势,作为对所述严格二维(strict_2D)表面追踪解答的初始解答;
以及
(E1,2,6)将所述一组共面特征体组成群组,并使用一个围绕所述共面特征体群组的区域作为所述strict_2D表面追踪解答的输入。
67.根据权利要求62所述的方法,其中所述步骤(E1)进一步包括:
(E1,3)将多个二维(2D)追踪表面上的一组共面广义特征体用于近似二维(sub_2D)表面追踪。
68.根据权利要求67所述的方法,其中所述步骤(E1,3)进一步包括:
(E1,3,1)探测所述多个追踪表面上的一组广义特征体;
(E1,3,2)使用所述RANCAC数学模型,选择一组共面广义特征体;
(E1,3,3)建立所述一组共面广义特征体和至少两个选定帧之间的对应性;
(E1,3,4)从所述至少两个选定帧之间的所述单应性中,得出所述图像捕捉装置的初始态势;
(E1,3,5)使用所得出的所述图像捕捉装置的所述初始态势,作为对近似二维(sub_2D)表面追踪解答的初始解答;
以及
(E1,3,6)选择一个围绕选定的每个所述共面广义特征体的局部区域,将多个选定的所述局部区域组成一个二维(2D)全局区域,并使用所述2D全局区域作为所述近似sub_2D表面追踪解答的输入。
69.根据权利要求62所述的方法,其中所述步骤(E1)进一步包括:
(E1,4)将从三维(3D)中提取的一组广义特征体用于近似三维(sub_3D)表面追踪。
70.根据权利要求69所述的方法,其中所述步骤(E1,4)进一步包括:
(E1,4,1)探测所述3D表面上的一组广义特征体;
(E1,4,2)建立所述一组广义特征体和至少两个选定帧之间的对应性;
(E1,4,3)估算所述至少两个选定帧之间的单应性;
(E1,4,4)从所述至少两个选定帧之间的所述单应性中,得出所述图像捕捉装置的初始态势;
(E1,4,5)使用所得出的所述图像捕捉装置的所述初始态势,作为对近似三维(sub_3D)表面追踪解答的初始解答;
以及
(E1,4,6)选择一个围绕选定的每个所述广义特征体的局部区域,将多个选定的所述局部区域组成一个三维(3D)全局区域,并使用所述3D全局区域作为所述近似sub_3D表面追踪解答的输入。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/459,843 | 2009-07-07 | ||
US12/459,843 US8229166B2 (en) | 2009-07-07 | 2009-07-07 | Image-based tracking |
PCT/US2010/041096 WO2011005783A2 (en) | 2009-07-07 | 2010-07-06 | Image-based surface tracking |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102577349A true CN102577349A (zh) | 2012-07-11 |
CN102577349B CN102577349B (zh) | 2015-09-23 |
Family
ID=43427499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080031208.XA Active CN102577349B (zh) | 2009-07-07 | 2010-07-06 | 基于图像的表面追踪 |
Country Status (5)
Country | Link |
---|---|
US (3) | US8229166B2 (zh) |
JP (1) | JP2012533222A (zh) |
CN (1) | CN102577349B (zh) |
DE (1) | DE112010002843T5 (zh) |
WO (1) | WO2011005783A2 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105076077A (zh) * | 2015-07-25 | 2015-11-25 | 孟宪胜 | 一种基于激光成像检测的鱼体识别方法 |
CN106124512A (zh) * | 2016-03-18 | 2016-11-16 | 中铁二院工程集团有限责任公司 | 悬挂式单轨箱型梁巡检装置 |
CN106663334A (zh) * | 2014-06-16 | 2017-05-10 | 索尼公司 | 使用网格雕塑利用深度相机的3d扫描 |
CN104180818B (zh) * | 2014-08-12 | 2017-08-11 | 北京理工大学 | 一种单目视觉里程计算装置 |
CN107852458A (zh) * | 2015-06-29 | 2018-03-27 | 微软技术许可有限责任公司 | 视频帧处理 |
CN107850449A (zh) * | 2015-08-03 | 2018-03-27 | 通腾全球信息公司 | 用于生成及使用定位参考数据的方法及系统 |
CN109484300A (zh) * | 2017-09-13 | 2019-03-19 | Trw汽车美国有限责任公司 | 车辆摄像机系统 |
CN112161567A (zh) * | 2020-09-28 | 2021-01-01 | 北京天地玛珂电液控制系统有限公司 | 一种综采工作面的定位方法及系统 |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8229166B2 (en) | 2009-07-07 | 2012-07-24 | Trimble Navigation, Ltd | Image-based tracking |
PL2023812T3 (pl) | 2006-05-19 | 2017-07-31 | The Queen's Medical Center | Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii |
US9767354B2 (en) | 2009-02-10 | 2017-09-19 | Kofax, Inc. | Global geographic information retrieval, validation, and normalization |
KR101622110B1 (ko) * | 2009-08-11 | 2016-05-18 | 삼성전자 주식회사 | 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법 |
JP6002126B2 (ja) | 2010-06-25 | 2016-10-05 | トリンブル ナビゲーション リミテッドTrimble Navigation Limited | 画像ベースの測位のための方法および装置 |
US8676498B2 (en) * | 2010-09-24 | 2014-03-18 | Honeywell International Inc. | Camera and inertial measurement unit integration with navigation data feedback for feature tracking |
US8803952B2 (en) * | 2010-12-20 | 2014-08-12 | Microsoft Corporation | Plural detector time-of-flight depth mapping |
US10168153B2 (en) | 2010-12-23 | 2019-01-01 | Trimble Inc. | Enhanced position measurement systems and methods |
US9182229B2 (en) | 2010-12-23 | 2015-11-10 | Trimble Navigation Limited | Enhanced position measurement systems and methods |
US9879993B2 (en) | 2010-12-23 | 2018-01-30 | Trimble Inc. | Enhanced bundle adjustment techniques |
EP2474810A1 (de) * | 2011-01-11 | 2012-07-11 | Leica Geosystems AG | Vermessungsgerät mit einer dynamischen Anzielfunktionalität |
US9134127B2 (en) | 2011-06-24 | 2015-09-15 | Trimble Navigation Limited | Determining tilt angle and tilt direction using image processing |
US9109889B2 (en) | 2011-06-24 | 2015-08-18 | Trimble Navigation Limited | Determining tilt angle and tilt direction using image processing |
EP2747641A4 (en) | 2011-08-26 | 2015-04-01 | Kineticor Inc | METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION |
US9171380B2 (en) | 2011-12-06 | 2015-10-27 | Microsoft Technology Licensing, Llc | Controlling power consumption in object tracking pipeline |
TWI492166B (zh) | 2012-01-12 | 2015-07-11 | Kofax Inc | 行動影像擷取和處理的系統和方法 |
US10146795B2 (en) | 2012-01-12 | 2018-12-04 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
CN102706275B (zh) * | 2012-05-11 | 2014-10-29 | 天津大学 | 基于双图像传感器的空间曲面扫描与重构装置与方法 |
US9235763B2 (en) | 2012-11-26 | 2016-01-12 | Trimble Navigation Limited | Integrated aerial photogrammetry surveys |
US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
CN109008972A (zh) | 2013-02-01 | 2018-12-18 | 凯内蒂科尔股份有限公司 | 生物医学成像中的实时适应性运动补偿的运动追踪系统 |
JP6181388B2 (ja) | 2013-03-08 | 2017-08-16 | 株式会社トプコン | 計測装置 |
US9355312B2 (en) | 2013-03-13 | 2016-05-31 | Kofax, Inc. | Systems and methods for classifying objects in digital images captured using mobile devices |
US9208536B2 (en) * | 2013-09-27 | 2015-12-08 | Kofax, Inc. | Systems and methods for three dimensional geometric reconstruction of captured image data |
US20140316841A1 (en) | 2013-04-23 | 2014-10-23 | Kofax, Inc. | Location-based workflows and services |
US9247239B2 (en) * | 2013-06-20 | 2016-01-26 | Trimble Navigation Limited | Use of overlap areas to optimize bundle adjustment |
CN104572722B (zh) * | 2013-10-21 | 2018-12-14 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
US9470511B2 (en) | 2013-11-12 | 2016-10-18 | Trimble Navigation Limited | Point-to-point measurements using a handheld device |
WO2015073920A1 (en) | 2013-11-15 | 2015-05-21 | Kofax, Inc. | Systems and methods for generating composite images of long documents using mobile video data |
EP3157422A4 (en) | 2014-03-24 | 2018-01-24 | The University of Hawaii | Systems, methods, and devices for removing prospective motion correction from medical imaging scans |
US9734589B2 (en) | 2014-07-23 | 2017-08-15 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9760788B2 (en) | 2014-10-30 | 2017-09-12 | Kofax, Inc. | Mobile document detection and orientation based on reference object characteristics |
US9683849B2 (en) | 2015-04-01 | 2017-06-20 | Trimble Inc. | Vehicle navigation system with adaptive gyroscope bias compensation |
US10242285B2 (en) | 2015-07-20 | 2019-03-26 | Kofax, Inc. | Iterative recognition-guided thresholding and data extraction |
US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
CN108697367A (zh) | 2015-11-23 | 2018-10-23 | 凯内蒂科尓股份有限公司 | 用于在医学成像扫描期间跟踪并补偿患者运动的系统、装置和方法 |
CN105357707B (zh) * | 2015-11-24 | 2018-12-07 | 哈尔滨工业大学 | 基于克里金插值算法的室内分布式移动通信信号覆盖预测方法 |
US10635909B2 (en) * | 2015-12-30 | 2020-04-28 | Texas Instruments Incorporated | Vehicle control with efficient iterative triangulation |
CN106981050A (zh) * | 2016-01-18 | 2017-07-25 | 深圳岚锋创视网络科技有限公司 | 对鱼眼镜头拍摄的图像矫正的方法和装置 |
CN107305378A (zh) * | 2016-04-20 | 2017-10-31 | 上海慧流云计算科技有限公司 | 一种图像处理追踪物体的机器人及追踪物体的方法 |
US9638800B1 (en) | 2016-11-22 | 2017-05-02 | 4Sense, Inc. | Passive tracking system |
US9720086B1 (en) | 2016-11-22 | 2017-08-01 | 4Sense, Inc. | Thermal- and modulated-light-based passive tracking system |
US10845198B2 (en) | 2017-03-14 | 2020-11-24 | Trimble Inc. | Integrated vision-based and inertial sensor systems for use in vehicle navigation |
US10690498B2 (en) * | 2017-05-10 | 2020-06-23 | Trimble, Inc. | Automatic point layout and staking system |
US10586349B2 (en) | 2017-08-24 | 2020-03-10 | Trimble Inc. | Excavator bucket positioning via mobile device |
US11062176B2 (en) | 2017-11-30 | 2021-07-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
US10580148B2 (en) * | 2017-12-21 | 2020-03-03 | Microsoft Technology Licensing, Llc | Graphical coordinate system transform for video frames |
CN111047637B (zh) * | 2018-10-12 | 2023-06-27 | 深圳富联富桂精密工业有限公司 | 单目测距装置 |
WO2021080524A1 (en) * | 2019-10-23 | 2021-04-29 | Aselsan Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇ | Passive and adaptive focus optimization method for an optical system |
US10943360B1 (en) | 2019-10-24 | 2021-03-09 | Trimble Inc. | Photogrammetric machine measure up |
WO2021127570A1 (en) | 2019-12-19 | 2021-06-24 | Trimble, Inc. | Surface tracking with multiple cameras on a pole |
US11536857B2 (en) | 2019-12-19 | 2022-12-27 | Trimble Inc. | Surface tracking on a survey pole |
US11175134B2 (en) * | 2019-12-19 | 2021-11-16 | Trimble Inc. | Surface tracking with multiple cameras on a pole |
JP7463530B2 (ja) * | 2020-01-28 | 2024-04-08 | トプコン ポジショニング システムズ, インク. | 機械視点を用いた工作機械上の装置の制御システムおよび方法 |
WO2022036368A1 (en) * | 2020-08-12 | 2022-02-17 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Imaging human respiratory gas patterns to determine volume, rate and carbon dioxide concentration |
CN113074714B (zh) * | 2021-03-01 | 2022-11-01 | 河北德冠隆电子科技有限公司 | 一种基于多数据融合的多态势感知传感器及其处理方法 |
CN113115208A (zh) * | 2021-04-12 | 2021-07-13 | 云汉逐影(北京)科技有限公司 | 一种基于uwb的目标跟踪及目标图像重构技术 |
WO2023121410A1 (en) * | 2021-12-23 | 2023-06-29 | Samsung Electronics Co., Ltd. | Intelligent through-obstruction 3d imaging system using uwb electromagnetic sensing for object detection |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050190972A1 (en) * | 2004-02-11 | 2005-09-01 | Thomas Graham A. | System and method for position determination |
CN1926851A (zh) * | 2004-01-16 | 2007-03-07 | 索尼电脑娱乐公司 | 通过深度信息优化捕获装置设置的方法和设备 |
US20080101713A1 (en) * | 2006-10-27 | 2008-05-01 | Edgar Albert D | System and method of fisheye image planar projection |
CN101441769A (zh) * | 2008-12-11 | 2009-05-27 | 上海交通大学 | 单目摄像机实时视觉定位方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0660131A1 (en) * | 1993-12-23 | 1995-06-28 | Karl Osen | Camera guidance system |
JP4016227B2 (ja) * | 1998-01-07 | 2007-12-05 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
US20020164067A1 (en) | 2001-05-02 | 2002-11-07 | Synapix | Nearest neighbor edge selection from feature tracking |
TW529309B (en) * | 2001-10-31 | 2003-04-21 | Pixart Imaging Inc | Displacement measuring method of image sensor |
DE50212936D1 (de) * | 2002-10-24 | 2008-12-04 | L 1 Identity Solutions Ag | Prüfung von Bildaufnahmen von Personen |
US7660623B2 (en) * | 2003-01-30 | 2010-02-09 | Medtronic Navigation, Inc. | Six degree of freedom alignment display for medical procedures |
AU2004203173A1 (en) * | 2003-07-14 | 2005-02-03 | Sunnybrook And Women's College And Health Sciences Centre | Optical image-based position tracking for magnetic resonance imaging |
US7840253B2 (en) * | 2003-10-17 | 2010-11-23 | Medtronic Navigation, Inc. | Method and apparatus for surgical navigation |
US7539337B2 (en) * | 2005-07-18 | 2009-05-26 | Analogic Corporation | Method of and system for splitting compound objects in multi-energy computed tomography images |
US7440615B2 (en) * | 2005-10-27 | 2008-10-21 | Nec Laboratories America, Inc. | Video foreground segmentation method |
US8229166B2 (en) | 2009-07-07 | 2012-07-24 | Trimble Navigation, Ltd | Image-based tracking |
JP2007322407A (ja) * | 2006-06-01 | 2007-12-13 | Beru Techno:Kk | 背景を基準とする画像処理による変位、位置、姿勢計測方法 |
US7924182B2 (en) * | 2006-07-21 | 2011-04-12 | Cap Epsilon, Inc. | Typeless representation of alphanumeric symbols |
JP4800163B2 (ja) * | 2006-09-29 | 2011-10-26 | 株式会社トプコン | 位置測定装置及びその方法 |
KR100846498B1 (ko) | 2006-10-18 | 2008-07-17 | 삼성전자주식회사 | 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템 |
US20080181507A1 (en) | 2007-01-29 | 2008-07-31 | Intellivision Technologies Corp. | Image manipulation for videos and still images |
-
2009
- 2009-07-07 US US12/459,843 patent/US8229166B2/en active Active
-
2010
- 2010-07-06 JP JP2012519675A patent/JP2012533222A/ja active Pending
- 2010-07-06 CN CN201080031208.XA patent/CN102577349B/zh active Active
- 2010-07-06 WO PCT/US2010/041096 patent/WO2011005783A2/en active Application Filing
- 2010-07-06 US US13/382,913 patent/US9224208B2/en active Active
- 2010-07-06 DE DE112010002843T patent/DE112010002843T5/de active Pending
-
2015
- 2015-11-25 US US14/952,572 patent/US9710919B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1926851A (zh) * | 2004-01-16 | 2007-03-07 | 索尼电脑娱乐公司 | 通过深度信息优化捕获装置设置的方法和设备 |
US20050190972A1 (en) * | 2004-02-11 | 2005-09-01 | Thomas Graham A. | System and method for position determination |
US20080101713A1 (en) * | 2006-10-27 | 2008-05-01 | Edgar Albert D | System and method of fisheye image planar projection |
CN101441769A (zh) * | 2008-12-11 | 2009-05-27 | 上海交通大学 | 单目摄像机实时视觉定位方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106663334A (zh) * | 2014-06-16 | 2017-05-10 | 索尼公司 | 使用网格雕塑利用深度相机的3d扫描 |
CN106663334B (zh) * | 2014-06-16 | 2020-01-07 | 索尼公司 | 通过计算装置执行的方法、移动通信装置和存储介质 |
CN104180818B (zh) * | 2014-08-12 | 2017-08-11 | 北京理工大学 | 一种单目视觉里程计算装置 |
CN107852458A (zh) * | 2015-06-29 | 2018-03-27 | 微软技术许可有限责任公司 | 视频帧处理 |
CN105076077A (zh) * | 2015-07-25 | 2015-11-25 | 孟宪胜 | 一种基于激光成像检测的鱼体识别方法 |
CN107850449A (zh) * | 2015-08-03 | 2018-03-27 | 通腾全球信息公司 | 用于生成及使用定位参考数据的方法及系统 |
CN106124512A (zh) * | 2016-03-18 | 2016-11-16 | 中铁二院工程集团有限责任公司 | 悬挂式单轨箱型梁巡检装置 |
CN109484300A (zh) * | 2017-09-13 | 2019-03-19 | Trw汽车美国有限责任公司 | 车辆摄像机系统 |
CN109484300B (zh) * | 2017-09-13 | 2022-05-03 | Trw汽车美国有限责任公司 | 车辆摄像机系统 |
CN112161567A (zh) * | 2020-09-28 | 2021-01-01 | 北京天地玛珂电液控制系统有限公司 | 一种综采工作面的定位方法及系统 |
CN112161567B (zh) * | 2020-09-28 | 2022-05-03 | 北京天玛智控科技股份有限公司 | 一种综采工作面的定位方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20160078636A1 (en) | 2016-03-17 |
US20110007939A1 (en) | 2011-01-13 |
CN102577349B (zh) | 2015-09-23 |
US9710919B2 (en) | 2017-07-18 |
WO2011005783A4 (en) | 2011-03-31 |
WO2011005783A3 (en) | 2011-02-10 |
US9224208B2 (en) | 2015-12-29 |
DE112010002843T5 (de) | 2012-11-29 |
WO2011005783A2 (en) | 2011-01-13 |
JP2012533222A (ja) | 2012-12-20 |
US8229166B2 (en) | 2012-07-24 |
US20120195466A1 (en) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102577349B (zh) | 基于图像的表面追踪 | |
CN103119611B (zh) | 基于图像的定位的方法和设备 | |
US10242454B2 (en) | System for depth data filtering based on amplitude energy values | |
JP7236565B2 (ja) | 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
US9910158B2 (en) | Position determination of a cellular device using carrier phase smoothing | |
US6664529B2 (en) | 3D multispectral lidar | |
US9229106B2 (en) | Enhancement of range measurement resolution using imagery | |
US20140253375A1 (en) | Locally measured movement smoothing of position fixes based on extracted pseudoranges | |
CN106384382A (zh) | 一种基于双目立体视觉的三维重建系统及其方法 | |
US20140378170A1 (en) | Dead reconing system based on locally measured movement | |
CN106993181A (zh) | 多vr/ar设备协同系统及协同方法 | |
AU2011312140A1 (en) | Rapid 3D modeling | |
US9093048B2 (en) | Identifying pixels of image data | |
Toschi et al. | Combining airborne oblique camera and LiDAR sensors: Investigation and new perspectives | |
CN102175221A (zh) | 基于鱼眼镜头的车载移动摄影测量系统 | |
Strecha et al. | Quality assessment of 3D reconstruction using fisheye and perspective sensors | |
CN104412298A (zh) | 用于变换图像的方法和设备 | |
TW201828251A (zh) | 用於透過地理登記的原始感測器影像加強之方法和設備 | |
Sanchez-Belenguer et al. | RISEdb: a novel indoor localization dataset | |
CN114429515A (zh) | 一种点云地图构建方法、装置和设备 | |
Guerra Paradas | Monocular SLAM: data association and sensing through a human-assisted uncalibrated visual system | |
Di Pietra | Seamless Positioning and Navigation in Urban Environment | |
Barros | Modular device for automated and reliable mapping of indoor installations | |
Gandhi et al. | Reconfigurable omnidirectional camera array calibration with a linear moving object | |
CN114650369A (zh) | 成像方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |