CN103875024A - 摄影机导航系统及方法 - Google Patents

摄影机导航系统及方法 Download PDF

Info

Publication number
CN103875024A
CN103875024A CN201280039680.7A CN201280039680A CN103875024A CN 103875024 A CN103875024 A CN 103875024A CN 201280039680 A CN201280039680 A CN 201280039680A CN 103875024 A CN103875024 A CN 103875024A
Authority
CN
China
Prior art keywords
video camera
final
projection
attitude
camera attitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280039680.7A
Other languages
English (en)
Other versions
CN103875024B (zh
Inventor
卡洛斯·赫尔南德斯埃斯特班
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN103875024A publication Critical patent/CN103875024A/zh
Application granted granted Critical
Publication of CN103875024B publication Critical patent/CN103875024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

提供导航摄影机系统与方法。在一些方面,方法包括在摄影机的视野端口上目标辨识初始投射。初始投射与摄影机的初始摄影机姿态相关。方法包括确定视野端口上目标的最终投射。最终投射相关于摄影机的最终摄影机姿态。方法包括计算在该初始摄影机与该最终摄影机姿态之间沿着导航路径的摄影机的多个中间摄影机姿态。每一个中间摄影机姿态相关于视野端口上目标的对应中间投射。中间摄影机姿态被计算,以使得中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。

Description

摄影机导航系统及方法
相关申请案的交叉参考
本申请案主张2012年3月19日申请的美国专利申请案案号13/424,313案名为「摄影机导航系统及方法」的优先权,前述申请案主张2011年8月16日申请的美国专利申请案案号61/524,305案名为「摄影机导航系统及方法」的优先权,前述两个申请案全文并入本案作为参考。
技术领域
本发明涉及摄影机导航,且更特别地涉及映像应用的摄影机导航系统及方法。
背景技术
映像应用通常提供所关注点的高海拔空中影像与低海拔「街景」影像。当用户观看高海拔空中影像时,所述映像应用可在地图接口上提供链接,使得使用者选择与观看所述连结辨识的不同低海拔「街景」影像。从所述高海拔影像至所述低海拔影像的转变可以是突然且不悦的使用者经验。
发明内容
根据本申请案技术的各方面,提供用于导航摄影机的计算器实施方法。所述方法包括辨识在所述摄影机的视野端口(viewport)上目标的初始投射。所述初始投射与所述摄影机的初始摄影机姿态(camera pose)相关。所述方法也包括在所述视野端口上确定目标的最终投射。所述最终投射与所述摄影机的最终摄影机姿态相关。所述最终摄影机姿态对应于在海拔低于对应所述最初摄影机姿态的初始摄影机影像的海拔的最终摄影机影像。所述方法也包括沿着所述初始摄影机姿态与所述最终摄影机姿态之间的导航路径,计算所述摄影机的多个中间摄影机姿态。所述多个中间摄影机姿态的每一个与所述视野端口上所述目标的对应中间投射相关。计算所述多个中间摄影机姿态,使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。
根据本申请案技术的各方面,提供摄影机的导航系统。所述系统包括投射模块,用来辨识在所述摄影机的视野端口上目标的初始投射,以及确定在所述视野端口上所述目标的最终投射。所述初始投射与所述摄影机的初始摄影机姿态相关。所述最终投射与所述最终摄影机姿态相关。所述最终摄影机姿态对应于最终摄影机影像。所述系统也包括摄影机姿态模块,用来沿着所述初始摄影机姿态与所述最终摄影机姿态之间的导航路径,计算所述摄影机的多个中间摄影机姿态。
所述多个中间摄影机姿态的每一个中间摄影机姿态与所述视野端口上目标的相应的中间投影相关。所述摄影机姿态模块是用来计算所述多个中间摄影机姿态,使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。
根据本申请案技术的各方面,提供用于导航摄影机的以可执行指令编蚂的机器可读取媒介。所述指令包括码,用于辨识在所述摄影机的视野端口上目标的初始投射。所述初始投射与所述摄影机的初始摄影机姿态相关。所述初始摄影机姿态对应于显示所述目标的空中影像。所述指令也包括用于以所述目标为基础确定所述摄影机的最终摄影机姿态的码。所述最终摄影机姿态对应于显示所述目标的街道等级全景影像。所述指令也包括用于确定在所述视野端口上所述目标的最终投射的码。所述最终投射与所述摄影机的最终摄影机姿态相关。所述指令也包括用于沿着所述初始摄影机姿态与所述最终摄影机姿态之间导航路径而计算所述摄影机的多个中间摄影机姿态的码。所述多个中间摄影机姿态的每一个中间摄影机姿态与在所述视野端口上所述目标的相应中间投射相关。计算所述多个中间摄影机姿态,使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。所述多个中间投射在所述初始投与所述最终投射之间直线对准。
本申请案技术的其他特征与优点将如下所述,以及部分可明显得自描述内容,或可由实施本申请案技术而学习。本申请案的优点将通过描述内容与权利要求以及附随图式特别指出的结构而实现与获得。
可理解前述的一般说明与以下的详细说明是例举,以及是用于对权利要求所主张的发明提供更进一步的解释。
附图说明
本申请案附随的图式是提供本申请案技术的更进一步说明,并且并入且作为说明书的一部分,说明本申请案技术的各方面,且与详细说明一同解释本申请案技术的原理。
图1为根据本申请案技术的各方面说明摄影机导航系统的范例。
图2为根据本申请案技术的各方面说明摄影机导航方法的范例。
图3为根据本申请案技术的各方面说明沿着从高海拔位置俯冲至低海拔位置的导航路径观看目标的摄影机范例。
图4为根据本申请案技术的各方面说明沿着导航路径在不同阶段的摄影机视野端口上形成的目标的多个投射范例。
图5为根据本申请案技术的各方面说明广告牌影像的范例。
图6为根据本申请案技术的各方面说明控制器组件的方块图。
具体实施方式
在以下的详细说明中,许多特定细节是提供本申请案技术的完全说明内容。然而,对于本领域技术人员而言,不需要这些特定细节中的一些仍可实施本申请案技术。在其他例子中,已知的结构与技术不再详细说明而不模糊本申请案技术。
根据本申请案技术的各方面,在映射应用中提供在摄影机的视野端口中产生从初始高海拔影像视野至目标低海拔影像视野的俯冲或飞翔过渡的方法。所述方法可沿着所述初始高海拔影像视野与所述目标低海拔影像视野之间的过渡路径内插摄影机姿态。所述摄影机姿态可被确定受到一或多个限制。例如,所述一或多个限制可包含需要目标投射在所述摄影机的视野埠上,以单调地在所述过渡过程中更接近视野端口上目标的最终投射。所述限制也可包含维持所述视野端口上所述目标的投射在二维(2D)线,其结合所述视野端口上目标的原始投射至所述视野埠上的最终投射。
图1为根据本申请案技术的各方面说明摄影机导航系统100的范例。系统100包括投射模块102、摄影机姿态模块104以及视野范围(field-of-view,FOV)模块106。这些模块可彼此通讯。在一些范例中,所述模块可实施在软件(例如子程序与码)。在一些实施方式中,一些或全部所述模块可实施在硬件(例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、状态机器、闸逻辑、分离硬件组件或任何其他合适的装置)以及/或二者的组合。根据本申请案技术的各方面,这些模块的其他特征与功能更进一步描述在本申请案揭露内容中。
图2为根据本申请案技术的各方面说明摄影机导航方法200的范例。图3为根据本申请案各方面说明沿着从高海拔位置(例如位置314)俯冲至低海拔位置(例如位置320)的导航路径310观看目标310的摄影机302范例。方法200可用于计算在所述高海拔位置与所述低海拔位置之间摄影机302的多个摄影机姿态,以产生俯冲过渡。目标306可为映像应用中的所关注点。例如,目标306可为用户可自高海拔位置观看的三维(3D)地标。为了得到所述3D地目标较近「街景」,所述使用者可从映像应用选择目标306来定位低海拔位置的摄影机302。方法200可用于计算摄影机302的多个摄影机姿态,以从高海拔位置至低海拔位置导航摄影机302。
回到图1与图2,根据步骤202,投射模块102可辨识在摄影机302的视野端口上目标306的初始投射。图4为根据本申请案技术的各方面说明沿着导航路径310在不同阶段的摄影机302的视野端口上形成的目标306的多个投射范例。如图3与图4所示,当摄影机302是在初始位置314(例如高海拔位置)时,目标306在摄影机302的视野312内,且在视野端口412上形成初始投射402。出始投射402与摄影机302的初始摄影机姿态相关。例如,当摄影机302假设初始摄影机姿态时,目标306的初始投射402形成在视野埠412上。
所述初始摄影机姿态可包括摄影机302的初始位置(例如位置314)与摄影机的初始位向至少其中之一。在一些实施方式中,所述摄影机302的初始位置可用于确定摄影机302的目标306之间的初始距离。摄影机302的初始位向可包括摄影机302的初始倾斜角与摄影机302的初始航向角(headingangle)至少其中之一。例如,如图3所示,摄影机302是在位置314的初始摄影机姿态。在此初始摄影机姿态中,摄影机302就地球表面322法线而言倾斜零度。因此,在初始摄影机姿态的摄影机302可提供表面322的高架视野,其包括目标306的俯视图。
回到图1与图2,根据步骤S204,摄影机姿态模块104可基于目标306来确定摄影机302的最终摄影机姿态。例如,在所述用户选择在低海拔位置所要观看的目标306之后,摄影机姿态模块104可确定在低海拔位置所需要观看的最终摄影机姿态。所述最终摄影机姿态可包括摄影机302的最终位置(例如在位置320的低海拔位置)与摄影机302的最终位向至少其中之一。例如,如图3所示,摄影机302是在位置320的最终摄影机姿态。在此最终摄影机姿态中,相对于垂直表面322,摄影机302就表面322的法线而言倾斜90度。
根据一些实施方式,可使用全景影像304而替代使用目标306附近环境的三维模式来提供目标306的街景。也就是说全景影像304可用于提供目标306的街景以及目标306附近的环境。在一些实施方式中,全景影像304可为球面,以及摄影机302可被定位在全景影像304的中心内,使得使用者通过定位摄影机302于不同方向而观看目标306附近的环境。虽然全景影像304显示为球面,且完全环绕摄影机302,全景影像304也可为一些其他适合方式的拋物线或曲线,使得所述全景影像304可完全或部分环绕摄影机302,以提供目标306的街景与目标306附近的环境。在一些实施方式中,摄影机302可被定位在全景影像304的中心。可通过确定所述最终位置(例如在图3全景影像304的中心)与最终位向,以提供用户目标306的街景,来确定所述最终摄影机姿态。根据一些实施方式,广告牌影像308可用于确定摄影机302的所述最终位置与最终位向。
图5为根据本申请案技术的各方面说明广告牌影像308的范例。摄影机姿态模块104可通过产生广告牌影像308来确定摄影机302的最终摄影机姿态。广告牌影像308可为垂直于地平面(例如图3中的表面322)的二维(2D)平面,以及可用与摄影机302在全景影像304的位置320且位向在目标306方向的相同方式显示目标306。广告牌影像308可作为摄影机302的终点影像,以导航捕捉广告牌影像308中所示的视野。没有广告牌影像308作为终点影像,很难确定观看全景影像304内目标所需要的最终位向。例如,摄影机姿态模块104可确定摄影机302的最终位置与最终位向,使得摄影机302的视野端口412与广告牌影像308对准。当摄影机302假设最终摄影机姿态(例如在最终位置与最终位向)时,摄影机姿态模块104可移除广告牌影像308,以及摄影机302提供的目标306的视野与广告牌影像308提供的视野相同。在一些实施方式中,当摄影机302导航为全景影像304时,摄影机姿态模块104可移除广告牌影像308。
可使用各种参数定义广告牌影像308。例如,可由观看位置与观看位向来定义广告牌影像308。例如,定位在观看位置与定向在观看位向的摄影机可观看广告牌影像308。摄影机姿态模块104可通过匹配所述最终位置与所述观看位置以及匹配所述最终位向与所述观看位向,确定摄影机302的最终位置与最终位向。如图3所示,摄影机302定位在观看位置且定向在观看位向,这使得摄影机302观看广告牌影像308(如视野312所指)。可通过观看位置与广告牌影像308中心之间的纬度、经度、高度与距离,定义观看位置。可通过航向(例如摄影机可面对观看广告牌影像308的方向)来定义所述观看位向。
也可根据其他数据组定义广告牌影像308。例如,可由广告牌影像308的2D平片的中心高度、垂直所述2D平面的航向以及摄影机定位于观看广告牌影像308的观看位置来定义广告牌影像308。可通过观看位置与2D平面中心之间的距离、观看位置的纬度以及观看位置的经度来定义此观看位置。在一些实施方式中,所述观看位置的纬度可包括减去沿着航向的距离的2D平面的中心纬度。观看位置的经度可包括减去沿着航向的距离的2D平面中心的经度。所述观看位置与2D平面中心之间的距离可为
Figure BDA0000465870680000071
,其中H是2D平面的高度,以及FOV是从观看位置观看广告牌影像的视野角(例如视野312的角度)。
回到图1、2、3与4,根据步骤S206,投射模块102可确定在视野端口112上目标306的最终投射408。最终投射与摄影机302的最终摄影机姿态相关。例如,当摄影机302假设最终摄影机姿态(例如在最终位置与最终位向)时,最终投射408形成在视野埠412上。
若具有初始摄影机姿态与最终摄影机姿态的知识,可计算所述初始摄影机姿态与所述最终摄影机姿态之间的多个中间摄影机姿态。根据步骤S208,摄影机姿态模块104可沿着所述初始摄影机姿态与所述最终摄影机姿态之间的导航路径310,计算摄影机302的多个中间摄影机姿态。所述多个中间摄影机姿态的每一个中间摄影机姿态包括中间位置(例如图3中位置316与318)与中间位向至少其中一个。在一些实施方式中,摄影机302的多个中间位置的每一个中间位置可用于确定摄影机302与目标306之间的相应中间距离。在一些实施方式中,摄影机302的多个中间位向的每一个中间位向可包括摄影机302的中间倾斜角与摄影机302的中间航向角至少其中一个。
根据一些实施方式,所述多个中间摄影机姿态的每一个中间摄影机姿态与在视野端口上目标306的相应中间投射相关。例如,当摄影机302假设中间摄影机姿态在图3的位置316时,目标306的投射404可形成在图4中的视野端口412上。同样地,当摄影机302假设中间摄影机姿态在图3的位置318时,目标306的投射406可形成在图4的视野端口412上。
为了提供从高海拔位置至低海拔位置的俯冲过渡给摄影机302,可在一或多个限制下,计算所述多个中间摄影机姿态。例如,可计算所述多个中间摄影机姿态,使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射408。如图4所示,可计算初始计算器姿态之后的中间计算器姿态(例如当计算器302在位置316时),使得中间投射404比初始投射402更靠近最终投射408。同样地,可计算后续的中间摄影机姿态(例如当摄影机在位置318时),使得中间投射406比中间投射404更靠近最终投射408。
除了前述的限制外,可计算所述多个中间摄影机姿态,使得所述多个中间投射(例如中间投射404与406)对准初始投射404与最终投射408之间的直线410。再者,可计算所述多个中间摄影机姿态,使得目标407的多个中间投射的每一个中间投射维持在视野埠412上(例如,当摄影机302沿着导航路径310移动时,目标306维持在视野312内)。在一些实施方式中,计算所述多个中间摄影机姿态,使得目标406的中心的多个中间投射的每一个中间投射维持在视野埠412上。
根据本申请案技术的各方面,除了内插所述多个中间摄影机姿态外,也可内插摄影机视野(例如视野312)。例如,初始投射(例如初始投射402)与初始摄影机姿态可与摄影机的初始FOV相关。再者,最终投射(例如最终投射408)与最终摄影机姿态可与摄影机的最终FOV相关。根据一些实施方式,FOV模块106可沿着初始摄影机姿态与最终摄影机姿态之间的导航路径(例如导航路径310)计算摄影机的多个中间FOV。多个中间FOV的每一个FOV可与在视野埠(例如412)上目标(例如目标306)的相应中间投射相关。在一些实施方式中,FOV模块106可沿着所述导航路径,在初始FOV与最终FOV之间线性内插多个中间FOV而计算多个中间FOV。例如,如果初始FOV约为零度且最终FOV约为50度,FOV模块106可计算所述多个中间FOV,使得在零度与50度之间线性内插多个中间FOV。
由于初始FOV与最终FOV5之间摄影机的FOV可变化,目标的投射可相应视野端口而改变尺寸。根据本申请案技术的一些实施方式,响应变化的(例如线性)摄影机的FOV,摄影机姿态模块104可确定初始摄影机姿态与最终摄影机姿态之间的多个中间位置,使得目标的投射大小之倒数(例如初始投射402、多个中间投射例如投射404与406,以及最终投射408)也可线性变化。例如,初始投射402可与初始尺寸相关,最终投射408可与最终尺寸相关,以及多个中间投射的每一个中间投射例如投射404与406可与中间尺寸相关。根据一些实施方式,摄影机姿态模块104可确定摄影机302的多个中间位置,使得所述多个中间尺寸的倒数线性内插初始尺寸的倒数与最终尺寸的倒数之间。
计算多个中间摄影机姿态与多个中间FOV的前述限制相关的数学细节呈现如下。摄影机302的摄影机姿态定义为3x4模型视图矩阵P=[R t],其中R是摄影机的位向且t是摄影机302的转变。摄影机位置为c=-R-1t。如果假设不允许摄影机302滚动,则转动可分解为倾斜旋转Rα与航向旋转Rβ的乘积:
R=RαRβ(1)
其中
R α = 1 0 0 0 cos α - sin α 0 sin α cos α - - - ( 2 )
R β = cos β - sin β 0 sin β cos β 0 0 0 1 - - - ( 3 )
П为投射运算符:
П(x,y,z)→(x/z,y/z),(4)
o代表目标306的3D位置。可确定摄影机矩阵组P(t),t∈[0,1],使得:
ΠP ( t ) o = u ( t ) v ( t ) , - - - ( 5 )
其中[u(t),v(t)]T是在任何所给时间的目标306的投射。使用者可定义[u(t),v(t)]T的选择。然而,作为用户定义的选择,目标306可用于在结合初始投射402与最终投射408的2D线投射(例如线410),并且单调地更靠近最终投射408。非复杂的解决方案是在初始投射402与最终投射408之间线性内插:
u ( t ) v ( t ) = ( 1 - t ) ΠP ( 0 ) o + tΠP ( 1 ) o - - - ( 6 )
一种解答摄影机矩阵的方法是使用3D样条方法(3D spline process)内插摄影机位置。接着,当已知摄影机位置时,可找到摄影机302的位向,以使得满足方程式(5)。另一种解答摄影机矩阵的方法是先内插摄影机位向,例如通过线性内插角α与β,接着可用方程式(5)确定摄影机位置。前述两个方法可用于解答摄影机矩阵。前者涉及使用
Figure BDA0000465870680000115
基础解答三角函数系统,而后者提供较简单的线性解决方案。
给定摄影机位向与目标306的投射,问题在于计算满足方程式(5)的摄影机302位置。为了简化这个问题,坐标框的原点可移至o,也就是o=[0,0,0]T。t(t)=[x(t),y(t),z(t)]T,使得:
ПP(t)[0,0,0]T=[x(t)/z(t),y(t)/z(t)]T(7)
前述简化使得方程式(5)重写为:
x ( t ) / z ( t ) y ( t ) / z ( t ) = u ( t ) v ( t ) - - - ( 8 )
注意对于满足前述方程式的任何解答(x(t),y(t),z(t)),λ(x(t),y(t),z(t))也可满足它们。因此,可使用其他的限制来提出问题。现在可假设函数λ(t)可限制t(t)的基准。接着,其可成为
t ( t ) = λ ( t ) ( u 2 ( t ) + v 2 ( t ) + 1 ) 1 / 2 [ u ( t ) , v ( t ) , 1 ] T - - - ( 9 )
通过移动坐标框回到总体框,其中o不是原点,可得到下列方程式:
t ( t ) = λ ( t ) ( u 2 ( t ) + v 2 ( t ) + 1 ) 1 / 2 [ u ( t ) , v ( t ) , 1 ] T - R - 1 ( t ) o - - - ( 10 )
接着,缩放函数λ(t)可被指定,其可被定义为内插:
λ(t)=c(t)-o=(1-t)c0-o+tc1-o=(1-t)λ(0)+tλ(1)(11)
如果允许摄影机的FOV改变,则因为改变FOV可如同所述缩放函数λ(t)的方式在对象投射的尺寸中导入改变,可修饰所述相应缩放函数λ(t)。结果,可从所述FOV与缩放函数λ(t)控制缩放比例的总量。使得
K = f 0 0 0 f 0 0 0 1 - - - ( 12 )
成为固有矩阵的简化版本,其中f是摄影机的焦距像素。位在目标的单位球体的摄影机投射诱导的整体缩放改变可为
d 2 d ( t ) ~ f ( t ) λ ( t ) d 3 d - - - ( 13 )
结果,为了得到与FOV未改变时相同的缩放交叉时间,f与λ的内插必须通过方程式(13)而相关联。f(t)为在时间t的焦距,以及从方程式(11)与(13),可得到:
λ ( t ) = f ( t ) ( ( 1 - t ) λ ( t ) f ( 0 ) t λ ( 1 ) f ( 1 ) ) - - - ( 14 )
方法200可用于沿着导航路径310导航摄影机302,作为从初始摄影机姿态至最终摄影机姿态的过渡。在一些实施方式中,沿着导航路径310导航摄影机302的速度可依用户的经验而优化。导航摄影机302太快会造成突然且不愉悦的使用者经验。另一方面,导航摄影机302太慢会耗时且延迟用户观看目标306的街景。根据一些实施方式,可沿着导航路径302导航摄影机302至少0.4秒且至多1秒。此时间期间可提供使用者在初始摄影机姿态与最终摄影机姿态之间愉快的过渡。可依初始摄影机姿态与最终摄影机姿态之间的距离,使用其他的时间期间。
在一些实施方式中,可通过客户装置(例如桌上型计算器、膝上型计算器、平板计算器、笔记型计算器、移动电话等)实施方法200。例如,此客户装置可运作映像应用,以及可包括系统100。客户装置的用户可使用映像应用,以从目标的空中影像俯冲至目标的街景影像。在一些实施方式中,可通过服务器实施方法200,所述服务器可提供与俯冲至运作映像应用的客户装置相关的指令与/或其他信息。例如,所述服务器可包括系统100,以及可在例如因特网的网络上提供投射、摄影机姿态与其他合适的信息至所述客户装置。在一些实施方式中,可通过服务器与客户装置实施方法200。例如,所述客户装置可实施方法200的一或多个步骤,以及所述服务器可实施方法200的一或多个其他步骤。
图6为根据本申请案技术的各方面说明控制器600的组件的方块图。控制器600包括处理器模块604、储存模块610、输入/输出(I/O)模块608、内存模块606以及总线602。总线602可为用于传递信息的任何适合的通讯机制。处理器模块604、储存模块610、I/O模块608以及内存模块606与总线602耦合,以用于传递控制器600任何模块之间的信息与/或控制器600的任何模块与控制器600的外部装置之间的信息。例如,控制器600任何模块之间通讯的信息可包含指令与/或数据。在一些实施方式中,总线602可为通用序列总线。在一些实施方式中,总线302可提供以太网络连接。
在一些实施方式中,处理器模块604可包括一或多个处理器,其中每一个处理器可进行不同功能或执行不同指令与/或程序。例如,一或多个处理器可执行操作系统100的指令、一或多个处理器可执行导航摄影机302的指令,以及一或多个处理器可执行输入/输出功能的指令。
内存模块606可为随机接入内存(RAM)或是用于储存处理器模块604所要执行的信息与指令的其他动态存储。内存模块606也可用于处理器604执行指令过程中储存暂时变量或是其他中间信息。在一些实施方式中,内存模块606可包括电池供电的静态RAM,它储存信息而不需要电力维持储存的信息。储存模块610可为磁盘或是光盘,以及也可储存信息与指令。在一些实施方式中,储存模块610可包括硬盘储存或电子内存储存(例如快闪内存)。在一些实施方式中,内存模块606与储存模块610皆为机器可读取媒介。
控制器600通过I/O模块608耦合至用户接口,以用于提供信息至系统100的操作者以及从系统100的操作者接收信息。例如,所述用户接口可为阴极线管(CRT)或LCD荧屏,以用于显示信息给操作者。所述用户接口也可包含例如通过I/O模块608耦合至控制器600的键盘或鼠标,以用于传递信息与指令选择至处理器模块604。
根据本申请案技术的各方面,本案所描述的方法是由控制器600执行。特别地,处理器模块604执行包含在内存模块606与/或储存模块610中的一或多个指令序列。在一实施方式中,可从另一个机器可读取媒介(例如储存模块610)读取指令至内存模块606中。在另一个实施方式中,可从I/O模块608(例如通过用户接口)从系统100的操作者,直接读取指令至内存模块606中。执行包含在内存模块606与/或储存模块610中的指令序列使得处理器模块604执行方法而导航摄影机。例如,导航摄影机的计算运算可储存在内存模块606与/或储存模块610中而作为一或多个指令序列。例如初始摄影机姿态、最终摄影机姿态、多个中间摄影机姿态、初始FOV、最终FOV、多个中间FOV、初始投射、最终投射、中间投射、全景影像304、广告牌影像308、目标306、线410的信息与其他合适的信息可通过总线602,从处理器模块604被通讯至内存模块606与/或储存模块610,以用于储存。在一些实施方式中,可通过总线602,从处理器模块604、内存模块606与/或储存模块610传递信息至I/O模块608。接着,所述信息可通过用户接口从I/O模块608传递至系统100的操作者。
多处理配置的一或多个处理器也可用于执行包含在内存模块606与/或储存模块610中的指令序列。在一些实施方式中,硬线电路可替代或结合软件指令,以实施本申请案技术的各种方面。因此,本申请案不限于硬件电路与软件的任何特定组合。
本申请案所使用的「机器可读取媒介」或「计算器可读取媒介」是指参与提供指令至处理器模块604用于执行的任何媒介。此媒介可为许多形式,包含但不限于非易失媒介与易失媒介。非易失媒介包含例如光盘或磁盘,例如储存模块610。易失媒介包含动态内存,例如内存模块606。机器可读取媒介或计算器可读取媒介的一般形式包含例如软磁盘、可挠磁盘、硬盘、磁带、任何其他磁性媒介、CD-ROM、DVD、任何其他光媒介、穿孔卡、纸带、具有孔洞图案的任何其他实体媒介、RAM、PROM、EPROM、FLASHEPROM、任何其他内存芯片或卡匣,或处理器可读取的任何其他媒介。
前述说明是提供本领域技术人员实施本申请案所述的各种架构。虽然本申请案技术已经被特别描述参考各图式与架构,但是应理解这些是作为说明,而非用于限制本申请案技术的范围。
可有许多其他方式实施本申请案技术。本申请案描述的各种功能与组件可有不同的划分,而不脱离本申请案技术的范围。对于本领域的技术人员而言,这些架构的各种修饰是明显的,以及本申请案定义的原理可用于其他架构。因此,具有本领域通常技艺的人员可对于本申请案技术进行许多改变与修饰而不脱离本申请案技术的范围。
应理解本申请案揭露的程序中步骤的特定顺序或阶级是作为示范方法的说明。基于设计偏好,应理解可重新配置程序中步骤的特定顺序或阶级。一些步骤可被同时进行。伴随的方法权利要求用样品顺序呈现各种步骤的组件,而非用于限制为特定顺序或阶级。
「实施方式」并非意指此方式对于本申请案技术是重要的,或此方式用于本申请案技术的所有架构。关于实施方式的揭露可用于所有架构或是一或多个架构。实施方式可提供揭露内容的一或多个范例。「实施方式」可指一或多个实施方式,反之亦然。「实施例」并非指此实施例对于本申请案技术是重要的,或此实施例用于本申请案技术的所有架构。关于实施例的揭露内容可用于所有实施例或一或多个实施例。实施例提供揭露内容的一或多个范例。「实施例」一词可指一或多个实施例,反之亦然。「架构」并非指此架构对于本申请案技术是重要的,或此架构用于本申请案技术的所有架构。关于架构的揭露内容可用于所有架构,或一或多个架构。架构提供揭露内容的一或多个范例。「架构」一词可指一或多个架构,反之亦然。
再者,「包含」、「具有」或类似用语在说明书或权利要求书中,此用语是开放性用语类似于「包括」,如同权利要求书中「包括」被解释为开放用语。
「例如」是指「作为范例、例子或说明」。本申请案所描述的任何实施例作为「例子」并非解释为相较于其他实施例为较佳或有利的。
若非特别声明,组件以单数表示并非是指「一个且唯一」,而是「一或多个」。「一些」是指一或多。本申请案描述的各种架构的组件所有结构与功能均等物对于此领域的技术人员而言是已知或将会知道的,皆明确并入本案作为参考,且包含于本申请案技术中。再者,本申请案揭露内容无论是否明确载明于上述说明中皆全无意图奉献给公众。

Claims (22)

1.一种用于导航摄影机的计算器实施方法,所述方法包括:
辨识在所述摄影机的视野端口上目标的初始投射,所述初始投射与所述摄影机的初始摄影机姿态相关;
确定在所述视野端口上所述目标的最终投射,所述最终投射与所述摄影机的最终摄影机姿态相关,所述最终摄影机姿态相应于在海拔低于相应于初始摄影机姿态的初始摄影机影像的海拔的最终摄影机影像,所述最终摄影机姿态包括所述摄影机的最终位置与所述摄影机的最终位向至少其中一个;以及
计算沿着所述最初摄影机姿态与该最终摄影机姿态之间导航路径的该摄影机的多个中间摄影机姿态,所述多个中间摄影机姿态的每一个与在所述视野端口上所述目标的相应中间投射相关,
其中计算所述多个中间摄影机姿态,使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。
2.如权利要求1所述的方法,其中所述最终摄影机影像包括显示所述目标的全景影像。
3.如权利要求1至2中任一项所述的方法,其中所述最终位置是集中在所述最终摄影机影像内。
4.如权利要求1至2中任一项所述的方法,还包括确定所述最终摄影机姿态,其中确定所述最终摄影机姿态包括:
产生显示所述目标的广告牌影像;以及
确定所述摄影机的所述最终位置以及所述摄影机的所述最终位向,使得所述摄影机的所述视野端口对准所述广告牌影像。
5.如权利要求4所述的方法,其中所述广告牌影像包括垂直于地面平面的二维平面。
6.如权利要求4所述的方法,还包括当所述摄影机假设所述最终摄影机姿态时,移除所述广告牌影像。
7.如权利要求4所述的方法,其中所述最终摄影机影像包括显示所述目标的全景影像,以及其中所述全景影像至少部分环绕所述广告牌影像。
8.如权利要求4所述的方法,其中通过观看位置与观看位向,定义所述广告牌影像。
9.如权利要求8所述的方法,其中确定所述摄影机的所述最终位置与所述摄影机的所述最终位向包括匹配所述最终位置与所述观看位置,以及匹配所述最终位像与所述观看位向。
10.如权利要求1至2中任一项所述的方法,其中所述多个中间摄影机姿态的每一个包括所述摄影机的中间位置与所述摄影机的中间位向的至少一个,以及其中计算所述多个中间摄影机姿态包括:
确定所述初始摄影机姿态与所述最终摄影机姿态之间所述摄影机的所述多个中间位向;以及
基于所述多个中间位向,确定所述初始摄影机姿态与所述最终摄影机姿态之间的所述多个中间位置。
11.如权利要求10所述的方法,其中确定所述多个中间位向包括在所述初始摄影机姿态与所述最终摄影机姿态之间,线性内插所述多个中间位向。
12.如权利要求1至2中任一项所述的方法,其中所述多个中间摄影机姿态的每一个包括所述摄影机的中间位置与所述摄影机的中间位向至少其中一个,以及其中计算所述多个中间摄影机姿态包括:
确定所述初始摄影机姿态与所述最终摄影机姿态之间的所述多个中间位置;以及
基于所述多个中间位置,确定所述初始摄影机姿态与所述最终摄影机姿态之间的所述多个中间位向。
13.如权利要求12所述的方法,其中确定所述多个中间位置包括使用三维样条程序,在所述初始摄影机姿态与所述最终摄影机姿态之间,内插所述多个中间位置。
14.一种导航摄影机的系统,所述系统包括:
投射模块,用于辨识在所述摄影机的视野端口上目标的初始投射,以及确定所述视野端口上所述目标的最终投射,所述初始投射与所述摄影机的初始摄影机姿态相关,所述最终投射与所述最终摄影机姿态相关,所述最终摄影机姿态相应于最终摄影机影像;以及
摄影机姿态模块,用于计算沿着所述初始摄影机姿态与所述最终摄影机姿态之间导航路径的多个中间摄影机姿态,所述多个中间摄影机姿态的每一个与在所述视野端口上所述目标的相应中间投射相关,以及
其中所述摄影机姿态模块用于计算所述多个中间摄影机姿态,使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射。
15.如权利要求14所述的系统,其中所述初始投射及所述初始摄影机姿态与所述摄影机的初始视野相关,其中所述最终投射及所述最终摄影机姿态与所述摄影机的最终视野相关,以及其中所述系统更包括视野模块,用于计算沿着所述初始摄影机姿态与所述最终摄影机姿态之间所述导航路径的所述摄影机的多个中间视野,所述中间视野的每一个中间视野与在所述视野端口上所述目标的相应中间投射相关。
16.如权利要求15所述的系统,其中所述中间摄影机姿态的每一个中间摄影机姿态包括所述摄影机的中间位置,以及其中所述摄影机姿态模块用于基于所述多个中间视野,确定所述初始摄影机姿态与所述最终摄影机姿态之间的所述多个中间位置。
17.如权利要求16所述的系统,其中所述摄影机姿态模块用于确定所述多个中间位置,使得所述初始投射、所述多个中间投射以及所述最终投射实质维持相同尺寸,以响应所述多个中间视野。
18.一种方法,包括:
辨识在所述摄影机的视野端口上目标的初始投射,所述初始投射与所述摄影机的初始摄影机姿态相关,所述初始摄影机姿态相应于显示所述目标的空中影像;
基于所述目标,确定所述摄影机的最终摄影机姿态,所述最终摄影机姿态相应于显示所述目标的街道等级全景影像;
确定在所述视野端口上所述目标的最终投射,所述最终投射与所述摄影机的所述最终摄影机姿态相关;以及
计算沿着所述初始摄影机姿态与所述最终摄影机姿态之间导航路径的所述摄影机的多个中间摄影机姿态,所述多个中间摄影机姿态的每一个与在所述视野端口上所述目标的相应中间投射相关,
其中计算所述多个中间摄影机姿态,使得所述多个中间投射的每一个后续的中间投射比所述多个中间投射的前一个中间投射更靠近所述最终投射,以及
其中所述多个中间投射对准所述初始投射与所述最终投射之间的直线。
19.如权利要求18所述的方法,其中所述初始投射及所述初始摄影机姿态与所述摄影机的初始视野相关,其中所述最终投射及所述最终摄影机姿态与所述摄影机的最终视野相关,以及其中所述方法还包括计算沿着所述初始摄影机姿态与所述最终摄影机姿态之间所述导航路径的所述摄影机的多个中间视野,所述中间视野的每一个与在所述视野端口上所述目标的相应中间投射相关。
20.如权利要求19所述的方法,其中计算该多个中间视野包括在该初始视野与该最终视野之间沿着该导航路径内插该多个中间视野。
21.一种用于导航摄影机的以可执行指令编码的机器可读取媒介,该指令包括用于执行如权利要求1-13或18-20中任一项所述方法的码。
22.一种计算器系统,包括用以执行如权利要求1-13或18-20中任一项所述方法的硬件。
CN201280039680.7A 2011-08-16 2012-08-14 摄影机导航系统及方法 Active CN103875024B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161524305P 2011-08-16 2011-08-16
US61/524,305 2011-08-16
US13/424,313 2012-03-19
US13/424,313 US9189891B2 (en) 2011-08-16 2012-03-19 Systems and methods for navigating a camera
PCT/US2012/050820 WO2013025730A1 (en) 2011-08-16 2012-08-14 Systems and methods for navigating camera

Publications (2)

Publication Number Publication Date
CN103875024A true CN103875024A (zh) 2014-06-18
CN103875024B CN103875024B (zh) 2017-05-10

Family

ID=47712342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280039680.7A Active CN103875024B (zh) 2011-08-16 2012-08-14 摄影机导航系统及方法

Country Status (6)

Country Link
US (1) US9189891B2 (zh)
EP (1) EP2745193A4 (zh)
CN (1) CN103875024B (zh)
AU (1) AU2012296659A1 (zh)
DE (1) DE202012013412U1 (zh)
WO (1) WO2013025730A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US10127722B2 (en) * 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US9786097B2 (en) * 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US9679413B2 (en) 2015-08-13 2017-06-13 Google Inc. Systems and methods to transition between viewpoints in a three-dimensional environment
CN105718867A (zh) * 2016-01-16 2016-06-29 深圳先进技术研究院 一种基于导航飞艇的城市空中街景处理系统及方法
US10241514B2 (en) 2016-05-11 2019-03-26 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
US9987752B2 (en) 2016-06-10 2018-06-05 Brain Corporation Systems and methods for automatic detection of spills
US10282849B2 (en) 2016-06-17 2019-05-07 Brain Corporation Systems and methods for predictive/reconstructive visual object tracker
US10016896B2 (en) 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
US10274325B2 (en) 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
US10001780B2 (en) 2016-11-02 2018-06-19 Brain Corporation Systems and methods for dynamic route planning in autonomous navigation
US10723018B2 (en) 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
US10614606B2 (en) * 2016-11-30 2020-04-07 Ricoh Company, Ltd. Information processing apparatus for creating an animation from a spherical image
US10377040B2 (en) 2017-02-02 2019-08-13 Brain Corporation Systems and methods for assisting a robotic apparatus
US10852730B2 (en) 2017-02-08 2020-12-01 Brain Corporation Systems and methods for robotic mobile platforms
US10293485B2 (en) 2017-03-30 2019-05-21 Brain Corporation Systems and methods for robotic path planning
CN113450258B (zh) * 2021-08-31 2021-11-05 贝壳技术有限公司 视角转换方法和装置、存储介质、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063816A1 (en) * 1998-05-27 2003-04-03 Industrial Technology Research Institute, A Taiwanese Corporation Image-based method and system for building spherical panoramas
US20060007312A1 (en) * 2001-10-10 2006-01-12 Sony Computer Entertainment America Inc. Camera navigation in a gaming environment
US20080031600A1 (en) * 2006-08-04 2008-02-07 Joshua Robey Method and system for implementing a virtual billboard when playing video from optical media
US20090259976A1 (en) * 2008-04-14 2009-10-15 Google Inc. Swoop Navigation
CN102053249A (zh) * 2009-10-30 2011-05-11 吴立新 基于激光扫描和序列编码图形的地下空间高精度定位方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5276785A (en) 1990-08-02 1994-01-04 Xerox Corporation Moving viewpoint with respect to a target in a three-dimensional workspace
US5613048A (en) * 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
US6839041B2 (en) * 2001-08-01 2005-01-04 Thermwood Corporation Virtual reality viewing system and method
US7589732B2 (en) * 2002-11-05 2009-09-15 Autodesk, Inc. System and method of integrated spatial and temporal navigation
US8026929B2 (en) 2006-06-26 2011-09-27 University Of Southern California Seamlessly overlaying 2D images in 3D model
US8089479B2 (en) 2008-04-11 2012-01-03 Apple Inc. Directing camera behavior in 3-D imaging system
US20100004995A1 (en) 2008-07-07 2010-01-07 Google Inc. Claiming Real Estate in Panoramic or 3D Mapping Environments for Advertising
KR101626038B1 (ko) 2008-08-12 2016-05-31 구글 인코포레이티드 지리 정보 시스템에서의 순행
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063816A1 (en) * 1998-05-27 2003-04-03 Industrial Technology Research Institute, A Taiwanese Corporation Image-based method and system for building spherical panoramas
US20060007312A1 (en) * 2001-10-10 2006-01-12 Sony Computer Entertainment America Inc. Camera navigation in a gaming environment
US20080031600A1 (en) * 2006-08-04 2008-02-07 Joshua Robey Method and system for implementing a virtual billboard when playing video from optical media
US20090259976A1 (en) * 2008-04-14 2009-10-15 Google Inc. Swoop Navigation
CN102053249A (zh) * 2009-10-30 2011-05-11 吴立新 基于激光扫描和序列编码图形的地下空间高精度定位方法

Also Published As

Publication number Publication date
WO2013025730A1 (en) 2013-02-21
US9189891B2 (en) 2015-11-17
DE202012013412U1 (de) 2016-11-16
AU2012296659A1 (en) 2013-05-02
US20130044139A1 (en) 2013-02-21
EP2745193A1 (en) 2014-06-25
EP2745193A4 (en) 2017-01-11
CN103875024B (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN103875024A (zh) 摄影机导航系统及方法
AU2008322565B2 (en) Method and apparatus of taking aerial surveys
Höllerer et al. User interface management techniques for collaborative mobile augmented reality
Spohrer Information in places
Prince et al. Augmented reality camera tracking with homographies
US20170018120A1 (en) System and method for superimposing spatially correlated data over live real-world images
US8223145B2 (en) Method and system for 3D object positioning in 3D virtual environments
CN106251404A (zh) 方位跟踪方法、实现增强现实的方法及相关装置、设备
EP2954468A1 (en) Providing indoor facility information on a digital map
US20100231581A1 (en) Presentation of Data Utilizing a Fixed Center Viewpoint
US10025798B2 (en) Location-based image retrieval
Lai et al. Mobile edutainment with interactive augmented reality using adaptive marker tracking
Leach et al. Recreating Sheffield’s medieval castle in situ using outdoor augmented reality
CN114187589A (zh) 一种目标检测方法、装置、设备和存储介质
CN115439528B (zh) 一种获取目标对象的图像位置信息的方法与设备
US20090051702A1 (en) Process and apparatus for generating map data in real time
Köppel et al. Context-responsive labeling in augmented reality
Trapp et al. Strategies for visualising 3D points-of-interest on mobile devices
Li et al. Scalable WIM: Effective exploration in large-scale astrophysical environments
CN108053492B (zh) 立体图形的展开过程呈现方法、装置、设备及存储介质
Chu et al. Mobile navigation services with augmented reality
CN113570256A (zh) 应用于城市规划的数据处理方法、装置、电子设备及介质
Hanson et al. Very large scale visualization methods for astrophysical data
CN102317988B (zh) 使用结构的形状的信息提供装置及方法
CN104007970A (zh) 适于多种地图的gis指挥调度系统的人物动画实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.

CP01 Change in the name or title of a patent holder