CN104848863B - 产生所关注位置的扩增视图 - Google Patents

产生所关注位置的扩增视图 Download PDF

Info

Publication number
CN104848863B
CN104848863B CN201510079359.7A CN201510079359A CN104848863B CN 104848863 B CN104848863 B CN 104848863B CN 201510079359 A CN201510079359 A CN 201510079359A CN 104848863 B CN104848863 B CN 104848863B
Authority
CN
China
Prior art keywords
image
user
interest
location
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510079359.7A
Other languages
English (en)
Other versions
CN104848863A (zh
Inventor
S.M.金
R.卡恩德沃
D.巴茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN104848863A publication Critical patent/CN104848863A/zh
Application granted granted Critical
Publication of CN104848863B publication Critical patent/CN104848863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明的一个实施方案阐述一种用于为用户产生所关注位置的扩增视图的技术。所述技术包含基于所述所关注位置确定图像俘获位置，以及基于所述图像俘获位置确定图像俘获方向。所述技术进一步包含接收与所述图像俘获位置和所述图像俘获方向相关联的图像。所述技术进一步包含基于与所述用户的位置相关联的视线处理所述图像以产生经处理图像，以及向所述用户显示所述经处理图像。有利地，所公开的技术使用户能够透视周围环境中的障碍物以检视所关注位置。

Description

产生所关注位置的扩增视图
技术领域
本发明的实施方案大体涉及扩增现实(augmented reality)，且更特定来说涉及为用户产生所关注位置的扩增视图。
背景技术
导航系统广泛用于多种应用中以确定用户的位置且提供方向指导以使用户能够导航到特定目的地。导航系统通常包含位置接收器，其从一或多个源接收信号(例如，地理定位信号)，所述一或多个源包含全球定位系统(GPS)卫星、无线接入点、陀螺仪、惯性传感器、罗盘等。基于从位置接收器接收的位置信号，将导航信息提供给用户。
除了向用户提供到特定目的地的方向指导外，当前导航系统还通常使用户能够检视导航路线和/或目的地的图像。举例来说，一些导航系统允许用户通过检视用户将在上面行进的街道的数据库图像而预览导航路线。因此，用户能够对他或她将行进的环境更加熟悉。然而，一旦用户已经开始旅行，检视导航路线的数据库图像就通常不可行。举例来说，试图在向目的地步行或驾驶的同时经由例如智能电话等移动装置检视数据库图像可能使用户分心，从而干扰用户安全导航他或她的周围环境的能力。如此，如果用户迷路或希望检视导航路线或目的地的图像，那么他或她可能必须停止步行或驾驶来操作他或她的移动装置。
为解决这些缺点，一些导航系统实施扩增现实特征，例如与用户的视场叠加的抬头显示器(heads-up display，HUD)。举例来说，例如逐拐弯方向指导、街道名称和距目的地的剩余距离等信息可在用户的视场内显示，从而使用户能够同时检视导航信息且关注他或她的周围环境。另外，一些导航系统试图例如通过将街道名称、街道号码和/或公司名称叠加在特定建筑物上而将相关信息叠加在周围区域中的对象上。然而，当环境中的障碍物(例如，建筑物或汽车)正阻挡用户的视场时，当前扩增现实系统所产生的叠加不能向用户提供相关信息。举例来说，如果用户对目的地的视图被周围区域中的建筑物或汽车阻挡，那么用户可能直到用户已到达目的地才能检视扩增现实信息。
如上文说明，用于向用户提供相关导航信息的改进的技术将是有用的。
发明内容
本发明的一个实施方案陈述一种用于为用户产生所关注位置的扩增视图的方法。所述方法包含基于所关注位置确定图像俘获位置，以及基于图像俘获位置确定图像俘获方向。所述方法进一步包含接收与图像俘获位置和图像俘获方向相关联的图像。所述方法进一步包含基于与用户的位置相关联的视线处理图像以产生经处理图像，以及向用户显示所述经处理图像。
更多实施方案提供(尤其)经配置以实行上文陈述的方法步骤的系统和非暂时性计算机可读媒体。
有利地，所公开的技术使用户能够透视周围环境中的障碍物以检视所关注位置。另外，所公开的技术使用户能够在检视所关注位置的同时继续关注他或她的实时周围环境。因此，通过将所关注位置的图像与用户的实时视场叠加，增加导航效力和用户安全性。
附图说明
如此可详细理解本发明的上述特征的方式，可通过参考实施方案(其中一些在附图中说明)获得对上文简要概述的本发明的更具体描述。然而应注意，附图仅说明本发明的典型实施方案，且因此不应视为限制其范围，因为本发明可容许其它同等有效的实施方案。
图1A-1C是说明根据本发明的各个实施方案用于将所关注位置的不被阻挡图像与实时视图合成以产生所关注位置的扩增视图的技术的概念图；
图2是说明根据本发明的各个实施方案用于当产生所关注位置的扩增视图时确定图像俘获位置和图像俘获方向的技术的概念图；
图3A和3B是说明根据本发明的各个实施方案用于产生被街道拐角阻挡的所关注位置的扩增视图的技术的概念图；
图4是说明根据本发明的各个实施方案用于当产生被街道拐角阻挡的所关注位置的扩增视图时确定图像俘获位置和图像俘获方向的技术的概念图；
图5是根据本发明的各个实施方案用于为用户产生所关注位置的扩增视图的方法步骤的流程图；
图6A和6B是说明根据本发明的各个实施方案用于产生所关注位置的放大视图的技术的概念图；
图7是说明根据本发明的各个实施方案用于当产生所关注位置的放大视图时基于缩放等级确定图像俘获位置的技术的概念图；
图8是根据本发明的各个实施方案用于为用户产生所关注位置110的放大视图的方法步骤的流程图；以及
图9是说明经配置以实施本发明的一或多个方面的计算装置的框图。
具体实施方式
在以下描述中，陈述许多特定细节以提供对本发明的实施方案的更彻底理解。然而，本领域的技术人员将了解，本发明的实施方案可在没有这些特定细节中的一或多者的情况下实践。
图1A-1C是说明根据本发明的各个实施方案用于将所关注位置110的不被阻挡图像112与实时视图116合成以产生所关注位置110的扩增视图的技术的概念图。如图1A所示，当用户正行进时，周围环境中的对象可能阻挡用户的视线，从而干扰用户看到例如标志、街道、建筑物、地标等所关注位置110的能力。举例来说，在图1A中，障碍物114正阻挡用户对用户即将行进到的所关注位置110(例如，建筑物)的视图。因此，用户可能不能及时看到所关注位置110来改变通车车道和/或转到适当街道上。此外，用户可能不必要地花费额注意力资源来试图视觉上定位被障碍物114阻挡的所关注位置110，从而降低用户关注周围环境中的行人和其它车辆的能力。
为使用户能够检视在障碍物114后面的所关注位置110，可从数据库和/或从定位在周围环境中的相机获取所关注位置110的图像112。所关注位置110的图像112可接着在用户的视场中显示，从而使用户能够检视所关注位置110，同时检视他或她的实时周围环境。在各个实施方案中，可在显示器120上向用户展示所关注位置110的图像112。显示器120可安置在用户的车辆的任何表面上和/或投影到用户的车辆的任何表面，包含窗户(例如，侧窗、挡风玻璃、后窗等)、镜子(例如，后视镜、侧视镜等)和/或显示屏。在一些实施方案中，显示器120是抬头显示器(HUD)，其为基本上透明的从而使用户能够在还检视他或她的实时周围环境的同时检视所关注位置110。在透明显示器120上显示图像112(尤其)允许将所关注位置110与用户的实时视图116合成，从而产生周围环境的大体连续视图(如图1B所示)。另外，如图1C所示，在透明显示器上显示图像112允许图像112的不透明度变化使得用户能够在显示器120的正显示所关注位置110的图像112的相同区中检视障碍物114(例如，公共汽车)。此外，可通过俘获用户的视线的实时图像、将实时图像与所关注位置110的图像112合成，以及在显示器120上显示所合成图像而使所关注位置110的图像112的不透明度相对于用户的实时视图116变化。此类技术在下文结合图2进一步详细描述。
图2是根据本发明的各个实施方案用于向用户显示所关注位置110的扩增视图的导航系统200的概念图。如图所示，导航系统200可包含显示器120、相机210和跟踪装置220。相机210可经配置以俘获用户的周围环境的图像，例如上文描述的实时视图116。相机210可定位在使其能够从用户的视点俘获图像的位置中。举例来说，相机210可位于用户的视线上方、下方或侧部。在一些实施方案中，相机210可安装在用户正在其中行进的车辆上和/或用户自身上。
在操作中，导航系统200接收所关注位置110。所关注位置110可由用户输入，由导航系统200确定，且/或从次级装置接收。所关注位置110可包含街道地址、街道号码、名称、城市、州、坐标，和/或使导航系统200能够确定身份和/或所关注位置110的任何其它信息。导航系统200可进一步确定用户相对于所关注位置110的位置。用户的位置可使用任何类型的地理定位装置来确定，包含全球定位系统(GPS)装置、无线通信装置、飞行时间装置、射频(RF)装置、光学装置等。
在接收所关注位置110之后，导航系统200从数据库或从位于周围区域中的相机接收与所关注位置110相关联的图像112。在一些实施方案中，相机接近所关注位置110使得相机可俘获所关注位置110的不被阻挡图像112，且将图像发射到导航系统200。数据库可为导航数据库，例如街道视图，其包含从多个位置以及从多个方向俘获的各种街道和路径的图像。
从数据库接收和/或由相机俘获的所关注位置110的图像112与图像俘获位置相关联。图像俘获位置可经选择以向用户提供具有适当视角(例如，类似于用户的视角)且相对未被周围环境中的对象阻挡的所关注位置110的图像112。在各个实施方案中，图像俘获位置可基于所关注位置110和用户的位置中的一者或两者确定。举例来说，如果所关注位置110是在用户正沿着步行或驾驶的街道上的公司的地点，那么图像俘获位置可定位在用户与所关注位置110之间，例如在用户与所关注位置110之间的视线中。因此，如果用户正从南边接近所关注位置110，那么图像俘获位置可定位到所关注位置110的南边—用户的位置与所关注位置110之间—以便提供具有适当视角的图像112。
从数据库接收和/或由相机俘获的所关注位置110的图像112还可与图像俘获方向相关联。如上文相对于图像俘获位置描述，图像俘获方向可经选择以向用户提供具有适当视角(例如，类似于用户的视角)的所关注位置110的图像112。图像俘获方向可基于所关注位置110、用户的位置和图像俘获位置中的一或多者确定。举例来说，如果图像俘获位置定位在用户与所关注位置110之间，那么图像俘获方向可经选择以与从用户到所关注位置110的视线方向大体匹配。因此，如果用户正从南边接近所关注位置110，那么图像俘获方向可基本上朝北以便提供具有适当视角的图像112。或者，如果图像俘获位置并不基本上沿着用户与所关注位置110之间的视线定位，例如如果与上文描述的图像俘获位置相关联的图像112不可用，那么图像俘获方向可经选择以补偿图像俘获位置与用户的位置之间的视角差异。另外，图像112本身可经处理(例如，经由变换)以补偿图像俘获位置与用户的位置之间的视角差异，如下文进一步详细描述。
在各个实施方案中，图像俘获位置和/或图像俘获方向可通过将存储在数据库中或由周围区域中的一或多个相机俘获的所关注位置110的一或多个图像112与用户的实时视图116比较来确定。举例来说，导航系统200可将一或多个图像俘获位置和/或图像俘获方向处俘获的所关注位置110的图像112的一或多个相关部分与由相机210俘获的实时视图116的图像的对应部分比较。导航系统200可接着确定哪一(些)图像是实时视图116的最接近匹配。这些图像112可接着经处理且在显示器120上向用户显示，例如通过应用变换以及将图像112与实时视图116合成。
在显示器120上向用户显示所关注位置110的图像112之前，可处理图像112。处理可包含例如将变换应用于图像112、重新设定图像112的大小、剪切图像112，和/或将多个图像112组合为单一图像112使得当向用户显示图像112时图像112和实时视图116是基本上连续的。另外，图像112的不透明度可经修改以更有效地将图像112与实时视图116混合，且/或使用户能够同时检视图像112和实时视图116的对应部分(例如，障碍物114)两者。此外，在一些实施方案中，所关注位置110的图像112可与实时视图116的图像合成，且所得合成图像可在显示器120上向用户显示。当显示器120不在用户与所关注位置110之间的视线中时，将所关注位置110的图像112与实时视图116的图像合成可能是有用的。在其它实施方案中，在显示器120上(例如，在车窗(例如，挡风玻璃)上)显示仅所关注位置110的图像112(例如，经处理图像112)，而不显示实时视图116的图像。
跟踪装置220可包含(不限于)经配置以确定用户的位置和/或眼睛注视方向223(例如，水平角和/或垂直角)的一或多个相机和/或传感器。相机和/或传感器获取的图像可由包含在跟踪装置220中且/或与导航系统200相关联的计算装置分析。举例来说，如图2所示，相机可经配置以获取用户的眼睛或脸部的图像。所述图像可接着经分析以确定用户相对于显示器120的位置和/或用户正注视的方向。
用户的位置和/或眼睛注视方向223可用于确定所关注位置110、图像俘获位置，和/或图像俘获方向。举例来说，用户可激活导航装置200的扩增视图功能，且接着注视所关注位置110的方向。作为响应，跟踪装置220可检测用户眼睛注视方向223且将眼睛注视方向223发射到与导航系统200相关联的计算装置。计算装置可接着使用眼睛注视方向223来确定用户正注视的所关注位置110，且选择适当图像俘获位置和/或图像俘获方向。可接着向用户显示与图像俘获位置和/或图像俘获方向相关联的图像112。此外，用户相对于显示器120的位置(例如，用户在车辆内的位置)可用于确定和/或改善图像俘获位置和/或图像俘获方向。举例来说，如果用户在车辆内向左或向右移动，那么图像俘获位置和/或图像俘获方向可经修改使得向用户显示的所关注位置110的图像112准确反映用户的视角。此外，用户相对于显示器120的位置可用于确定在向用户显示图像112之前如何处理图像112(例如，经由变换、缩放、剪切等)。
一旦导航系统200接收所关注位置110的图像112，就可处理图像112以补偿俘获图像112所处的高度与用户视线的高度的差异。举例来说，如果从例如街道视图等数据库获取图像112，那么可已在高于用户视线的高度处俘获图像112。因此，可将变换应用于图像112以补偿用户的视线与相机(例如，街道视图相机)的视线之间的角222。
在一些实施方案中，导航装置200由用户佩戴。举例来说，导航装置200可为用户佩戴的耳机或一副眼镜。在此类实施方案中，相机210、跟踪装置220和/或显示器120可定位在导航装置200中接近用户的眼睛以确定眼睛注视方向223，且向用户提供所关注位置110的图像112。举例来说，一或多个相机可定位在耳机或一副眼镜中靠近用户的眼睛。
在特定情形下，导航装置200的用户可能希望检视在街道拐角的另一侧的所关注位置110。举例来说，当用户正行进时，用户可能希望在到达特定街道之前检视该街道上有什么，以便确定他或她是否应拒绝该街道。因此，可应用上文描述的一些技术向用户提供在街道拐角周围的建筑物和/或其它所关注位置110的图像112。下文结合图3A-5论述此类实现方式。
图3A和3B是说明根据本发明的各个实施方案用于产生被街道拐角阻挡的所关注位置110的扩增视图的技术的概念图。如图所示，当接近街道拐角时，用户可希望检视正被街道拐角阻挡的建筑物、路标、标志等。因此，用户可激活导航装置200的扩增视图功能且输入相关所关注位置110(例如，经由键盘、语音命令、眼睛注视方向223等)。作为响应，导航系统200可基于用户相对于所关注位置110的位置来确定图像俘获位置和/或图像俘获方向，如下文结合图4进一步详细描述。导航系统200可接着基于图像俘获位置和/或图像俘获方向接收所关注位置110的图像112，且对图像112执行任选处理。接着在显示器120上向用户显示图像112。举例来说，如图3B所示，可在透明显示器120(例如，车窗)上向用户显示在街道拐角的另一侧上的所关注位置110的图像112，从而使用户能够结合图像112检视实时视图116。
图4是说明根据本发明的各个实施方案用于当产生被街道拐角阻挡的所关注位置110的扩增视图时确定图像俘获位置415和图像俘获方向的技术的概念图。如图所示，可从数据库和/或从接近所关注位置110的相机获取各自与不同图像俘获位置415和/或图像俘获方向相关联的一或多个图像112。当获取多个图像112时，图像112可组合以形成向用户显示的单一连续图像112。另外，图像112可与用户的实时视图116组合。举例来说，如图所示，与用户的位置410相关联的实时视图116-1和实时视图116-2的图像可与图像俘获位置415-1处俘获的图像112-1和图像俘获位置415-2处俘获的图像112-2组合以形成向用户显示的连续图像。在其它实施方案中，连续图像可通过仅将图像112-1与图像112-2组合而产生。所得图像112可接着经处理(例如，根据用户的视角)且在用户的视场中的适当位置中显示使得图像112呈现为与实时视图116-1和实时视图116-2是基本上连续的。
除了将实时视图116与所关注位置110的图像112合成外，还可使用实时视图116来确定哪一(些)图像俘获位置和/或图像俘获方向提供与同用户的位置410相关联的实时视图116最接近匹配。举例来说，与导航系统200相关联的计算装置可将实时视图116(例如，实时视图116-1和116-2)的一或多个部分与从数据库或相机获取的图像112的一或多个对应部分比较以确定哪一(些)图像112与用户的视角最接近地匹配。可接着处理且向用户显示提供与实时视图116的适当水平的连续性的图像112。
图5是根据本发明的各个实施方案用于为用户产生所关注位置的扩增视图的方法步骤的流程图。尽管结合图1-4的系统描述方法步骤，但本领域的技术人员将理解，经配置以以任何次序执行所述方法步骤的任何系统均落在本发明的范围内。
如图所示，方法500在步骤510处开始，其中导航系统200接收所关注位置110。所关注位置110可由用户输入，由导航系统200确定，且/或从次级装置接收。在步骤515处，导航系统200确定用户的位置。用户的位置可使用任何类型的地理定位装置确定，例如全球定位系统(GPS)装置、无线通信装置、飞行时间装置、射频(RF)装置、光学装置等。
接下来，在步骤520处，导航系统200基于所关注位置110和用户的位置确定图像俘获位置。在步骤525处，导航系统200可基于所关注位置110、用户的位置，和/或图像俘获位置确定图像俘获方向。接着，在步骤530处，导航系统200接收与图像俘获位置和任选图像俘获方向相关联的所关注位置110的图像112。
在步骤540处，导航系统200和/或与导航系统200相关联的计算装置可处理图像112。处理可包含例如将变换应用于图像112、重新设定图像112的大小、剪切图像112、将多个图像112组合为单一图像112等。在步骤550处，在显示器120上向用户显示经处理图像112。
在步骤560处，导航系统200确定是否已存在对用户的位置的改变。如果已存在对用户的位置的改变，那么方法500返回到步骤515，在步骤515处确定用户的位置。如果尚未存在对用户的位置的改变，那么方法500进行到步骤570。在步骤570处，导航系统200确定是否已存在对所关注位置110的改变。如果已存在对所关注位置110的改变，那么方法500返回到步骤510，在步骤510处接收不同的所关注位置110。如果尚未存在对所关注位置的改变，那么方法500结束。
除了为用户产生被阻挡所关注位置110的扩增视图外，导航系统200还可经配置以产生相对未被阻挡但距用户相对较远的所关注位置110的扩增视图。图6A和6B中说明此类实现方式，图6A和6B是说明根据本发明的各个实施方案用于产生所关注位置110的放大视图的技术的概念图。如图6A所示，当用户正接近未被阻挡的所关注位置110时，用户可希望更容易地检视与所关注位置110相关联的细节。因此，导航系统200可获取所关注位置110的图像112，且根据用户指定或导航系统200确定的缩放等级在显示器120上显示图像112。所关注位置110的所得图像112在图6B中展示。如图所示，通过产生所关注位置110的放大图像，用户可更容易地检视与所关注位置110相关联的细节。
向用户显示的放大图像112可从数据库获取(如上所述)或从接近所关注位置110的相机获取。此类实现方式在下文结合图6进一步详细描述。或者，向用户显示的放大图像112可由与导航系统200相关联且/或耦合到用户或用户的车辆的相机(例如，相机210)获取。举例来说，与导航系统200相关联的相机210可经由光学缩放或数字缩放功能提供所关注位置110的放大图像112。在其它实施方案中，相机210俘获的图像112可由与导航系统200相关联的计算装置放大。放大图像112可接着在相对于实时视图116的适当位置中向用户显示。
图7是说明根据本发明的各个实施方案用于当产生所关注位置110的放大视图时基于缩放等级确定图像俘获位置的技术的概念图。如图所示，由导航装置200选择的图像俘获位置415可基于用户指定或导航系统200选择的缩放等级。举例来说，如果用户输入相对低缩放等级(例如，缩放等级2x)，那么图像俘获位置415-3可由导航系统200选择，且如果用户输入相对高缩放等级(例如，缩放等级24x)，那么图像俘获位置415-5可由导航系统200选择。在各个实施方案中，用户可通过向导航系统200发布语音命令或通过在键盘、开关、旋钮或其它输入装置上输入缩放等级而指定待显示所关注位置110所处的缩放等级。
除了基于缩放等级选择适当图像俘获位置外，在一些实施方案中，还可选择图像俘获方向以提供具有适当视角的图像112，如上文结合图1A-5描述。此外，针对给定缩放等级获取的图像112可根据上文描述的技术处理以补偿图像俘获位置与用户的位置410之间的视角差异。此外，尽管图6中的图像112说明为由车辆(例如，街道视图车辆或定位在周围环境中的车辆)获取(例如，经由车辆间(vehicle-to-vehicle，V2V)通信)，但可从周围环境中的其它对象(例如，电线杆上的监控摄像机、街道标志、建筑物等)和位置获取图像112。
在一些实施方案中，用于检视被对象和/或街道拐角阻挡的所关注位置110的技术(上文结合图1A-5描述)可与用于向用户显示所关注位置110的放大图像112的技术(上文结合图6A-7描述)组合。举例来说，代替于产生所关注位置110的图像112以产生从用户视角来看连续的图像，可放大图像112以使用户能够更容易地检视与所关注位置110相关联的细节。如上文描述，图像112的放大可由用户指定和/或由导航系统选择以提供从零缩放(使得图像112与实时视图116是基本上连续的)到高缩放等级(例如，12x、24x或更高)的范围内的缩放等级。
图8是根据本发明的各个实施方案用于为用户产生所关注位置的扩增视图的方法步骤的流程图。尽管结合图1-4和6-7的系统描述方法步骤，但本领域的技术人员将理解，经配置以以任何次序执行所述方法步骤的任何系统均落在本发明的范围内。
如图所示，方法800在步骤810处开始，在步骤810处导航系统200接收所关注位置110。在步骤812处，导航系统200确定用户的位置。在步骤814处，导航系统200接收缩放等级。缩放等级可由导航系统200(例如，基于一算法)选择，或用户可通过向导航系统200发布语音命令或通过在键盘、开关、旋钮或其它输入装置上输入缩放等级来指定缩放等级。
接下来，在步骤820处，导航系统200基于所关注位置110、用户的位置，和/或缩放等级确定图像俘获位置和任选图像俘获方向。接着，在步骤830处，导航系统200接收与图像俘获位置和任选图像俘获方向相关联的所关注位置110的图像112。接着，在步骤840处，导航系统200和/或与导航系统200相关联的计算装置可处理图像112。在步骤850处，在显示器120上向用户显示经处理图像112。
在步骤860处，导航系统200确定是否已存在对缩放等级的改变。如果已存在对缩放等级的改变，那么方法800返回到步骤814，在步骤814处接收不同缩放等级。如果尚未存在对缩放等级的改变，那么方法800进行到步骤870。在步骤870处，导航系统200确定是否已存在对用户的位置的改变。如果已存在对用户的位置的改变，那么方法800返回到步骤812，在步骤812处确定用户的位置。如果尚未存在对用户的位置的改变，那么方法800进行到步骤880。在步骤880处，导航系统200确定是否已存在对所关注位置110的改变。如果已存在对所关注位置110的改变，那么方法800返回到步骤810，在步骤810处接收不同的所关注位置110。如果尚未存在对所关注位置的改变，那么方法800结束。
图9是说明经配置以实施本发明的一或多个方面的计算装置900的框图。如图所示，计算装置900包含处理单元902、输入/输出(I/O)装置904和存储器单元910。存储器单元910包含经配置以与数据库914交互的应用912。
处理单元902可包含中央处理单元(CPU)、数字信号处理单元(DSP)等。I/O装置904可包含输入装置、输出装置，和能够接收输入以及提供输出的装置。存储器单元910可包含存储器模块或存储器模块的集合。存储器单元910内的软件应用912可由处理单元902执行以实施计算装置900的总体功能性，且因此作为整体协调导航系统200的操作。数据库914可存储所关注位置110、图像112、与实时视图116相关联的图像、GPS坐标、对象位置、对象距离、查找表，以及用于产生所关注位置110的扩增视图且获取与所关注位置110相关联的信息的其它数据。
计算装置900可耦合到相机210和跟踪装置220。相机210可经配置以俘获用户的实时视图116的图像。跟踪装置220可包含一或多个传感器，例如一或多个相机和/或深度传感器。跟踪装置220可经配置以测量用户所驻留的环境的各种特性，以及与用户相关联的各种特性(例如，位置、定位、定向，和眼睛注视方向223)。跟踪装置220可包含任何数目的相机、深度传感器、光传感器，或任何其它类型的传感器。一般来说，跟踪装置220俘获与环境相关联的感测数据以及与用户相关联的感测数据，且将所述数据提供到计算装置900。
计算装置900作为整体可为微处理器、专用集成电路(ASIC)、芯片上系统(SoC)、移动计算装置(例如，平板计算机或手机)、媒体播放器等。一般来说，计算装置900经配置以协调导航系统200的总体操作。经配置以实施导航系统200的功能性的任何技术上可行的系统均落在本发明的范围内。
总之，导航系统基于所关注位置和用户的位置确定图像俘获位置和图像俘获方向。导航系统接着从数据库和/或从接近所关注位置的相机接收所关注位置的图像。所述图像基于图像俘获位置和/或图像俘获方向。接下来，导航系统可通过基于用户的位置应用变换来处理图像。经处理图像接着向用户显示。
本文描述的技术的一个优点是，用户能够透视周围环境中的障碍物以检视所关注位置。另外，所公开的技术使用户能够在检视所关注位置的同时继续关注他或她的实时周围环境。因此，通过将所关注位置的图像与用户的实时视场叠加，增加导航效力和用户安全性。
本发明的一个实施方案可实施为用于与计算装置一起使用的程序产品。程序产品的程序界定实施方案(包含本文描述的方法)的功能，且可包含在多种计算机可读存储媒体上。说明性计算机可读存储媒体包含(但不限于)：(i)在上面永久存储信息的非可写入存储媒体(例如，计算机内的只读存储器装置，例如可由CD-ROM驱动器读取的压缩光盘只读存储器(CD-ROM)盘、快闪存储器、只读存储器芯片(ROM)或任何类型的固态非易失性半导体存储器)；以及(ii)在上面存储可更改信息的可写入存储媒体(例如，软盘驱动器或硬盘驱动器内的软盘，或任何类型的固态随机存取半导体存储器)。
上文已参考特定实施方案描述了本发明。然而，本领域的一般技术人员将理解，可在不脱离如所附权利要求书中陈述的本发明的较广精神和范围的情况下对其作出各种修改和改变。举例来说，尽管本文的许多描述将用户称为车辆的驾驶者或乘客，但本领域的技术人员将了解，本文描述的系统和技术可适用于其中产生所关注位置的扩增视图可增强用户体验和/或用户安全性的其它情形(例如，非车辆有关的)。以上描述和图式因此应在说明性而非限制性意义上理解。
因此，本发明的实施方案的范围在所附权利要求书中陈述。

Claims (19)

1.一种用于为用户产生所关注位置的扩增视图的计算机实施的方法，所述方法包括：
确定所述用户的眼睛注视方向；
基于所述眼睛注视方向确定所述所关注位置，所述所关注位置正好在所述用户看向的障碍物的后方；
基于所述所关注位置选择图像俘获位置；
基于所述图像俘获位置选择图像俘获方向；
接收与所述图像俘获位置和所述图像俘获方向相关联的图像；
基于与所述用户的位置相关联的视线处理所述图像以产生经处理图像；以及
向所述用户显示所述经处理图像。
2.如权利要求1所述的方法，其中处理所述图像包括经由显示器的表面投射所述视线以确定变换，以及将所述变换应用于所述图像。
3.如权利要求2所述的方法，其中车窗包括所述显示器的表面。
4.如权利要求1所述的方法，其进一步包括接收与所述视线相关联的实时视图的图像，且其中处理所述图像包括将所述图像与所述实时视图的所述图像比较，以及使所述图像的至少一部分与所述实时视图的所述图像的至少一部分对准。
5.如权利要求4所述的方法，其中所述实时视图的所述图像包括所述所关注位置的被阻挡视图，且所述图像包括所述所关注位置的基本上未被阻挡的视图。
6.如权利要求4所述的方法，其中处理所述图像进一步包括将所述图像与所述实时视图的所述图像合成。
7.如权利要求1所述的方法，其进一步包括从所述用户处接收缩放值，且其中确定所述图像俘获位置进一步基于所述缩放值。
8.如权利要求1所述的方法，其进一步包括从数据库接收界定所述所关注位置的坐标，且其中所述用户的所述位置从一或多个地理定位信号导出。
9.如权利要求1所述的方法，其进一步包括确定所述用户的眼睛注视方向，以及基于所述用户的所述位置和所述眼睛注视方向选择所述所关注位置。
10.一种用于为用户产生所关注位置的扩增视图的系统，其包括：
处理单元，其经配置以：
确定所述用户的眼睛注视方向；
基于所述眼睛注视方向确定所述所关注位置，所述所关注位置正好在所述用户看向的障碍物的后方；
基于所述用户的位置和所述所关注位置选择第一图像俘获位置；
接收在所述第一图像俘获位置处获取的第一图像；且
基于与所述用户的所述位置相关联的视线处理所述第一图像以产生经处理图像；以及
显示器，其经配置以向所述用户显示所述经处理图像。
11.如权利要求10所述的系统，其中所述处理单元进一步经配置以基于所述第一图像俘获位置和所述所关注位置确定图像俘获方向，且所述第一图像与所述图像俘获方向相关联。
12.如权利要求10所述的系统，其中所述处理单元经配置以通过经由所述显示器的表面投射所述视线以确定变换且将所述变换应用于所述第一图像来处理所述第一图像。
13.如权利要求12所述的系统，其中所述显示器安置在车窗中。
14.如权利要求10所述的系统，其中所述处理单元进一步经配置以接收与所述视线相关联的实时视图的图像，且所述处理单元经配置以通过将所述第一图像与所述实时视图的所述图像比较以确定变换且将所述变换应用于所述第一图像以使所述第一图像的至少一部分与所述实时视图的所述图像的至少一部分对准来处理所述第一图像。
15.如权利要求14所述的系统，其中所述实时视图的所述图像包括所述所关注位置的被阻挡视图，且所述第一图像包括所述所关注位置的基本上未被阻挡的视图。
16.如权利要求10所述的系统，其中所述处理单元进一步经配置以接收与所述视线相关联的实时视图的图像，且所述处理单元经配置以通过使所述第一图像的至少一部分与所述实时视图的所述图像的至少一部分对准且将所述第一图像与所述实时视图的所述图像合成来处理所述第一图像。
17.如权利要求10所述的系统，其中所述处理单元进一步经配置以基于所述用户的所述位置和所述所关注位置确定第二图像俘获位置，且接收在所述第二图像俘获位置处获取的第二图像，且其中所述处理单元经配置以通过将所述第一图像与所述第二图像组合来处理所述第一图像。
18.如权利要求17所述的系统，其中所述第一图像与所述所关注位置的第一视角相关联，且所述第二图像与所述所关注位置的第二视角相关联。
19.如权利要求10所述的系统，其进一步包括经配置以确定所述用户的眼睛注视方向的跟踪装置，且其中所述处理单元进一步经配置以接收所述眼睛注视方向且基于所述用户的所述位置和所述眼睛注视方向选择所述所关注位置。
CN201510079359.7A 2014-02-18 2015-02-13 产生所关注位置的扩增视图 Active CN104848863B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/183,364 2014-02-18
US14/183,364 US9639968B2 (en) 2014-02-18 2014-02-18 Generating an augmented view of a location of interest

Publications (2)

Publication Number Publication Date
CN104848863A CN104848863A (zh) 2015-08-19
CN104848863B true CN104848863B (zh) 2019-08-20

Family

ID=52596313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510079359.7A Active CN104848863B (zh) 2014-02-18 2015-02-13 产生所关注位置的扩增视图

Country Status (4)

Country Link
US (1) US9639968B2 (zh)
EP (1) EP2911041B1 (zh)
JP (1) JP6487231B2 (zh)
CN (1) CN104848863B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US20170061689A1 (en) * 2015-08-24 2017-03-02 Caterpillar Inc. System for improving operator visibility of machine surroundings
US20170090196A1 (en) * 2015-09-28 2017-03-30 Deere & Company Virtual heads-up display application for a work machine
JP6456516B2 (ja) * 2015-10-30 2019-01-23 三菱電機株式会社 運転支援装置
KR102023863B1 (ko) * 2016-04-14 2019-09-20 닛산 지도우샤 가부시키가이샤 이동체 주위 표시 방법 및 이동체 주위 표시 장치
WO2017206042A1 (zh) * 2016-05-31 2017-12-07 中国科学院深圳先进技术研究院 基于智能眼镜的遮挡物透视方法及装置
JP6799063B2 (ja) * 2016-07-20 2020-12-09 富士フイルム株式会社 注目位置認識装置、撮像装置、表示装置、注目位置認識方法及びプログラム
IL298851B2 (en) 2016-07-25 2023-12-01 Magic Leap Inc Change, display and visualization of imaging using augmented and virtual reality glasses
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
JP2018032991A (ja) * 2016-08-24 2018-03-01 富士通株式会社 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
US10552690B2 (en) * 2016-11-04 2020-02-04 X Development Llc Intuitive occluded object indicator
US10558264B1 (en) 2016-12-21 2020-02-11 X Development Llc Multi-view display with viewer detection
DE102017100004A1 (de) * 2017-01-02 2018-07-05 Connaught Electronics Ltd. Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug
CN106973237B (zh) * 2017-05-25 2019-03-01 维沃移动通信有限公司 一种拍摄方法及移动终端
USD844028S1 (en) * 2017-06-04 2019-03-26 Apple Inc. Display screen or portion thereof with graphical user interface
US10885672B2 (en) 2017-06-14 2021-01-05 Behr Process Corporation Systems and methods for analyzing colors from a social media platform
US10349011B2 (en) * 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system
CN109427219B (zh) * 2017-08-29 2021-04-27 深圳市掌网科技股份有限公司 基于增强现实教育场景转换模型的防灾学习方法和装置
DE102017129214B4 (de) * 2017-12-08 2024-01-18 Grammer Aktiengesellschaft System und Verfahren zur Verbesserung eines Blickfelds
US10544567B2 (en) 2017-12-22 2020-01-28 Caterpillar Inc. Method and system for monitoring a rotatable implement of a machine
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
WO2019130827A1 (ja) 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
US10901687B2 (en) * 2018-02-27 2021-01-26 Dish Network L.L.C. Apparatus, systems and methods for presenting content reviews in a virtual world
WO2019173697A1 (en) * 2018-03-08 2019-09-12 Bose Corporation Prioritizing delivery of location-based personal audio
AT521130A1 (de) * 2018-04-04 2019-10-15 Peterseil Thomas Verfahren zum Einblenden eines virtuellen Objekts
JP7033029B2 (ja) * 2018-07-30 2022-03-09 本田技研工業株式会社 制御装置及びプログラム
JP7087844B2 (ja) * 2018-08-31 2022-06-21 トヨタ自動車株式会社 画像処理装置、画像処理システム及び車両
US11538045B2 (en) 2018-09-28 2022-12-27 Dish Network L.L.C. Apparatus, systems and methods for determining a commentary rating
JP2020065141A (ja) * 2018-10-16 2020-04-23 現代自動車株式会社Ｈｙｕｎｄａｉ Ｍｏｔｏｒ Ｃｏｍｐａｎｙ 車両の俯瞰映像生成システム及びその方法
DE102018219481A1 (de) * 2018-11-15 2020-05-20 Robert Bosch Gmbh Baugruppe für einen LiDAR-Sensor und LiDAR-Sensor
WO2020103805A1 (en) * 2018-11-19 2020-05-28 Suteng Innovation Technology Co., Ltd. Lidar signal receiving circuits, lidar signal gain control methods, and lidars using the same
US11016630B2 (en) 2019-01-31 2021-05-25 International Business Machines Corporation Virtual view-window
JP7359208B2 (ja) * 2019-06-11 2023-10-11 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN111703371B (zh) * 2020-06-16 2023-04-07 阿波罗智联(北京)科技有限公司 交通信息的显示方法、装置、电子设备和存储介质
JP2024049400A (ja) * 2021-01-29 2024-04-10 株式会社Ｎｔｔドコモ 情報処理システム
EP4364396A1 (en) * 2021-06-30 2024-05-08 Snap Inc. Augmented reality eyewear with x-ray effect
US11635808B2 (en) * 2021-08-12 2023-04-25 International Business Machines Corporation Rendering information in a gaze tracking device on controllable devices in a field of view to remotely control

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
JP2004234455A (ja) * 2003-01-31 2004-08-19 Canon Inc 情報処理方法および画像再生装置
US7148861B2 (en) * 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
US7619626B2 (en) * 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4401890B2 (ja) * 2004-07-29 2010-01-20 本田技研工業株式会社 車両の認知支援装置
US20060210111A1 (en) * 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
JP2007156637A (ja) * 2005-12-01 2007-06-21 Mitsubishi Electric Corp 情報検索装置およびプログラムならびに情報検索システム
JP4752486B2 (ja) 2005-12-15 2011-08-17 株式会社日立製作所 撮像装置、映像信号の選択装置、運転支援装置、自動車
US20080158256A1 (en) * 2006-06-26 2008-07-03 Lockheed Martin Corporation Method and system for providing a perspective view image by intelligent fusion of a plurality of sensor data
JP5053776B2 (ja) 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
US8237791B2 (en) * 2008-03-19 2012-08-07 Microsoft Corporation Visualizing camera feeds on a map
JP5208203B2 (ja) 2008-03-27 2013-06-12 パナソニック株式会社 死角表示装置
KR20100055254A (ko) * 2008-11-17 2010-05-26 엘지전자 주식회사 이동 단말기의 ｐｏｉ 정보 제공 방법 및 그 장치
JP2011152865A (ja) * 2010-01-27 2011-08-11 Kyocera Corp 車載撮像装置
US8436872B2 (en) * 2010-02-03 2013-05-07 Oculus Info Inc. System and method for creating and displaying map projections related to real-time images
EP2372627A3 (en) * 2010-04-01 2011-10-12 Richard E. Rowe Providing city services using mobile devices and a sensor network
WO2011135778A1 (ja) 2010-04-26 2011-11-03 パナソニック株式会社 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US20150005690A1 (en) * 2012-01-16 2015-01-01 TEXO MEDICAL ApS Device for treatment of a wound
DE102012200731A1 (de) * 2012-01-19 2013-07-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
US9092896B2 (en) * 2012-08-07 2015-07-28 Microsoft Technology Licensing, Llc Augmented reality display of scene behind surface

Also Published As

Publication number Publication date
JP6487231B2 (ja) 2019-03-20
EP2911041B1 (en) 2020-07-08
US20150235398A1 (en) 2015-08-20
CN104848863A (zh) 2015-08-19
US9639968B2 (en) 2017-05-02
EP2911041A1 (en) 2015-08-26
JP2015153426A (ja) 2015-08-24

Similar Documents

Publication Publication Date Title
CN104848863B (zh) 产生所关注位置的扩增视图
JP6763448B2 (ja) 視覚強化ナビゲーション
US11692842B2 (en) Augmented reality maps
KR101864814B1 (ko) 스트리트 뷰 목적지에 대한 안내를 제공하는 방법 및 장치
US9952665B2 (en) Eye vergence detection on a display
US6208933B1 (en) Cartographic overlay on sensor video
JP6176541B2 (ja) 情報表示装置、情報表示方法及びプログラム
US20090262145A1 (en) Information display device
US20120026088A1 (en) Handheld device with projected user interface and interactive image
US9086293B2 (en) Navigation device and control method for displaying detour
JP2019121876A (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
JP6444508B2 (ja) 表示制御装置およびナビゲーション装置
JP2014211431A (ja) ナビゲーション装置、及び、表示制御方法
RU2375756C2 (ru) Навигационное устройство с информацией, получаемой от камеры
JP7023775B2 (ja) 経路案内プログラム、経路案内方法及び情報処理装置
KR20080019690A (ko) 카메라 정보를 구비하는 내비게이션 기기
WO2019111307A1 (ja) 表示制御装置及び表示制御方法
JP6432312B2 (ja) ナビゲーションシステム、ナビゲーション方法、及びナビゲーションプログラム
JP6444514B2 (ja) 表示制御装置、表示装置および経路案内方法
JP2014228407A (ja) ナビゲーション装置
JP2011022152A (ja) ナビゲーションデバイス
JP2008304400A (ja) ナビゲーション装置、ナビゲーション方法およびナビゲーションプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant