CN103177470A - 利用机动车的显示器产生增强现实的方法和系统 - Google Patents

利用机动车的显示器产生增强现实的方法和系统 Download PDF

Info

Publication number
CN103177470A
CN103177470A CN2012105571433A CN201210557143A CN103177470A CN 103177470 A CN103177470 A CN 103177470A CN 2012105571433 A CN2012105571433 A CN 2012105571433A CN 201210557143 A CN201210557143 A CN 201210557143A CN 103177470 A CN103177470 A CN 103177470A
Authority
CN
China
Prior art keywords
virtual
coordinate range
image
output image
dimensional space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105571433A
Other languages
English (en)
Other versions
CN103177470B (zh
Inventor
T.芒奇
P.希莫德尔
C.本兹
A.柯纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of CN103177470A publication Critical patent/CN103177470A/zh
Application granted granted Critical
Publication of CN103177470B publication Critical patent/CN103177470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/205—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform for detecting the geographical location of the game platform
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)

Abstract

本发明提供了一种利用机动车的显示器产生增强现实的方法和系统，包括以下步骤：以图像数据(11)的形式记录机动车的环境的图像；根据图像数据(11)确定三维的虚拟空间(31)；检测图像数据(11)中的真实物体(24、25、26、27、28)；确定三维虚拟空间(31)中的真实物体(24、25、26、27、28)的第一坐标范围；向三维虚拟空间(31)添加虚拟元素(52、53、54)，虚拟元素(52、53、54)具有第二坐标范围；基于用户输入(50)来控制三维虚拟空间(31)中的虚拟元素(52、53、54)；在输出图像(61、62a、62b)中以组合形式输出环境和受控制的虚拟元素(52、53、54)；当真实物体(24、25、26、27、28)的第一坐标范围和受控制的虚拟元素(52、53、54)的第二坐标范围形成相交区域时，修改输出图像(61、62a、62b)；通过机动车的所述显示器(71、240)输出上述修改后的输出图像(61、62a、62b)。

Description

利用机动车的显示器产生增强现实的方法和系统
技术领域
本发明的各种实施例涉及用于利用机动车的显示器产生增强现实的方法和系统。
背景技术
EP 1 720 131 B1示出了带有真实标记物体识别的增强现实(augmentedreality)系统。图4在简化的图示中示意性地示出了其增强现实系统100。系统100包括用于从真实环境120中收集图像数据的摄像机110。真实环境120表示任何适当的区域，如房屋的房间、特定地形的一部分或任何其它相关场景。在图4中，真实环境120表示起居室，该起居室包括例如以墙壁124和家具121、122和123形式的多个真实物体121、…、124。此外，真实环境120还包括被认为是标记物体125、126的真实物体，所述标记物体125、126具有任何适当的配置，以便容易地被自动化的图像处理算法所识别。例如，标记物体125、126上面已形成可以被容易地识别的显著图案，其中标记物体125、126的形状可被设计，以便允许从多个不同视角来对其识别。标记物体125、126也表示大体上二维的配置，其中此类配置上面已形成相应的识别图案。
系统100还包括用于基于由摄像机110提供的图像数据来识别标记物体125、126的装置130。识别装置130可包括用于比较图像数据与表示标记物体125、126的预定义的模板的公知的图案识别算法。例如，识别装置130可在其中已实现用于基于预定义的照度阈值将由摄像机110获取的图像转换为黑白图像的算法。算法还被配置来将图像分成预定义的片段（如方块）以及在每个片段中搜索预定的图案模板，其中模板表示标记物体125、126的显著部分。
首先，基于光照阈值将实时视频图像转换成黑白图像。然后，搜索此图像中的方块区域。软件找到二进制图像中的所有方块，其中很多不是跟踪标记，如物体125、126。对于每个方块，将方块内的图案与某些预定的图案模板进行匹配。如果存在相配的情况，则软件已找到一个跟踪标记，如物体125、126。然后，软件使用已知的方块大小和图案方向来计算真实摄像机相对于物理标记（如物体125、126）的位置。然后，用摄像机相对于所识别的标记的真实世界坐标来填充3×4矩阵。然后，使用此矩阵来设置虚拟摄像机坐标的位置。由于虚拟和真实摄像机坐标相同，所以精确绘制的计算机图形在指定位置叠加真实标记物体。此后，使用渲染引擎来设置虚拟摄像机坐标并绘制虚拟图像。
图4的系统100还包括用于将从摄像机110接收的图像数据与从物体数据产生器150获取的物体数据组合的装置140。组合装置140包括跟踪系统、距离测量系统和渲染系统。通常，组合装置140被配置来针对对应地识别的标记物体并入从产生器150获取的图像数据，以便生成表示环境120以及对应于标记物体125、126的附加的虚拟物体的三维图像的虚拟图像数据。据此，组合装置140被配置来确定真实环境120内的标记物体125、126的相应位置并且还跟踪标记物体125、126相对于环境120中的任何静态物体和相对于由摄像机110界定的视点之间的相对运动。
图4的系统100还包括被配置来提供虚拟图像数据的输出装置160，所述虚拟图像数据包括由产生器150产生的虚拟对象，其中在优选的实施例中输出装置160还被配置来提供图像数据之外的其它类型的数据，如音频数据、嗅觉数据、触觉数据等。在操作中，摄像机110生成环境120的图像数据，其中该图像数据对应于环境120的动态状态，该动态状态通过仅相对于环境120移动摄像机110或通过提供环境内的可移动物体（例如，标记物体125、126或物体121、…、123中的一个或多个物体可移动）来表示。通过在环境120内移动摄像机110来改变环境120的视点，从而允许从不同角度观察特别是标记物体125、126，以便使得能够从不同视点来评估由产生器150生成的虚拟物体。
由摄像机110提供的不断更新的图像数据由识别装置130来接收，所述识别装置130识别标记物体125、126并使得一旦识别了标记物体125、126便能够跟踪它们，即使图案识别被通过例如移动摄像机110或标记物体125、126来不断改变视点所妨碍。在识别与图像数据内的标记物体125、126相关的预定义的图案之后，识别装置130向组合装置140通知指定的图像数据区域内存在标记物体，然后装置140基于此信息持续跟踪由用于识别标记物体125、126的图像数据表示的对应物体（假定标记物体125、126不会随着时间推移而消失）。识别标记物体125、126的过程被大体上持续地执行或被定期地重复，以便确认标记物体125、126的存在并还验证或提高组合装置140的跟踪准确性。基于由识别装置130提供的环境的图像数据和信息，组合装置140生成三维图像数据并叠加从物体产生器150接收的对应的三维图像数据，其中基于装置140的跟踪操作来永久更新三维物体数据。
例如，装置140可基于识别装置130的信息来计算摄像机110相对于标记物体125、126的位置并使用此坐标信息来确定虚拟摄像机的坐标，从而允许用标记物体125、126的图像数据精确地“覆盖”由产生器150传输的物体数据。坐标信息也包括有关标记物体125、126相对于摄像机110的相对方向的数据，从而使组合装置140能够正确地调适虚拟物体的方向。最后，由输出装置160提供以任何适当的形式的组合三维虚拟图像数据。例如，输出装置160可包括适当的显示装置，以便将包括与标记物体125、126相关的虚拟物体的环境120形象化。当操作系统100时，有利的是预置至少一个标记物体125、126的识别条件，以便允许大体上可靠的实时图像处理。此外，相应的标记物体和一个或多个虚拟物体之间的关联可在操作系统100之前建立，或被设计以便允许虚拟物体到标记物体的分配的交互定义。例如，在用户请求时，最初分配到标记物体125的虚拟物体被分配到标记物体126且反之亦然。此外，多个虚拟物体被分配到单个标记物体且多个虚拟物体中的相应一个被用户通过软件应用来选择。
发明内容
根据一个方面，通过一种具有独立权利要求1的特征的方法来描述对在机动车中产生增强现实的改进。各种改良是从属权利要求的主题并且包括在说明书中。
相应地，提供一种用于在机动车中产生增强现实的方法。
在该方法中，可以图像数据的形式来记录机动车的环境的图像。根据图像数据可以确定虚拟空间。
在该方法中，可在图像数据中检测真实物体。可在虚拟空间中确定真实物体的第一坐标范围。
在该方法中，可将具有第二坐标范围的虚拟元素添加到虚拟空间。可基于用户输入来控制虚拟元素。
在该方法中，可在输出图像中以组合的形式输出环境和受控制的虚拟元素。当真实物体的第一坐标范围和受控制的虚拟元素的第二坐标范围形成相交区域时，可修改输出图像。可通过机动车的显示器来输出输出图像。
由于一个实施例，实现了驾驶者可交互地选择车辆的环境中的物体的表示的优势。可暂时显示物体，以便在驾驶过程中为驾驶者提供帮助。因此，驾驶者可以专注于当前的交通状况，并查看后来被与当前的环境状况混合的物体，如交通标志。由于一个实施例，实现了以下优势：可将在乘机动车旅行时的当前环境状况与人工视频游戏世界混合，并且从而将车辆外面的事件并入当前的游戏事件，从而允许用户与来自环境的真实物体进行交互。
在这种情况下，环境可以是机动车的真实环境，可使用例如光学系统来记录机动车的真实环境，光学系统能够输出对应的数字图像数据。另外，可使用红外摄像机或雷达系统。根据图像数据确定的虚拟空间可为具有至少三维的多维空间。
在图像数据中检测到的真实物体可为从机动车中至少临时可见的道路标志或小汽车等。可通过图像处理系统的算法的方式来检测物体。可通过跟踪算法来跟踪物体在三维空间内的移动。真实物体的第一坐标范围可为道路标志的表面几何形状以及该表面几何结构在虚拟空间中的位置。道路标志也可以具有厚度。
可产生虚拟元素及其第二坐标范围，且优选地可由算术单元来控制其在虚拟空间中的位置和方向。可根据借助于输入单元（如操纵杆或触摸屏）的输入来控制虚拟元素。为了组合到输出图像中的目的，可在图像数据前面或在真实环境前面的平面上显示受控制的虚拟元素。
另一方面，通过独立权利要求7的特征描述了增强现实系统的改进。各种改良包括在说明书中。
从而提供一种机动车的增强现实系统。
该增强现实系统可具有图像捕获装置，该图像捕获装置可被配置来以图像数据的形式记录机动车的环境的图像。
该增强现实系统可具有算术单元，该算术单元可连接到图像捕获装置。该增强现实系统可具有控制单元，该控制单元可连接到算术单元。该增强现实系统可具有显示器，该显示器可连接到控制单元，以便显示输出图像。
算术单元可被配置来根据图像数据确定虚拟空间。算术单元可被配置来检测图像数据中的真实物体。算术单元可被配置来确定真实物体在虚拟空间中的第一坐标范围。算术单元可被配置来向虚拟空间添加具有第二坐标范围的虚拟元素。算术单元可被配置来基于用户输入通过控制单元的方式来控制虚拟元素在虚拟空间中的第二坐标范围。
算术单元可被配置来在输出图像中组合环境和受控制的虚拟元素并在真实物体的第一坐标范围和受控制的虚拟元素的第二坐标范围形成相交区域时修改输出图像。
在一个实施例中，该增强现实系统可被实现为机动车的信息娱乐系统，该信息娱乐系统例如通过电缆连接到图像捕获装置。
图像捕获系统可以是用于记录图像数据的光学系统。图像捕获装置可具有多个摄像机，如CMOS或CCD摄像机。可将摄像机定位用于立体记录。算术单元可为处理器，具体来说，可为CPU或DSP。
控制单元可具有输入电路。可将操纵杆或触摸屏或游戏手柄连接到该输入电路。显示器可为LCD显示器或用于将输出图像投影具体来说在窗玻璃上的投影仪。
下文描述的实施例涉及上述方法和增强现实系统两者。
根据一个实施例，可对虚拟元素在虚拟空间中进行三维控制。可控制虚拟空间内的虚拟飞行元素，如虚拟飞机。可使用虚拟元素来控制飞行物的轨迹，例如球的投掷。或者，受控制的虚拟元素可为虚拟车辆，如在赛车游戏中。
在一个实施例中，可基于环境中交通道路的几何形状以三维确定虚拟空间。可基于作为交通道路的路的几何形状来查明距离，并且检测到的物体可位于虚拟空间内查明的距离。
根据一个实施例，可通过用虚拟物体补充或替换真实物体的物体图像数据来修改输出图像。虚拟物体可以黑点等形式显示命中标记。
可通过根据真实物体的物体图像数据产生虚拟物体并在输出图像中输出该虚拟物体来修改输出图像。看上去就像真实物体一样的虚拟物体可沿着一个轨迹在虚拟空间中飞行或分成多个部分。
在一个实施例中，可通过针对观察者位置来调适图像数据和虚拟元素来控制虚拟空间内的观察者位置。可从驾驶者的角度或从乘客的角度来控制观察者位置。也可以将观察者位置置于机动车的上面，并将机动车本身作为虚拟物体添加到输出图像。
上文描述的实施例以单个以及组合方式都特别有利。可将所有实施例彼此组合。在附图中的示例性实施例的描述中说明了某些可能的组合。然而，在那里示出的用于组合实施例的这些可能性不是不可更改的。
附图说明
下文基于附图中示出的示例性实施例更详细地说明了本发明。
在附图中：
图1示出了用于在机动车中产生增强现实的方法的示意图；
图2示出了增强现实系统的示意性表示；
图3a和图3b示出了输出图像的示意图；并且
图4示出了根据现有技术的增强现实系统的示意图。
具体实施方式
图1示出了用于在机动车中产生增强现实的方法的示意图。下文针对实现视频游戏说明了此方法。可在车辆中建立视频游戏的技术要求，例如以便为后座的乘客提供视频游戏。与PC和控制台上可用的传统的2D和3D游戏相比，可以图1中的流程图实现与当前现实的融合。可将车辆的环境融入到当前的游戏事件中。所谓的第一人称射击游戏可以在（例如在头戴式显示器71上的）完全计算的三维空间中表示图像和声音。
在图1的流程图中，在第一步10中，可首先借助于多个摄像机记录来自机动车的环境的图像数据11。在第二步20中，可借助于识别算法识别图像数据11中的多个真实物体24、25、26、27。此外，可基于几何形状（例如交通路线的走向32）来检测环境。还可基于其它传感器（例如近程雷达系统）来确定环境。还可基于车辆的当前位置和道路数据来确定环境。例如，可借助于GPS卫星信号来确定当前位置。
在第三步30中，可根据确定的环境和检测到的物体24、25、26、27产生三维虚拟空间31。三维虚拟空间31可基于例如借助于图像数据处理被评估以便获得三维虚拟空间31的测量数据。
在第四步40中，可将多个虚拟物体52、53添加到三维虚拟空间31以形成虚拟现实41。虚拟物体52、53中的至少一个可为在虚拟空间31内被控制的虚拟元素52。在图1中的一个实施例中，受控制的虚拟元素52可实施为十字准线，其在虚拟空间31内的位置可由用户控制。第五步50可为用户输入50。在图1中的一个实施例中，可基于通过操纵杆51的输入来计算用户的交互。作为替代或以组合方式，其它输入也是可能的，例如通过鼠标、触摸屏或姿势的输入。
在第六步60中，可将记录的现实的图像数据11与虚拟现实41组合，以形成输出图像61。可通过渲染形成包括记录的图像数据11的输出图像61。在输出图像61中，记录的图像数据11和虚拟现实41的融合可由例如程序或用户控制。可以简化或改变输出图像61中车辆的周围环境。例如，房屋可能被置于其原位置，但外观被改变例如为鬼屋。
在图1中的一个实施例中，可借助于显示镜71来输出上述的输出图像61。为了将记录的现实的图像数据11与虚拟现实41组合，可将多个虚拟元素/物体52、53、56显示在图像数据11前面的平面上，从而部分地覆盖图像数据11。也可以至少部分地将多个虚拟物体56临时隐藏在检测到的物体24、25、26、27的后面。例如，可仅在位置改变和/或观察者的视角改变和/或被隐藏的虚拟物体56移动和/或检测到的物体24、25、26、27移动之后能够查看被隐藏的虚拟物体56。
为了使得能够与检测到的物体24、25、26、27交互，在真实物体24、25、26、27的第一坐标范围和受控制的虚拟元素52的第二坐标范围形成相交区域时，可以修改输出图像61。在图1中的一个实施例中，受控制的虚拟元素52可具有十字准线52，其可由用户在虚拟空间41中定位。此外，受控制的虚拟元素52还可具有根据用户输入50以飞行物的轨迹在虚拟空间41内投掷的虚拟球。可控制投掷位置和/或投掷方向和/或投掷力量。如果虚拟球击中检测到的物体24，则可指示此命中。可通过显示虚拟物体56来指示命中。
可借助于虚拟现实41使用户能够在输出图像61内动作并且具体来说能够与检测到的物体24、25、26、27交互。可基于游戏思想来解释此交互，属于游戏思想的物体将使用虚拟球击打某些道路标志。借助于车辆的多个摄像机，以360°角度记录整个环境，并通过信号处理的方式将其组合到有结合力的环境中。在此环境中，可检测道路标志，并且可确定其在虚拟空间31内的位置。借助于虚拟现实41，可以任何方式光学地修改或专门地突出显示道路标志。结果为在显示单元71上提供到用户的视频数据流。用户现在可具有通过输入装置51控制十字准线52并瞄准道路标志的选项。输入装置51上的射击功能释放虚拟球，该虚拟球飞向道路标志，并击中或错过道路标志。这意味着虚拟十字准线52和虚拟球（未在图1中示出）被叠加在图像数据11上并显示在其中。虚拟现实41的使用可扩展到任何游戏情形、游戏思想、显示单元和输入装置。可将应用和硬件集成例如到机动车的后座系统。
图2示出了机动车的增强现实系统200的一个实施例的示意性表示。增强现实系统200具有图像捕获装置210，其可被配置来以图像数据11的形式记录机动车的环境。
增强现实系统200具有算术单元220，其可连接到图像捕获装置210。另外，增强现实系统200可具有控制单元230，其可连接到算术单元220并允许用户输入50。图2中的控制单元230可为游戏手柄230或触摸感应表面230或摄像机230等。
增强现实系统200可具有显示器240，其可连接到控制单元230，以便显示输出图像61。图2中的一个实施例以不使用固定显示单元而产生显示240的方式提供虚拟现实41的增强效果。在使用3D显示镜的情况下，这是可能的。为此，可通过头部跟踪器的方式来检测头部的旋转，并且可针对头部方向来调适视频内容。从而，对用户来说，就好像他/她正从车窗向外看，而在那一刻虚拟现实41被直接集成到现实中。可通过双声道技术和头部跟踪器的方式来调整声效。
在一个实施例中，通过将显示240投影到机动车的窗玻璃上来实现显示240。可投影到机动车的窗玻璃上的输出图像61可仅从某些角度可见。驾驶者从而可以不受干扰的驾驶，并且后座的用户仍可以在车窗上获得虚拟现实41，由此虚拟现实41和环境的组合又可以作为游戏元素和现实的叠加被产生而不将图像数据11用于融合。此实施例也可用于后座系统。
图3a和图3b中描述了一个实施例，其中使用增强现实系统的功能来辅助驾驶。图3a示出输出图像62a，其中道路标志28可示出为图像数据中的真实物体28。指针54可为虚拟元素54，其可由驾驶者控制。图3a示出真实物体28的第一坐标范围和受控制的虚拟元素54的第二坐标范围形成相交区域。如图3b所示，可相应地修改输出图像62b。可临时在前景中显示虚拟物体55，以便向驾驶者提供短暂存储的信息。虚拟物体55可从属于物体28的图像数据的一部分中产生。
本发明不限于图1至图3b所示的实施例。例如，可以在机动车的环境中检测其它物体，如人等。同样地，可针对现有的需求来调适虚拟物体和通过用户输入的交互的类型。根据图2的增强现实系统200的功能可特别有利地用于机动车的信息娱乐系统。
附图标记列表
10、20、30、40、50、60、70步骤
11图像数据
24、25、26、27、28真实物体
31虚拟空间
32交通路线几何形状
41虚拟现实
52、53、54受控制的虚拟物体
55、56虚拟物体
61、62a、62b输出图像
71、240显示器/显示
200增强现实系统
210图像捕获装置
220算术单元
230、51控制单元

Claims (7)

1.一种用于利用机动车的显示器产生增强现实的方法，其包括以下步骤：
-以图像数据(11)形式记录所述机动车的环境的图像；
-根据所述图像数据(11)确定三维虚拟空间(31)；
-检测所述图像数据(11)中的真实物体(24、25、26、27、28)；
-确定所述三维虚拟空间(31)中的所述真实物体(24、25、26、27、28)的第一坐标范围；
-向所述三维虚拟空间(31)添加虚拟元素(52、53、54)，所述虚拟元素(52、53、54)具有第二坐标范围；
-基于用户输入(50)来控制所述三维虚拟空间(31)中的所述虚拟元素(52、53、54)；
-在输出图像(61、62a、62b)中以组合形式输出所述环境和所述受控制的虚拟元素(52、53、54)；
-当所述真实物体(24、25、26、27、28)的所述第一坐标范围和所述受控制的虚拟元素(52、53、54)的所述第二坐标范围形成相交区域时，修改所述输出图像(61、62a、62b)；
-通过所述机动车的所述显示器(71、240)输出所述输出图像(61、62a、62b)。
2.如权利要求1所述的方法，
-其中所述虚拟元素(52、53、54)在所述三维虚拟空间(31)中在三个维度下被控制。
3.如前述权利要求中的一项所述的方法，
-其中基于交通路线的几何形状(32)在三个维度下确定所述三维虚拟空间(31)。
4.如前述权利要求中的一项所述的方法，
-其中通过使用虚拟物体(56)来补充或替换所述真实物体(24、25、26、27、28)的物体图像数据来修改所述输出图像(61、62a、62b)。
5.如前述权利要求中的一项所述的方法，
-其中通过根据所述真实物体(28)的物体图像数据产生虚拟物体(55)并在所述输出图像(62b)中输出所述虚拟物体(55)来修改所述输出图像(62a)。
6.如前述权利要求中的一项所述的方法，
-其中通过针对观察者位置来调适所述图像数据(11)和所述受控制的虚拟元素(52、53、54)来控制所述三维虚拟空间(31)内的所述观察者位置。
7.一种机动车的增强现实系统(200)，包括：
-图像捕获装置(210)，其被配置成以图像数据(11)的形式记录所述机动车的环境的图像；
-算术单元(220)，其连接到所述图像捕获装置(210)；
-控制单元(230)，其连接到所述算术单元(220)；
-显示器(71、240)，其连接到所述算术单元(220)，显示输出图像(61、62a、62b)，
其中所述算术单元(220)被配置成
-根据所述图像数据(11)确定三维虚拟空间(31)；
-检测所述图像数据(11)中的真实物体(24、25、26、27、28)；
-确定所述三维虚拟空间(31)中的所述真实物体(24、25、26、27、28)的第一坐标范围；
-向所述三维虚拟空间(31)添加具有第二坐标范围的虚拟元素(52、53、54)；
-基于用户输入(50)通过所述控制单元(230)来控制所述三维虚拟空间(31)中的所述虚拟元素(52、53、54)的所述第二坐标范围；
-在所述输出图像(61、62a、62b)中组合所述环境和所述受控制的虚拟元素(52、53、54)；
-当所述真实物体(24、25、26、27、28)的所述第一坐标范围和所述受控制的虚拟元素(52、53、54)的所述第二坐标范围形成相交区域时，修改所述输出图像(61、62a、62b)。
CN201210557143.3A 2011-12-21 2012-12-20 利用机动车的显示器产生增强现实的方法和系统 Active CN103177470B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11010066.6 2011-12-21
EP11010066.6A EP2608153A1 (en) 2011-12-21 2011-12-21 Method and system for playing an augmented reality game in a motor vehicle

Publications (2)

Publication Number Publication Date
CN103177470A true CN103177470A (zh) 2013-06-26
CN103177470B CN103177470B (zh) 2016-12-07

Family

ID=45528871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210557143.3A Active CN103177470B (zh) 2011-12-21 2012-12-20 利用机动车的显示器产生增强现实的方法和系统

Country Status (5)

Country Link
US (1) US9517415B2 (zh)
EP (1) EP2608153A1 (zh)
JP (1) JP5531086B2 (zh)
KR (1) KR101480994B1 (zh)
CN (1) CN103177470B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104883554A (zh) * 2014-02-27 2015-09-02 哈曼国际工业有限公司 具有直播视频的虚拟透视仪器群集
CN107054660A (zh) * 2017-05-08 2017-08-18 佛山市神风航空科技有限公司 一种客机上的vr体验装置
CN107250728A (zh) * 2014-12-14 2017-10-13 埃尔比特系统公司 所显示彩色符号表示的视觉感知加强
CN107369207A (zh) * 2016-05-11 2017-11-21 百度（美国）有限责任公司 在无人驾驶车辆中提供增强虚拟现实内容的系统和方法
CN108431871A (zh) * 2015-07-17 2018-08-21 杜瓦娱乐有限公司 在三维模型上显示对象的方法
CN109478094A (zh) * 2016-07-12 2019-03-15 奥迪股份公司 用于运行机动车的显示装置的方法
US10469769B1 (en) 2018-07-30 2019-11-05 International Business Machines Corporation Augmented reality based driver assistance
CN110641477A (zh) * 2019-09-19 2020-01-03 广州小鹏汽车科技有限公司 车辆内部环境的虚拟显示方法、装置和车辆
CN110769905A (zh) * 2017-06-16 2020-02-07 本田技研工业株式会社 车内演出装置、车内演出系统、车内演出方法、程序及指示计测装置
CN111033574A (zh) * 2017-09-25 2020-04-17 利乐拉瓦尔集团及财务有限公司 为包装机生成虚拟覆盖物的方法
CN111667526A (zh) * 2019-03-07 2020-09-15 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
CN111937044A (zh) * 2018-03-02 2020-11-13 大众汽车股份公司 计算对用于在显示单元上显示的附加信息的ar淡入的方法、用于执行该方法的设备以及机动车和计算机程序
CN112179331A (zh) * 2020-09-23 2021-01-05 北京市商汤科技开发有限公司 Ar导航的方法、装置、电子设备及存储介质
CN112633303A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 限高画面变形检测方法和系统及车辆
CN112655024A (zh) * 2020-10-30 2021-04-13 华为技术有限公司 一种图像标定方法及装置
CN113786610A (zh) * 2018-02-11 2021-12-14 鲸彩在线科技（大连）有限公司 一种载具位置修正方法、装置、第二客户端、第二电子设备
CN115610348A (zh) * 2022-10-12 2023-01-17 蔚来汽车科技(安徽)有限公司 增强现实及虚拟现实设备、车载系统以及车辆

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
EP2608153A1 (en) * 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9613459B2 (en) * 2013-12-19 2017-04-04 Honda Motor Co., Ltd. System and method for in-vehicle interaction
WO2015161307A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN106536004B (zh) * 2014-04-30 2019-12-13 惠普发展公司，有限责任合伙企业 增强的游戏平台
JP5812550B1 (ja) * 2014-10-10 2015-11-17 ビーコア株式会社 画像表示装置、画像表示方法及びプログラム
US9725040B2 (en) * 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
US20160210383A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual autonomous response testbed
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US10725297B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
DE102015207337B4 (de) 2015-04-22 2024-06-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Unterhaltung mindestens eines Insassen eines Kraftfahrzeugs
EP3338136B1 (en) * 2015-08-04 2022-09-14 Yasrebi, Seyed-Nima Augmented reality in vehicle platforms
CN114664101A (zh) 2015-09-25 2022-06-24 苹果公司 增强现实显示系统
US10710608B2 (en) 2015-10-26 2020-07-14 Active Knowledge Ltd. Provide specific warnings to vehicle occupants before intense movements
US10717406B2 (en) 2015-10-26 2020-07-21 Active Knowledge Ltd. Autonomous vehicle having an external shock-absorbing energy dissipation padding
DE102016120430A1 (de) 2015-10-26 2017-04-27 Active Knowledge Ltd. Bewegliche, innere stoßdämpfende Polsterung zur Energiedissipation in einem autonomen Fahrzeug
US10059347B2 (en) 2015-10-26 2018-08-28 Active Knowledge Ltd. Warning a vehicle occupant before an intense movement
US11332061B2 (en) 2015-10-26 2022-05-17 Atnomity Ltd. Unmanned carrier for carrying urban manned vehicles
US10692288B1 (en) * 2016-06-27 2020-06-23 Lucasfilm Entertainment Company Ltd. Compositing images for augmented reality
US10234937B2 (en) * 2016-10-07 2019-03-19 Panasonic Avionics Corporation Handset with virtual reality goggles
CN106658148B (zh) * 2017-01-16 2020-04-10 深圳创维－Rgb电子有限公司 Vr播放方法、vr播放装置及vr播放系统
JP6874448B2 (ja) * 2017-03-17 2021-05-19 株式会社デンソーウェーブ 情報表示システム
EP3392801A1 (en) * 2017-04-21 2018-10-24 Harman International Industries, Incorporated Systems and methods for driver assistance
US10560735B2 (en) 2017-05-31 2020-02-11 Lp-Research Inc. Media augmentation through automotive motion
CN110740923A (zh) 2017-06-16 2020-01-31 本田技研工业株式会社 自动驾驶车辆
WO2018230738A1 (ja) 2017-06-16 2018-12-20 本田技研工業株式会社 車両およびサービス管理装置
US10068620B1 (en) 2017-06-20 2018-09-04 Lp-Research Inc. Affective sound augmentation for automotive applications
CN109410338A (zh) * 2017-08-15 2019-03-01 中兴通讯股份有限公司 增强现实图像的生成方法、装置、增强现实眼镜及终端
DE102017217923A1 (de) 2017-10-09 2019-04-11 Audi Ag Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
US10755112B2 (en) 2018-03-13 2020-08-25 Toyota Research Institute, Inc. Systems and methods for reducing data storage in machine learning
CN108543309B (zh) * 2018-04-03 2020-03-10 网易（杭州）网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
US10698206B2 (en) * 2018-05-31 2020-06-30 Renault Innovation Silicon Valley Three dimensional augmented reality involving a vehicle
US11823310B2 (en) * 2018-09-07 2023-11-21 Streem, Llc. Context-aware selective object replacement
EP3671533B1 (en) * 2018-12-19 2023-10-11 Audi Ag Vehicle with a camera-display-system and method for operating the vehicle
JP7326740B2 (ja) * 2018-12-28 2023-08-16 トヨタ紡織株式会社 空間提供システム
US11744681B2 (en) * 2019-03-08 2023-09-05 Align Technology, Inc. Foreign object identification and image augmentation for intraoral scanning
CN110852332B (zh) * 2019-10-29 2020-12-01 腾讯科技（深圳）有限公司 训练样本的生成方法、装置、存储介质及电子设备
US12121796B2 (en) * 2020-01-31 2024-10-22 Shane Camus System for optically scanning and determining a vehicle to correspond to a vehicle available in an online gaming platform
KR102368427B1 (ko) * 2020-08-26 2022-03-02 도로교통공단 인공지능 알고리즘을 이용한 자율주행 동적운행 위험도 분석 및 평가 방법과, 이를 이용한 자율주행 평가시스템
EP4307237A4 (en) 2021-03-08 2024-10-30 Sony Group Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM AND INFORMATION PROCESSING SYSTEM
US11734909B2 (en) 2021-05-04 2023-08-22 Ford Global Technologies, Llc Machine learning
DE102022120134A1 (de) 2022-08-10 2024-02-15 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Bereitstellen eines Computerspiels in einem Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
CN102193625A (zh) * 2010-02-24 2011-09-21 索尼公司 图像处理设备、图像处理方法、程序以及图像处理系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4108171B2 (ja) 1998-03-03 2008-06-25 三菱電機株式会社 画像合成装置
US6483429B1 (en) * 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
DE10341905A1 (de) * 2003-09-11 2005-05-12 Daimler Chrysler Ag Verfahren und Vorrichtung zur Ermittlung einer Position eines Kraftfahrzeugs auf einer Strasse
US20050071082A1 (en) 2003-09-30 2005-03-31 Mazda Motor Corporation Route guidance apparatus, method and program
JP3931342B2 (ja) * 2003-09-30 2007-06-13 マツダ株式会社 経路誘導装置
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
DE602005013752D1 (de) 2005-05-03 2009-05-20 Seac02 S R L Augmented-Reality-System mit Identifizierung der realen Markierung des Objekts
EP1913559B1 (fr) * 2005-08-09 2016-10-19 Qualcomm Connected Experiences, Inc. Procede et dispositifs pour visualiser un modele numerique dans un environnement reel
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
JP2008309529A (ja) * 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
DE102007051966A1 (de) * 2007-10-31 2009-05-07 Adc Automotive Distance Control Systems Gmbh Verfahren und Vorrichtung zur Erkennung des Verlaufs einer Fahrspur
US20110080481A1 (en) * 2009-10-05 2011-04-07 Bellingham David W Automobile Rear View Mirror Assembly for Housing a Camera System and a Retractable Universal Mount
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
EP2608153A1 (en) * 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
CN102193625A (zh) * 2010-02-24 2011-09-21 索尼公司 图像处理设备、图像处理方法、程序以及图像处理系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JINGZHOU SONG等: "Study on the perception mechanism and method of virtual and real objects in augmented reality assembly environment", 《IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS》, 31 December 2009 (2009-12-31), pages 1452 - 1456, XP031482270 *
武雪玲等: "户外AR空间信息表达及其虚实配准方法研究", 《武汉理工大学学报》, vol. 32, no. 12, 30 June 2010 (2010-06-30), pages 98 - 101 *
陈金波等: "一种基于自然特征点的增强现实注册方法", 《上海大学学报(自然科学版)》, vol. 11, no. 6, 31 December 2005 (2005-12-31), pages 574 - 578 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104883554B (zh) * 2014-02-27 2019-11-05 哈曼国际工业有限公司 通过虚拟透视仪器群集显示直播视频的方法和系统
CN104883554A (zh) * 2014-02-27 2015-09-02 哈曼国际工业有限公司 具有直播视频的虚拟透视仪器群集
CN107250728A (zh) * 2014-12-14 2017-10-13 埃尔比特系统公司 所显示彩色符号表示的视觉感知加强
CN108431871B (zh) * 2015-07-17 2021-12-21 杜瓦娱乐有限公司 在三维模型上显示对象的方法
CN108431871A (zh) * 2015-07-17 2018-08-21 杜瓦娱乐有限公司 在三维模型上显示对象的方法
CN107369207A (zh) * 2016-05-11 2017-11-21 百度（美国）有限责任公司 在无人驾驶车辆中提供增强虚拟现实内容的系统和方法
CN109478094A (zh) * 2016-07-12 2019-03-15 奥迪股份公司 用于运行机动车的显示装置的方法
CN109478094B (zh) * 2016-07-12 2022-08-02 奥迪股份公司 用于运行机动车的显示装置的方法
CN107054660A (zh) * 2017-05-08 2017-08-18 佛山市神风航空科技有限公司 一种客机上的vr体验装置
CN110769905A (zh) * 2017-06-16 2020-02-07 本田技研工业株式会社 车内演出装置、车内演出系统、车内演出方法、程序及指示计测装置
CN111033574A (zh) * 2017-09-25 2020-04-17 利乐拉瓦尔集团及财务有限公司 为包装机生成虚拟覆盖物的方法
CN111033574B (zh) * 2017-09-25 2024-05-10 利乐拉瓦尔集团及财务有限公司 为包装机生成虚拟覆盖物的方法
CN113786610A (zh) * 2018-02-11 2021-12-14 鲸彩在线科技（大连）有限公司 一种载具位置修正方法、装置、第二客户端、第二电子设备
CN113786610B (zh) * 2018-02-11 2024-05-31 鲸彩在线科技（大连）有限公司 载具位置修正方法、装置、第二客户端、第二电子设备
CN111937044A (zh) * 2018-03-02 2020-11-13 大众汽车股份公司 计算对用于在显示单元上显示的附加信息的ar淡入的方法、用于执行该方法的设备以及机动车和计算机程序
US10469769B1 (en) 2018-07-30 2019-11-05 International Business Machines Corporation Augmented reality based driver assistance
CN111667526A (zh) * 2019-03-07 2020-09-15 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
CN111667526B (zh) * 2019-03-07 2023-07-28 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
CN110641477B (zh) * 2019-09-19 2020-12-22 广州小鹏汽车科技有限公司 车辆内部环境的虚拟显示方法、装置和车辆
CN110641477A (zh) * 2019-09-19 2020-01-03 广州小鹏汽车科技有限公司 车辆内部环境的虚拟显示方法、装置和车辆
CN112179331A (zh) * 2020-09-23 2021-01-05 北京市商汤科技开发有限公司 Ar导航的方法、装置、电子设备及存储介质
CN112179331B (zh) * 2020-09-23 2023-01-31 北京市商汤科技开发有限公司 Ar导航的方法、装置、电子设备及存储介质
CN112655024B (zh) * 2020-10-30 2022-04-22 华为技术有限公司 一种图像标定方法及装置
CN112655024A (zh) * 2020-10-30 2021-04-13 华为技术有限公司 一种图像标定方法及装置
CN112633303A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 限高画面变形检测方法和系统及车辆
CN115610348A (zh) * 2022-10-12 2023-01-17 蔚来汽车科技(安徽)有限公司 增强现实及虚拟现实设备、车载系统以及车辆

Also Published As

Publication number Publication date
KR20130072172A (ko) 2013-07-01
US20130162639A1 (en) 2013-06-27
KR101480994B1 (ko) 2015-01-09
EP2608153A1 (en) 2013-06-26
US9517415B2 (en) 2016-12-13
JP2013131222A (ja) 2013-07-04
CN103177470B (zh) 2016-12-07
JP5531086B2 (ja) 2014-06-25

Similar Documents

Publication Publication Date Title
CN103177470A (zh) 利用机动车的显示器产生增强现实的方法和系统
EP3338136B1 (en) Augmented reality in vehicle platforms
US9286725B2 (en) Visually convincing depiction of object interactions in augmented reality images
US10029700B2 (en) Infotainment system with head-up display for symbol projection
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
US8878846B1 (en) Superimposing virtual views of 3D objects with live images
JP4739002B2 (ja) 画像処理方法、画像処理装置
KR20190129093A (ko) 증강 현실 데이터를 레코딩하기 위한 기술
US20110292036A1 (en) Depth sensor with application interface
JP2005268847A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
CN102681661A (zh) 在玩游戏中使用三维环境模型
KR20160147495A (ko) 인터랙티브 콘텐츠 제어 장치 및 방법
CN105190703A (zh) 使用光度立体来进行3d环境建模
WO2013033151A1 (en) Method to extend laser depth map range
CN107950022A (zh) 车辆用图像处理装置
CN106408515A (zh) 一种增强现实的视景合成系统
JP2005165776A (ja) 画像処理方法、画像処理装置
AU2008365306A1 (en) System and method for mixing a scene with a virtual scenario
JP2017068424A (ja) 姿勢計測装置及び姿勢計測方法
JP2015031978A (ja) 情報提供装置及び方法
Aloor et al. Design of VR headset using augmented reality
JP2009276266A (ja) ナビゲーション装置
JP2005258792A (ja) 画像生成装置、画像生成方法、および画像生成プログラム
WO2016189633A1 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
KR20100124571A (ko) 증강 현실을 이용한 정보 안내 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant