CN105814604B - 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统 - Google Patents

用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统 Download PDF

Info

Publication number
CN105814604B
CN105814604B CN201380081462.4A CN201380081462A CN105814604B CN 105814604 B CN105814604 B CN 105814604B CN 201380081462 A CN201380081462 A CN 201380081462A CN 105814604 B CN105814604 B CN 105814604B
Authority
CN
China
Prior art keywords
vehicle
image
camera
mobile device
axis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380081462.4A
Other languages
English (en)
Other versions
CN105814604A (zh
Inventor
T·昂特
王乐晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN201910570707.9A priority Critical patent/CN110223327B/zh
Publication of CN105814604A publication Critical patent/CN105814604A/zh
Application granted granted Critical
Publication of CN105814604B publication Critical patent/CN105814604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00—Control of temperature
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D25/00—Control of light, e.g. intensity, colour or phase
    • G05D25/02—Control of light, e.g. intensity, colour or phase characterised by the use of electric means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于提供位置信息以用于控制具有车辆坐标系的车辆的至少一种功能的方法，该方法包括以下步骤：接收与由移动设备的相机捕获的车辆的至少一部分的至少一个图像相关联的图像信息，该移动设备与该车辆是分开的；根据与至少一个图像相关联的图像信息来确定车辆坐标系中的与移动设备相关联的位置；以及提供用于指示车辆坐标系中的与移动设备相关联的位置的位置信息，以根据位置来控制车辆的至少一种功能。还提供了一种提供用于指示相对于车辆坐标系的与移动设备相关联的移动的移动信息以根据该移动来控制车辆的至少一种功能的方法和系统。

Description

用于提供位置信息或移动信息以用于控制车辆的至少一种功 能的方法和系统
背景技术
对于附接到车辆的相机，已知相对于地平面对相机位置进行自校准。 还已知获取关于车辆中的占据项的信息。例如，占据项可在车辆中的区域 的图像中被定位并采用经过训练的神经网络来对图像中的项进行分类。然 而，需要将显示设备安装到车辆并基于其来控制车辆的功能。
发明内容
本发明的目标是提供一种使得用户能够提供适于基于位置或移动来控 制车辆的至少一种功能的信息的方法和系统。
根据第一方面，提供了一种用于提供位置信息以用于控制具有车辆坐 标系的车辆的至少一种功能的方法，该方法包括：接收与由移动设备的相 机捕获的车辆的至少一部分的至少一个图像相关联的图像信息，该移动设 备与该车辆是分开的；根据与至少一个图像相关联的图像信息来确定车辆 坐标系中的与移动设备相关联的位置；提供用于指示车辆坐标系中的与移 动设备相关联的位置的位置信息，以根据位置来控制车辆的至少一种功 能。
本发明可有利地使用这样的事实：现代车辆通常包括例如在相对于车 辆的已知位置处并朝向车辆中就坐的驾驶员和/或乘客而被安装在车辆内部 的显示设备，并且个人移动设备诸如移动电话或平板电脑通常包括相机。
根据本发明，可基于与包括相机的移动设备相关联的所确定的位置来 控制车辆的至少一种功能，该位置是通过使用相机捕获车辆的一部分的至 少一个图像来确定的。例如，车辆的所捕获得部分包括在被安装到车辆的 显示设备上显示的视觉内容。通过这种方式，本发明提供了一种使得用户 能够确定在车辆内部的位置以基于所确定的位置来控制车辆的至少一种功 能的方法和系统。例如，可根据移动设备的位置来控制车辆的声音系统、 照明系统和/或空调的功能。
为此，根据一个实施方案，本发明提出例如通过使用被安装到车辆的 显示设备、移动设备的相机以及由移动设备的相机捕获的在显示设备上显 示的视觉内容的图像来在车辆的坐标系中确定移动设备的位置。此外，基 于所确定的位置来控制车辆的至少一种功能。例如，该功能涉及车辆的子 系统，诸如声音系统、环境光系统、空调系统或它们的组合。
根据一个实施方案，该方法还包括提供或接收车辆的至少一部分在车 辆坐标系中的位置。
根据一个实施方案，车辆的至少一部分包括在被安装到车辆的显示设 备上显示的视觉内容。
根据一个实施方案，确定车辆坐标系中的与移动设备相关联的位置包 括：根据与至少一个图像相关联的图像信息来确定在捕获至少一个图像时 相机相对于车辆的至少一部分的相机位置；以及根据相机位置和车辆的至 少一部分在车辆坐标系中的位置来确定车辆坐标系中的与移动设备相关联 的位置。
根据另一个实施方案，该至少一个图像是第一图像并且相机是第一相 机，并且确定车辆坐标系中的与移动设备相关联的位置包括：接收与由移 动设备的第二相机捕获的车辆的至少一部分的第二图像相关联的图像信 息；以及根据与第一图像和第二图像相关联的图像信息来重建车辆的至少 一部分的模型。
在进一步的发展中，该方法还包括接收与由移动设备的第三相机捕获 的第三图像相关联的图像信息，其中第三图像捕获由所重建的模型的至少 部分表示的车辆的至少一部分(车辆的该至少一部分可与上文提到的车辆 的至少一部分不同；然而，车辆的该至少一部分被包括在所重建的模型 中)；根据所重建的模型的至少部分和与第三图像相关联的图像信息来确 定在捕获第三图像时第三相机相对于所重建的模型的相机位置；以及根据 第三相机的相机位置来确定车辆坐标系中的与移动设备相关联的位置。
根据一个实施方案，该方法进一步包括根据与第一图像相关联的图像 信息的至少部分来确定在捕获第一图像时第一相机相对于车辆的至少一部 分的相机位置；以及根据与第二图像相关联的图像信息的至少部分来确定 在捕获第二图像时第二相机相对于车辆的至少一部分的相机位置。
根据进一步的发展，车辆的至少一部分是车辆的第一部分并且该方法 进一步包括接收与移动设备的第四相机捕获的第四图像相关联的图像信 息，其中第四图像捕获车辆的第一部分的至少部分和车辆的至少第二部 分；以及扩展所重建的模型以包括车辆的第一部分和车辆的第二部分。
优选地，所重建的模型至少描述车辆的至少部分的深度信息。
根据一个实施方案，第一相机、第二相机、第三相机和第四相机中的 至少两者是相同的相机。
根据另一个实施方案，第一相机、第二相机、第三相机和第四相机中 的至少两者是不同的相机。
根据一个实施方案，其中该至少一种功能是这样一种功能：与车辆的 声音系统、车辆的环境光系统和车辆的空调系统中的至少一者相关并根据 该位置受到控制。
根据第一方面，还提供了一种用于提供位置信息以用于控制具有车辆 坐标系的车辆的至少一种功能的系统，该系统包括：第一处理设备，该第 一处理设备被配置为接收与由移动设备的相机捕获的车辆的至少一部分的 至少一个图像相关联的图像信息，该移动设备与车辆是分开的，该第一处 理设备被配置为根据与至少一个图像相关联的图像信息来确定车辆坐标系 中的与移动设备相关联的位置；以及第二处理设备，该第二处理设备被配 置为提供用于指示车辆坐标系中的与移动设备相关联的位置的位置信息， 以根据该位置来控制车辆的至少一种功能。
根据第二方面，提供了一种用于提供移动信息以用于控制具有车辆坐 标系的车辆的至少一种功能的系统，该系统包括：第一处理设备，该第一 处理设备被配置为接收与由移动设备的至少一个相机捕获的至少两个图像 相关联的图像信息，该移动设备与车辆是分开的，该至少两个图像中的每 个图像捕获车辆的至少一部分，该第一处理设备被配置为根据与至少两个 图像相关联的图像信息确定相对于车辆坐标系的与移动设备相关联的移 动；以及第二处理设备，该第二处理设备根据与至少两个图像相关联的图 像信息来确定相对于车辆坐标系的与移动设备相关联的移动。
本文描述的以下实施方案以及其他实施方案同样适于结合第一方面和 第二方面两者使用。
根据一个实施方案，第一处理设备和第二处理设备是相同的处理设 备。
根据一个实施方案，第一处理设备和第二处理设备中的至少一者被包 括在移动设备中。根据另一个实施方案，第一处理设备和第二处理设备中 的至少一者被包括在车辆中。根据另一个实施方案，第一处理设备和第二 处理设备中的至少一者被包括在与移动设备和车辆进行通信的计算机设备 中。
根据第二方面，提供了一种用于提供移动信息以用于控制具有车辆坐 标系的车辆的至少一种功能的方法，该方法包括：接收与由移动设备的至 少一个相机捕获的至少两个图像相关联的图像信息，该移动设备与车辆是 分开的，该至少两个图像中的每个图像捕获车辆的至少一部分；根据与至 少两个图像相关联的图像信息来确定相对于车辆坐标系的与移动设备相关 联的移动；以及提供用于指示相对于车辆坐标系的与移动设备相关联的移 动的移动信息，以根据移动来控制车辆的至少一种功能。
根据一个实施方案，可根据车辆坐标系中的与移动设备相关联的两个 位置来确定相对于车辆坐标系的与移动设备相关联的移动。根据分别与至 少两个图像相关联的图像信息可确定与移动设备相关联的两个位置。在至 少两个图像中的每个图像中捕获的车辆的至少一部分可具有公共部分或者 可不同。
根据另一个实施方案，可根据在捕获至少两个图像时的至少一个相机 的两个相机位置来确定相对于车辆坐标系的与移动设备相关联的移动。
上文或下文相对于与确定和移动设备相关联的位置相关的第一方面所 述的本发明的各方面和实施方案同样也适用于与确定和移动设备相关联的 移动相关的第二方面。
根据一个实施方案，可根据至少两个图像中的每个图像中捕获的车辆 的至少一部分的图像位置来确定相对于车辆坐标系的与移动设备相关联的 移动。这需要在至少两个图像中的每个图像中捕获的车辆的至少一部分相 同或具有公共部分。然而，这不需要车辆的至少一部分在车辆坐标系中的 已知位置。
根据本发明，可基于所确定的与移动设备相关联的移动来控制车辆的 至少一种功能。例如，可根据移动设备的移动来控制车辆的声音系统、照 明系统和/或空调的功能。可使用移动来改变声音系统的音量。照明系统可 根据移动设备的所确定的移动来将当前照明位置改变为新的照明位置。例 如，所确定的移动可定义从当前照明位置到新的照明位置有多远。在另一 个示例中，所确定的移动可定义旋转，使得照明系统可根据旋转从当前照 明方向旋转到新的照明方向。
优选地，移动设备是手持设备诸如移动电话、平板电脑或移动计算 机。
例如，车辆的至少一部分在车辆坐标系中的位置可由车辆的制造商来 提供。
图像中捕获的车辆的至少一部分可以是车辆的任何物理部分。车辆的 至少一部分可包括被安装到车辆的显示设备或显示设备的一部分。车辆的 至少一部分还可包括在显示设备上显示的一个或多个视觉内容。
显示设备是用于对信息进行视觉呈现的设备。显示设备可基于任何显 示技术或材料，诸如阴极射线管(CRT)、发光二极管显示器(LED)和液晶显 示器(LCD)。显示设备可包括2维平面显示器或具有弯曲形状的显示器。显 示设备还可以是包括多个平面子显示器的可折叠显示设备，每个子显示器 可与其他子显示器一起移动。
可将显示设备安装到车辆。优选地朝向车辆中就坐的驾驶员和/或乘客 的眼睛安装，使得驾驶员和/或乘客可看到在显示设备上显示的视觉内容。 例如，显示设备可被安装在车辆的前控制面板上或被安装在车辆的前座的 背面。
可使用显示设备来显示菜单、地图、软件程序的图形用户界面等。
视觉内容是解剖学眼睛或光学成像设备的任何可视觉察觉到的信息。 例如，视觉内容可发射或反射可被人眼或相机捕获的可见光。视觉内容还 可发射或反射可能不被人眼捕获但可被相机捕获的不可见光。视觉内容可 以是文本、图形、由计算机生成或由相机捕获的图像、符号、图画、它们 的组合或它们中的每一者的一部分。例如，视觉内容可以是菜单、按钮、 图标、数字地图、软件程序的图形用户界面、它们的组合或它们中的每一 者的一部分。可在显示设备上显示视觉内容。
移动设备是便携式的并且包括一个或多个相机。一个或多个相机可具 有相对于移动设备的已知位置。移动设备可仅为相机。例如，移动设备是 相机、第一相机、第二相机、第三相机和/或第四相机中的任一者，即移动 设备和相应的相机是相同的设备。
在一个实施方案中，移动设备可具有至少一个处理设备诸如计算处理 器。在另一个实施方案中，移动设备可不具有计算处理器，但是可具有发 射器以向另一个设备(例如，车辆)传输数据(例如，由相机捕获的图像 的图像数据)。移动设备可以是但不限于移动电话、平板电脑或膝上型电 脑。相机可与移动设备分开，但经由电缆或以无线方式与移动设备进行通 信。
一个或多个相机是可捕获光学信息的图像信息的光学成像设备。
可将所提出的发明应用于提供图像的任何相机。不限于以RGB格式提 供彩色图像的相机。还可将其应用于任何其他色彩格式并且应用于单色图 像，例如应用于以灰度级格式提供图像的相机。相机可进一步为图像提供 深度数据。不需要与(彩色/灰度级)图像以相同分辨率提供深度数据。为 图像提供深度数据的相机常常称为RGB-D相机。RGB-D相机系统可以是 渡越时间(TOF)相机系统。该相机还可捕获人眼不可见的光诸如红外光。例 如，相机可以是热成像相机。
相机在车辆坐标系中的位置可包括车辆坐标系中的平移或旋转或它们 的组合。
所显示的视觉内容的视觉外观描述形状、纹理、几何形状或它们的组 合。视觉外观可包括或不包括颜色信息。
对象的物理几何形状描述对象在现实世界中的尺寸、形状、尺度、平 面性或它们的组合。
显示设备的分辨率是可在其显示区域上显示的每个维度中不同像素的 数量。显示设备可具有已知的分辨率。显示设备还可具有针对其显示区域 的已知的物理几何形状。显示设备的物理几何形状是指显示设备的显示区 域的物理几何形状。具有所显示的视觉内容在显示设备的坐标系中的像素 位置以及显示设备的分辨率和物理几何形状便能够确定所显示的视觉内容 和显示设备之间的空间关系。这定义了所显示的视觉内容相对于显示设备 的位置。此外，也可确定所显示的视觉内容的物理几何形状。可根据所显 示的视觉内容相对于显示设备的位置和显示设备相对于车辆坐标系的位置 来确定所显示的视觉内容在车辆坐标系中的位置。
可根据图像的至少部分来确定由第一相机捕获第一图像时相机相对于 车辆的至少部分的相机位置。具有车辆的至少部分的物理几何形状之后， 便可采用各种基于视觉的相机位置估计方法诸如基于2D-3D点对应(参见 例如Hartley，Richard，and AndrewZisserman.Multiple view geometry in computer vision.Vol.2.Cambridge，2000)来确定相机位置。
具体地，优选地使车辆的至少部分包括所显示的视觉内容。因此相机 的图像捕获所显示的视觉内容。视觉内容可提供丰富的纹理和特征(例 如，对比角或边缘)，这将使得基于视觉的相机位置估计很稳健。在该示 例中，可相对于被安装到车辆的显示设备来确定相机的相机位置。例如， 可从车辆制造商提供显示设备相对于车辆坐标系的位置。
具有所显示的视觉内容的已知视觉外观以及其物理几何形状之后，可 根据第一图像的图像信息的至少部分以正确的缩放系数来确定相机相对于 视觉内容的相机位置。相机位置估计可基于所捕获的图像的图像特征和在 显示设备上显示的视觉内容的对应特征之间的对应关系。然后根据相对于 所显示的视觉内容的相机位置和所显示的视觉内容在车辆坐标系中的位置 来确定车辆坐标系中的相机位置。
可从相对于车辆的至少一部分的相机位置和车辆的至少一部分在车辆 坐标系中的位置来确定在相机捕获图像时相机在车辆坐标系中的相机位 置。
在一个示例中，相机在车辆坐标系中的位置可确定可向车辆提供以控 制车辆的至少一种功能的位置。与移动设备相关联的位置可与相机在车辆 坐标系中的位置相同。与移动设备相关联的位置可具有从相机在车辆坐标 系中的位置进行的空间位移。
在另一个示例中，相机在车辆坐标系中的位置可能不适于指定与移动 设备相关联的位置。例如，相机的位置可能不是要向车辆提供以控制至少 一种功能的期望位置。
根据一个实施方案，本发明提出由移动设备的第二相机进一步捕获车 辆的至少一部分的第二图像(其中前述相机和图像分别为第一相机和第一 图像)。在第二相机和第一相机处于不同位置处时捕获第二图像和第一图 像。
根据第二图像的至少部分来确定捕获第二图像时的第二相机相对于车 辆的至少一部分的相机位置。也可使用用于确定第一相机的相机位置的所 公开的方法来确定第二相机的相机位置。
可根据第一图像和第二图像以及第一相机和第二相机的相机位置来重 建车辆的至少一部分的模型。
在所重建的模型的一个实施方案中，确定第一图像和第二图像中的车 辆的至少一部分的图像特征之间的对应关系。然后，可使用三角形划分方 法来从图像特征对应关系以及第一相机和第二相机的相机位置确定模型， 例如参见Hartley，Richard，and AndrewZisserman.Multiple view geometry in computer vision.Vol.2.Cambridge，2000。
如上所述，对象的模型至少描述对象的至少部分的深度信息。该模型 进一步可包括但不限于以下属性中的一种属性：形状、对称性、平面性、 几何尺寸、颜色、纹理和密度。
由于可知道在第一图像和第二图像中捕获的车辆的至少一部分的物理 几何形状，因此可例如如下所教导的那样来确定用于所重建的模型的正确 缩放系数：Davison、Andrew J.等人，“MonoSLAM：Real-time single camera SLAM.”Pattern Analysis andMachine Intelligence.IEEE Transactions on 29.6(2007)：1052-1067。可将重建的模型表示为3D顶点、由这些顶点跨 越的多边形的面和/或边缘。也可将模型的边缘和面表示为样条或NURBS 表面。
可在车辆坐标系中确定重建的模型。也可在任意坐标系诸如其自身的 坐标系中确定所重建的模型。在这种情况下，基于车辆的至少一部分在车 辆坐标系中的位置，所重建的模型可与车辆坐标系相关。
根据一个实施方案，移动设备的第三相机可捕获第三图像。第三图像 包括由所重建的模型的至少部分表示的车辆的一部分。车辆的该部分不需 要包括由第一相机捕获的车辆的至少一部分，或者仅包括其部分。具体 地，在第三图像中捕获的车辆的该部分不需要包括车辆的显示设备或在显 示设备上显示的任何视觉内容。
可根据所重建的模型的至少部分和第三图像的至少部分来确定在捕获 第三图像时第三相机相对于该模型的相机位置。例如，可采用SLAM方法 (参见Davison、Andrew J.等人，“MonoSLAM：Real-time single camera SLAM.”Pattern Analysis and MachineIntelligence，IEEE Transactions on 29.6 (2007)：1052-1067)来确定第三相机的相机位置。
在一个示例中，在第三相机捕获第三图像时第三相机在车辆坐标系中 的位置可用于确定车辆坐标系中的与移动设备相关联的位置。与移动设备 相关联的位置可与第三相机在车辆坐标系中的位置相同。车辆坐标系中的 与移动设备相关联的位置可具有从第三相机在车辆坐标系中的位置进行的 空间位移。
可从第三相机相对于模型的相机位置以及模型和车辆坐标系之间的空 间关系来确定第三相机在车辆坐标系中的相机位置。
此外，还可将该模型用于对基于视觉的同时定位与映射(SLAM)方法诸 如参考[4，5，6]所述的方法进行初始化，以用于在车辆坐标系中跟踪移动设备 的一个或多个相机和/或通过添加车辆其他重建的部分来扩展重建的模型。
例如，由移动设备的第四相机来捕获车辆的至少一个第二部分的第四 图像。第四图像还可捕获由所重建的模型的至少部分表示的车辆的一部 分。然后，可基于SLAM方法来扩展所重建的模型以具有车辆的第一部分 和第二部分。这可能需要基于匹配车辆该部分的图像位置和车辆的该部分 的所重建的模型的至少部分来计算在捕获第四图像时第四相机相对于该模 型的相机姿态。
可根据移动设备的相机在车辆坐标系中的相机位置来确定与移动设备 相关联的位置。可基于SLAM方根据所重建的模型的至少部分和由相机捕 获的至少一个图像来估计相机位置。为此，至少一个图像捕获由所重建的 模型的至少部分表示的车辆的一部分。与移动设备相关联的位置可与在相 机捕获至少一个图像时的相机的位置相同。
可向车辆提供车辆坐标系中的与移动设备相关联的所确定的位置或所 确定的移动，以根据位置或移动来控制车辆的至少一种功能。至少一种功 能可与车辆的一个或多个子系统相关。车辆的子系统可以是但不限于声音 系统、环境光系统和空调系统。
至少一种功能可根据车辆坐标系中的与移动设备相关联的所确定的位 置来控制或配置车辆的一个或多个子系统。例如，该位置可指定空间中的 其中环境光系统应当进行照射或空调系统应当监测温度的区域的中心位 置。也可由该位置指定收听区域，使得声音系统将被控制或调节，以将其 朝向指定的收听区域进行取向。
该移动设备可直接或经由计算机网络与车辆进行通信。移动设备可间 接经由其他设备例如经由网络服务提供商来与车辆进行通信。
计算机网络可以是连接处理设备(例如，计算机)以允许系统、软件 应用操作和用户之间进行通信和数据交换的电信网络。处理设备可经由电 缆或以无线方式或经由电缆并以无线方式进行连接。例如，计算机网络可 以是互联网、内联网、局域网或广域网。
在一个实施方案中，移动设备可包括一个相机。第一相机、第二相机 第三相机和第四相机是相同的相机。
在另一个实施方案中，移动设备可包括至少两个相机。第一相机、第 二相机第三相机和第四相机中的至少两者是不同的相机。
在另一个实施方案中，第一相机、第二相机、第三相机和第四相机中 的至少两者是相同的相机。
可基于相机校准方法来提供或校准针对第一相机、第二相机、第三相 机和/或第四相机的相机固有参数。可使用相机固有参数基于相机图像来确 定相机位置或相机移动。
在一个实施方案中，根据本发明的系统可与移动设备的一部分电耦接 或者可以是移动设备的一部分。该系统可与车辆分开。该系统可经由电缆 以无线方式或经由计算机网络来与车辆进行通信。该系统可确定车辆坐标 系中的与移动设备相关联的位置或移动，并向车辆发送位置或移动以控制 至少一种功能。
在另一个实施方案中，该系统可接收来自车辆的车辆信息。车辆信息 可包括以下各项中的至少一者：车辆坐标系、所显示的视觉内容的视觉外 观、用于显示的显示设备的分辨率、显示设备(即，车辆的至少一部分) 在车辆坐标系中的位置、显示设备的物理几何形状(即，车辆的至少一部 分)或它们的组合。
在另一个实施方案中，该系统可与车辆的一部分电耦接或是车辆的一 部分，并且与移动设备分开。该系统可经由电缆以无线方式或经由计算机 网络来与移动设备进行通信。移动设备可向系统发送相机图像。移动设备 还可能需要向系统发送相机固有参数(例如，焦距和主点)。可使用相机 固有参数基于相机图像来确定相机位置。
在另一个实施方案中，该系统可与移动设备分开并与车辆分开。该系 统可经由电缆以无线方式或经由计算机网络来与移动设备和/或车辆进行通 信。该系统可从车辆接收车辆信息并从移动设备接收相机图像和相机固有 参数。然后，该系统可确定车辆坐标系中的与移动设备相关联的位置或移 动，并向车辆或车辆中的与至少一种功能相关的一个或多个子系统发送位 置或移动，以控制至少一种功能。
根据另一个方面，本发明还涉及一种包括适于执行根据本发明的方法 的软件代码段的计算机程序产品。具体地，计算机程序产品被包含在计算 机可读介质上并且是非暂态的。可将软件代码段加载到一个或多个处理设 备的存储器中，如本文所述的。
根据一个实施方案，可将该方法实现为一种运行于移动设备诸如移动 电话的一个或多个处理设备上并且直接地或间接地与车辆进行通信的应用 程序。
根据另一个实施方案，可将该方法实现为一种运行于车辆的一个或多 个处理设备上并直接地或间接地与移动设备和/或相机进行通信的应用程 序。
根据另一个实施方案，可将该方法实现为一种运行于计算机诸如移动 计算机或个人计算机的一个或多个处理设备上直接地或间接地与移动设备 和/或相机进行通信并且与车辆进行通信的应用程序。
附图说明
现在将相对于附图来描述本发明的各方面和实施方案，其中：
图1示出了本发明的示例性实施方案的流程图，
图2示出了本发明的另一示例性实施方案的流程图，
图3示出了根据本发明的实施方案的示例性场景。
在下文中，将参考图1到图3中所示的示例性实施方案来解释本发明 的各方面和实施方案。以下实施方案是参考使用移动电话来描述的，但原 则上可将本发明应用于通过与用于捕获图像的相机的指定的空间关系而相 关联的任何移动设备。
具体实施方式
图3示出了车辆的示例性场景，其中车辆3001的一部分包括前控制面 板3009和光源3007。显示设备包括被安装到前控制面板3009的屏幕 3004。屏幕3004上显示的潜在视觉内容是2D地图3005，但也可以是任何 其他视觉内容。车辆坐标系3006与车辆3001相关联。
在图3中所示的示例性场景中，本文使用的移动设备是包括相机3003 的移动电话3002。向移动设备提供相机3003的相机固有参数。
在潜在的使用情形中，车辆3001经由计算机服务器来以无线方式向移 动电话3002发送车辆信息。车辆信息包括所显示的2D地图3005的图像信 息(即视觉外观)的至少部分、屏幕3004的分辨率、屏幕3004在车辆坐 标系3006中的位置以及屏幕3004的形状和尺寸。
在另一个实施方案中，屏幕3004可示出移动电话3002的图标轮廓。 该图标轮廓在屏幕3004的显示坐标系中具有已知位置，从而还可在车辆坐 标系3006中具有已知位置。如果相机3003相对于移动电话3002具有已知 位置，则在将移动电话3002放置在屏幕3004上的由图标轮廓指示的位置 上时，相机3003可在车辆坐标系3006中具有已知的初始位置。相机3003 在车辆坐标系3006中的这一初始位置可用于跟踪相机3003和/或重建车辆 3001的一部分。例如，可基于附接到相机3003的惯性传感器或基于由相机 3003捕获的两个图像之间的对应图像特征来相对于其自己的初始位置确定 相机3003的位置，即确定相机3003的运动。因此，可在车辆坐标系3006 中跟踪相机3003，并且因此跟踪与相机3003相关联的移动电话3002。
移动设备(这里是移动电话3002)具有至少一个或多个处理设备，诸 如一个或多个微处理器和相关联的电路，它们是现有技术中通用的并且未 在附图中示出，因为它们在移动电话3002内部。利用图3中的附图标记 3011来指示内部处理设备。在现有技术中通常使用和应用的其他任务中， 参照本发明，处理设备3011被配置为与相机3003进行通信并执行本文结 合本发明所述的任务和步骤，诸如参考图1和图2所述的步骤。在该示例 中，移动电话3002可由用户拿着。相机3003的相机固有参数被提供给处 理设备3011，或者可由相机校准过程来确定。
此外，车辆3001可包括至少一个或多个处理设备，诸如一个或多个微 处理器和相关联的电路，它们是现有技术中通用的并在图3中利用附图标 记3021来指示。在现有技术中通常使用和应用的其他任务中，参照本发 明，处理设备3021被配置为在屏幕3004上显示视觉内容3005。处理设备 3021还适用于执行本文结合本发明所述的任务和步骤，诸如参考图1和图 2所述的步骤。
根据一个实施方案，处理设备3011和/或3021中的每个处理设备或者 彼此的任何组合都是合适的，并且可被配置为执行根据本文所述发明的任 何步骤，诸如直接从相机或从另一处理设备接收与由相机(例如，相机 3003)捕获的图像相关联的图像信息，根据所接收的图像信息来确定车辆 坐标系中的与移动设备相关联的位置，并提供指示车辆坐标系中的与移动 设备相关联的位置的位置信息。例如，可经由直接通信或间接经由另一处 理设备(例如，服务器计算机)来向车辆的控制设备提供此类位置信息， 以根据位置来控制车辆的至少一种功能。
这些任务和步骤也可由另外一个或多个处理设备诸如处理设备4001来 执行，其既不被包含在移动电话3002中也不被包含在车辆3001中，而是 在另一设备中诸如在服务器计算机4000中，例如通过计算机网络以无线方 式与移动电话3002和车辆3001进行通信。此外，可在处理设备3011,3021 和4001之间共享或分布如本文所述的根据本发明的所有或一些任务和步 骤。
移动电话3002的相机3003和外壳相对于彼此具有固定位置。移动电 话3002的相机3003和任何部分之间的空间关系可由移动电话3002的制造 商提供，或者可如现有技术中通常那样进行校准。
现在转向参考图1所述的过程，在如图1所示的本发明的示例性实施 方案中，被安装到具有车辆坐标系的车辆的显示设备在步骤1001中在其屏 幕上显示图形，例如图3中所示的2D地图3005形式的视觉内容。车辆在 步骤1002中经由互联网来向包括相机的移动电话发送来自车辆的车辆信 息。移动电话的相机在步骤1003中捕获在显示设备上显示的图形的图像。 在图3所示的示例性场景中，相机3003捕获所显示的2D地图3005的图 像。图像可仅包括所显示的2D地图3005的一部分。
步骤1004确定(在该实施方案中，在移动电话上)在相机捕获图像时 车辆坐标系中的相机位置。在图3所示的示例性场景中，可确定在相机 3003捕获图像时相机3003在车辆坐标系3006中的相机位置，这是根据与 所捕获的图像相关联的所接收的图像信息在移动电话3002的处理设备3011 上执行的。确定相机位置可基于匹配由相机3003捕获的图像和在移动电话 3002处接收的2D地图3005的图像信息。从所确定的相机位置可确定车辆 坐标系3006中的与移动设备3002相关联的位置，其可用作用于控制车辆 至少一种功能的输入。可将移动设备3002的相机3003和任何部分之间的 已知空间关系用于这种确定。
步骤1005从移动电话向车辆发送所确定的相机位置。在图3所示的示 例性场景中，从移动电话3002向车辆3001提供相机3003在车辆坐标系 3006中的相机位置。
车辆然后可在步骤1006中根据所接收的相机位置来控制车辆的至少一 种功能。在图3所示的示例性场景中，车辆3001的处理设备3021可控制 光源3007的照明方向。光源3007可被引导以沿着由相机3003的相机位置 所定义的方向来照射区域3008。
图2示出了另一示例性实施方案的流程图。步骤2001在被安装到具有 车辆坐标系的车辆的显示设备上显示图形。车辆在步骤2002中向包括相机 的移动电话发送车辆信息。移动电话的相机在步骤2003中捕获所显示的图 形的第一图像。步骤2004根据第一图像和所显示的图形来在移动电话上确 定在相机捕获第一图像时车辆坐标系中的相机位置P1。在步骤2005中， 将相机即移动电话移动到与位置P1不同的另一个位置。移动电话的相机在步骤2006中捕获所显示的图形的第二图像。步骤2007根据第二图像的图 像信息和所显示的图形来在移动电话上确定在相机捕获第二图像时车辆坐 标系中的相机位置P2。步骤2008基于第一图像和第二图像的图像信息和 相机位置P1和P2来在移动电话上重建车辆的至少部分的模型。这可使用 三角形划分方法来实现。
在步骤2009中，移动相机。相机在步骤2010中捕获第三图像。步骤 2011根据该模型来在移动电话上确定在相机捕获第三图像时车辆坐标系中 的相机位置P3。这可基于SLAM方法来实现。在步骤2012中，确定位置 P3是否是期望位置。期望位置指示用户希望根据期望位置来配置或控制车 辆的功能。例如，用户可阅读书籍。期望位置可指示书籍周围区域的中心 位置，其中车辆的环境光系统应当进行照射。如果它不是期望位置，则到 达步骤2008并使用例如SLAM方法根据第三图像来扩展该模型。另一方 面，如果是期望位置，则从移动电话向车辆发送位置P3(步骤2013)。车 辆然后能够根据所接收的位置P3来控制车辆的至少一种功能(步骤 2014)。
用于提供位置信息以用于控制具有车辆坐标系的车辆的至少一种功能 的方法可包括：接收与由移动设备的相机捕获的车辆的至少一部分的至少 一个图像相关联的图像信息，该移动设备与车辆是分开的；根据与至少一 个图像相关联的图像信息来确定车辆坐标系中的与移动设备相关联的位 置；以及提供用于指示车辆坐标系中的与移动设备相关联的位置的位置信 息，以根据该位置来控制车辆的至少一种功能。该方法还可包括提供或接 收车辆的至少一部分在车辆坐标系中的位置。车辆的该至少一部分包括在 被安装到车辆的显示设备上显示的视觉内容。确定车辆坐标系中的与移动 设备相关联的位置可包括：根据与至少一个图像相关联的图像信息来确定 在捕获至少一个图像时相机相对于车辆的至少一部分的相机位置；以及根 据相机位置和车辆的至少一部分在车辆坐标系中的位置来确定车辆坐标系 中的与移动设备相关联的位置。该至少一个图像是第一图像并且相机可以 是第一相机，并且确定车辆坐标系中的与移动设备相关联的位置可包括： 接收与由移动设备的第二相机捕获的车辆的至少一部分的第二图像相关联 的图像信息；以及根据与第一图像和第二图像相关联的图像信息来重建车 辆的至少一部分的模型。
该方法还可包括接收与由移动设备的第三相机捕获的第三图像相关联 的图像信息，其中第三图像捕获由所重建的模型的至少部分表示的车辆的 至少一部分；根据所重建的模型的至少部分和与第三图像相关联的图像信 息来确定在捕获第三图像时第三相机相对于所重建的模型的相机位置；以 及根据第三相机的相机位置来确定车辆坐标系中的与移动设备相关联的位 置。该方法还可包括根据与第一图像相关联的图像信息的至少部分来确定 在捕获第一图像时第一相机相对于车辆的至少一部分的相机位置；以及根 据与第二图像相关联的图像信息的至少部分来确定在捕获第二图像时第二 相机相对于车辆的至少一部分的相机位置。车辆的至少一部分可以是车辆 的第一部分，并且该方法还可包括接收与由移动设备的第四相机捕获的第 四图像相关联的图像信息，其中第四图像捕获车辆的第一部分的至少部分 和车辆的至少第二部分；以及扩展所重建的模型以包括车辆的第一部分和 车辆的第二部分。所重建的模型可至少描述车辆的至少部分的深度信息。 第一相机、第二相机、第三相机和第四相机中的至少两者可以是相同的相 机。第一相机、第二相机、第三相机和第四相机中的至少两者可以是不同 的相机。至少一种功能可以是这样一种功能：与车辆的声音系统、车辆的 环境光系统和车辆的空调系统中的至少一者相关并根据位置受到控制。
用于提供移动信息以用于控制具有车辆坐标系的车辆的至少一种功能 的方法可包括：接收与由移动设备的至少一个相机捕获的至少两个图像相 关联的图像信息，该移动设备与车辆是分开的，至少两个图像中的每个图 像捕获车辆的至少一部分；根据与至少两个图像相关联的图像信息来确定 相对于车辆坐标系的与移动设备相关联的移动；以及提供用于指示相对于 车辆坐标系的与移动设备相关联的移动的移动信息，以根据该移动来控制 车辆的至少一种功能。可根据车辆坐标系中的与移动设备相关联的两个位 置来确定相对于车辆坐标系的与移动设备相关联的移动。可根据在捕获至 少两个图像时至少一个相机的至少两个相机位置来确定相对于车辆坐标系 的与移动设备相关联的移动。可根据在至少两个图像中的每个图像中捕获 的车辆的至少一部分的图像位置来确定相对于车辆坐标系的与移动设备相 关联的移动。至少一种功能可以是基于与移动设备相关联的所确定的移动 而受到控制的功能，尤其是根据移动设备的移动而受到控制的与车辆的声 音系统、照明系统和空调中的至少一者相关的功能。
用于提供位置信息以用于控制具有车辆坐标系的车辆的至少一种功能 的系统可包括：第一处理设备，该第一处理设备被配置为接收与由移动设 备的相机捕获的车辆的至少一部分的至少一个图像相关联的图像信息，该 移动设备与车辆是分开的，该第一处理设备被配置为根据与至少一个图像 相关联的图像信息来确定车辆坐标系中的与移动设备相关联的位置；以及 第二处理设备，该第二处理设备被配置为提供用于指示车辆坐标系中的与 移动设备相关联的位置的位置信息，以根据该位置来控制车辆的至少一种 功能。
用于提供移动信息以用于控制具有车辆坐标系的车辆的至少一种功能 的系统可包括：第一处理设备，该第一处理设备被配置为接收与由移动设 备的至少一个相机捕获的至少两个图像相关联的图像信息，该移动设备与 车辆是分开的，并且至少两个图像中的每个图像捕获车辆的至少一部分， 第一处理设备被配置为根据与至少两个图像相关联的图像信息来确定相对 于车辆坐标系的与移动设备相关联的移动；以及第二处理设备，该第二处 理设备被配置为提供用于指示相对于车辆坐标系的与移动设备相关联的移 动的移动信息，以根据该移动来控制车辆的至少一种功能。第一处理设备 和第二处理设备可以是相同的处理设备。第一处理设备和第二处理设备中 的至少一者可被包括在移动设备中。第一处理设备和第二处理设备中的至 少一者可被包括在车辆中。第一处理设备和第二处理设备中的至少一者可 被包括在与移动设备和车辆进行通信的计算机设备中。移动设备可以是手 持设备，尤其可以是移动电话、平板电脑或移动计算机。
计算机程序产品可包括在被加载到处理设备的内部存储器中时适于执 行上文所述的方法的软件代码段。
利用对提供与由移动设备的至少一个相机捕获的至少两个图像相关联 的图像信息的修改，上文所述的与用于提供位置信息以用于控制车辆的至 少一种功能的方法和系统的第一方面相关的步骤和系统部件可类似地与结 合用于提供移动信息以用于控制车辆的至少一种功能的方法和系统的第二 方面的相同或相似的部件一起被应用，并且以下步骤考虑如上所述的这个 图像信息。此外，如上所述的部件，诸如移动设备、相机和/或处理设备还 可被配置为执行第二方面的方法，以用于提供移动信息以用于控制车辆的 至少一种功能。
在整个文档中，描述了提供或接收与图像相关联的图像信息。技术人 员知道，这可包括提供或接收允许位置估计或姿态估计的图像的任何已处 理或未处理的信息(版本)、图像的一部分和/或图像的特征。本发明不需 要提供或接收任何原始图像数据。从而，处理包括压缩(例如，JPEG、 PNG、ZIP)、加密(例如，RSA加密、Schnorr签名、El-Gamal加密、PGP)、转换到另一色彩空间或灰度级、基于特征描述符裁剪或缩放图像 或转换成稀疏表示、提取中的任一者及它们的组合。所有这些图像处理方 法可任选地被执行并由图像的图像信息或与图像相关联的图像信息的术语 涵盖。

Claims (22)

1.一种用于提供位置信息以用于控制具有车辆坐标系的车辆的至少一种功能的方法，所述方法包括：
接收与由移动设备的相机捕获的所述车辆的至少一部分的至少一个图像相关联的图像信息，所述移动设备与所述车辆是分开的；
根据与所述至少一个图像相关联的所述图像信息来确定车辆坐标系中的与所述移动设备相关联的位置；以及
提供指示所述车辆坐标系中的与所述移动设备相关联的所述位置的位置信息，以根据所述位置来控制所述车辆的至少一种功能。
2.根据权利要求1所述的方法，还包括获取所述车辆的所述至少一部分在所述车辆坐标系中的位置。
3.根据权利要求2所述的方法，其中所述车辆的所述至少一部分包括在被安装到所述车辆的显示设备上显示的视觉内容。
4.根据权利要求2所述的方法，其中确定所述车辆坐标系中的与所述移动设备相关联的所述位置包括：
根据与所述至少一个图像相关联的所述图像信息来确定在捕获所述至少一个图像时所述相机相对于所述车辆的所述至少一部分的相机位置；以及
根据所述相机位置和所述车辆的所述至少一部分在所述车辆坐标系中的所述位置来确定所述车辆坐标系中的与所述移动设备相关联的所述位置。
5.根据权利要求2所述的方法，其中所述至少一个图像是第一图像并且所述相机是第一相机，并且其中确定所述车辆坐标系中的与所述移动设备相关联的所述位置包括：
接收与由所述移动设备的第二相机捕获的所述车辆的所述至少一部分的第二图像相关联的图像信息；以及
根据与所述第一图像和所述第二图像相关联的所述图像信息来重建所述车辆的所述至少一部分的模型。
6.根据权利要求5所述的方法，还包括：
接收与由所述移动设备的第三相机捕获的第三图像相关联的图像信息，其中所述第三图像捕获由所重建的模型的至少部分表示的所述车辆的至少一部分；
根据所重建的模型的所述至少部分和与所述第三图像相关联的图像信息来确定在捕获所述第三图像时所述第三相机相对于所重建的模型的相机位置；以及
根据所述第三相机的所述相机位置来确定所述车辆坐标系中的与所述移动设备相关联的所述位置。
7.根据权利要求5所述的方法，还包括：
根据与所述第一图像相关联的所述图像信息的至少部分来确定在捕获所述第一图像时所述第一相机相对于所述车辆的所述至少一部分的相机位置；以及
根据与所述第二图像相关联的所述图像信息的至少部分来确定在捕获所述第二图像时所述第二相机相对于所述车辆的所述至少一部分的相机位置。
8.根据权利要求5所述的方法，其中所重建的模型描述所述车辆的至少部分的深度信息。
9.根据权利要求1所述的方法，其中所述至少一种功能是与选自由所述车辆的声音系统、所述车辆的环境光系统和所述车辆的空调系统组成的组的至少一者相关并根据所述位置受到控制的功能。
10.一种用于提供位置信息以用于控制具有车辆坐标系的车辆的至少一种功能的设备，所述设备包括：
用于接收与由移动设备的相机捕获的所述车辆的至少一部分的至少一个图像相关联的图像信息的装置，所述移动设备与所述车辆是分开的；
用于根据与所述至少一个图像相关联的所述图像信息来确定车辆坐标系中的与所述移动设备相关联的位置的装置；以及
用于提供指示所述车辆坐标系中的与所述移动设备相关联的所述位置的位置信息，以根据所述位置来控制所述车辆的至少一种功能的装置。
11.根据权利要求10所述的设备，其中用于确定所述车辆坐标系中的与所述移动设备相关联的所述位置的装置包括：
用于根据与所述至少一个图像相关联的所述图像信息来确定在捕获所述至少一个图像时所述相机相对于所述车辆的所述至少一部分的相机位置的装置；以及
用于根据所述相机位置和所述车辆的所述至少一部分在所述车辆坐标系中的所述位置来确定所述车辆坐标系中的与所述移动设备相关联的所述位置的装置。
12.一种用于提供移动信息以用于控制具有车辆坐标系的车辆的至少一种功能的方法，所述方法包括：
接收与由移动设备的至少一个相机捕获的至少两个图像相关联的图像信息，所述移动设备与所述车辆是分开的，所述至少两个图像中的每个图像捕获所述车辆的至少一部分；
根据与所述至少两个图像相关联的所述图像信息来确定相对于所述车辆坐标系的与所述移动设备相关联的移动；以及
提供指示相对于所述车辆坐标系的与所述移动设备相关联的所述移动的移动信息，以根据所述移动来控制所述车辆的至少一种功能。
13.根据权利要求12所述的方法，其中根据所述车辆坐标系中的与所述移动设备相关联的至少两个位置来确定相对于所述车辆坐标系的与所述移动设备相关联的所述移动。
14.根据权利要求12所述的方法，其中根据在捕获所述至少两个图像时所述至少一个相机的至少两个相机位置来确定相对于所述车辆坐标系的与所述移动设备相关联的所述移动。
15.根据权利要求12所述的方法，其中根据在所述至少两个图像中的每个图像中捕获的所述车辆的所述至少一部分的图像位置来确定相对于所述车辆坐标系的与所述移动设备相关联的所述移动。
16.根据权利要求12所述的方法，其中所述至少一种功能与选自由以下各项组成的组的至少一者相关：根据所述移动设备的所述移动而受到控制的所述车辆的声音系统、照明系统和空调。
17.一种用于提供移动信息以用于控制具有车辆坐标系的车辆的至少一种功能的设备，所述设备包括：
用于接收与由移动设备的至少一个相机捕获的至少两个图像相关联的图像信息的装置，所述移动设备与所述车辆是分开的，所述至少两个图像中的每个图像捕获所述车辆的至少一部分；
用于根据与所述至少两个图像相关联的所述图像信息来确定相对于所述车辆坐标系的与所述移动设备相关联的移动的装置；以及
用于提供指示相对于所述车辆坐标系的与所述移动设备相关联的所述移动的移动信息，以根据所述移动来控制所述车辆的至少一种功能的装置。
18.根据权利要求17所述的设备，其中根据所述车辆坐标系中的与所述移动设备相关联的两个位置来确定相对于所述车辆坐标系的与所述移动设备相关联的所述移动。
19.一种用于提供位置信息以用于控制具有车辆坐标系的车辆的至少一种功能的系统，所述系统包括：
第一处理设备，被配置为接收与由移动设备的相机捕获的所述车辆的至少一部分的至少一个图像相关联的图像信息，所述移动设备与所述车辆是分开的；
其中，所述第一处理设备进一步被配置为根据与所述至少一个图像相关联的所述图像信息来确定车辆坐标系中的与所述移动设备相关联的位置；以及
第二处理设备，被配置为提供指示所述车辆坐标系中的与所述移动设备相关联的所述位置的位置信息，以根据所述位置来控制所述车辆的至少一种功能。
20.一种用于提供移动信息以用于控制具有车辆坐标系的车辆的至少一种功能的系统，所述系统包括：
第一处理设备，被配置为接收与由移动设备的至少一个相机捕获的至少两个图像相关联的图像信息，所述移动设备与所述车辆是分开的，所述至少两个图像中的每个图像捕获所述车辆的至少一部分；
其中，所述第一处理设备被配置为根据与所述至少两个图像相关联的所述图像信息来确定相对于所述车辆坐标系的与所述移动设备相关联的移动；以及
第二处理设备，被配置为提供指示相对于所述车辆坐标系的与所述移动设备相关联的所述移动的移动信息，以根据所述移动来控制所述车辆的至少一种功能。
21.一种设备，包括：
一个或多个处理器；以及
存储指令的一个或多个存储介质，所述指令在由所述一个或多个处理器执行时使得执行根据权利要求1-9以及12-16中任一项所述的方法中的操作。
22.一种计算机可读存储介质，存储指令，所述指令在由一个或多个处理器执行时使得执行根据权利要求1-9以及12-16中任一项所述的方法中的操作。
CN201380081462.4A 2013-10-07 2013-10-07 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统 Active CN105814604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910570707.9A CN110223327B (zh) 2013-10-07 2013-10-07 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/070819 WO2015051818A1 (en) 2013-10-07 2013-10-07 Method and system for providing position or movement information for controlling at least one function of a vehicle

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910570707.9A Division CN110223327B (zh) 2013-10-07 2013-10-07 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统

Publications (2)

Publication Number Publication Date
CN105814604A CN105814604A (zh) 2016-07-27
CN105814604B true CN105814604B (zh) 2019-07-02

Family

ID=49326658

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910570707.9A Active CN110223327B (zh) 2013-10-07 2013-10-07 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
CN201380081462.4A Active CN105814604B (zh) 2013-10-07 2013-10-07 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910570707.9A Active CN110223327B (zh) 2013-10-07 2013-10-07 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统

Country Status (7)

Country Link
US (1) US10268216B2 (zh)
EP (1) EP3055834B1 (zh)
JP (1) JP6683605B2 (zh)
KR (2) KR20190021496A (zh)
CN (2) CN110223327B (zh)
AU (3) AU2013402725B2 (zh)
WO (1) WO2015051818A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180070388A1 (en) * 2016-09-02 2018-03-08 Hyundai America Technical Center, Inc System and method for vehicular and mobile communication device connectivity
DE112017003801T5 (de) 2016-09-22 2019-07-18 Apple Inc. Fahrzeugvideosystem
US10783648B2 (en) * 2018-03-05 2020-09-22 Hanwha Techwin Co., Ltd. Apparatus and method for processing image
US11510026B2 (en) 2020-07-01 2022-11-22 Here Global B.V. Radio-visual approach for device localization based on a vehicle location
US11570576B2 (en) * 2020-07-01 2023-01-31 Here Global B.V. Image-based approach for device localization based on a vehicle location

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101128794A (zh) * 2005-01-12 2008-02-20 辛克光学公司 手持式基于视觉的绝对指向系统
CN101868967A (zh) * 2007-11-19 2010-10-20 富士通株式会社 摄像装置、摄像方法以及摄像程序
CN102109922A (zh) * 2009-12-25 2011-06-29 佳能株式会社 信息处理设备及其控制方法
CN102193624A (zh) * 2010-02-09 2011-09-21 微软公司 用于基于姿势的用户界面的物理交互区
CN102301738A (zh) * 2009-11-30 2011-12-28 松下电器产业株式会社 通信装置
CN202169907U (zh) * 2011-07-29 2012-03-21 富士重工业株式会社 车外环境识别装置
CN102874250A (zh) * 2011-07-14 2013-01-16 通用汽车环球科技运作有限责任公司 增强车辆控制的系统及方法
CN103076949A (zh) * 2008-03-19 2013-05-01 株式会社电装 车辆操作输入设备

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US7660437B2 (en) 1992-05-05 2010-02-09 Automotive Technologies International, Inc. Neural network systems for vehicles
JP4556311B2 (ja) * 2000-09-19 2010-10-06 マツダ株式会社 車両用情報処理装置
US20020085097A1 (en) * 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
GB2392766B (en) * 2002-08-27 2005-10-05 Timothy Guy Carpenter An apparatus and a system for determining compliance with parking rules by a vehicle, vehicle observing means and a device for obtaining parking information
US7450960B2 (en) * 2004-10-07 2008-11-11 Chen Alexander C System, method and mobile unit to sense objects or text and retrieve related information
US8134481B2 (en) * 2006-08-11 2012-03-13 Honda Motor Co., Ltd. Method and system for receiving and sending navigational data via a wireless messaging service on a navigation system
US7646296B2 (en) * 2006-08-11 2010-01-12 Honda Motor Co., Ltd. Method and system for receiving and sending navigational data via a wireless messaging service on a navigation system
WO2008079889A2 (en) * 2006-12-20 2008-07-03 Johnson Controls Technology Company System and method for providing route calculation and information to a vehicle
JP2008182321A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 画像表示システム
JP4337929B2 (ja) * 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置
US8373763B2 (en) 2008-05-22 2013-02-12 GM Global Technology Operations LLC Self calibration of extrinsic camera parameters for a vehicle camera
US8965670B2 (en) * 2009-03-27 2015-02-24 Hti Ip, L.L.C. Method and system for automatically selecting and displaying traffic images
US7898471B2 (en) * 2009-04-27 2011-03-01 GTA Electronics Co., Ltd. Power-saving position tracking device
US9189859B2 (en) * 2009-06-11 2015-11-17 Kabushiki Kaisha Toshiba 3D image generation
USRE45980E1 (en) * 2009-11-30 2016-04-19 Panasonic Intellectual Property Corporation Of America Communication device
US20110145108A1 (en) * 2009-12-14 2011-06-16 Magnus Birch Method for obtaining information relating to a product, electronic device, server and system related thereto
US8497902B2 (en) 2009-12-18 2013-07-30 Sony Computer Entertainment Inc. System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof
US8351651B2 (en) * 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
KR101219933B1 (ko) * 2010-09-13 2013-01-08 현대자동차주식회사 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
AU2011305154B2 (en) * 2010-09-24 2015-02-05 Irobot Corporation Systems and methods for VSLAM optimization
CN103098108B (zh) * 2010-11-25 2017-09-08 松下电器（美国）知识产权公司 通信设备
US20140057229A1 (en) * 2011-02-22 2014-02-27 Rheinmetall Defence Electronics Gmbh Simulator for training a team, in particular for training a helicopter crew
US8743214B2 (en) * 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치
US9424255B2 (en) * 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
JP5845860B2 (ja) * 2011-12-01 2016-01-20 株式会社デンソー 地図表示操作装置
US20130331027A1 (en) * 2012-06-08 2013-12-12 Research In Motion Limited Communications system providing remote access via mobile wireless communications device and related methods
US8532675B1 (en) * 2012-06-27 2013-09-10 Blackberry Limited Mobile communication device user interface for manipulation of data items in a physical space
EP2899496B1 (en) * 2012-09-21 2020-03-04 Tadano Ltd. Periphery-information acquisition device for vehicle
US9723251B2 (en) * 2013-04-23 2017-08-01 Jaacob I. SLOTKY Technique for image acquisition and management
CN104881860B (zh) * 2014-02-28 2019-01-08 国际商业机器公司 基于照片进行定位的方法和装置
US9445240B2 (en) * 2014-05-06 2016-09-13 Cecil Gooch Systems and methods for pedestrian indoor positioning
US9420741B2 (en) * 2014-12-15 2016-08-23 Irobot Corporation Robot lawnmower mapping
US10660154B2 (en) * 2015-01-14 2020-05-19 Honeywell International Inc. Positioning system leveraged for installation and commissioning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101128794A (zh) * 2005-01-12 2008-02-20 辛克光学公司 手持式基于视觉的绝对指向系统
CN101868967A (zh) * 2007-11-19 2010-10-20 富士通株式会社 摄像装置、摄像方法以及摄像程序
CN103076949A (zh) * 2008-03-19 2013-05-01 株式会社电装 车辆操作输入设备
CN102301738A (zh) * 2009-11-30 2011-12-28 松下电器产业株式会社 通信装置
CN102109922A (zh) * 2009-12-25 2011-06-29 佳能株式会社 信息处理设备及其控制方法
CN102193624A (zh) * 2010-02-09 2011-09-21 微软公司 用于基于姿势的用户界面的物理交互区
CN102874250A (zh) * 2011-07-14 2013-01-16 通用汽车环球科技运作有限责任公司 增强车辆控制的系统及方法
CN202169907U (zh) * 2011-07-29 2012-03-21 富士重工业株式会社 车外环境识别装置

Also Published As

Publication number Publication date
US20160225163A1 (en) 2016-08-04
CN110223327B (zh) 2023-08-01
AU2013402725A1 (en) 2016-04-28
WO2015051818A1 (en) 2015-04-16
KR20190021496A (ko) 2019-03-05
KR20160068856A (ko) 2016-06-15
US10268216B2 (en) 2019-04-23
AU2013402725B2 (en) 2018-04-12
AU2016100369B4 (en) 2016-06-23
EP3055834B1 (en) 2017-08-02
EP3055834A1 (en) 2016-08-17
JP2016541042A (ja) 2016-12-28
KR101953960B1 (ko) 2019-03-04
AU2016100369A4 (en) 2016-05-05
CN105814604A (zh) 2016-07-27
CN110223327A (zh) 2019-09-10
AU2018205168A1 (en) 2018-08-02
AU2018205168B2 (en) 2019-07-11
JP6683605B2 (ja) 2020-04-22

Similar Documents

Publication Publication Date Title
CN109840947B (zh) 增强现实场景的实现方法、装置、设备及存储介质
CN104871084B (zh) 自适应投影仪
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
JP5966510B2 (ja) 情報処理システム
CN110249291A (zh) 用于在预捕获环境中的增强现实内容递送的系统和方法
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
US20150042678A1 (en) Method for visually augmenting a real object with a computer-generated image
CN105814604B (zh) 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
CN102959616A (zh) 自然交互的交互真实性增强
CN110022470A (zh) 使用合成图像训练对象检测算法的方法和系统和存储介质
CN110377148B (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
US10937187B2 (en) Method and system for providing position or movement information for controlling at least one function of an environment
US20180219975A1 (en) Sharing Mediated Reality Content
CN112287852B (zh) 人脸图像的处理方法、显示方法、装置及设备
US20200118349A1 (en) Information processing apparatus, information processing method, and program
KR20160060582A (ko) 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품
CN109859100A (zh) 虚拟背景的显示方法、电子设备和计算机可读存储介质
CN113936085A (zh) 三维重建方法和装置
US20230245396A1 (en) System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications
CN115482359A (zh) 目标的尺寸测量方法、电子设备及其介质
CN108549484A (zh) 基于人体动态姿态的人机交互方法和装置
JP2018088604A (ja) 画像表示装置、画像表示方法、システム
JP2019071085A (ja) 車両の少なくとも１つの機能を制御するための位置又は運動情報を提供するための方法及びシステム
US20240212287A1 (en) Augmented reality ergonomics evaluation system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20180424

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Munich, Germany

Applicant before: METAIO GmbH

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant