CN109644256B - 车载视频系统 - Google Patents

车载视频系统 Download PDF

Info

Publication number
CN109644256B
CN109644256B CN201780053095.5A CN201780053095A CN109644256B CN 109644256 B CN109644256 B CN 109644256B CN 201780053095 A CN201780053095 A CN 201780053095A CN 109644256 B CN109644256 B CN 109644256B
Authority
CN
China
Prior art keywords
vehicle
user
video
geographic location
implementations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780053095.5A
Other languages
English (en)
Other versions
CN109644256A (zh
Inventor
J·A·克劳福德
熊银根
M·庞蒂尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN109644256A publication Critical patent/CN109644256A/zh
Application granted granted Critical
Publication of CN109644256B publication Critical patent/CN109644256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明题为“车载视频系统”。本发明公开了使用安装在车辆上的相机获取图像，并且在屏幕上显示所获取图像的至少一部分。可控制车辆的运动，使得其向从使用安装在车辆上的相机获取的图像选择的物理目的地移动。

Description

车载视频系统
相关申请的交叉引用
本申请要求2016年9月22日提交的名称为“Vehicle Video System”的美国临时申请62/398,125的权益，其内容全文以引用方式并入本文以用于所有目的。
技术领域
本申请整体涉及车辆生成的视频的处理和使用。
背景技术
用于车辆的自动化控制系统可导航到大致区域。例如，自动化控制系统可以导航到地图上的点指定的大致区域。使用诸如地图的信息进行导航并不很适合在非常具体的位置指定目的地，诸如进入建筑物的入口门的位置或人所站的地方。
发明内容
本公开的一个方面是一种方法，该方法包括：使用安装在车辆上的一个或多个相机获取图像；向显示设备发送表示所获取图像的至少一部分的数据；接收表示所获取图像的选择部分的数据；将所获取图像的所选择部分与地理位置相关；以及向相应地理位置移动车辆。
本公开的另一方面是一种车辆，该车辆包括一个或多个处理器、动力系统以及安装在车辆上的一个或多个相机。一个或多个处理器被配置为使用一个或多个相机获取图像，向显示设备发送表示所获取图像的至少一部分的数据，接收表示所获取图像的选择部分的数据，以及将所获取图像的所选择部分与地理位置相关。动力系统被配置为将车辆向地理位置移动。
本公开的另一个方面是一种具有计算机可执行程序指令的非暂态计算机可读存储设备，计算机可执行程序指令可由车辆的一个或多个处理器执行。在被执行时，计算机可执行程序指令使得一个或多个处理器使用安装在车辆上的一个或多个相机获取图像，向显示设备发送表示所获取图像的至少一部分的数据，接收表示所获取图像的选择部分的数据，将所获取图像的所选择部分与地理位置相关，以及使车辆向地理位置移动。
附图说明
图1是用于交互地呈现来自车辆生成的视频的图像的示例性过程的流程图。
图2是用于调节会合位置以方便车辆接载的示例性过程的流程图。
图3是示例性车辆的框图。
图4是用于车辆控制器的示例性硬件配置的框图。
图5是用于显示设备的示例性硬件配置的框图。
图6是示例性车辆接载场景的图示。
具体实施方式
本文档描述了用于获取、保持和分发车载视频(即，用安装在车辆上的一个或多个相机获取的视频)的系统和方法。在一些具体实施中，车辆中的用户可以使用这种交互式界面以指示或选择来自车辆周围环境的位置，例如，期望的下车位置、选择停车位或指示要避开的物体。
在一些具体实施中，使用户能够远程查看或共享其车载视频。例如，可以使远程用户能够查看车辆周围环境，就像它们是车辆的乘客一样。可通过多种方式远程查看或共享车载视频。例如，来自车载视频的静态全景图像可被作为传统图像或在交互式全景查看器中查看，从而允许观察者观看场景周围。例如，可向第二用户呈现静止图像，该静止图像从第一用户(例如，共享者)选择的视角示出视图。例如，可交互地查看车载视频(例如，全景车载视频)，从而允许观察者自由地观看场景周围。例如，可以交互地共享车载视频(例如，全景车载视频)，从而允许共享者控制另一个用户看到的视角。例如，可向另一用户显示从车载视频导出的视频，该视频从共享者选择的视角示出固定视图。例如，可向另一用户显示从车载视频导出的视频，该视频示出自动控制的视频视角(例如，跟踪外部对象)。例如，可通过选择经由即时消息应用共享车载视频，在正进行的视频会议呼叫过程中切换到车载视频(例如，与选择智能电话上的前向或后向相机方式相同)或通过经由社交网络接口永久性地或临时共享车载视频，从而发起车载视频的部分的共享。
对于为送乘客或接乘客而行进的车辆，特别是对自主驾驶车辆而言，车辆在接近下车或接载位置时与乘客共享其相机视频会有帮助。查看车载视频的部分可帮助乘客更好地了解车辆在何处，了解任何延迟的原因，和/或引导车辆改变其当前线路或会合位置以方便接载。例如，一乘客正在查看车载视频并注意到车辆正在接近机场“到达”通道的1号门，其可以使用交互界面来引导车辆将其配置的会合位置调节至不同的位置，诸如3号门。
在本文档中，使用术语“视频”指代图像传感器诸如相机获取的一个或多个图像的序列。需注意，该序列中的一个或多个图像(也可称为帧)可在规则或不规则定时获取。例如，视频可包括在24Hz下定期获取的图像的序列，或视频可包括在发生异步事件(例如，车辆停止)时获取的一个或多个图像的序列。
图1示出了用于交互地呈现来自车辆生成的视频的图像的示例性过程100。在操作110中从安装在车辆上的一个或多个相机获取车载视频。车载视频可以是通过合并用安装在车辆上的多个相机检测到的图像而确定的复合视频。例如，相机可布置成阵列，使得相机的视场重叠并且沿弧线共同跨越视角。在一些具体实施中，可将来自多个相机的视场重叠的图像拼接在一起(例如，使用图像拼接软件)以形成具有跨越该弧线的视场的复合视频。在一些具体实施中，所得的复合视频是全景视频，因为复合视频的视场跨越了围绕车辆的360度的弧线。在一些具体实施中，可在操作110中从安装在车辆上的单个相机获取车载视频。例如，车载视频可从一个或多个全向相机获取。在一些具体实施中，可在操作110中从安装在车辆上的具有广角镜头或鱼眼镜头的一个或多个相机获取车载视频。例如，可处理使用鱼眼镜头或其他畸变镜头检测到的图像以变换图像并减少镜头造成的畸变效应。例如，可在操作110中，基于安装在车辆上的相机阵列(例如，图3的相机阵列350)检测到的图像，由图像处理单元(例如，图3的图像处理单元360)获取车载视频。
在操作120中，可将车载视频存储在缓冲区中。在一些具体实施中，车载视频可在缓冲区中以压缩格式(例如，MPEG-4)编码。缓冲区中编码的车载视频的帧可以与时间戳或与当前时间的偏移关联。例如，存储车载视频的缓冲区中的数据结构可包括一个或多个字段，指定在操作110中何时获取车载视频的帧。在一些具体实施中，在缓冲区中编码的车载视频的帧可与在操作110中获取帧所基于的一个或多个图像时车辆占用的位置相关联。在一些具体实施中，可在操作120中带有关联用户许可而安全地存储车载视频，用户许可仅授权特定一个或多个用户访问车载视频的部分。例如，可在操作120中由图像处理单元(例如，图3的图像处理单元360)在数据存储装置(例如，图4的数据存储装置420)上实现的缓冲区中存储车载视频。
可在操作130中接收来自用户的图像选择输入。选择输入可指定车载视频中用户感兴趣的部分(例如，一个或多个图像)。在一些具体实施中，选择输入包括一个或多个参数，指定可用车载视频内的查看角度。例如，在手持式显示设备上查看车载视频的一部分的用户可通过旋转手持式显示设备来选择车载视频内的查看角度。通过旋转手持式显示设备，用户可平移车载视频的视图。手持式设备的这种旋转可被设备中的传感器(例如，加速度计、陀螺仪和/或磁力计)检测到，并且转换成查看角度或查看角度的调节，并将其转发至保持和/或分发车载视频的图像处理系统(例如，图3中的图像处理单元360)。例如，在用户佩戴头戴式显示设备(例如，虚拟现实眼镜)时，用户可通过倾斜或转动用户的头部来选择查看角度。通过在佩戴头戴式显示设备时倾斜或转动头部，用户可平移车载视频内的视图。在一些具体实施中，选择输入包括显示呈现给用户的车载视频的一部分(例如，一个或多个图像)的触摸屏上的手势。
例如，可在操作130中从车辆中的用户接收图像选择输入。在一些具体实施中，可基于用户的个人设备与车辆的车身和/或相机阵列的相对取向来确定车辆内的用户的查看角度。用户将个人设备取向成指向参考对象或方向(例如，将设备指向车辆运动方向的正前方)，同时指出应当进行同步(例如，通过按压用户界面上的“重新居中”按钮或在用户界面中执行“重新居中”手势)，可以不时同步个人设备与车辆的相对取向。在同步事件之间，例如，可通过使用传感器跟踪车辆和个人设备取向的演变来跟踪相对取向。在一些具体实施中，基于该相对取向选择输入而选择用于呈现的车载视频的一部分(例如，一个或多个图像)可在平行于与显示设备的显示表面垂直的轴线的方向上描绘来自车辆的视图。查看角度的这种规范可允许用户看起来在使用其显示车载视频的部分的个人设备，透过车身来观看车辆周围的区域。所查看到的车载视频的一部分可以是当前(例如，最近的可用帧)或较旧(例如，来自车辆经过当前位置时的先前旅程)的。
在一些具体实施中，选择输入可指定时间偏移，例如，距车载视频的最近帧的时间偏移。例如，用户可在个人设备上查看车载视频的一部分，并且个人设备的显示器可覆盖刷动条。用户可在其显示器上沿刷动条滑动图标以指定其希望查看车载视频的部分的时间偏移。指定此时间偏移的数据可被转发至保持和/或分发车载视频的部分的图像处理系统(例如，图3中的图像处理单元360)。
用户可能希望让其视图在对象和/或车辆继续相对于彼此移动时跟踪车载视频中出现的对象。在一些具体实施中，基于来自查看车载视频的部分的用户的选择输入来选择要跟踪的对象。例如，用户可通过在显示车载视频的部分的触摸屏界面中的对象上轻击或勾勒出对象而选择对象，以便标识对应于对象全部或部分的部分(例如，呈现的一个或多个图像)中的像素子集。标识这一像素子集和/或对象的数据可被转发至保持和/或分发车载视频的部分的图像处理系统(例如，图3中的图像处理单元360)。
用户可能希望从车载视频中选择简单的预定义的视图。在一些具体实施中，可基于来自用户的输入来选择车载视频内的预定义的前向视角，例如，用户可轻击“前相机”的图标或按钮。在一些具体实施中，可基于来自用户的输入来选择车载视频内的预定义的后向视角，例如，用户可轻击“后相机”的图标或按钮。反映选择预定义的视图的数据可被转发至保持和/或分发车载视频的部分的图像处理系统(例如，图3中的图像处理单元360)。
例如，可以由具有针对该车载视频的访问许可的用户(即，共享者)与将查看车载视频的部分的另一用户(例如，观察者)共享车载视频。共享者可能希望控制将车载视频的哪些部分呈现给观察者。在一些具体实施中，从车载视频中选择的一部分(例如，一个或多个图像)是静态全景图像的一部分，并且该部分是基于共享者选择的查看角度来确定的。在一些具体实施中，从车载视频中选择的一部分(例如，一个或多个图像)是在基于来自共享者的输入而选择的查看角度显示来自车辆的视图的视频。例如，可在操作130中在来自共享者操作的设备的无线通信信号中接收选择输入。
在一些具体实施中，可在操作130中在来自用户操作的设备的无线通信信号中接收选择输入。在一些具体实施中，提供选择输入的用户可以远离车辆定位。例如，与车辆会面的远程用户可以通过在车辆向会面地点行进时查看车载视频的部分来检查该车辆的进度。
在一些具体实施中，可在操作130中由图像处理单元(例如，图3的图像处理单元360)经由无线接口(例如，图3的无线网络接口370)接收来自用户的选择输入。
可在操作140中选择车载视频的一部分(例如，一个或多个图像)。可能有利的是，基于例如特定用户的查看界面、兴趣、访问权和/或来自共享者的指令，选择车载视频中适合显示给特定用户的部分。在一些具体实施中，在操作140中部分基于由用户指定的查看角度来选择车载视频的一部分。在一些具体实施中，在操作140中部分基于由用户指定的时间偏移来选择车载视频的一部分。在一些具体实施中，在操作140中部分基于由用户指定的位置来选择车载视频的一部分。例如，从车载视频中选择的一部分(例如，一个或多个图像)可为静态全景图像。例如，可在操作140中由图像处理单元(例如，图3的图像处理单元360)选择车载视频的一部分。
例如，用户可能有兴趣观看两分钟之前的车辆左面的区域。对这种效果的选择输入可由用户通过用户界面指定并随后以适当格式转发给保持和/或分发车载视频的图像处理单元(例如，图3的图像处理单元360)。可使用车载视频当前帧或最近帧之前2分钟的时间偏移来从存储车载视频的缓冲区标识并检索相关一个或多个帧。在选择输入中指定的查看角度(例如，距车辆运动方向向左90度)可用于在相关一个或多个帧内平移，以在用户感兴趣的方向上使视图居中。在一些具体实施中，由于对用户设备的通信链路的带宽限制和/或对用户显示器(例如，平板电脑或智能电话显示器)的限制，呈现给用户的视场可受到限制(例如，限制到120度的视场)。因此，在该示例场景中，可在操作140中选择车载视频的一部分作为更大(例如，全景)车载视频的切片，其中该部分具有120度视场并居中于距车辆运动方向向左90度的方向上。该车载视频的这一部分(例如，一个或多个图像)可包括来自车辆的一个或多个帧的切片，其时间戳接近指定的2分钟前的时间偏移。在一些具体实施中，在操作140中选择的部分可以是从这些切片中的一个或多个导出的静态图像。
在一些具体实施中，在操作140中选择车载视频的一部分包括跟踪车载视频中描绘的对象以及自动改变车载视频内的视角，以继续选择对象的图像用于呈现给用户。例如，可基于来自用户的选择输入来选择要跟踪的对象。在一些具体实施中，向图像识别软件中输入标识车载视频的所呈现部分中被用户指示为对应于对象的像素子集的数据，以分析车载视频的对应部分并标识要跟踪的对象。在一些具体实施中，自动识别并选择要跟踪的对象(例如，标志、红绿灯、车辆或行人)。例如，在操作140中从车载视频选择的一部分(例如，一个或多个图像)可以是示出描绘在车辆相对于对象移动时被自动跟踪的对象的视图的视频。
在一些具体实施中，在操作140中选择的车载视频的一部分可被限制为仅包括用户具有访问权的部分。例如，在两个用户共享车辆的情况下，可在操作120中安全且隐秘地在缓冲区内存储车载视频，并且默认地，可以授权特定用户仅访问在特定用户操作共享车辆期间获取的车载视频的部分。
车载视频的选择部分(例如，一个或多个图像)可在操作150中被呈现给用户。在一些具体实施中，在操作150中，通过向被配置为显示车载视频的一部分的用户的个人设备(例如，平板电脑、智能电话、头戴式显示器)传输(例如，经由图3的无线网络接口370)表示该部分的图像数据，呈现车载视频的该部分。在一些具体实施中，用户的个人设备可被配置为允许用户存储来自所显示车载视频的部分的图像。例如，用户的个人设备可被配置为在包括“拍照”按钮或图标的界面中显示车载视频的一部分，在被按压时，“拍照”按钮或图标使得个人设备以数字照片格式存储来自所显示车辆视频的部分的图像。这一图像可被存储在用户的个人设备上，并且/或者信号可被传输到车辆，使得图像被存储在车辆中的存储装置中，例如作为与用户相关联的文件。
在一些具体实施中，用户的个人设备可被配置为允许用户存储来自所显示车载视频的部分的视频片段。例如，用户的个人设备可被配置为在包括“录像”按钮或图标的界面中显示车载视频的一部分，在被按压时，“录像”按钮或图标使得个人设备以数字视频格式存储来自所显示车载视频的部分的一个或多个帧。这一视频片段可被存储在用户的个人设备上，并且/或者信号可被传输到车辆，使得视频片段被存储在车辆中的存储装置中，例如作为与用户相关联的文件。
在一些具体实施中，可以在用户设备上在类似传统智能电话相机应用界面的界面中显示车载视频。例如，界面可包括用于使得存储车载视频的所显示部分(例如，作为静态照片文件或作为视频文件)的图标或按钮。例如，该界面可允许用户例如通过执行缩放手势(例如，触摸屏上的捏拉缩放手势)，通过数字方式在车载视频的所显示部分上放大或缩小。
例如，可在操作140中向位于紧急响应车辆中的用户呈现车载视频的所选择部分(例如，一个或多个图像)以帮助响应例如车祸或火灾的紧急情况。可以针对此目的与紧急响应用户共享来自发生事故期间或之后事故场景附近车辆的车载视频。这可能有助于紧急响应用户例如通过在紧急服务车辆接近现场时预览事故现场而对紧急情况做出响应。
在一些具体实施中，可以在操作140中通过在安装在车辆中的显示器上显示车载视频的所选择部分来呈现该部分。例如，显示器可经由有线链路或无线链路连接到车辆中保持和/或分发车载视频的图像处理单元(例如，图3的图像处理单元360)。
可以在操作160中由用户或车辆的图像处理单元所处理的另一事件或命令(例如，车辆熄火或来自控制对车载视频访问的另一用户(例如，共享者)的命令)来终止车载视频呈现会话。如果在操作155中未终止车载视频呈现会话，则图像处理单元可继续在操作130中从用户接收另外的选择输入和/或在操作150中将车载视频的额外部分呈现给用户。
图2示出了用于调节会合位置以方便车辆接载的示例性过程200。可在操作210中接收召唤消息。召唤消息可源自希望被车辆接载的用户的显示设备。例如，可响应于从用户的显示设备接收的消息由中介(例如，出行共享服务)对召唤消息进行格式化。召唤消息可指定将会接载的会合位置。在一些具体实施中，召唤消息可指定要被接载的用户和/或用户的个人设备。例如，可在操作210中经由无线接口(例如，图3的无线网络接口370)由车辆(例如，图3的车辆300)接收召唤消息。
响应于在操作210中接收到的召唤消息，车辆可以在操作212中基于车载视频，向发起召唤消息或召唤消息中标识的显示设备传输查看图像数据的邀请。该查看邀请可帮助与用户的显示设备建立车载视频呈现会话。例如，查看邀请可包括链接，用户可选择该链接以发起与车辆的车载视频呈现会话。例如，可在操作212中经由无线接口(例如，图3的无线网络接口370)由车辆(例如，图3的车辆300)传输基于车载视频的查看图像数据的邀请。
在操作220中，车辆可继续或开始从安装在车辆上的一个或多个相机获取车载视频。车载视频可以是通过合并用安装在车辆上的多个相机检测到的图像而确定的复合视频。例如，相机可布置成阵列，使得相机的视场重叠并且沿弧线共同跨越视角。在一些具体实施中，可将来自多个相机的视场重叠的图像拼接在一起(例如，使用图像拼接软件)以形成具有跨越该弧线的视场的复合视频。在一些具体实施中，所得的复合视频是全景视频，因为复合视频的视场跨越了围绕车辆的360度的弧线。在一些具体实施中，可在操作220中从安装在车辆上的单个相机获取车载视频。例如，车载视频可从一个或多个全向相机获取。在一些具体实施中，可在操作220中从安装在车辆上的具有广角镜头或鱼眼镜头的一个或多个相机获取车载视频。例如，可处理使用鱼眼镜头或其他畸变镜头检测到的图像以变换图像并减少镜头造成的畸变效应。例如，可在操作220中，基于安装在车辆上的相机阵列(例如，图3的相机阵列350)检测到的图像，由图像处理单元(例如，图3的图像处理单元360)获取车载视频。
可在操作230中将车载视频的帧与车辆的位置相关联。可在车载视频的帧在操作220中被获取时，确定车辆的位置。可在操作230中将这一确定的位置与车载视频的这一帧相关联。在一些具体实施中，在操作230中，通过生成记录来将位置与车载视频的帧相关联，该记录包括对位置进行编码的数据并包括对帧进行编码的数据或指向对车载视频的帧进行编码的数据的指针。在一些具体实施中，在操作230中，通过生成记录来将位置与车载视频的帧相关联，该记录包括对帧进行编码的数据并包括指向对位置进行编码的数据的指针。
在一些具体实施中，位置被存储为指定位置的坐标。在一些具体实施中，位置信息可被量化成与特定地标、街道地址、道路、建筑物或地图数据中表示的其他对象相关联的二进制内容。例如，沿着通过具有街道地址的建筑物前方的道路的坐标范围可被映射到针对该街道地址的标识符。
在一些具体实施中，可(例如，使用GPS接收器、陀螺仪和/或加速度计)确定车辆取向信息(例如，车辆指向)并与车载视频的一个或多个帧相关联。
可在操作240中接收来自用户的图像选择输入。在一些具体实施中，可在操作240中在来自用户操作的设备的无线通信信号中接收选择输入。选择输入可指定车载视频中用户感兴趣的部分(例如，一个或多个图像)。在一些具体实施中，提供选择输入的用户可以远离车辆定位。例如，可在操作240中从将被接载的用户的显示设备接收图像选择输入。要被车辆接载的用户可以通过在车辆向会合位置行进时查看车载视频的部分来检查该车辆的进度。
在一些具体实施中，选择输入包括一个或多个参数，指定可用车载视频内的查看角度。例如，在手持式显示设备上查看车载视频的一部分的用户可通过旋转手持式显示设备来选择车载视频内的查看角度。通过旋转手持式显示设备，用户可平移车载视频的视图。手持式设备的这种旋转可被设备中的传感器(例如，加速度计、陀螺仪和/或磁力计)检测到，并且转换成查看角度或查看角度的调节，并将其转发至保持和/或分发车载视频的图像处理系统(例如，图3中的图像处理单元360)。例如，在用户佩戴头戴式显示设备(例如，虚拟现实眼镜)时，用户可通过倾斜或转动用户的头部来选择查看角度。通过在佩戴头戴式显示设备时倾斜或转动头部，用户可平移车载视频内的视图。在一些具体实施中，选择输入包括显示呈现给用户的车载视频的一部分(例如，一个或多个图像)的触摸屏上的手势。
在一些具体实施中，选择输入可指定时间偏移，例如，距车载视频的最近帧的时间偏移。例如，用户可在个人设备上查看车载视频的一部分，并且个人设备的显示器可覆盖刷动条。用户可在其显示器上沿刷动条滑动图标以指定其希望查看车载视频的部分的时间偏移。指定此时间偏移的数据可被转发至保持和/或分发车载视频的部分的图像处理系统(例如，图3中的图像处理单元360)。
用户可能希望让其视图在对象和/或车辆继续相对于彼此移动时跟踪车载视频中出现的对象。在一些具体实施中，基于来自查看车载视频的部分的用户的选择输入来选择要跟踪的对象。例如，用户可通过在显示车载视频的部分的触摸屏界面中的对象上轻击或勾勒出对象而选择对象，以便标识对应于对象全部或部分的部分(例如，呈现的一个或多个图像)中的像素子集。标识这一像素子集和/或对象的数据可被转发至保持和/或分发车载视频的部分的图像处理系统(例如，图3中的图像处理单元360)。
用户可能希望从车载视频中选择简单的预定义的视图。在一些具体实施中，可基于来自用户的输入来选择车载视频内的预定义的前向视角，例如，用户可轻击“前相机”的图标或按钮。在一些具体实施中，可基于来自用户的输入来选择车载视频内的预定义的后向视角，例如，用户可轻击“后相机”的图标或按钮。反映选择预定义的视图的数据可被转发至保持和/或分发车载视频的部分的图像处理系统(例如，图3中的图像处理单元360)。
例如，可以由具有针对该车载视频的访问许可的用户(即，共享者)与将查看车载视频的部分的另一用户(例如，观察者)共享车载视频。共享者可能希望控制将车载视频的哪些部分呈现给观察者。在一些具体实施中，从车载视频中选择的一部分(例如，一个或多个图像)是静态全景图像的一部分，并且该部分是基于共享者选择的查看角度来确定的。在一些具体实施中，从车载视频中选择的一部分(例如，一个或多个图像)是在基于来自共享者的输入而选择的查看角度显示来自车辆的视图的视频。例如，可在操作240中在来自共享者操作的设备的无线通信信号中接收选择输入。
在一些具体实施中，可在操作240中由图像处理单元(例如，图3的图像处理单元360)经由无线接口(例如，图3的无线网络接口370)接收来自用户的选择输入。
可在操作250中选择车载视频的一部分(例如，一个或多个图像)。例如，可在操作250中基于将被接载的用户的选择输入来选择车载视频的一部分。可使用户能够在车辆接近会合位置时交互地查看车辆的周围环境，检查车辆的进度并找到可能方便接载的地标。
在一些具体实施中，在操作250中部分基于由用户指定的查看角度来选择车载视频的一部分。在一些具体实施中，在操作250中部分基于由用户指定的时间偏移来选择车载视频的一部分。在一些具体实施中，在操作250中部分基于由用户指定的位置来选择车载视频的一部分。例如，从车载视频中选择的一部分(例如，一个或多个图像)可为静态全景图像。例如，可在操作250中由图像处理单元(例如，图3的图像处理单元360)选择车载视频的一部分。
在一些具体实施中，在操作250中选择车载视频的一部分包括跟踪车载视频中描绘的对象以及自动改变车载视频内的视角，以继续选择对象的图像用于呈现给用户。例如，可基于来自用户的选择输入来选择要跟踪的对象。在一些具体实施中，向图像识别软件中输入标识车载视频的所呈现部分中被用户指示为对应于对象的像素子集的数据，以分析车载视频的对应部分并标识要跟踪的对象。在一些具体实施中，自动识别并选择要跟踪的对象(例如，标志、红绿灯、车辆或行人)。例如，在操作250中从车载视频选择的一部分(例如，一个或多个图像)可以是示出描绘在车辆相对于对象移动时被自动跟踪的对象的视图的视频。
在一些具体实施中，在操作250中选择的车载视频的一部分可被限制为仅包括用户具有访问权的部分。
可在操作260中使得在屏幕上显示在操作250中从车载视频选择的一部分(例如，一个或多个图像)。例如，图像处理单元(例如，图3的图像处理单元360)可在车辆接近会合位置时，使得在将被接载的用户的显示设备的屏幕上显示车辆周围环境的图像。例如，图像处理单元(例如，图3的图像处理单元360)可通过向将被接载的用户的显示设备传输基于在操作250中从车载视频选择的部分(例如，一个或多个图像)的图像数据，使得进行显示。可使用户能够在车辆接近会合位置时交互地查看车辆的周围环境，检查车辆的进度并找到可能方便接载的地标。
在一些具体实施中，在操作260中，通过向被配置为显示车载视频的一部分的用户(例如，要被接载的用户)的个人设备(例如，平板电脑、智能电话、头戴式显示器)传输(例如，经由图3的无线网络接口370)表示该部分的图像数据，使得进行显示。例如，可通过向车辆外部的设备发送表示所获取车载视频的至少一部分的数据来使得进行显示。在一些具体实施中，用户的个人设备可被配置为允许用户存储来自所显示车载视频的部分的图像。例如，用户的个人设备可被配置为在包括“拍照”按钮或图标的界面中显示车载视频的一部分，在被按压时，“拍照”按钮或图标使得个人设备以数字照片格式存储来自所显示车载视频的部分的图像。这一图像可被存储在用户的个人设备上，并且/或者信号可被传输到车辆，使得图像被存储在车辆中的存储装置中，例如作为与用户相关联的文件。
在一些具体实施中，用户的个人设备(例如，将被接载的用户的显示设备)可被配置为允许用户存储来自所显示车载视频的部分的视频片段。例如，用户的个人设备可被配置为在包括“录像”按钮或图标的界面中显示车载视频的一部分，在被按压时，“录像”按钮或图标使得个人设备以数字视频格式存储来自所显示车载视频的部分的一个或多个帧。这一视频片段可被存储在用户的个人设备上，并且/或者信号可被传输到车辆，使得视频片段被存储在车辆中的存储装置中，例如作为与用户相关联的文件。
在一些具体实施中，可以在用户设备(例如，将被接载的用户的显示设备)上在类似传统智能电话相机应用界面的界面中显示车载视频。例如，界面可包括用于使得存储车载视频的所显示部分(例如，作为静态照片文件或作为视频文件)的图标或按钮。例如，该界面可允许用户例如通过执行缩放手势(例如，触摸屏上的捏拉缩放手势)，通过数字方式在车载视频的所显示部分上放大或缩小。
可在操作270中接收目的地数据。目的地数据可反映用户希望对会合位置做出的调节，例如，目的地数据可指示车辆接近从而接载的位置。在一些具体实施中，目的地数据可标识对象的图像，对象在车载视频中出现的期望会合位置处或附近。目的地数据可以表示用户对所获取车载视频的所显示部分的一部分的选择。例如，目的地数据可从被用户(例如，将被接载的用户)选择的图像数据标识像素子集。
例如，可在操作270中由图像处理单元(例如，图3的图像处理单元360)经由无线接口(例如，图3的无线网络接口370)接收目的地数据。可在操作270中从车辆外部的外部设备(例如，智能电话、平板电脑或头戴式显示器)接收目的地数据。例如，可在操作270中从将被接载的用户的显示设备接收目的地数据。
在一些具体实施中，所获取车载视频的所显示部分的选择部分可以与所获取车载视频中描绘的对象相关联。例如，由用户选择的像素子集可与车载视频中所描绘的对象(例如，标志、车辆、人行道或人行横道、人)相关联。在一些具体实施中，用户可通过在显示车载视频的部分的触摸屏界面中的对象上轻击或勾勒出对象而选择对象，以便标识对应于对象部分或全部的部分(例如，呈现的一个或多个图像)中的像素子集。标识这一像素子集和/或对象的数据可被转发至保持和/或分发车载视频的图像处理系统(例如，图3中的图像处理单元360)。
在操作275中，如果在操作270中接收的目的地数据包括新目的地数据，则在操作280中基于目的地数据确定目的地位置。目的地位置可接近用户优选让车辆接载而到达的用户位置。例如，离开餐厅的用户可能更喜欢在餐厅前门外几步处被接载。在一些具体实施中，在操作280中确定目的地位置包括将车载视频的用户所选择部分(由目的地数据表示)与地理位置相关。这一地理位置可被称为车辆的物理目的地。在一些情况下，将所选择部分与物理目的地相关包括确定用户所选择部分中所示对象的位置。在一些具体实施中，确定对象的位置包括比较从安装在车辆上的两个或更多相机获取的车载视频的至少两个部分以估计从获取所获取图像的至少两个部分的车辆位置与对象的距离。
在一些具体实施中，在操作280中确定目的地位置包括确定由目的地数据标识的车载视频中像素子集中所示对象的位置。车载视频中的像素可自然地与相对于车辆(例如，相对于车辆的关联指向)的方向或角度相关联，并且车辆的位置也可与像素所基于的车载视频的一个或多个帧相关联。例如，可采用立体计算机视觉技术来估计从车辆位置到所标识的像素子集中所描绘的对象的距离。可以基于这一信息确定预期的会合位置。在一些具体实施中，确定对象的位置包括比较来自安装在车辆上的两个或更多相机的该帧所基于的图像，以估计从与该帧相关联的车辆的位置与对象的距离。
在一些具体实施中，目的地位置可被确定为在与所指示会合位置相同的方向上接近(例如，相邻于)车辆的位置。车辆可继续在该方向上缓慢行进，基于跟踪其车载视频中指示的对象而定期更新目的地位置，直到车辆被障碍物(例如，另一辆车、路缘或将被接载的用户)阻止。
在示例场景中，将被接载的用户可以在其显示界面中选择描绘接近其预期会合位置的标志(例如，机场前厅标志)的像素。从用户的显示设备接收的目的地数据可标识显示给用户的车载视频的部分内的像素子集。可以部分通过确定来自与车载视频的所显示部分所基于的一个或多个帧相关联的车辆位置的标志的方向，来确定标志的位置。
在一些具体实施中，在操作280中确定目的地位置可以包括确定目的地位置是与对象位置最近的所允许车辆位置。在一些情况下，明显的预期会合位置不是车辆的允许位置。例如，用户可能选择描绘站在人行道上等车的用户的像素子集。车辆不被允许移动到人行道上。正确配置的导航系统可防止车辆移动到该位置。在一些具体实施中，车辆可在操作250中确定目的地位置与所指示会合位置相同(例如，在当前示例中，用户站在人行道上的位置)。车辆可采取通往所指示会合位置的最短路径，直到其被其导航系统阻止(例如，在路缘处被阻止)。然而，在一些情况下，到所指示会合位置的最短路径将不会在通往会合位置的最近允许位置处终止。例如，在具有由隔离带分隔的多条通道的机场，最短路径可能停止于可能远离会合位置的错误通道。到达最近允许位置可能涉及开车兜圈以进入最近的通道。在一些具体实施中，可将该区域的详细道路地图信息与所指示会合位置进行比较，以找到最近的允许车辆位置。然后可在操作280中将这一最近的允许车辆位置确定为车辆的目的地位置。例如，然后可使用车辆导航技术来确定从车辆的当前位置到最近的允许车辆位置的路线。
可在操作282中控制车辆的运动。例如，可将目的地位置传递到车辆控制单元(例如，图3的自动化控制单元340)，其可控制车辆运动以朝向目的地位置移动。目的地位置可对应于物理位置。在一些具体实施中，车辆中的车辆控制单元(例如，图3的自动化控制单元340)在操作282中通过向车辆的动力源和传动系统、转向系统和/或制动系统发出控制信号来控制车辆，以使车辆向目的地位置移动。在一些具体实施中，目的地位置可随着车辆朝所指示会合位置移动而更新(例如，周期性地)。在一些具体实施中，车辆可继续朝目的地位置移动，直至其到达目的地位置，或直至其被阻挡其路径的障碍物(例如，路缘、另一辆车、人)阻止。例如，当车辆停止在目的地位置处或附近时，用户可进入车辆以完成接载。因此，在一些具体实施中，过程200可以包括：接收表示车辆目的地的数据，以及向目的地移动车辆，其中使用安装在车辆上的一个或多个相机获取图像包括在车辆处于目的地的阈值距离内时获取图像。
可以在操作290中由用户或车辆的图像处理单元所处理的另一事件或命令(例如，车辆熄火或来自控制对车载视频访问的另一用户(例如，共享者)的命令)来终止车载视频呈现会话。如果在操作285中未终止车载视频呈现会话，则图像处理单元可继续在操作240中从用户接收另外的选择输入，在操作260中使得向用户显示车载视频的额外部分和/或在操作270中接收新的目的地数据。
本文所公开的过程100、过程200以及其他系统和方法涉及诸如图像、视频和位置信息的个人信息的传输和/或存储。用户可以选择性地阻止使用或访问个人数据。结合本文所述的一些或全部技术的系统可包括防止或阻止访问此类个人数据的硬件和/或软件。例如，系统可允许用户“加入”或“退出”参与对个人数据或其部分的部分的收集。而且，用户可以选择不提供位置信息，或允许提供一般位置信息(例如，地理区域或区)而非精确的位置信息。
负责此类个人数据的收集、分析、公开、传送、存储或其他用途的实体应遵守已确立的隐私政策和/或实践。此类实体应保障和保护对此类个人数据的访问，并确保有权访问个人数据的其他人也遵守。此类实体应实施满足或超出对维护个人数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，实体应该收集用户的个人数据以用于合法且合理的用途，并且不在这些合法用途之外共享或出售数据。此类收集应仅在接收到用户知情同意之后进行。此外，第三方可评估这些实体以确认其对已确立的隐私政策和实践的遵守。
图3示出了配置用于保持和分发车载视频的示例性车辆300。车辆300包括车身310，其包含或附接到车辆300的其他系统和部件。车辆300包括能够用作车辆与道路之间的界面的车轮320。车轮提供可用于沿道路上的路径引导车辆的控制表面。车辆300还包括动力源和传动系统322，包括例如由传动件连接到车辆300的车轮320的动力源。作为示例，动力源和传动系统320可包括内燃机或由电池供电的电动机。动力源和传动系统322能够使得车轮320旋转以使车辆沿道路或其他表面加速。在本文中可将动力源和传动系统322称为动力系统。车辆300还包括转向系统324，转向系统能够例如通过控制偏转角和角速度或车辆的路径曲率，相对于车身310转动车轮320，以引导车辆300的运动。车辆300包括传感器组330，该传感器组被配置为检测车辆及其周围环境的状态。车辆300还包括自动化控制单元340，该自动化控制单元被配置为从图像处理单元360、传感器组330和可能的其他源(例如，车辆乘客/操作员控制接口)接收数据，并且处理数据以通过向动力源和传动系统322、转向系统324和制动系统326发送经由车轮320受到这些系统致动的控制信号来实现对车辆300运动的自动化控制。
传感器组330可包括定位器设备334，该定位器设备被配置为确定车辆的当前位置。例如，定位器设备334可包括GPS接收器和/或可用于帮助对当前位置的估计进行精细调节的其他传感器(例如，里程表、加速度计、陀螺仪)。在一些具体实施中，定位器设备334可输出以坐标(例如，经度、纬度、海拔)表示的车辆位置。在一些具体实施中，定位器设备334可用于确定车辆的取向信息，例如，它可以确定车辆300的指向。例如，精密陀螺仪(例如，光纤陀螺仪)可用于跟踪指向的小变化。
传感器组330包括相机阵列350。相机阵列350可包括相对于彼此以固定取向布置以便跨越车辆的期望视场的一个或多个相机。在一些具体实施中，可布置相机阵列350中的相机，使其相应视场重叠，以方便将来自相机的图像拼接成周围环境的复合图像。在一些具体实施中，相机阵列350的视场跨越围绕车辆的360度的弧线(即，在车辆在平坦地面上停靠车轮时，绕竖直轴)。例如，相机阵列350可包括四个相机，每个相机具有120度视场，其被布置成使得一个面向前，一个面向左，一个面向右，并且一个面向车辆后面。在一些具体实施中，相机阵列350中的一个或多个相机是全向相机。在一些具体实施中，相机阵列350中的一个或多个相机具有广角镜头。在一些具体实施中，相机阵列350中的一个或多个相机具有鱼眼镜头。
图像处理单元360可以期望的帧速率(例如，24Hz)从相机阵列350获取图像。例如，图像处理单元360可使用计算机视觉技术处理图像，以检测车辆周围环境中的变化(例如，检测其他车辆和障碍物)并生成周围环境的模型和/或警告，可以将警告传递到自动化控制单元340以帮助安全操控车辆。从相机阵列350获取的图像也可被编码为车载视频并存储在视频缓冲区362中。在一些具体实施中，车载视频的帧可与时间、指向和/或位置(该帧所基于的图像在何时和/或哪里获取)相关联。
车载视频可由位于车辆中的用户或位于远程位置的用户访问。在一些具体实施中，通过经由无线网络接口370向用户的显示设备传输对车载视频的一部分进行编码的数据来向用户呈现该部分。例如，无线网络接口370可被配置为根据无线联网标准(例如Wi-Fi或WiMAX)传输和接收信号。例如，图像处理单元360可被配置为实施如结合图1所述的过程100。例如，图像处理单元360可被配置为实施如结合图2所述的过程200。图像处理单元360可包括运行于具有额外能力的数据处理装置上的专用图像处理硬件和/或软件。
结合图3和本文档中其他地方所述的各种单元(诸如自动化控制单元340和图像处理单元360)可以是计算单元。计算单元可以是可操作以响应于根据指令的输入生成输出的任何类型的计算设备。可用于实现计算单元的结构的示例包括具有存储器设备、现场可编程门阵列和专用集成电路的处理器。可通过例如可执行计算机程序代码的形式提供指令，该可执行计算机程序代码使相应单元执行本文所述的功能。
图4示出了用于车辆控制器400的示例性硬件配置，该车辆控制器被配置为操控车辆并提供额外服务，包括车载视频的保持和分发。该硬件配置可包括数据处理装置410、数据存储装置420、无线接口430、控制器接口440和互连件450，数据处理装置410通过互连件可访问其他部件。数据处理装置410可操作以执行已存储在数据存储装置420中的指令。在一些具体实施中，数据处理装置410是具有随机存取存储器的处理器，随机存取存储器用于在执行指令时暂时存储从数据存储装置420读取的指令。例如，数据存储装置420可以是非易失性信息存储设备，诸如硬盘驱动器或固态驱动器。无线接口430帮助与其他设备(例如用户的个人设备)通信。例如，无线接口430可帮助经由Wi-Fi网络与车辆乘客所持的平板电脑设备通信。例如，无线接口430可帮助经由WiMAX网络与外部位置的用户所持的智能电话设备通信。控制器接口440允许向车辆内的其他系统输入和输出信息，以帮助实现车辆的自动化控制。例如，控制器接口440可包括用于向车辆中的致动器发出控制信号并从传感器组接收传感器数据的串行端口(例如，RS-232或USB)。例如，互连件450可以是系统总线，或者有线网络或无线网络。
图5示出了用于显示设备500的示例性硬件配置，该显示设备被配置为交互式地显示从车辆获取的车载视频，基于车载视频和用户输入确定可用于引导车辆运动的目的地数据，并向车辆传输目的地数据。该硬件配置可包括数据处理装置510、数据存储装置520、无线接口530、用户界面540和互连件550，数据处理装置510通过互连件可访问其他部件。数据处理装置510可操作以执行已存储在数据存储装置520中的指令。在一些具体实施中，数据处理装置510是具有随机存取存储器的处理器，随机存取存储器用于在执行指令时暂时存储从数据存储装置520读取的指令。例如，数据存储装置520可以是非易失性信息存储设备，诸如硬盘驱动器或固态驱动器。无线接口530帮助与其他设备(例如车辆)通信。例如，无线接口530可帮助经由车辆Wi-Fi网络与车辆控制器通信。例如，无线接口530可帮助经由WiMAX网络与远程位置的车辆通信。用户界面540允许从/向用户输入和输出信息。例如，用户界面540可包括触摸屏。例如，用户界面540可包括头戴式显示器(例如，虚拟现实眼镜或增强现实眼镜)。例如，用户界面540可包括用于检测显示设备的运动的传感器(例如，加速度计、陀螺仪和/或磁力计)。例如，互连件550可以是系统总线，或者有线网络或无线网络。
在结合图1-图4描述的系统和过程所示范的实现技术中，可能希望在显示设备上使用更多网络带宽以及处理时间和功率，以便减少用户交互式查看车载视频的延迟。在一些具体实施中，显示设备500可通过更完整的格式(例如，经由无线接口530从车辆)获取车载视频，并可以由显示设备在本地执行对车载视频数据的更多处理以进行交互式显示。例如，可将完整的车载视频流传输至显示设备，并可以在显示设备500上实现图像处理单元，类似于图3的图像处理单元360(例如，实现为由数据处理装置510执行的软件)。此图像处理单元可通过用户界面540基于经由用户界面540接收的用户选择输入来选择车载视频的部分用于呈现给用户。在本地执行这些图像处理操作可减少对车载视频的交互式查看的延迟(例如，平移以查看车载视频中可用视场的不同子集)。
图6示出了示例性车辆接载场景600。车辆610正在行进，以接载显示设备620的用户。召唤消息可能源自显示设备620并已经由车辆610接收以发起接载操作。召唤消息可能已经指定会合位置(例如，为机场航站楼的地址)，但本规范可适用于大型且人群聚集的区域。车辆610与显示设备620开始车载视频呈现会话，并且基于所提供的位置信息来行进至机场以沿着路线630接载。然而，路线632终止于隔离带640与用户相反的一侧，用户与显示设备620协作，正在超过路缘642的人行道上等候。该默认会合位置对于用户来说可能不方便或不安全。
车辆610在行进时经由显示设备620将车载视频650呈现给用户。用户查看显示设备620上的车载视频650以跟踪车辆610的进度。用户从车辆的周围环境的视图注意到车辆610正在错误通道行进准备接载。作为响应，用户可通过显示设备620上的用户界面来输入一个或多个命令，以选择在显示设备620上查看的车载视频中位于附近的对象660(例如，标志)的描绘，以指示该对象接近预期的新会合位置。基于用户对车载视频中对应于对象660的一部分的选择来确定目的地数据670。可将目的地数据670从显示设备620传输至610。部分地基于目的地数据670，车辆能够确定对象660附近的新目的地位置并绘制出在适当通道中到达新目的地的路线632的新线路。然后可将车辆610操控到新目的地并完成对用户的接载。
本公开的另一个方面是一种车辆，该车辆包括安装在车辆上的相机阵列、无线网络接口、图像处理单元和自动化控制单元。图像处理单元被配置为基于利用相机阵列检测到的图像来确定第一视频，将第一视频的帧与车辆的位置相关联，并经由无线网络接口将基于第一视频的图像数据传输到被配置为显示图像数据的显示设备。图像处理单元被进一步配置为经由无线网络接口从显示设备接收目的地数据，其中目的地数据从图像数据中标识已经选择的像素子集；并至少部分地基于目的地数据和与导出像素子集的帧相关联的车辆位置确定目的地位置。自动化控制单元被配置为控制车辆，使得车辆占据目的地位置。
在一些具体实施中，安装相机阵列，使得围绕垂直于车辆行进所处表面的轴的所有角度都在相机阵列中的至少两个相机的视场内出现。
在一些具体实施中，确定目的地位置包括确定像素子集中示出的对象的位置，以及确定目的地位置是与对象位置最近的所允许车辆位置。在一些具体实施中，确定对象的位置包括比较来自相机阵列中两个或更多相机的该帧所基于的图像，以估计从与该帧相关联的车辆的位置与对象的距离。在一些具体实施中，像素子集与第一视频中描绘的对象相关联。
在一些具体实施中，显示设备位于车辆外部。
在一些具体实施中，车辆被配置为经由无线网络接口接收源自显示设备的召唤消息，以及响应于该召唤消息，经由无线网络接口向显示设备传输查看基于第一视频的图像数据的邀请。
本公开的另一个方面是一种方法，包括基于利用安装在车辆上的一个或多个相机检测到的图像获取第一视频，以及向第一用户呈现从第一视频选择的一个或多个图像。在该方法的一些具体实施中，基于来自第一用户的输入选择呈现给第一用户的一个或多个图像。第一用户可位于车辆中。来自第一用户的输入可指示第一用户查看的显示设备的取向，并且显示设备的取向可以通过如下方式确定：确定显示设备相对于安装在车辆上的一个或多个相机的相对取向，以及基于相对取向选择所呈现的一个或多个图像，其中所呈现的一个或多个图像描绘来自车辆的沿与垂直于显示设备的显示表面的轴平行的方向的视图。
在一些具体实施中，来自第一用户的输入包括旋转手持式显示设备以平移第一视频内的视图。在一些具体实施中，来自第一用户的输入包括在第一用户佩戴头戴式显示设备时，倾斜或转动第一用户的头部，以平移第一视频内的视图。在一些具体实施中，来自第一用户的输入包括显示呈现给第一用户的一个或多个图像的触摸屏上的手势。可基于来自第一用户的输入来选择第一视频内预定义的前向视角。可基于来自第一用户的输入来选择第一视频内预定义的后向视角。
在一些具体实施中，呈现一个或多个图像包括向与第一用户相关联的个人设备传输表示一个或多个图像的图像数据。
在一些具体实施中，该方法包括跟踪第一视频中描绘的对象并自动改变第一视频内的视角，以继续选择对象的图像用于呈现给第一用户。可自动识别和选择要跟踪的对象。可基于来自第一用户的输入选择要跟踪的对象。
在一些具体实施中，第一用户从呈现的一个或多个图像中选择第一视频中描绘的停车空间。该方法还可包括在停车空间自动停车。
在一些具体实施中，第一用户从呈现的一个或多个图像中选择第一视频中描绘的下车位置。该方法还可包括自动控制车辆，使得车辆占据下车位置。
在一些具体实施中，第一用户相对于车辆位于远程位置。在一些具体实施中，第一用户位于紧急响应车辆中。
从第一视频中选择的一个或多个图像可以是静态全景图像。从第一视频中选择的一个或多个图像可以是静态全景图像的一部分，其中该部分是基于第二用户选择的查看角度来确定的。从第一视频中选择的一个或多个图像可以是在基于来自第一用户的输入而选择的查看角度显示来自车辆的视图的视频。从第一视频中选择的一个或多个图像可以是在基于来自第二用户的输入而选择的查看角度显示来自车辆的视图的视频。从第一视频中选择的一个或多个图像可以是示出描绘在车辆相对于对象移动时被自动跟踪的对象的视图的视频。

Claims (16)

1.一种用于控制车辆的方法，包括：
使用安装在车辆上的一个或多个相机获取图像；
向显示设备发送表示所获取图像的至少一部分的数据；
从所述显示设备接收表示由计划的乘客选择的所获取图像的部分的数据；
将由所述计划的乘客选择的所获取图像的所述部分与地理位置相关；
向所述地理位置移动所述车辆；以及
利用所述车辆在所述地理位置处接载具有所述显示设备的所述计划的乘客。
2.根据权利要求1所述的方法，其中将由所述计划的乘客选择的所获取图像的所述部分与所述地理位置相关包括确定由所述计划的乘客选择的所获取图像的所述部分中所表示的对象的地理位置。
3.根据权利要求2所述的方法，其中确定所述对象的所述地理位置包括使用从安装在所述车辆上的两个或更多个相机获取的图像的至少部分来确定与所述对象的距离。
4.根据权利要求3所述的方法，其中确定所述对象的所述地理位置包括确定获取所获取图像的地理位置。
5.根据权利要求2所述的方法，其中向所述地理位置移动所述车辆包括：在所述车辆向所述地理位置移动时，使用安装在所述车辆上的所述一个或多个相机获取额外图像；以及使用所述额外图像确定与所述对象的距离。
6.根据权利要求1所述的方法，其中向所述显示设备发送表示所获取图像的至少所述部分的数据包括：经由无线通信向所述车辆外部的显示设备发送所述数据。
7.根据权利要求1所述的方法，还包括：
确定所述地理位置是否允许停车，以及
根据确定所述地理位置允许停车，使所述车辆停在所述地理位置。
8.根据权利要求1所述的方法，还包括：
确定通往所述地理位置的路线。
9.一种车辆，包括：
动力系统，被配置为移动所述车辆；
一个或多个相机，所述一个或多个相机安装在所述车辆上；
一个或多个处理器，所述一个或多个处理器被配置为：
使用所述一个或多个相机获取图像，
向显示设备发送表示所获取图像的至少一部分的数据，
从所述显示设备接收表示由计划的乘客选择的所获取图像的部分的数据，以及
将由所述计划的乘客选择的所获取图像的所述部分与地理位置相关；
控制所述动力系统将所述车辆移动到所述地理位置；以及
使所述车辆在所述地理位置处接载具有所述显示设备的所述计划的乘客。
10.根据权利要求9所述的车辆，其中所述一个或多个处理器被进一步配置为：通过确定由所述计划的乘客选择的所获取图像的所述部分中所表示的对象的地理位置，将由所述计划的乘客选择的所获取图像的所述部分与地理位置相关。
11.根据权利要求10所述的车辆，其中所述一个或多个处理器被进一步配置为：通过使用从安装在所述车辆上的两个或更多个所述相机获取的图像的至少部分来确定与所述对象的距离而确定所述对象的所述地理位置。
12.根据权利要求11所述的车辆，其中所述一个或多个处理器被进一步配置为：通过确定获取所获取图像的地理位置来确定所述对象的所述地理位置。
13.根据权利要求10所述的车辆，其中所述一个或多个处理器被进一步配置为：在车辆向所述地理位置移动时，使用安装在所述车辆上的所述一个或多个相机获取额外图像；以及使用所述额外图像确定与所述对象的距离。
14.根据权利要求9所述的车辆，还包括：
无线网络接口，所述无线网络接口被配置为向所述车辆外部的显示设备传输表示所获取图像的至少一部分的数据。
15.根据权利要求9所述的车辆，其中所述一个或多个处理器被进一步配置为：确定所述地理位置是否允许停车，以及根据确定所述地理位置允许停车，使得所述车辆将所述车辆停在所述地理位置。
16.根据权利要求9所述的车辆，其中所述一个或多个处理器被进一步配置为：确定通往所述地理位置的路线。
CN201780053095.5A 2016-09-22 2017-09-22 车载视频系统 Active CN109644256B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662398125P 2016-09-22 2016-09-22
US62/398,125 2016-09-22
PCT/US2017/052871 WO2018057839A1 (en) 2016-09-22 2017-09-22 Vehicle Video System

Publications (2)

Publication Number Publication Date
CN109644256A CN109644256A (zh) 2019-04-16
CN109644256B true CN109644256B (zh) 2021-04-09

Family

ID=60083435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780053095.5A Active CN109644256B (zh) 2016-09-22 2017-09-22 车载视频系统

Country Status (4)

Country Link
US (3) US10810443B2 (zh)
CN (1) CN109644256B (zh)
DE (1) DE112017003801T5 (zh)
WO (1) WO2018057839A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201405527D0 (en) * 2014-03-27 2014-05-14 Mill Facility The Ltd A driveable vehicle unit
WO2018057839A1 (en) * 2016-09-22 2018-03-29 Apple Inc. Vehicle Video System
HUE051292T2 (hu) * 2017-04-27 2021-03-01 Beijing Didi Infinity Tech Rendszerek és eljárások becsült érkezésû idõ meghatározására
US10606767B2 (en) * 2017-05-19 2020-03-31 Samsung Electronics Co., Ltd. Ethernet-attached SSD for automotive applications
JP7048357B2 (ja) * 2018-03-06 2022-04-05 東芝インフラシステムズ株式会社 撮影画像事前確認システム及び撮影画像事前確認方法
US10809081B1 (en) 2018-05-03 2020-10-20 Zoox, Inc. User interface and augmented reality for identifying vehicles and persons
US10837788B1 (en) 2018-05-03 2020-11-17 Zoox, Inc. Techniques for identifying vehicles and persons
US11846514B1 (en) * 2018-05-03 2023-12-19 Zoox, Inc. User interface and augmented reality for representing vehicles and persons
US10839522B2 (en) * 2018-05-11 2020-11-17 Toyota Research Institute, Inc. Adaptive data collecting and processing system and methods
CN110032633B (zh) * 2019-04-17 2021-03-23 腾讯科技（深圳）有限公司 多轮对话处理方法、装置和设备
US11645629B2 (en) * 2019-09-12 2023-05-09 GM Cruise Holdings LLC. Real-time visualization of autonomous vehicle behavior in mobile applications
US11722705B2 (en) * 2020-03-26 2023-08-08 Toyota Motor Engineering & Manufacturing North America, Inc. Camera support by a vehicular micro cloud for remote driving
US20220381898A1 (en) * 2021-06-01 2022-12-01 Qualcomm Incorporated Controlling device and processing settings based on radio frequency sensing
US20230142544A1 (en) * 2021-11-11 2023-05-11 Argo AI, LLC System and Method for Mutual Discovery in Autonomous Rideshare Between Passengers and Vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100017046A1 (en) * 2008-03-16 2010-01-21 Carol Carlin Cheung Collaborative engagement for target identification and tracking
CN105526940A (zh) * 2014-09-30 2016-04-27 高德软件有限公司 车辆导航方法和装置、电子地图展示方法和装置
CN105549454A (zh) * 2014-10-22 2016-05-04 麦恩电子有限公司 提供用于自动驾驶车辆的代客指令的系统和方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5961571A (en) 1994-12-27 1999-10-05 Siemens Corporated Research, Inc Method and apparatus for automatically tracking the location of vehicles
JP3156646B2 (ja) * 1997-08-12 2001-04-16 日本電信電話株式会社 検索型景観ラベリング装置およびシステム
US6871077B2 (en) * 2001-10-09 2005-03-22 Grayson Wireless System and method for geolocating a wireless mobile unit from a single base station using repeatable ambiguous measurements
US20040100443A1 (en) 2002-10-18 2004-05-27 Sarnoff Corporation Method and system to allow panoramic visualization using multiple cameras
US6738314B1 (en) * 2003-01-31 2004-05-18 L3 Communications Corporation Autonomous mine neutralization system
JP2005191962A (ja) 2003-12-25 2005-07-14 Sharp Corp 移動体周囲監視装置および移動体
JP4606336B2 (ja) 2005-02-21 2011-01-05 株式会社オートネットワーク技術研究所 車両周辺視認装置
US20080285886A1 (en) 2005-03-29 2008-11-20 Matthew Emmerson Allen System For Displaying Images
JP4246195B2 (ja) * 2005-11-01 2009-04-02 パナソニック株式会社 カーナビゲーションシステム
US8942483B2 (en) * 2009-09-14 2015-01-27 Trimble Navigation Limited Image-based georeferencing
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
AU2007240116B2 (en) 2006-04-13 2012-02-23 Virtual Observer Pty Ltd Virtual observer
US20080043020A1 (en) 2006-08-18 2008-02-21 Microsoft Corporation User interface for viewing street side imagery
JP2008077628A (ja) 2006-08-21 2008-04-03 Sanyo Electric Co Ltd 画像処理装置並びに車両周辺視界支援装置及び方法
US8094182B2 (en) 2006-11-16 2012-01-10 Imove, Inc. Distributed video sensor panoramic imaging system
US20120229596A1 (en) 2007-03-16 2012-09-13 Michael Kenneth Rose Panoramic Imaging and Display System With Intelligent Driver's Viewer
US7688229B2 (en) 2007-04-30 2010-03-30 Navteq North America, Llc System and method for stitching of video for routes
WO2009120303A1 (en) 2008-03-24 2009-10-01 Google Inc. Panoramic images within driving directions
US8242884B2 (en) 2008-09-24 2012-08-14 Denso International America, Inc. Car finder by cell phone
US8502860B2 (en) 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
US9497581B2 (en) * 2009-12-16 2016-11-15 Trimble Navigation Limited Incident reporting
US8447136B2 (en) 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
WO2011092729A1 (ja) * 2010-01-26 2011-08-04 三菱電機株式会社 ナビゲーション装置、車両情報表示装置および車両情報表示システム
JP5454674B2 (ja) 2010-03-30 2014-03-26 富士通株式会社 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
US9635251B2 (en) 2010-05-21 2017-04-25 Qualcomm Incorporated Visual tracking using panoramas on mobile devices
US8933986B2 (en) 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
JP5472026B2 (ja) * 2010-06-29 2014-04-16 トヨタ自動車株式会社 駐車支援装置
DE102010053895A1 (de) 2010-12-09 2012-06-14 Eads Deutschland Gmbh Umfeld-Darstellungsvorrichtung sowie ein Fahrzeug mit einer derartigen Umfeld-Darstellungsvorrichtung und Verfahren zur Darstellung eines Panoramabildes
US8989700B2 (en) 2011-03-17 2015-03-24 The Cordero Group Method and system for an interactive community alert network
CN102679993A (zh) 2011-03-18 2012-09-19 阿尔派株式会社 导航装置及其行驶中引导方法
US8817067B1 (en) 2011-07-29 2014-08-26 Google Inc. Interface for applying a photogrammetry algorithm to panoramic photographic images
EP2563008B1 (en) 2011-08-23 2021-04-28 Samsung Electronics Co., Ltd. Method and apparatus for performing video communication in a mobile terminal
JP5857224B2 (ja) * 2012-03-30 2016-02-10 パナソニックＩｐマネジメント株式会社 駐車支援装置、及び駐車支援方法
US9055216B1 (en) 2012-11-19 2015-06-09 A9.Com, Inc. Using sensor data to enhance image data
JP6463598B2 (ja) * 2012-11-20 2019-02-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 着用式電子デバイスからのプロセッシングの委任
US9241103B2 (en) 2013-03-15 2016-01-19 Voke Inc. Apparatus and method for playback of multiple panoramic videos with control codes
US9798928B2 (en) 2013-07-17 2017-10-24 James L Carr System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability
KR101953960B1 (ko) 2013-10-07 2019-03-04 애플 인크. 차량의 적어도 하나의 기능을 제어하기 위해 위치 또는 이동 정보를 제공하기 위한 방법 및 시스템
US20150166009A1 (en) * 2013-11-11 2015-06-18 Chris Outwater System and Method for Wirelessly Rostering a Vehicle
CN104851315A (zh) 2014-02-18 2015-08-19 厦门歌乐电子企业有限公司 一种停车管理方法和系统、以及车载装置和服务器
IL231111A (en) * 2014-02-24 2016-06-30 Ori Afek Flash detection
US20150296140A1 (en) 2014-04-11 2015-10-15 Grey Matter Fusion, Inc. Panoramic view blind spot eliminator system and method
US9870707B2 (en) * 2014-06-23 2018-01-16 Hi-Park Solutions Ltd. Method and system for locating vacant parking places
JP6446925B2 (ja) * 2014-09-05 2019-01-09 アイシン精機株式会社 画像表示制御装置および画像表示システム
EP3026654A1 (fr) * 2014-11-25 2016-06-01 Gemalto Sa Procédé de gestion d'emplacements de parking sur la voie publique
US9997071B2 (en) * 2014-12-02 2018-06-12 Operr Technologies, Inc. Method and system for avoidance of parking violations
US10275788B2 (en) * 2014-12-02 2019-04-30 Operr Technologies, Inc. Method and system for avoidance of parking violations
KR101844032B1 (ko) 2014-12-26 2018-05-14 주식회사 케이티 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스
CN107409051B (zh) * 2015-03-31 2021-02-26 深圳市大疆创新科技有限公司 用于生成飞行管制的认证系统和方法
WO2017004799A1 (en) * 2015-07-08 2017-01-12 SZ DJI Technology Co., Ltd. Camera configuration on movable objects
US9904286B2 (en) * 2015-10-13 2018-02-27 Nokia Technologies Oy Method and apparatus for providing adaptive transitioning between operational modes of an autonomous vehicle
WO2017106497A1 (en) * 2015-12-17 2017-06-22 Counterfy Llc Displayed identifier for a ridesharing service
US9830713B1 (en) * 2015-12-17 2017-11-28 Rockwell Collins, Inc. Surveillance imaging system and method
AU2017206097B2 (en) * 2016-01-08 2021-07-08 Pictometry International Corp. Systems and methods for taking, processing, retrieving, and displaying images from unmanned aerial vehicles
US9836057B2 (en) * 2016-03-24 2017-12-05 Waymo Llc Arranging passenger pickups for autonomous vehicles
WO2018057839A1 (en) * 2016-09-22 2018-03-29 Apple Inc. Vehicle Video System
US10262537B1 (en) * 2018-01-22 2019-04-16 Toyota Jidosha Kabushiki Kaisha Autonomous optimization of parallel parking space utilization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100017046A1 (en) * 2008-03-16 2010-01-21 Carol Carlin Cheung Collaborative engagement for target identification and tracking
CN105526940A (zh) * 2014-09-30 2016-04-27 高德软件有限公司 车辆导航方法和装置、电子地图展示方法和装置
CN105549454A (zh) * 2014-10-22 2016-05-04 麦恩电子有限公司 提供用于自动驾驶车辆的代客指令的系统和方法

Also Published As

Publication number Publication date
US10810443B2 (en) 2020-10-20
US20210027070A1 (en) 2021-01-28
WO2018057839A1 (en) 2018-03-29
CN109644256A (zh) 2019-04-16
US11756307B2 (en) 2023-09-12
US11341752B2 (en) 2022-05-24
US20220270374A1 (en) 2022-08-25
US20180082135A1 (en) 2018-03-22
DE112017003801T5 (de) 2019-07-18

Similar Documents

Publication Publication Date Title
CN109644256B (zh) 车载视频系统
JP7307259B2 (ja) 三次元情報処理方法及び三次元情報処理装置
KR102343651B1 (ko) 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법
CN111664854B (zh) 物体位置指示器系统和方法
KR102470217B1 (ko) 로컬화 및 위치 기반 서비스를 위해 차량에서 캡처된 승객 주의 데이터의 활용
JP6944138B2 (ja) 画像処理装置および画像処理方法
US11743526B1 (en) Video system
US20200159014A1 (en) Image providing system for vehicle, server system, and image providing method for vehicle
US11070714B2 (en) Information processing apparatus and information processing method
US11700357B2 (en) Connected camera system for vehicles
EP3706413B1 (en) Information processing device, information processing method, and information processing program
JP2021033934A (ja) 移動可能な画像生成元の画像を用いて多視点画像を生成する方法、装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant