CN112406704A - 具有基于交通工具传感器的自动变焦的虚拟镜 - Google Patents

具有基于交通工具传感器的自动变焦的虚拟镜 Download PDF

Info

Publication number
CN112406704A
CN112406704A CN202010836388.4A CN202010836388A CN112406704A CN 112406704 A CN112406704 A CN 112406704A CN 202010836388 A CN202010836388 A CN 202010836388A CN 112406704 A CN112406704 A CN 112406704A
Authority
CN
China
Prior art keywords
vehicle
camera
view
field
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010836388.4A
Other languages
English (en)
Inventor
G·戈洛夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN112406704A publication Critical patent/CN112406704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本申请案涉及具有基于交通工具传感器的自动变焦的虚拟镜。在一个途径中，一种方法包含：向第一交通工具的用户显示使用所述第一交通工具的相机的第一视场获得的图像数据，其中所述相机收集位于所述第一交通工具外部的对象的所述图像数据；通过所述第一交通工具的至少一个处理装置检测第二交通工具；通过所述一个处理装置确定所述第二交通工具是否在相对于所述第一交通工具的预定区内；及响应于确定所述第二交通工具在所述预定区内，显示使用所述相机的第二视场获得的图像数据。

Description

具有基于交通工具传感器的自动变焦的虚拟镜
技术领域
本文中所揭示的至少一些实施例大体上涉及使用相机来收集图像数据且更特定来说但不限于，涉及由交通工具使用具有基于对附近交通工具的检测调整的视场的相机来收集图像数据。
背景技术
驾驶员控制且自主的交通工具可包含许多传感器以辅助控制交通工具。一种类型的传感器是提供图像数据的相机。在一些情况下，交通工具可使用基于交通工具的相机及其它传感器收集的有关环境的信息进行导航。在其它情况下，交通工具的驾驶员可使用所收集信息来控制交通工具的操作。除一或多个相机之外，驾驶员控制或自主交通工具还可包含例如激光雷达及/或雷达的传感器。
当驾驶员控制交通工具的导航时，驾驶员面临的挑战之一是确定在驾驶员的交通工具周围操作的其它交通工具的存在。在许多情况下，由于与交通工具相关联的各种盲点，驾驶员难以看到其它交通工具。例如，后视镜及侧视镜的某些配置不允许驾驶员对其它交通工具具有360度的完全可见性。
一般来说，交通工具的盲点是驾驶员在控制交通工具时无法直接观察的交通工具周围的区域。盲点可存在于各种交通工具中，例如飞机、汽车、摩托艇及卡车。在一些情况下，当侧视镜无法为驾驶员提供交通工具的侧面的完全可见性时，就会出现盲点。
当前，为了辅助驾驶员，许多交通工具采用高级驾驶员辅助系统。高级驾驶员辅助系统(ADAS)是响应于所定义输入而提供反馈或自动控制交通工具的系统。ADAS的一个实例是盲点检测系统。另一实例是维持交通工具相对于其它交通工具的安全跟随距离的系统。两个系统均遭遇重大的技术问题。
当前盲点ADAS经安装在非自主交通工具中且在自主交通工具中是强制性的。这些系统当前依赖于基于传感器的技术，例如通过使用激光雷达、雷达或声纳来检测盲点中交通工具的存在以在驾驶员的交通工具的一定距离内检测交通工具。虽然这些系统可在理想条件下工作，但其在恶劣的天气条件下会显著地受损，且一般来说，受到可能导致假阳性及其它阴性检测条件的环境因素的影响。
发明内容
一方面，本申请案提供一种方法，其包括：向第一交通工具的用户显示使用所述第一交通工具的相机的第一视场获得的图像数据，其中所述相机收集位于所述第一交通工具外部的对象的所述图像数据；通过所述第一交通工具的至少一个处理装置检测第二交通工具；通过所述一个处理装置确定所述第二交通工具是否在相对于所述第一交通工具的预定区内；及响应于确定所述第二交通工具在所述预定区内，显示使用所述相机的第二视场获得的图像数据。
另一方面，本申请案提供一种系统，其包括：相机，其经安装在第一交通工具的侧面且经配置以收集有关所述第一交通工具外部的对象的图像数据；显示屏，其经定位以供所述第一交通工具的驾驶员观察；至少一个处理装置；及存储器，其含有经配置以指示所述至少一个处理装置执行以下操作的指令：在所述显示屏上基于使用所述相机的第一视场收集的数据来呈现图像；检测第二交通工具；确定所述第二交通工具是否在预定区内；及响应于确定所述第二交通工具在所述预定区内，在所述显示屏上基于使用所述相机的第二视场收集的数据来呈现图像。
又一方面，本申请案提供一种非暂时性计算机存储媒体，其存储指令，所述指令在至少一个处理装置上执行时致使所述至少一个处理装置至少：向第一交通工具的用户显示使用所述第一交通工具的相机的第一视场获得的图像数据；检测第二交通工具；确定所述第二交通工具是否在相对于所述第一交通工具的预定区内；及响应于确定所述第二交通工具在所述预定区内，显示使用所述相机的第二视场获得的图像数据。
附图说明
在附图的图中以实例且非限制的方式说明实施例，在附图中类似附图标记指示类似元件。
图1展示根据一个实施例的安装在交通工具的侧面以向交通工具的驾驶员提供后视图及/或侧视图的相机。
图2展示根据一个实施例的显示来自一或多个相机的图像数据的交通工具的实例。
图3展示根据一个实施例的用于处理来自传感器的数据且向驾驶员提供显示的交通工具的实例计算系统。
图4展示根据一个实施例的包含将数据提供给中央处理装置的传感器模块的自主交通工具。
图5展示根据一个实施例的包含将原始数据提供给处理器的传感器的传感器模块。
图6展示根据一个实施例的超越驾驶员的交通工具的驶近交通工具。
图7展示根据一个实施例的在驾驶员的交通工具的不同车道中且准备驶过的驶近交通工具。
图8展示根据一个实施例的从驾驶员的交通工具的后方驶近且接着改变车道以准备驶过的交通工具。
图9展示可在各种实施例中使用的计算装置(例如，服务器)的框图。
图10展示根据一个实施例的计算装置(例如，用户的移动装置)的框图。
图11展示根据一个实施例的用于基于对附近交通工具的检测来调整交通工具相机的视场的方法。
图12是根据一些实施例的交通工具的框图。
具体实施方式
本文中的至少一些实施例涉及通过一或多个相机使用当检测到附近交通工具时自动地调整的视场来收集数据。在一些实施例中，相机的使用提供“虚拟”侧视镜以为驾驶员提供由驾驶员操作的交通工具的侧面的对象的视图。在其它实施例中，由于自动地调整交通工具的相机或其它传感器的视场，来自相机的图像数据用于基于交通工具周围的区的传感器覆盖范围的改善程度来提供交通工具的改善导航。
如本文中所公开的有关具有可调整视场的相机的各种实施例涉及可用于驾驶员控制或自主交通工具(例如，以基于从交通工具的一或多个相机收集的图像数据来辅助及/或控制导航)的系统及方法。交通工具可为例如若干类型的交通工具中的任一者(例如，汽车、卡车、飞机、无人机、水运工具等)。实施方案可包含由驾驶员控制的交通工具、自主交通工具、包含执行图像处理及/或对象检测的装置(例如，安全系统)的固定结构及独立相机传感器装置或系统。
汽车及其它交通工具上的现存侧视镜通常是机械结构，其中安装有镜以反射来自物理对象的光使得驾驶员可在交通工具周围的各个区看到例如附近交通工具的对象。然而，预期将来将由安装在交通工具上以提供交通工具外部的视图的相机组成的虚拟镜取代此类现存镜。在一个实例中，所安装相机提供实况视频馈送以在例如交通工具内部的LCD屏幕的显示器上向驾驶员呈现。
尽管此类虚拟镜可由于小的相机占用面积而减少风噪声，且可容纳智能安全特征，但是此类虚拟镜仍然展现盲点的技术问题，其中驾驶员不能看到交通工具周围的某些区。一些虚拟镜可为驾驶员提供基于个人偏好来调整虚拟镜的视场的能力。然而，在许多情况下，驾驶员的视场调整仍然无法去除交通工具周围的所有盲点。这些盲点的存在会产生与另一交通工具的碰撞概率增加的技术问题，所述碰撞引起物理损坏及/或伤害。
本发明的各种实施例提供解决一或多个上述技术问题的技术方案。在一些实施例中，提供一种基于对附近交通工具的检测来自动地改变用作虚拟镜的相机的视场的方法。在一个实施例中，一种方法包括：向第一交通工具的用户(例如，驾驶员)显示使用第一交通工具的相机的第一视场(例如，如在驾驶员的虚拟侧视镜中所使用)获得的图像数据，其中相机收集位于第一交通工具外部的对象的图像数据；通过第一交通工具的至少一个处理装置检测第二交通工具；通过所述一个处理装置确定第二交通工具是否在相对于第一交通工具的预定区内；及响应于确定第二交通工具在所述预定区内，显示使用相机的第二视场获得的图像数据。
在一个实施例中，基于对附近交通工具的检测，通过拉近及推远相机的镜头来自动地改变相机的视场。这个自动变焦通过当附近交通工具或另一交通工具将超越驾驶员的交通工具时为驾驶员提供覆盖盲点(例如，其中驾驶员的视野被遮挡的死角)的更宽视场来增加交通工具操作的安全性。
自动变焦通过当在安装有相机的驾驶员交通工具的侧面未检测到附近交通工具时为驾驶员提供更窄视场来进一步增加安全性。通过拉近，可为驾驶员提供更远距离的视图。一个优点是驾驶员可具有额外反应时间来对附近交通工具进行响应。
在一个实施例中，完全推远时相机的最大视场足够大以提供交通工具的整个侧面的视野覆盖范围以及朝向交通工具的后方的观察覆盖范围。在一个实例中，最大视场是至少110度。当拉近相机的视场时，为驾驶员提供例如交通工具的附近对象的增加的细节。在一个实例中，视场变窄时不大于例如60度。
在一些实施例中，至少部分地基于交通工具的速度来调整用于虚拟镜的相机的视场。在一个实施例中，当确定驾驶员的交通工具的速度小于预定速度时，通过推远将视场调整为宽。在一个实例中，交通工具速度小于50km/h。在一个实例中，这个宽视场用于向驾驶员提供覆盖交通工具的侧面(包含移除侧面的任何盲点)的实况视频显示，且还覆盖朝向交通工具的后方的观察。
在一个实施例中，当确定驾驶员的交通工具的速度大于预定速度时，相机经配置为具有窄视场(例如，通过拉近相机的镜头)。在一个实例中，确定交通工具的速度大于50km/h。使用这个窄视场，相机的主要焦点在更远离且朝向交通工具的后方的区上，且仅包含交通工具的侧面区的一部分。在一个实例中，这个窄视场与通常由现存机械侧视镜提供的视场相当。
在一个实施例中，响应于确定交通工具的速度大于预定速度，系统进一步要求在安装有相机的交通工具的侧面不存在附近交通工具。如果确定在交通工具的侧面存在附近交通工具，那么即使交通工具的速度大于预定速度，相机也将保持在宽视场内。
在一个实施例中，计算机系统检测在驾驶员的交通工具后面的附近交通工具的存在。所述系统还确定附近交通工具即将超越驾驶员的交通工具。在一个实例中，所述系统确定附近交通工具将在小于预定时间的时间内到达驾驶员的交通工具的侧面。在一个实例中，预定时间是在5秒到30秒之间的时间。
响应于确定在驾驶员的交通工具后面附近交通工具的存在及附近交通工具将超越驾驶员的交通工具两者，所述系统致使相机改变为宽视场。这允许驾驶员观察交通工具的侧面且消除盲点使得当附近交通工具驶过时驾驶员可在视觉上跟随附近交通工具。
在一个实施例中，所述系统基于检测到附近交通工具在驾驶员的交通工具后面的预定距离内来确定附近交通工具将超越驾驶员的交通工具。在一个实例中，预定距离是30米或更小。在一个实施例中，所述系统基于确定附近交通工具具有大于驾驶员的交通工具的速度的速度来确定附近交通工具将超越驾驶员的交通工具。
在一个实施例中，计算机系统在安装有相机的驾驶员交通工具的侧面检测附近交通工具。在一个实例中，即使未对驾驶员的交通工具后方的附近交通工具执行事先检测，也在侧面检测附近交通工具。响应于在侧面检测到附近交通工具，将相机从窄视场改变为宽视场。
在一个实施例中，在附近交通工具驶过驾驶员的交通工具之后，相机的视场从较宽视场切换回较窄视场。在一个实例中，新的较窄视场具有不同于相机的原始窄视场的角度。在一个实例中，基于驾驶员的交通工具的情景环境来确定新的较窄视场。在一个实例中，使用神经网络或其它计算机模型来确定新的较窄视场。
在一个实施例中，在附近交通工具驶过驾驶员的交通工具之后，在将相机切换回较窄视场之前，计算机系统进一步进行检查以确定在汽车后面及/或安装有相机的交通工具的侧面未检测到其它附近交通工具。如果未检测到此交通工具，那么相机切换到较窄视场。在一个实例中，当附近交通工具已驶过驾驶员的交通工具的前占用面积时，确定附近交通工具已驶过驾驶员的交通工具。
在一个实施例中，可使用一或多个传感器来检测附近交通工具。在一个实例中，传感器是雷达传感器、超声传感器及/或图像传感器。在一个实施例中，使用人工智能模型来分析来自这些传感器的数据。在一个实例中，将对象检测算法被应用于来自这些传感器的数据。
在一个实施例中，可基于由驾驶员的交通工具从附近交通工具接收的一或多个通信来检测附近交通工具。在一个实例中，所述通信是从周围交通工具接收的V2X信号。在一个实例中，所述通信含有有关附近交通工具的位置的信息。在一个实例中，驾驶员的交通工具比较附近交通工具的位置与驾驶员的交通工具的位置。在一个实例中，基于附近交通工具的位置小于距驾驶员的交通工具的位置的预定距离来检测附近交通工具。
在一个实施例中，可限制待检测的潜在组附近交通工具。在一个实例中，所述组附近交通工具限于被确定为在与驾驶员的交通工具相同的交通方向上移动的那些交通工具。在一个实例中，基于附近交通工具的方向在相对于驾驶员的交通工具的方向的预定度数内来确定相同的交通方向。在一个实例中，附近交通工具的行驶方向在驾驶员的交通工具的行驶方向的45度内。
在另一实例中，所述组附近交通工具限于在距驾驶员的交通工具的预定距离内的那些交通工具。在一个实例中，附近交通工具在驾驶员的交通工具的后方的预定距离内。在一个实例中，附近交通工具在用于检测附近交通工具及/或用于向驾驶员呈现附近交通工具的图像的相机的位置的预定距离内。
在另一实例中，所述组附近交通工具限于在相对于驾驶员的交通工具上的位置的预定视角内的那些交通工具。在一个实例中，预定视角是相机的当前使用的视场(例如，当用于检测附近交通工具时)。
在一个实施例中，使用多个传感器来执行驾驶员的交通工具对附近交通工具的检测。这些传感器中的一者可为相机，其提供所述相机中使用的传感器的图像帧的图像数据。当使用一个以上传感器时，传感器融合系统可对来自各种传感器的数据输入执行处理。
在一些情况下，使用基于人工智能(AI)的传感器融合。AI传感器融合由传感器(例如，图像、雷达、激光雷达传感器)及传感器融合块(例如，执行图像处理算法的电路或处理装置)组成，所述传感器融合块检测预期在图像上的对象(例如，附近交通工具)。(若干)传感器融合算法可在专用处理装置(例如，SOC、FPGA、CPU、GPU等)上实施。
在一个实施例中，传感器是相机。在由传感器收集的数据的图像帧中递增扫描窗口。在其它实施例中，可使用其它类型的传感器(例如，激光雷达或雷达传感器)。在一个实施例中，使用具有已知的现存图像处理算法的扫描窗口来执行传感器的图像帧的扫描以检测扫描窗口内的对象。
图1展示根据一个实施例的安装在交通工具7111的侧面以向交通工具7111的驾驶员提供后视图及/或侧视图的相机150、152。相机150具有带有角度154的较窄视场。相机152具有带有角度156的较宽视场。相机150可用于向驾驶员显示交通工具7111周围的附近对象的图像(例如，使用LCD屏幕、投射在挡风玻璃上的平视显示器及/或其它类型的显示装置)。在一个实例中，相机150提供向驾驶员显示的包含对象7157的实况视频流。在一个实例中，已在预定区164内检测到对象7157。在一个实例中，预定区164至少部分地基于位于交通工具7111后面的预定距离(例如，在20米到60米之间的距离范围)来界定。
盲点区160为对驾驶员来说是盲点的区。在一个实例中，对象7157是已被交通工具7111检测到的附近交通工具。响应于确定附近交通工具正在超越交通工具7111，将相机150的视场改变为具有更宽角度使得驾驶员能够观察交通工具7111的侧面周围的区域，所述区域包含盲点区160。这允许驾驶员在对象7157驶过交通工具7111时观察对象7157。一旦对象7157驶过交通工具7111的前方，相机的视场150就返回到角度154。
在一个实例中，交通工具7111的计算机系统已在预定侧面区162中检测到交通工具7111的侧面的对象7155。响应于这个检测，通过计算机系统将相机152切换为具有带有角度156的更宽视场。
在一个实施例中，交通工具7111具有用于与其它交通工具通信的无线连接7115。在一个实例中，无线连接7115包含发送及接收信号(例如，将信号发送到交通工具7111周围的其它交通工具或从交通工具7111周围的其它交通工具接收信号)的收发器。交通工具7111可使用这些信号来确定另一交通工具在附近。
在一个实施例中，事件数据是从交通工具7111的非易失性存储器提取且通过无线通信网络传达到中央服务器。中央服务器分析事件数据(例如，以对图像数据进行进一步处理以支持交通工具7111对对象的检测)。在一个实例中，所述服务器选择待下载以供分析的事件数据的类型(例如，传感器数据或控制系统状态)。无线通信网络的一个实例是蜂窝电话网络。
响应于确定或识别对对象的检测(例如，通过服务器及/或交通工具7111)，执行至少一个动作。例如，服务器可将通信传输到交通工具7111，所述通信致使交通工具重新配置软件(例如，改变执行图像分析的神经网络的配置设置，或重新配置控制相机150、152的视场的软件)。
在一个实施例中，交通工具7111可从中央服务器接收由交通工具7111用于识别另一交通工具正在附近的信号。所述信号可致使交通工具7111切换相机150及/或152的视场(例如，为另一交通工具驶过交通工具7111做准备)。
在一个实例中，交通工具可经由无线连接7115与中央服务器通信以提交事件数据(例如，附近交通工具的位置及/或身份/类型)。无线连接7115可使用无线局域网、蜂窝通信网络及/或到卫星7109的通信链路7107。
图2展示根据一个实施例的显示来自一或多个相机170的图像数据的交通工具7111的实例。在一个实例中，相机170是图1的相机150、152。来自相机170的图像数据是在显示屏172上向交通工具7111的驾驶员呈现。在一个实例中，图像数据是实况视频流(例如，以展示交通工具7111周围的附近交通工具)。在一个实例中，图像数据是叠加在实况视频流上的增强现实数据。增强现实数据是从对从相机170获得的原始图像数据的分析导出。在一个实例中，使用人工神经网络(ANN)模型119来分析原始图像数据。
在一个实施例中，交通工具7111包含传感器模块137且使用ANN模型119来配置。传感器模块137将对象数据提供给计算机131。计算机131包含扮演中央处理装置的角色的处理器及/或软件过程。
在一个实例中，对象数据是对应于由相机170中的一者捕获的图像的所收集数据。在一个实例中，所收集数据可由传感器模块处理以做出待由计算机131确认或驳斥的初始交通工具或其它对象检测决策。在一个实例中，另一对象是人或动物。
交通工具7111包含信息娱乐系统149、通信装置139及一或多个传感器模块137。计算机131经连接到交通工具7111的一些控件，例如用于交通工具7111的方向的转向控件141、用于停止交通工具7111的制动控件143、用于交通工具7111的速度的加速控件145等。在一个实例中，通信装置139用于与其它交通工具(例如，发送包含交通工具位置的信号的附近交通工具)通信。
交通工具7111的计算机131包含一或多个处理器133，存储固件(或软件)127、ANN模型119及其它数据129的存储器135。
在一个实例中，响应于响应于对象检测(例如，在处理由交通工具7111所做的初始对象检测之后从交通工具7111接收且由中央服务器确认的初始对象检测决策)而发送的来自中央服务器的通信，通过无线更新来更新固件127。替代地及/或另外，可更新交通工具7111的各种计算装置或系统的其它固件。
一或多个传感器模块137可包含可见光相机、红外相机、激光雷达、雷达或声纳系统及/或外围传感器，其经配置以将传感器输入提供给计算机131。在(若干)处理器133中执行的固件(或软件)127的模组将传感器输入应用于由模型119定义的ANN以生成识别或分类在传感器输入中捕获的对象的输出，例如图像或视频片段。来自这个识别及/或分类的数据可包含在由存储器装置(例如，非易失性存储器装置)收集且从交通工具7111发送到上方的中央服务器的数据中。
替代地及/或另外，固件(或软件)127的自主驾驶模块可使用对象检测(例如，通过服务器及/或交通工具)来生成响应。所述响应可为用以激活及/或调整相机170中的一或多者的视场及/或交通工具控件141、143及145中的一者的命令。在一个实施例中，所述响应是由交通工具执行的动作，其中已基于来自中央服务器的更新命令来配置动作(例如，更新命令可由中央服务器响应于基于对来自交通工具的事件数据的分析的对象检测而生成)。在一个实施例中，在生成控制响应之前，配置交通工具。在一个实施例中，通过更新交通工具7111的固件来执行交通工具的配置。在一个实施例中，交通工具的配置包含更新存储在交通工具7111中的计算机模型(例如，ANN模型119)。
在一个实施例中，中央服务器将所接收传感器输入存储为传感器数据的部分以使用监督训练模块进行ANN模型119的后续进一步训练或更新。当ANN模型119的更新版本可用于中央服务器时，交通工具7111可使用通信装置139来下载所更新ANN模型119以安装在存储器135中及/或取代先前安装的ANN模型119。可响应于确定交通工具7111未能检测到一些附近的驶过交通工具或其它对象而执行这些动作。
在一个实例中，ANN模型119的输出可用于在自主驾驶期间控制(例如，141、143、145)交通工具(例如，7111)的加速度、交通工具111的速度及/或交通工具7111的方向。在一个实例中，ANN模型119的输出用于控制相机170中的一或多者的视场。
在一个实例中，从交通工具的传感器获得的数据(例如，用于检测附近交通工具的数据)可为使用利用人眼可见的光来成像的相机，或利用红外光来成像的相机，或声纳、雷达或激光雷达系统来捕获对象的图像。在一个实施例中，从交通工具的至少一个传感器获得的图像数据是从交通工具收集的数据中的被分析部分。在一些情况下，基于传感器及其它所收集数据针对特定交通工具配置ANN模型。
图3展示根据一个实施例的用于处理来自传感器103的数据且在显示器302上向驾驶员提供图像的交通工具101的实例计算系统。交通工具101的计算系统处理来自传感器103的数据。在一个实施例中，从图像帧105获得所收集数据。从传感器103收集的数据例如用于导航交通工具101及/或控制交通工具101的一或多个相机(例如，相机150、152)的视场。
将图像帧105内由传感器103收集的数据提供给处理器107。当由传感器103收集图像帧105内的新图像时，处理器107执行用于在新图像中进行对象检测的算法。
处理器107扫描所收集数据以检测一或多个对象。当检测到每一对象时，将对应于所检测对象的数据存储在存储器109中的所检测对象113的数据库中。可将用于扫描新图像的图像处理算法作为计算机模型115存储在存储器109中。在一个实例中，计算机模型115包含神经网络及/或其它机器学习算法。
在一个实施例中，对象检测包含使用监督学习或无监督学习中的至少一者来训练计算机模型，及使用计算机模型来分析视频数据。在一个实例中，计算机模型包含神经网络。在一个实例中，计算机模型是计算机模型115。在一个实例中，由传感器103收集视频数据。
在一个实施例中，使用图像帧105内的扫描窗口进行对象检测可包含使用机器学习技术(例如，例如训练神经网络的计算机模型)来检测在由相机收集的视频数据中识别的对象。
在一个实施例中，对象检测可进一步包含将从视频数据提取的视频特征输入到计算机模型中。例如，可在分析以上视频数据之前收集用于训练计算机模型的视频数据。在一个实例中，计算机模型可为一或多个人工神经网络。例如，可基于由传感器装置收集的视频数据来训练神经网络。
在一个实施例中，对象检测可进一步包含基于所提取的视频数据特征来确定来自计算机模型的输出。例如，来自计算机模型的输出可基于使用从所收集视频数据确定的环境调整的输出。
在一个实施例中，处理器107可包含用于在不需要服务器或后端计算装置的情况下对信息进行本地处理的功能。在一些实施例中，处理器107包含音频分析模块、视频分析模块及配置设置，以及其它专用软件单元。这些模块中的每一者可作为指令及/或数据存储在存储器装置上，例如存储器109(例如，EEPROM及/或其它非易失性存储器)。用于例示这些模块的特定配置及软件可为可修改的且可更新的(例如，可通过网络从远程计算装置更新)。
(若干)配置设置还可表示定量模型、分类器、机器学习算法等的特定配置、参数、权重或其它设置。作为一个实例，支持向量机(SVM)可被表示为将向量空间的两个区划分为两个相应分类的超平面。定义超平面的系数可包含在(若干)配置设置中。作为另一实例，人工神经网络(ANN)可包括一组互连节点，其中每一节点连接之间具有特定权重。这些连接权重也可包含在(若干)配置设置中。
处理器107可实行用于检测视频帧(例如，图像帧105内的视频帧)内的特定音频事件或特定对象的方法。在一些实施方案中，处理器107及/或其它计算装置包含在交通工具101本地执行的分类器或机器学习算法。分类器或机器学习算法的参数或权重—即，(若干)配置设置—可被更新(例如，经由通信模块从计算装置接收)。因此，(若干)配置设置可包含使音频分析模块及视频分析模块能够实行特定任务或改进音频分析模块及视频分析模块以实行特定任务的参数、系数或权重。
在一些情况下，包含处理器107及/或存储器109的计算系统的各种实施例可在其上包含指令，所述指令在执行时实施计算机视觉及/或图像或视频分析功能。替代地或另外，计算装置(例如，包含处理器107的装置)可包含与(若干)处理器通信以实行计算机视觉功能的方面(例如对象辨识、图像或视频压缩及/或面部检测以及其它功能)的一或多个集成电路。
如本文中所描述，计算机视觉例如包含用于获取、处理、分析及理解来自现实世界的图像及一般来说高维数据以便产生例如呈决策形式的数字或符号信息的方法。图像数据可呈许多形式，例如视频序列、来自多个相机的视图或来自扫描仪的多维数据。
计算机视觉的一个方面包括确定图像数据是否含有某个特定对象、特征或活动。不同种类的计算机视觉辨识包含：对象辨识(也被称为对象分类)—可辨识一个或若干预先指定或学习的对象或对象类别，通常连同其在图像中的2D位置或场景中的3D姿势。识别—辨识对象的个别例子。实例包含特定对象的识别、景观或建筑物的识别及/或特定交通工具类型的识别。检测—针对特定条件扫描图像数据。实例包含在自动道路收费系统中检测交通工具。有时使用基于相对简单且快速的计算的检测来找到可通过在计算上有更多要求的技术进行进一步分析以产生正确解释的感兴趣的图像数据的较小区。
在以下段落中描述在许多计算机视觉系统中发现的典型功能及组件(例如，硬件)。本发明实施例可包含这些方面中的至少一些。例如，交通工具101的实施例可包含计算机视觉模块。计算机视觉模块可包含本文中相对于计算机视觉所描述的组件(例如，硬件)及/或功能中的任一者，包含但不限于一或多个相机、传感器及/或处理器。在一些本发明实施例中，麦克风、相机及/或成像处理器可为计算机视觉模块的组件。
图像获取—由一个或若干图像传感器产生数字图像，所述图像传感器除包含各种类型的光敏相机之外，还可包含距离传感器、层析成像装置、雷达、超声相机等。取决于传感器的类型，所得图像数据可为2D图像、3D体积或图像序列。像素值可对应于一个或若干光谱带(灰色图像或彩色图像)中的光强度，但是也可与各种物理量度有关，例如声波或电磁波或核磁共振的深度、吸收率或反射率。
预处理—在将计算机视觉方法应用于图像数据以便提取某个特定信息片段之前，通常有利的是处理所述数据以便确保其满足所述方法隐含的某些假设。预处理的实例包含但不限于重新采样以便确保图像坐标系正确，包含但不限于降噪以便确保传感器噪声不会引入虚假信息，包含但不限于对比度增强以确保可检测到相关信息，且包含但不限于尺度空间表示以增强局部适当尺度的图像结构。
特征提取—从图像数据提取各种复杂度水平的图像特征。此类特征的典型实例是：线、边缘及脊；局部兴趣点，例如拐角、斑点或点；更复杂特征可能与纹理、形状或运动相关。
检测/分割—在某个处理点，可做出图像的哪些图像点或区与进一步处理相关的决策。实例是：选择一组特定兴趣点；分割含有感兴趣对象的一或多个图像区；将图像分割为嵌套的场景架构，其包括前景、对象群组、单个对象或显著对象部分(也被称为空间分类场景阶层)。
高级处理—在这个步骤处，输入可为小数据集，例如假设含有特定对象的一组点或图像区。其余处理可包括，例如：验证数据满足基于模型及特定应用的假设；估计特定应用参数，例如对象姿势或对象大小；图像辨识—将所检测对象分类为不同类别；图像配准—比较且组合同一对象的两个不同视图。
做出决策—做出所述应用所需的最终决策，例如辨识应用中的匹配/失配。
在一个实例中，决策是已检测到对象。在此情况下，图像帧(例如，图像帧105)中的扫描窗口的位置经存储在存储器中。
本发明实施例中的一或多者可包含视觉处理单元(其可为计算机视觉模块的组件)。在一个实例中，视觉处理单元是一种类别的微处理器；其是被设计为使机器视觉任务加速的特定类型的AI(人工智能)加速器。视觉处理单元与视频处理单元(其专门用于视频编码及解码)的区别在于其适合于运行机器视觉算法，例如卷积神经网络、SIFT等。视觉处理单元可包含用于从相机获取数据(绕过任何片外缓冲器)的直接接口，且可能更加强调具有暂存器的许多并行执行单元(如同多核DSP(数字信号处理器))之间的片上数据流。但是，如同视频处理单元，视觉处理单元可能将重点放在用于图像处理的低精度定点算法上。
在一个实施例中，辨识算法可划分为两种主要方法：几何学，其关注区别特征；或光度法，其是将图像提取为值且比较所述值与模板以消除差异的统计方法。
一些辨识算法包含使用特征脸的主成分分析、线性判别分析、使用Fisherface算法的弹性束图匹配、隐马尔可夫模型、使用张量表示的多线性子空间学习及神经元激发动态链路匹配。
另外或替代地，计算装置(例如，交通工具101的装置)也可通过网络将所捕获音频/视频传输到例如后端服务器的计算装置以进行其后续处理。在一些情况下，此后端服务器可进行音频、图像及/或视频分析以确定某个对象或事件的存在或缺失。如果进行检测，那么后端服务器可将消息传输到计算装置、客户端装置及/或其它装置。在一些情况下，所传输音频/视频可经存储在存储装置中(例如，数据库中)，以用作训练数据以用于生成及/或改进分类器或机器学习工具。
计算装置(例如，图1的交通工具101)可包括促进相机的操作的组件。例如，成像器可包括视频记录传感器及/或相机芯片。在本发明的一个方面中，成像器可包括互补金属氧化物半导体(CMOS)阵列，且可能够记录高清(例如，720p、2120p等)视频文件。
相机处理器可包括编码及压缩芯片。在一些实施例中，相机处理器可包括桥处理器。相机处理器可处理由成像器记录的视频，且可将这个数据转换为适合于通过通信模块无线地传送到网络的形式。相机存储器可包括当由相机处理器缓冲或编码数据时可使用的易失性存储器。例如，在某些实施例中，相机存储器可包括同步动态随机存取存储器(SDRAM)。(若干)红外LED可包括能够辐射红外光的发光二极管。(若干)红外过滤器可包括当被触发时将成像器配置为主要看到红外光而不是可见光的系统。当(若干)光传感器检测到低水平的环境光(其可包括在可见光谱中阻碍成像器性能的水平)时，(若干)红外LED可将红外光照射出到环境，且(若干)红外滤光器可使成像器能够看到这个红外光，因为其是在传感器的视场内从对象反射或折射出来。这个过程可为计算装置提供夜视功能。
有关使用图像帧来扫描图像数据的各种实施例可使用计算装置(例如，交通工具101)来实施，所述计算装置包含(若干)处理器(例如，处理器107)、存储器(例如，存储器109)、(若干)显示器、(若干)通信模块、(若干)输入装置、(若干)扬声器、(若干)麦克风、(若干)连接器、蓄电池及数据端口。这些组件通过互连总线通信地耦合在一起。(若干)处理器可包含在智能电话及/或便携式计算装置中使用的任何处理器，例如ARM处理器(基于由先进RISC机器(ARM)开发的RISC(精简指令集计算机)架构的处理器)。在一些实施例中，(若干)处理器可包含一或多个其它处理器(例如一或多个常规微处理器)及/或一或多个辅助协处理器(例如数学协处理器)。
存储器可包含操作存储器(例如随机存取存储器(RAM))以及数据存储装置(例如只读存储器(ROM)、硬盘驱动器、快闪存储器或任何其它合适存储器/存储元件)。存储器可包含可卸除存储器元件，例如压缩快闪存储卡、多媒体卡(MMC)及/或安全数字(SD)卡。在一些实施例中，存储器可包括磁性、光学及/或半导体存储器的组合，且可包含例如RAM、ROM、快闪存储器驱动器及/或硬盘或驱动器。(若干)处理器及存储器各自可例如完全位于单个装置内，或可通过例如USB端口、串行端口电缆、同轴电缆、以太网型电缆、电话线、射频收发器或其它类似无线或有线媒体或前述组合的通信媒体而彼此连接。例如，(若干)处理器可经由数据端口连接到存储器。
(若干)显示器可包含适合于智能电话及/或便携式计算装置的任何用户界面或呈现元件，例如小键盘、显示屏、触摸屏、麦克风及扬声器。(若干)通信模块经配置以处置计算装置与其它外部装置(例如，服务器)或接收器之间的通信链路，且适当地路由传入/传出数据。例如，来自数据端口的入站数据可在引导到(若干)处理器之前通过(若干)通信模块路由，且来自(若干)处理器的出站数据可在被引导到数据端口之前通过(若干)通信模块路由。(若干)通信模块可包含一或多个收发器模块，所述一或多个收发器模块能够传输及接收数据，且使用例如一或多种协议及/或技术，例如GSM、UMTS(3GSM)、IS-95(CDMA one)、IS-2000(CDMA 2000)、LTE、FDMA、TDMA、W-CDMA、CDMA、OFDMA、Wi-Fi、WiMAX或任何其它协议及/或技术。
数据端口可为用于与智能电话及/或便携式计算装置物理地介接的任何类型的连接器，例如mini-USB或USB-C端口或
Figure BDA0002639831640000141
30针连接器或
Figure BDA0002639831640000142
连接器。在其它实施例中，数据端口可包含用于与例如其它处理器、服务器及/或客户终端机同时通信的多个通信信道。
存储器可存储用于与例如计算机的其它系统通信的指令。存储器可存储例如适于根据本发明实施例引导(若干)处理器的程序(例如，计算机程序代码)。所述指令还可包含程序元件，例如操作系统。虽然程序中的指令序列的执行致使(若干)处理器执行本文中所描述的过程步骤，但是可代替软件/固件指令使用或与其组合使用硬连线电路来实施本发明实施例的过程。因此，本发明实施例不限于硬件及软件的任何特定组合。
(若干)输入装置可包含接收用户输入及/或促进解释所接收输入的硬件及/或软件元件的任何组合。(若干)输入装置可为硬件(例如，物理按钮及开关)、软件(例如，虚拟按钮、滑块等)或其某个组合(例如，用于模拟按钮点击的软件控制的触觉反馈)。在一些情况下，(若干)输入装置包含触摸屏或基于触摸的数字转换器。(若干)输入装置也可包含虚拟键盘或其它虚拟输入元件。
(若干)扬声器可包含扬声器或其它发声装置的任何组合。(若干)扬声器可操作以产生多种声音，例如来自实况视频的音频、通知或警报声音或其它可听声音。
(若干)麦克风可包含将压力波转换为电信号的换能器的任何组合。(若干)麦克风可捕获音频，所述音频在一些情况下可经传输到单独计算装置或服务器。接着，可将那个所传输音频中继到另一计算装置。
天线可使计算装置能够无线地通信。例如，天线允许计算装置经由一或多个通信标准(例如，GSM、CDMA、LTE等)通过蜂窝网络进行通信。天线可允许计算装置通过其它无线协议进行通信，例如Wi-Fi或蓝牙以及其它无线协议。取决于特定实施方案，天线可包含多个天线。
图4展示根据一个实施例的包含将数据提供给中央处理装置618的传感器模块612、614的自主交通工具610。中央处理装置618是图3的处理器107的实例。
每一传感器模块612、614将对象数据(例如，有关附近交通工具的数据)提供给中央处理装置618。一或多个其它传感器616将传感器数据提供给中央处理装置618。在一个实施例中，传感器616提供原始传感器数据及/或对象数据。
中央处理装置618比较从传感器模块612、614中的每一者接收的对象数据。在一个实例中，所述比较是基于在传感器模块612及传感器模块614的视场中检测单个对象。在一个实例中，所述比较是基于根据若干事件确定的相关性，每一事件与不同对象的检测相关。中央处理装置618使用对象数据的比较来确定来自传感器模块612的对象数据是否对应于对象。
响应于检测到对象，中央处理装置618将信号发送到主机处理装置620。所述信号指示对象已被识别。
在一个实施例中，主机处理装置620响应于接收到指示对象检测的信号而执行一或多个动作。在各种实施例中，主机处理装置620将改变自主交通工具610的一或多个方面的操作的控制信号发送到一或多个交通工具系统622。在一个实例中，改变充当虚拟镜的相机的视场。在一个实例中，改变导航、制动控制及/或引擎控制。在另一实例中，更新一或多个交通工具系统622的配置。在一个实例中，更新用于交通工具系统622中的一者的固件。在一个实例中，使用无线通信从中央服务器下载固件的至少一部分。
在一个实施例中，传感器616将用于确定自主交通工具610的操作环境的数据提供给中央处理装置618。例如，传感器616可提供指示交通工具当前是在白天还是在夜间操作的数据。这提供中央处理装置618可使用其来分析图像数据以检测对象的环境数据。在一个实施例中，环境数据用于选择相机150、152的视场。
在一个实例中，中央处理装置618是片上系统(SOC)、现场可编程门阵列(FPGA)、CPU或图形处理单元(GPU)。在一个实例中，中央处理装置618将运行时间数据存储在(若干)易失性存储器装置(例如，DRAM装置)中。在一个实例中，中央处理装置618可包含实施本文中所描述的各种实施例的至少一部分的逻辑电路。
在一个实例中，主机处理装置620是片上系统(SOC)、现场可编程门阵列(FPGA)、CPU或图形处理单元(GPU)。在一个实例中，主机处理装置620将数据存储在(若干)易失性存储器装置中。例如，所存储数据是从交通工具系统622接收。主机处理装置620可为例如处理器的处理核心、执行单元等。
在一个实例中，中央处理装置618及/或主机处理装置620可包含例如一或多个集成电路及/或离散组件、缓冲存储器、高速缓冲存储器或其组合的硬件。主机或中央处理装置可为微控制器、专用逻辑电路(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)或另一合适处理器。
在一个实例中，每一传感器模块612、614是相机。每一相机共享共同或部分重叠的视场。在一个实例中，每一相机经安装在交通工具的同一侧。在一个实例中，预期在正常操作期间，相机大部分时间将检测到同一对象。
在替代实施例中，传感器模块612、614是在驾驶员控制的交通工具上使用的相机。在一个实例中，相机一起作用以为驾驶员提供虚拟镜。
图5展示根据一个实施例的包含将原始数据提供给处理器626的传感器624的传感器模块612。处理器626是图3的处理器107的实例。
在一个实例中，传感器624是相机。在另一实例中，传感器624是雷达或激光雷达传感器。处理器626例如是微处理器、GPU及/或FPGA。
处理器626执行一或多个过程以评估来自传感器624的原始数据(例如，以检测附近交通工具)。处理器626提供对象数据作为这个处理的结果。将对象数据传输到中央处理装置。对象数据包含例如位置数据及/或对象类型数据。也可包含以所检测对象为特征的其它元数据。
处理器626在操作期间存取存储器628。存储器628例如是易失性存储器及/或非易失性存储器。
存储器628包含对象数据库630。数据库630包含对象类型的库。当提供评估来自传感器624的原始数据的结果时，处理器626可从所述库检索预定对象类型。
在一个实施例中，对象类型经显示在图2的显示屏172上。
在一个实施例中，神经网络632经存储在存储器628中。当处理器626正在评估来自传感器624的原始数据时，神经网络632可用于将一或多个输入提供给处理器626。在一个实施例中，神经网络632从传感器616接收用于确定自主交通工具610的操作环境作为来自神经网络632的输出的输入。将所述输出提供给处理器626以用于评估来自传感器624的原始数据。可在显示屏172上向驾驶员显示评估的结果。
图6展示根据一个实施例的超越由驾驶员驾驶的交通工具200的驶近交通工具300。交通工具200的计算机系统检测交通工具300在预定区654内的存在。
在一个实施例中，基于确定交通工具300在交通工具200后面的距离650小于预定距离652来检测交通工具300。响应于检测到交通工具300，调整交通工具200的一或多个相机以改变其视场。在一个实例中，相机经安装在交通工具200的侧面。在一个实例中，相机经安装在交通工具200的后方。
图7展示根据一个实施例的在驾驶员的交通工具300的不同车道中且准备驶过的驶近交通工具200。交通工具300检测交通工具200的存在，例如上文所描述。响应于检测到交通工具200，将相机742的视场从窄角740调整为宽角741。
图8展示根据一个实施例的从驾驶员的交通工具200的后方驶近且接着改变车道以准备驶过的交通工具300。交通工具200基于确定交通工具300在交通工具200后面的距离804小于预定距离来检测交通工具300。交通工具200还确定交通工具300以大于交通工具200的速度行驶。响应于检测到交通工具300的存在且确定交通工具300的速度，交通工具200将相机806的视场调整为具有角度802。
在图9中，计算装置8201包含互连件8202(例如，总线及系统核心逻辑)，所述互连件8202互连(若干)微处理器8203及存储器8208。在图9的实例中，微处理器8203经耦合到高速缓冲存储器8204。
互连件8202将(若干)微处理器8203及存储器8208互连在一起且还通过(若干)输入/输出控制器8206将其互连到显示控制器及显示装置8207且到例如输入/输出(I/O)装置8205的外围装置。典型I/O装置包含鼠标、键盘、调制解调器、网络接口、打印机、扫描仪、相机及所属领域中众所周知的其它装置。
互连件8202可包含通过各种桥接器、控制器及/或适配器彼此连接的一或多个总线。在一个实施例中，I/O控制器8206包含用于控制USB外围装置的USB(通用串行总线)适配器，及/或用于控制IEEE-1394外围装置的IEEE-1394总线适配器。
存储器8208可包含ROM(只读存储器)以及易失性RAM(随机存取存储器)及非易失性存储器，例如硬盘驱动器、快闪存储器等。
易失性RAM通常被实施为动态RAM(DRAM)，其持续需要电力以便刷新或维护存储器中的数据。非易失性存储器通常是固态驱动器、磁性硬盘驱动器、磁性光学驱动器或光学驱动器(例如，DVD RAM)或即使从其移除电力之后也可维持数据的其它类型的存储器系统。非易失性存储器也可为随机存取存储器。
非易失性存储器可为直接耦合到计算装置中的其余组件的本地装置。也可使用远离计算装置的非易失性存储器，例如通过网络接口(例如，调制解调器或以太网接口)耦合到计算装置的网络存储装置。
在一个实施例中，如图9中所说明的计算装置用于实施包含计算机131、处理器107、传感器模块612、中央处理装置618及/或主机处理装置620的计算装置。
在另一实施例中，如图9中所说明的计算装置用于实施其上安装有或正在安装应用程序的用户终端机或移动装置。用户终端机可呈例如膝上型或笔记本计算机或个人台式计算机的形式。
在一些实施例中，可用多个数据处理系统的对等网络或分布式计算系统的网络的服务取代一或多个服务器。对等网络或分布式计算系统可共同被视为计算装置。
本发明的实施例可经由(若干)微处理器8203及/或存储器8208来实施。例如，所描述功能可部分地经由(若干)微处理器8203中的硬件逻辑且部分地使用存储在存储器8208中的指令来实施。一些实施例是使用(若干)微处理器8203来实施而无需存储在存储器8208中的额外指令。一些实施例使用存储在存储器8208中以由一或多个通用微处理器8203执行的指令来实施。因此，本发明不限于硬件及/或软件的特定配置。
图10展示根据一个实施例的计算装置(例如，用户的移动装置或用户终端机)的框图。在一个实例中，计算装置基于由相机150或152收集的图像数据来显示图像。
在图10中，计算装置包含连接呈现装置9229、用户输入装置9231、处理器9233、存储器9227、位置识别单元9225及通信装置9223的互连件9221。
在图10中，位置识别单元9225用于识别地理位置。位置识别单元9225可包含卫星定位系统接收器，例如全球定位系统(GPS)接收器，以自动地识别计算装置的当前位置。
在图10中，通信装置9223经配置以与服务器通信以提供数据，包含参数数据。在一个实施例中，用户输入装置9231经配置以接收或生成用户数据或内容。用户输入装置9231可包含文本输入装置、静止图像相机、摄像机及/或录音机等。
图11展示根据一个实施例的用于基于对附近交通工具的检测来调整交通工具相机的视场的方法。例如，图11的方法可在图1及2的系统中实施。
图11的方法可由可包含硬件(例如，处理装置、电路、专用逻辑、可编程逻辑、微代码、装置硬件、集成电路等)、软件(例如，在处理装置上运行或执行的指令)或其组合的处理逻辑来执行。
在一些实施例中，图11的方法可至少部分地由一或多个处理器来执行。在一些实施例中，所述方法是由使用图9或10的处理器及存储器的系统来实施。
尽管以特定顺序或次序展示，但是除非另有指定，否则可修改过程的次序。因此，所说明实施例应仅被理解为实例，且所说明过程可以不同次序执行，且一些过程可并行地执行。另外，在各种实施例中可省略一或多个过程。因此，并非在每个实施例中均需要所有过程。其它过程流程也是可能的。
在框1101处，向第一交通工具的用户显示使用安装在第一交通工具上的相机的第一视场获得的图像数据。在一个实例中，使用带有具有角度154的视场的相机150获得图像数据。在一个实例中，使用图7的相机742获得图像数据。相机742使用具有角度740的视场获得图像数据。
在框1103处，通过第一交通工具检测第二交通工具。在一个实例中，第一交通工具是交通工具7111且第二交通工具是对象7157。在一个实例中，第一交通工具是图7的交通工具300，且第二交通工具是图7的交通工具200。
在框1105处，确定第二交通工具是否在相对于第一交通工具的预定区内。在一个实例中，交通工具7111确定对象7157是否在区164内。在一个实例中，交通工具7111确定对象7155是否在区162内。
在框1107处，响应于确定第二交通工具在预定区内，向用户显示使用相机的第二视场获得的图像数据。在一个实例中，图7的交通工具300从使用具有角度741的视场的相机742获得图像数据。
在一个实施例中，一种方法包括：向第一交通工具(例如，图7的交通工具300)的用户显示使用第一交通工具的相机(例如，相机742)的第一视场(例如，角度740)获得的图像数据，其中相机收集位于第一交通工具外部的对象的图像数据；通过第一交通工具的至少一个处理装置检测第二交通工具(例如，图7的交通工具200)；通过所述一个处理装置确定第二交通工具是否在相对于第一交通工具的预定区内；及响应于确定第二交通工具在预定区内，显示使用相机的第二视场(例如，角度741)获得的图像数据。
在一个实施例中，第一视场比第二视场窄。
在一个实施例中，第二视场包含在第一交通工具的侧面的第一区，第一区包含与当操作交通工具时用户的盲点相关联的区。
在一个实施例中，确定第二交通工具是否在预定区内包括确定第二交通工具是否在第一交通工具的预定距离(例如，图6的距离652)内。
在一个实施例中，显示使用第二视场获得的图像数据是进一步响应于确定第二交通工具的速度大于第一交通工具的速度。
在一个实施例中，所述方法进一步包括：确定第一交通工具的行驶是否比预定速度更快；且其中显示使用第一视场获得的图像数据是响应于确定第一交通工具的行驶比预定速度更快。
在一个实施例中，相机经安装在第一交通工具的侧面，且所述方法进一步包括：确定在第一交通工具的侧面是否存在交通工具；其中显示使用第一视场获得的图像数据是响应于确定在第一交通工具的侧面不存在交通工具。
在一个实施例中，相机经安装在第一交通工具的侧面，且预定区是在第一交通工具的侧面的区，或者是在第一交通工具后面且在第一交通工具的预定距离内的区。
在一个实施例中，所述方法进一步包括：确定第二交通工具已驶过第一交通工具；响应于确定第二交通工具已驶过第一交通工具，改变相机的配置以使用第一视场来收集图像数据。
在一个实施例中，改变相机的配置以使用第一视场来收集图像数据是进一步响应于确定在其中第二交通工具已驶过第一交通工具的第一交通工具的侧面区中不存在交通工具。
在一个实施例中，检测第二交通工具包括通过第一交通工具接收来自第二交通工具的通信。
在一个实施例中，显示使用相机的第二视场获得的图像数据是进一步响应于确定第二交通工具在与第一交通工具相同的方向上移动。
在一个实施例中，确定第二交通工具是否在预定区内包括确定第二交通工具是否在相对于相机的位置的预定视角内。
在一个实施例中，其中所述位置是第一位置(例如，相机的位置)，且其中确定第二交通工具是否在预定区内进一步包括确定第二交通工具是在第一位置的预定距离内还是在第一交通工具的第二位置(例如，后方位置)的预定距离内。
在一个实施例中，一种系统包括：相机(例如，相机170)，其经安装在第一交通工具的侧面且经配置以收集有关第一交通工具外部的对象的图像数据；显示屏(例如，显示屏172)，其经定位以供第一交通工具的驾驶员观察；至少一个处理装置；及存储器，其含有指令，所述指令经配置以指示至少一个处理装置：在显示屏上基于使用相机的第一视场收集的数据来呈现图像；检测第二交通工具；确定第二交通工具是否在预定区内；及响应于确定第二交通工具在预定区内，在显示屏上基于使用相机的第二视场收集的数据来呈现图像。
在一个实施例中，第一视场比第二视场窄。
在一个实施例中，当第二交通工具在第一交通工具的预定距离内时，确定第二交通工具在预定区内。
在一个实施例中，检测第二交通工具包括接收来自第二交通工具的通信，所述通信包含第二交通工具的位置；及确定第二交通工具是否在预定区内包括确定第二交通工具的位置是否在第一交通工具的位置的预定距离内。
在一个实施例中，基于使用第一视场收集的数据来呈现图像是响应于确定第一交通工具的行驶比预定速度更快，且是进一步响应于确定在第一交通工具的侧面没有交通工具。
在一个实施例中，一种非暂时性计算机存储媒体存储指令，所述指令在至少一个处理装置上执行时致使至少一个处理装置至少：向第一交通工具的用户显示使用第一交通工具的相机的第一视场获得的图像数据；检测第二交通工具；确定第二交通工具是否在相对于第一交通工具的预定区内；及响应于确定第二交通工具在预定区内，显示使用相机的第二视场获得的图像数据。
图12是根据一些实施例的交通工具的框图。图12中所说明的系统可完全安装在交通工具内。
所述系统任选地包含自主交通工具子系统702。在所说明实施例中，自主交通工具子系统702包含地图数据库702A、雷达装置702B、激光雷达装置702C、数码相机702D、声纳装置702E、GPS接收器702F及惯性测量单元702G。在一个实施例中，地图数据库702A存储用于路径选择及导航的多张高清三维地图。雷达装置702B、激光雷达装置702C、数码相机702D、声纳装置702E、GPS接收器702F及惯性测量单元702G可包括安装在遍及自主交通工具的各个位置处的各种相应装置。例如，这些装置可沿着自主交通工具的周边安装以提供位置感知、碰撞避免及其它标准自主交通工具功能。在一些实施例中，自主子系统702经建置到交通工具中，而在其它实施例中自主子系统702包括售后系统。
交通工具子系统706另外包含在所述系统内。交通工具子系统706包含各种防抱死制动系统706A、引擎控制单元706B及变速器控制单元706C。这些组件可用于响应于由自主交通工具子系统702及/或ADAS子系统704生成的数据而控制交通工具的操作。
所述系统的处理侧包含一或多个处理器710、短期存储器712、RF系统714、图形处理单元(GPU)716、长期存储装置718及一或多个接口720。
一或多个处理器710可包括中央处理单元、FPGA或支持自主交通工具的操作所需的任何范围的处理装置。存储器712包括用于临时存储处理器710所需的数据的DRAM或其它合适的易失性RAM。RF系统714可包括蜂窝收发器及/或卫星收发器。长期存储装置718可包括一或多个高容量固态驱动器(SSD)。一般来说，长期存储装置718可用于存储例如高清地图、路径选择数据及需要永久或半永久存储的任何其它数据。GPU 716可包括用于处理从自主交通工具子系统702A接收的数据的一或多个高处理量GPU装置。最后，接口720可包括定位在交通工具内的各种显示单元(例如，仪表板屏幕)。
在一个实施例中，所述系统另外包含ADAS子系统704，所述ADAS子系统704可执行由前图中所说明的方法描述的操作的至少一部分。ADAS子系统704包含执行盲点算法以检测附近交通工具且调整相机视场的盲点ADAS 704a及距离ADAS 704b。距离检测算法确定附近交通工具在驾驶员的交通工具后面的距离。这些系统的输出控制交通工具子系统706的组件。此外，ADAS子系统704包含认证系统704c，所述认证系统704c可包括更高级软件/电路。
所述装置中的每一者经由总线708而连接。在一个实施例中，总线708可包括控制器局域网(CAN)总线。在一些实施例中，可使用其它总线类型(例如，FlexRay或MOST总线)。另外，每一子系统可包含一或多个额外总线以处理内部子系统通信(例如，用于较低带宽通信的LIN总线)。
结语
本发明包含执行上文所描述的方法且实施上文所描述的系统的各种装置，包含执行这些方法的数据处理系统，及含有指令的计算机可读媒体，所述指令在数据处理系统上执行时致使所述系统执行这些方法。
所述描述及附图是说明性的且不应被解释为限制性。描述众多特定细节以提供透彻理解。然而，在某些情况下，未描述众所周知或常规细节以免使所述描述不清楚。在本发明中对一个实施例或一实施例的引用不一定是对同一实施例的引用；且，此类引用表示至少一个实施例。
在本说明书中对“一个实施例”或“一实施例”的引用表示结合所述实施例所描述的特定特征、结构或特性包含在本发明的至少一个实施例中。说明书中各个地方出现的短语“在一个实施例中”不一定全部是指同一实施例，也不是与其它实施例互斥的单独或替代实施例。此外，描述可由一些实施例而非其它实施例展现的各种特征。类似地，描述可能是一些实施例而非其它实施例的要求的各种要求。
如本文中所使用，“耦合到”通常是指组件之间的连接，其可为有线或无线的间接通信连接或直接通信连接(例如，没有中间组件)，包含例如电连接、光学连接、磁性连接等。
在这个描述中，各种功能及操作可被描述为由软件代码执行或致使以简化描述。然而，所属领域的技术人员将认识到，此类表达的意思是功能起因于一或多个处理器(例如微处理器、专用集成电路(ASIC)、图形处理器及/或现场可编程门阵列(FPGA))执行代码。替代地或组合地，可使用具有或没有软件指令的专用电路(例如，逻辑电路)来实施功能及操作。实施例可使用没有软件指令的硬连线电路来实施或使用硬连线电路组合软件指令来实施。因此，所述技术不限于硬件电路及软件的任何特定组合，也不限于由计算装置执行的指令的任何特定源。
虽然一些实施例可在功能齐全的计算机及计算机系统中实施，但是各种实施例能够以多种形式作为计算产品分布且能够被应用而与用于实际上实现分布的机器或计算机可读媒体的特定类型无关。
至少一些所揭示方面可至少部分地以软件来体现。即，所述技术可响应于其处理器(例如微处理器)执行存储器(例如ROM、易失性RAM、非易失性存储器、高速缓冲存储器或远程存储装置)中所含的指令序列而在计算装置或其它系统中实行。
被执行以实施实施例的例程可被实施为操作系统、中间件、服务交付平台、SDK(软件开发套件)组件、网络服务或其它特定应用程序、组件、程序、对象、模块或称为“计算机程序”的指令序列的部分。这些例程的调用接口可作为API(应用程序编程接口)透漏给软件开发社区。计算机程序通常包括在计算机中的各种存储器及存储装置中在不同时间设置且当由计算机中的一或多个处理器读取并执行时致使计算机执行实行涉及各个方面的要素所必需的操作的一或多个指令。
机器可读媒体可用于存储软件及数据，所述软件及数据在由计算装置执行时致使所述装置执行各种方法。可执行软件及数据可经存储在各种位置中，包含例如ROM、易失性RAM、非易失性存储器及/或高速缓冲存储器。这个软件及/或数据的部分可经存储在这些存储装置中的任一者中。此外，可从集中式服务器或对等网络获得数据及指令。可在不同时间且在不同通信会话中或在同一通信会话中从不同的集中式服务器及/或对等网络获得数据及指令的不同部分。可在执行应用程序之前整体获得数据及指令。替代地，可在执行需要时及时地动态获得数据及指令的部分。因此，在特定时间实例，数据及指令不需要全部位于机器可读媒体上。
计算机可读媒体的实例包含但不限于可记录及不可记录类型的媒体，例如易失性及非易失性存储装置、只读存储器(ROM)、随机存取存储器(RAM)、快闪存储器装置、固态驱动器存储媒体、可卸除磁盘、磁盘存储媒体、光学存储媒体(例如，光盘只读存储器(CDROM)、数字多功能磁盘(DVD)等)等等。计算机可读媒体可存储指令。
一般来说，有形或非暂时性机器可读媒体包含以机器(例如，计算机、移动装置、网络装置、个人数字助理、制造工具、具有一组一或多个处理器的任何装置等)可存取的形式提供(例如，存储)信息的任何机构。
在各种实施例中，可组合软件指令使用硬连线电路来实施所述技术。因此，所述技术既不限于硬件电路及软件的任何特定组合，也不限于由计算装置执行的指令的任何特定源。
尽管一些附图以特定次序说明数个操作，但是可对次序无关操作进行重新排序且可组合或分解其它操作。虽然特定地提到一些重新排序或其它分组，但是其它分组对于所属领域的一般技术人员来说将是显而易见的且因此并未呈现详尽的替代物列表。此外，应认识到，所述阶段可以硬件、固件、软件或其任何组合来实施。
在前述说明书中，本发明已参考其特定示范性实施例进行描述。将显而易见的是，在不脱离如所附权利要求书中所阐述的更广泛精神及范围的情况下，可对本发明进行各种修改。因此，说明书及附图应被认为具有说明性意义而非限制性意义。
本文中所阐述的各种实施例可使用各种各种不同类型的计算装置来实施。如本文中所使用，“计算装置”的实例包含但不限于服务器、集中式计算平台、具有多个计算处理器及/或组件的系统、移动装置、用户终端机、交通工具、个人通信装置、可穿戴数字装置、电子信息端、通用计算机、电子文档阅读器、平板式计算机、膝上型计算机、智能手机、数码相机、家用电器、电视或数字音乐播放器。计算装置的额外实例包含作为“物联网”(IOT)的部分的装置。此类“事物”可能偶尔与其所有者或管理员互动，所述所有者或管理员可监视事物或修改这些事物的设置。在一些情况下，此类所有者或管理员关于“事物”装置扮演用户的角色。在一些实例中，关于由用户佩戴的配对“事物”装置(例如，Apple手表)，用户的主要移动装置(例如，Apple iPhone)可为管理员服务器。
在一些实施例中，计算装置可为主机系统，其被实施为例如台式计算机、膝上型计算机、网络服务器、移动装置或包含存储器及处理装置的其它计算装置。主机系统可包含或经耦合到存储器子系统使得主机系统可从存储器子系统读取数据或将数据写入到存储器子系统。主机系统可经由物理主机接口耦合到存储器子系统。
物理主机接口的实例包含但不限于串行高级技术附件(SATA)接口、外围组件互连快速(PCIe)接口、通用串行总线(USB)接口、光纤通道、串行附件SCSI(SAS)、双倍数据速率(DDR)存储器总线等。物理主机接口可用于在主机系统与存储器子系统之间传输数据。当存储器子系统通过PCIe接口与主机系统耦合时，主机系统可进一步利用NVM快速(NVMe)接口来存取存储器子系统的存储器组件。物理主机接口可提供用于在存储器子系统与主机系统之间传递控制、地址、数据及其它信号的接口。一般来说，主机系统可经由同一通信连接、多个单独的通信连接及/或通信连接的组合存取多个存储器子系统。
在一个实施例中，主机系统包含处理装置及控制器。主机系统的处理装置可为例如微处理器、图形处理单元、中央处理单元(CPU)、FPGA、处理器的处理核心、执行单元等。在一个实例中，处理装置可为组合FPGA及微处理器的单个封装，其中微处理器执行大部分处理，但是将某些预定的特定任务推给FPGA模块。在一个实例中，处理装置是软微处理器(有时也被称为软核微处理器或软处理器)，其是使用逻辑综合实施的微处理器核心。可经由含有可编程逻辑(例如，ASIC、FPGA或CPLD)的不同半导体装置实施软微处理器。
在一些实例中，控制器是存储器控制器、存储器管理单元及/或启动器。在一个实例中，控制器控制通过耦合在主机系统与存储器子系统之间的总线的通信。
一般来说，控制器可将命令或请求发送到存储器子系统以对存储器组件进行期望存取。控制器可进一步包含与存储器子系统通信的接口电路。接口电路可将从存储器子系统接收的响应转换为主机系统的信息。主机系统的控制器可与存储器子系统的控制器通信以执行例如在存储器组件处读取数据、写入数据或擦除数据的操作及其它此类操作。
在一些情况下，控制器可与处理装置集成在同一封装内。在其它情况下，控制器与处理装置的封装分离。控制器及/或处理装置可包含例如一或多个集成电路及/或离散组件、缓冲存储器、高速缓冲存储器或其组合的硬件。控制器及/或处理装置可为微控制器、专用逻辑电路(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)或另一合适处理器。
存储器组件可包含不同类型的非易失性存储器组件及/或易失性存储器组件的任何组合。非易失性存储器组件的实例包含“与非”(NAND)型快闪存储器。所述存储器组件中的每一者可包含一或多个存储器单元阵列，例如单电平单元(SLC)或多电单元(MLC)(例如，三电平单元(TLC)或四电平单元(QLC))。在一些实施例中，特定存储器组件可包含存储器单元的SLC部分及MLC部分两者。所述存储器单元中的每一者可存储由主机系统使用的一或多个数据位(例如，数据块)。尽管描述例如NAND型快闪存储器的非易失性存储器组件，但是所述存储器组件可基于例如易失性存储器的任何其它类型的存储器。
在一些实施例中，存储器组件可为但不限于随机存取存储器(RAM)、只读存储器(ROM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、相变存储器(PCM)、磁随机存取存储器(MRAM)、自旋转移力矩(STT)-MRAM、铁电随机存取存储器(FeTRAM)、铁电RAM(FeRAM)、导电桥接RAM(CBRAM)、电阻式随机存取存储器(RRAM)、氧化物基RRAM(OxRAM)、“或非”(NOR)快闪存储器、电可擦除可编程只读存储器(EEPROM)、基于纳米线的非易失性存储器、并入忆阻器技术的存储器及非易失性存储器单元的交叉点阵列。非易失性存储器的交叉点阵列可基于体电阻的变化、结合可堆叠的交叉网格数据存取阵列来执行位存储。另外，与许多基于快闪存储器的存储器相比，交叉点非易失性存储器可执行就地写入操作，其中可对非易失性存储器单元进行编程而无需事先擦除所述非易失性存储器单元。此外，存储器组件的存储器单元可被分组为存储器页面或数据块，其可指用于存储数据的存储器组件的单元。
存储器子系统的控制器可与存储器组件通信以执行例如在存储器组件处读取数据、写入数据或擦除数据的操作及其它此类操作(例如，响应于控制器在命令总线上调度的命令)。控制器可包含经配置以执行存储在本地存储器中的指令的处理装置(处理器)。控制器的本地存储器可包含嵌入式存储器，所述嵌入式存储器经配置以存储用于执行控制存储器子系统的操作的各种过程、操作、逻辑流程及例程的指令，包含处置存储器子系统与主机系统之间的通信。在一些实施例中，本地存储器可包含存储存储器指针、所提取数据等的存储器寄存器。本地存储器还可包含用于存储微代码的只读存储器(ROM)。虽然实例存储器子系统包含控制器，但是在本发明的另一实施例中，存储器子系统可不包含控制器，而是可依赖于外部控制(例如，由外部主机或或由与存储器子系统分离的处理器或控制器提供)。
一般来说，控制器可从主机系统接收命令或操作且可将命令或操作转换为指令或适当命令以实现对存储器组件的所期望存取。控制器可负责与存储器组件相关联的其它操作，例如损耗均衡操作、垃圾回收操作、错误检测及错误校正代码(ECC)操作、加密操作、高速缓冲存储操作及逻辑块地址与物理块地址之间的地址转译。控制器可进一步包含主机接口电路以经由物理主机接口与主机系统通信。主机接口电路可将从主机系统接收的命令转换为命令指令以存取存储器组件并且将与存储器组件相关联的响应转换为主机系统的信息。
存储器子系统还可包含未说明的额外电路或组件。在一些实施例中，存储器子系统可包含可从控制器接收地址且解码地址以存取存储器组件的高速缓冲存储器或缓冲器(例如，DRAM或SRAM)及地址电路(例如，行解码器及列解码器)。

Claims (20)

1.一种方法，其包括：
向第一交通工具的用户显示使用所述第一交通工具的相机的第一视场获得的图像数据，其中所述相机收集位于所述第一交通工具外部的对象的所述图像数据；
通过所述第一交通工具的至少一个处理装置检测第二交通工具；
通过所述一个处理装置确定所述第二交通工具是否在相对于所述第一交通工具的预定区内；及
响应于确定所述第二交通工具在所述预定区内，显示使用所述相机的第二视场获得的图像数据。
2.根据权利要求1所述的方法，其中所述第一视场比所述第二视场窄。
3.根据权利要求1所述的方法，其中所述第二视场包含在所述第一交通工具的侧面的第一区，所述第一区包含与当操作所述交通工具时所述用户的盲点相关联的区。
4.根据权利要求1所述的方法，其中确定所述第二交通工具是否在所述预定区内包括确定所述第二交通工具是否在所述第一交通工具的预定距离内。
5.根据权利要求1所述的方法，其中显示使用所述第二视场获得的所述图像数据是进一步响应于确定所述第二交通工具的速度大于所述第一交通工具的速度。
6.根据权利要求1所述的方法，其进一步包括：
确定所述第一交通工具的行驶是否比预定速度行驶更快；
其中显示使用所述第一视场获得的所述图像数据是响应于确定所述第一交通工具的行驶比所述预定速度更快。
7.根据权利要求1所述的方法，其中所述相机经安装在所述第一交通工具的侧面，所述方法进一步包括：
确定在所述第一交通工具的所述侧面是否存在交通工具；
其中显示使用所述第一视场获得的所述图像数据是响应于确定在所述第一交通工具的所述侧面不存在交通工具。
8.根据权利要求1所述的方法，其中所述相机经安装在所述第一交通工具的侧面，且其中所述预定区是在所述第一交通工具的所述侧面的区，或者是在所述第一交通工具后面且在所述第一交通工具的预定距离内的区。
9.根据权利要求1所述的方法，其进一步包括：
确定所述第二交通工具已驶过所述第一交通工具；
响应于确定所述第二交通工具已驶过所述第一交通工具，改变所述相机的配置以使用所述第一视场来收集图像数据。
10.根据权利要求9所述的方法，其中改变所述相机的所述配置以使用所述第一视场来收集图像数据是进一步响应于确定在其中所述第二交通工具已驶过所述第一交通工具的所述第一交通工具的侧面区中不存在交通工具。
11.根据权利要求1所述的方法，其中检测所述第二交通工具包括通过所述第一交通工具接收来自所述第二交通工具的通信。
12.根据权利要求1所述的方法，其中显示使用所述相机的所述第二视场获得的所述图像数据是进一步响应于确定所述第二交通工具在与所述第一交通工具相同的方向上移动。
13.根据权利要求1所述的方法，其中确定所述第二交通工具是否在所述预定区内包括确定所述第二交通工具是否在相对于所述相机的位置的预定视角内。
14.根据权利要求13所述的方法，其中所述位置是第一位置，且其中确定所述第二交通工具是否在所述预定区内进一步包括确定所述第二交通工具是在所述第一位置的预定距离内还是在所述第一交通工具的第二位置的预定距离内。
15.一种系统，其包括：
相机，其经安装在第一交通工具的侧面且经配置以收集有关所述第一交通工具外部的对象的图像数据；
显示屏，其经定位以供所述第一交通工具的驾驶员观察；
至少一个处理装置；及
存储器，其含有经配置以指示所述至少一个处理装置执行以下操作的指令：
在所述显示屏上基于使用所述相机的第一视场收集的数据来呈现图像；
检测第二交通工具；
确定所述第二交通工具是否在预定区内；及
响应于确定所述第二交通工具在所述预定区内，在所述显示屏上基于使用所述相机的第二视场收集的数据来呈现图像。
16.根据权利要求15所述的系统，其中所述第一视场比所述第二视场窄。
17.根据权利要求15所述的系统，其中当所述第二交通工具在所述第一交通工具的预定距离内时，确定所述第二交通工具在所述预定区内。
18.根据权利要求15所述的系统，其中：
检测所述第二交通工具包括接收来自所述第二交通工具的通信，所述通信包含所述第二交通工具的位置；及
确定所述第二交通工具是否在所述预定区内包括确定所述第二交通工具的所述位置是否在所述第一交通工具的位置的预定距离内。
19.根据权利要求15所述的系统，其中基于使用所述第一视场收集的所述数据来呈现所述图像是响应于确定所述第一交通工具的行驶比预定速度更快，且是进一步响应于确定在所述第一交通工具的侧面不存在交通工具。
20.一种非暂时性计算机存储媒体，其存储指令，所述指令在至少一个处理装置上执行时致使所述至少一个处理装置至少进行以下操作：
向第一交通工具的用户显示使用所述第一交通工具的相机的第一视场获得的图像数据；
检测第二交通工具；
确定所述第二交通工具是否在相对于所述第一交通工具的预定区内；及
响应于确定所述第二交通工具在所述预定区内，显示使用所述相机的第二视场获得的图像数据。
CN202010836388.4A 2019-08-22 2020-08-19 具有基于交通工具传感器的自动变焦的虚拟镜 Pending CN112406704A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/548,705 2019-08-22
US16/548,705 US11155209B2 (en) 2019-08-22 2019-08-22 Virtual mirror with automatic zoom based on vehicle sensors

Publications (1)

Publication Number Publication Date
CN112406704A true CN112406704A (zh) 2021-02-26

Family

ID=74647244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010836388.4A Pending CN112406704A (zh) 2019-08-22 2020-08-19 具有基于交通工具传感器的自动变焦的虚拟镜

Country Status (2)

Country Link
US (3) US11155209B2 (zh)
CN (1) CN112406704A (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11155209B2 (en) 2019-08-22 2021-10-26 Micron Technology, Inc. Virtual mirror with automatic zoom based on vehicle sensors
JP2021118478A (ja) * 2020-01-28 2021-08-10 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視カメラ、カメラパラメータ決定方法およびプログラム
US11235734B2 (en) * 2020-02-07 2022-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Proximity based vehicle security system
EP4078322A1 (en) * 2020-05-04 2022-10-26 Auterion AG System and method for software-defined drones
US20220365200A1 (en) * 2021-05-12 2022-11-17 California State University Fresno Foundation System and method for human and animal detection in low visibility
US11544123B1 (en) * 2021-06-28 2023-01-03 Anurag Singla Systems and methods for detecting partitioned and aggregated novel network, user, device and application behaviors
CN113682319B (zh) * 2021-08-05 2023-08-01 地平线(上海)人工智能技术有限公司 摄像头调整方法及装置、电子设备和存储介质
US11743570B1 (en) * 2022-05-18 2023-08-29 Motorola Solutions, Inc. Camera parameter adjustment based on frequency shift
GB202207744D0 (en) * 2022-05-26 2022-07-13 Pro Sight Vision Object detection system and a method of use thereof

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202005004686U1 (de) * 2005-03-23 2005-05-25 S.M.A. Metalltechnik Gmbh & Co. Kg Klemmverbinder zum dichtenden Verbinden zweier Rohrenden
US20050128061A1 (en) * 2003-12-10 2005-06-16 Nissan Motor Co., Ltd. Vehicular image display system and image display control method
CN101208456A (zh) * 2005-06-28 2008-06-25 美光科技公司 包括β-双烯酮亚胺金属化合物的原子层沉积系统和方法
US20120271515A1 (en) * 2011-04-19 2012-10-25 Douglas Scott Rhode Trailer path curvature control for trailer backup assist
US20140313335A1 (en) * 2013-04-18 2014-10-23 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
CN104369698A (zh) * 2013-08-13 2015-02-25 现代摩比斯株式会社 影像显示方法及其装置
US20160148062A1 (en) * 2014-11-21 2016-05-26 Magna Electronics Inc. Vehicle vision system with multiple cameras
US20160231748A1 (en) * 2013-06-26 2016-08-11 Google Inc. Real-Time Image-Based Vehicle Detection based on a Multi-Stage Classification
US20170015248A1 (en) * 2015-07-17 2017-01-19 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US20170043720A1 (en) * 2015-08-14 2017-02-16 Faraday&Future Inc. Camera system for displaying an area exterior to a vehicle
US20170101058A1 (en) * 2015-10-12 2017-04-13 Hyundai Motor Company Apparatus and method for controlling a viewing angle for a vehicle, and a vehicle including the apparatus
US20170282826A1 (en) * 2016-03-30 2017-10-05 Denso International America, Inc. Vehicle Collision Prevention System
WO2017192144A1 (en) * 2016-05-05 2017-11-09 Harman International Industries, Incorporated Systems and methods for driver assistance
US20180032822A1 (en) * 2016-08-01 2018-02-01 Ford Global Technologies, Llc Vehicle exterior monitoring
US10116873B1 (en) * 2015-11-09 2018-10-30 Ambarella, Inc. System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
US20190238658A1 (en) * 2018-02-01 2019-08-01 Toyota Jidosha Kabushiki Kaisha Vehicular millimeter wave communication for non-line of sight scenarios

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
KR101789984B1 (ko) 2016-07-13 2017-10-25 엠엠피씨 주식회사 차량용 사이드 미러 카메라 시스템
US10195994B2 (en) 2017-04-07 2019-02-05 GM Global Technology Operations LLC Vehicle side mirror automation
US11155209B2 (en) 2019-08-22 2021-10-26 Micron Technology, Inc. Virtual mirror with automatic zoom based on vehicle sensors

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128061A1 (en) * 2003-12-10 2005-06-16 Nissan Motor Co., Ltd. Vehicular image display system and image display control method
DE202005004686U1 (de) * 2005-03-23 2005-05-25 S.M.A. Metalltechnik Gmbh & Co. Kg Klemmverbinder zum dichtenden Verbinden zweier Rohrenden
CN101208456A (zh) * 2005-06-28 2008-06-25 美光科技公司 包括β-双烯酮亚胺金属化合物的原子层沉积系统和方法
US20120271515A1 (en) * 2011-04-19 2012-10-25 Douglas Scott Rhode Trailer path curvature control for trailer backup assist
US20140313335A1 (en) * 2013-04-18 2014-10-23 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
US20160231748A1 (en) * 2013-06-26 2016-08-11 Google Inc. Real-Time Image-Based Vehicle Detection based on a Multi-Stage Classification
CN104369698A (zh) * 2013-08-13 2015-02-25 现代摩比斯株式会社 影像显示方法及其装置
US20160148062A1 (en) * 2014-11-21 2016-05-26 Magna Electronics Inc. Vehicle vision system with multiple cameras
US20170015248A1 (en) * 2015-07-17 2017-01-19 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US20170043720A1 (en) * 2015-08-14 2017-02-16 Faraday&Future Inc. Camera system for displaying an area exterior to a vehicle
US20170101058A1 (en) * 2015-10-12 2017-04-13 Hyundai Motor Company Apparatus and method for controlling a viewing angle for a vehicle, and a vehicle including the apparatus
US10116873B1 (en) * 2015-11-09 2018-10-30 Ambarella, Inc. System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
US20170282826A1 (en) * 2016-03-30 2017-10-05 Denso International America, Inc. Vehicle Collision Prevention System
WO2017192144A1 (en) * 2016-05-05 2017-11-09 Harman International Industries, Incorporated Systems and methods for driver assistance
US20180032822A1 (en) * 2016-08-01 2018-02-01 Ford Global Technologies, Llc Vehicle exterior monitoring
US20190238658A1 (en) * 2018-02-01 2019-08-01 Toyota Jidosha Kabushiki Kaisha Vehicular millimeter wave communication for non-line of sight scenarios

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任毅;程耀瑜;: "应用于交通监控的智能相机设计", 电子测试, no. 02, 6 February 2011 (2011-02-06), pages 81 - 85 *

Also Published As

Publication number Publication date
US11912203B2 (en) 2024-02-27
US20220017013A1 (en) 2022-01-20
US11155209B2 (en) 2021-10-26
US20210053489A1 (en) 2021-02-25
US20240140314A1 (en) 2024-05-02

Similar Documents

Publication Publication Date Title
US11912203B2 (en) Virtual mirror with automatic zoom based on vehicle sensors
JP6799169B2 (ja) マルチモーダル融合による３ｄオブジェクト検出と配向推定の結合
US20220270262A1 (en) Adapted scanning window in image frame of sensor for object detection
US9868449B1 (en) Recognizing in-air gestures of a control object to control a vehicular control system
US10671068B1 (en) Shared sensor data across sensor processing pipelines
US10096091B2 (en) Image generating method and apparatus
Chuang et al. Estimating gaze direction of vehicle drivers using a smartphone camera
KR20200011405A (ko) 운전자 모니터링을 위한 시스템 및 방법
US20220277558A1 (en) Cascaded Neural Network-Based Attention Detection Method, Computer Device, And Computer-Readable Storage Medium
KR20200145825A (ko) 3차원 시선 벡터를 이용한 차량 탑승자 참여
KR20170140214A (ko) 신경망을 위한 훈련 기준으로서의 필터 특이성
WO2018145028A1 (en) Systems and methods of a computational framework for a driver's visual attention using a fully convolutional architecture
EP4042318A1 (en) System and method of generating a video dataset with varying fatigue levels by transfer learning
KR102557561B1 (ko) 이미지의 깊이 정보를 결정하는 방법 및 시스템
EP3956807A1 (en) A neural network for head pose and gaze estimation using photorealistic synthetic data
EP4264547A1 (en) Object segmentation and feature tracking
CN111630568A (zh) 电子装置及其控制方法
CN115690750A (zh) 一种驾驶员分心检测方法和装置
US10902303B2 (en) Methods and systems for visual recognition using triplet loss
US20230098829A1 (en) Image Processing System for Extending a Range for Image Analytics
US20200151433A1 (en) Face recognition apparatus and face recognition method
CN114549961B (zh) 目标对象的检测方法、装置、设备以及存储介质
CN112434549A (zh) 图像处理方法和设备
CN113516665A (zh) 图像分割模型的训练方法、图像分割方法、装置、设备
CN117786520B (zh) 目标感知模型的训练方法和应用、无人车和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination