CN106663341A - 用于聚合网络并且将来自那些网络的数据提供给计算机的设备、系统和方法 - Google Patents

用于聚合网络并且将来自那些网络的数据提供给计算机的设备、系统和方法 Download PDF

Info

Publication number
CN106663341A
CN106663341A CN201580023923.1A CN201580023923A CN106663341A CN 106663341 A CN106663341 A CN 106663341A CN 201580023923 A CN201580023923 A CN 201580023923A CN 106663341 A CN106663341 A CN 106663341A
Authority
CN
China
Prior art keywords
data
vehicle
video
equipment
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580023923.1A
Other languages
English (en)
Inventor
马克·穆勒尔
莱斯特·米克斯
罗里·麦克劳德
科林·托波尔斯基
伊尔科·德斯夫
彼得·约翰·怀特海德
杰弗里·罗伯特·波特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rhodes -Iq LLC
Original Assignee
Rhodes -Iq LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rhodes -Iq LLC filed Critical Rhodes -Iq LLC
Publication of CN106663341A publication Critical patent/CN106663341A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65FGATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F3/00Vehicles particularly adapted for collecting refuse
    • B65F3/02Vehicles particularly adapted for collecting refuse with means for discharging refuse receptacles thereinto
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65FGATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F3/00Vehicles particularly adapted for collecting refuse
    • B65F3/14Vehicles particularly adapted for collecting refuse with devices for charging, distributing or compressing refuse in the interior of the tank of a refuse vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19647Systems specially adapted for intrusion detection in or around a vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Abstract

在此的一个实例中,公开了一种用于聚合车辆中的网络并将来自那些网络的、包括视频数据的数据提供给计算机以便集成并处理来自车辆中不同系统的信息、并且以合适的格式将所述信息呈现给用户的设备。所述用于聚合网络在另一个实例中特定于车辆,并且将来自那些网络的、包括视频数据的数据提供给计算机。

Description

用于聚合网络并且将来自那些网络的数据提供给计算机的设 备、系统和方法
相关申请
本申请是2013年3月15日提交的序列号为13/838,081的美国专利申请的部分延续申请,其要求2012年3月21日提交的序列号为61/613,906的美国临时专利申请的优先权权益,两个专利申请都通过援引其全部内容并入本文。
背景技术
技术领域
在一个实例中,本公开总体上涉及一种车内计算机系统和方法。更具体地,本公开了涉及一种用于聚合车辆中的网络并将来自那些网络的、包括视频数据的数据提供给计算机以便集成并处理来自车辆中不同系统的信息、并且以合适的格式将该信息呈现给信息用户的设备和方法。
发明内容
在开始详细讨论装置、系统和方法之前,将相当广泛的概括所公开的特征,以便可以更好地理解以下详细说明,并且以便更好地理解所公开的装置、系统和方法对本技术领域的新贡献。本公开具有下文将描述的额外特征。术语“设备”偶尔在本公开中用做较长的术语“公开的系统和装置”的缩写。
在此方面,在详细解释本公开的第一实例之前,应理解所公开的系统就其应用而言不局限于以下说明中阐述的或附图中图示的结构细节或组件安排。本公开在一个实例中能够具有其它应用并且能够以不同的方式实践和实施。
该系统在一个实例中提供了一种用于聚合车辆中的网络并将来自那些网络的数据提供给计算机以便集成并处理来自车辆中不同系统的信息、并且以合适的格式将该信息呈现给信息用户的设备。在一个实例中,该设备使用一个或多个芯片上的高度集成系统来提供用于运行所公开的装置的计算资源。
为了改进组件之间的连通性,该设备在一个实例中包括用于与车辆的数据总线交互的车辆总线接口(诸如Scantool STN1110)。为了允许无线通信,该设备在一个实例中包括可以互换地在WIFI接入点、WiFi客户端、或WiFi直接模式下运行的WiFi芯片组。一个提供所期望功能的这样芯片组是CSR 6031芯片组。可替代地,该设备包括用于提供互联网连接的宽带无线调制解调器。在一个实例中,该设备包括蓝牙收发器和/或宽带无线调制解调器。为了确定设备的相对移动和/或位置,该设备可以包括加速度计、陀螺仪和/或磁强计。这些组件还可以用于惯性导航和三维(3D)定位信息。在至少一个实例中,该设备包括用于将聚合的网络数据接口连接至车辆中基于以太网的设备的以太网络接口。在一个实例上,以太网或其它连接子系统用于将聚合网络与相机、高速数据总线、或其它视频外围设备连接。这样的摄像头可以用于例如扫描货物条形码和快速响应(QR)码。
某些实施例提供了一种聚合车辆中的网络并且将来自那些网络的数据提供给计算机,其中,该设备提供
多信道模拟视频接口以便收集视频数据、将该视频数据数字化、压缩该视频数据并且保存该视频数据作为记录和/或将该视频数据实时发送至另一个计算机,如平板电脑或视频显示眼镜,以供查看或记录。视频处理主要在集成了图像处理和视频压缩的CUP上完成,例如,飞思卡尔i.MX6 Quad)应用处理器。尽管其它数量的视频信道是可能的,但优选实施例提供四个与八个之间的信道的视频获取能力。
某些实施例提供一种聚合车辆中的网络并且将来自那些网络的数据提供给计算机的设备和方法,其中,该设备经由USB接口提供允许诸如平板电脑或电话(诸如智能电话)等的另一个计算机高效接收多信道压缩视频数据的高速数据信道。优选实施例给计算机设备提供了六信道视频以供显示和/或记录。
某些实施例提供了一种用于聚合车辆中的网络并且将来自那些网络的数据提供给计算机的设备和方法,其中,该设备提供对设备如何从所附接的摄像头(诸如模拟或数码摄像头)获取视频的用户控制,包括控制视频分辨率、帧速率、缩放、和压缩格式。
某些实施例提供一种用于聚合车辆中的网络并且将来自那些网络的数据提供给计算机的设备和方法,其中,该设备可操作用于将来自附接至该设备的摄像头(诸如模拟或数码摄像头)记录到本地或远程存储装置中,诸如在平板电脑或另一个存储设备中。
某些实施例提供了一种用于聚合车辆中的网络并且将来自那些网络的数据提供给计算机的设备和方法,其中,该设备可操作用于将在一个或多个附接的摄像头(诸如模拟或数码摄像头)上获取的视频供应给增强现实查看设备,诸如谷歌眼镜,或供应给一个或多个具有固定或可动态配置的视频数据显示的显示器。
某些实施例提供了一种聚合车辆中的网络并且将来自那些网络的数据提供给计算机,其中,该设备支持在诸如平板电脑等计算机设备上运行的配套软件。该软件针对如何在计算机上查看来自该设备的视频流的直接操控提供控制,包括查看的图像的大小的控制、视频数据的剪辑或裁剪、以及多个视频信道在显示屏上的排布。配套软件还能够记录平板电脑上的视频数据以供后来回放或传输到服务器进行分发和/或存储。配套软件可操作用于当来自车辆的某些输入信号由设备接收时自动重新排布所显示的视频信号。例如,根据车辆的运行状况,例如根据接收到表明车辆速度的信息、或表明车辆驾驶员已经运用或选择了转向信号、刹车、或倒档的信息,可以按预定的配置排布所显示的视频信号。
某些实施例在机动车辆(诸如卡车或其它车辆)的乘客厢中提供平板电脑或其它计算机设备,该计算机设备与同样安装在车辆中的网络设备(诸如视频数据服务器)连接,从而能够在该计算机设备上显示来自安装在该车辆上或车辆内的一个或多个摄像头的视频数据。所显示的视频数据可以包括多个视频信道的排布的显示,示出了来自摄像头的多个视景,由此为驾驶员提供例如车辆和障碍物的改进的视图,或者监测车辆的状况、车辆道路、或可能期望的其它视频信息。多视频信道数据可以显示在单独的屏幕部分上,或者可以诸如通过使用多个摄像头模拟广角视景,将一个或多个信道组合成组合视景。所显示的视频可以为驾驶员提供使用反射镜等等不可能获得视景,诸如盲点视景,并且如此显示例如正在靠近的车辆或道路危险。卡车驾驶员或其他驾驶员可以更好地查看卡车周围的道路或区域。
根据车辆的运行状况,例如,根据驾驶员的动作、车辆的移动、或车辆系统事件的检测,可以选择所显示的视频数据的排布。例如,驾驶员激活转向信号或转动方向盘来改变车道或转弯可以在计算机设备上激活或强调来自指向车辆车道变化或转弯方向的摄像头的视频数据的显示。使用倒档倒车,则将显示或强调后置和侧置摄像头数据。车辆向前运动可以激活显示或强调所显示的指向车辆道路的视频数据以及所显示的视频数据的排布(示出车辆周围的道路和交通状况)。车辆向前运动则不再显示前置摄像头数据,因为驾驶员在驾驶时正朝前方观看并且将会通过来自其它摄像头的视频数据的显示提供更好服务。所显示的视频可以示出邻近车辆的状况以及远离车辆的状况。在某些实施例中,显示屏示出车辆的表示,并且相对于车辆表示显示视频数据,使得驾驶员可以快速确定视频图像的位置和取向。
视频数据优选地在仅仅非常短的处理延迟之后显示在车辆乘客厢中的屏幕上。在一个实例中,视频处理系统被配置成用于提供对来自摄像头的视频信号的处理,包括压缩和帧速率选择为显示少于150ms。需要实时或近乎实时显示视频数据。用于提供处理并且视频数据显示存在短处理延迟的系统是重要的,特别是当车辆高速移动或正在靠近的车辆高度移动时。甚至当多个视频信道同时显示时,该系统提供短视频处理延迟。
例如,通过将视频数据记录在平板电脑设备中的计算机可读存储器上,可以记录摄像头获得的视频数据以便稍后时间查看。所记录的视频数据可以包括视频数据的多个信道的记录并且可以包括显示的两个视频信道和没有在平板电脑的显示屏上显示的视频信道的记录。例如,在车辆向前行驶时,可以随着其他视频数据一起记录前置摄像头视频流,即使显示设备正在显示来自侧置和后置摄像头的视频而没有显示前置摄像头数据。例如,可以在开车发生事故时使用所记录的数据,以便更好地了解该事故。在一个实例中,另一个车辆可能突然转向或刹车从而成为事故的主要原因,但那辆车可能已经离开现场,可能存在极小损坏或没有损坏。所记录的视频可以用于确定其他车辆的驾驶员是否有错。
该系统可以包括用于记录车辆内部的视频数据(诸如在行驶时记录驾驶员)的一个或多个摄像头。计算机设备(诸如平板电脑)可以具有前置摄像头,其可以用于记录驾驶员视频数据。视频信道数据(包括外部和内部视频信道)可以彼此同步。例如,内部视频信道可以示出驾驶员对在一个或多个外部视频信道上可看见的事故的响应。
除了记录视频,车辆系统数据也可以被记录下来,并且优选地实时或稍后时间与视频数据同步。例如,可以随着来自车辆的其它传感器的数据一起将转向信号、刹车施加、档位选择和发动机RPM数据进行记录。所记录的数据可以用于确定关于例如指向道路的摄像头的视频数据中出现的事故是否使用车辆刹车。车辆系统中的所选择的事件可以触发标记视频信号,例如,驾驶员进行的硬刹车可以标记在所记录的视频信道数据上。
所记录的视频数据还可以用于例如确定车辆的驾驶员是否已经分发或收集。垃圾车视频可以显示当卡车经过时还没有将垃圾桶放在路边,从而回答是否漏掉收集问题。视频数据可以用于确定驾驶员是否已经对车辆道路进行驾驶前检查。当在无线模式下使用计算机设备围绕车辆走动时,计算机设备与车辆系统之间的链接可以使驾驶员能够远程测试刹车灯或其它车辆系统。
在该系统的实例中,该网络设备包括多个连接器和将安装在车辆周围的六个或更多摄像头连接起来并且将压缩视频数据馈送到平板电脑以供显示和记录的视频处理能力。驾驶员可以使用平板电脑用于其它用途,诸如播放音乐,或者当不驾驶时将信息输入工作记录中、浏览互联网、检查电子邮件或其它计算机任务。
为了允许不同连通性外围设备容易添加到系统上,该设备在一个实例中提供了MiniPCle扩展槽。
为了保持聚合网络正确运转,在某些实施例中,该设备具有充足的RAM和闪存来运行常见的嵌入式操作系统和应用软件以及存储至少2GB的数据是至关重要的。同样重要的是,在许多应用中,该设备能够管理器自己的功耗。在一些应用中,在车辆电力变低时,这种功能是重要的,这使得车辆可以使用内部电池自给自足多天。
在一些应用中提供一种系统已被证明是有用的,其中,根据该设备运行所在的上下文,该设备可以在WiFi客户端与WIFI接入点模式之间切换。通过利用能够支持任何HTML5HTML5兼容智能设备上的/CSS3/JS Web应用的web服务器和网络套接字,也可以提供连通性。在一个实例中,该设备包括可安装的服务提供商软件模块,该模块实施核心业务逻辑并且通过HTML5或相关web技术提供那个软件的用户接口以便任何给定的所有者使用该设备。
在一个实例中,该设备具有带防火墙的完整网络堆栈、动态主机配置协议(DHCP)、域名系统(DNS)、网络地址转换(NAT)、和路由特征。
在一些实例中,根据到达后端服务器该设备可使用的路径和可使用的(最低)数据传输成本,该系统已经被配置成使得该设备可以经由多条连通路径将所收集的数据报告给后端服务器。
在某些实施例中,提供了一种用于聚合车辆中的网络并且将来自那些网络的数据提供给远程计算机的设备,其中,该设备包括用于与电源、车辆、天线、网络、和可以附接至该盒的外围设备接口连接的外部连接器。
在一个实例中,该系统可以进一步包括:多个医疗探针和传感器接口。这类组件可以选自由以下各项组成的组:超声波、温度传感器、血压传感器、脉动血氧计、葡萄糖传感器、和心电图(EKG)。还可以利用能够解释并处理探针或传感器接口数据的软件应用。
可以按照附图中所图示的形式实施所公开的装置,然而,应注意以下事实:附图是对一些实例的说明,并且在本申请的范围内可以对所示和所述特定结构进行改变。
附图说明
结合附图加以考虑时,可更全面认识本公开的其它不同目的、特征和伴随的优势,并对其有更好的理解,其中,整个若干视图中,相同的参考字符指代相同或相似的部件,并且在附图中:
图1是与多个外部外围设备、网络和系统接口连接的车辆计算机系统的一个实例的图解;
图2是根据所公开的系统中所包括的硬件组件的一个实施方式的方框图;
图3是根据所公开的系统的一个实施例的车辆计算机系统软件的方框图;
图4是示出了所公开的系统的一个实例的图解;
图5是可操作用于进行视频获取、变换、记录和显示的系统的图解;
图6是示出了卡车或休闲车的摄像头信号的屏幕布局的流程图;
图7是示出了公共汽车的摄像头信号的屏幕布局的流程图;
图8是示出了垃圾车的摄像头信号的屏幕布局的流程图;
具体实施方式
A.概述
现在对附图进行描述,其中贯穿多个视图中,相似参考字符表示相似元件,尽管也可以利用其它组件和这些组件的变体,但这些图图示了三个主要组件。在一个实例中,第一组件是包含实施车辆计算机系统的电子器件的主板。第二组件是软件,该软件实施使得电子器件启用所需功能的指令。在本实例中,第三组件是用于保护主板并且提供将设备安装在车辆中的方法的机箱。
B.外壳(机箱)
在所公开的系统的一个实例中,提供了机箱(或壳体)。机箱11容纳并保护主板20(参见图2)和其它电子组件。装载有软件的主板20包括电路和带有软件的存储器。箱11保护主板20不受损坏并且提供车辆计算机系统安装在车辆中的方式。
外壳11为车内计算机系统的主板20提供适当的容纳空间、保护、安装和可能散热。外壳11大小可以根据主板20和主板20上包括的特征来确定。外壳11容纳主板20搁置在其上的支撑件,并且当外壳11完全组装好时可牢固容纳主板20。外壳11应由适合于汽车环境的材料(诸如141聚碳酸酯)制成。
各种连接器从箱11中伸出,系统利用这些连接器用于将各种系统和外围设备集成在车辆中。车辆线束连接器13提供与车辆的电源的连接点、诊断总线,并且准许与必须通过继电器控制的车辆系统接口连接。车辆线束连接器13封装车辆总线或诊断接口5、车辆启动信号、转向信号、倒档信号、升/落窗信号3以及和车辆电池连接4。存在通用串行总线(USB)端口14从而允许与个人计算机(PC)(例如,用于接收软件更新)连接或者附接USB外围设备1(诸如大容量存储设备或传感器)。以太网端口15提供与车内或车上以太网设备6(诸如IP摄像头等)的连接。在设备没有在主板20中内置天线的情况下,天线孔塞连接器16、17、18可以用于将不同的无线通信结构(天线2)连接至该设备。在一些实例中,提供了状态指示器12以用于在该设备或外围设备的任何组件发生故障情况下诊断该设备的问题。还提供了摄像头输入8,从而允许一个或多个模拟摄像头7与主板20连接以便对模拟视频数字化。
在需要要求完全或几乎完全不透气且防潮的特征的入口保护(IP)额定机箱情况下,主板20到环境的散热可能不足。在这种情况下,机箱的多个部分可以由铝或其它充分导热材料制作而以方便导热。在大多数实例中,将期望利用对于该设备布置的环境而言也足够牢固的材料。热胶或其等效物可以用于将中央处理单元(CPU)21(参见图2)热粘合到机箱11上从而散热。也可以采用散热片或其等效物。
C.主板
在一个实例中,参照图2,主板20可以包含车辆计算机系统运行用于执行在此列举的功能的软件元件所需的所有电子器件。
主板包含车内计算机系统的所有电路。主板的核心是片上系统CPU 21(诸如CSRAtlas VTM或飞思卡尔(Freescale)i.MX6 Quad芯片)。在一个实例中,这个芯片为组成该系统的所有其它芯片提供接口。存储器27可以分为随机存取存储器(RAM)和闪存从而为系统操作提供数据存储、和软件与数据存储。WiFi系统22芯片组通常经由安全数字输入/输出(SDIO)(诸如CSR 6031TM多信道输入多路复用器)连接,并且根据其运行模式提供WiFi客户端、WiFi接入点和WiFi直接功能。这允许该设备既用作用于给设备提供数据的接入点,又用作用于与其它WIFI接入点连接的WiFi客户端、或者用作WiFi直接网络中的对等设备。
传感器23可以包括加速度计、陀螺仪、磁强计、电池电压计、温度计、输入电压计、和通用目的输入输出传感器(GPIO)101。传感器还可以包括刹车传感器、选档传感器、或其它车辆系统传感器、操作员活动传感器、或运行状况传感器。还可以提供GPS接收机。这些传感器通常经由CPU 21上的内集成电路(12C)连接至或者集成到CPU 21中。电池管理子系统25控制可选电池的充电,并且在一个实例中,当已经移除车辆电源81时,允许系统继续运行。在一个实例中,电池管理子系统25允许该设备检测并报告功率损耗,并且在不附接至车辆电源情况下完全运行直至电池充满电。还应理解,通用I/O 101用于与离散信号系统连接,诸如车辆倒档指示灯、车辆刹车灯、车辆转向信号、用于感测这类信号的状态的车门销开关。GPIO 101还可以驱动继电器将提供给车辆中的组件的电接通和关掉。
在一个实例中,车辆接口24提供用于美国汽车工程师学会(SAE)车载诊断系统(OBD)II的标准接口和SAE J1939车辆总线接口。该车辆接口还与标准控制器局域网(CAN)总线一起工作。这个接口可以进一步增强以支持其它串行总线接口。在一个实例中,车辆接口24基于芯片,像OBD解决方案STNl 110或ELM电子器件ELM327。芯片经由高速通用异步接收机/发送机(UART)与CPU(21)连接。
全球定位系统接收机(GPS)29是由诸如CSRGPS供应商提供的离散模块或uBlox。在此使用的术语GPS用于表明用于接收外表面或轨道发出的无线信号并且计算相对于那些相同信号的起源(诸如GPS卫星75)的位置的系统。在一个实例中,CPU 21提供用于内置GPS(例如CSR Atlas V),并且在该实例中,GPS 29可以仅仅是与天线接口连接所需的额外电子器件。该GPS 29经由UART或基带接口与CPU 21接口连接。在另一个实例中,GPS 29可以实际上作为卡驻留在MiniPCie插座中或集成在插入MiniPCie插座中的调制解调器中。
以太网络接口28提供了将主板20附接至其它以太网设备(诸如一个或多个摄像头或电气与电子工程师协会(IEEE)802.l ip收音机)、或其它自定义网络设备的方法。以太网络接口28可以用于与计算机设备连接。在一个实例中,以太网接口经由安全数字输入/输出(SDIO)或安全参数索引(SPI)与CPU(21)连接。在一个实例中,调制解调器接口26由三个子组件组成,包括USB连接器、与该USB连接器连接的微型外围组件互连(MiniPCie)连接器和插入MiniPCie连接器中的调制解调器模块。调制解调器接口26提供对无线网络的接入,包括例如蜂窝3G/4G网络或其它蜂窝网络、蓝牙网络、卫星网络、或许可频率下的自定义无线电接口。在一个实例中,调制解调器接口26的USB组件单独用于允许其它USB设备附接至主板20。该接口可以包括USB连接器、串行连接器、并行连接器、RCA连接器组、闪电TM(Lightning)连接器(诸如用于苹果牌平板电脑)、火线TM连接器、或其它用于与计算机设备和/或用于与外部存储设备或其它外围设备连接的连接器。
主板20的设计使得当建造主板20时各子系统不填入其部件。在任何布置中,WiFi系统22、传感器23、车辆接口24、电池管理系统25的电池部、调制解调器接口26、以太网28和GPS 29全都可以减少,并且其余子系统都将正确工作。当可以使用这个减少(depopulation)系统时的一个显著组合是调制解调器接口26填充有内置有从GPS卫星75接收信号的GPS或辅助GPS(AGPS)的调制解调器。在这些情况下,用户可能仅想要在调制解调器上使用GPS以节省专用GPS 29的成本和/和复杂度。主板20的常见的降低成本的配置仅包括多个子组件,诸如CPU 21、WiFi系统22、车辆接口24、电池管理系统25(减去实际电池)和存储器27。
为了支持视频获取,主板可以包括视频模数转换芯片100(诸如Intersil公司的TW6869芯片),在某些实施例中,4到8个摄像头与主板连接。转换芯片可以经由PCle接口与片上系统CPU连接。替代性实施例可以将其它制造商的视频模数转换芯片100与MIPICSI2接口,而非PCle接口连接。此外,优选实施例的片上系统支持色彩空间转换特征和H.264压缩特征,使得来自视频模数转换芯片100可以被压缩、分配并且接着呈现在附接的计算机系统上或记录在主板上的附接至主板上的扩展端口的永久性存储设备、或者附接的计算机系统上的永久性存储设备(例如,使用平板电脑上的存储装置)。
D.视频获取子系统
某些实施例的视频获取子系统(参见图5)包括执行本申请中列举的视频获取任务所必需的功能的系统中的软件组件和硬件组件。视频获取子系统可以与一个或多个摄像头连接,包括模拟摄像头和/或数码摄像头。摄像头可以安装在车辆上,诸如在车身上和/或车辆后视镜中或其它配件或组件中。摄像头可以指向车辆的前方、后方、指向左侧和指向右侧。摄像头可以包括指向车辆后视镜系统中的盲点的摄像头。摄像头可以包括一个或多个指向车辆负载和/或指向车辆组件或系统的摄像头。摄像头可以指向车辆内或安装在车辆内,诸如在车辆的乘客厢内。
某些实施例的视频获取子系统119包括两个主要的组件系统。第一组件是视频编码单元159,而第二组件是计算机设备160,诸如平板电脑、智能电话、或其它计算机设备。视频由视频编码单元159获取和编码,经过处理并且接着存储在视频编码单元中的数据文件132中,或者经由USB链路161或WiFi链路162通过网络连接发送。在一个实施例中,可以通过以太网链路69(参见图4)发送经处理的视频数据。
如图5中所示,计算机(平板)设备160接着接收视频数据(例如,经由USB链路或WiFi链路),对视频数据解码并且将视频数据记录到数据文件139中和/或在显示器158上呈现视频数据的至少一些信道。
从摄像头138检测到现实生活事件到该事件的视频表示出现在显示器上所花费的时间被称为视频滞后。因为在车辆60mph行驶下每10ms的视频滞后表示10英寸的移动,所以在某些实施例中,视频滞后的减少是必要的。为了减少系统中的视频滞后,视频处理被分解成可以并行执行的若干个短步骤以减少流水线中视频处理步骤,从而减少延迟时间。
在某些实施例中,原始模拟视频数据(例如,NTSC格式)从多个摄像头138(例如,可以是4个到8个)发送到TW6869视频获取芯片125以便获取视频信号。Tw6869视频获取芯片125将其输出引导至被读入IMX6的IPU(图像处理单元)127中的缓冲区126以便进行色彩空间转换,接着其色彩空间输出经由RAM 128被引导至iMX6的VPU(视频处理单元)129中以便进行视频压缩。这个过程由主驱动程序120(例如,TW6869驱动程序)控制,该主驱动程序对用于图像处理的IPUv3驱动程序121与用于视频处理的VPU驱动程序122进行协调。一旦视频从VPU 129输出至RAM 130中,经由UDP视频传输133通过网络堆栈广播视频数据的视频帧泵123提取。该视频可以由帧流传输器(frame streamer)124发送至文件系统131,使得视频数据帧记录到数据文件132中。
一旦视频帧数据经由UDP视频传输133插入到网络堆栈134中,该视频帧数据就经由WiFI链路162或以太网链路69通过诸如以太网或WiFi 136的网络连接发送出去,或者该视频帧数据被打包(封包)在USB传输135中并且经由USB链路161通过USB 137发送至计算机(平板设)备板160。一旦视频数据由计算机(平板)设备板160接收,视频数据继续通过USB功能设备驱动程序140并且接着通过USB传输驱动程序144,或者视频数据通过以太网或WiFi141到达。接下来,经由网络堆栈142来呈现该数据并且接着可经由UDP传输143来获得该数据。
一旦经由UDP传输143可获得视频,则该视频可以由G流传输器UDP插件151提取用于配置多媒体框架协议,传递至RTP去有效载荷152以便从RTP(实时传输协议)流中的报头中去除有效载荷数据,接着传递至H.264解析器153以便对该数据进行解析,然后是解码H.264 154对该数据进行解码,接着传递至色彩空间转换组件155以便生成色彩信道信号,接着传递至视频汇点156,并且最后发送至开放式图形库API 157以便进行图形显示,从而使得视频出现在显示器158上。此外或可替代地,可以通过包括G流传输器UDP插件150、RTP去有效载荷149和H.264解析器148(分别与项目151、152和153相对应)的类似路径来记录视频。然而,并非穿过解码H.264 154,视频数据传递通过队列147,并且接着传递至H.264至MP4转换器146从而将视频数据转换成MP4文件,该文件被发送至文件系统145以存储,其中,该文件存储作为数据文件139。
由此,视频数据根据需要显示给驱动程序并且被存储以供稍后检索。存储的数据可以被存储作为先进先出(FIFO)数据,使得最新数据替换旧的数据。车辆系统中的触发事件,诸如重刹车动作,可以对视频段标记以用于备用参照,并且可以对视频段标记以用于更久的存储。
E.操作系统软件和设备驱动
软件向处理器和主板提供指令以使处理器能够执行本申请中列举的任务。
在一个实例中,某些实施例的核心操作系统33是微软Windows CE 6。在其它实例中,核心操作系统可以是QNX、Linux或安卓操作系统软件。硬件抽像层31处于操作系统软件和设备驱动30的最底层。此硬件抽像层31包含用于在启动时间期间、在中断操作过程中、在最低功率操作模式期间、并且在关键系统故障期间操作硬件的组件。在该硬件抽像层31与操作系统交互期间,硬件抽像层31可以不需要操作系统以执行其功能。在一个实例中,硬件抽像层31是系统中故障容限和恢复的关键部分。在一个实例中,硬件抽像层31包括系统计时(timekeeping)、电源管理、CPU配置、事件日志和故障后分析的低层诊断。该硬件抽像层31还利用暴露于设备驱动程序32以中断处理的正式应用编程接口(API)。
在该系统的一个实例中,设备驱动程序32处理系统中的所有不同的设备,包括物理设备和虚拟设备。在这个层,存在传感器23、车辆接口24、以太网28、和GPS 29的驱动程序接口。在一个实例中,供电管理器34管理系统中的电源和电池充电。供电管理器34还可以负责确定系统的当前电源状态并且负责当必要时相对于应用软件40可以请求的电源状态来调整当前电源状态。供电管理器34也可以负责解决紧急情况,诸如车辆电源81突然丢失、故障电池、和温度状况。
空中(over the air)更新支持35与操作系统软件和设备驱动30中的组件一起运行以方便安全下载、安装、和恢复车内计算机系统的软件和附接至该车内计算机系统上的设备(诸如车辆接口24或调制解调器接口26)的软件更新。空中更新支持35能够运行主板20硬件来方便操作系统软件和设备驱动30升级。
在一个实例中,调制解调器处理程序36是一种软件堆栈,用于操作经由调制解调器接口26连接至设备的不同3G或4G蜂窝调制解调器。调制解调器处理程序36检测所安装的调制解调器的类型并且配置自身以正确操作调制解调器所必需的模式运行。
在一个实例中,WiFi处理程序37是一种软件堆栈和API,能够根据应用软件40的请求以WiFi客户端、WiFi接入点或WiFi直接模式运行WiFi系统22。WiFi处理程序37可以自动配置大多数WiFi参数,所需要的是应用软件40仅提供安全密钥和服务集标识(SSID)来创建连接。
视频获取38组件在某些实施例中负责实施图5-视频获取子系统119中所描述的视频编码单元159堆栈。视频获取38包括可操作用于打开和关闭视频、选择摄像头、配置帧率、和缩放的控制API。
视频显示可以动态地变换来放慢以显示来自单个摄像头或多个摄像头的视频信息。视频显示不局限于某些预定的监测器格式和/或取向,而是可以以编程方式变化来以任何取向、以任何摄像头组合、按认为期望的任何屏幕布局进行显示,并且屏幕上图像缩放、剪辑和定位灵活。
视频显示可以包括以视频数据显示的标签,从而向用户表明不同摄像头视景位置和取向。这些标签可以是文本或代表性符号。在使用视频系统时可以在任何场合使用这些标签,或者可以根据用户的需要打开和关闭这些标签。
平板电脑或其它计算机设备的显示器部可以示出来自车辆上或周围的传感器的信息和输出数据。例如,显示器可以在平板电脑的屏幕上示出加速度计输出、转向信号指示灯、刹车传感器、或其它传感器信息。显示器可以表明摄像头的状态,使得在车辆运行状况期间不给用户主动显示视频数据的摄像头即使发生了故障也可以被检测到且被维修。例如,可以在驾驶员在车道变换操作过程中发现该摄像头发生了故障之前,该驾驶员根据状态指示灯确定右侧摄像头没有运行。
在某些实施例中,显示包括车辆的表示,诸如表示卡车或其它车辆的垂直条(vertical bar)或其它视觉元素。来自摄像头的视频数据相对于该表示显示在不同的位置,从而使用户能够快速确定由此看到车辆周围区域的近乎实时视景、以及直到水平线的视景、和可能车辆的或/或车辆内的视景的摄像头视景取向和方向。
所记录的视频可以在计算机设备上回放,使得用户可以查看事件的视频。所显示的记录视频可以通过与当正获得视频流时所显示给驾驶员的相同格式和相同数量的信道来呈现,或者可以显示其它视频信道,包括同时或按顺序显示所有视频信道。
为了支持主板20的灵活配置,操作系统软件和设备驱动30可以在初始化过程中提供设备检测。在本实例中,如果外围设备(传感器等)不存在,则不加载该外围设备的设备驱动。如果存在外围设备,则加载相关联的驱动。额外设备驱动32可以添加至此配置以支持经由调制解调器接口26或额外传感器23上的USB支持的额外设备。
F.应用软件
该软件利用用户接口并且可以执行所公开的系统图和设备的任何给定部署所需的业务逻辑。
应用软件40可以包括API层,该API层为应用软件40提供结构化方法以访问复杂数据。在一个实例中,应用软件40还包括从API层收集数据的服务器层。首要地,服务器层由网络套接字(WebSockets)44和网络服务器45组成。在一个实例中,提供应用软件40作为驻存在主板20上的web应用46或服务提供商应用47,从而消除对安装在远程计算设备上的软件的需要。
在一个实例中,车辆总线API 41从与车辆接口24共享数据的设备驱动32收集数据并将该数据解释成网络套接字44可以接受的格式。车辆总线API 41还可以接受来自网络套接字44的数据,验证数据的合法性,并且接着将该数据传递至设备驱动32,该数据接着传递至车辆接口24,使得可以通过HTML5应用来控制车辆总线上的组件。
可以以此方式控制的组件的实例包括:车辆前灯、门锁、和发动机启动。
在一个实例中,传感器API 42从(与传感器23交换数据的)设备驱动程序32收集数据并将该数据解释成网络套接字44可以接受的格式。在一个实例中,传感器API 42还可以接受来自网络套接字44的数据,验证该数据的合法性,并且接着将所解释的数据传递至设备驱动程序。该数据接着可以传递至传感器23。
在一个实例中,定位API 48从与GPS 29交换数据的设备驱动32收集数据并将该数据解释成网络套接字44可以接受的格式。定位API 48还可以从网络套接字44取数据,验证该数据的合法性,并且接着将所解释的数据传递至设备驱动32。该数据接着可以传递至GPS29。
以下组件使用短期数据存储器43:设备驱动32、供电管理器34、空中更新35、调制解调器处理程序36、WiFi处理程序37、车辆总线API 41、传感器API 42、服务提供商应用47以及定位API 48,以保持任何具体数据要素的上次报告值的副本。上次已知的良值的副本接着可以由网络套接字44传递或者直接由服务提供商应用47访问。
在一个实例中,网络套接字44用于向通过网络服务器45通信的HTML5网络应用46公布数据,或者用于对服务提供商应用47公布数据。HTML5网络应用46或服务提供商应用47还可以使用网络套接字44来将数据发送至各种子系统,但不向那些子系统提供不受控制的接入。网络套接字层使用文本命名惯例以规范化格式提供设备收集的数据以允许以标准化方式访问设备上可获得数据而不必考虑数据的实际起源。网络套接字44还可以提供至以下设备的输入/输出路径:经由调制解调器处理程序36与调制解调器接口26连接的设备、经由设备驱动程序32与以太网28连接的设备、或经由WiFi处理程序37与WiFi系统22连接的设备。也可以以有限方式使用网络套接字44通过电源管理器34执行电源管理。
网络服务器45可以是符合互联网标准并且还支持ISAPI扩展的网络服务器。一种形式的网络服务器45能够满足网络应用的全HTML5/CSS3/JavaScript支持要求。网络服务器45将文件传递至经由WiFi系统22、以太网28或调制解调器接口26与主板20连接的网络上的请求者。
网络应用46可以寄于网络服务器45。在一种形式中,Web应用46递送至经由WiFi系统22连接的请求设备,通常是(便携式)智能设备。该应用可以实施至车内计算机系统的用户接口。系统上可以存在一个或多个网络应用46,并且一次可以支持一个或多个请求设备。网络应用的一个非常强大的特征是这类网络应用跨多个平台运行,这助于消除相容性问题和设备版本问题。
服务提供商应用47可以实施系统的业务逻辑来提供功能,诸如与后端服务器连接、合成或处理来自不同接口的数据并且接着报告所处理的数据、用日志记录所处理的数据、或根据所处理的数据或原始数据触发事件。典型的实例可以用于车辆自动定位系统,其中,服务提供商应用47可以通过使用定位API 48来跟踪车辆的位置,将该信息处理成远程服务器会请求的形式,并且接着经由调制解调器处理程序36或等效子系统报告车辆的位置。在一个实例中,服务提供商应用按重复方案(例如,像每5分钟)重复定位系统/路径。在一种形式中,例如,当车辆熄火时,禁用定位和报告系统。在其他实例中,诸如当车辆没有运行时,报告子系统可以按交互方案运行,在这种情况下,报告子系统例如每小时报告车辆位置。
可以创建多个Web应用46或不同复杂度的服务提供商应用47。在一些实例中,可以存在多于一个服务提供商应用47。此外,可以用目标操作系统支持的编程语言来写入服务提供商应用。同样,如果网络套接字44提供的数据要素或服务是不必要的,服务提供商应用可以直接接入而不是使用网络套接字44来接入不同的操作系统33API。
进一步地,经由WiFi系统22、以太网接口28或调制解调器接口26连接的智能设备可以包括其上的专用应用,这些应用直接使用网络套接字44接口而不使用Web应用26。
G.所公开的系统和设备的主要元件与子元件的连接
应用软件40存储在设备的永久性存储装置(诸如闪存)中并且由操作系统软件、服务、和装置驱动30托管。每个应用软件、操作系统软件、和设备驱动程序安装在插入机箱(或外壳)11中的主板20上。远程计算机或本地计算机接着可以远程接入应用软件,并且对用户显示数据输出,或者该数据可以由本地计算机访问,诸如平板电脑或智能电话或其它计算机设备。远程计算机还可以包括用户输入外围设备,诸如触摸屏、键盘、鼠标等,用于导航应用软件、选择并操纵数据显示、和输入命令和数据。计算机设备可以包括便携式计算机设备、固定计算机设备(在车辆固定时系统与该固定计算机设备连接)、台式计算机、自助服务终端计算机、膝上计算机、上网本计算机、笔记本计算机、工作站计算机、服务器计算机、智能电话、PDA、电子阅读器设备、或其它计算机设备。计算机与系统之间的连接可以包括互联网连接、网络连接、WAN、LAN、无线连接、蜂窝连接或其它有线或无线连接。
参照图3,该图从逻辑块角度示出了一个实例的软件如何进行安排的细节。此外,对图4做出了参照,从而理解数据如何经由各种软件子系统流至应用软件40及如何从应用软件40流过各种软件子系统。
H.所公开的系统和设备的可选实施例
本公开的系统和设备的可能的可选变体包括:
1)自助服务终端(Kiosk)连接盒,其为CPU 21、电池管理25、调制解调器接口26和以太网子系统28提供在发生故障时保持网络连接所必要的带有应用软件的相关联操作系统和设备驱动30。这些组件中的每个组件可以方便地设置在一个外壳11中。
2)自动售货机(Vending Machine)连接盒,其为CPU 21、电池管理25、调制解调器接口26和来自车辆接口24的CAN接口提供相关联操作系统和设备驱动30以及服务提供商应用47。在本实例中,服务提供商应用47可以提供与自动售货机的互联网连接以便清算信用卡交易并且可以通过CAN与自动售货机硬件通信。再次,这些组件中的每个组件可以方便地设置在一个外壳11中。
3)车内WIFI接入点,包括CPU 21、WiFi系统22、电池管理25、调制解调器接口26、操作系统软件和设备驱动30,用于充当无线接入点。在一个实例中,所有这些组件设置在一个方便地外壳11中。
4)医疗探针无线插接站,为CPU 21、WiFi系统22、电池管理25、和来自车辆接口24的CAN接口提供相关联操作系统和设备驱动30以及服务提供商应用47,这些操作系统和设备驱动程序以及服务提供商应用允许医疗探针插入到CAN或USB总线接口并且让服务提供商应用处理探针数据,并且经由HTML5和网络套接字通过介绍的用户接口使得经由WiFi附接的智能设备可看见探针数据。在一个实例中,该插接站经由WiFi与医疗数据服务器安全通信。在一个实例中,患者医疗数据存储在安全医疗数据服务器上,而不是存储在智能设备上。
优选实施例的操作
参照图4,示出了一个实例中所公开的系统和设备的操作的可视图示。
信息枢纽70将车辆上的不相关的系统带到一起形成可以用于信息、娱乐、诊断、数据收集和控制的格式。以下详述了每个不相关的子系统。
车辆数据总线77:
通过车辆总线接口76,从车辆数据总线77上的各个设备(诸如发动机控制单元78、胎压监测器79和气候控制单元80)收集数据。在一个实例中,车辆总线接口76经由车辆线束连接器13与车辆接口24连接。设备驱动32操作车辆接口24,进而经由车辆总线API 41显示来自车辆数据总线77上的设备的信息。车辆总线API 41接着通过短期数据存储器43公布信息。在此,数据被归一化,使得网络套接字44可以接收和解释该数据。如果诸如平板电脑83或智能电话82等远程计算设备经由WiFi系统84或WiFi系统22或通过与信息枢纽70的有线连接并运行Web应用46来附接,则网络套接字44可以将来自短期数据存储器43的信息提供给Web应用46。
通过以太网接口28和以太网络,一个或多个以太网设备(65、66和67)可以与信息枢纽70连接。在本实施例中,支持802.1lp的专用短距离通信单元65与以太网集线器66连接。同样,以太网视频服务器67可以与以太网集线器66连接。若干摄像头可以经由以太网视频服务器67与以太网集线器66连接,例如,像:左后视摄像头61、前视摄像头62、后置摄像头63、和右后视摄像头64。
DSRC/802.1lp单元65(或等效物)从其它车辆和传输路侧单元86路由专业数据及将专业数据路由至车辆和传输路侧单元86。在一个实例中,通过在诸如智能电话82或平板电脑83等计算设备上的服务提供商应用47、视频编码单元159、或Web应用46内传递流量数据。在一个实例中,DSRC/802.l ip单元65(或等效物)可以通过以太网接口28从信息枢纽70路由常规网络流量(诸如Web应用46),该网络流量由网络设备驱动32处理并且传送至与DSRC/802.l lp单元65通信的其它设备。
在一个实例中,以太网视频服务器67通过以太网经以太网集线器66将视频流传输(传递)至信息枢纽70。这个视频流接着可以由设备驱动32接收。设备驱动32操作网络,并且该视频流接着可以被路由至请求该视频流的任何Web应用46。替代实例是将视频服务器67集成到主板20上以便与视频子系统40中所描述的设备直接视频连接。另一个替代实例提供将摄像头集成到视频服务器中并且直接插入以太网集线器66中的IP摄像头。
在一个实例中,视频子系统40通过USB 1、WiFi 84、以太网69或甚至通过蜂窝链路72将视频从例如4到8个摄像头87(尽管其它数量的摄像头也是可能的)流传输至电话82、平板83、接入点85或服务器74。这可以与以太网视频服务器67明显不同。
在一个实例中,调制解调器处理程序36经由调制解调器天线孔塞18,与想要将数据发送到信息枢纽70的内网之外的任何应用软件40共享至3G/4G 72网络(或等效物)的调制解调器接口26连接。调制解调器处理程序36还允许在核心操作系统33中使用网络地址转换技术将来自WiFi系统22或以太网网络28的网络流量发送出调制解调器接口26。通过调制解调器接口26,可以将数据发送至蜂窝网络71,接着如果需要的话,发送至互联网73,并且最后发送至非车载服务器74。在一个实例中,信息枢纽70代表服务提供商应用47或Web应用46还可以询问非车载服务器74应用软件40应遵循的动作指令。信息枢纽70与非车载服务器74之间的通信也可以包括空中更新支持35。最后,可以通过蜂窝网络71、通过调制解调器接口26、通过调制解调器处理程序36在互联网73上将web应用46远程接入到设备驱动程序33、接入到Web服务器45。在一个实例中,调制解调器接口26还可以具有经由AGPS或某种其它机构在其上编程的GPS信息。在一个实例中,可以经由定位API 48或通过使用内置到主板29中的GPS传递该全球定位信息。
在一个实例中,WiFi系统22以三种不同的模式或以这些模式的组合工作。
在接入点模式下,WiFi接入点22用作无线接入点,将诸如平板电脑83或智能电话82等任何WiFi设备附接至该无线接入点。这个模式为所附接的设备提供对网络应用46、视频编码单元159、互联网73、或以太网28上的设备(例如,专用短距离通信(DSRC)65或以太网视频服务器67)的接入。这个接入点模式还允许设备接入附接至WiFi的其它设备。
在客户端模式下,WiFi系统22与附近的接入点85连接,WiFi系统22被授权与这些接入点连接。这种客户端模式允许服务提供商应用47通过WiFi系统22上传和下载信息,或者可以通过接入点85提供与互联网73的连接。在一个实例中,这个系统对于车辆所停的车场而言是理想的,允许这些车辆有成本效益地传递所收集的信息并且经由例如空中更新支持35下载软件更新。
在WiFi直接模式下,WiFi系统22可以为WiFi直接兼容设备(诸如平板电脑83)提供接入点功能,同时还与其它WiFi设备(诸如WiFi显示器、WiFi扬声器或其它WIFI接入点85)连接和共享数据。
在一个实例中,与WiFi系统22连接的设备可以在以太网28连接的设备和调制解调器接口26连接的系统上路由网络流量。在一个实例中,WiFi系统22利用通过WiFi 22中的WiFi天线孔塞17或集成天线发送的无线电信号。
在一个实例中,GPS 29子系统通过设备驱动32报告信息并且向上报告给定位API48。在一个实例中,GPS数据接着被标准化并且公布给短期数据存储器43,在该短期数据存储器43,标准化数据被提供给网络套接字44并且最终由Web应用46或服务提供商应用47所接受。GPS 29通过GPS天线孔塞16接收GPS数据。
传感器接口在单个接口(传感器API 42)下将多个不同类型的传感器23收集在一起,这些传感器包括加速度计、陀螺仪、磁强计、电池电压、输入电压、内部温度、电池温度、通用输出、通用输入。此信息可以用于从惯性角度确定车辆正在发生什么。这还可以用于确定运行条件是否在规范内。也可以提供系统和机构用于用户直接输入,以便诸如通过触摸屏、键盘、鼠标、或其它用户输入终端用日志记录健康、睡眠、停止、加油等。
经由网络套接字46和服务提供商应用47利用此信息。
电源管理器34接口允许详细控制设备的电力使用。在一个实例中,可以对主板20的每个主要块供电和切断电源,并且其变体使用这个电源管理器34接口。在一个实例中,使用短期数据存储器43将电源条件传递至电源管理器34并且使得经由网络套接字44或通过操作系统33API直接可获得电源条件。
在此描述的所公开的系统和设备中,可发生,包括但不限于,以下若干个情景:
远程和便携式计算设备(诸如平板电脑83或智能电话82)可以经由WiFi系统84或WiFi系统22与例如信息枢纽70连接。在一个实例中,便携式计算设备接入网络服务器45,该服务器接着将Web应用46传递至远程计算设备。Web应用46接着在远程计算设备的显示屏上显示车辆的仪表。网络应用46与网络套接字44通信以检索仪表数据并且将此数据传递给显示屏。在一个实例中,网络套接字对保持最后报告的数据值用于仪表的短期数据存储器43进行询问。在一个实例中,车辆接口24从车辆数据总线77接收数据、将数据传送至设备驱动程序32,这些设备驱动程序32接着将数据传送至车辆总线API 41以供处理(分解)。接着可以将数据报告给短期数据存储器43以便当请求该值时传递给网络套接字44。服务提供商应用47可以被配置成用于检测车辆总线API 41传递的诊断故障码,并且在检测到时生成报告(警报)来发送给车队管理服务器。可以通过网络设备驱动程序32、通过调制解调器处理程序36、通过蜂窝网络71将该报告按路线发送至互联网73并且进一步传递至车队服务器74。车队服务器74可以请求关于车辆(全球)位置和惯性数据(移动)的信息。服务提供商应用47还可以被配置成用于请求定位API 48和传感器API 42收集所需信息(数据)。在一个实例中,接着经由调制解调器接口26将该信息传递至服务器74。
在一个实例中,当车辆进入车场并且熄火时,服务提供商应用47可以被配置成用于感测关闭信息枢纽的需要并且可以请求电源管理程序至少关闭信息枢纽70的一部分。服务提供商应用47接着可以对继电器68发出切断以太网69上的一个或多个设备的电源的信号,该一个或多个设备可以包括DSRC/802.11p 65芯片、以太网集线器66和/或以太网视频服务器67。WiFi系统22接着可以从接入点模式切换至客户端模式并且其在车库区与接入点85连接。
完整的诊断信息可以由服务提供商应用47使用车辆总线API 41来收集并且经由WiFi系统22接入点85连接被发送至服务器74。该单元接着经由供电管理器34完全切断电源。
HTML5应用经由网络套接字可以请求车辆组件控制信息。网络套接字接着可以请求服务提供商应用47在车辆总线API 41上发送控制代码来与车辆中的组件(诸如门锁、车厢或行车灯或发动机控制(点火))交互。可替代地,服务提供商应用47可以在以太网或WiFi上将控制代码发送至其它设备来控制这些或等效组件。
在至少一个实例中,单个设备或系统可以接收和聚合车辆数据和医疗数据。这类组合尤其适用于收集有车辆数据的救护车,不仅仅是在地面,而且也可在空中和水上。
视频显示布局
参照图6,来自车载摄像头的视频数据可以在驾驶员视野内显示在车辆中所安装的平板电脑或其它显示设备上。图6的车辆是具有四个摄像头的卡车或休闲车(RV),这些摄像头被定向成用于提供车辆周围的区域的视景并且包括前置摄像头、后置摄像头、驾驶员侧置摄像头和乘客侧置摄像头。这些摄像头可以安装在车身上、在车身内、在反射镜组件内、或在车辆的其它部件处。平板电脑或其它计算机设备以一定布局在显示屏上同时显示若干摄像头的视频信号。用户可以从多个可能的屏幕布局中进行选择,或者屏幕布局可以被预编程到平板电脑或其它计算机设备上。
如果用户选择卡车或RV屏幕布局200,则在202中,计算机设备确定是否给计算机设备供应外部电源。在204中,计算机设备接入平板。如果在202中外部电源与计算机设备连接,则在206中,查询计算机设备是否安装在支架(诸如车辆中的插接台)中。计算机设备生成208中所示的显示,在屏幕的顶上显示前置摄像头的视景、在屏幕底部显示后置摄像头的视景、在屏幕的中间左部显示驾驶员侧摄像头视景并且在屏幕的中间右部显示乘客侧摄像头视景。视频布局如此安排,仿佛车辆在屏幕中间,具有所述安排的周围道路和区域的视景。当摄像头设备没有与外部电源连接也没有与插接站中的支架连接时,可以显示这个布局。
如果连接外部电源并且插接计算机设备,则系统在210中确定是否已经激活车辆的转向信号。如果已经激活,则在212中,系统确定激活了哪个转向信号。如果右转向信号是激活的,则视频显示的布局变到显示器214以提供右侧、或乘客侧摄像头的较大视景和后摄像头的较小视景。未示出前置摄像头和驾驶员侧摄像头。如果左转向信号是激活的,则视频显示的布局变到显示器216以提供驾驶员侧摄像头视频信号的较大视景和后摄像头视频的较小视景。由此为驾驶员提供测量转向的那侧的增强视景或车辆变道进入的车道的增强视景。
如果在210中转向信号未开,则在218中,系统确定车辆是否以一定速度行驶。例如,可以提供5mph阈值。对于超过5mph的检测车辆速度,在本实例中,通过将屏幕大致分成三份,驾驶员侧在左而乘客侧视景在右,选择显示布局220,该显示布局具有驾驶员侧视频和乘客侧视频的较大视景以及后置摄像头的较大视景。未示出前视视频。
如果在218中,确定车辆具有少于5mph的前进运动,则在222中确定是否倒车。如果在倒车,则示出布局224,该布局去除了前视视频,在显示器的顶部的位置保持较小的驾驶员侧和乘客侧视景,并且示出了较大的后视视频。如果在222中,系统确定车辆没有倒车并且没有移动超过5mph,则示出显示布局226。这个布局226对应于布局208,其中视景的三分之一是前置摄像头,三分之一是后置摄像头,而中间三分之一在驾驶员侧摄像头与乘客侧摄像头之间分开。当然,在卡车或RV上设置更多或更少的摄像头和提供其它显示布局是可能的。
图7提供了在公共汽车、班车、电车或其它载客车辆上使用的一组显示布局。在228中,用户选择公共汽车。在230中接入平板应用。如果在232中没有供应外部电源或者在234中平板电脑设备没有搁在插接站中,则示出显示布局236。视景的三分之一是前置摄像头,三分之一是后置摄像头,而中间三分之一在驾驶员侧摄像头与乘客侧摄像头之间分开,类似于卡车使用的布局。以类似的方式,在238中,激活转向信号在布局240中针对右转向信号242导致乘客侧摄像头的较大视景(显示的三分之二)而在244针对左转向信号导致驾驶员侧的较大视景。如以上指出的,车辆移动超过阈值速度246激活显示布局248,专用于后摄像头和两侧摄像头的空间基本上相等。
如果公共汽车正在上乘客或下车乘客,布局确定与卡车布局不同。具体地,如果公共汽车正在上乘客或下车乘客,诸如可以由传感器表明,表明乘客上车门开着,则如在250中所确定的,激活显示布局252。布局252提供车辆的乘客侧的较大、一半屏幕视景,而前摄像头和后摄像头的视景较小。可以在屏幕上和/或在记录的视频信道中提供乘客上车区域或乘客坐下区域的额外视景。对于铰接式公共汽车,可以添加额外的摄像头和视景。
如果在250中公共汽车乘客没有上车,则使用布局256在254中示出反向行驶的视景布局。如果没有反向行驶和没有高于前进阈值速度,则选择布局258。
提供了显示布局的实例用于计算机设备显示的垂直或竖向取向。针对计算机设备的水平或横向取向,可以修改或重新定向显示布局。优选地,将计算机设备显示器,诸如通过安装在车辆的驾驶员区域中的平板电脑设置在车辆内。提供两个或更多显示器也是可行的。
其它类型的车辆可以受益于指向车辆周围区域的摄像头的使用和车辆中的显示屏上视频数据的显示,驾驶员经由显示屏上的布局可看到该视频数据的显示。图8提供了垃圾收集卡车的实例。在260中,用户从可能的屏幕布局菜单中选择垃圾收集卡车选择,或者可以在初始设置过程中选择这组显示布局。关于上述布局选项,在262中检测外部电源连接并且在264中检测平板电脑设备的支承。选择正常布局266,示出了前摄像头、后摄像头、和侧摄像头。在268中接入平板应用268。如果在270中激活车辆的转向信号,则在272中关于哪个转向信号进行确定,并且显示乘客侧主导视景274或驾驶员侧主导视景276。
与卡车或公共汽车相比较,垃圾卡车可以具有用于触发视景变化的更低前进运动阈值。在278中,确定是否已经超过阈值,并且如果超过,则例如针对超过3mph的速度,垃圾卡车变成大致相等的左、右和后摄像头的三分布局视景280。对于低于阈值速度的速度,在282中,查询车辆是否倒车。如果没有倒车并且车辆停车或泊车,则在284中,查询车辆运行传感器是否显示垃圾卡车正在捡起垃圾。
如果车辆正在运行捡起垃圾,则在286中变化显示布局以针对屏幕的一部分示出抓握和卸载摄像头并且针对显示屏的另一部分示出漏斗/压实机摄像头。驾驶员由此可以看到在垃圾容器抓握、抓取或夹紧机构发生什么并且由此验证在垃圾容器正在被抓取机构抓取时人远离垃圾容器和远离卡车车身。除其它事项之外,视频可以用于确定卡车的抓取机构牢固抓取垃圾容器并且当被返回在地面上时容器没有掉下或砰地摔下来。
驾驶员可以检查垃圾漏斗和压实机的视频视景来确保电线或树枝没有挡住路,区域清空,并且在添加更多垃圾之前压实机已经压实废物。可以检查视景从而看到什么被倾倒到压实机中,诸如垃圾箱是否掉落到压实机中。这甚至在驾驶员仍然在垃圾卡车的驾驶室或乘客厢时是有可能的。这些数据信道或摄像头的记录的视频数据,当存储在计算机设备或其它存储位置上时,可以用于确定在垃圾捡起过程中是否发生问题。
如果查询284确定垃圾没有被捡起,诸如当卡车卸载时,或者如反向运行传感器282感测到反向运行,则示出显示布局288,其由后视摄像头主导。
由此提供视频显示布局的自动化切换,而不需要直接用户输入。
根据需要,可以提供其它显示布局,具有更少或更多摄像头视景。系统提供驾驶员辅助、视频数据记录和存储、和视频回放和显示、以及对所记录的视频数据的用户可控访问。车辆运行传感器和系统输入可以不仅包括乘客上车传感器或上车/下车传感器,而且还包括车道偏离传感器、盲点检测传感器、车辆诊断传感器、和运动激活摄像头,诸如可以用于视频监视。集成的全球定位系统可以随着视频数据记录位置数据。
视频系统可以设置在商业设备、特种车辆、职业车辆、卡车、公共汽车、小汽车、休闲车和其它车辆上。其它实例包括用于半挂车、槽拖车、原木运输车、平板卡车、房车、RV、刚性公共汽车、铰接式公共汽车、班车、和校车的视频系统。诸如垃圾卡车、水泥搅拌车、自卸车和箱式卡车等职业车辆可以设有视频系统。诸如消防车、拖车和救护车等特种车辆、以及邮递和包裹递送车辆可以受益于目前的视频系统。
该视频系统放大了驾驶员的视野。可以回放、传输、存储和/或分析记录的视频和车辆运行数据。当存储或传输时,可以通过传送验证证明来确认存储的视频和车辆数据。针对车辆运行事件,诸如硬刹车、或其它车辆或驾驶员事件,可以对存储数据进行标记。车辆运行数据可以用于表明车辆里程、估计到达时间、燃料税报告、州里程数确定、燃料使用或每加仑里程确定、以及驾驶数据,诸如平均速度、最高速度、驾驶时间、怠速或移动花费时间、平均发动机速度等等。驾驶员和车队操作者可以使用检查记录、驾驶员日志、DOT日志等等的记录数据。
多达六个或更多摄像头可以设置在车辆上来示出前视景、侧视景和后视景。在实例中,这些摄像头中的四个摄像头在显示设备上显示为动态、近乎实时(延迟非常低)视频流。当车辆发动机熄火时,可以保持摄像头和记录系统通电,使得系统用于监视或驾驶员检查。
视频数据记录可以设置在可选择的模式下,包括连续记录、点火发起的记录、计划记录、和事件记录。可以以每种模式记录所有摄像头或近选择的摄像头。优选系统随着音频数据和车辆运行数据记录多达六个摄像头。车辆运行可以包括来自车辆的电子控制模块的条件信息、速度数据、发动机RPM数据、巡航控制状态、安全带传感器、气囊传感器、GPS坐标或时间同步GPS数据、硬停车数据、或其它数据。事故数据可以被记录并且在事故前后保存若干分钟。系统可以包括用于对供保存的数据进行标记的手动标记控件。否则,以先进先出方式存储数据。
可以以全分辨率、降低的分辨率、或两者的混合来存储存储的数据。平板电脑可以包括面向用户的摄像头,在车辆运行过程中激活该摄像头来获得车辆的视频数据。平板电脑可以包括用于检测车辆内的声音的麦克风。可以激活平板电脑的面向驾驶员的摄像头和平板电脑的麦克风来记录另外的视频信道和随着来自车载摄像头的视频数据一起记录的音频信道。可以随着车辆外的视景的视频数据在记录的数据中审查驾驶员的视景。也可以回放声音记录。存储数据可以记录在计算机设备的内部存储器上、可移除数据(诸如存储卡)上、或外部存储器设备(诸如外部存储器驱动器)上。
该系统可以准许用户对一些或所有设置进行设置和控制。在一些实施例中,用户可以回放信息或管理数据,而其它实施例可以阻止用户管理数据。在某些实施例中,当车辆正运动时,该系统防止改变用户设置或回放存储数据。
虽然本发明已经通过若干实例的描述进行了说明,并且虽然已经详细描述了这些说明性实例,但申请人无意将所附权利要求的范围约束或以任何方式限制于这类细节。同样,应理解,在此所采用的措辞和术语仅仅是为了说明目的,而不应视为限制所附权利要求书。本领域的技术人员将容易想到所附权利要求书范围内的额外优势和修改。因此,本公开在其更宽泛的方面不限制于所示和所描述的具体细节、代表性装置和方法、以及所示和所述的说明性实例。因此,在不背离申请人的一般概念的精神或范围的情况下,可以与这类细节有所偏差。

Claims (14)

1.一种用于聚合车辆中的包括视频数据的数据并且用于将该数据提供给计算机设备的系统,所述系统包括:
a.主板,具有能够执行应用程序的处理器,且所述主板包括:
i.存储器,位于所述主板上、且包括由所述处理器执行的操作系统;
ii.所述主板上的所述存储器包括应用软件;
iii.多个外围输入端,能够从包括车辆传感器和摄像头的多个外围传感器接收数据;
iv.所述外围输入端联接至所述处理器以将数据递送至所述操作系统;
v.其中,所述处理器能够聚合所述传感器提供的、包括车辆传感器数据和多个通道的视频数据的数据,并且将聚合的数据提供至输出外围设备;
b.所述输出外围设备能够使得所述应用软件的至少一部分与远程计算设备通信;
c.所述远程计算设备能够接收和运行所述应用软件的通信部分;以及
d.所述应用软件从所述输出外围设备接收所述聚合的数据并且向用户显示所述聚合的数据,所述应用软件在所述远程计算设备上显示至少一个通道的视频数据,所述应用软件在所述远程计算设备上选择性地显示多个通道的所述视频数据。
2.如权利要求1所述的系统,其中,所述主板以及所有直接联接的组件在单个保护壳体内。
3.如权利要求1所述的系统,进一步包括:
a.远程计算机,能够访问和处理所述操作系统,其中,所述远程计算机接收所述聚合的数据并且在显示屏上显示所述聚合的数据,所述远程计算机能够运行以记录至少一个通道的所述视频数据。
4.如权利要求1所述的系统,其中,所述输出外围端口是WiFi服务器。
5.如权利要求1所述的系统,进一步包括电池传感器,其中,所述操作系统能够从所述电池传感器接收数据并且根据从所述电池传感器接收的数据管理所述系统的运行。
6.如权利要求1所述的系统,其中,所述操作系统包括所述输入外围设备的运行驱动和故障子系统,其中,传感器或驱动的故障不影响数据的输入、聚合以及从运行传感器输出数据。
7.如权利要求1所述的系统,进一步包括所述操作系统的空中更新支持,包括驱动和数据聚合算法。
8.如权利要求1所述的系统,其中,所述输入外围设备是从由以下各项组成的组中选择的:
a.胎压传感器,
b.左侧摄像头;
c.右侧摄像头;
d.前置摄像头;
e.后置摄像头;
f.面向驾驶员的摄像头;
g.辅助摄像头;
h.全球定位系统(GPS)接收机;
i.相对位置传感器/陀螺仪;
j.发动机控制单元;
k.气候控制单元;
l.指南针/磁强计;以及
m.相对运动传感器/加速度计。
9.一种信息枢纽,包括:
a.至少一个数据通信端口,从由以下各项组成的组中所选择:
i.以太网集线器;
ii.蜂窝网络端口;
iii.WiFi系统端口;
iv.蓝牙系统天线;
b.至少一个车辆总线接口,联接至车辆数据总线;
c.其中,所述车辆数据总线联接至从由以下各项组成的列表中选择的至少一个传感器:
i.发动机控制单元;
ii.胎压监测器;
iii.气候控制子模块;
d.其中,所述信息枢纽包括主板,所述主板包括其上存储有操作系统的处理器,所述处理器能够聚合从所述传感器接收的数据;
e.其中,所述信息枢纽能够将所聚合的数据传递至远程计算机,从而经由所述通信端口将所述聚合的数据实时显示给远程用户;
f.其中,所述信息枢纽能够将命令和控制数据传递给在以太网、WiFi或车辆总线上的设备;以及
g.其中,所述信息枢纽能够让多个传感器经由其外围接口中的任何一个接口与其连接,包括但不限于以太网、WiFi、CAN、USB、车辆总线;
h.其中,所述信息枢纽包括4到8个模拟视频摄像头输入和处理电路,能够运行以获取、压缩、记录和查看来自与计算机系统的视频摄像头输入连接的视频摄像头的视频,所述计算机系统与所述信息枢纽连接;以及
i.其中,所述信息枢纽可运行以将至少四个近乎实时视频流递送至所述计算机系统。
10.如权利要求9所述的信息枢纽,其中,来自车辆中的不同源的聚合数据通过网络套接字协议传递至所述远程计算机。
11.如权利要求10所述的信息枢纽,其中,在将所述聚合数据传递至所述远程计算机之前,所述信息枢纽将所述数据聚合。
12.如权利要求10所述的信息枢纽,其中,使得在远程显示设备上可获得由所述信息枢纽所聚合的所述视频数据,所述远程显示设备基于由包括至少一个车辆传感器的所述信息枢纽所聚合的数据以动态方式改变来自所述视频摄像头的显示信息;
a.如权利要求10所述的信息枢纽,其中,由所述信息枢纽所聚合的所述数据记录在所述计算机设备上,所述系统包括视频服务器桥接器,所述视频服务器桥接器可运行以跨越连接将来自多个摄像头的独立视频信息流近乎实时地传输到所述计算机设备,以便将其记录在所述计算机设备上,而同时在所述计算机显示器上显示一个或多个摄像头的单个复合视频流。
13.如权利要求10所述的信息枢纽,其中,由所述信息枢纽所聚合的所述数据能够用于增强的现实查看设备。
14.一种用于在车辆运行过程中显示和记录车辆的视频数据的方法,包括:
a.从安装在车辆上或车辆内的多个视频摄像头接收多个信道的视频信息;
b.从所述车辆中的传感器接收车辆传感器信息;
c.处理所述信道的视频信息;
d.将所述信道的视频信息传输至计算机可读存储介质以便进行记录;
e.在所述车辆的显示设备上显示所述信道中的至少一个信道的视频信息;并且
f.根据从所述车辆中的传感器接收的传感器信号改变所显示信道的视频信息的布局。
CN201580023923.1A 2014-03-13 2015-03-13 用于聚合网络并且将来自那些网络的数据提供给计算机的设备、系统和方法 Pending CN106663341A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/208,349 US9387813B1 (en) 2012-03-21 2014-03-13 Device, system and method for aggregating networks and serving data from those networks to computers
US14/208,349 2014-03-13
PCT/US2015/020490 WO2015138930A1 (en) 2014-03-13 2015-03-13 Device, system and method for aggregating networks and serving data from those networks to computers

Publications (1)

Publication Number Publication Date
CN106663341A true CN106663341A (zh) 2017-05-10

Family

ID=54072473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580023923.1A Pending CN106663341A (zh) 2014-03-13 2015-03-13 用于聚合网络并且将来自那些网络的数据提供给计算机的设备、系统和方法

Country Status (4)

Country Link
US (2) US9387813B1 (zh)
EP (1) EP3117406A4 (zh)
CN (1) CN106663341A (zh)
WO (1) WO2015138930A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107948307A (zh) * 2017-12-12 2018-04-20 华东交通大学 一种基于车联网的智能车载装置及其安全通信方法
CN108629856A (zh) * 2018-05-11 2018-10-09 魏会风 一种停车场智能停车收费方法
CN109068091A (zh) * 2017-06-09 2018-12-21 爱信精机株式会社 图像传送装置、图像诊断装置以及图像诊断系统
CN109309672A (zh) * 2018-09-17 2019-02-05 南京海兴电网技术有限公司 一种基于Web的空间数据实时推送多任务调度方法
CN110356344A (zh) * 2019-07-24 2019-10-22 重庆长安汽车股份有限公司 一种应用于全景系统的车载事件记录方法、系统及汽车
CN112131138A (zh) * 2019-06-25 2020-12-25 美光科技公司 聚合和虚拟化固态驱动器中的存取优化

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873200B1 (en) 2006-10-31 2011-01-18 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
US8708227B1 (en) 2006-10-31 2014-04-29 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
US9058512B1 (en) 2007-09-28 2015-06-16 United Services Automobile Association (Usaa) Systems and methods for digital signature detection
US10380562B1 (en) 2008-02-07 2019-08-13 United Services Automobile Association (Usaa) Systems and methods for mobile deposit of negotiable instruments
US10504185B1 (en) 2008-09-08 2019-12-10 United Services Automobile Association (Usaa) Systems and methods for live video financial deposit
US8452689B1 (en) 2009-02-18 2013-05-28 United Services Automobile Association (Usaa) Systems and methods of check detection
US10956728B1 (en) 2009-03-04 2021-03-23 United Services Automobile Association (Usaa) Systems and methods of check processing with background removal
US9779392B1 (en) 2009-08-19 2017-10-03 United Services Automobile Association (Usaa) Apparatuses, methods and systems for a publishing and subscribing platform of depositing negotiable instruments
US9129340B1 (en) 2010-06-08 2015-09-08 United Services Automobile Association (Usaa) Apparatuses, methods and systems for remote deposit capture with enhanced image detection
KR101844211B1 (ko) 2011-12-28 2018-05-15 삼성전자주식회사 가전기기의 네트워크 시스템 및 그 네트워크 설정 방법
US10380565B1 (en) 2012-01-05 2019-08-13 United Services Automobile Association (Usaa) System and method for storefront bank deposits
JP5938292B2 (ja) * 2012-08-03 2016-06-22 日立建機株式会社 運搬車両の監視装置
US9481301B2 (en) * 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
DE102013217259A1 (de) * 2013-08-29 2015-03-05 Bayerische Motoren Werke Aktiengesellschaft Modusumschaltung eines Steuergeräts zwischen Diagnosebus und externer Ethernetverbindung
US9286514B1 (en) 2013-10-17 2016-03-15 United Services Automobile Association (Usaa) Character count determination for a digital image
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
US9977935B1 (en) 2014-06-20 2018-05-22 Secured Mobility, Llc Student accountability system
JP6459283B2 (ja) * 2014-08-05 2019-01-30 株式会社デンソー 映像信号処理装置及び映像信号処理プログラム
KR101867915B1 (ko) * 2015-01-16 2018-07-19 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
US9912647B2 (en) 2015-07-22 2018-03-06 International Business Machines Corporation Vehicle wireless internet security
US20170043720A1 (en) * 2015-08-14 2017-02-16 Faraday&Future Inc. Camera system for displaying an area exterior to a vehicle
US10693924B2 (en) 2015-09-11 2020-06-23 Barco N.V. Method and system for connecting electronic devices
KR102381369B1 (ko) * 2015-09-23 2022-03-31 삼성전자주식회사 전자 장치, 오디오 장치 및 전자 장치의 오디오 장치 네트워크 설정 방법
US10504302B1 (en) * 2015-12-22 2019-12-10 United Services Automobile Association (Usaa) 360 degree vehicle camera accident monitoring system
US10506281B1 (en) 2015-12-22 2019-12-10 United Services Automobile Association (Usaa) System and method for capturing audio or video data
DE102016002311B4 (de) * 2016-02-29 2020-06-25 Ammann Schweiz Ag Batterieüberwachungsmodul
US10325420B1 (en) 2016-03-10 2019-06-18 United Services Automobile Association (Usaa) VIN scan recall notification
JP6534103B2 (ja) * 2016-03-18 2019-06-26 パナソニックIpマネジメント株式会社 記録装置および画像再生方法
US20170297493A1 (en) * 2016-04-15 2017-10-19 Ford Global Technologies, Llc System and method to improve situational awareness while operating a motor vehicle
US10762358B2 (en) * 2016-07-20 2020-09-01 Ford Global Technologies, Llc Rear camera lane detection
CN106303227A (zh) * 2016-08-01 2017-01-04 乐视控股(北京)有限公司 一种智能终端的拍照方法和装置
US10496890B2 (en) * 2016-10-28 2019-12-03 International Business Machines Corporation Vehicular collaboration for vehicular blind spot detection
US10668859B2 (en) * 2017-02-24 2020-06-02 Velvac Incorporated Method and apparatus for communicating video signals and data between a trailer and a towing vehicle
US11030752B1 (en) 2018-04-27 2021-06-08 United Services Automobile Association (Usaa) System, computing device, and method for document detection
CN108989890B (zh) * 2018-09-03 2021-01-26 四川长虹电器股份有限公司 基于GStreamer框架的音视频错源排查方法
JP7408939B2 (ja) * 2019-07-18 2024-01-09 マツダ株式会社 ネットワークハブ装置
JP7408940B2 (ja) * 2019-07-18 2024-01-09 マツダ株式会社 ネットワークハブ装置
US20210110217A1 (en) * 2019-10-11 2021-04-15 Zf Active Safety And Electronics Us Llc Automotive sensor fusion
CN111179467A (zh) * 2019-12-28 2020-05-19 一汽解放汽车有限公司 一种车辆数据的显示方法、装置、设备和存储介质
EP4097689A4 (en) * 2020-01-31 2024-03-20 Abax As SENSOR DEVICE FOR ANALYZING AND DETERMINING THE OPERATING MODE OF A VEHICLE, METHOD FOR ANALYZING AND DETERMINING THE OPERATING MODE OF A VEHICLE WITH A SENSOR DEVICE AND SYSTEM FOR ANALYZING AND DETERMINING THE OPERATING MODE OF A VEHICLE
DE102020107551A1 (de) 2020-03-19 2021-09-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren, System, Computerprogramm und computerlesbares Speichermedium zum Verarbeiten von Fahrzeugdaten
US11834060B2 (en) * 2020-03-31 2023-12-05 Denso International America, Inc. System and method for managing vehicle subscriptions
US11900755B1 (en) 2020-11-30 2024-02-13 United Services Automobile Association (Usaa) System, computing device, and method for document detection and deposit processing
JP2022156833A (ja) * 2021-03-31 2022-10-14 トヨタ自動車株式会社 運転診断装置及び運転診断方法
CN113377178B (zh) * 2021-04-30 2022-03-29 上海英众信息科技有限公司 笔记本电脑散热控制方法、系统、处理终端、储存介质
CN114727070A (zh) * 2022-05-10 2022-07-08 中科院广州电子技术有限公司 一种摄像头实时视频数据处理方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020030595A1 (en) * 1999-12-16 2002-03-14 Kasik John P. System for auditing refuse collection
US20050240342A1 (en) * 2004-04-22 2005-10-27 Nobuaki Ishihara Vehicle periphery display control system
US20060132604A1 (en) * 2002-11-08 2006-06-22 Ich-Kien Lao Video quick zoom and autofocus for officer safety
WO2007066064A1 (en) * 2005-12-09 2007-06-14 Michelle Annette Taylor A vehicle comprising recording apparatus for providing evidence in the event of an accident
CN1985266A (zh) * 2004-07-26 2007-06-20 奥普提克斯晶硅有限公司 全景视觉系统和方法
US20100256863A1 (en) * 2009-04-03 2010-10-07 Certusview Technologies, Llc Methods, apparatus, and systems for acquiring and analyzing vehicle data and generating an electronic representation of vehicle operations
CN101980452A (zh) * 2010-11-10 2011-02-23 彭扬 一种通过蓝牙安装手机软件的方法
CN102325217A (zh) * 2011-07-11 2012-01-18 惠州Tcl移动通信有限公司 移动终端、软件共享系统及其共享方法
CN102740055A (zh) * 2011-04-01 2012-10-17 财团法人工业技术研究院 环场监控装置及其方法
US20130311001A1 (en) * 2012-05-17 2013-11-21 Harman International Industries, Inc. Methods and systems for preventing unauthorized vehicle operation using face recognition
CN103476002A (zh) * 2013-09-17 2013-12-25 宇龙计算机通信科技(深圳)有限公司 数据交互的方法和装置
CN203366401U (zh) * 2013-05-31 2013-12-25 北京兴科迪科技有限公司 基于wifi的行车记录仪及安装此行车记录仪的车辆

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US8140358B1 (en) * 1996-01-29 2012-03-20 Progressive Casualty Insurance Company Vehicle monitoring system
US5949345A (en) 1997-05-27 1999-09-07 Microsoft Corporation Displaying computer information to a driver of a vehicle
US7085710B1 (en) 1998-01-07 2006-08-01 Microsoft Corporation Vehicle computer system audio entertainment system
US7028296B2 (en) 2001-12-13 2006-04-11 International Business Machines Corporation Distributing computer programs to a customer's multiple client computers through a hypertext markup language document distributed to and stored on the customer's network server computer
US6725137B2 (en) 2002-04-03 2004-04-20 Honeywell International Inc. Method and apparatus using historical data to associate deferral procedures and fault models
US7086583B2 (en) * 2004-01-20 2006-08-08 Standard Microsystems Corporation Systems and methods for power reduction in systems having removable media devices
US20050242969A1 (en) 2004-02-17 2005-11-03 Daniel Deutsch Decorative light system for motor vehicles
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2006007867A (ja) * 2004-06-23 2006-01-12 Matsushita Electric Ind Co Ltd 車載用映像表示装置
US7576767B2 (en) * 2004-07-26 2009-08-18 Geo Semiconductors Inc. Panoramic vision system and method
WO2006047877A1 (en) * 2004-11-03 2006-05-11 Thomas Dewaal Method system, and apparatus for monitoring vehicle operation
US7689985B2 (en) 2005-03-04 2010-03-30 Microsoft Corporation Versioning support for drivers frameworks
US20080134276A1 (en) 2006-06-30 2008-06-05 Martin Orrell Receiver and aspects thereof
JPWO2009141846A1 (ja) 2008-05-19 2011-09-22 パナソニック株式会社 車両周囲監視装置および車両周囲監視方法
US8294790B2 (en) * 2008-09-24 2012-10-23 Visual Defence, Inc Blast resistant video recording device
US8330059B2 (en) * 2009-01-15 2012-12-11 The Curotto-Can, Inc. Automated collection and scale system
US9916625B2 (en) * 2012-02-02 2018-03-13 Progressive Casualty Insurance Company Mobile insurance platform system
CN102472597A (zh) 2009-07-13 2012-05-23 富士通株式会社 环型热导管及其起动方法
ES2538827T3 (es) * 2009-09-01 2015-06-24 Magna Mirrors Of America, Inc. Sistema de formación de imágenes y de exhibición para un vehículo
JP5035321B2 (ja) * 2009-11-02 2012-09-26 株式会社デンソー 車両周辺表示制御装置および車両周辺表示制御装置用のプログラム
WO2011084977A2 (en) * 2010-01-08 2011-07-14 Hall William D Improved system and method for measuring energy efficiency in vehicles
US9485535B2 (en) 2010-01-13 2016-11-01 Qualcomm Incorporated Notification of interactivity event asset delivery sources in a mobile broadcast communication system
RU2010124265A (ru) 2010-06-16 2011-12-27 Алексей Владиславович Жданов (RU) Способ и устройство определения направления начала движения
US9117123B2 (en) * 2010-07-05 2015-08-25 Magna Electronics Inc. Vehicular rear view camera display system with lifecheck function
US8843290B2 (en) * 2010-07-22 2014-09-23 Qualcomm Incorporated Apparatus and methods for calibrating dynamic parameters of a vehicle navigation system
EP2437163A1 (en) * 2010-09-09 2012-04-04 Harman Becker Automotive Systems GmbH User interface for a vehicle system
TW201246873A (en) * 2011-02-11 2012-11-16 Interdigital Patent Holdings Method and apparatus for updating metadata cross reference to related applications
US9922567B2 (en) * 2011-07-21 2018-03-20 Bendix Commercial Vehicle Systems Llc Vehicular fleet management system and methods of monitoring and improving driver performance in a fleet of vehicles
US20130107044A1 (en) * 2011-10-26 2013-05-02 Anthony Azevedo Blind Spot Camera System
WO2013101045A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Navigation systems and associated methods
US8930040B2 (en) 2012-06-07 2015-01-06 Zoll Medical Corporation Systems and methods for video capture, user feedback, reporting, adaptive parameters, and remote data access in vehicle safety monitoring
US9330431B2 (en) * 2012-12-19 2016-05-03 Jeffrey Huang System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020030595A1 (en) * 1999-12-16 2002-03-14 Kasik John P. System for auditing refuse collection
US20060132604A1 (en) * 2002-11-08 2006-06-22 Ich-Kien Lao Video quick zoom and autofocus for officer safety
US20050240342A1 (en) * 2004-04-22 2005-10-27 Nobuaki Ishihara Vehicle periphery display control system
CN1985266A (zh) * 2004-07-26 2007-06-20 奥普提克斯晶硅有限公司 全景视觉系统和方法
WO2007066064A1 (en) * 2005-12-09 2007-06-14 Michelle Annette Taylor A vehicle comprising recording apparatus for providing evidence in the event of an accident
US20100256863A1 (en) * 2009-04-03 2010-10-07 Certusview Technologies, Llc Methods, apparatus, and systems for acquiring and analyzing vehicle data and generating an electronic representation of vehicle operations
CN101980452A (zh) * 2010-11-10 2011-02-23 彭扬 一种通过蓝牙安装手机软件的方法
CN102740055A (zh) * 2011-04-01 2012-10-17 财团法人工业技术研究院 环场监控装置及其方法
CN102325217A (zh) * 2011-07-11 2012-01-18 惠州Tcl移动通信有限公司 移动终端、软件共享系统及其共享方法
US20130311001A1 (en) * 2012-05-17 2013-11-21 Harman International Industries, Inc. Methods and systems for preventing unauthorized vehicle operation using face recognition
CN203366401U (zh) * 2013-05-31 2013-12-25 北京兴科迪科技有限公司 基于wifi的行车记录仪及安装此行车记录仪的车辆
CN103476002A (zh) * 2013-09-17 2013-12-25 宇龙计算机通信科技(深圳)有限公司 数据交互的方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068091A (zh) * 2017-06-09 2018-12-21 爱信精机株式会社 图像传送装置、图像诊断装置以及图像诊断系统
CN107948307A (zh) * 2017-12-12 2018-04-20 华东交通大学 一种基于车联网的智能车载装置及其安全通信方法
CN108629856A (zh) * 2018-05-11 2018-10-09 魏会风 一种停车场智能停车收费方法
CN109309672A (zh) * 2018-09-17 2019-02-05 南京海兴电网技术有限公司 一种基于Web的空间数据实时推送多任务调度方法
CN109309672B (zh) * 2018-09-17 2020-11-13 南京海兴电网技术有限公司 一种基于Web的空间数据实时推送多任务调度方法
CN112131138A (zh) * 2019-06-25 2020-12-25 美光科技公司 聚合和虚拟化固态驱动器中的存取优化
CN110356344A (zh) * 2019-07-24 2019-10-22 重庆长安汽车股份有限公司 一种应用于全景系统的车载事件记录方法、系统及汽车

Also Published As

Publication number Publication date
EP3117406A4 (en) 2017-12-20
EP3117406A1 (en) 2017-01-18
US10109116B2 (en) 2018-10-23
US9387813B1 (en) 2016-07-12
WO2015138930A1 (en) 2015-09-17
US20170039782A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
CN106663341A (zh) 用于聚合网络并且将来自那些网络的数据提供给计算机的设备、系统和方法
US20160295089A1 (en) Vehicle-based cloud-aware video capture system
US10255575B2 (en) Fleet vehicle management systems and methods
CN104994601A (zh) 一种4g车载智慧终端系统
WO2016077779A1 (en) System and method for detecting a vehicle event and generating review criteria
US20150381941A1 (en) Modular Connected Headrest
EP2988235A1 (en) Vehicle event recorded systems and networks having parallel communication links
CN103395404A (zh) 用于车辆的远程视频监控系统以及车辆远程视频监控的方法
CN104378584A (zh) 利用车辆系统集成的远程无线图像捕捉的方法和设备
CN209290279U (zh) 电子系统、车辆无线电设备电路系统、电子套件和车辆
CN108449583B (zh) 车辆之间相互监控的方法、系统、设备及存储介质
CN103247168A (zh) 使用视讯雷达的远距交通管理系统
KR20150069623A (ko) 실시간 통합 차량관제 시스템 및 방법
CN109104502A (zh) 一种远程遥控的泊车方法和系统
CN110720111B (zh) 用于车辆共享的车载装置、服务器和计算机实现的方法
CN111124443A (zh) 车辆、车机设备及车载仪表升级方法
TWM567719U (zh) Vehicle condition information providing device
US20200287745A1 (en) Modular vehicle sensing, assisting connected system
JP3080205U (ja) 移動情報記録装置
CN108116314B (zh) 汽车及汽车全景影像系统
CN211015651U (zh) 一种带4g视频的网约车专用行车记录仪
CN104021666A (zh) 出租车电召装置及电召方法
US20210202923A1 (en) Vehicle battery securing systems and methods
CN112087606A (zh) 一种车载视频、can和gps集成监控系统及设备
JP2018097789A (ja) 車両情報システムおよび車両情報記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510

WD01 Invention patent application deemed withdrawn after publication