CN113452927A - 用于自主交通工具用户的增强的社交媒体体验 - Google Patents
用于自主交通工具用户的增强的社交媒体体验 Download PDFInfo
- Publication number
- CN113452927A CN113452927A CN202011510929.0A CN202011510929A CN113452927A CN 113452927 A CN113452927 A CN 113452927A CN 202011510929 A CN202011510929 A CN 202011510929A CN 113452927 A CN113452927 A CN 113452927A
- Authority
- CN
- China
- Prior art keywords
- data
- event
- autonomous vehicle
- interest
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 280
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000009471 action Effects 0.000 claims description 92
- 230000007246 mechanism Effects 0.000 claims description 33
- 230000005540 biological transmission Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 28
- 238000010801 machine learning Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 abstract description 14
- 230000015654 memory Effects 0.000 description 48
- 238000004891 communication Methods 0.000 description 47
- 230000006870 function Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 239000000872 buffer Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000029305 taxis Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008512 biological response Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
- B60W60/00139—Planning or execution of driving tasks specially adapted for occupant comfort for sight-seeing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
- B60W60/00253—Taxi operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及用于自主交通工具用户的增强的社交媒体体验。公开了处理经由可作为自主交通工具的操作系统的一部分而集成的组件(诸如相机和GPS系统)所采集的事件数据的技术。然后,事件数据可以被处理以基于对在自主交通工具中的用户行程期间、用户行程之前或用户行程之后不久发生的各种状况的分析来生成经处理的事件数据。经处理的事件数据可以表示可共享的数字内容的一个或多个部分(诸如,预先编辑的视频剪辑、蒙太奇、图像、一系列图像等)。用户可以访问并且然后将这些可共享内容的部分共享到各种平台(诸如,社交媒体平台)。
Description
技术领域
本文所述的各方面总体上涉及增强的自主交通工具,并且更具体地涉及通过向用户提供可共享到各个平台的内容来增强自主交通工具中的行程。
背景技术
乘自主交通工具(例如机器人出租车(Robo-Taxi))旅行的期望的益处之一在于,乘客能够把时间花在做驾驶以外的事情上。该情况可与乘火车或飞机旅行,或甚至乘传统的出租车旅行相当,但更加私人。因此,特别是当一个人是唯一的乘客时,消遣是一个非常受欢迎的功能。在该情况下,智能电话可用于各种目的,尽管乘客使用智能电话查看或制作社交媒体内容是非常常见的。
然而,当制作社交媒体内容(例如自拍、当前风景的照片、有趣的时刻等)时,交通工具的部分(无论是飞机、机器人出租车等)往往会干扰或以其他方式妨碍乘客拍摄期望的照片的能力。例如,交通工具中的空间限制通常导致尴尬的自拍姿势,通常在所得到的照片中显示自拍者的手臂。作为另一示例,乘客通常难以将从交通工具内部捕获的包含交通工具外部的内容(例如,驾驶时)的图片或视频共享到社交媒体。这样做通常需要乘客摇下窗户或减速,而可能提供交通工具外部的视频或图像的相机馈送对乘客来说是不易获得的。因此,相对于当前用户在自主交通工具中驾驶时的体验而言,存在改进的空间。
附图说明
结合到本文中并构成本说明书的一部分的附图图示本公开的各个方面,并且与说明书一起,进一步用于解释各个方面的原理,并使相关领域的技术人员能够制造和使用各个方面。
在附图中,贯穿不同的视图,相同的附图标记一般指代相同部分。这些附图不一定是按比例的,而是一般着重于说明本公开的原理。在以下描述中,参照以下附图描述本公开的各实施例,其中:
图1图示出根据本公开的各个方面的示例性自主交通工具;
图2图示出根据本公开的各个方面的交通工具的安全性系统的各种示例性电子组件;
图3图示出根据本公开的各个方面的包括本地处理单元的示例性自主交通工具系统;
图4A图示出根据本公开的各个方面的本地数据交换的示例性框图;
图4B图示出根据本公开的各个方面的基于云的数据交换的示例性框图;
图5图示出根据本公开的各个方面的包括与本地处理单元相关联的附加细节的示例性自主交通工具数据处理系统;
图6图示出根据本公开的各个方面的示例性流程;以及
图7图示出根据本公开的各个方面的示例性流程。
将参照附图描述本公开的示例性方面。其中要素第一次出现的附图通常由对应的附图标记中最左面的(多个)数字指示。
具体实施方式
以下详细描述中对附图进行参考,附图通过图示方式示出了可在其中实施本公开的各方面的示例性细节。在下面的描述中,阐述了众多具体细节以便提供对本公开的各个方面的完全理解。然而,对本领域技术人员将显而易见的是,可以在没有这些具体细节的情况下实践各个方面,各个方面包括结构、系统和方法。本文的描述和表示是由本领域的经验/技术人员使用来向本领域其他技术人员最有效地传递其工作的实质的通用手段。在其他实例中,未详细地描述公知的方法、过程、组件、和电路,以避免不必要地使本公开的各个方面变得模糊。
如上文所述,在交通工具中使用智能电话捕捉和共享内容到社交媒体和其他平台具有各种缺点。例如,智能电话用户目前仅限于通过从交通工具内部拍摄照片来创建内容,通常是通过窗户,这呈现出反射和有限的视野。在飞机作为交通工具的情况下,智能电话用户甚至可能会求助于拍摄机上娱乐系统的照片,该机上娱乐系统示出来自飞机外部相机的图像或视频。允许用户在驾驶时访问交通工具外部的图像或视频的现有解决方案包括集成的车载“行车记录仪”解决方案,但此类实现方式通常限于从交通工具的前视图的视角提供图像或视频,并且需要手动触发此类图像和/或视频数据的采集。
因此,为了解决这些缺点,如本文所述的各方面使交通工具数据能够被用户的智能电话访问。在自主交通工具的情况下,自主交通工具的基础设施、计算元件、和相机被实现为使乘客的乘坐更加愉快,并帮助运输即服务提供者以差异化的服务吸引更多的客户。因此,本文所述的各方面有助于将平时在难以分辨的自主交通工具中的容易遗忘的乘坐转变为令人难忘的体验。
在整个公开中,以示例而非限制的方式参考自主交通工具或机器人出租车描述了各个方面。例如,尽管本文描述的各方面可能有利地用作机器人出租车架构和商业计划的一部分,但本文描述的各方面可被实现为任何合适类型的完全自主交通工具、半自主交通工具或非自主交通工具的一部分。此外,本文所述的各方面的使用也是相对于交通工具乘客进行的,但这也是通过示例方式而非限制性方式。例如,由于本文所讨论的处理任务是完全自动化或半自动化的,因此实现本文所述各方面的任何合适类型的交通工具的驾驶员同样可以受益,即驾驶员的智能电话可以附加于或替代乘客智能电话与本文所述各方面结合使用。
图1示出根据本公开的各个方面的包括安全性系统200(也参见图2)的交通工具100。交通工具100和安全性系统200本质上是示例性的,并且因此可出于解释的目的而被简化。要素的位置和关系距离(如上文所讨论的,这些图并未按比例绘制)是以示例的方式而提供,并不限于此。取决于特定实现方式的要求,安全性系统200可以包括各种组件。
如图1和图2所示,安全性系统200可以包括一个或多个处理器102、一个或多个图像采集设备104(诸如,例如一个或多个相机)、一个或多个位置传感器106(诸如全球导航卫星系统(GNSS),例如全球定位系统(GPS))、一个或多个存储器202、一个或多个地图数据库204、一个或多个用户接口206(诸如,例如显示器、触摸屏、麦克风、扬声器、一个或多个按钮和/或开关等)、以及一个或多个无线收发器208、210、212。
无线收发器208、210、212可以根据不同的期望的无线电通信协议或标准来进行配置。作为示例,无线收发器(例如,第一无线收发器208)可以根据短程移动无线电通信标准(诸如,例如蓝牙、Zigbee等)来进行配置。作为另一示例,无线收发器(例如,第二无线收发器210)可以根据中程或宽程移动无线电通信标准(诸如例如,根据对应的多个3GPP(第三代合作伙伴计划)标准的3G(例如,通用移动通信系统(UMTS))、4G(例如,长期演进(LTE)、或5G移动无线电通信标准)来进行配置。作为进一步地示例,无线收发器(例如,第三无线收发器212)可以根据无线局域网通信协议或标准(诸如例如,根据IEEE 802.11(例如,802.11、802.11a、802.11b、802.11g、802.11n、802.11p、802.11-12、802.11ac、802.11ad、802.11ah、802.11ax、802.11ay等来进行配置。一个或多个无线收发器208、210、212可以被配置成经由空中接口经由天线系统(未示出)传送信号。
一个或多个处理器102可以包括应用处理器214、图像处理器216、通信处理器218、或任何其他合适的处理设备。类似地,取决于特定应用的要求,图像采集设备104可以包括任意数量的图像采集设备和组件。图像采集设备104可以包括一个或多个图像捕获设备(例如,相机、电荷耦合设备(CCD)、或任何其他类型的图像传感器)。安全性系统200还可以包括将一个或多个处理器102通信地连接至一个或多个图像采集设备104的数据接口。例如,第一数据接口可以包括任何有线和/或无线的一个或多个第一链路220,该一个或多个第一链路220用于将由一个或多个图像采集设备104采集的图像数据传送到一个或多个处理器102(例如,传送到图像处理器216)。
无线收发器208、210、212可以例如经由第二数据接口耦合到一个或多个处理器102(例如,耦合到通信处理器218)。第二数据接口可以包括任何有线和/或无线的一个或多个第二链路222,该一个或多个第二链路222用于将由无线收发器208、210、212获取的无线电传送的数据传送至一个或多个处理器102(例如,传送至通信处理器218)。
存储器202以及一个或多个用户接口206可以例如经由第三数据接口耦合到一个或多个处理器102中的每一个处理器。第三数据接口可以包括任何有线和/或无线的一个或多个第三链路224。此外,位置传感器106可例如经由第三数据接口耦合至一个或多个处理器102中的每个处理器102。
此类传输还可以包括交通工具100与交通工具100的环境中的一个或多个其他(目标)交通工具之间的通信(单向或双向)(例如,以促进交通工具100鉴于在交通工具100的环境中的其他(目标)交通工具或与其他(目标)交通工具一起协作地导航),或甚至包括向正在传送的交通工具100的附近区域中的未指定接收者进行的广播传输。
收发器208、210、212中的一个或多个收发器可被配置成实现一个或多个交通工具对外界(V2X)通信协议,该交通工具对外界(V2X)通信协议可以包括交通工具对交通工具(V2V)、交通工具对基础设施(V2I)、交通工具对网络(V2N)、交通工具对行人(V2P)、交通工具对设备(V2D)、交通工具对网格(V2G),以及任何其他合适的协议。
一个或多个处理器102中的每个处理器214、216、218可包括各种类型的基于硬件的处理设备。作为示例,每个处理器214、216、218可包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器,或适于运行应用以及适于数据处理(例如,图像处理、音频处理等)和分析的任何其他类型的设备。在一些方面,每个处理器214、216、218可包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。这些处理器类型可各自包括具有本地存储器和指令集的多个处理单元。此类处理器可包括用于从多个图像传感器接收图像数据的视频输入,并且还可包括视频输出能力。
本文中所公开的处理器214、216、218中的任一者可被配置成用于根据可被存储在一个或多个存储器202中的一个存储器中的程序指令来执行某些功能。换言之,一个或多个存储器202中的一个存储器可存储在由处理器(例如,由一个或多个处理器102)执行时控制系统(例如,安全性系统)的操作的软件。例如,一个或多个存储器202中的存储器可存储一个或多个数据库和图像处理软件、以及经训练的系统(诸如,神经网络、或深度神经网络)。一个或多个存储器202可以包括任何数量的随机存取存储器、只读存储器、闪存、盘驱动器、光盘存储设备、磁带存储设备、可移动存储设备和其它类型的存储设备。
在一些方面,安全性系统200可进一步包括诸如用于测量交通工具100的速度的速度传感器108(例如,速度计)之类的组件。安全性系统还可包括用于测量交通工具100沿一个或多个轴线的加速度的一个或多个(单轴或多轴)加速度计(未示出)。安全性系统200可进一步包括附加传感器或不同传感器类型,诸如超声波传感器、热传感器、一个或多个雷达传感器110、一个或多个激光雷达传感器112(其可集成在交通工具100的前照灯中)、数字罗盘等。雷达传感器110和/或激光雷达传感器112可以被配置成用于提供经预处理的传感器数据,诸如雷达目标列表或激光雷达目标列表。第三数据接口(例如,一个或多个链路224)可以将速度传感器108、一个或多个雷达传感器110、以及一个或多个激光雷达传感器112耦合至一个或多个处理器102中的至少一个处理器。
一个或多个存储器202可将数据存储在例如数据库中或以任何不同格式存储数据,这些数据例如指示已知地标的位置。一个或多个处理器102可以处理交通工具100的环境的传感信息(诸如来自两个或多个图像的激光雷达或立体处理的图像、雷达信号、深度信息)以及位置信息(诸如GPS坐标、交通工具的自我运动等),以确定交通工具100相对于已知地标的当前位置和/或定向,并细化对交通工具的位置的确定。该技术的某些方面可以被包括在定位技术(诸如映射和路由模型)中。
地图数据库204可包括存储用于交通工具100(例如,用于安全性系统200)的(数字)地图数据的任何合适类型的数据库。地图数据库204可以包括与各种项目(包括道路、水景、地理特征、商业、感兴趣的点、餐馆、加油站等)在参考坐标系中的位置相关的数据。地图数据库204不仅可以存储此类项目的位置,还可以存储与这些项目相关的描述符,包括例如与存储的特征中的任何特征相关联的名称。在此类方面中,一个或多个处理器102中的处理器可通过到通信网络的有线或无线数据连接(例如,通过蜂窝网络和/或互联网等)从地图数据库204下载信息。在一些情况下,地图数据库204可存储稀疏数据模型,包括针对交通工具100的某些道路特征(例如,车道标记)或目标轨迹的多项式表示。地图数据库204还可以包括各种识别出的地标的所存储的表示,这些所存储的表示可被提供以确定或更新交通工具100相对于目标轨迹的已知位置。地标表示可以包括诸如地标类型、地标位置、以及其他潜在标识符之类的数据字段。地图数据库204还可以包括非语义特征,包括环境中特定对象或特征的点云,以及特征点和描述符。
此外,安全性系统200可包括例如在高级驾驶辅助系统(ADAS)和/或驾驶辅助系统及自动化驾驶系统中实现的驾驶模型(也称为“驾驶策略模型”)。作为示例,安全性系统200可以包括(例如,作为驾驶模型的一部分的)形式模型(诸如,安全性驾驶模型)的计算机实现方式。安全性驾驶模型可以是或包括对适用于自驾驶(例如地面)交通工具的适用法律、标准、政策等的解释进行形式化的数学模型的实现方式。安全性驾驶模型可被设计为实现例如三个目标:首先,法律的解释应该是合理的,即它符合人类如何解释法律;其次,解释应该带来有用的驾驶策略,这意味着它将带来灵活的驾驶政策,而不是过度防御性的驾驶,该过度防御性的驾驶不可避免地会使其他人类驾驶员感到迷惑,并且将阻塞交通,并且进而限制系统部署的可扩展性;以及第三,可以严格地证明自驾驶(自主)交通工具正确地实施法律的解释,从这个意义上说,解释应该是有效地可验证的。说明性地,主控交通工具中的安全性驾驶模型的实现方式可以是或包括用于安全性保障的数学模型的实现方式,该数学模型实现对危险情况的恰当响应的标识和执行,使得可以避免自身导致的事故。
安全性驾驶模型可以实现应用驾驶行为规则的逻辑,诸如以下五条规则:
-不要从后面撞到人。
-不要鲁莽地变道超车。
-通行权是给予的,不是取得的。
-注意能见度有限的区域。
-如果你能避免事故而不引起另一次事故,你必须这样做。
应注意,这些规则不是限制性的并且也不是排他性的,并且可以根据需要在各个方面进行修改。这些规则而是表示社会驾驶合约,取决于地区,该社会驾驶合约可能是不同的并且还可能随着时间的推移而发展。虽然这五条规则当前适用于大多数国家,但它们可能并不完整并且可能会被修改。
如上文所述,交通工具100可包括安全性系统200,还参考图2来描述该安全性系统200。交通工具100可包括例如与交通工具100的引擎控制单元(ECU)集成或分离的一个或多个处理器102。一般而言,安全性系统200可生成数据来控制或辅助控制ECU和/或交通工具100的其他组件,以直接地或间接地控制对交通工具100的驾驶。
图3图示出根据本公开的各个方面的包括本地处理单元的示例性自主交通工具系统。如图3所示的自主交通工具系统300包括自主交通工具302,该自主交通工具302可利用上文参考图1所示出和所述的交通工具100来标识。例如,自主交通工具302包括任何合适数量的外部图像采集设备304.1-304.6,其中6个外部图像采集设备作为示例在图3中示出。这些图像采集设备304.1-304.6可以利用上文参考图1所示出和所述的图像采集设备104来标识,这些图像采集设备用于在自主交通工具302外部捕获视频数据。外部图像采集设备304.1-304.6还可以包括一个或多个麦克风或以其他方式控制和/或访问与分开的麦克风相关联的数据,这些麦克风可以被配置成记录自主交通工具302外部的音频,但出于简明的目的没有在图3中示出。因此,该视频数据可以包括图像、视频和/或音频数据,然后将该视频数据提供给一个或多个处理器102以支持自主驾驶功能或用于其他合适的目的。
另外,各方面包括自主交通工具302实现任何合适数量的内部图像采集设备306.1-306.4,其中4个内部图像采集设备作为示例在图4中示出。类似于外部图像采集设备304.1-304.6,内部图像采集设备306.1-306.4可以被实现为一个或多个图像采集设备(例如,相机、电荷耦合设备(CCD)、或任何其他类型的图像传感器),并且可以包括一个或多个麦克风或以其他方式控制和/或访问与分开的麦克风相关联的数据,这些麦克风可以被配置成记录自主交通工具302内部的音频,但出于简明的目的没有在图3中示出。
进一步地,内部图像采集设备306.1-306.4和/或外部图像采集设备304.1-304.6可以被实现为具有任何合适的视场、任何合适的分辨率的相机,并且可以作为2D或3D相机(例如,VR180立体相机)来操作。此外,内部图像采集设备306.1-306.4和/或外部图像采集设备304.1-304.6可以通过单色、IR敏感相机等的任意组合使用任何合适的过滤器阵列来实现。在各个方面,内部图像采集设备306.1-306.4可以以与外部图像采集设备304.1-304.6类似的方式进行配置,尽管内部图像采集设备306.1-306.4不需要在室外环境中操作。
同样,尽管参照自主交通工具302讨论本文所述的各方面,但本文所述的各方面也适用于非自主交通工具或半自主交通工具。因此,外部图像采集设备304.1-304.6和/或内部图像采集设备306.1-306.4中的一者或多者可以或可以不被实现为标准交通工具(即不使用利用此类相机的自主驾驶功能的交通工具)的一部分。然而,应当注意,许多自主交通工具(诸如机器人出租车)利用交通工具的舱内部的相机来记录交通工具内部的视频以在需要时用于安全目的。此外,一些型号的交通工具还实现了舱内部的单个相机,而其他交通工具(甚至是非自主交通工具)也利用360度环视相机进行停车。在任何情况下,由内部图像采集设备306.1-306.4和/或外部图像采集设备304.1-304.6提供的视频数据还可以包括图像、视频、和/或音频数据,然后将视频数据提供给一个或多个处理器102以支持自主驾驶功能或用于其他合适的目的。
因此,当存在时,内部图像采集设备306.1-306.4和/或外部图像采集设备304.1-304.6可以被实现为自主交通工具302已经使用的一个或多个相机。替代地,内部图像采集设备306.1-306.4和/或外部图像采集设备304.1-304.6可以作为售后安装与自主交通工具302的其他组件分开安装,和/或可以与自主交通工具302的其他组件分开安装以用于捕获专用于本文所述的各方面的图像数据。作为另一示例,外部图像采集设备304.1-304.6中的一者或多者可以被安装,外部图像采集设备304.1-304.6中的一者或多者诸如特别地被布置并且被配置成捕获用于各种用途的内容的相机,各种用途包括将内容在本地存储在用户的智能电话或其他设备上,或经由社交媒体平台或其他合适的平台(诸如网站、云存储等)进行共享。附加的示例包括体验交通工具周围的环境、监视交通工具内部的用户(例如,后座上的婴儿)等。这可以包括,例如,使用位于自主交通工具302的较高点的外部相机来限制其他交通工具对其视野的阻挡。换言之,本文所述的各方面可以利用已经内置到当前或未来交通工具中的相机系统--可能具有约租车(ride-for-hire)供应商可以添加到交通工具的任选的套餐以进一步增加相机的数量和质量(例如,在内部添加VR180立体相机)。
本地处理单元320(在本文中也称为本地处理电路或本地处理系统)可以利用由内部图像采集设备306.1-306.4和/或外部图像采集设备304.1-304.6捕获的视频数据来实现如本文进一步所述的各方面的功能。为此,本地处理单元320可以根据自主交通工具302的特定应用和/或实现方式以不同的方式实现。例如,本地处理单元可以利用图2所示的安全性系统200的一个或多个部分进行标识。继续该示例,本地处理单元320可以包括以下各项中的一项或多项:一个或多个处理器102和伴随的图像处理器216、应用处理器214、和通信处理器218、以及一个或多个存储器202。继续该示例,本地处理单元320可以被集成为自主交通工具的一部分,在该自主交通工具中,本地处理单元320被实现为相对于交通工具的现有系统中的一个或多个系统作为管理程序运行的一个或多个虚拟机。
因此,并且如下文进一步所讨论,本地处理单元320可以使用安全性系统200的这些现有组件来实现,并且经由修改这些处理组件中的一个或多个处理组件的操作和/或功能的软件更新来实现本地处理单元320。在其他方面,本地处理单元320可以包括扩展或补充安全性系统200的操作的一个或多个硬件和/或软件组件。这可以包括添加或改变安全性系统200的一个或多个组件。在另一些方面中,本地处理单元320可以被实现为独立式设备,该独立式设备是作为对自主交通工具302的售后修改而被安装的。虽然出于简明的目的没有在图3中示出,但本地处理单元320可以附加地包括用户接口(例如,一个或多个用户接口206)(诸如显示器、语音识别系统等)以促进用户交互并且使用户能够查看经由如本文进一步所讨论的本公开的各方面获得的经处理的事件数据。
无论此类用户接口的实现方式如何,各方面都包括为用户提供“选择退出”本公开的各方面的选项的用户接口,从而禁用本文所述的各方面的功能。例如,选择加入或选择退出这些服务的能力可以以任何合适的方式并且取决于本地处理单元320的特定实现方式进行,诸如经由本地处理单元320的显示器(未示出)和/或经由用户301的移动电子设备303。此外,各方面包括经由本文进一步讨论的各种图像采集设备捕获的事件数据具有视频或图像,其中出于隐私的目的,视频或图像的部分(例如,人的脸、车牌号等)默认被模糊或以其他方式被修改以模糊或编辑图像的部分,取决于特定操作区域,这可能是遵守一些隐私法要求的要求。然后,当用户决定选择加入共享所捕获的内容(例如,与由本公开的各方面提供的社交媒体共享服务共享)时,模糊或图像修改的某些方面可以被移除。作为另一示例,事件数据的处理可以依赖于经处理的事件数据(即,数字内容)的目的地。例如,与信息在本地被处理并直接被递送到用户的移动设备的情况相比,在通信被上传或被传递给第三方的情况下,可以应用不同的匿名化处理。
在任何情况下,从内部图像采集设备306.1-306.4和/或外部图像采集设备304.1-304.6捕获的视频数据,以及经由自主交通工具302的其他组件接收到的其他数据(例如,表示在自主交通工具行程的期间或当自主交通工具以其他方式在环境中进行交互或导航时沿路线的一个或多个地理位置的位置数据、传感器数据等)可以表示“事件数据”。随着乘坐的进行,因此事件数据形成总体事件数据流的一部分。然后,事件数据流可以被传送到并被存储在本地处理单元320、本地处理单元可访问的本地存储、或另一合适的存储位置(例如,云存储)中。无论存储位置如何,本地处理单元320都可以访问所存储的事件数据,并且在本地处理所存储的事件数据。替代地,本地处理单元320可以将此类处理任务迁移到外部组件(例如云计算平台),该外部组件可任选地经由移动电子设备303访问。
此外,并且如本文进一步所讨论,无论如何处理所存储的事件数据,如本文所述的各方面用于通过结合用户301乘坐自主交通工具302期间、乘坐自主交通工具302之前、或乘坐自主交通工具302之后发生的各种检测到的状况、检测到的感兴趣的事件、位置、触发等分析事件数据来自动地生成经处理的事件数据。经处理的事件数据可以表示行程摘要和/或与检测到的感兴趣的事件(在本文中也简称为“事件”)相关联的数字内容的一个或多个片段(例如,部分),诸如例如,预先编辑的视频剪辑、蒙太奇、图像、一系列图像等。生成经处理的事件数据的过程还可以包括格式化(在本地格式化或作为被迁移的处理操作的一部分)数字内容的每个片段,以便适于传输(例如上传或共享)到用户301可以参与的一个或多个平台(例如,社交媒体平台)。作为附加的示例,视频可以被裁剪(例如,以剪掉重叠区域,或以集中于特定对象或特征)、被弯曲(例如,以校正光学失真、调整图像的视角等)、被下采样、被上采样、被编码、被解码、利用视觉效果来进行丰富、(使用立体图像、光流(来自运动的结构))来进行3D渲染、与音频同步或不同步等。
例如,如下面进一步所讨论,数字内容的自动生成可以包括生成视频剪辑,该视频剪辑可以包括视频、视觉、图形乘坐数据以及附加的多媒体内容,既包括用户生成的内容,又包括由车载软件生成的内容或从云端下载的内容。因此,每个故事对于给定的行程而言是特定的和唯一的,并且可以通过与指定用户的无线通信链路、经由在线服务等与朋友或公众共享。
因此,经处理的事件数据在本文中可以替代地称为可共享的内容、数字内容的片段或部分等。数字内容的部分一旦被创建,就可以根据对此可能期望数字内容的任何适当类型的应用进行共享、存储、传送等。例如,可共享的内容一旦被创建,就可以被上传到与用户301相关联的移动电子设备303或以其他方式经由与用户301相关联的移动电子设备303进行访问。然后,用户301可以根据需要使用根据每个特定应用提供的适当技术经由一个或多个应用来共享该内容,如下文进一步详细讨论的。例如,可共享的内容可以是行程摘要数据、图形交换格式(GIF)文件、JPEG格式的图像文件、MPEG-4格式的视频片段等。数字内容的部分的其他用途可以包括用户在本地将要在本地维护的文件保存到用户设备(诸如智能电话或其他合适的设备)上、将可共享的内容保存到个人驱动器、连接至打印服务(不一定被发布)等。
虽然在图3中示出并在本文中通常称为智能电话,但移动电子设备303可以被实现为任何合适类型的电子设备,该电子设备被配置成连接至合适的数据连接(例如,移动数据和/或Wi-Fi)以与一个或多个平台共享所期望的内容。移动电子设备303的示例除了智能电话之外还可以包括平板计算机、平板手机、膝上型计算机、由自主交通工具302使用的集成计算机系统、智能手表、可穿戴智能技术等。
下面参考图5进一步讨论本地处理单元320的架构的附加细节以及创建用于上传到特定平台(例如,社交媒体平台)的可共享的内容的方式。然而,首先参考图4A和图4B介绍可根据各方面实现的各种数据通信方案是有用的。出于简明的目的,与自主交通工具系统300相关联的附加细节未在图4A和图4B中示出。
图4A图示出根据本公开的各个方面的本地数据交换的示例性框图。在各个方面中,本地处理单元320为一个或多个设备提供连接性。例如,本地处理单元320可用于提供本地无线网络(例如Wi-Fi网络)和/或蜂窝网络(例如,经由LTE、“5G”、C-V2X标准的通信)等。在任何情况下,在进入本地处理单元320的范围内时,用户301的移动电子设备303可以根据适当的无线通信协议连接至本地处理单元320,以经由无线链路404建立连接和对数据的交换。在该方面,本地处理单元320还可以经由无线链路404提供互联网访问,尽管出于简明的目的,图4A中并未示出该具体的连接性。
同样,一旦事件数据被本地处理单元320处理,就会生成经处理的事件数据,该经处理的事件数据可以表示一个或多个可共享的内容的片段。如图4A所示,用户301的移动电子设备303可以使用无线链路404接收数据,该数据可以构成用户301可以自己编辑以生成可共享的内容的事件数据,或者可以构成可以包括一个或多个格式化数字内容的片段的经处理的事件数据。在任何情况下,一旦数据被接收并被存储到用户301的移动电子设备303上,用户就可以经由无线链路406将内容共享到云402。在该示例中,经由无线链路406至云402的连接可以表示至用户301参与或以其他方式访问的任何合适的平台的应用编程接口(API)通信,从而能够根据需要直接发布和/或共享可共享的内容。
如下文进一步所讨论,云402还可以表示至云计算系统的连接,并且因此,云402可以表示一个或多个有线和/或无线网络、基于云的存储系统、基于云的处理系统等。替代地,当本地处理单元320用作Wi-Fi或其他无线连接热点来提供互联网访问时,用户可以替代地经由通过本地处理单元320提供的互联网连接将内容共享到任何合适的平台,尽管出于简明的目的,图4A中未示出该具体的示例。
图4B图示出根据本公开的各个方面的基于云的数据交换的示例性框图。在一方面,本地处理单元320和用户301的移动电子设备303中的每一者经由各自的无线链路452、454连接至云402。换言之,无线链路452、454中的每一者都可以表示根据任何合适类型的通信协议的与云402的无线数据连接。如上文针对图4A所述,无线链路452、454同样可以根据任何合适的无线通信协议和/或标准(例如,诸如Wi-Fi网络和/或蜂窝网络)来制作。同样,云402可以表示例如至一个或多个平台(例如,社交媒体平台)以及网站、云计算、基于云的存储系统等的连接。参考图4B所示出和所述的连接性方面可能优于图4A所示出的连接性方面,因为图4B所示出的连接性布置不要求用户301的移动电子设备303连接至本地处理单元320,从而添加了附加的安全层。
在一方面,本地处理单元320可以以不同的方式标识用户301。例如,如果用户301使用了安装在移动电子设备303上的应用,那么本地处理单元320可以使用这些先前建立的通信来标识用户301。然后,本地处理单元320可以经由无线链路452将经处理的或未经处理的事件数据上传到云402,使得数据经由无线链路454对用户301(和/或其他用户)是可用的。在各方面,本地处理单元320可以以该方式处理事件数据并将经处理的数据上传到云402,或者替代地,本地处理单元320可以通过经由无线链路452将事件数据作为未经处理的数据进行上传,从而将处理任务迁移到云计算系统。在任何情况下,云处理系统可以执行如本文参照本地处理单元320所述的处理的任何(或所有)部分,并且用户301可以经由到移动电子设备303的无线链路454从云402访问经处理的事件数据,以用于共享到所期望的平台。换言之,本地处理单元320不一定需要在本地处理事件数据中的所有(或任何)数据。将事件数据处理迁移到云402的决策可以取决于例如根据一个或多个预定的或学习的规则,诸如事件数据的大小、可用带宽、特定应用、用户偏好、网络速度和可用性等。有利的是,由本地处理单元320将事件数据上传到云402和将处理任务迁移到云402可以在(例如,实时或接近实时)收集事件数据时或在用户301的行程已经完成之后被执行。
无论以何种方式处理事件数据、由用户301进行访问、以及随后用于将数字内容共享到各种平台,主要关注的是安全性系统200的安全,以及更一般地,自主交通工具302作为整体的完整性。例如,本文所述的各方面不能由于恶意的黑客攻击企图而对自主交通工具302的自主操作产生可靠性或安全性问题,恶意的黑客攻击企图可能会损害自主交通工具302安全地运行的能力。因此,本文所述的各方面引入了作为本地处理单元320的架构的一部分的安全措施,以确保在向用户301提供由本文所讨论的各种图像采集系统收集的事件数据的访问权时,自主交通工具302的整体部分不能被访问或篡改。
图5图示出根据本公开的各个方面的包括与本地处理单元相关联的附加细节的示例性自主交通工具数据处理系统。本地处理单元320在图5中进一步详细示出,并且包括数据连接性电路504A和移动无线区域网络(WAN)电路504B。在各种实施例中,本地处理单元可以包括数据连接性电路504A或移动WAN电路504B或既包括数据连接性电路504A又包括移动WAN电路504B,这取决于本地处理单元320的特定应用和实现方式。
在一方面,数据连接性电路504A可以促进本地处理单元320与一个或多个电子设备之间的移动数据连接。例如,数据连接性电路504A可以促进本地处理单元320与移动电子设备303之间的本地Wi-Fi网络连接,如上文参照图4A所讨论。因此,数据连接性电路504A可以利用任何合适数量的发射器、接收器、收发器等来实现,以促进根据任何合适数量和/或类型的通信协议经由无线链路404的通信。同样,在一些方面,本地处理单元320的一个或多个部分可以与参照图2所讨论的安全性系统200相关联。在此类情况下,数据连接性电路504A可以包括一个或多个分开的无线收发器或构成安全性系统200的一部分的收发器(例如,无线收发器208、210和/或212)。
在一个方面,移动WAN电路504B可以促进本地处理单元320与云402之间的移动数据连接,该移动数据连接可以表示与互联网以及基于云的存储、基于云的处理系统、一个或多个社交媒体平台等的连接。例如,移动WAN电路504B可以促进本地处理单元320与云402之间的移动数据连接,如上文参照图4B所讨论。因此,移动WAN电路504B可以利用任何合适数量的发射器、接收器、收发器等来实现,以促进根据任何合适数量和/或类型的通信协议经由无线链路454的通信。同样,移动WAN电路504B可以包括一个或多个分开的无线收发器或构成安全性系统200的一部分的收发器(例如,无线收发器208、210和/或212)。
如上文参照图3所讨论,自主交通工具数据处理系统500包括一个或多个内部图像采集设备306.1-306.4和一个或多个外部图像采集设备304.1-304.6。一个或多个内部图像采集设备在图5中被表示为306.1-306.N,指示可以存在任何合适数量N个图像采集设备。同样地对一个或多个外部图像采集设备304.1-304.N重复该表示。本地处理单元320可以附加地或替代地利用任何合适数量N个专用图像采集单元510.1-510.N,这些专用图像采集单元还可以包括内部图像采集设备306.1-306.N和/或外部图像采集设备304.1-304.N中的一者或多者。
例如,专用图像采集单元510.1-510.N可以作为与内部图像采集设备306.1-306.N和/或外部图像采集设备304.1-304.N分离的组件进行安装。作为另一个示例,专用图像采集单元510.1-510.N可以通过从内部图像采集设备306.1-306.N和/或外部图像采集设备304.1-304.N中重新路由或重新利用冗余的、未使用的、或不必要的图像采集设备来实现。在任何情况下,专用图像采集单元510.1-510.N可以经由专用馈送电路块510A直接将视频数据提供给本地处理单元320。如下面进一步所讨论,由于专用图像采集单元510.1-510.N的专用性(即不用于交通工具的自动驾驶系统),来自专用图像采集单元510.1-510.N的视频数据不需要通过安全机构506,因为专用图像采集单元510.1-510.N与其中实现本地处理单元320的交通工具的其余部分是分离的。
如图5所示,专用图像采集单元510.1-510.N、外部图像采集设备304.1-304.N、和内部图像采集设备306.1-306.N中的每一者都被耦合到相应的馈送电路510A、510B、510C。馈送电路510A、510B、510C中的每一者都可以包括任何合适数量的硬件和软件组件,以促进将由所耦合的图像采集设备捕获的视频数据传输到本地处理单元320。例如,馈送电路510A、510B和510C中的每一者可以包括用于从每个数据采集设备、数据缓冲器、驱动器、数据总线、存储器寄存器等中接收视频数据的一个或多个合适的数据接口。
虽然馈送电路510A、510B、510C在图5中被示出为经由单个链路耦合到它们相应的图像采集设备,将会理解,每个馈送电路510A、510B、510C可以分开地接收数据且独立地从其耦合到的每个图像采集设备接收数据。因此,每个馈送电路510A、510B、510C可以接收、存储和/或向本地处理单元320提供来自其耦合到的任何合适数量或子集的图像采集设备的视频数据。此外,视频数据可以被暂时存储在馈送电路510A、510B和510C中的每一者中,然后根据任何合适的通信协议(例如以太网)将其传输到本地处理单元320。如下面进一步所讨论,本地处理单元320可以以任何合适的方式(诸如在数据存储508、存储器503和/或云402(例如,经由使用数据连接性电路504A和/或移动WAN电路504B的传输)中)存储从馈送电路510A、510B和510C中的一者或多者接收到的视频馈送数据。
虽然出于简明的目的,在图5中仅示出了单个存储器503,但各方面包括用于存储事件数据(例如,视频捕获数据)的任何合适的量和/或数量的存储器系统和/或存储器资源的实现方式。例如,ADAS系统通常试图限制被记录的视频数据的量,以实现最大效率、降低功耗等。然而,根据如本文所述的各方面,可以实现更广泛的视频记录。
自主交通工具数据处理系统500还包括若干组件,这些组件可以是其中实现本地处理单元320的自主交通工具的一部分,或者作为附加的或专用的组件提供,如先前所讨论。例如,系统500可以包括GNSS系统516,该GNSS系统516可以利用安全性系统200的一个或多个位置传感器106或分开的组件来标识。在任何情况下,GNSS系统516可以用于获得跟踪其中实现本地处理单元320的自主交通工具的位置的地理位置数据,以提供沿着自主交通工具行程的路线的一个或多个地理位置。因此,GNSS系统516可以被实现为GPS或任何其他合适的位置采集设备,并且可以被实现为已知的GNSS系统架构并具有已知的组件和功能。
无论以何种方式实现GNSS系统516,GNSS系统516被配置成用于经由在图5中被表示为链路514的一个或多个有线和/或无线互连将位置数据提供给本地交通工具网络520。位置数据可以包括地理坐标、时间戳数据、时间同步信号和/或可经由典型GNSS系统使用地理定位服务获得的任何其他合适类型的数据。
本地交通工具网络520可表示与其中实现本地处理单元的交通工具相关联的通信网络,以及可耦合到该通信网络的一个或多个数据适配器。例如,本地交通工具网络520可以被实现为形成交通工具的控制器区域网络(CAN)总线通信系统的一个或多个CAN总线线路。作为另一个示例,本地交通工具网络520可以包括一个或多个附加网络,以及一个或多个数据适配器(当需要时),这些数据适配器用于将数据从CAN总线数据格式转换为可能更适合各种交通工具组件或与各种交通工具组件兼容的另一种数据格式。例如,本地交通工具网络520可以包括CAN总线到以太网适配器(反之亦然),该适配器用于将经由各种图像采集设备接收到的视频数据转换为以太网协议。作为又一个示例,本地交通工具网络520可以包括与各种不同的通信协议相关联的一个或多个总线,使得从一个通信协议转换到另一个通信协议可能不是必要的。因此,本地交通工具网络520可以表示任何合适数量的交通工具通信总线和/或网络,并且被配置成根据任何合适数量和类型的通信协议支持交通工具通信。以此方式,本地交通工具网络520可以实现各种互连的交通工具组件之间的数据通信。例如,交通工具网络520可以与链路514和517一起包括本文相对于包括链路220、222、224的安全性系统200所讨论的第一、第二、和第三数据接口。
电子控制单元((多个)ECU)518可以表示与其中实现本地处理单元320的交通工具相关联的一个或多个电子控制单元。在一方面,(多个)ECU 518可以包括利用本文所讨论的安全性系统200提供的数据来实现高级驾驶员辅助系统(ADAS)功能的一个或多个交通工具组件。这些ADAS功能可以包括例如半自主或完全自主驾驶解决方案,该解决方案利用如上文参照图1和图2所解释的各种传感器源和其他输入数据。
此外,出于该目的,(多个)ECU 518可以利用经由本地交通工具网络可用的任何合适类型的数据。例如,(多个)ECU 518可以利用由GNSS系统516提供的位置数据、由外部图像采集设备304.1-304.N和/或内部图像采集设备306.1-306.N提供的视频数据,以及经由本地交通工具网络520可用的任何其他合适类型的数据,这些数据(诸如雷达数据、激光雷达数据、传感器数据、天气状况等)可以(但不需要)用于ADAS功能。作为说明性示例,取决于其中实现本地处理单元的特定类型的交通工具的类型和交通工具的能力,位置数据可由连接到本地交通工具网络520(例如,(多个)ECU 518)的各种组件使用,以促进自主驾驶功能、确定驾驶路线、或用于任何其他合适的目的。
本地处理单元320同样可以访问由(多个)ECU 518利用的数据的任何合适的部分,以标识乘坐其中实现本地处理单元320的交通工具之前、期间或之后发生的一个或多个事件,然后可以使用这些事件来创建经处理的事件数据。例如,本文所使用的术语“事件数据”可包括由(多个)ECU 518利用的数据的任何组合或子集,这些数据可包括由GNSS系统516提供的位置数据、由与耦合到其的相应图像采集设备相关联的馈送电路510A、510B和/或510C中的一者或多者提供的视频数据、视频数据中包括的音频数据或经由分开的麦克风采集的音频数据、传感器数据等。
除了经由专用馈送电路510A接收到的任何数据之外,本地处理单元320可以经由安全机构506从本地交通工具网络接收事件数据。安全机构506可以是例如“单向防火墙”,该“单向防火墙”作为硬件解决方案、作为软件解决方案或这些方案的组合来实现。无论安全机构506以何种方式实现,各方面包括安全机构506经由链路530、532将事件数据提供给本地图像和数据处理电路502,使得数据无法从本地处理单元320传送到本地交通工具网络520。在一方面,安全机构506可以与在本地处理单元320中发生的用户数据的处理(例如,接收乘坐请求、标识用户等)分开地处理从本地交通工具网络520接收的数据。这确保在本地处理单元320被软件攻击损坏的情况下,在高度安全、受保护的环境中操作的交通工具的关键网络是无法访问的。
例如,如图5中所示的链路530可以被配置为一个或多个数据接口,一个或多个数据接口被配置成与安全机构506一起工作。虽然出于简明的目的,图5中未示出,但链路530还可以包括各种硬件和/或软件组件,诸如,处理器、数据下采样器、缓冲器、驱动器等。链路530可以在各方面用于在一个方向上选择性地提供来自本地交通工具网络520的特定类型的数据和/或对数据进行下采样以降低带宽和处理要求。例如,链路530可以用作数据接口,该数据接口与安全机构506一起选择性地将诸如媒体数据(例如,视频、音频等)之类的事件数据提供给安全机构506以供进一步处理。链路530还可以与安全机构506一起用于确保只允许从本地处理单元320到本地交通工具网络520的特定类型的经授权的通信(例如访问请求)。
在一方面,安全机构506被配置成防止特定类型的数据(例如,未经授权的请求或数据传输)以相反的方向被传送,即经由链路530回到本地交通工具网络520。以此方式,本地处理单元320从其中自主交通工具的各种系统可以操作的安全环境以及特别重要的(多个)ECU 518被有效地“沙盒化”。因此,例如,经由无线链路404、454对本地处理单元320进行恶意攻击,即使成功,也会防止攻击者与自主交通工具的其他关键安全性组件进行通信以用于潜在的邪恶手段。以此方式,安全机构506可以用于将数据从自主交通工具的较安全环境(该较安全环境可以与连接到本地交通工具网络520的各种关键组件相关联)传输到本地处理单元320的较不安全环境(例如,存储器503和诸如云402之类的其他外部目的地)。
因此,本地图像和数据处理电路502可以在具有与本地交通工具网络520和/或自主交通工具的其他组件的安全级别不同(例如较不安全)的安全级别的环境中对接收到的事件数据进行操作。在该上下文中,术语“较不安全”并不意味着数据可以被公开地访问。相反,与从其接收事件数据的自主交通工具的安全环境级别相比,本地处理单元320在其中操作的环境以及从本地处理单元320接收经处理的事件数据的其他设备的安全级别可以被标识为较不安全(例如,较低的加密级别、较少的数据认证措施、较少的数据安全措施等)。
同样,在各个方面,安全机构506和/或可用作数据接口的链路530可被实现为硬件和/或软件的任何合适组合。例如,如上文所述,安全机构506和/或链路530可用于选择性地仲裁或以其他方式控制特定类型的数据在本地处理单元320与本地交通工具网络520之间的流动。作为另一示例,安全机构506可以被实现为软件解决方案,其中与本地处理单元320和本地交通工具网络520之间的数据传输相关联的端口以无法经由本地处理单元320重新启用的方式被取消映射、未被配置或未被使用。作为另一示例,安全机构506可以被实现为不包括物理端口、驱动器、缓冲器等(或其以其他方式被物理地移除或禁用)的硬件解决方案,该物理端口、驱动器、缓冲器等将以其他方式使数据能够沿着从本地处理单元320到本地交通工具网络520的方向流动。作为又一示例,安全机构506可以被设置为“数据二极管”,该“数据二极管”可以包括光学介质或其他携带数据的介质,这些介质只允许安全机构506从本地交通工具网络520接收数据,而不将数据传送到本地交通工具网络520。例如,如果本地交通工具网络520中的视频流送和数据传输利用已知的用于视频数据传输的技术(诸如UDP(无状态数据包传输)和/或多播/任播技术(同时发送给多个接收者)),则安全机构506的硬件实现方式可能是特别有用的。
处理事件数据
同样,本地图像和数据处理电路502可以经由安全机构506接收事件数据,该事件数据可以包括位置数据、视频数据等,这些数据也可由(多个)ECU 518经由本地交通工具网络520访问。事件数据可以附加地或替代地包括经由专用馈送电路510A接收到的视频数据,该视频数据不是经由安全机构506获得的。本地图像和数据处理电路502可以被实现为任何合适数量和/或类型的硬件处理器和/或软件工具、可执行代码、逻辑等,以对事件数据执行各种类型的分析从而标识事件并且一旦事件被标识就创建经处理的事件数据。由于本地图像和数据处理电路502可以分析包括在事件数据中的图像、视频、音频、和/或位置数据,因此本地图像和数据处理电路502可以利用适当的处理工具来实现以执行这些类型的分析,例如图像分析/处理、音频分析/处理等。本地图像和数据处理电路502可以是本地处理单元320的一部分,并且在各方面是其中实现本地处理单元320的自主交通工具的集成的部分。在其他方面,本地图像和数据处理电路502可以是如上文所讨论的专用本地处理单元。
在其中本地处理单元320是自主交通工具的一部分的方面中,本地图像和数据处理电路502可以利用安全性系统200的一个或多个部分来标识,如本文参照图2所示和所讨论。例如,本地图像和数据处理电路502可以利用一个或多个处理器102的一部分或全部来标识,并且存储器503和/或存储508可以利用存储器202的一部分或全部来标识。无论特定的实现方式如何,本地处理单元320被配置成在事件数据被处理之前和之后(即作为经处理的事件数据或可共享内容的片段)将数据存储在存储508和/或存储器503中,存储508和/或存储器503各自可以被实现为任何合适类型的易失性或非易失性存储器(诸如,硬盘、闪存等)。存储器503可以形成本地图像和数据处理电路502的一部分,并且存储508和存储器503中的每一者可以被实现为非暂态计算机可读介质。在一方面,存储器503可以存储机器可读的可执行代码,当该代码由本地图像和数据处理电路502执行时,使得本地图像和数据处理电路502和/或本地处理单元320分析事件数据、生成经处理的事件数据,并且以其他方式执行本文所述的各方面。
本地图像和数据处理电路502可以分析事件数据以检测各个事件,从而以不同的方式生成经处理的事件数据。下面提供了可经由分析事件数据来标识的事件类型的各种示例,但是这些是以示例方式而不以限制方式。例如,可以单独使用经训练的系统(例如,机器学习算法)或与计算机处理算法结合使用。作为说明性的示例,面部识别和模糊可以基于机器学习。无论检测到的事件的特定类型如何,本地图像和数据处理电路502被配置成生成经处理的事件数据,这些数据可以使得对用户301的移动电子设备303可用以共享到适当的平台,或者用于其他目的。在下面提供的示例中的每一个示例中,本地图像和数据处理电路502可以接收事件数据并生成经处理的事件数据,该数据实时地、在行程期间、在行程开始之前、或一旦行程结束之后经由移动电子设备303提供给用户301。经处理的事件数据可以包含例如数字内容的一个或多个片段(诸如,一个或多个预先编辑的视频)。预先编辑的视频可以以大致集中于作为事件数据分析的结果的一个或多个经标识的事件或以其他方式关于作为事件数据分析的结果的一个或多个经标识的事件在时间上间隔开的方式进行剪切。
行程摘要
在其中本地处理单元320被实现为机器人出租车或出租自主交通工具的一部分的各方面中,用户301可以请求上车,所述上车经由与自主交通工具的适当通信来处理。此时,自主交通工具(例如,(多个)ECU 518)可以接收用户301的位置、目的地、所请求的上车时间以及用户301的身份(例如,用户ID)。在该情况下,本地图像和数据处理电路502也可以接收该信息作为事件数据的一部分。该信息可由本地图像和数据处理电路502处理,以提供行程摘要信息(诸如所采取的路线、上车时间、下车时间、行程持续时间等)。
使用事件数据记录用户
上述示例1中提到的行程摘要数据可以被提供给用户。然而,各方面还包括本地图像和数据处理电路502使用该信息来智能地和自动地将可共享的内容提供给可能特别相关的用户301以用于共享到社交媒体平台。例如,视频数据可以参考通用系统时钟来获取或者以其他方式同步到实时,使得记录的视频数据随后与用户301的行程相关联的特定时间段相关。各方面包括本地图像和数据处理电路502将行程的特定时间段(诸如,摘要数据中所指示的行程的开始或结束、用户303首次进入交通工具的时间等)与视频数据的特定部分进行匹配。
继续该示例,本地图像和数据处理电路502可以实现对象跟踪(独立地或依赖于由其中实现本地处理单元320的安全性系统200提供的对象跟踪数据),以在整个360度视图的视频数据内定位和跟踪人员,并且然后从该较宽的视场中提取该时间段期间的较窄视场,该较窄视场仅包括被跟踪的感兴趣的对象(例如,可以从用户简档、以前的乘坐等中获得其视觉标识数据的用户301)。这有利地将用于分析所需的视频数据的尺寸减少到包含交通工具行程摘要数据中的特定时间段的窗口。作为说明性的示例,用户301可以预订到机场的行程去度假。当用户301最初被接走时,用户301很可能心情很好并且微笑着的同时将她的行李箱朝机器人出租车方向滚动。利用行程开始时间和对象跟踪数据,本地图像和数据处理电路502可以对事件数据进行处理,以提供大约以该事件的时间为中心的用户301的5、10、15、20秒等的视频剪辑。在行程结束之后,用户301随后可以接收或以其他方式访问该视频剪辑,然后可以将该视频剪辑共享例如到各个平台。将领会,对象跟踪特征可以以任何其他方式用于发起数据记录和与用户共享,例如,对象跟踪可以在距主控交通工具一定距离时(该距离可以由主控交通工具上的传感器确定)、在用户激活时(通过智能电话应用或手势识别)、当用户进入合适的通信装置的通信范围(例如近场通信范围、蓝牙等)时发起。
利用事件数据提供外部集锦和事件
事件数据还包括在行程期间跟踪自主交通工具的地理位置的位置数据,该位置数据还与视频数据的时间记录同步或以其他方式参考视频数据的时间记录。因此,各方面包括本地图像和数据处理电路502对事件数据进行处理,以根据位置数据确定在行程期间是否经过特定的地标。这可以例如通过访问(例如,存储在存储508中的)地理坐标或地理位置数据库来执行,以确定自主交通工具何时在指示感兴趣的点的所存储的、预定的位置中的一者的预定阈值距离内。
继续该示例,本地图像和数据处理电路502可以从对视频数据的分析中标识一个或多个外部图像采集设备304.1-304.N的、朝向感兴趣的点的视场。例如,可以使用可从外部图像采集设备304.1-304.N获得的整体360度视图的数据内的对象跟踪来做出该确定。作为另一示例,可以使用经由本地交通工具网络520接收的作为事件数据的一部分的传感器数据(例如罗盘数据)和/或位置数据来做出该确定,以在检测到接近地标(即事件)时标识自主交通工具的前进方向和取向。继续该示例,当使用已知的技术将360度视频拼合在一起时,可以使用由外部图像采集设备304.1-304.N提供的数据来知晓360度视频的取向。然后,使用从传感器或位置数据中确定的朝向所标识的地标的方向,可将可用的整个360度视图的视频数据减小到在地标的方向上和在地标被标识为接近自主交通工具的时间段期间的更窄的视场。作为说明性示例,本地图像和数据处理电路502可以处理事件数据以提供在去往或离开机场的途中经过的特定地标的视频剪辑,该视频剪辑可以基于经过地标时自主交通工具的取向来从外部图像采集设备304.1捕获。在行程结束之后,用户301随后可以接收或以其他方式访问该视频剪辑,然后可以将该视频剪辑共享到各个平台。
作为另一示例,本地图像和数据处理电路502可以访问共同的实时时钟,并且从而知道当前的日期和时间。因此,各方面包括本地图像和数据处理电路502处理视频数据,以基于时间和日期信息来以不同的方式分析来自特定图像采集源的视频数据。作为说明性示例,如果当前日期为7月4日,且当前时间为晚上9:30,则本地图像和数据处理电路502可以对事件数据进行处理,以仅分析与外部图像采集设备304.1-304.N相关联的视频数据,以标识在该时间和日期期间预期的事件(例如,烟花)。然后,本地图像和数据处理电路502可以提供该视频数据中包含的事件中的一个或多个事件的视频剪辑作为经处理的事件数据。在行程结束之后,用户301随后可以接收或以其他方式访问该视频剪辑,然后可以将该视频剪辑共享到各个平台。
使用事件数据增加数据可访问性
如本文所讨论,事件数据可包括在行程期间由自主交通工具的一个或多个组件(或其他外部设备(诸如售后组件))获取的视频数据、音频数据和位置数据。然而,这些特定类型的事件数据是通过示例的方式而非限制的方式,并且如本文所述的各方面可以包括使用具有与其在其中实现的交通工具相关联的任何合适类型的信息的事件数据。例如,由于安全机构506为自主交通工具数据处理系统500的安全环境提供了适当的隔离,各方面包括本地图像和数据处理电路502提供经处理的事件数据,该事件数据包括以其他方式将不能从自主交通工具提取的、但可以包含有用信息的自主交通工具系统数据。例如,自主交通工具系统数据可包括由自主交通工具在导航环境时(例如,在行程期间)记录的日志数据、经由各种自主交通工具组件(诸如激光雷达和/或雷达)获取的传感器数据等。
作为附加的示例,事件数据可以附加地或替代地包括从自主交通工具的通信范围内的其他外部设备(诸如智能电话或智能可穿戴设备)接收到的数据。在外部设备的情况下,事件数据可以包含生物传感器反馈数据,诸如脉搏信息、血压数据等。在一些方面,当事件数据被处理时,该生物传感器反馈数据可以附加地或替代地用于标识事件。例如,在预定的时间窗口内超过阈值的脉搏率可用于标识经处理的事件数据中的感兴趣的事件。
根据各个方面,上述自主交通工具系统数据和生物传感器反馈数据的可访问性可用于各种应用。例如,自主交通工具系统数据可与事件数据的其他部分同步。因此,当本地图像和数据处理电路502分析事件数据时,那么事件数据所包括的视频数据、图像、音频、位置等可以与生物传感器反馈数据组合或“拼合”。例如,脉搏信息可以与数字内容的一个或多个部分并列显示,以示出用户对感兴趣的特定事件的“生物反应”。例如,该数据拼合可应用于任何合适类型的事件数据,其中数字内容包括作为同一数字内容的一部分显示的其任何部分,诸如一起显示的多个图像和/或视频。
作为另一示例,自主交通工具系统数据可包括促进自主交通工具传感器在导航环境时收集的各种类型的数据的表示的信息。这可以包括用于自主交通工具导航或出于其他目的记录的3D和/或4D数据。在各个方面,事件数据可以包括该3D和/或4D数据,该3D和/或4D数据可以包括诸如例如自我交通工具位置的指示、周围街道、驾驶日志和/或一个或多个行程的实时摘要等之类的信息。各方面包括本地图像和数据处理电路502分析事件数据以提取此类自主交通工具系统数据,这些数据然后可以被格式化、被导出和/或被共享给其他用户,以用于使用合适的应用来查看数据。例如,数字内容可以包括行程期间感兴趣的事件、行程摘要、整个行程等,这些内容被格式化以用于虚拟现实(VR)应用。以此方式,例如,包括用户旅程的集锦或全部的经处理的事件数据的生成可以与其他用户共享并以3D或4D方式观看。特定类型的数字内容的生成和/或感兴趣的特定事件的标识可以经由用户使用触摸面板、用户的电子设备、语音命令等与本文所讨论的合适的用户接口(例如用户接口206)交互来触发。
关于自主交通工具系统数据的使用,各方面包括本地图像和数据处理电路502分析事件数据以提取驾驶日志数据和/或传感器数据,使得可随后经由合适的应用查看行程(或其感兴趣的部分)或与感兴趣的一方共享。继续该示例,数字内容可以包括提取的关于加速、转弯、制动等的自主交通工具日志数据、从设置在交通工具外部的相机捕获的图像和/或视频等,这些内容可以作为事故调查的一部分与保险公司共享。例如,此类自主系统数据可以附加地或替代地用于事故重建。
通过使用用户动作简档使用事件数据提供外部集锦和事件
同样,视频数据可以包括既来自交通工具外部又来自交通工具内部的记录的镜头。因此,各方面包括本地图像和数据处理电路502使用一个或多个合适的图像处理技术分析视频数据,以基于用户301在行程期间的动作来检测一个或多个事件。例如,可以分析事件数据,特别是可以分析交通工具内的用户301的视频数据以标识一个或多个与预定的动作简档相匹配的用户动作,该动作简档可以包括可以存储在存储508中或以其他方式经由本地处理单元320可访问的经学习的动作简档。检测到的动作简档可以包括例如与用户301的注视方向相关联的注视事件。例如,这可以通过确定用户301朝特定方向看向窗外长达超过阈值时间段的时间段来确定,从而匹配预定的动作简档。确定用户的注视和注视方向是已知的技术,该技术可以经由已知的对象跟踪和/或头部取向跟踪工具从视频数据的图像分析中确定。在另一示例中,用户行为可以与用户选择的事件相关联,这些事件是由用户上传或共享的,并且以此方式,可以使用机器学习技术来训练神经网络,以通过用户反应或通过任何其他可感知的队列来标识感兴趣的事件。
在各方面中,不同动作简档的标识可以根据任何合适的机器学习算法来执行。机器学习算法可以根据其特定实现方式、使用例如包括各种用户手势、动作、姿势、或针对其可以随后检测出动作轮廓的任何其他合适类型的行为的训练数据进行训练。例如,存储器503可以存储训练数据,使得本地图像和数据处理电路可以执行合适的机器学习算法。在这样做时,本地图像和数据处理电路502可以随后通过根据训练数据将位于自主交通工具内的人员的动作分类为与预定的动作简档中的一者相匹配来检测感兴趣的事件。
当检测到注视事件时,各方面包括本地图像和数据处理电路502基于传感器数据(例如罗盘数据)和自主交通工具的前进方向来标识一个或多个特定的外部图像采集设备304.1-304.N的、被引导朝向与用户301的注视方向相匹配的方向(以便捕获该方向的视频)的视场。如上文所讨论,可将可用的整个360度视图的视频数据减小到在用户301的注视方向上和在注视事件被标识的时间段期间的较窄的视场。作为说明性示例,本地图像和数据处理电路502可以处理事件数据以提供在去往或离开机场的途中捕获的视频的视频剪辑,该视频剪辑可以基于检测到注视事件时自主交通工具的取向来从外部图像采集设备304.2中捕获。在行程结束之后,用户301随后可以接收或以其他方式访问该视频剪辑,然后可以将该视频剪辑共享到各个平台。
检测到的动作简档的附加示例包括观看方向和/或注视的突然改变,从而指示用户301的惊讶。惊讶事件的检测可以例如通过在行程期间跟踪视频数据中用户301的注视方向并标识在阈值时间段内超过阈值角位移的注视方向的改变来与预定的动作简档相匹配。当检测到惊讶事件时,各方面包括本地图像和数据处理电路502标识一个或多个特定外部图像采集设备304.1-304.N的、被引导朝向(以便捕获该方向的视频)与用户301的经调整的注视的方向相匹配的新的(即,后续的)注视方向的视场。如上文所讨论,可将可用的整个360度视图的视频数据减小到在用户301的注视的新的方向上和在惊讶事件被标识的时间段期间的较窄的视场。作为说明性示例,本地图像和数据处理电路502可以处理事件数据以提供在去往或离开机场的途中捕获的视频的视频剪辑,该视频剪辑可以基于检测到惊讶事件时自主交通工具在用户301的新的、经调整的注视方向上的取向从外部图像采集设备304.3中捕获。在行程结束之后,用户301随后可以接收或以其他方式访问该视频剪辑,然后可以将该视频剪辑共享到各个平台。
作为检测到的动作简档的又一示例,用户301可以试图使用移动电子设备303拍照。对此类感兴趣的事件的检测可以例如通过标识移动电子设备303的取向、移动电子设备303与用户301的脸部的接近度超过阈值时间段、或者任何其他合适的图像处理技术来确定用户301正在尝试拍照以及此类照片的视场方向来与预定的动作简档相匹配。当检测到诸如这一个事件的感兴趣的事件时,各方面包括本地图像和数据处理电路502基于传感器数据(例如罗盘数据)和自主交通工具的前进方向来标识一个或多个特定的外部图像采集设备304.1-304.N的、被引导朝向用户301引导移动电子设备303的方向(以便捕获该方向上的视频)的视场。如上文所讨论,可将可用的整个360度视图的视频数据减小到在该新的方向上和在感兴趣的事件被标识的时间段期间的较窄的视场。作为说明性示例,本地图像和数据处理电路502可以处理事件数据以提供在去往或离开机场的途中捕获的视频的视频剪辑,该视频剪辑可以在用户301拍照时基于自主交通工具在移动电子设备303的方向上的取向从外部图像采集设备304.1中捕获。在行程结束之后,用户301随后可以接收或以其他方式访问该视频剪辑,然后可以将该视频剪辑共享到各个平台。
为了提供又一示例,如本文所讨论,本地处理单元320可以包括与安全性系统200分开或者作为安全性系统200的一部分的用户接口。在任何情况下,用户接口可以包括使用户301能够与本地处理单元320交互的一个或多个触摸显示器、麦克风等。在这种情况下,用户301可以(例如经由触摸显示器指示、通过说出命令等)手动标识交通工具内部和/或外部的难忘的事件。然后,本地图像和数据处理电路502可以响应于接收此类用户命令而标记如由用户301所指示的事件。然后,经处理的事件数据可以基于用户输入来包括来自内部图像采集设备306.1-306.N和/或外部图像采集设备304.1-304.N中的一个或多个的视频数据、图像等,并使该经处理的事件数据对用户301可用,然后可以将该数据共享到各个平台。
通过使用用户动作简档使用事件数据提供内部集锦和事件
如上文所讨论,各方面包括本地图像和数据处理电路502使用一个或多个合适的图像处理技术分析视频数据,以基于用户301在行程期间和/或在自主交通工具导航(或已经导航)环境时的动作来检测一个或多个事件。在上述示例中,来自外部图像采集设备304.1-304.N的视频被处理以基于用户301的已标识的动作简档提供更窄的视场。然而,来自内部图像采集设备306.1-306.N的视频可以附加地或替代地用于为用户301提供经处理的事件数据。例如,本地图像和数据处理电路502可以基于检测特定的用户动作响应于上述事件中的任一个而生成经处理的事件数据。如先前的示例中,经处理的事件数据可以包括从外部图像采集设备304.1-304.N中的一者或多者捕获的经编辑的视频数据。然而,各方面还包括经处理的事件数据附加地或替代地包括从内部图像采集设备306.1-306.N中的一者或多者捕获的经编辑的视频数据。因此,继续上文提供的示例,经处理的事件数据可以包括与用户的注视方向相匹配的视场的视频以及用户朝该方向看的视频。
此外,对于一些类型的用户动作,对于经处理的事件数据而言仅包括从内部图像采集设备306.1-306中的一个或多个捕获的经编辑的视频数据可能更合适。继续该示例,此类检测到的动作简档可以包括例如与用户301发出笑声、用户301的快速移动(跳跃、兴奋等)或用户301的某些动作(诸如经由电子移动设备303自拍或拍视频)相关联的音频和/或视频。作为说明性示例,本地图像和数据处理电路502可以处理事件数据,并在适用时分析事件数据中的音频数据和/或视频数据以标识相关事件。作为示例,经处理的事件数据可以包括在前往或离开机场的途中捕获的视频的视频剪辑,该视频剪辑可以在检测到特定类型的用户活动时从内部图像采集设备306.1中捕获。在行程结束之后,用户301随后可以接收或以其他方式访问该视频剪辑,然后可以将该视频剪辑共享到各个平台。
换言之,如本文所述的各方面一般能够定制或修改由可能已经存在于交通工具(例如,自主交通工具或机器人出租车)中或出于此目的以其他方式安装的各种图像采集设备最初捕获的视频数据。初始视频数据可以包括“默认”视图,该视图与从多于一个的特定图像采集源(例如,内部或外部图像采集设备的所有或子集)记录的各种视频馈送相关联。例如,作为事件数据的一部分被包括的初始视频数据可以表示“拼合的”交通工具外部的环境的视图(例如180度视图、360度视图等)以及内部相机的视图(例如,用户301周围的宽视场(诸如180度弧))。本文所述的各方面包括本地图像和数据处理电路502处理该初始视频数据,以提供经处理的事件数据,该事件数据具有针对特定的人员或对象的较小视场、不同的缩放水平(例如,相对于交通工具内部和用户301的“自拍”视点)。本文所述的方面可以处理该初始视频数据,以作为经处理的事件数据输出具有任何合适的长度、格式、视点、视觉效果等的视频数据(例如,围绕用户301进行缩放、提供“子弹时间”视频、应用过滤或覆盖等)。替代地,可以对事件数据进行处理,以允许用户301从经拼合的360视图中选择所期望的视点、特定的图像采集设备馈送视点、缩放水平等,其中取决于用户的选择或特定的应用,经由本地图像和数据处理电路502自动对事件数据执行各种编辑量或经由用户301来执行。
进一步地,经处理的事件数据可以包括来自各种相机源的视频数据的组合,诸如从外部图像采集设备304.1-304.N中的一些以及从内部图像采集设备306.1-306.N中的一些采集的视频数据的组合。作为说明性示例,经处理的事件数据可以包括可共享的视频或蒙太奇照片作为一个单个文件,该视频或蒙太奇照片除了示出外部图像数据(风景、地标、事件等)之外,还从交通工具内部示出用户301,该文件被格式化用于社交媒体发布或与其他合适的平台一起使用。这对于例如示出用户301在特定检测到的事件期间的反应和情绪并且在可共享的内容(例如视频或照片)的同一片段中还示出当检测到该事件时引起用户301的反应的内容可能是特别有用的。
同样,对最初捕获的视频进行处理可以包括改变缩放水平或将视频数据切割成只包括感兴趣的事件和特定的视点,而不是示出如最初捕获的完整视场。在一方面,本地图像和数据处理电路502可以使用已知的处理技术(诸如对象跟踪)以通过在检测到事件的时间段期间连续地调整感兴趣的区域来将检测到的事件或对象保持在帧中。例如,经处理的事件数据可以包括从来自外部图像采集设备304.1-304.N和/或内部图像采集设备306.1-306.N的一个或多个图像的初始视频馈送数据中“切割出来”的图像。
利用手势识别使用事件数据
同样,各方面包括本地图像和数据处理电路502使用一个或多个合适的图像处理技术分析视频数据以检测一个或多个感兴趣的事件。根据一些方面,可以使用识别的用户手势来标识感兴趣的事件。例如,如上文所述,各种技术(例如,经训练的机器学习算法)可以标识某些用户动作简档并在检测到此类动作简档时标识感兴趣的事件。动作简档可以包括各种用户手势,这些手势可以触发感兴趣事件的发生或以其他方式对感兴趣事件的发生进行发信号,并且可以附加地指示感兴趣事件相对于用户和/或交通工具的位置或方向。例如,用户可以用她的(双)手以特定的方式指向地标、在空气中以二维或三维的方式描绘出图案、以特定的方式触摸她的脸等等。例如,响应于检测到的手势,各方面包括本地图像和数据处理电路标识感兴趣的事件和/或通过基于由用户的手势标识的感兴趣事件的位置、选择性地应用或拼合如上所述的特定相机馈送的视频数据来生成数字数据的一个或多个部分。作为另一示例,用户的手势可以在事件数据中指示相对于感兴趣的事件的时间点,并且经处理的事件数据可以包括与设置在交通工具外部的相机相关联和/或来自设置在交通工具内部的(多个)相机的数字内容的一个或多个部分,这些数字内容表示360度视图、180度视图等。
跨多个应用和平台使用事件数据
同样,经处理的事件数据可包括以各种方式标识的一个或多个感兴趣的事件。然而,使用用户动作简档对于确定用户行为和/或标识潜在的位置、地标、零售商等可能是特别有用的,用户可能对潜在的位置、地标、零售商等表示特别的兴趣。例如,因此,各方面包括利用用户动作简档来自动地执行特定的应用,这些应用可以从用户的移动电子设备303存储和执行。
作为说明性示例,上述对事件数据的注视分析可以标识感兴趣的对象,该对象可以包括例如用户正在观看的特定建筑物、地标等。各方面包括本地图像和数据处理电路502(例如,经由访问所存储的数据库(诸如地图数据库204)、与位置服务器的外部通信等)标识感兴趣的对象。一旦被标识,数字内容可以包括为一个或多个第三方应用(例如,建图实用程序、移动电话操作系统应用等)标识感兴趣的对象的数据或链路。以此方式,当数字内容被传输到用户的移动电子设备时,移动电子设备可以在接收到数字内容时或在稍后的时间执行一个或多个预定应用或其他合适的动作。例如,用户的移动电子设备303可以在自主交通工具中的行程结束之后显示合适的通知,该通知提醒用户与特定事件链接的活动,在该示例中为用户先前对所标识的位置的兴趣或感兴趣的对象。
此外,经处理的事件数据的可用性可实现数字内容跨各种平台的自动共享。例如,并且如上所述,移动电子设备303可以自动地接收数字内容,该数字内容可以包括来自设置在交通工具外部和/或内部的一个或多个相机的视频和/或图像。除了本文讨论的包括感兴趣事件的其他数字内容之外或代替这些数字内容,各方面包括将来自特定相机(例如,捕获自主交通工具在向前方向上的视场的外部相机)的预定视图作为数字内容传送到一个或多个移动电子设备(例如移动电子设备303)。以此方式,除了自主交通工具的安全环境系统之外,还可以跨各个平台共享以其他方式不可访问的相机馈送数据。以该方式自动共享数据可以包括例如针对要被传送的数字内容建立预定的相机馈送、用户、和/或共享的目的地。因此,各方面包括用户跨多个设备、平台、操作系统等轻松且无缝地访问来自自主交通工具行程的数据。
外部系统与自主交通工具系统结合的使用
如本文所讨论,自主交通工具相机(例如,设置在交通工具内部和/或外部的相机)可用于从感兴趣的事件中创建数字内容。然而,如本文所讨论的各方面也可以利用外部相机系统,即与自主交通工具无关的那些相机。例如,外部相机(诸如,交通信号灯、广告牌等上的相机)可以经由云实现无线通信(诸如,V2I、I2V等),以捕获自主交通工具的图像。使用光学字符识别过程,可以标识车牌号、交通工具的顶部的序列号等。继续该示例,可以经由与车队管理系统或任何其他合适的存储库的通信来确定当前与交通工具相关联的用户账户,并且可以将数字内容的一个或多个部分链接到用户的账户并发送给用户。
图6图示出根据本公开的各个方面的示例性流程。参考图6,流程600可以是由一个或多个处理器和/或存储设备执行的和/或以其他方式与一个或多个处理器和/或存储设备相关联的计算机实现的方法。这些处理器和/或存储设备可以例如与本地图像和数据处理电路502、交通工具安全性系统200的一个或多个组件、或本地处理单元320的任何其他合适的组件或其中实现本地处理单元320的交通工具相关联,如本文所讨论。此外,在实施例中,流程600可以经由一个或多个处理器执行存储在合适的存储介质(例如,非暂态计算机可读存储介质)上的指令(例如,诸如本地图像和数据处理电路502执行存储在存储器503中的指令)来执行。在一方面,流程600可以描述访问和处理与用户在交通工具(诸如本文所讨论的自主交通工具、机器人出租车等)中的行程相关联的事件数据的整体操作。各方面可以包括出于简明的目的未在图6中示出的替代的或附加的步骤,并且可以以与图6中所示的示例步骤的顺序不同的顺序执行。
流程600可以在一个或多个处理器等待(框602)下一个用户或客户时开始。这可以包括例如本地图像和数据处理电路502以等待新的行程请求的待机模式操作。
流程600可包括一个或多个处理器确定(框604)行程是否已经开始。这可以包括例如本地图像和数据处理电路502接收以下指示:其中实现本地图像和数据处理电路502的交通工具已经到达与所请求的行程的开始相关联的原点位置,或者当前时间与所请求的行程开始时间相匹配。作为另一示例,可以通过检测经由本地图像和数据处理电路502所实现的一个或多个通信系统(例如数据连接性电路504A)与用户的电子移动设备303的连接,或者通过从用于为用户服务乘坐的适当的乘坐服务提供商接收通信来做出该确定。作为又一示例,可以通过识别用户接近交通工具或进入交通工具的各种传感器或图像采集设备来做出确定。一旦确定了行程已经开始,流程600可以继续。否则,流程600可以包括继续等待用户/客户(框602)。
流程600可以包括一个或多个处理器发起(框606)事件记录系统。这可以包括例如本地图像和数据处理电路502接收和/或存储经由安全机构从交通工具的本地交通工具网络系统接收的事件数据,如本文所讨论。
流程600可包括一个或多个处理器分析(框608)事件数据以标识一个或多个事件并生成与这些检测到的事件相关联的经处理的事件数据,诸如图像、视频等,这些图像、视频等被格式化以共享到一个或多个合适的平台。虽然在图6中示出为在行程结束之前发生,但在各个方面,该步骤可以在行程期间或一旦行程结束之后发生。
流程600可包括一个或多个处理器确定(框610)行程是否已经结束。这可以包括例如本地图像和数据处理电路502接收以下指示:其中实现本地图像和数据处理电路502的交通工具已经到达与所请求的行程相关联的目的地。作为另一示例,可以通过经由用于为用户服务乘坐的适当的乘坐服务提供商接收行程已经结束的指示来做出该确定。作为又一示例,可以通过识别用户正在离开交通工具的各种传感器或图像采集设备来做出确定。一旦确定了行程已经结束,流程600可以继续。否则,流程600可以包括继续分析事件数据(框608)。
流程600可以包括一个或多个处理器创建(框612)经处理的事件数据。同样,该事件数据可包括基于对事件数据的分析的行程摘要和/或一个或多个可共享的数字内容的片段(框608)。虽然在图6中示出为在行程结束之后发生,但该步骤可以附加地或替代地在乘坐期间发生,诸如作为上文所述的事件数据的分析的一部分(框608)。一旦事件数据已被处理以创建经处理的事件数据,可以将经处理的事件数据(诸如经由本文参考图4A-图4B描述的通信技术中的一种或多种)提供给用户。一旦经处理的事件数据被创建,可以通过回到继续等待下一个用户/客户(框602)来重复流程600。当然,尽管在图6中被引用为“客户”,但可以相对于在行程发生期间、之前或之后位于交通工具内的任何用户使用流程600以及本文所述的其他方面。
图7图示出根据本公开的各个方面的示例性流程。如上文参考图6所讨论,流程700可以是由一个或多个处理器和/或存储设备执行的和/或以其他方式与一个或多个处理器和/或存储设备相关联的计算机实现的方法。这些处理器和/或存储设备可以例如与本地图像和数据处理电路502、交通工具安全性系统200的一个或多个组件、或本地处理单元320的任何其他合适的组件或其中实现本地处理单元320的交通工具相关联,如本文所讨论。此外,在实施例中,流程700可以经由一个或多个处理器执行存储在合适的存储介质(例如,非暂态计算机可读存储介质)上的指令(例如,诸如本地图像和数据处理电路502执行存储在存储器503中的指令)来执行。在一方面,流程700可以描述用于接收和分析事件数据以生成与用户在交通工具中的行程或当自主交通工具(例如机器人出租车)已经或正在特定环境内导航时相关联的经处理的事件数据的整体操作,如本文所讨论的。各方面可以包括出于简明的目的未在图7中示出的替代的或附加的步骤,并且可以以与图7中所示的示例步骤的顺序不同的顺序执行。
流程700可包括一个或多个处理器经由自主交通工具的安全环境接收(框702)事件数据。这可以包括例如本地图像和数据处理电路502接收和/或存储经由安全机构从交通工具的本地交通工具网络系统接收的事件数据,如本文所讨论。
流程700可包括一个或多个处理器在不安全环境内分析(框704)事件数据以标识一个或多个感兴趣的事件。虽然在图7中示出为在行程结束之前发生,但在各个方面,该步骤可以在自主交通工具导航特定环境时或一旦行程结束之后发生。事件数据的分析可以包括例如本地图像和数据处理电路502执行音频分析、图像分析、位置的使用、动作简档识别等以从事件数据中标识感兴趣的事件。
流程700可包括一个或多个处理器创建或生成(框706)经处理的事件数据,该事件数据可包括数字内容的一个或多个部分。该数字内容例如可以是被格式化以共享到一个或多个合适的平台的图像、视频等。
流程700可以包括一个或多个处理器将数字内容共享或传送(框708)到一个或多个平台。这可以包括例如用户将数字内容下载到智能电话或其他合适的设备、用户将数字内容发布到合适的平台等。
流程600、700包括根据任何合适的传输介质传输经处理的事件数据。例如,在其中事件数据被传送到主控自主交通工具外部的另一处理组件(例如,与云402相关联的基于云的处理系统)的方面中,分析(框608、704)可以经由外部处理系统执行。在此类情况下,虽然出于简明的目的没有在图6和图7中示出,但流程600、700可以附加地包括在从主控自主交通工具传送事件数据之前的隐私或匿名化步骤,因为事件数据可能包括如本文所讨论的可能具有隐私性质的用户数据。
各种模型中的使用
尽管本文所述的各种方面可应用于任何合适类型的交通工具,但在其他类型的应用或模型的上下文中具有一些优势。这些可能对于乘坐共享服务、自主交通工具约租车(ride-for-hire)服务、机器人出租车服务等特别相关。例如,在此类应用的上下文中,用户(例如客户)可能会由于其车队配备有如本文所述的社交媒体体验富集技术而优先选择特殊品牌的服务提供商。
作为另一潜在的优势,用户可以通过手动或自动编辑由系统提供的数据来将经处理的事件数据发布到一个或多个社交媒体平台,以标识运营商公司或品牌,从而以此作为交换获得回扣或未来乘坐或服务的奖励积分。另外,并且更一般地,社交媒体的帖子可以利用机器人出租车运营商的水印、照片、视频广告等进行补充或整合。附加地,运营商出售的第三方商品和服务的广告可以自动地被生成并被包括在此类帖子中。所得到的被示出/被递送的广告也可以基于交通工具的当前位置或乘坐的目的地来创建有针对性的广告体验。
作为另一示例,可以在交通工具内以利用从交通工具外部示出的视频流的方式制作和呈现广告。例如,可以通过标识特定的商店品牌、餐厅等来检测事件,该特定的商店品牌、餐厅等通过位置(例如地理定位比较)、对象识别或通过(例如,使用OCR算法)识别图像数据中的商店标志来检测。作为将该经处理的事件数据提供给用户以共享到社交媒体的替代方案,经处理的事件数据可以替代地在交通工具内显示并且包括交互式的、可点击的广告成像的覆盖物。
作为另一示例,由于来自交通工具外部的视频馈送可以被呈现给交通工具内部的用户或在社交媒体平台上被共享,这可能会被第三方广告商利用。例如,本文所述的各方面可以确定行程的路线,该路线为用户提供经过优选地点的折扣,并且可以为用户提供这样做的票价折扣。换言之,用户可以被呈现有两个行程路线选项,一个为采取更可能为优选地点提供附加的曝光的路线提供折扣,另一个则不提供折扣。因此,本文所述的各方面可以有利地利用被称为注意力、兴趣、欲望、和动作(AIDA)的营销技术的使用。各方面进一步包括利用使用此类数据来标识和评估乘客(或用户)的参与,例如,通过确定用户是否在朝向交通工具外部看,朝向广告或任何其他感官刺激。
示例
以下示例涉及进一步的各个方面。
示例1是一种用于处理自主交通工具数据的系统,该系统包括:安全机构,该安全机构被配置成用于从自主交通工具的、与第一安全级别相关联的环境中接收数据,该数据包括由一个或多个相机捕获的与自主交通工具的所导航的环境相关联的一个或多个图像;以及一个或多个处理器,该一个或多个处理器被配置成用于在与第二安全级别相关联的环境中分析经由安全机构接收到的数据,以生成用于传输到一个或多个平台的数字内容的一个或多个部分,其中第一安全级别高于第二安全级别。
在示例2中,如示例1的主题,其中,一个或多个处理器与自主交通工具中的本地处理电路相关联。
在示例3中,如示例1-2中的任何组合的主题,其中,一个或多个处理器与云计算系统相关联。
在示例4中,如示例1-3中的任何组合的主题,其中,一个或多个处理器被配置成用于执行图像处理以处理数据中包括的一个或多个图像,以通过从数据中标识位于自主交通工具内的人员的、与预定的动作简档相匹配的一个或多个动作来检测感兴趣的事件。
在示例5中,如示例1-4中的任何组合的主题,其中,一个或多个处理器被配置成用于执行根据多个不同的动作简档训练的机器学习算法,并且其中,一个或多个处理器被配置成用于执行图像处理,以通过基于经训练的机器学习算法来将位于自主交通工具内的人员的一个或多个动作分类为预定的动作简档来检测感兴趣的事件。
在示例6中,如示例1-5中的任何组合的主题,其中,一个或多个处理器被配置成用于通过将人员在一方向上超过时间段阈值的注视标识为位于自主交通工具内的人员的一个或多个动作来将注视事件检测为感兴趣的事件,并且其中,数字内容的一个或多个部分包括由设置在自主交通工具外部的一个或多个相机在与检测到注视事件时的人员的注视方向相匹配的方向上捕获的视频。
在示例7中,如示例1-6中的任何组合的主题,其中,预定的动作简档包括由位于自主交通工具内的人员执行的、标识感兴趣的事件的手势,并且其中,一个或多个处理器被配置成用于通过标识匹配预定手势的人员的手势来检测感兴趣的事件。
在示例8中,如示例1-7中的任何组合的主题,其中,数据包括表示与自主交通工具的所导航的环境相关联的一个或多个地理位置的位置数据,并且其中一个或多个处理器被配置成用于基于对位置数据中包括的一个或多个地理位置与一个或多个预定的地理位置的比较来检测感兴趣的事件。
示例9是一种自主交通工具(AV),包括:数据接口,该数据接口被配置成用于从AV的、与第一安全级别相关联的环境中提供数据,该数据包括由一个或多个相机捕获的与AV的所导航的环境相关联的一个或多个图像;以及本地处理电路,该本地处理电路被配置成用于经由安全机构接收由接口提供的数据,并且在与第二安全级别相关联的环境中分析该数据,以生成用于传输到一个或多个平台的数字内容的一个或多个部分,其中第一安全级别高于第二安全级别。
在示例10中,如示例9的主题,其中,本地处理电路被配置成用于分析数据以基于来自一个或多个图像中的至少一个图像来检测感兴趣的事件,并且其中数字内容的一个或多个部分与检测到的感兴趣的事件相对应。
在示例11中,如示例9-10中的任何组合的主题,其中,数据包括表示与所导航的环境相关联的一个或多个地理位置的位置数据,并且其中本地处理电路被配置成用于基于位置数据中包括的一个或多个地理位置与一个或多个预定的地理位置的比较来检测感兴趣的事件。
在示例12中,如示例9-11中的任何组合的主题。如示例9的AV,其中,本地处理电路被配置成用于执行图像处理以处理数据中包括的一个或多个图像,以通过从数据中标识位于自主交通工具内的人员的、与预定的动作简档相匹配的一个或多个动作来检测感兴趣的事件。
在示例13中,如示例9-12中的任何组合的主题,其中,本地处理电路被配置成用于执行根据多个不同的动作简档训练的机器学习算法,并且用于执行图像处理,以通过基于经训练的机器学习算法来将位于自主交通工具内的人员的一个或多个动作分类为预定的动作简档来检测感兴趣的事件。
在示例14中,如示例9-13中的任何组合的主题,其中,本地处理电路被配置成用于通过将人员在一方向上超过时间段阈值的注视标识为位于自主交通工具内的人员的一个或多个动作来将注视事件检测为感兴趣的事件,并且其中,数字内容的一个或多个部分包括由设置在AV外部的一个或多个相机在与检测到注视事件时的人员的注视方向相匹配的方向上捕获的视频。
在示例15中,如示例9-14中的任何组合的主题,其中,预定的动作简档包括由位于AV内的人员执行的、标识感兴趣的事件的手势,并且其中,本地处理电路被配置成用于通过标识匹配预定手势的人员的手势来检测感兴趣的事件。
示例16是一种具有存储在其上的指令的非暂态计算机可读介质,当该指令由与自主交通工具(AV)相关联的一个或多个处理器执行时,使得AV用于:从AV的、与第一安全级别相关联的环境中接收数据,该数据经由安全机构接收并且包括由一个或多个相机捕获的与AV的所导航的环境相关联的一个或多个图像;以及在与第二安全级别相关联的环境中分析经由安全机构接收到的数据,以生成用于传输到一个或多个平台的数字内容的一个或多个部分,其中第一安全级别高于第二安全级别。
在示例17中,如示例16的主题,进一步包括指令,该指令在由AV的一个或多个处理器执行时,使得AV分析数据以基于来自一个或多个图像中的至少一个图像检测感兴趣的事件,并且其中数字内容的一个或多个部分与检测到的感兴趣的事件相对应。
在示例18中,如示例16-17中的任何组合的主题,其中,数据包括表示与所导航的环境相关联的一个或多个地理位置的位置数据,并且进一步包括指令,该指令在由AV的一个或多个处理器执行时,使得AV基于位置数据中包括的一个或多个地理位置与一个或多个预定的地理位置的比较来检测感兴趣的事件。
在示例19中,如示例16-18中的任何组合的主题,进一步包括指令,该指令在由AV的一个或多个处理器执行时,使得AV执行图像处理以处理数据中包括的一个或多个图像,以通过从数据中标识位于自主交通工具内的人员的、与预定的动作简档相匹配的一个或多个动作来检测感兴趣的事件。
在示例20中,如示例16-19中的任何组合的主题,进一步包括指令,该指令在由AV的一个或多个处理器执行时,使得AV执行根据多个不同的动作简档训练的机器学习算法,并且用于执行图像处理,以通过基于经训练的机器学习算法来将位于自主交通工具内的人员的一个或多个动作分类为预定的动作简档来检测感兴趣的事件。
在示例21中,如示例16-20中的任何组合的主题,进一步包括指令,该指令在由AV的一个或多个处理器执行时,使得AV通过将人员在一方向上超过时间段阈值的注视标识为位于自主交通工具内的人员的一个或多个动作来将注视事件检测为感兴趣的事件,并且其中,数字内容的一个或多个部分包括由设置在AV外部的一个或多个相机在与检测到注视事件时的人员的注视方向相匹配的方向上捕获的视频。
在示例22中,如示例16-21中的任何组合的主题,其中,预定的动作简档包括由位于AV内的人员执行的、标识感兴趣的事件的手势,并且进一步包括指令,该指令在由AV的一个或多个处理器执行时,使得AV通过标识匹配预定的手势的人员的手势来检测感兴趣的事件。
示例23是一种用于处理自主交通工具数据的装置,该装置包括:用于从自主交通工具的、与第一安全级别相关联的环境中接收数据的安全装置,该数据包括由一个或多个相机捕获的与自主交通工具的所导航的环境相关联的一个或多个图像;以及用于在与第二安全级别相关联的环境中分析经由安全装置接收到的数据以生成用于传输到一个或多个平台的数字内容的一个或多个部分的一个或多个处理装置,其中第一安全级别高于第二安全级别。
在示例24中,如示例23的主题,其中,一个或多个处理装置与自主交通工具中的本地处理电路相关联。
在示例25中,如示例23-24中的任何组合的主题,其中,一个或多个处理装置与云计算系统相关联。
在示例26中,如示例23-25中的任何组合的主题,其中,一个或多个处理装置执行图像处理以处理数据中包括的一个或多个图像,以通过从数据中标识位于自主交通工具内的人员的、与预定的动作简档相匹配的一个或多个动作来检测感兴趣的事件。
在示例27中,如示例23-26中的任何组合的主题,其中,一个或多个处理装置执行根据多个不同的动作简档训练的机器学习算法,并且其中,一个或多个处理装置执行图像处理,以通过基于经训练的机器学习算法来将位于自主交通工具内的人员的一个或多个动作分类为预定的动作简档来检测感兴趣的事件。
在示例28中,如示例23-27中的任何组合的主题,其中,一个或多个处理装置通过将人员在一方向上超过时间段阈值的注视标识为位于自主交通工具内的人员的一个或多个动作来将注视事件检测为感兴趣的事件,并且其中,数字内容的一个或多个部分包括由设置在自主交通工具外部的一个或多个相机在与检测到注视事件时的人员的注视方向相匹配的方向上捕获的视频。
在示例29中,如示例23-28中的任何组合的主题,其中,预定的动作简档包括由位于自主交通工具内的人员执行的、标识感兴趣的事件的手势,并且其中,一个或多个处理装置通过标识匹配预定的手势的人员的手势来检测感兴趣的事件。
在示例30中,如示例23-29中的任何组合的主题,其中,数据包括表示与自主交通工具的所导航的环境相关联的一个或多个地理位置的位置数据,并且其中一个或多个处理装置基于对位置数据中包括的一个或多个地理位置与一个或多个预定的地理位置的比较来检测感兴趣的事件。
示例31是一种自主交通工具(AV),包括:用于从AV的、与第一安全级别相关联的环境中提供数据的数据接口处理装置,该数据包括由一个或多个相机捕获的与AV的所导航的环境相关联的一个或多个图像;以及用于经由安全装置接收由接口提供的数据并且在与第二安全级别相关联的环境中分析该数据以生成用于传输到一个或多个平台的数字内容的一个或多个部分的本地处理装置,其中第一安全级别高于第二安全级别。
在示例32中,如示例31的主题,其中本地处理装置分析数据以基于来自一个或多个图像中的至少一个图像来检测感兴趣的事件,并且其中数字内容的一个或多个部分与检测到的感兴趣的事件相对应。
在示例33中,如示例31-32中的任何组合的主题,其中,数据包括表示与所导航的环境相关联的一个或多个地理位置的位置数据,并且其中本地处理电路被配置成用于基于位置数据中包括的一个或多个地理位置与一个或多个预定的地理位置的比较来检测感兴趣的事件。
在示例34中,如示例31-33中的任何组合的主题,其中,本地处理装置执行图像处理以处理数据中包括的一个或多个图像,以通过从数据中标识位于自主交通工具内的人员的、与预定的动作简档相匹配的一个或多个动作来检测感兴趣的事件。
在示例35中,如示例31-34中的任何组合的主题,其中,本地处理装置执行根据多个不同的动作简档训练的机器学习算法,并且执行图像处理,以通过基于经训练的机器学习算法来将位于自主交通工具内的人员的一个或多个动作分类为预定的动作简档来检测感兴趣的事件。
在示例36中,如示例31-35中的任何组合的主题,其中,本地处理装置通过将人员在一方向上超过时间段阈值的注视标识为位于自主交通工具内的人员的一个或多个动作来将注视事件检测为感兴趣的事件,并且其中,数字内容的一个或多个部分包括由设置在AV外部的一个或多个相机在与检测到注视事件时的人员的注视方向相匹配的方向上捕获的视频。
在示例37中,如示例31-36中的任何组合的主题,其中,预定的动作简档包括由位于AV内的人员执行的、标识感兴趣的事件的手势,并且其中,本地处理装置通过标识匹配预定手势的人员的手势来检测感兴趣的事件。
示例38是一种具有存储在其上的指令的非暂态计算机可读介质装置,当该指令由与自主交通工具(AV)相关联的一个或多个处理装置执行时,使得AV用于:从AV的、与第一安全级别相关联的环境中接收数据,该数据经由安全装置接收并且包括由一个或多个相机捕获的与AV的所导航的环境相关联的一个或多个图像;以及在与第二安全级别相关联的环境中分析经由安全装置接收到的数据,以生成用于传输到一个或多个平台的数字内容的一个或多个部分,其中第一安全级别高于第二安全级别。
在示例39中,如示例38的主题,进一步包括指令,该指令在由AV的一个或多个处理装置执行时,使得AV分析数据以基于来自一个或多个图像中的至少一个图像检测感兴趣的事件,并且其中数字内容的一个或多个部分与检测到的感兴趣的事件相对应。
在示例40中,如示例38-39中的任何组合的主题,其中,数据包括表示与所导航的环境相关联的一个或多个地理位置的位置数据,并且进一步包括指令,该指令在由AV的一个或多个处理装置执行时,使得AV基于位置数据中包括的一个或多个地理位置与一个或多个预定的地理位置的比较来检测感兴趣的事件。
在示例41中,如示例38-40中的任何组合的主题,进一步包括指令,该指令在由AV的一个或多个处理装置执行时,使得AV执行图像处理以处理数据中包括的一个或多个图像,以通过从数据中标识位于自主交通工具内的人员的、与预定的动作简档相匹配的一个或多个动作来检测感兴趣的事件。
在示例42中,如示例38-41中的任何组合的主题,进一步包括指令,该指令在由AV的一个或多个处理装置执行时,使得AV执行根据多个不同的动作简档训练的机器学习算法,并且用于执行图像处理,以通过基于经训练的机器学习算法来将位于自主交通工具内的人员的一个或多个动作分类为预定的动作简档来检测感兴趣的事件。
在示例43中,如示例38-42中的任何组合的主题,进一步包括指令,该指令在由AV的一个或多个处理装置执行时,使得AV通过将人员在一方向上超过时间段阈值的注视标识为位于自主交通工具内的人员的一个或多个动作来将注视事件检测为感兴趣的事件,并且其中,数字内容的一个或多个部分包括由设置在AV外部的一个或多个相机在与检测到注视事件时的人员的注视方向相匹配的方向上捕获的视频。
在示例44中,如示例38-43中的任何组合的主题,其中,预定的动作简档包括由位于AV内的人员执行的、标识感兴趣的事件的手势,并且进一步包括指令,该指令在由AV的一个或多个处理装置执行时,使得AV通过标识匹配预定的手势的人员的手势来检测感兴趣的事件。
如所示出和所描述的设备。
如所示出和所描述的方法。
结论
具体方面的前述描述将如此充分地揭示本公开的一般性质,以至于其他人可以通过应用本领域技术内的知识就容易地修改和/或改编诸如这些具体方面之类的各种应用,而无需过度实验,而不背离本公开的一般概念。因此,基于本文展现的教示和指导,这些改编和修改旨在落入所公开各个方面的等同物的含义和范围内。应理解,本文中的措辞或术语是出于描述而非限制的目的,使得本说明书的术语或措辞将由本领域技术人员根据教示和指导来解释。
说明书中对“一个方面”、“方面”、“示例方面”等的引用指示所描述的方面可包括特定的特征、结构或特性,但是每个方面可以不一定包括该特定的特征、结构或特性。而且,此类短语不一定是指同一方面。此外,当结合方面描述特定的特征、结构或特性时,认为结合无论是否被明确描述的其他方面而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。
本文所描述的示例性方面是出于说明性目的而提供的,而不是限制性的。其他示例性方面是可能的,并且可以对示例性方面进行修改。因此,说明书并不意味着限制本公开。相反,本公开的范围仅根据所附权利要求及其等价物来限定。
各个方面可实现为硬件(例如电路)、固件、软件或其组合。各方面还可实现为储存在机器可读介质上的指令,这些指令可由一个或多个处理器读取和执行。机器可读介质可包括用于存储或传送机器(例如,计算设备)可读形式的信息的任何机制。例如,机器可读介质可包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪存设备;电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等等。进一步地,固件、软件、例程、指令在本文中可被描述为执行特定动作。然而,应当理解,此类描述仅仅是出于方便起见,并且此类动作实际上由计算设备、处理器、控制器、或其他设备执行固件、软件、例程、指令等而导致的。进一步地,任何实现方式变体可以由通用计算机执行。
在本申请中使用词“示例性”来意指“充当示例、实例或说明”。在本申请中被描述为“示例性”的任何实施例或设计不一定被解释为相对于其他实施例或设计是优选的或有优势的。
贯穿附图,应注意,除非另有说明,否则相同的附图标记用于描绘相同或相似的要素、特征和结构。
术语“至少一个”和“一个或多个”可被理解为包括大于或等于一的数量(例如,一个、两个、三个、四个、[...]等)。术语“多个(a plurality)”可被理解为包括大于或等于二的数量(例如,两个、三个、四个、五个、[...]等)。
说明书和权利要求书中的词语“复数个(plural)”和“多个(multiple)”明确地指代大于一的量。因此,任何明确地援引上述词语来指代某个数量的要素的短语(例如,“复数个(plural)[要素]”、“多个(multiple)[要素]”)明确地指代多于一个的所述要素。说明书和权利要求书中的术语“(……的)组”、“(……的)集”、“(……的)集合”、“(……的)系列”、“(……的)序列”、“(……的)分组”等(如果存在)指代等于或大于一的量,即一个或多个。术语“适当的子集”、“减小的子集”、和“较小的子集”指代集合的不等于该集合的子集,说明性地,指代集合的包含比该集合少的元素的子集。
关于一组要素的短语“至少一个”在本文中可用于意指来自由要素组成的组的至少一个要素。例如,关于一组要素的短语“……中的至少一个”在本文中可用于意指以下各项中的选择:所列要素中的一个、多个的所列要素中的一个要素、多个个体所列要素、或多个的数个个体所列要素。
如本文中所使用的术语“数据”可被理解为包括采用任何合适的模拟或数字形式的信息,例如,作为文件、文件的部分、文件集合、信号或流、信号或流的部分、信号或流的集合等等来提供的信息。进一步地,术语“数据”还可用于意指对信息的例如以指针的形式的引用。然而,术语“数据”不限于上述示例,并且可采取各种形式并表示如本领域中理解的任何信息。
例如,如本文中所使用的术语“处理器”或“控制器”可被理解为允许处置数据的任何种类的技术实体。可根据由处理器或控制器执行的一个或多个特定功能来处置数据。进一步地,如本文中所使用的处理器或控制器可被理解为任何种类的电路,例如任何种类的模拟或数字电路。处理器或控制器因此可以是或可包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、集成电路、专用集成电路(ASIC)等,或其任何组合。下文将进一步详细描述的相应功能的任何其他种类的实现方式也可被理解为处理器、控制器或逻辑电路。应理解,本文中详述的处理器、控制器或逻辑电路中的任何两个(或更多个)可被实现为具有等效功能或类似功能的单个实体,并且相反地,本文中详述的任何单个处理器、控制器或逻辑电路可被实现为具有等效功能或类似功能的两个(或更多个)分开的实体。
如本文中所使用,“存储器”被理解为数据或信息可以被存储在其中以供检取的计算机可读介质。对本文中所包括的“存储器”的引用可因此被理解为是指易失性或非易失性存储器,包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、固态存储、磁带、硬盘驱动器、光驱等等、或其任何组合。在本文中,寄存器、移位寄存器、处理器寄存器、数据缓冲器等等也可由术语存储器包含。术语“软件”是指任何类型的可执行指令,包括固件。
在本文所描述的一个或多个示例性方面中,处理电路可以包括存储数据和/或指令的存储器。存储器可以是任何公知的易失性和/或非易失性存储器,包括例如只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器、磁存储介质、光盘、可擦除可编程只读存储器(EPROM)、和可编程只读存储器(PROM)。存储器可以是不可移动的、可移动的、或两者的组合。
除非明确地指定,否则术语“发射”涵盖直接(点对点)和间接(经由一个或多个中间点)的发射两者。类似地,术语“接收”涵盖直接和间接的接收两者。此外,术语“发射”、“接收”、“传递”和其他类似术语涵盖物理传输(例如,对无线电信号的传输)和逻辑传输(例如,通过逻辑软件级连接对数字数据的传输)两者。例如,处理器或控制器可通过与另一处理器或控制器的软件级连接以无线电信号的形式对数据进行发射或接收,其中,物理发射和接收由诸如RF收发机和天线之类的无线电层组件处置,并且通过软件级连接的逻辑发射和接收由处理器或控制器执行。术语“传递”涵盖传送和接收中的一者或两者,即,在传入方向和传出方向中的一个或这两个方向上的单向或双向传输。术语“计算”涵盖经由数学表达式/公式/关系进行的‘直接’计算和经由查找表或散列表以及其他数组索引或搜索操作进行的‘间接’计算两者。
可以将“交通工具”理解为包括任何类型的被驱动对象。作为示例,交通工具可以是具有内燃机、反作用式引擎、电驱动对象、混合驱动对象或其组合的被驱动对象。交通工具可以是或者可以包括汽车、公共汽车、小型公共汽车、货车、卡车、房车、车辆拖车、摩托车、自行车、三轮车、火车机车、火车车厢、移动机器人、个人运输机、船只、船、潜水器、潜艇、无人机、飞机、火箭等等。
“地面交通工具”可理解为包括任何类型的交通工具,如上文所述,在地面上(例如,在街道上、在道路上、在轨道上、在一条或多条轨道上、越野等)驾驶的交通工具。
术语“自主交通工具”可描述这样的交通工具:该交通工具至少在一些驾驶的一些(重要)部分(空间或时间,例如,在某些区域中、或当环境条件尚可时、或在高速公路上、或高于或低于某一速度)期间,实现所有或基本上所有导航改变。有时,将“自主交通工具”与“部分自主交通工具”或“半自主交通工具”区别开来,以指示交通工具能够可能在某些时候、在某些条件下、或在某些区域中实现一些(但不是全部)导航改变。导航改变可描述或包括交通工具的转向、制动、或加速/减速中的一种或多种改变。即使在交通工具不是完全自动(例如,在有驾驶员输入或无驾驶员输入的情况下完全操作)的情况下,也可以将交通工具描述为自主的。自主交通工具可以包括可以在某些时间段内在驾驶员控制下操作并且在其他时间段内无需驾驶员控制而操作的那些交通工具。自主交通工具还可包括仅控制交通工具导航的一些方面的交通工具,交通工具导航的一些方面诸如转向(例如,在交通工具车道约束之间维持交通工具路线)或在某些情形下(但并非在所有情形下)进行一些转向操作,但可能将交通工具导航的其他方面留给驾驶员(例如,在某些情形下进行制动或刹车)。自主交通工具还可以包括在某些情形下共同控制交通工具导航的一个或多个方面的交通工具(例如,动手操作(诸如响应于驾驶员的输入))和在某些情形下控制交通工具导航的一个或多个方面的交通工具(例如,放手操作(诸如独立于驾驶员的输入))。自主交通工具还可以包括在某些情形下(诸如,在某些环境条件下(例如,空间区域、道路条件))控制交通工具导航的一个或多个方面的交通工具。在一些方面,自主交通工具可以处理交通工具的制动、速率控制、速度控制和/或转向的一些或所有方面。自主交通工具可以包括可以在没有驾驶员的情况下操作的那些交通工具。交通工具的自主性级别可以由交通工具的汽车工程师协会(SAE)级别(例如,由SAE例如在SAE J30162018中定义:道路机动交通工具的驾驶自动化系统相关术语的分类和定义)或由其他相关专业组织进行描述或确定。SAE级别可以具有范围从最小级别(例如,0级(说明性地,基本上没有驾驶自动化))到最大级别(例如,5级(说明性地,完全驾驶自动化))的值。
Claims (22)
1.一种用于处理自主交通工具数据的系统,所述系统包括:
安全机构,所述安全机构被配置成用于从自主交通工具的、与第一安全级别相关联的环境中接收数据,所述数据包括由一个或多个相机捕获的与所述自主交通工具的所导航的环境相关联的一个或多个图像;以及
一个或多个处理器,所述一个或多个处理器被配置成用于在与第二安全级别相关联的环境中分析经由所述安全机构接收到的所述数据,以生成用于传输到一个或多个平台的数字内容的一个或多个部分,
其中,所述第一安全级别高于所述第二安全级别。
2.如权利要求1所述的系统,其特征在于,所述一个或多个处理器与所述自主交通工具中的本地处理电路相关联。
3.如权利要求1所述的系统,其特征在于,所述一个或多个处理器与云计算系统相关联。
4.如权利要求1所述的系统,其特征在于,所述一个或多个处理器被配置成用于执行图像处理以处理所述数据中包括的所述一个或多个图像,以通过从所述数据中标识位于所述自主交通工具内的人员的、与预定的动作简档相匹配的一个或多个动作来检测感兴趣的事件。
5.如权利要求4所述的系统,其特征在于,所述一个或多个处理器被配置成用于执行根据多个不同的动作简档训练的机器学习算法,并且
其中,所述一个或多个处理器被配置成用于执行图像处理,以通过基于经训练的机器学习算法来将位于所述自主交通工具内的所述人员的所述一个或多个动作分类为所述预定的动作简档来检测所述感兴趣的事件。
6.如权利要求4所述的系统,其特征在于,所述一个或多个处理器被配置成用于通过将所述人员在一方向上超过时间段阈值的注视标识为位于所述自主交通工具内的所述人员的所述一个或多个动作来将注视事件检测为所述感兴趣的事件,并且
其中,所述数字内容的一个或多个部分包括由设置在所述自主交通工具外部的一个或多个相机在与检测到所述注视事件时的所述人员的注视方向相匹配的方向上捕获的视频。
7.如权利要求4所述的系统,其特征在于,所述预定的动作简档包括由位于所述自主交通工具内的人员执行的、标识感兴趣的事件的手势,并且
其中,所述一个或多个处理器被配置成用于通过标识匹配预定手势的所述人员的手势来检测所述感兴趣的事件。
8.如权利要求1-7中任一项所述的系统,其特征在于,所述数据包括表示与所述自主交通工具的所述所导航的环境相关联的一个或多个地理位置的位置数据,并且
其中,所述一个或多个处理器被配置成用于基于对所述位置数据中包括的一个或多个地理位置与一个或多个预定的地理位置的比较来检测所述感兴趣的事件。
9.一种自主交通工具AV,所述自主交通工具AV包括:
数据接口,所述数据接口被配置成用于从AV的、与第一安全级别相关联的环境中提供数据,所述数据包括由一个或多个相机捕获的与所述AV的所导航的环境相关联的一个或多个图像;以及
本地处理电路,所述本地处理电路被配置成用于经由安全机构接收由所述接口提供的所述数据,并且在与第二安全级别相关联的环境中分析所述数据,以生成用于传输到一个或多个平台的数字内容的一个或多个部分,
其中,所述第一安全级别高于所述第二安全级别。
10.如权利要求9所述的AV,其特征在于,所述本地处理电路被配置成用于分析所述数据以基于来自所述一个或多个图像中的至少一个图像来检测感兴趣的事件,并且
其中,所述数字内容的一个或多个部分与检测到的感兴趣的事件相对应。
11.如权利要求9所述的AV,其特征在于,所述数据包括表示与所述所导航的环境相关联的一个或多个地理位置的位置数据,并且
其中,所述本地处理电路被配置成用于基于所述位置数据中包括的一个或多个地理位置与一个或多个预定的地理位置的比较来检测所述感兴趣的事件。
12.如权利要求9所述的AV,其特征在于,所述本地处理电路被配置成用于执行图像处理以处理所述数据中包括的所述一个或多个图像,以通过从所述数据中标识位于所述自主交通工具内的人员的、与预定的动作简档相匹配的一个或多个动作来检测感兴趣的事件。
13.如权利要求12所述的AV,其特征在于,所述本地处理电路被配置成用于执行根据多个不同的动作简档训练的机器学习算法,并且用于执行图像处理,以通过基于经训练的机器学习算法来将位于所述自主交通工具内的所述人员的所述一个或多个动作分类为所述预定的动作简档来检测所述感兴趣的事件。
14.如权利要求12所述的AV,其特征在于,所述本地处理电路被配置成用于通过将所述人员在一方向上超过时间段阈值的注视标识为位于所述自主交通工具内的所述人员的所述一个或多个动作来将注视事件检测为所述感兴趣的事件,并且
其中,所述数字内容的一个或多个部分包括由设置在所述AV外部的一个或多个相机在与检测到所述注视事件时的所述人员的注视方向相匹配的方向上捕获的视频。
15.如权利要求12-14中任一项所述的AV,其特征在于,所述预定的动作简档包括由位于所述AV内的人员执行的、标识感兴趣的事件的手势,并且
其中,所述本地处理电路被配置成用于通过标识匹配预定手势的所述人员的手势来检测所述感兴趣的事件。
16.一种用于处理自主交通工具数据的装置,所述装置包括:
用于从自主交通工具的、与第一安全级别相关联的环境中接收数据的安全装置,所述数据包括由一个或多个相机捕获的与所述自主交通工具的所导航的环境相关联的一个或多个图像;以及
用于在与第二安全级别相关联的环境中分析经由所述安全装置接收到的所述数据以生成用于传输到一个或多个平台的数字内容的一个或多个部分的一个或多个处理装置,
其中,所述第一安全级别高于所述第二安全级别。
17.如权利要求16所述的装置,其特征在于,所述一个或多个处理装置与所述自主交通工具中的本地处理电路相关联。
18.如权利要求16所述的装置,其特征在于,所述一个或多个处理装置与云计算系统相关联。
19.如权利要求16所述的装置,其特征在于,所述一个或多个处理装置执行图像处理以处理所述数据中包括的所述一个或多个图像,以通过从所述数据中标识位于所述自主交通工具内的人员的、与预定的动作简档相匹配的一个或多个动作来检测感兴趣的事件。
20.如权利要求19所述的装置,其特征在于,所述一个或多个处理装置执行根据多个不同的动作简档训练的机器学习算法,并且其中,所述一个或多个处理装置执行图像处理,以通过基于经训练的机器学习算法来将位于所述自主交通工具内的所述人员的所述一个或多个动作分类为所述预定的动作简档来检测所述感兴趣的事件。
21.如权利要求20所述的装置,其特征在于,所述一个或多个处理装置通过将所述人员在一方向上超过时间段阈值的注视标识为位于所述自主交通工具内的所述人员的所述一个或多个动作来将注视事件检测为所述感兴趣的事件,并且其中,所述数字内容的一个或多个部分包括由设置在所述自主交通工具外部的一个或多个相机在与检测到所述注视事件时的所述人员的注视方向相匹配的方向上捕获的视频。
22.如权利要求19所述的装置,其特征在于,所述预定的动作简档包括由位于所述自主交通工具内的人员执行的、标识所述感兴趣的事件的手势,并且其中,所述一个或多个处理装置通过标识匹配预定手势的所述人员的手势来检测所述感兴趣的事件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/830,495 US20200223454A1 (en) | 2020-03-26 | 2020-03-26 | Enhanced social media experience for autonomous vehicle users |
US16/830,495 | 2020-03-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113452927A true CN113452927A (zh) | 2021-09-28 |
Family
ID=71517398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011510929.0A Pending CN113452927A (zh) | 2020-03-26 | 2020-12-18 | 用于自主交通工具用户的增强的社交媒体体验 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20200223454A1 (zh) |
CN (1) | CN113452927A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114584839A (zh) * | 2022-02-25 | 2022-06-03 | 智己汽车科技有限公司 | 拍摄车载视频的剪辑方法、装置、电子设备及存储介质 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11493348B2 (en) | 2017-06-23 | 2022-11-08 | Direct Current Capital LLC | Methods for executing autonomous rideshare requests |
US11106927B2 (en) * | 2017-12-27 | 2021-08-31 | Direct Current Capital LLC | Method for monitoring an interior state of an autonomous vehicle |
CN109919593A (zh) * | 2019-03-21 | 2019-06-21 | 京东方科技集团股份有限公司 | 结算方法及系统、车载设备、计算机设备及介质 |
WO2021083146A1 (zh) | 2019-10-30 | 2021-05-06 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、终端及存储介质 |
JP7384652B2 (ja) * | 2019-12-03 | 2023-11-21 | トヨタ自動車株式会社 | 移動体、情報処理方法、及び、プログラム |
US20220068140A1 (en) * | 2020-09-01 | 2022-03-03 | Gm Cruise Holdings Llc | Shared trip platform for multi-vehicle passenger communication |
JP2022054822A (ja) * | 2020-09-28 | 2022-04-07 | マツダ株式会社 | 体験獲得支援装置 |
US20220366172A1 (en) * | 2021-05-17 | 2022-11-17 | Gm Cruise Holdings Llc | Creating highlight reels of user trips |
EP4160551A1 (en) * | 2021-09-29 | 2023-04-05 | Société BIC | Methods and systems for vehicle-assisted feature capture |
US11704698B1 (en) * | 2022-03-29 | 2023-07-18 | Woven By Toyota, Inc. | Vehicle advertising system and method of using |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180259958A1 (en) * | 2017-03-09 | 2018-09-13 | Uber Technologies, Inc. | Personalized content creation for autonomous vehicle rides |
-
2020
- 2020-03-26 US US16/830,495 patent/US20200223454A1/en not_active Abandoned
- 2020-12-18 CN CN202011510929.0A patent/CN113452927A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114584839A (zh) * | 2022-02-25 | 2022-06-03 | 智己汽车科技有限公司 | 拍摄车载视频的剪辑方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20200223454A1 (en) | 2020-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200223454A1 (en) | Enhanced social media experience for autonomous vehicle users | |
CN107563267B (zh) | 在无人驾驶车辆中提供内容的系统和方法 | |
EP3244591B1 (en) | System and method for providing augmented virtual reality content in autonomous vehicles | |
US11100680B2 (en) | AR/VR/MR ride sharing assistant | |
KR102315335B1 (ko) | 자율 차량들에 대해 할당된 승객들의 인식 | |
US20220351615A1 (en) | Reducing vehicular congestion at an intersection | |
CN109644256B (zh) | 车载视频系统 | |
CN113449577A (zh) | 使用rgb+事件的稳健对象检测和分类 | |
US20180286239A1 (en) | Image data integrator for addressing congestion | |
US10140770B2 (en) | Three dimensional heads-up display unit including visual context for voice commands | |
EP3497685A2 (en) | Method and apparatus for providing goal oriented navigational directions | |
US20200200556A1 (en) | Systems and methods for vehicle-based tours | |
US20180143033A1 (en) | Method and system for lane-based vehicle navigation | |
JP2016509763A (ja) | 車両内移動デバイス管理 | |
US20180259958A1 (en) | Personalized content creation for autonomous vehicle rides | |
US9709414B2 (en) | Personalized suggestion of automated driving features | |
WO2017208718A1 (ja) | 表示制御装置及び表示制御方法、表示装置、並びに移動体装置 | |
US20170274771A1 (en) | Wireless Data Sharing Between a Mobile Client Device and a Three-Dimensional Heads-Up Display Unit | |
CN112166618B (zh) | 自动驾驶系统、自动驾驶系统的传感器单元、用于操作自动驾驶车辆的计算机实现的方法 | |
WO2020052272A1 (en) | Methods and systems for generating picture set from video | |
CN114691979A (zh) | 信息提供装置、信息提供方法及存储介质 | |
JP7020429B2 (ja) | カメラ、カメラの処理方法、サーバ、サーバの処理方法および情報処理装置 | |
KR20230037600A (ko) | 차량에서 정보를 제공하기 위한 방법 및 장치 | |
Chandupatla et al. | Augmented reality projection for driver assistance in autonomous vehicles | |
WO2023139943A1 (ja) | 情報処理装置、情報処理システム、コンピュータ読み取り可能な記録媒体及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |