CN115877322A - 用于检测运载工具内的对象的方法和系统以及存储介质 - Google Patents

用于检测运载工具内的对象的方法和系统以及存储介质 Download PDF

Info

Publication number
CN115877322A
CN115877322A CN202210014462.3A CN202210014462A CN115877322A CN 115877322 A CN115877322 A CN 115877322A CN 202210014462 A CN202210014462 A CN 202210014462A CN 115877322 A CN115877322 A CN 115877322A
Authority
CN
China
Prior art keywords
vehicle
signal
detection system
audible signal
time interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210014462.3A
Other languages
English (en)
Inventor
阿什温·阿伦莫治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN115877322A publication Critical patent/CN115877322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/74—Systems using reradiation of acoustic waves, e.g. IFF, i.e. identification of friend or foe
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0247—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for microphones or earphones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G01S15/876—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/527—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/534—Details of non-pulse systems
    • G01S7/536—Extracting wanted echo signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/54—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 with receivers spaced apart
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Signal Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

提供了用于检测运载工具内的对象的方法和系统以及存储介质。该方法可以包括：在至少一个第一时间间隔期间在运载工具内发出至少一个听觉信号；测量在至少一个第一时间间隔随后的第二时间间隔期间由运载工具内的对象发出的第二听觉信号，其中第二听觉信号的发出是由至少一个第一听觉信号的发出引起的；基于第二听觉信号的测量结果来确定对象在运载工具内的位置；以及生成针对用户的指示该对象的位置的警报。还提供了系统和计算机程序产品。

Description

用于检测运载工具内的对象的方法和系统以及存储介质
技术领域
本公开涉及检测运载工具内的对象的技术。
背景技术
运载工具可以用来把人从一个地点输送到另一地点。例如，人可以进入运载工具的乘员舱，并且(例如，通过手动驾驶运载工具以及/或者指示运载工具的自主系统以将运载工具导航到目的地)使用运载工具行驶到目的地。
在一些实现中，人可能将对象错误放置或以其他方式留在运载工具中。例如，人可能带着对象(例如，诸如包、电话等的个人物品)进入运载工具，但在没有随身携带该对象的情况下就离开运载工具。
发明内容
根据本发明的一个方面，提供一种用于检测运载工具内的对象的方法，包括：由所述运载工具的对象检测系统在至少一个第一时间间隔期间在所述运载工具内发出至少一个第一听觉信号；由所述对象检测系统测量在所述至少一个第一时间间隔随后的第二时间间隔期间由所述运载工具内的对象发出的第二听觉信号，其中所述第二听觉信号的发出是由所述至少一个第一听觉信号的发出引起的；由所述对象检测系统基于所述第二听觉信号的测量结果来确定所述对象在所述运载工具内的位置；以及由所述对象检测系统生成针对用户的指示所述对象的位置的警报。
根据本发明的又一方面，提供一种用于检测运载工具内的对象的系统，包括：至少一个处理器；以及至少一个非暂时性存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时使得所述至少一个处理器：在至少一个第一时间间隔期间在所述运载工具内发出至少一个第一听觉信号；测量在所述至少一个第一时间间隔随后的第二时间间隔期间由所述运载工具内的对象发出的第二听觉信号，其中所述第二听觉信号的发出是由所述至少一个第一听觉信号的发出引起的；基于所述第二听觉信号的测量结果来确定所述对象在所述运载工具内的位置；以及生成针对用户的指示所述对象的位置的警报。
根据本发明的又一方面，提供至少一个非暂时性存储介质，其存储有指令，所述指令由至少一个处理器执行时使得所述至少一个处理器：在至少一个第一时间间隔期间在运载工具内发出至少一个第一听觉信号；测量在所述至少一个第一时间间隔随后的第二时间间隔期间由所述运载工具内的对象发出的第二听觉信号，其中所述第二听觉信号的发出是由所述至少一个第一听觉信号的发出引起的；基于所述第二听觉信号的测量结果来确定所述对象在所述运载工具内的位置；以及生成针对用户的指示所述对象的位置的警报。
附图说明
图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
图2是包括自主系统的运载工具的一个或多于一个系统的图；
图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图；
图4是对象检测系统的某些组件的图；
图5A和5B是对象检测系统的示例操作的图；
图6A是示例正弦扫描信号的图；
图6B是示例脉冲响应信号的图；
图7A是神经网络的实现的图；
图7B和7C是例示神经网络的示例操作的图；
图8是用于检测运载工具内的对象的处理的流程图。
具体实现
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
总体概述
在一些方面和/或实施例中，本文描述的系统、方法和计算机程序产品包括和/或实现用于使用声音来检测运载工具内的对象的技术。在示例实现中，对象检测系统在一段时间内在运载工具内发出声音，这导致运载工具内的对象以特定的一个或多于一个频率共振。该系统检测这些对象的共振，并且(例如，使用机器学习系统)基于共振来确定这些对象的位置和/或标识。此外，对象检测系统(例如，通过使听觉警报或电子消息呈现在用户的移动装置上)通知用户找回对象。
这些技术的一些优点包括使得运载工具能够检测运载工具内的对象，使得乘员能够在对象丢失之前找回对象。在一些实现中，该系统可以检测使用其他传感器技术可能难以检测到的位置中的(例如，座位下方或座位背后口袋内的、可能被隐藏而使照相机查看不到的)对象。
此外，这些技术使得运载工具能够使用可能已经以其他方式包括在运载工具中的组件来检测对象。例如，运载工具将通常包括扬声器(例如，用于向乘员播放音频)和麦克风(例如，用于检测来自用户的口头命令以及/或者使得用户能够与其他用户进行语音通信)。这些组件可以附加地用于检测运载工具内的对象。在例如减少或消除对仅用于检测对象的专用传感器的需求方面，这可能是有益的。因此，降低了制造运载工具的成本和/或复杂性。
此外，这些技术可以降低乘员在乘坐运载工具后无意中将对象留在运载工具中的可能性。因为这些技术可以减少与用户找回丢失的物品和/或运载工具将丢失的物品返还给乘员或服务站相关联的延迟，因此这些技术在若干个不同用户共享的运载工具(例如，在拼车服务(ride-sharing service)中使用的自主运载工具)中可能特别有利。因此，可以以更高效的方式操作运载工具。
在一些实施例中，本文描述的技术可以在运载工具内实现，诸如具有自主系统的运载工具(例如，自主运载工具)和/或不具有自主系统的运载工具等。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定位置处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一地点。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I基础设施系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其他类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206、制动系统208和对象检测系统210。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016：道路上机动车自动驾驶系统相关术语的分类和定义(SAE International'sstandard J3016：Taxonomy and Definitions for Terms Related to On-Road MotorVehicle Automated Driving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其他系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发出器)发射光的系统。由LiDAR传感器202b发出的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发出的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发出的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发出的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g、线控(DBW)系统202h和/或对象检测系统210进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
此外，对象检测系统210包括至少一个装置，该装置被配置为检测运载工具200内的对象并向至少一个用户生成与检测到的对象有关的通知。作为示例，对象检测系统210可以检测由乘员带入运载工具200中的对象(例如，在运载工具200的乘员舱和/或运载工具200的诸如行李舱等的储存舱中)，并且在乘员离开运载工具200之后留在运载工具200内的对象。在一些实施例中，对象检测系统210可以通过(例如，使用声音)在运载工具200内的对象中引起共振、使用一个或多于一个麦克风检测共振并且基于检测到的共振识别并定位对象来检测对象。此外，在一些实施例中，对象检测系统210可以基于从照相机202a、LiDAR系统202b、雷达传感器202c、麦克风202d和/或运载工具200的任意其他传感器获得的传感器数据来检测对象。此外，对象检测系统210可以为乘员生成通知，以例如通知乘员其将对象留在了运载工具200内。
在一些实施例中，对象检测系统210可以至少部分地实现为自主系统202的一个或多于一个组件。在一些实施例中，对象检测系统210可以至少部分地实现为与自主系统202分离且不同的一个或多于一个组件或装置。
例如，参考图4-8描述与对象检测系统210有关的进一步细节。
现在参考图3，例示装置300的示意图。在一些实施例中，装置300对应于：运载工具200和/或运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)、远程AV系统114、队列管理系统116、V2I系统118的至少一个装置以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102和/或200的一个或多于一个装置(例如，运载工具102和200的系统的诸如自主系统202、对象检测系统210等的一个或多于一个装置)、远程AV系统114、队列管理系统116、V2I系统118、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。
如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其他装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、
Figure BDA0003456727050000161
接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器305和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
示例对象检测系统
图4更详细地示出了对象检测系统210的各方面。对象检测系统210包括一个或多于一个扬声器402a-402n、一个或多于一个麦克风404a-404n以及一个或多于一个照相机406a-406n。此外，对象检测系统210包括对象定位器电路408、数据库410和通知电路412。
通常，对象检测系统210被配置成基于表示运载工具200内部的声音、图像和/或视频来检测运载工具200内部的对象(例如，对象450)。此外，对象检测系统210被配置为向至少一个用户生成与检测到的对象有关的通知。作为示例，对象检测系统210可以检测由乘员带入运载工具200中(例如，运载工具200的乘员舱和/或运载工具200的诸如行李舱等的储存舱中)并且在乘员离开运载工具200之后留在运载工具200内的对象。此外，对象检测系统210可以生成用于通知乘员其将对象留在了运载工具200内的通知(例如，使得乘员可以找回对象)。
在一些实施例中，对象检测系统210可以至少部分地基于声音来检测对象。例如，对象定位器电路408可以生成针对扬声器402a-402n中的一个或多于一个扬声器的音频输出信号(例如，数字和/或模拟音频信号)，并且指示扬声器402a-402n根据生成的音频输出信号在运载工具200内部发出声音。如图4和图5A所示，发出的声音(例如声波452)传播通过运载工具200内部，并冲击运载工具200内部的一个或多于一个对象(例如，对象450)。
在一些实施例中，扬声器402a-402n中的至少一些可以定位在运载工具200内部或以其他方式指向运载工具200内部。作为示例，如图5A所示，扬声器402a-402n中的至少一些可以定位在运载工具的乘员舱502中或以其他方式指向运载工具的乘员舱502(例如，运载工具200的座舱或座位区域)。例如，扬声器402a-402n中的至少一些可以位于仪表板、控制台、支柱、门、顶棚、地板和/或运载工具200内部上或附近的任意其他位置。作为另一示例，扬声器402a-402n中的至少一些可以定位在运载工具的诸如后行李舱、前行李舱、杂物箱等的储存舱中或以其他方式指向运载工具的储存舱。
在一些实施例中，扬声器402a-402n中的至少一些可以被实现为运载工具200的娱乐系统的一部分。例如，除了本文描述的操作之外，扬声器402a-402n中的至少一些还可以被配置为回放音频内容，诸如来自收音机、音频回放装置(例如，盒式磁带播放器、CD播放器等)、视频回放装置(例如，DVD播放器、蓝光播放器)、个人电子装置(例如，智能电话、可穿戴装置等)或被配置为输出音频内容的任意其他装置的音频等。
在至少一些实施例中，由扬声器402a-402n发出的声音可以使对象450以特定频率或频率范围共振。例如，由于对象450的物理特性，对象450可以具有一个或多于一个固有振动频率。此外，声波452对对象450的冲击可导致对象450以这些自然频率(或其谐波)振动。例如通过在一段时间内声音对对象450的重复或连续冲击(例如，使得对象450以特定频率或频率范围共振)，可能进一步放大该振动。在一些实施例中，即使在扬声器402a-402n不再(例如，由于动量)发出声音之后，该共振也可以继续。该共振可以进一步使得声波454从对象450传播(例如，如图4和图5B所示)。
对象450的(例如，以声波454的形式的)共振由麦克风404a-404n中的一个或多于一个麦克风检测。例如，麦克风404a-404n可以生成表示在运载工具200内部传播的声音的音频记录信号，并且向对象定位器电路408提供音频记录信号中的至少一些。在一些实施例中，麦克风404a-404n可以在扬声器402a-402n发出声音之前、期间和/或之后生成音频记录信号。
在一些实施例中，麦克风404a-404n中的至少一些也可以定位在运载工具200的内部或以其他方式指向运载工具200的内部。作为示例，如图5B所示，麦克风404a-404n中的至少一些可以定位在运载工具的乘员舱502中或以其他方式指向运载工具的乘员舱502。例如，麦克风404a-404n中的至少一些可以位于仪表板、控制台、支柱、门、顶棚、地板和/或运载工具200内部上或附近的任意其他位置。作为另一示例，麦克风404a-404n中的至少一些可以定位在运载工具的诸如后行李舱、前行李舱、杂物箱等的储存舱中或以其他方式指向运载工具的储存舱。
在一些实施例中，麦克风404a-404n中的至少一些可以被实现为运载工具200的通信系统的一部分。例如，除了本文描述的操作之外，麦克风404a-404n中的至少一些还可以被配置成记录乘员的语音，并且将记录的至少一部分提供到诸如智能电话、平板电脑等的无线通信装置(例如，以便于乘员参与电话通话、视频通话等)。作为另一示例，除了本文描述的操作之外，麦克风404a-404n中的至少一些还可以被配置为记录乘员的语音，并且将记录的至少一部分提供到运载工具200的语音启用的控制系统(例如，被配置为基于乘员的口头命令来控制运载工具200的一个或多于一个组件的控制系统)。在一些实现中，麦克风404a-404n中的至少一些可以包括参考图2描述的麦克风202d中的一个或多于一个。
此外，对象450也可以被照相机406a-406n中的一个或多于一个照相机检测到。例如，照相机406a-406n可以生成运载工具200的内部的一个或多于一个图像和/或视频，并且将图像和/或视频中的至少一些提供给对象定位器电路408。
在一些实施例中，照相机406a-406n中的至少一些也可以定位在运载工具200的内部或以其他方式指向运载工具200的内部。作为示例，麦克风404a-404n中的至少一些可以定位在运载工具的乘员舱502中或者指向乘员舱502。例如，照相机406a-406n中的至少一些可以位于仪表板、控制台、支柱、门、顶棚、地板和/或运载工具200内部上或附近的任意其他位置。作为另一示例，照相机406a-406n中的至少一些可以定位在运载工具的诸如后行李舱、前行李舱、杂物箱等的储存舱中或以其他方式指向运载工具的储存舱。
在一些实施例中，照相机406a-406n中的至少一些也可以被实现为运载工具200的通信系统的一部分。例如，除了本文描述的操作之外，照相机406a-406n中的至少一些还可以被配置为记录乘员的图像和/或视频，并且将图像和/或视频的至少一部分提供给诸如智能电话、平板电脑等的无线通信装置(例如，以便于乘员参与视频通话)。作为另一示例，除了本文描述的操作之外，照相机中的至少一些还可以被配置成记录运载工具200的外部(例如，以便于运载工具的自主操作，诸如自主导航等)。在一些实现中，照相机406a-406n中的至少一些可以包括参考图2描述的照相机202a中的一个或多于一个照相机。
对象定位器电路408基于从麦克风404a-404n接收到的音频记录信号以及/或者从照相机406a-406n接收到的图像和/或视频来确定对象450的一个或多于一个特性。
作为示例，对象定位器电路408可以基于从麦克风404a-404n接收到的音频记录信号以及/或者从照相机406a-406n接收到的图像和/或视频来确定运载工具200内部的对象450的位置。例如，对象定位器电路408可以输出指示对象所处的一般区域(例如，在运载工具200的特定座位上、在运载工具200的特定脚部空间中、在运载工具200的特定座位下、在运载工具200的特定储存舱中、在运载工具200的特定座位背后口袋中等)的数据。作为另一示例，对象定位器电路408可以输出指示表示对象450的位置的一组空间坐标(例如，以运载工具为参考系的一组x、y和z坐标)的数据。
在一些实现中，对象定位器电路408可以至少部分地通过使用位于运载工具200中的不同位置处的麦克风404a-404n获得多个音频记录信号并且对共振源进行三角测量，来确定对象450的位置。例如，对象定位器电路408可以针对各个音频记录信号来确定共振相对于生成音频记录信号的麦克风的位置的方向。此外，对象定位器电路408可以确定与所确定的各方向一致的位置或区域(例如，针对所确定的各方向的交叉点或交叉区域)。对象定位器电路408可以将该位置或区域识别为对象450的位置。
作为另一示例，对象定位器电路408可以确定对象450的标识或类型。例如，对象定位器电路408可以输出指示对象450是否是以下物品的数据：背包、钱包、手提包、皮夹、手提箱、公文包、行李、衣物(例如，外套、衬衫、裤子、帽子等)、电子装置(例如，计算机、智能电话、平板电脑、耳机、耳塞等)、眼镜、运动器材(例如，球、球棒、球拍、高尔夫球杆、头盔等)、工具(例如，锤子、扳手、螺丝刀等)、首饰(例如，戒指、手表、耳环、项链等)和/或任意其他类型的对象。
在一些实现中，对象定位器电路408可以至少部分地基于音频记录信号来确定对象450的标识或类型。例如，各个类型的对象可以具有不同于其他类型的对象的特定声学特性。因此，不同类型的对象可以基于其声学特性而被彼此区分。
作为示例，第一类型的对象可以具有(一个或多于一个)第一固有振动频率，并且可以响应于扬声器402a-402n发出的声音而以(一个或多于一个)第一共振频率共振。此外，第一类型的对象(例如，由于该类型的对象的物理特性)可以抑制或减弱某些频率的声音。此外，第二类型的对象可以具有(一个或多于一个)第二固有振动频率，并且可以响应于扬声器402a-402n发出的声音而以(一个或多于一个)第二共振频率共振。此外，第二类型的对象(例如，由于该类型的对象的物理特性)可以抑制或减弱某些其他频率的声音。对象定位器电路408可以(例如，通过确定共振频率和/或受抑制的频率，并识别具有相同或类似特性的对象类型)基于音频记录信号的频谱分析来区分两个类型的对象。
此外，在一些实现中，对象定位器电路408可以至少部分地基于由照相机406a-406n获得的图像和/或视频来确定对象450的标识或类型。例如，对象定位器电路408可以使用计算机视觉和/或图像分类系统来解释图像和/或视频，并识别其中描绘的对象。
在一些实现中，对象定位器电路408可以在“基础”或“默认”状态下(例如，在乘员没有在运载工具内留下外来对象的情况下)获得运载工具200的内部的音频记录信号、图像和/或视频。此外，对象定位器电路408可以(例如，在运载工具200的使用期间)获得运载工具200的内部的附加音频记录信号、图像和/或视频，并且识别记录声音、图像和/或视频中的变化。
例如在使得对象定位器电路408能够区分作为运载工具本身一部分的结构(例如，座位、安全带、仪表板、控制台、支柱、门、顶棚、地板等)以及乘员带入和留在运载工具中的对象方面，该技术可以是有益的。例如，作为运载工具的一部分的结构也可以响应于扬声器402a-402n发出声音而表现出特定的共振。对象定位器电路408可以(例如，基于在运载工具处于基础或默认状态时获得的数据)识别这些共振，并且在定位和/或识别运载工具内的对象时滤除(或以其他方式忽略)这些共振。
在一些实施例中，对象定位器电路408可以基于一个或多于一个机器学习模型进行本文所述的至少一些确定。例如，可以训练机器学习模型来接收输入数据(例如，从麦克风404a-404n和/或照相机406a-406n接收到的数据)，并且基于输入数据生成与关于对象450的位置和/或标识的一个或多于一个预测相关联的输出数据。
作为示例，可以使用与位于或先前位于运载工具200或其他运载工具中的一个或多于一个附加对象有关的训练数据(例如，存储在数据库410中的训练数据)来训练机器学习模型。这些附加对象可以包括先前由对象检测系统210检测和/或识别的对象。这些附加对象还可以包括先前由另一系统(例如，另一对象检测系统210)检测和/或识别的对象。
对于各个附加对象，训练数据可以包括与参考图4描述的输入信息类似的输入信息。例如，训练数据可以包括在对象位于运载工具内期间由一个或多于一个麦克风获得的数据(例如，表示该对象的共振的音频记录信号)和/或照相机获得的数据(例如，运载工具的内部的图像和/或视频)。
此外，对于各个附加对象，训练数据可以包括表示在获得传感器测量结果时该对象在运载工具200(或其他运载工具)内的位置的数据。例如，数据库410可以指示在获得传感器测量结果时特定对象所处的一般区域。作为另一示例，训练数据可以指示表示在获得传感器测量结果时的特定对象的位置的一组空间坐标。
此外，对于各个附加对象，训练数据可以包括表示该对象的声学特性的数据。例如，训练数据可以指示该对象的一个或多于一个固有频率、该对象的一个或多于一个共振频率以及该对象的声学阻尼性质。
此外，对于各个附加对象，训练数据可以包括表示该对象的标识或类型的数据。例如，训练数据可以指示特定对象是否是背包、钱包、手提包、皮夹、手提箱、公文包、行李、衣服、电子装置、眼镜、运动器材、工具、首饰和/或任意其他类型的对象。
基于训练数据，可以训练机器学习模型来识别(i)输入数据、(ii)对象在运载工具内的位置和/或(iii)该对象的标识之间的相关性、关系和/或趋势。
参考图7A-7C进一步详细描述示例机器学习模型。
在一些实施例中，对象检测系统210可以被配置为(例如，在数据库410中)存储与对象450有关的信息，以用于将来的检索和/或处理。作为示例，对象定位器电路408可以将(诸如对象450的确定的位置和/或对象450的类型等的)与对象450有关的信息传输到数据库410进行存储。作为另一示例，对象定位器电路408可以将关于对象450所获得的传感器信息(例如，音频记录信号、图像、视频等)中的至少一些传输到数据库410进行存储。
此外，对象检测系统210可以被配置为向至少一个用户生成与检测到的对象有关的通知。作为示例，对象定位器电路408可以向通知电路412提供对象450的位置和/或对象450的类型。此外，对象定位器电路408可以向通知电路412提供对象450的一个或多于一个图像和/或视频。通知电路412可以向用户生成一个或多于一个通知(例如，向用户通知对象450已经被留在运载工具200中)。此外，通知电路412可以在通知中包括与对象450有关的信息，诸如对象450的位置、对象450的类型、对象450的图像和/或对象450的视频等。
在一些实现中，通知可以包括电子邮件消息、聊天消息、文本消息(例如，短消息服务消息)、直接消息和/或任意其他类型的电子消息。在一些实现中，通知可以包括电话通话、语音通话、视频通话或任意其他类型的音频和/或视频通信。在一些实现中，通知可以包括使用诸如智能电话、平板计算机和/或可穿戴计算机等的电子装置呈现的音频警报(例如，警告声音)和/或触觉警报(例如，振动或脉冲)。在一些实现中，通知可以包括使用电子装置呈现的视觉警报(例如，弹出通知或通知标志)。在一些实现中，通知可以包括(例如，通过运载工具200的扬声器或喇叭)输出到运载工具200的外部环境的音频警报(例如，警告声音)。
在一些实现中，对象检测系统210可以确定为对象450已经被特定用户留在运载工具200中，并且为该用户生成一个或多于一个通知。
作为示例，对象检测系统210可以(例如，基于运载工具200的使用或服务记录，诸如与作为拼车服务的一部分的运载工具200的预订有关的记录)确定为：在特定时间对象450已经被带入运载工具200，并且在该时间期间特定用户已经进入运载工具200。对象检测系统210可以至少部分地基于该确定而确定为用户可能是对象450的所有者，并且可以向该用户生成与对象450有关的通知。
作为另一示例，对象检测系统210可以(例如，基于运载工具200的使用或服务记录，诸如与作为拼车服务的一部分的运载工具200的预订有关的记录)确定为：在特定时间在运载工具200中检测到对象450，并且在该时间期间特定用户已经乘坐在运载工具200中。对象检测系统210可以至少部分地基于该确定而确定为用户可能是对象450的所有者，并且可以向该用户生成与对象450有关的通知。
作为另一示例，对象检测系统210可以(例如，基于由运载工具200的传感器在特定时间期间获得的音频、图像和/或视频)确定为：对象450已经在运载工具中的特定位置和该时间被检测到，并且用户当时已经坐在该位置或该位置周围。对象检测系统210可以至少部分地基于该确定而确定为用户可能是对象450的所有者，并且可以向该用户生成与对象450有关的通知。
作为另一示例，对象检测系统210(例如，基于运载工具200的使用或服务记录，诸如与作为拼车服务的一部分的运载工具200的预订有关的记录)检测到运载工具200中的对象450，并且特定用户是最近的运载工具时间的乘员。对象检测系统210可以至少部分地基于该确定而确定为用户可能是对象450的所有者，并且可以向该用户生成与对象450有关的通知。
如上所述，对象检测系统210可以使用声音在对象450中引起共振。在一些实现中，对象检测系统210可以至少部分地通过使运载工具200的(一个或多于一个)特定扬声器402a-402n在特定的时间段内发出特定的声音，根据特定的重复数量和/或根据特定的重复频率引起对象450中的共振。作为示例，对象检测系统210可以使得选择扬声器402a-402n的子集，并且向所选择的扬声器的子集提供特定的音频输出信号。此外，对象检测系统210可以使所选择的扬声器根据在特定开始时间开始并在特定结束时间结束的特定音频输出信号发出声音。此外，对象检测系统210可以根据特定的重复数量和频率来使所选择的扬声器发出声音。
在一些实现中，可以根据经验选择扬声器的子集、音频输出信号、时间间隔、重复数量和/或重复频率。例如，可以(例如，由对象检测系统210的开发者)进行实验来识别扬声器、音频输出信号、时间间隔、重复数量和/或重复频率的特定组合，这可以提高对象检测系统在区分不同对象位置和/或不同对象类型方面的精确度和/或灵敏度。
在一些实现中，可以使用机器学习来选择扬声器的子集、音频输出信号、时间间隔、重复数量和/或重复频率。例如，机器学习模型可以用于识别扬声器、音频输出信号、时间间隔、重复数量和/或重复频率的特定组合，这可以提高对象检测系统在区分不同对象位置和/或不同对象类型方面的精确度和/或灵敏度。
通常，音频输出信号可以包括超声频谱分量、在人类的听觉范围内的频谱分量、以及/或者次声频谱分量。
在一些实现中，音频输出信号可以包括具有单个频率或若干个频率(例如，一个或多于一个频率范围)的正弦信号。在一些实施例中，音频输出信号可以包括正弦扫描信号(例如，具有随时间变化的频率的正弦信号)。
图6A示出了示例正弦扫描信号600。在该示例中，正弦扫描信号600的频率随时间单调增加(例如，从第一较低频率至第二较高频率)。然而，代替或除了图6A所示的正弦扫描信号600之外，也可以使用不同的正弦扫描信号。例如，正弦扫描信号的频率可以随时间单调降低。作为另一示例，正弦扫描信号可以包括频率增加的时间间隔以及频率降低的其他时间间隔。
在一些实现中，音频输出信号可以包括脉冲响应信号(例如，具有与脉冲响应函数(IRF)一致或近似的局部强度峰或脉冲的信号)。图6B中示出了示例脉冲响应信号610。
尽管本文描述的示例涉及识别已经留在运载工具200内的对象，但是在一些实现中，本文描述的系统和技术也可以用于识别已经留在运载工具200外部的对象。例如，扬声器402a-402n中的至少一些可以被配置为向运载工具200的外部环境输出声音。此外，麦克风404a-404n中的至少一些可以被配置成生成表示外部环境中的声音的音频记录信号。此外，照相机406a-406n中的至少一些可以被配置成生成表示外部环境的图像和/或视频。对象检测系统210可以(例如，以与上述类似的方式)基于音频记录信号、图像和/或视频来定位和/或识别对象。
本文描述的至少一些技术可以使用一个或多于一个机器学习模型来实现。作为示例，图7示出了机器学习模型的实现的图。更具体地，例示卷积神经网络(CNN)720的实现的图。为了说明的目的，CNN 720的以下说明将关于通过对象检测系统400实现CNN 720。然而，将理解，在一些示例中，CNN 720(例如，CNN 720的一个或多于一个组件)由不同于对象检测系统400的或除对象检测系统400之外的其他系统(诸如自主运载工具计算202f等)来实现。尽管CNN 720包括如本文所述的某些特征，但这些特征是为了说明的目的而提供的，并且不旨在限制本公开。
CNN 720包括包含第一卷积层722、第二卷积层724和卷积层726的多个卷积层。在一些实施例中，CNN 720包括子采样层728(有时称为池化层)。在一些实施例中，子采样层728和/或其他子采样层具有比上游系统的维度(即，节点的量)小的维度。借助于具有比上游层的维度小的维度的子采样层728，CNN 720合并与上游层的初始输入和/或输出相关联的数据量，由此减少CNN720进行下游卷积运算所需的计算量。附加地或可替代地，借助于子采样层728与至少一个子采样函数相关联(例如，被配置为进行至少一个子采样函数)(如以下关于图7B和图7C所描述的)，CNN 720合并与初始输入相关联的数据量。
基于对象检测系统210提供与第一卷积层722、第二卷积层724和卷积层726各自相关联的相应输入和/或输出以生成相应输出，对象检测系统210进行卷积运算。在一些示例中，基于对象检测系统210将数据作为输入提供至第一卷积层722、第二卷积层724和卷积层726，对象检测系统210实现CNN 720。在这样的示例中，基于对象检测系统210从一个或多于一个不同系统(例如，麦克风404a-404n、照相机406a-406n、数据库410等)接收数据，对象检测系统210将数据作为输入提供至第一卷积层722、第二卷积层724和卷积层726。以下关于图7B包括卷积运算的详细说明。
在一些实施例中，对象检测系统210将与输入(称为初始输入)相关联的数据提供至第一卷积层722，并且对象检测系统210使用第一卷积层722生成与输出相关联的数据。在一些实施例中，对象检测系统210将由卷积层生成的输出作为输入提供至不同的卷积层。例如，对象检测系统210将第一卷积层722的输出作为输入提供至子采样层728、第二卷积层724和/或卷积层726。在这样的示例中，第一卷积层722被称为上游层，并且子采样层728、第二卷积层724和/或卷积层726被称为下游层。类似地，在一些实施例中，对象检测系统210将子采样层728的输出提供至第二卷积层724和/或卷积层726，并且在该示例中，子采样层728将被称为上游层，并且第二卷积层724和/或卷积层726将被称为下游层。
在一些实施例中，在对象检测系统210向CNN 720提供输入之前，对象检测系统210对与提供至CNN 720的输入相关联的数据进行处理。例如，基于对象检测系统210对传感器数据(例如，音频数据、图像数据和/或视频数据等)进行归一化，对象检测系统210对与提供至CNN 720的输入相关联的数据进行处理。
在一些实施例中，基于对象检测系统210进行与各个卷积层相关联的卷积运算，CNN 720生成输出。在一些示例中，基于对象检测系统210进行与各个卷积层和初始输入相关联的卷积运算，CNN 720生成输出。在一些实施例中，对象检测系统210生成输出并将该输出提供至全连接层730。在一些示例中，对象检测系统210将卷积层426的输出提供至全连接层730，其中全连接层730包括与被称为F1、F2、...、FN的多个特征值相关联的数据。在该示例中，卷积层726的输出包括与表示预测的多个输出特征值相关联的数据。
在一些实施例中，基于对象检测系统210识别与作为多个预测中的正确预测的最高可能性相关联的特征值，对象检测系统210从这多个预测中识别预测。例如，在全连接层730包括特征值F1、F2、...、FN并且F1是最大特征值的情况下，对象检测系统210将与F1相关联的预测识别为多个预测中的正确预测。在一些实施例中，对象检测系统210训练CNN 720以生成预测。在一些示例中，基于对象检测系统210将与预测相关联的训练数据提供至CNN720，对象检测系统210训练CNN 720以生成预测。
预测可以包括例如对象在运载工具200内部的预测位置。作为另一示例，预测可以包括对象的预测特性(例如，对象的类型、类别或标识)。
现在参考图7B和图7C，例示利用对象检测系统210的CNN 740的示例操作的图。在一些实施例中，CNN 740(例如，CNN 740的一个或多于一个组件)与CNN 720(例如，CNN 720的一个或多于一个组件)(参见图7A)相同或类似。
在步骤750，对象检测系统210向CNN 740提供数据作为输入(步骤750)。例如，对象检测系统210可以提供由麦克风404a-404n和/或照相机406a-406n中的一个或多于一个获得的数据。作为另一示例，对象检测系统210可以提供从数据库410接收到的数据。
在步骤755，CNN 740执行第一卷积函数。例如，基于CNN 740将表示输入数据的值作为输入提供至第一卷积层742中所包括的一个或多于一个神经元(未明确例示出)，CNN740执行第一卷积函数。作为示例，表示图像或视频的值可以对应于表示图像或视频的区(有时称为感受野)的值。作为另一示例，表示音频信号的值可以对应于表示音频信号的一部分(例如，特定时间部分和/或特定频谱部分)的值。作为另一示例，表示一些其他传感器测量结果的值可以对应于表示该传感器测量结果的一部分(例如，特定时间部分和/或特定频谱部分)的值。
在一些实施例中，各个神经元与滤波器(未明确例示出)相关联。滤波器(有时称为内核)可表示为在大小上与作为输入提供至神经元的值相对应的值阵列。在一个示例中，滤波器可被配置为识别图像中的边缘(例如，水平线、垂直线和/或直线等)。在连续的卷积层中，与神经元相关联的滤波器可被配置为连续地识别图像中更复杂的模式(例如，弧和/或对象等)。在另一示例中，滤波器可以被配置成识别音频信号的频谱部分(例如，对应于特定频率和/或频率范围的音频信号部分)。在连续的卷积层中，与神经元相关联的滤波器可以被配置成连续地识别音频信号中更复杂的模式(例如，指示音频源的位置、音频源的标识或类型等的模式)。
在一些实施例中，基于CNN 740将作为输入提供至第一卷积层742中所包括的一个或多于一个神经元中的各个神经元的值与同一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，CNN 740执行第一卷积函数。例如，CNN 740可以将作为输入提供至第一卷积层742中所包括的一个或多于一个神经元中的各个神经元的值与同该一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，以生成单个值或值阵列作为输出。在一些实施例中，第一卷积层742的神经元的集体输出被称为卷积输出。在一些实施例中，在各个神经元具有相同滤波器的情况下，卷积输出被称为特征图。
在一些实施例中，CNN 740将第一卷积层742的各个神经元的输出提供至下游层的神经元。为了清楚起见，上游层可以是将数据传输至不同层(称为下游层)的层。例如，CNN740可以将第一卷积层742的各个神经元的输出提供至子采样层的相应神经元。在示例中，CNN 740将第一卷积层742的各个神经元的输出提供至第一子采样层744的相应神经元。在一些实施例中，CNN 740向提供至下游层的各个神经元的所有值的集合添加偏置值。例如，CNN 740向提供至第一子采样层744的各个神经元的所有值的集合添加偏置值。在这样的示例中，CNN 740基于提供至各个神经元的所有值的集合和与第一子采样层744的各个神经元相关联的激活函数来确定要提供至第一子采样层744的各个神经元的最终值。
在步骤760，CNN 740执行第一子采样函数。例如，基于CNN 740将由第一卷积层742输出的值提供至第一子采样层744的相应神经元，CNN 740可以执行第一子采样函数。在一些实施例中，CNN 740基于聚合函数来执行第一子采样函数。在示例中，基于CNN 740确定提供至给定神经元的值中的最大输入(称为最大池化函数)，CNN 740执行第一子采样函数。在另一示例中，基于CNN 740确定提供至给定神经元的值中的平均输入(称为平均池化函数)，CNN 740执行第一子采样函数。在一些实施例中，基于CNN 740向第一子采样层744的各个神经元提供值，CNN 740生成输出，该输出有时被称为子采样卷积输出。
在步骤765，CNN 740执行第二卷积函数。在一些实施例中，CNN 740以与上述的CNN740如何执行第一卷积函数类似的方式执行第二卷积函数。在一些实施例中，基于CNN 740将由第一子采样层744输出的值作为输入提供至第二卷积层746中所包括的一个或多于一个神经元(未明确例示出)，CNN740执行第二卷积函数。在一些实施例中，如上所述，第二卷积层746的各个神经元与滤波器相关联。如上所述，与第二卷积层746相关联的(一个或多于一个)滤波器与同第一卷积层742相关联的滤波器相比可被配置为识别更复杂的模式。
在一些实施例中，基于CNN 740将作为输入提供至第二卷积层746中所包括的一个或多于一个神经元中的各个神经元的值与同该一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，CNN 740执行第二卷积函数。例如，CNN 740可以将作为输入提供至第二卷积层746中所包括的一个或多于一个神经元中的各个神经元的值与同该一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，以生成单个值或值阵列作为输出。
在一些实施例中，CNN 740将第二卷积层746的各个神经元的输出提供至下游层的神经元。例如，CNN 740可以将第一卷积层742的各个神经元的输出提供至子采样层的相应神经元。在示例中，CNN 740将第一卷积层742的各个神经元的输出提供至第二子采样层748的相应神经元。在一些实施例中，CNN 740向提供至下游层的各个神经元的所有值的集合添加偏置值。例如，CNN 740向提供至第二子采样层748的各个神经元的所有值的集合添加偏置值。在这样的示例中，CNN 740基于提供至各个神经元的所有值的集合和与第二子采样层748的各个神经元相关联的激活函数来确定提供至第二子采样层748的各个神经元的最终值。
在步骤770，CNN 740执行第二子采样函数。例如，基于CNN 740将由第二卷积层746输出的值提供至第二子采样层748的相应神经元，CNN 740可以执行第二子采样函数。在一些实施例中，基于CNN 740使用聚合函数，CNN740执行第二子采样函数。在示例中，如上所述，基于CNN 740确定提供至给定神经元的值中的最大输入或平均输入，CNN 740执行第一子采样函数。在一些实施例中，基于CNN 740向第二子采样层748的各个神经元提供值，CNN740生成输出。
在步骤775，CNN 740将第二子采样层748的各个神经元的输出提供至全连接层749。例如，CNN 740将第二子采样层748的各个神经元的输出提供至全连接层749，以使得全连接层749生成输出。在一些实施例中，全连接层749被配置成生成与预测(有时称为分类)相关联的输出。
作为示例，输出可以包括与对象在运载工具200内部的位置有关的预测。例如，输出可以指示对象所处的一般区域(例如，在运载工具的特定座位上、在运载工具的特定脚部空间中、在运载工具的特定座位下、在运载工具的特定储存舱中、在运载工具的特定座位背后口袋中等)。作为另一示例，输出可以指示表示对象的位置的一组空间坐标(例如，以运载工具为参考系的一组x、y和z坐标)。
作为示例，输出可以包括与运载工具200内部的对象的标识或类型有关的预测。例如，输出可以指示对象是否是背包、钱包、手提包、皮夹、手提箱、公文包、行李、衣服(例如，外套、衬衫、裤子、帽子等)、电子装置(例如，计算机、智能电话、平板电脑、耳机、耳塞等)、眼镜、运动器材(例如，球、球棒、球拍、高尔夫球杆、头盔等)、工具(例如，锤子、扳手、螺丝刀等)、首饰(例如，戒指、手表、耳环、项链等)和/或任意其他类型的对象。
在一些实施例中，对象检测系统210进行一个或多于一个操作以及/或者将与预测相关联的数据提供至本文所述的不同系统。
现在参考图8，例示了用于检测运载工具内的对象的处理800的流程图。在一些实施例中，关于处理800描述的一个或多于一个步骤(例如，完全和/或部分地)由对象检测系统210进行。附加地或可替代地，在一些实施例中，关于处理800描述的一个或多于一个步骤(例如，完全和/或部分地)由与对象检测系统210分离或包括对象检测系统210的其他装置或装置组(诸如远离运载工具的计算机系统(例如，服务器计算机和/或云计算机系统)等)来进行。
继续参考图8，运载工具的对象检测系统在至少一个第一时间间隔期间在运载工具内发出至少一个听觉信号(框802)。在一些实现中，运载工具可以是自主运载工具。
在一些实现中，至少一个听觉信号可以包括一个或多于一个超声信号、在人类的听觉范围内的信号、以及/或者次声信号。在一些实现中，至少一个听觉信号可以包括至少一个正弦信号、正弦扫描信号和/或脉冲响应信号。
在一些实现中，可以在单个时间间隔期间发出至少一个听觉信号。在一些实现中，可以在多个第一时间间隔期间发出至少一个听觉信号。
在一些实现中，系统可以确定为用户已经离开运载工具，并且在确定为用户已经离开运载工具之后发出至少一个第一听觉信号。
继续参考图8，系统测量在至少一个第一时间间隔随后的第二时间间隔期间由运载工具内的对象发出的第二听觉信号(框804)。第二听觉信号的发出是由至少一个第一听觉信号的发出引起的。例如，第二听觉信号可以对应于第一听觉信号所引起的对象的共振。
继续参考图8，系统基于第二听觉信号的测量结果来确定对象在运载工具内的位置(框806)。在一些实现中，系统可以基于机器学习和/或信号三角测量来做出该确定。
继续参考图8，系统生成针对用户的指示该对象的位置的警报(框808)。
在一些实现中，生成警报可以包括在运载工具的外部发出第三听觉信号。
在一些实现中，生成警报可以包括向与用户相关联的移动装置传输电子消息。
在一些实现中，系统还可以基于第二听觉信号的测量结果来确定对象的类型。
在一些实现中，可以基于将第二信号的测量结果作为输入的神经网络来确定对象的位置和对象的类型其中至少之一。
在一些实现中，系统还可以从一个或多于一个图像传感器(例如，静态照相机、摄相机等)获得与运载工具内部有关的图像数据(例如，图像和/或视频)。可以基于图像数据来进一步确定对象的位置。
在一些实现中，可以使用运载工具内的多个扬声器同时发出至少一个听觉信号。此外，可以使用运载工具内的多个麦克风同时测量第二听觉信号。此外，可以至少部分地通过基于多个麦克风对第二听觉信号的测量结果来对对象的位置进行三角测量，来确定对象的位置。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (17)

1.一种用于检测运载工具内的对象的方法，包括：
由所述运载工具的对象检测系统在至少一个第一时间间隔期间在所述运载工具内发出至少一个第一听觉信号；
由所述对象检测系统测量在所述至少一个第一时间间隔随后的第二时间间隔期间由所述运载工具内的对象发出的第二听觉信号，其中所述第二听觉信号的发出是由所述至少一个第一听觉信号的发出引起的；
由所述对象检测系统基于所述第二听觉信号的测量结果来确定所述对象在所述运载工具内的位置；以及
由所述对象检测系统生成针对用户的指示所述对象的位置的警报。
2.根据权利要求1所述的方法，其中，生成所述警报包括：
在所述运载工具外部发出第三听觉信号。
3.根据权利要求1所述的方法，其中，生成所述警报包括：
向与用户相关联的移动装置传输电子消息。
4.根据权利要求1所述的方法，还包括：
确定为用户已经离开所述运载工具，以及
其中，在确定为用户已经离开所述运载工具之后，发出所述至少一个第一听觉信号。
5.根据权利要求1所述的方法，其中，在多个第一时间间隔期间，在所述运载工具内发出多个第一听觉信号。
6.根据权利要求1所述的方法，其中，所述至少一个第一听觉信号包括正弦信号。
7.根据权利要求1所述的方法，其中，所述至少一个第一听觉信号包括正弦扫描信号。
8.根据权利要求1所述的方法，其中，所述至少一个第一听觉信号包括脉冲响应信号。
9.根据权利要求1所述的方法，还包括：
基于所述第二听觉信号的测量结果来确定所述对象的类型。
10.根据权利要求9所述的方法，其中，所述对象的位置和所述对象的类型至少之一是基于将所述第二听觉信号的测量结果作为输入的神经网络来确定的。
11.根据权利要求1所述的方法，其中，所述第二听觉信号与所述对象响应于所述至少一个第一听觉信号的共振相对应。
12.根据权利要求1所述的方法，还包括：
由所述对象检测系统从一个或多于一个图像传感器获得与所述运载工具的内部有关的图像数据，以及
其中，基于所述图像数据来进一步确定所述对象的位置。
13.根据权利要求1所述的方法，其中，发出至少一个听觉信号包括：
使用所述运载工具内的多个扬声器同时发出所述至少一个听觉信号。
14.根据权利要求1所述的方法，其中，测量所述第二听觉信号包括：
使用所述运载工具内的多个麦克风同时测量所述第二听觉信号。
15.根据权利要求14所述的方法，其中，确定所述对象的位置包括：
基于所述多个麦克风对所述第二听觉信号的测量结果来对所述对象的位置进行三角测量。
16.一种用于检测运载工具内的对象的系统，包括：
至少一个处理器；以及
至少一个非暂时性存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时使得所述至少一个处理器：
在至少一个第一时间间隔期间在所述运载工具内发出至少一个第一听觉信号；
测量在所述至少一个第一时间间隔随后的第二时间间隔期间由所述运载工具内的对象发出的第二听觉信号，其中所述第二听觉信号的发出是由所述至少一个第一听觉信号的发出引起的；
基于所述第二听觉信号的测量结果来确定所述对象在所述运载工具内的位置；以及
生成针对用户的指示所述对象的位置的警报。
17.至少一个非暂时性存储介质，其存储有指令，所述指令由至少一个处理器执行时使得所述至少一个处理器：
在至少一个第一时间间隔期间在运载工具内发出至少一个第一听觉信号；
测量在所述至少一个第一时间间隔随后的第二时间间隔期间由所述运载工具内的对象发出的第二听觉信号，其中所述第二听觉信号的发出是由所述至少一个第一听觉信号的发出引起的；
基于所述第二听觉信号的测量结果来确定所述对象在所述运载工具内的位置；以及
生成针对用户的指示所述对象的位置的警报。
CN202210014462.3A 2021-08-16 2022-01-05 用于检测运载工具内的对象的方法和系统以及存储介质 Pending CN115877322A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/403,365 US11904784B2 (en) 2021-08-16 2021-08-16 Detecting objects within a vehicle
US17/403,365 2021-08-16

Publications (1)

Publication Number Publication Date
CN115877322A true CN115877322A (zh) 2023-03-31

Family

ID=80219700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210014462.3A Pending CN115877322A (zh) 2021-08-16 2022-01-05 用于检测运载工具内的对象的方法和系统以及存储介质

Country Status (5)

Country Link
US (1) US11904784B2 (zh)
KR (1) KR20230025738A (zh)
CN (1) CN115877322A (zh)
DE (1) DE102021134415A1 (zh)
GB (1) GB2610002B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795356B2 (en) * 2017-08-31 2020-10-06 Uatc, Llc Systems and methods for determining when to release control of an autonomous vehicle
US11878718B2 (en) * 2021-08-20 2024-01-23 Ford Global Technologies, Llc Autonomous vehicle rider drop-off sensory systems and methods
US12106586B2 (en) * 2022-03-28 2024-10-01 Gm Cruise Holdings Llc Lost object tracking system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778672B2 (en) 1992-05-05 2004-08-17 Automotive Technologies International Inc. Audio reception control arrangement and method for a vehicle
US8098844B2 (en) 2002-02-05 2012-01-17 Mh Acoustics, Llc Dual-microphone spatial noise suppression
KR100696392B1 (ko) * 2005-12-07 2007-03-19 주식회사단해 차량 외곽 모니터링 시스템 및 그 방법
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
KR101642697B1 (ko) * 2015-12-03 2016-08-10 양선종 차량 운전자 생체정보신호 측정 시스템 및 방법
WO2017149526A2 (en) * 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
DE102017112738A1 (de) 2016-06-20 2017-12-21 GM Global Technology Operations LLC Ultraschallunterstützte Ortsbestimmung und Zugangssteuerung
US10882538B1 (en) * 2019-07-31 2021-01-05 Karma Automotive Llc System and method for a combined visual and audible spatial warning system

Also Published As

Publication number Publication date
GB202200054D0 (en) 2022-02-16
DE102021134415A1 (de) 2023-02-16
GB2610002B (en) 2024-09-25
KR20230025738A (ko) 2023-02-23
US20230046071A1 (en) 2023-02-16
GB2610002A (en) 2023-02-22
US11904784B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
US11710251B2 (en) Deep direct localization from ground imagery and location readings
US11904784B2 (en) Detecting objects within a vehicle
US11077850B2 (en) Systems and methods for determining individualized driving behaviors of vehicles
US20210280055A1 (en) Feedback performance control and tracking
US10576994B1 (en) Autonomous system operator cognitive state detection and alerting
US20190220248A1 (en) Vehicle with external audio speaker and microphone
US10424176B2 (en) AMBER alert monitoring and support
CN105989749A (zh) 用于优先化驾驶员警报的系统和方法
KR20200106131A (ko) 긴급 상황 시의 차량의 동작
WO2018094374A1 (en) Vehicle autonomous collision prediction and escaping system (ace)
GB2610240A (en) Emergency vehicle detection system and method
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
Ortiz et al. Applications and services using vehicular exteroceptive sensors: A survey
JPWO2020031695A1 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
CN112258837A (zh) 一种车辆预警的方法、相关装置、设备以及存储介质
US20230415764A1 (en) Post drop-off passenger assistance
Ortiz et al. Vehicle telematics via exteroceptive sensors: A survey
US20230001954A1 (en) Operating a vehicle
KR102624991B1 (ko) 승객의 특성에 기초한 차량 좌석 영역의 자동 조정
US20230128104A1 (en) Accessibility system for assisting a user in interacting with a vehicle
WO2023245073A1 (en) Method and system for controlling an autonomous vehicle
KR20230085800A (ko) 햅틱 피드백을 사용한 차량 경보
WO2023204076A1 (ja) 音響制御方法及び音響制御装置
WO2022014327A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20230110145A (ko) 아이트래커 디바이스 및 라이다 포인트 클라이드 데이터를 사용하는 목표 결정

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination