CN110281950B - 基于三维声像传感器的载运工具控制与可视化环境体验 - Google Patents

基于三维声像传感器的载运工具控制与可视化环境体验 Download PDF

Info

Publication number
CN110281950B
CN110281950B CN201910610646.4A CN201910610646A CN110281950B CN 110281950 B CN110281950 B CN 110281950B CN 201910610646 A CN201910610646 A CN 201910610646A CN 110281950 B CN110281950 B CN 110281950B
Authority
CN
China
Prior art keywords
information
vehicle
dimensional
sensor signals
auditory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910610646.4A
Other languages
English (en)
Other versions
CN110281950A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruifu Technology Beijing Co ltd
Original Assignee
Ruifu Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruifu Technology Beijing Co ltd filed Critical Ruifu Technology Beijing Co ltd
Priority to CN201910610646.4A priority Critical patent/CN110281950B/zh
Publication of CN110281950A publication Critical patent/CN110281950A/zh
Priority to US16/923,208 priority patent/US11538251B2/en
Application granted granted Critical
Publication of CN110281950B publication Critical patent/CN110281950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/55—External transmission of data to or from the vehicle using telemetry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

提供一种用于控制载运工具的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；根据所述对象认知信息，计算该载运工具的场景信息；以及根据所述场景信息，确定该载运工具的操作指令。

Description

基于三维声像传感器的载运工具控制与可视化环境体验
技术领域
本发明涉及载运工具和传感器，更具体地，涉及用于控制载运工具的方法和装置、用于在载运工具中提供可视化环境体验的方法和装置、载运工具以及用于载运工具的传感器系统。
背景技术
近年来，随着激光雷达等传感器硬件以及人工智能图像识别软件的发展，车辆自动驾驶技术已经逐步进入实用阶段。然而，目前的自动驾驶软硬件方案仅仅能够通过识别障碍物、车辆、行人、动物等对象的空间位置来操控车辆进行规避，对车内外环境缺乏整体认知，因而无法实现充分适应环境的车辆控制。
此外，虽然诸如虚拟现实、增强现实和混合现实等可视化环境体验技术已经被用于家庭娱乐、游戏、地图导航、营销展示、教育培训等领域，尚未提出用于在车辆(特别是自动驾驶车辆)中提供可视化环境体验的方案。
发明内容
因此，为了解决上述问题，本发明提供能够适应环境的载运工具、控制方法和装置、以及能够提供可视化环境体验的载运工具、控制方法和装置。此外，本发明还提供用于上述载运工具的传感器系统。
根据本发明实施例的一个方面，提供一种用于控制载运工具的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；根据所述对象认知信息，计算该载运工具的场景信息；以及根据所述场景信息，确定该载运工具的操作指令。
根据本发明的实施例，所述确定至少两个对象的三维空间位置包括：根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定三维视觉信息源与三维听觉信息源在三维空间中的对应关系；以及根据所述对应关系，确定所述至少两个对象的三维空间位置，其中所述至少两个对象中的每一个对应于处于相同三维空间位置的一对三维视觉信息源和三维听觉信息源。
根据本发明的实施例，所述至少两个对象包括人和/或物体，所述对象认知信息包括人的姿势、动作、表情、视线、语音、位置中的至少一个和/或物体的姿势、动作、声音、位置中的至少一个。
根据本发明的实施例，基于深度学习计算所述对象认知信息和所述场景信息中的至少一个，所述对象认知信息包括深度网络中的隐藏层信息。
根据本发明的实施例，使用第一深度网络计算该载运工具外部的对象的对象认知信息，使用第二深度网络计算该载运工具内部的对象的对象认知信息，并使用包含嵌入层的第三深度网络计算所述场景信息。
根据本发明的实施例，该方法进一步包括预先存储场景信息映射表，所述场景信息映射表包含场景信息与操作指令的映射关系，其中所述确定该载运工具的操作指令包括根据所述场景信息从所述场景信息映射表中选择操作指令。
根据本发明的实施例，所述场景信息包括该载运工具的外部场景信息和内部场景信息的组合。
根据本发明的实施例，所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少一组内部视觉传感器信号，每组视觉传感器信号包括三维测距信号和/或二维图像信号。
根据本发明的实施例，所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少两组内部视觉传感器信号。
根据本发明的实施例，至少一组视觉传感器信号包括三维测距信号和二维图像信号。
根据本发明的实施例，所述多个听觉传感器信号包括至少一组外部听觉传感器信号和至少一组内部听觉传感器信号，每组听觉传感器信号包括至少两个麦克风信号。
根据本发明实施例的另一方面，提供一种用于控制载运工具的装置，包括：处理器；以及存储器，被配置为存储计算机程序指令，所述计算机程序指令在由所述处理器执行时，使得该装置执行上述方法。
根据本发明实施例的另一方面，提供一种载运工具，包括上述装置。
根据本发明实施例的另一方面，提供一种用于在载运工具中提供可视化环境体验的方法，包括：接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；以及根据所述对象认知信息，再现和处理可视化环境内容。
根据本发明的实施例，所述确定至少两个对象的三维空间位置包括：根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定三维视觉信息源与三维听觉信息源在三维空间中的对应关系；以及根据所述对应关系，确定所述至少两个对象的三维空间位置，其中所述至少两个对象中的每一个对应于处于相同三维空间位置的一对三维视觉信息源和三维听觉信息源。
根据本发明的实施例，所述至少两个对象包括人和/或物体，，所述对象认知信息包括人的姿势、动作、表情、视线、语音、位置中的至少一个和/或物体的姿势、动作、声音、位置中的至少一个。
根据本发明的实施例，基于深度学习计算所述对象认知信息。
根据本发明的实施例，使用第一深度网络计算该载运工具外部的对象的对象认知信息，使用第二深度网络计算该载运工具内部的对象的对象认知信息。
根据本发明的实施例，所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少一组内部视觉传感器信号，每组视觉传感器信号包括三维测距信号和/或二维图像信号。
根据本发明的实施例，所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少两组内部视觉传感器信号。
根据本发明的实施例，至少一组视觉传感器信号包括三维测距信号和二维图像信号。
根据本发明的实施例，所述多个听觉传感器信号包括至少一组外部听觉传感器信号和至少一组内部听觉传感器信号，每组听觉传感器信号包括至少两个麦克风信号。
根据本发明的实施例，所述可视化环境内容包括虚拟现实内容、增强现实内容和/或混合现实内容，所述对象认知信息包含用户以及虚拟对象、现实对象、和/或混合对象之间的交互指令。
根据本发明的实施例，所述可视化环境内容包括车外和车内环境的无缝融合。
根据本发明的实施例，该方法进一步包括：向至少一个载运工具发送所述对象认知信息；从所述至少一个载运工具接收对象认知信息；以及根据所述对象认知信息和所述接收的对象认知信息，再现和处理在多个载运工具之间共享的可视化环境内容。
根据本发明实施例的另一方面，提供一种用于在载运工具中提供可视化环境体验的装置，包括：处理器；以及存储器，被配置为存储计算机程序指令，所述计算机程序指令在由所述处理器执行时，使得该装置执行上述方法。
根据本发明实施例的另一方面，提供一种载运工具，包括上述装置。
根据本发明实施例的另一方面，提供一种用于载运工具的传感器系统，包括：多个视觉传感器，用于感测该载运工具外部和内部的三维视觉信息；以及多个听觉传感器，用于感测该载运工具外部和内部的三维听觉信息，
根据本发明的实施例，所述多个视觉传感器包括至少一组外部视觉传感器和至少一组内部视觉传感器，每组视觉传感器包括三维测距传感器和/或二维图像传感器。
根据本发明的实施例，所述多个视觉传感器包括至少一组外部视觉传感器和至少两组内部视觉传感器。
根据本发明的实施例，至少一组视觉传感器包括三维测距传感器和二维图像传感器。
根据本发明的实施例，所述多个听觉传感器包括至少一组外部听觉传感器和至少一组内部听觉传感器，每组听觉传感器包括至少两个麦克风。
通过使用根据本发明的传感器系统、载运工具、控制方法和装置，可以根据车内外环境，适应性地控制载运工具的操作。
通过使用根据本发明的传感器系统、载运工具、控制方法和装置，可以在载运工具中提供诸如虚拟现实、增强现实和混合现实等可视化环境体验。
附图说明
图1示出根据实施例的包括用于载运工具的传感器系统110的车辆100的视图。
图2示出根据实施例的用于控制车辆100的方法的流程图。
图3示出根据实施例的基于深度学习计算对象认知信息和场景信息的示意图。
图4示出根据实施例的用于在车辆100中提供可视化环境体验的方法的流程图。
图5示出根据实施例的在车辆之间交换对象认知信息的示意图。
具体实施方式
下面参照附图详细描述根据本发明的示范性实施例。附图中，将相同或类似的附图标记赋予结构以及功能基本相同的组成部分，并且为了使说明书更加简明，省略了关于基本上相同的组成部分的冗余描述。
本发明提供载运工具及其控制方法和装置，以及用于载运工具的传感器系统。上述载运工具可以包括车辆、船舶和飞行器等。为了便于描述，以下实施例中采用车辆作为载运工具的示例，但本发明的范围不限于此。
图1示出根据实施例的包括用于载运工具的传感器系统110的车辆100的视图。
参照图1，传感器系统110包括安装在车辆100的外部和内部的多个视觉传感器和多个听觉传感器，这些传感器用于感测该载运工具外部和内部的三维视觉信息和三维听觉信息。
图1上方和中间分别是车辆100的外部侧视图和外部俯视图。从图中可见，车辆100顶端安装有一组视觉传感器，可以包括三维测距传感器111和二维图像传感器112。车辆100外部还安装有两组听觉传感器。第一组听觉传感器可以包括安装在车辆100前方两侧的麦克风113、114。第二组听觉传感器可以包括安装在车辆100后方两侧的麦克风115、116。
图1下方是车辆100的内部俯视图，车辆100内部安装有四组包括三维测距传感器和二维图像传感器的视觉传感器，并安装有包括麦克风121、122的一组听觉传感器。
通过在车辆100外部和内部安装多组视觉传感器和听觉传感器，传感器系统110能够提供车辆100外部和内部的三维视觉信息和三维听觉信息，用于确定车辆100的外部对象和内部对象的三维空间位置，以及关于车辆100所处场景的信息。具体地，根据视觉传感器信号和听觉传感器信号确定三维视觉信息源与三维听觉信息源在三维空间中的对应关系，再根据所述对应关系，将处于相同三维空间位置的一对三维视觉信息源和三维听觉信息源确定为相同的对象，从而可以综合考虑该对象的三维视觉信息和三维听觉信息来确定场景信息。
传感器系统110中的三维测距传感器可以是三维点云传感器，用于产生三维测距信号。二维图像传感器可以是摄像头，用于产生二维图像信号。上述三维测距信号和二维图像信号可以包含三维视觉信息。传感器系统110中的每组麦克风可以共同产生包含三维听觉信息的三维声音信号。
传感器系统110包括一组外部视觉传感器和四组内部视觉传感器，但这仅仅是示例。根据本发明，传感器系统110可以包括至少一组外部视觉传感器和至少两组内部视觉传感器。通过安装多于一组(例如，两组或四组)内部视觉传感器，可以从多个角度收集三维视觉信息，从而实现对内部对象的全方位无死角感测，有助于确定关于车辆内部场景的信息。
传感器系统110包括两组外部听觉传感器和一组内部听觉传感器，但这仅仅是示例。根据本发明，传感器系统110可以包括至少一组外部听觉传感器和至少一组内部听觉传感器。
传感器系统110中，每组视觉传感器包括三维测距传感器和二维图像传感器两者，这使得可以将三维测距信号和二维图像信号两者结合起来，从而更准确地确定对象空间位置，但这仅仅是示例。根据本发明，每组视觉传感器可以仅包括三维测距传感器和二维图像传感器中的一种。为了提高确定对象空间位置的准确度，优选地，至少一组视觉传感器包括三维测距传感器和二维图像传感器。
传感器系统110中，每组听觉传感器包括两个麦克风，但这仅仅是示例。根据本发明，每组听觉传感器也可以包括多于两个麦克风。
图2示出根据实施例的用于控制车辆100的方法的流程图。
在步骤S201和步骤S202，接收多个视觉传感器信号和多个听觉传感器信号。这些视觉传感器信号和听觉传感器信号可以由传感器系统110产生，分别包含车辆100外部和内部的三维视觉信息和三维听觉信息。
实施例中，多个视觉传感器信号可以包括至少一组外部视觉传感器信号和至少一组内部视觉传感器信号，每组视觉传感器信号可以包括三维测距信号和/或二维图像信号。优选地，多个视觉传感器信号可以包括至少一组外部视觉传感器信号和至少两组内部视觉传感器信号。优选地，至少一组视觉传感器信号可以包括三维测距信号和二维图像信号。
实施例中，多个听觉传感器信号可以包括至少一组外部听觉传感器信号和至少一组内部听觉传感器信号，每组听觉传感器信号可以包括至少两个麦克风信号。
在步骤S203，根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定车辆100外部的至少一个对象以及内部的至少一个对象的三维空间位置，并计算每个对象的对象认知信息。
实施例中，可以根据多个视觉传感器信号中的至少一部分以及多个听觉传感器信号中的至少一部分，先确定三维视觉信息源与三维听觉信息源在三维空间中的对应关系，之后再根据所述对应关系，确定每个对象的三维空间位置，其中每个对象对应于处于相同三维空间位置的一对三维视觉信息源和三维听觉信息源。
实施例中，对象可以包括人和/或物体，如行人、乘客、障碍物、车辆、动物、车内物品等。对象认知信息可以包括人的姿势、动作、表情、视线、语音、位置中的至少一个和/或物体的姿势、动作、声音、位置中的至少一个。
实施例中，可以基于深度学习计算对象认知信息。即，将视觉传感器信号和听觉传感器信号(必要时，经过预处理)作为深度网络的输入，通过机器学习训练，计算对象认知信息。所述对象认知信息既可以包括人类可读信息，也可以包括深度网络中的隐藏层信息。
实施例中，可以为外部和内部对象训练不同的网络。具体地，可以使用两个深度网络分别计算车辆100的外部对象和内部对象的对象认知信息。
在步骤S204，根据对象认知信息，计算车辆100的场景信息。
实施例中，可以基于深度学习计算场景信息。例如，可以将第一深度网络301和第二深度网络302输出的对象认知信息作为第三深度网络303的输入，如图3所示。具体地，可以使用包含嵌入层的第三深度网络计算所述场景信息。
在步骤S205，根据场景信息，确定车辆100的操作指令。
实施例中，可以预先存储包含场景信息与操作指令的映射关系的场景信息映射表，从而可以根据场景信息从场景信息映射表中选择操作指令。
实施例中，场景信息可以包括车辆100的外部场景信息和内部场景信息的组合。即，分别对外部场景和内部场景产生独立的场景信息。
表1示出根据实施例的场景信息映射表。该表中示出的场景和操作指令仅仅是示例，本发明不限于此。
表1
Figure BDA0002122118620000081
如表1所示，当确定外部场景为“将要发生碰撞”时，如果内部场景是“乘客在活动”，则可以产生操作指令，使得车辆100紧急刹车。如果内部场景是“乘客在休息”，则为了防止乘客受伤，在紧急刹车之前，发出启动特别防护系统的操作指令。
当确定外部场景为“行人将要横穿马路”时，无论内部场景如何，都可以使得车辆100先减速，然后停车，等待行人通过。
当确定外部场景为“前方严重拥堵”时，可以使得车辆100重新规划路线，变道准备进入新路线。
当确定内部场景为“乘客准备休息”时，可以使得车辆100关闭影音系统，关闭车窗，并降低空调风速，以免影响乘客休息。
当确定外部场景为“疑似枪声，惊叫声，路人四处乱跑”，同时内部场景是“乘客尖叫，表情惊恐”时，可以产生操作指令，使得车辆100加速逃离现场，向紧急联系人发送信息，并报警。如果确定外部场景为“疑似枪声，欢呼声，路人平静站立”，同时内部场景是“乘客微笑，表情自然”时，则表明并非遇到危险场景，此时可以使得车辆100继续正常行驶。
当确定外部场景为“疑似警笛声，车辆尾随靠近”时，如果内部场景是“乘客咒骂，表情沮丧”时，则可以产生操作指令，使得车辆100减速，并选择适当地点靠边停车。如果内部场景是“乘客无动于衷，表情自然”，则表明警笛与本车无关，此时可以使得车辆100继续正常行驶。如果内部场景是“乘客呼救，表情惊恐”，则表明后车有敌意，乘客安全受到威胁，此时可以使得车辆100加速驶离现场。
根据本发明，车辆100可以包括用于控制载运工具的装置，该装置包括：处理器；以及存储器，被配置为存储计算机程序指令，所述计算机程序指令在由所述处理器执行时，使得该装置执行图2实施例所述的方法。
图4示出根据实施例的用于在车辆100中提供可视化环境体验的方法的流程图。
在步骤S401和步骤S402，接收多个视觉传感器信号和多个听觉传感器信号，这些视觉传感器信号和听觉传感器信号可以由传感器系统110产生，分别包含车辆100外部和内部的三维视觉信息和三维听觉信息。
实施例中，多个视觉传感器信号可以包括至少一组外部视觉传感器信号和至少一组内部视觉传感器信号，每组视觉传感器信号可以包括三维测距信号和/或二维图像信号。优选地，多个视觉传感器信号可以包括至少一组外部视觉传感器信号和至少两组内部视觉传感器信号。优选地，至少一组视觉传感器信号可以包括三维测距信号和二维图像信号。
在步骤S403，根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定车辆100外部的至少一个对象以及内部的至少一个对象的三维空间位置，并计算每个对象的对象认知信息。
实施例中，可以根据多个视觉传感器信号中的至少一部分以及多个听觉传感器信号中的至少一部分，先确定三维视觉信息源与三维听觉信息源在三维空间中的对应关系，之后再根据所述对应关系，确定每个对象的三维空间位置，其中每个对象对应于处于相同三维空间位置的一对三维视觉信息源和三维听觉信息源。
实施例中，对象可以包括人和/或物体，如行人、乘客、树木、草坪、动物、车内物品等。对象认知信息包括人的姿势、动作、表情、视线、语音、位置中的至少一个和/或物体的姿势、动作、声音、位置中的至少一个。
实施例中，可以基于深度学习计算对象认知信息。即，将视觉传感器信号和听觉传感器信号(必要时，经过预处理)作为深度网络的输入，通过机器学习训练，计算对象认知信息。
实施例中，可以为外部和内部对象训练不同的网络。具体地，可以使用第一深度网络计算车辆100的外部对象的对象认知信息，使用第二深度网络计算车辆100的内部对象的对象认知信息。
在步骤S404，根据所述对象认知信息，再现和处理可视化环境内容。
实施例中，可视化环境内容可以包括虚拟现实内容、增强现实内容和/或混合现实内容，对象认知信息可以包含用户以及虚拟对象、现实对象、和/或混合对象之间的交互指令。例如，通过使用车内和车外对象的对象认知信息，可以实现车内外无缝融合为一体的可视化环境，例如将车外的环境(如草原、森林等)延伸到车内。另外，通过提取乘客的手势、视线、语音等对象认知信息中包含的交互指令，可以实现用户与虚拟现实内容、增强现实内容、混合现实内容等可视化环境内容的交互，以及可视化环境中的其他对象之间的交互。
实施例中，可以在车辆之间发送和接收对象认知信息。例如，如图5所示，可以向一个或多个车辆500发送对象认知信息，并从车辆500接收对象认知信息。基于车辆100自身的对象认知信息，以及从车辆500接收的对象认知信息，可以再现和处理在车辆100和车辆500之间共享的可视化环境内容。通过在多个车辆之间共享可视化环境内容，可以使不同车辆的乘客处于相同的可视化环境中，从而实现远程交互，例如用于虚拟会议、远程演示或虚拟现实游戏等应用。
根据本发明，车辆100可以包括用于在载运工具中提供可视化环境体验的装置，该装置包括：处理器；以及存储器，被配置为存储计算机程序指令，所述计算机程序指令在由所述处理器执行时，使得该装置执行图4实施例所述的方法。
如上所述，已经在上面具体地描述了本发明的各个实施例，但是本发明不限于此。本领域的技术人员应该理解，可以根据设计要求或其他因素进行各种修改、组合、子组合或者替换，而它们在所附权利要求书及其等效物的范围内。

Claims (32)

1.一种用于控制载运工具的方法，包括：
接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；
接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；
根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；
根据所述对象认知信息，计算该载运工具的场景信息；以及
根据所述场景信息，确定该载运工具的操作指令。
2.如权利要求1所述的方法，其中所述确定至少两个对象的三维空间位置包括：
根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定三维视觉信息源与三维听觉信息源在三维空间中的对应关系；以及
根据所述对应关系，确定所述至少两个对象的三维空间位置，其中所述至少两个对象中的每一个对应于处于相同三维空间位置的一对三维视觉信息源和三维听觉信息源。
3.如权利要求1所述的方法，其中所述至少两个对象包括人和/或物体，所述对象认知信息包括人的姿势、动作、表情、视线、语音、位置中的至少一个和/或物体的姿势、动作、声音、位置中的至少一个。
4.如权利要求1所述的方法，其中基于深度学习计算所述对象认知信息和所述场景信息中的至少一个，所述对象认知信息包括深度网络中的隐藏层信息。
5.如权利要求4所述的方法，其中使用第一深度网络计算该载运工具外部的对象的对象认知信息，使用第二深度网络计算该载运工具内部的对象的对象认知信息，并使用包含嵌入层的第三深度网络计算所述场景信息。
6.如权利要求1所述的方法，进一步包括预先存储场景信息映射表，所述场景信息映射表包含场景信息与操作指令的映射关系，
其中所述确定该载运工具的操作指令包括根据所述场景信息从所述场景信息映射表中选择操作指令。
7.如权利要求6所述的方法，其中所述场景信息包括该载运工具的外部场景信息和内部场景信息的组合。
8.如权利要求1所述的方法，其中所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少一组内部视觉传感器信号，每组视觉传感器信号包括三维测距信号和/或二维图像信号。
9.如权利要求8所述的方法，其中所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少两组内部视觉传感器信号。
10.如权利要求8所述的方法，其中至少一组视觉传感器信号包括三维测距信号和二维图像信号。
11.如权利要求1所述的方法，其中所述多个听觉传感器信号包括至少一组外部听觉传感器信号和至少一组内部听觉传感器信号，每组听觉传感器信号包括至少两个麦克风信号。
12.一种用于控制载运工具的装置，包括：
处理器；以及
存储器，被配置为存储计算机程序指令，所述计算机程序指令在由所述处理器执行时，使得该装置执行如权利要求1-11之一所述的方法。
13.一种载运工具，包括如权利要求12所述的装置。
14.一种用于在载运工具中提供可视化环境体验的方法，包括：
接收多个视觉传感器信号，所述多个视觉传感器信号包含该载运工具外部和内部的三维视觉信息；
接收多个听觉传感器信号，所述多个听觉传感器信号包含该载运工具外部和内部的三维听觉信息；
根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定至少两个对象的三维空间位置并计算所述至少两个对象的对象认知信息，其中所述至少两个对象包括该载运工具外部的至少一个对象和该载运工具内部的至少一个对象；以及
根据所述对象认知信息，再现和处理可视化环境内容。
15.如权利要求14所述的方法，其中所述确定至少两个对象的三维空间位置包括：
根据所述多个视觉传感器信号中的至少一部分以及所述多个听觉传感器信号中的至少一部分，确定三维视觉信息源与三维听觉信息源在三维空间中的对应关系；以及
根据所述对应关系，确定所述至少两个对象的三维空间位置，其中所述至少两个对象中的每一个对应于处于相同三维空间位置的一对三维视觉信息源和三维听觉信息源。
16.如权利要求14所述的方法，其中所述至少两个对象包括人和/或物体，所述对象认知信息包括人的姿势、动作、表情、视线、语音、位置中的至少一个和/或物体的姿势、动作、声音、位置中的至少一个。
17.如权利要求14所述的方法，其中基于深度学习计算所述对象认知信息。
18.如权利要求17所述的方法，其中使用第一深度网络计算该载运工具外部的对象的对象认知信息，使用第二深度网络计算该载运工具内部的对象的对象认知信息。
19.如权利要求14所述的方法，其中所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少一组内部视觉传感器信号，每组视觉传感器信号包括三维测距信号和/或二维图像信号。
20.如权利要求19所述的方法，其中所述多个视觉传感器信号包括至少一组外部视觉传感器信号和至少两组内部视觉传感器信号。
21.如权利要求19所述的方法，其中至少一组视觉传感器信号包括三维测距信号和二维图像信号。
22.如权利要求14所述的方法，其中所述多个听觉传感器信号包括至少一组外部听觉传感器信号和至少一组内部听觉传感器信号，每组听觉传感器信号包括至少两个麦克风信号。
23.如权利要求14所述的方法，其中所述可视化环境内容包括虚拟现实内容、增强现实内容和/或混合现实内容，所述对象认知信息包含用户以及虚拟对象、现实对象、和/或混合对象之间的交互指令。
24.如权利要求23所述的方法，其中所述可视化环境内容包括车外和车内环境的无缝融合。
25.如权利要求23所述的方法，进一步包括：
向至少一个载运工具发送所述对象认知信息；
从所述至少一个载运工具接收对象认知信息；以及
根据所述对象认知信息和所述接收的对象认知信息，再现和处理在多个载运工具之间共享的可视化环境内容。
26.一种用于在载运工具中提供可视化环境体验的装置，包括：
处理器；以及
存储器，被配置为存储计算机程序指令，所述计算机程序指令在由所述处理器执行时，使得该装置执行如权利要求14-25之一所述的方法。
27.一种载运工具，包括如权利要求26所述的装置。
28.一种用于载运工具的传感器系统，包括：
多个视觉传感器，用于感测该载运工具外部和内部的三维视觉信息；以及
多个听觉传感器，用于感测该载运工具外部和内部的三维听觉信息，
其中，所述三维视觉信息和所述三维听觉信息用于确定该载运工具的外部对象和内部对象的三维空间位置以及关于该载运工具所处场景的信息。
29.如权利要求28所述的传感器系统，其中所述多个视觉传感器包括至少一组外部视觉传感器和至少一组内部视觉传感器，每组视觉传感器包括三维测距传感器和/或二维图像传感器。
30.如权利要求29所述的传感器系统，其中所述多个视觉传感器包括至少一组外部视觉传感器和至少两组内部视觉传感器。
31.如权利要求29所述的传感器系统，其中至少一组视觉传感器包括三维测距传感器和二维图像传感器。
32.如权利要求28所述的传感器系统，其中所述多个听觉传感器包括至少一组外部听觉传感器和至少一组内部听觉传感器，每组听觉传感器包括至少两个麦克风。
CN201910610646.4A 2019-07-08 2019-07-08 基于三维声像传感器的载运工具控制与可视化环境体验 Active CN110281950B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910610646.4A CN110281950B (zh) 2019-07-08 2019-07-08 基于三维声像传感器的载运工具控制与可视化环境体验
US16/923,208 US11538251B2 (en) 2019-07-08 2020-07-08 Vehicle control and 3D environment experience with or without visualization based on 3D audio/visual sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910610646.4A CN110281950B (zh) 2019-07-08 2019-07-08 基于三维声像传感器的载运工具控制与可视化环境体验

Publications (2)

Publication Number Publication Date
CN110281950A CN110281950A (zh) 2019-09-27
CN110281950B true CN110281950B (zh) 2020-09-04

Family

ID=68021987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910610646.4A Active CN110281950B (zh) 2019-07-08 2019-07-08 基于三维声像传感器的载运工具控制与可视化环境体验

Country Status (2)

Country Link
US (1) US11538251B2 (zh)
CN (1) CN110281950B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580122B (zh) * 2020-05-28 2022-12-06 睿镞科技(北京)有限责任公司 空间测量装置、方法、设备以及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
CN107097793A (zh) * 2016-02-23 2017-08-29 Lg电子株式会社 驾驶员辅助设备和具有该驾驶员辅助设备的车辆
CN107415602A (zh) * 2017-07-06 2017-12-01 上海小蚁科技有限公司 用于车辆的监测方法、设备和系统、计算机可读存储介质
CN107816976A (zh) * 2017-04-25 2018-03-20 北京图森未来科技有限公司 一种接近物体的位置确定方法和装置
CN108058663A (zh) * 2016-11-08 2018-05-22 哈曼贝克自动系统股份有限公司 车辆声音处理系统
CN109572701A (zh) * 2018-12-07 2019-04-05 联想(北京)有限公司 一种车辆控制方法和车辆

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11587357B2 (en) * 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US10093322B2 (en) 2016-09-15 2018-10-09 International Business Machines Corporation Automatically providing explanations for actions taken by a self-driving vehicle
CN114407719A (zh) 2017-01-24 2022-04-29 上海电巴新能源科技有限公司 双伸出机构、电池转运装置及车载动力电池快换系统
US10257582B2 (en) * 2017-03-17 2019-04-09 Sony Corporation Display control system and method to generate a virtual environment in a vehicle
CN110799804A (zh) * 2017-06-30 2020-02-14 深圳市大疆创新科技有限公司 地图生成系统和方法
CN113508066A (zh) * 2019-03-29 2021-10-15 英特尔公司 自主交通工具系统
KR102385874B1 (ko) * 2019-06-17 2022-04-12 구글 엘엘씨 3차원 시선 벡터를 이용한 차량 탑승자 참여

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
CN107097793A (zh) * 2016-02-23 2017-08-29 Lg电子株式会社 驾驶员辅助设备和具有该驾驶员辅助设备的车辆
CN108058663A (zh) * 2016-11-08 2018-05-22 哈曼贝克自动系统股份有限公司 车辆声音处理系统
CN107816976A (zh) * 2017-04-25 2018-03-20 北京图森未来科技有限公司 一种接近物体的位置确定方法和装置
CN107415602A (zh) * 2017-07-06 2017-12-01 上海小蚁科技有限公司 用于车辆的监测方法、设备和系统、计算机可读存储介质
CN109572701A (zh) * 2018-12-07 2019-04-05 联想(北京)有限公司 一种车辆控制方法和车辆

Also Published As

Publication number Publication date
US20210012117A1 (en) 2021-01-14
CN110281950A (zh) 2019-09-27
US11538251B2 (en) 2022-12-27

Similar Documents

Publication Publication Date Title
US10362429B2 (en) Systems and methods for generating spatial sound information relevant to real-world environments
US11288860B2 (en) Information processing apparatus, information processing method, program, and movable object
US10339711B2 (en) System and method for providing augmented reality based directions based on verbal and gestural cues
KR20190083317A (ko) 차량의 차선 변경에 관련된 알림을 제공하는 인공 지능 장치 및 그 방법
CN107134160A (zh) 紧急信号检测和响应
JP7345683B2 (ja) シーン認識対話を行うためのシステム
CN118192555A (zh) 响应于物理环境的改变自适应制图以对自主车辆进行导航
JP2020502654A (ja) ヒューマンマシンハイブリッド意思決定方法および装置
CN114641668A (zh) 拼车应用程序中的增强现实寻路
CN107650795A (zh) 基于车辆传感器数据呈现车载媒体内容的系统、方法和设备
CN107650796A (zh) 基于车辆传感器数据呈现车载媒体内容的系统、方法和设备
KR102241584B1 (ko) 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치
CN111319557A (zh) 报告装置
US20180162267A1 (en) Contextual priority signal in autonomous environment
KR20190104490A (ko) 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법
KR20200062193A (ko) 정보 처리 장치, 이동 장치, 정보 처리 방법, 이동 장치 제어 방법, 및 프로그램
KR20200128486A (ko) 사용자의 위치를 결정하는 인공 지능 장치 및 그 방법
KR20220001522A (ko) 장치 정보에 기반하여, 다른 장치를 제어할 수 있는 인공 지능 장치
JP2022535194A (ja) 自立型車両の視界から出た対象の追跡
US11449074B2 (en) Robot for providing guidance service using artificial intelligence and method of operating the same
CN110281950B (zh) 基于三维声像传感器的载运工具控制与可视化环境体验
US20220277556A1 (en) Information processing device, information processing method, and program
US20220292296A1 (en) Information processing device, information processing method, and program
WO2019054230A1 (en) ACTION PLAN PRODUCTION WHEN THE CLEAN POSITION IS UNKNOWN
US20230294684A1 (en) Method of controlling autonomous vehicle, electronic device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant