CN116137563A - 感知处理模块的分时复用方法、装置、电子设备和介质 - Google Patents

感知处理模块的分时复用方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN116137563A
CN116137563A CN202310122759.6A CN202310122759A CN116137563A CN 116137563 A CN116137563 A CN 116137563A CN 202310122759 A CN202310122759 A CN 202310122759A CN 116137563 A CN116137563 A CN 116137563A
Authority
CN
China
Prior art keywords
function
video stream
perception
processing module
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310122759.6A
Other languages
English (en)
Inventor
陈前洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Horizon Integrated Circuit Co ltd
Original Assignee
Nanjing Horizon Integrated Circuit Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Horizon Integrated Circuit Co ltd filed Critical Nanjing Horizon Integrated Circuit Co ltd
Priority to CN202310122759.6A priority Critical patent/CN116137563A/zh
Publication of CN116137563A publication Critical patent/CN116137563A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/22—Arrangements affording multiple use of the transmission path using time-division multiplexing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开实施例公开了一种感知处理模块的分时复用方法、装置、电子设备和介质，其中，方法包括：响应于接收到第一功能切换到第二功能的触发指令，生成第二功能对应的视频流接入命令；基于第二功能对应的视频流接入命令，控制断开第一功能对应的第一视频流；响应于第一功能对应的第一视频流断开成功，控制接入第二功能对应的第二视频流；基于第二视频流，利用感知处理模块执行第二功能对应的感知处理，获得第二功能对应的感知结果。本公开实施例可以实现感知处理模块的分时复用，从而可以基于轻量级算力的单个Soc满足至少两种功能的感知需求，大大降低成本，且有效提高资源利用率。

Description

感知处理模块的分时复用方法、装置、电子设备和介质
技术领域
本公开涉及自动驾驶技术领域，尤其是一种感知处理模块的分时复用方法、装置、电子设备和介质。
背景技术
随着自动驾驶技术的不断发展，在自动驾驶、辅助驾驶等车辆上设置有针对行车的行车感知处理模块、针对座舱的座舱感知处理模块和针对泊车的泊车感知处理模块，分别用于满足行车、智能座舱和自动泊车的感知需求，不同的感知处理模块往往需要独立的设备实现，导致资源利用率较低、成本较高。
发明内容
为了解决上述资源利用率低、成本高等技术问题，提出了本公开。本公开的实施例提供了一种感知处理模块的分时复用方法、装置、电子设备和介质。
根据本公开实施例的一个方面，提供了一种感知处理模块的分时复用方法，包括：响应于接收到第一功能切换到第二功能的触发指令，生成第二功能对应的视频流接入命令；基于所述第二功能对应的所述视频流接入命令，控制断开所述第一功能对应的第一视频流；响应于所述第一功能对应的所述第一视频流断开成功，控制接入所述第二功能对应的第二视频流；基于所述第二视频流，利用所述感知处理模块执行所述第二功能对应的感知处理，获得所述第二功能对应的感知结果。
根据本公开实施例的另一个方面，提供了一种感知处理模块的分时复用装置，包括：第一处理模块，用于响应于接收到第一功能切换到第二功能的触发指令，生成第二功能对应的视频流接入命令；第二处理模块，用于基于所述第二功能对应的所述视频流接入命令，控制断开所述第一功能对应的第一视频流；第三处理模块，用于响应于所述第一功能对应的所述第一视频流断开成功，控制接入所述第二功能对应的第二视频流；第四处理模块，用于基于所述第二视频流，利用所述感知处理模块执行所述第二功能对应的感知处理，获得所述第二功能对应的感知结果。
根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的感知处理模块的分时复用方法。
根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的感知处理模块的分时复用方法。
基于本公开上述实施例提供的感知处理模块的分时复用方法、装置、电子设备和介质，当需要进行功能切换时，可以触发当前的第一功能切换到第二功能的触发指令，本公开的装置可以接收到该触发指令，生成第二功能对应的视频流接入命令，进而控制断开第一功能对应的第一视频流，当第一视频流断开成功后，控制接入第二功能对应的第二视频流，从而可以将第二视频流接入感知处理模块，利用感知处理模块进行第二功能对应的感知处理，实现感知处理模块的分时复用，从而可以基于轻量级算力的单个Soc满足至少两种功能的感知需求，大大降低成本，且有效提高资源利用率。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开提供的感知处理模块的分时复用方法的一个示例性的应用场景；
图2是本公开一示例性实施例提供的感知处理模块的分时复用方法的流程示意图；
图3是本公开另一示例性实施例提供的感知处理模块的分时复用方法的流程示意图；
图4是本公开再一示例性实施例提供的感知处理模块的分时复用方法的流程示意图；
图5是本公开一示例性实施例提供的行泊一体的分时复用流程框图；
图6是本公开一示例性实施例提供的感知处理模块的分时复用装置的结构示意图；
图7是本公开另一示例性实施例提供的感知处理模块的分时复用装置的结构示意图；
图8是本公开再一示例性实施例提供的感知处理模块的分时复用装置的结构示意图；
图9是本公开一示例性实施例提供的感知处理模块的分时复用装置的软件层的结构示意图；
图10是本公开一示例性实施例提供的硬件结构示意图；
图11是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开概述
在实现本公开的过程中，申请人发现，随着自动驾驶技术的不断发展，在自动驾驶、辅助驾驶等车辆上设置有针对行车的行车感知处理模块、针对座舱的座舱感知处理模块和针对泊车的泊车感知处理模块，分别用于满足行车、智能座舱和自动泊车的感知需求，不同的感知处理模块往往需要独立的设备实现，导致资源利用率较低、成本较高。
示例性概述
图1是本公开提供的感知处理模块的分时复用方法的一个示例性的应用场景。
在行车功能和泊车功能的感知处理模块分时复用场景，车辆上设置有行车视觉传感器(前视的摄像头1)和环视泊车视觉传感器(摄像头2-5)，此外还可以设置有用于行车的毫米波雷达，比如形成1V5R行车感知方案，1V表示一个前视摄像头，5R表示5个毫米波雷达，包括一个前雷达和4个角雷达，具体可以根据实际需求设置。Serdes表示串行器(SERializer)和解串器(DESerializer)，IVI表示车载信息娱乐系统(In-VehicleInfotainment)，可以用于显示车辆周围环境信息，Soc(System on Chip，系统级芯片)可以是用于感知处理(可以包括视频处理和AI(Artificial Intelligence，人工智能)加速)的芯片，可以包括用于感知处理的感知处理模块，感知处理模块比如可以包括用于视频处理的视频处理模块和用于加速的AI加速模块，Soc还可以包括用于执行本公开的感知处理模块的分时复用方法的感知处理模块的分时复用装置，还可以包括对感知处理模块进行分时复用的行车感知应用和泊车感知应用，具体可以根据实际需求设置，比如对于座舱功能和泊车功能的分时复用场景，则可以包括座舱感知应用和泊车感知应用。MCU(Microcontroller Unit，微控制单元)是用于规划控制的控制器，可以通过一定方式与Soc、毫米波雷达、超声波雷达、车身系统等连接，比如通过车辆底盘信息和车身系统信息检测车辆状态及驾驶员的操作，再比如基于Soc提供的感知数据进行路径规划与控制，等等，具体可以根据实际需求设置。当车辆处于行车功能时，若MCU检测到驾驶员切换倒挡、或者触发泊车命令、或者智能辅助系统结合位置信息确定用户即将停车等场景，则可以触发第一功能(本场景中为行车功能)到第二功能(本场景中为泊车功能)的切换，比如可以生成第一功能切换到第二功能的触发指令，并将该触发指令传输至Soc，利用本公开的感知处理模块的分时复用方法，响应于接收到MCU传输的第一功能切换到第二功能的触发指令，生成第二功能对应的视频流接入命令，基于第二功能对应的视频流接入命令，控制断开第一功能对应的第一视频流，响应于第一功能对应的第一视频流断开成功，控制接入第二功能对应的第二视频流，第一视频流和第二视频流可以包括一帧或多帧图像，或者包括视频，具体不作限定，基于第二视频流，利用感知处理模块执行第二功能对应的感知处理，获得第二功能对应的感知结果，第二功能对应的感知结果可以包括目标检测结果、语义分割结果等等，则泊车感知应用可以根据感知结果为泊车路径规划与决策提供数据，各感知应用还可以在功能切换前后，对其相应的感知功能进行相应的处理，比如在功能切换前进行相应的安全处理操作，可以包括清理失效安全的状态、标志，以确保视频流断开时不会误触发失效事件；合理中断和设置各类统计、监控类数据的状态，避免误触发安全事件，等等。再比如在功能切换后进行资源复位，等等，具体可以根据实际需求设置。本公开通过感知处理模块的分时复用，从而可以基于轻量级算力的单个Soc满足至少两种功能的感知需求，大大降低成本，且有效提高资源利用率。
本公开的感知处理模块的分时复用方法不限于上述Soc+MCU的架构，还可以是一体化的架构，比如通过单个Soc实现上述的Soc和MCU的整体功能，具体不作限定。
在实际应用中，第一功能可以为行车功能或座舱功能，第二功能可以为泊车功能，或者第一功能为泊车功能，第二功能为行车功能或座舱功能，具体可以根据实际需求设置，本公开不作限定。其中，座舱功能可以基于设置在座舱内的一个或多个摄像头采集视频流，作为前述的第一视频流或第二视频流，具体原理与前述行车功能类似，在此不再赘述。
示例性方法
图2是本公开一示例性实施例提供的感知处理模块的分时复用方法的流程示意图。本实施例可应用在电子设备上，具体比如车载芯片上，更具体地比如可以应用在Soc中，如图2所示，包括如下步骤：
步骤201，响应于接收到第一功能切换到第二功能的触发指令，生成第二功能对应的视频流接入命令。
其中，第一功能可以为行车功能或者座舱功能，第二功能可以为泊车功能，具体可以根据实际需求设置。第一功能切换到第二功能的触发指令可以由驾驶员(用户)的操作或语音触发，也可以由智能辅助系统结合车辆位置信息和地图自动判断出用户即将停车等场景时自动触发，具体不作限定。在接收到第一功能切换到第二功能的触发指令后，生成第二功能对应的视频流接入命令，该第二功能对应的视频流接入命令用于请求第二功能对应的第二视频流的接入，以进行第二功能对应的感知处理。
在一个可选实施例中，可以是第二功能对应的感知应用(比如泊车感知应用)接收到第一功能切换到第二功能的触发指令后生成第二功能对应的视频流接入命令，将该命令传输至预配置的视频接入模块的驱动部分(switch Driver)，比如通过预配置的视频IO(Input/Output，输入/输出)HAL(Hardware Abstraction Layer，硬件抽象层)的开关库(switch lib)传输至switch Driver，switch Driver负责驱动视频接入模块的硬件单元部分接入的视频流的切换。视频接入模块可以包括用于接入第一功能对应的第一视频流及第二功能对应的第二视频流的硬件单元及其驱动，驱动部分可以设置在驱动层，硬件单元可以设置在硬件层，具体可以根据实际需求设置。硬件单元可以包括与第一功能对应的摄像头连接的接口或开关以及与第二功能对应的摄像头连接的接口或开关，通过控制与各摄像头连接接口的开关状态可以控制接入需要的视频流，具体原理不再赘述。视频IO HAL层是设置于Soc的内核与硬件电路之间的抽象层，用于将硬件抽象化，允许片上系统在逻辑层而不是硬件层与硬件设备(比如视频接入模块)交互，具体原理不再赘述。
步骤202，基于第二功能对应的视频流接入命令，控制断开第一功能对应的第一视频流。
其中，第一视频流的断开可以通过控制视频接入模块中第一功能对应的第一视频流接口的断开实现，具体可以根据实际需求设置。
在一个可选实施例中，在控制断开第一视频流之前，还可以先通知感知处理模块，以使感知处理模块做好从第一功能对应的感知处理状态转换到第二功能对应的感知处理状态的准备。此外，还可以控制第一功能对应的安全处理操作，还可以对第一功能进行安全性核查，等等，以保证功能切换的安全性，具体可以根据实际需求设置。
步骤203，响应于第一功能对应的第一视频流断开成功，控制接入第二功能对应的第二视频流。
其中，第一视频流断开成功可以是指控制第一视频流对应的接口的状态转换成功，比如将第一视频流对应的接口从打开状态更新为关闭状态，从而实现第一视频流的断开。则响应于第一功能对应的第一视频流断开成功可以是接收到视频接入模块发送的断开成功消息。同理，第二视频流的接入可以通过控制第二功能对应的摄像头接口打开实现，具体不再赘述。
在一个可选实施例中，在第一视频流断开后，还需要进行第一功能对应的资源复位处理，比如释放第一功能占用的处理资源和存储资源，则响应于第一功能对应的第一视频流断开成功也可以是确定第一功能对应的资源复位处理完成，具体可以根据实际需求设置。
步骤204，基于第二视频流，利用感知处理模块执行第二功能对应的感知处理，获得第二功能对应的感知结果。
其中，感知处理模块可以包括视频处理单元和AI加速单元，视频处理单元用于对接入的视频流的每帧图像按照预配置的处理规则进行处理，AI加速单元用于进行AI加速，比如用于对目标检测、语义分割等的神经网络模型的推理进行加速。AI加速单元与视频处理单元连接，视频处理单元在视频处理过程中调用AI加速单元进行相应功能的加速处理，比如AI加速单元可以包括卷积运算硬件单元，在视频处理过程中，当需要进行卷积处理时，调用卷积运算硬件单元实现卷积运算的加速处理，等等，具体原理不再赘述。第二功能对应的感知结果包括对第二视频流的视频(或每帧图像)处理结果，比如目标检测结果、语义分割结果，等等。在获得第二功能对应的感知结果后，可以传输至第二功能对应的感知应用，比如泊车感知应用，泊车感知应用将感知结果用于第二功能对应的感知服务。
在一个可选实施例中，对于一个Soc，可以默认感知处理模块处于第一功能(比如行车功能或座舱功能)对应的感知处理状态，相应的，视频流默认接入的是第一功能对应的第一视频流，在需求切换到第二功能(比如泊车功能)时，由第二功能的感知应用通过生成第二功能对应的视频流接入命令，触发接入的视频流的切换，当第二功能结束后，由第二功能的感知应用触发视频流的归还，再将接入的第二功能的第二视频流切换为接入第一功能的第一视频流，具体可以根据实际需求设置。
本实施例提供的感知处理模块的分时复用方法，当需要进行功能切换时，可以触发当前的第一功能切换到第二功能的触发指令，本公开的装置可以接收到该触发指令，生成第二功能对应的视频流接入命令，进而控制断开第一功能对应的第一视频流，当第一视频流断开成功后，控制接入第二功能对应的第二视频流，从而可以将第二视频流接入感知处理模块，利用感知处理模块进行第二功能对应的感知处理，实现感知处理模块的分时复用，从而可以基于轻量级算力的单个Soc满足至少两种功能的感知需求，大大降低成本，且有效提高资源利用率。
图3是本公开另一示例性实施例提供的感知处理模块的分时复用方法的流程示意图。
在一个可选实施例中，在步骤202之前，本公开的方法还可以包括以下步骤：
步骤3101，向感知处理模块发送视频流切换通知消息，以使感知处理模块准备从第一功能对应的感知处理状态转换到第二功能对应的感知处理状态。
其中，视频流切换通知消息用于通知感知处理模块即将进行视频流的切换或者即将进行功能切换，感知处理模块接收到视频流切换通知消息后，可以进行感知处理状态的切换准备，比如将当前用于第一功能的网络参数配置进行复位，以便于第二功能的相关配置的写入，等等，具体可以根据实际需求设置。
在一个可选实施例中，感知处理模块在做好准备后，还可以返回响应消息，步骤202可以包括响应于接收到感知处理模块返回的响应消息为准备成功，控制断开第一功能对应的第一视频流，具体可以根据实际需求设置。或者，步骤203具体可以包括响应于第一功能对应的第一视频流断开成功，且感知处理模块返回的响应消息为准备成功，控制接入第二功能对应的第二视频流。
本实施例通过向感知处理模块发送视频流切换通知消息，使得感知处理模块能够及时从第一功能对应的感知处理状态转换到第二功能对应的感知处理状态，从而在第二视频流接入后，可以保证感知处理模块能够对第二视频流进行处理，进一步提高功能切换的安全性。
在一个可选实施例中，在步骤202之前，本公开的方法还可以包括以下步骤：
步骤3201，控制进行第一功能对应的安全处理操作。
其中，第一功能对应的安全处理操作是指针对第一视频流需要断开所进行的必要的安全动作，避免功能切换误触发安全事件，具体的安全处理操作可以根据实际需求设置，比如清理失效安全的状态、标志，以确保第一视频流断开时不会误触发失效事件；再比如按照预设规则中断或设置各种统计、监控类数据状态，避免误触发安全事件；等等。本公开不作限定。
本实施例通过在断开第一视频流之前控制进行第一功能对应的安全处理操作，以有效避免误触发安全事件的情况发生，进一步提高功能切换的安全性。
在一个可选实施例中，在步骤203之后，本公开的方法还可以包括：
步骤3301，向感知处理模块发送视频流切换成功消息，以使感知处理模块从第一功能对应的感知处理状态转换到第二功能对应的感知处理状态。
其中，视频流切换成功消息用于通知感知处理模块视频流已切换成功，感知处理模块接收到视频流切换成功消息，从第一功能对应的感知处理状态转换到第二功能对应的感知处理状态。比如配置第二功能对应的感知处理所需要的网络参数，具体可以根据实际需求设置。
本实施例通过在视频流切换完成后，通知感知处理模块，以使感知处理模块及时转换到第二功能对应的感知处理状态，以投入第二功能对应的感知处理，进一步提高功能切换的安全性。
在一个可选实施例中，在步骤202之后，本公开的方法还可以包括：
步骤3401，控制进行第一功能对应的资源复位处理。
其中，由于在进行第一功能对应的感知处理时，感知处理模块需要占用一定的处理资源、存储资源等资源，在断开第一视频流之后，为了能够减少处理资源和存储资源的占用，需要控制进行第一功能对应的资源复位处理，比如释放第一功能对处理资源和存储资源的占用，以使相应的资源能够继续用于第二功能的感知处理。其中，处理资源可以包括感知处理模块中视频处理单元和AI加速单元的软件和/或硬件处理资源，比如AI加速单元中的硬件运算单元，存储资源可以包括视频处理单元和AI加速单元中的存储资源或者视频处理单元和AI加速单元连接的存储资源，具体可以根据实际需求设置，本公开不作限定。
本实施例通过在断开第一视频流之后，控制进行第一功能对应的资源复位处理，以使复位的资源可以继续用于第二功能对应的感知处理，一方面可以实现资源的重复利用，提高资源利用率，另一方面，由于资源可以重复利用，从而便于在轻量级算力的单个Soc中实现至少两种功能的感知需求，进一步降低成本。
在一个可选实施例中，步骤203的响应于第一功能对应的第一视频流断开成功，控制接入第二功能对应的第二视频流，包括：
步骤2031，响应于第一功能对应的资源复位处理完成，确定第一功能对应的第一视频流断开成功，控制接入第二功能对应的第二视频流。
其中，当第一功能对应的资源复位处理完成，表示复位的资源可以用于第二功能对应的感知处理，此时再介入第二功能对应的第二视频流，以保证能够对第二视频流进行处理。
本实施例通过在第一功能对应的资源复位处理完成后控制接入第二功能对应的第二视频流，可以有效保证资源的重复利用，保证轻量级算力的Soc的资源能够满足两种功能的感知处理，避免切换后第二功能的感知处理资源不足的情况发生，进一步提高功能切换的安全性。
图4是本公开再一示例性实施例提供的感知处理模块的分时复用方法的流程示意图。
在一个可选实施例中，步骤201的响应于接收到第一功能切换到第二功能的触发指令，生成第二功能对应的视频流接入命令，包括：
步骤2011，响应于接收到第一功能切换到第二功能的触发指令，根据预设安全核查规则对第一功能进行安全性核查，获得第一功能对应的核查结果。
其中，预设安全核查规则可以根据实际需求设置。核查对象可以包括第一功能对应的感知应用、感知处理模块的运行状态等可能对功能切换带来风险的对象，具体不作限定。比如，预设安全核查规则可以包括：若前一次功能切换过程没有执行完成，则当前不进行切换；若行车功能当前处于AEB(Autonomous Emergency Braking，自动紧急刹车系统)被激活状态，则当前不进行切换；若第一功能为泊车，在执行泊入、泊车的动作时，则当前不进行切换；若Soc、外设和/或感知应用的某项功能模块触发了诊断，比如Camera(摄像头)模块触发了时效的诊断，则当前不进行切换；等等。具体不作限定。相应的，核查结果可以包括各项分别对应的是否通过的结果，或者基于各项的结果所确定的最终是否通过的结果，通过表示能进行切换，不通过表示不能进行切换，具体核查结果的表示方式可以根据实际需求设置。
步骤2012，响应于核查结果为通过，生成第二功能对应的视频流接入命令。
其中，核查结果为通过表示可以进行功能切换，因此可以生成第二功能对应的视频流接入命令，进而可以基于第二功能对应的视频流接入命令控制断开第一功能对应的第一视频流，进行功能切换。
本实施例通过在断开第一功能对应的第一视频流之前，对第一功能进行安全性核查，以确保视频流的切换不会带来风险，从而进一步提高功能切换的安全性。
在一个可选实施例中，在步骤204的基于第二视频流，利用感知处理模块执行第二功能对应的感知处理，获得第二功能对应的感知结果之后，还包括：
步骤4101，响应于接收到第二功能结束的触发指令，生成第二功能对应的视频流归还命令。
其中，第二功能结束的触发方式可以根据实际需求设置，比如第二功能结束的触发指令可以由用于规控的MCU触发，比如第二功能为泊车功能，当泊车功能结束，MCU向泊车感知应用发送第二功能结束的触发指令。第二功能对应的感知应用接收到第二功能结束的触发指令，生成第二功能对应的视频流归还命令。第二功能对应的视频流归还命令用于表示不再需要接入第二视频流，可以切换回第一功能的第一视频流的接入和感知。
步骤4102，基于第二功能对应的视频流归还命令，控制断开第二功能对应的第二视频流。
该步骤的具体操作原理与前述步骤202类似，具体参见步骤202及其展开内容，在此不再赘述。
步骤4103，响应于第二功能对应的第二视频流断开成功，控制接入第一功能对应的第一视频流。
该步骤的具体操作原理与前述步骤203类似，具体参见步骤203及其展开内容，在此不再赘述。
步骤4104，基于第一视频流，利用感知处理模块执行第一功能对应的感知处理，获得第一功能对应的感知结果。
该步骤的具体操作原理与前述步骤204类似，具体参见步骤204及其展开内容，在此不再赘述。
本实施例通过在第二功能结束后，将接入的第二功能对应的第二视频流切换为第一功能对应的第一视频流，从而实现第一功能与第二功能的重复切换，便于应对异常场景的安全处理和快速多次来回切换。
在一个可选实施例中，在第二功能结束进行视频流归还时，还可以在步骤4102之前，向感知处理模块发送视频流归还通知消息，以使感知处理模块准备从第二功能对应的感知处理状态转换到第一功能对应的感知处理状态。具体原理参见前述步骤3101。
在一个可选实施例中，在步骤4102之前，还可以包括控制进行第二功能对应的安全处理操作。
在一个可选实施例中，在步骤4103之后，还可以包括向感知处理模块发送视频流归还成功消息，以使感知处理模块从第二功能对应的感知处理状态转换到第一功能对应的感知处理状态。
在一个可选实施例中，在步骤4102之后，还可以包括控制进行第二功能对应的资源复位处理，以使复位的资源可以用于第一功能对应的感知处理。相应的，步骤4103包括响应于第二功能对应的资源复位处理完成，控制接入第一功能对应的第一视频流。
在一个可选实施例中，步骤4101可以包括：
响应于接收到第二功能结束的触发指令，根据第二功能对应的安全核查规则对第二功能进行安全性核查，获得第二功能对应的核查结果，响应于核查结果为通过，生成第二功能对应的视频流归还命令。
在一个可选实施例中，还可以包括：响应于第二功能对应的第二视频流断开成功，控制接入第一功能对应的除第一视频流之外的其他类型的传感器的数据流。
其中，其他类型的传感器可以包括毫米波雷达(Radar)、超声波雷达(UltrasonicSensor System，简称：USS)、激光雷达(Laser Radar，简称：Lidar)、声音传感器(Audio)等，具体可以根据实际需求设置。其他类型的传感器的数据流可以基于其对应的感知算法进行感知处理，获得其对应的其他类型的感知结果，该其他类型的感知结果可以与前述的第一视频流的感知结果一起用于车辆的规划与控制，具体原理不再赘述。
在一个可选实施例中，也可以是MCU控制接入第一功能对应的除第一视频流之外的其他类型的传感器的数据流，用于规划与控制，具体可以根据实际需求设置。
在一个可选实施例中，第一功能为行车功能或座舱功能，第二功能为泊车功能；或者，第一功能为泊车功能，第二功能为行车功能或座舱功能。
本实施例，可以针对一个Soc，将第一功能设置为行车功能；第二功能设置为泊车功能，或者将第一功能设置为座舱功能，第二功能设置为泊车功能；或者将第一功能设置为泊车功能，第二功能设置为行车功能；或者将第一功能设置为泊车功能，第二功能设置为座舱功能。从而可以基于一个轻量级算力的Soc满足两种功能的感知需求。
在一个可选实施例中，本公开的方法还包括：
420，响应于第一功能对应的第一视频流断开成功，控制接入第二功能对应的除第二视频流之外的其他类型的传感器的数据流。
其中，其他类型的传感器可以包括毫米波雷达(Radar)、超声波雷达(UltrasonicSensor System，简称：USS)、激光雷达(Laser Radar，简称：Lidar)、声音传感器(Audio)等，具体可以根据实际需求设置。其他类型的传感器的数据流可以基于其对应的感知算法进行感知处理，获得其对应的其他类型的感知结果，该其他类型的感知结果可以与前述的第二视频流的感知结果一起用于车辆的规划与控制，具体原理不再赘述。
在一个可选示例中，行车功能(比如L2 ADAS(Advanced Driving AssistanceSystem，高级驾驶辅助系统))、泊车功能(比如APA(Auto Parking Assist，自动泊车辅助系统))和座舱功能(比如智能座舱)的传感器配置方式如下表1所示：
表1
传感器 L2 ADAS APA 智能座舱
Camera 1*8MP接入Soc 4*(1MP～2MP)接入Soc 4*2MP接入Soc
USS N/A 接入MCU N/A
Radar 接入MCU N/A N/A
Audio N/A N/A 接入Soc
其中，MP(Mega-Pixels，百万像素)表示摄像头分辨率，1*8MP表示1个8百万像素的摄像头，N/A表示相应功能不涉及该传感器，MCU表示前述的微控制器，接入Soc是指该传感器的数据流接入到Soc，接入MCU是指该传感器的数据流接入MCU，由MCU进行相应的处理。
在一个可选示例中，以行车功能和泊车功能的切换为例，图5是本公开一示例性实施例提供的行泊一体的分时复用流程框图，其中，ADAS表示行车感知应用，APA表示泊车感知应用，Group A Camera表示行车功能对应的一组摄像头，Group B Camera表示泊车功能对应的一组摄像头。在本示例中，本公开的感知处理模块的分时复用方法的具体流程如下：
1、行泊一体的ECU(Electronic Control Unit，电子控制单元，又称行车电脑)上电工作，默认处于行车功能感知状态，行车Camera和其他传感器处于工作状态。ECU包括微控制器、Soc及其他相关部件，比如存储器、输入/输出接口(I/O)、模数转换器(A/D)以及整形、驱动等大规模集成电路。
2、视频IO HAL控制将行车功能的视频流(第一视频流)传输至视频处理单元，结合AI加速单元对第一视频流进行处理，获得第一功能对应的感知结果，该感知结果传输至行车感知应用，行车感知应用基于感知结果为MCU的规划与控制提供需要的数据。此时，泊车感知未工作，不占用AI硬件的算力。
3、驾驶员主动切换倒挡、或者触发泊车命令、或者智能辅助系统结合车辆位置信息和地图判定用户即将停车等场景，触发行车功能到泊车功能的切换(简称行泊切换)，生成行泊切换的触发指令，该触发指令可以为Trigger信号。
4、泊车感知应用接收到该Trigger信号后，向switch lib发出需要视频流的命令(泊车功能对应的视频流接入命令)。
其中，在泊车感知应用向switch lib发出需要视频流的命令之前，可以通过状态机进行安全性核查，在确保功能切换没有风险时，再向switch lib发出需要视频流的命令。
5、需要视频流的命令传输到switch Driver，switch Driver通知视频接入模块的驱动层驱动视频接入模块的硬件单元完成视频流的切换。
其中，视频接入模块在进行视频流切换前会依次通知后级的感知处理模块的驱动层和HAL层。行车感知应用通过HAL层获得即将断开视频流的消息(视频流切换通知消息)后，进行必要的安全处理操作。在行车功能的视频流断开后，停止行车功能的感知处理，释放视频处理单元和AI加速单元的算力资源和存储资源，将资源进行复位。
在视频流切换完成后，也会依次通知后级的感知处理模块的驱动层和HAL层，以使感知处理模块和泊车感知应用能够知道要开始进行泊车功能的感知处理了。
通过在视频流切换前后通知后级的感知处理模块和HAL层，可以有效保证感知处理模块和接入的视频流的状态一致性。
6、泊车感知应用进入工作状态，提供泊车感知服务。
7、泊车功能结束，泊车感知应用触发视频流归还的命令(即第二功能对应的视频流归还命令)，该命令通过switch lib传输至视频接入模块。
其中，视频接入模块在进行视频流切换前和切换完成后，通过HAL层向行车感知应用传输相应的通知消息。
9、行车感知应用提供行车功能感知服务。
对于座舱功能与泊车功能的切换，其具体流程与行泊切换类似，在此不再赘述。
本公开上述各实施例或可选示例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不作限定。
本公开实施例提供的任一种感知处理模块的分时复用方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种感知处理模块的分时复用方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种感知处理模块的分时复用方法。下文不再赘述。
示例性装置
图6是本公开一示例性实施例提供的感知处理模块的分时复用装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图6所示的装置包括：第一处理模块51、第一控制模块52、第二控制模块53和第二处理模块54。
第一处理模块51，用于响应于接收到第一功能切换到第二功能的触发指令，生成第二功能对应的视频流接入命令。
第一控制模块52，用于基于第二功能对应的视频流接入命令，控制断开第一功能对应的第一视频流。
第二控制模块53，用于响应于第一功能对应的第一视频流断开成功，控制接入第二功能对应的第二视频流。
第二处理模块54，用于基于第二视频流，利用感知处理模块执行第二功能对应的感知处理，获得第二功能对应的感知结果。
其中，第一处理模块51可以为前述的第二功能对应的感知应用，比如泊车感知应用APA，第一控制模块52和第二控制模块53可以对应为前述的HAL层和驱动层的功能模块，第二处理模块54可以包括将第二视频流输入感知处理模块，并从感知处理模块获得输出的感知结果的部分，或者第二处理模块可以包括感知处理模块，具体可以根据实际需求设置，只要能够实现相应功能即可，本公开不作限定。
图7是本公开另一示例性实施例提供的感知处理模块的分时复用装置的结构示意图。
在一个可实施例中，本公开的装置还可以包括视频接入模块55，用于在断开第一功能对应的第一视频流之前，向感知处理模块发送视频流切换通知消息，以使感知处理模块准备从第一功能对应的感知处理状态转换到第二功能对应的感知处理状态；和/或视频接入模块55向第一功能对应的第一应用模块发送视频流切换通知消息，以使第一应用模块进行第一功能对应的安全处理操作；感知处理模块包括视频处理单元和/或人工智能加速单元。
其中，第一功能对应的第一应用模块可以为上述的行车感知应用、泊车感知应用或座舱感知应用。感知处理模块还可以包括视频处理单元和/或人工智能加速单元的驱动。
在一个可选实施例中，本公开的装置还包括：视频接入模块55，用于在控制接入第二功能对应的第二视频流之后，向感知处理模块发送视频流切换成功消息，以使感知处理模块从第一功能对应的感知处理状态转换到第二功能对应的感知处理状态；和/或，视频接入模块55用于在所述控制断开所述第一功能对应的第一视频流之后，向第一功能对应的第一应用模块发送视频断开成功消息，以使第一应用模块进行第一功能对应的资源复位处理；感知处理模块包括视频处理单元和/或人工智能加速单元。
在一个可选实施例中，第二控制模块53具体用于响应于第一功能对应的资源复位处理完成，确定第一功能对应的第一视频流断开成功，控制视频接入模块接入第二功能对应的第二视频流。
图8是本公开再一示例性实施例提供的感知处理模块的分时复用装置的结构示意图。
在一个可选实施例中，第一处理模块51包括：
安全核查单元511，用于响应于接收到第一功能切换到第二功能的触发指令，根据预设安全核查规则对第一功能进行安全性核查，获得第一功能对应的核查结果。
第一处理单元512，用于响应于核查结果为通过，生成第二功能对应的视频流接入命令。
在一个可选实施例中，本公开的装置还包括：
第三处理模块61，用于响应于接收到第二功能结束的触发指令，生成第二功能对应的视频流归还命令。
在一个可选示例中，第三处理模块61可以与第一处理模块51为同一模块，或者同属于第二功能的感知应用的两个模块，具体可以根据实际需求设置。
第三控制模块62，用于基于第二功能对应的视频流归还命令，控制断开第二功能对应的第二视频流。
第四控制模块63，用于响应于第二功能对应的第二视频流断开成功，控制接入第一功能对应的第一视频流。
其中，第三控制模块62和第四控制模块63与前述的第一控制模块52和第二控制模块53类似，在此不再赘述。
第四处理模块64，用于基于第一视频流，利用感知处理模块执行第一功能对应的感知处理，获得第一功能对应的感知结果。
第四处理模块64与前述的第二处理模块54类似，在此不再赘述。
在一个可选实施例中，第一功能为行车功能或座舱功能，第二功能为泊车功能；或者，第一功能为泊车功能，第二功能为行车功能或座舱功能。
在一个可选实施例中，本公开的装置还可以包括：
第五控制模块71，用于响应于第一功能对应的第一视频流断开成功，控制接入第二功能对应的除第二视频流之外的其他类型的传感器的数据流。
在一个可选实施例中，本公开的装置还可以按照其他方式进行模块划分，具体可以根据实际需求设置。
在一个可选实施例中，本公开上述各模块的全部或部分可以为单个Soc内的模块，从而可以基于单个Soc满足两种功能的感知需求，提高Soc的资源利用率，降低成本。
在一个可选实施例中，图9是本公开一示例性实施例提供的感知处理模块的分时复用装置的软件层的结构示意图。在Soc内，设置行泊一体的控制链路，包括控制链路1和控制链路2，当Soc执行行车感知或泊车感知时，相应的感知应用可以通过视频IO HAL层获取视频流或感知处理模块处理的感知结果，行泊切换的联动通过switch Driver的协同管理实现，保证实时接入的视频流与感知处理模块的感知处理状态一致。与软件层对应，图10是本公开一示例性实施例提供的硬件结构示意图。其中，视频接入单元是上述视频接入模块的硬件单元部分，两种功能应用的多个Camera分别归属两组(Group A Camera和Group BCamera)，两组Camera都能够接入Soc的视频接入单元，Camera模组工作正常，但同一时刻，只有一个组的Camera的视频流可以送入视频处理单元和后续的AI加速单元，或进行行车感知，或进行泊车感知。当视频接入单元接入Group A Camera时，用户空间若需要进行泊车，用户可以通过触发Trigger信号(如档位信号)通知驱动层，驱动层控制视频接入单元将Group A Camera的视频流断开，续接上Group B Camera的视频流，切换视频流前，可以将控制信号传递到后级的硬件单元(视频处理单元和AI加速单元)，以使后级硬件单元切换状态，当Group B Camera的视频流传输至视频处理单元和AI加速单元时，可以及时进行泊车感知，从而使泊车感知应用及时提供泊车感知服务，为MCU的规划控制提供数据依据，泊车完成后，可触发相反的视频流切换流程，具体不再赘述。对于座舱功能和泊车功能与上述原理一致。综上可见，由于分时复用的主体功能由硬件IP(知识产权)和驱动层实现，无论是第一功能的感知应用还是第二功能的感知应用，应用层的变化轻微，感知应用的迁移成本非常低，比如单独的ADAS行车感知应用版本和行泊一体的版本可以实现共版本，大大降低开发成本，提高效率。
在一个可选实施例中，功能切换命令到达MCU时，MCU在向Soc发送Trigger信号前，还可以在MCU侧进行安全性核查，比如核查当前行车功能是否处于ADAS功能执行过程中、或者核查视频流切换是否会导致安全隐患，当确定行车功能处于ADAS功能执行过程中，或者确定视频流切换会导致安全隐患，则拒绝向Soc下发Trigger信号，以进一步提高功能切换的安全性。
需要说明的是，本公开的各模块及单元的具体操作流程可以参见对应的方法实施例，同理，方法实施例各步骤的具体操作也可以参见该装置实施例。
示例性电子设备
本公开实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的感知处理模块的分时复用方法。
图11是本公开电子设备一个应用实施例的结构示意图。本实施例中，该电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。
此外，该输入装置13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图11中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (17)

1.一种感知处理模块的分时复用方法，包括：
响应于接收到第一功能切换到第二功能的触发指令，生成第二功能对应的视频流接入命令；
基于所述第二功能对应的所述视频流接入命令，控制断开所述第一功能对应的第一视频流；
响应于所述第一功能对应的所述第一视频流断开成功，控制接入所述第二功能对应的第二视频流；
基于所述第二视频流，利用所述感知处理模块执行所述第二功能对应的感知处理，获得所述第二功能对应的感知结果。
2.根据权利要求1所述的方法，其中，在所述控制断开所述第一功能对应的第一视频流之前，还包括：
向所述感知处理模块发送视频流切换通知消息，以使所述感知处理模块准备从所述第一功能对应的感知处理状态转换到所述第二功能对应的感知处理状态；和/或，
控制进行所述第一功能对应的安全处理操作。
3.根据权利要求1所述的方法，其中，在所述控制接入所述第二功能对应的第二视频流之后，还包括：
向所述感知处理模块发送视频流切换成功消息，以使所述感知处理模块从所述第一功能对应的感知处理状态转换到所述第二功能对应的感知处理状态。
4.根据权利要求1所述的方法，其中，在所述控制断开所述第一功能对应的第一视频流之后，还包括：
控制进行所述第一功能对应的资源复位处理。
5.根据权利要求4所述的方法，其中，所述响应于所述第一功能对应的所述第一视频流断开成功，控制接入所述第二功能对应的第二视频流，包括：
响应于所述第一功能对应的资源复位处理完成，确定所述第一功能对应的所述第一视频流断开成功，控制接入所述第二功能对应的第二视频流。
6.根据权利要求1所述的方法，其中，响应于接收到第一功能切换到第二功能的触发指令，生成第二功能对应的视频流接入命令，包括：
响应于接收到第一功能切换到第二功能的触发指令，根据预设安全核查规则对所述第一功能进行安全性核查，获得所述第一功能对应的核查结果；
响应于所述核查结果为通过，生成第二功能对应的视频流接入命令。
7.根据权利要求1所述的方法，其中，在所述基于所述第二视频流，利用所述感知处理模块执行所述第二功能对应的感知处理，获得所述第二功能对应的感知结果之后，还包括：
响应于接收到所述第二功能结束的触发指令，生成所述第二功能对应的视频流归还命令；
基于所述第二功能对应的所述视频流归还命令，控制断开所述第二功能对应的第二视频流；
响应于所述第二功能对应的所述第二视频流断开成功，控制接入所述第一功能对应的第一视频流；
基于所述第一视频流，利用所述感知处理模块执行所述第一功能对应的感知处理，获得所述第一功能对应的感知结果。
8.根据权利要求1所述的方法，其中，还包括：
响应于所述第一功能对应的所述第一视频流断开成功，控制接入所述第二功能对应的除所述第二视频流之外的其他类型的传感器的数据流。
9.一种感知处理模块的分时复用装置，包括：
第一处理模块，用于响应于接收到第一功能切换到第二功能的触发指令，生成第二功能对应的视频流接入命令；
第一控制模块，用于基于所述第二功能对应的所述视频流接入命令，控制断开所述第一功能对应的第一视频流；
第二控制模块，用于响应于所述第一功能对应的所述第一视频流断开成功，控制接入所述第二功能对应的第二视频流；
第二处理模块，用于基于所述第二视频流，利用所述感知处理模块执行所述第二功能对应的感知处理，获得所述第二功能对应的感知结果。
10.根据权利要求9所述的装置，还包括：
视频接入模块，用于在断开所述第一功能对应的第一视频流之前，向所述感知处理模块发送视频流切换通知消息，以使所述感知处理模块准备从所述第一功能对应的感知处理状态转换到所述第二功能对应的感知处理状态；和/或向所述第一功能对应的第一应用模块发送视频流切换通知消息，以使所述第一应用模块进行所述第一功能对应的安全处理操作；所述感知处理模块包括视频处理单元和/或人工智能加速单元。
11.根据权利要求9所述的装置，还包括：
视频接入模块，用于在控制接入所述第二功能对应的第二视频流之后，向所述感知处理模块发送视频流切换成功消息，以使所述感知处理模块从所述第一功能对应的感知处理状态转换到所述第二功能对应的感知处理状态；和/或，用于在所述控制断开所述第一功能对应的第一视频流之后，向所述第一功能对应的第一应用模块发送视频断开成功消息，以使所述第一应用模块进行所述第一功能对应的资源复位处理；所述感知处理模块包括视频处理单元和/或人工智能加速单元。
12.根据权利要求11所述的装置，其中，所述第二控制模块具体用于响应于所述第一功能对应的资源复位处理完成，确定所述第一功能对应的所述第一视频流断开成功，控制所述视频接入模块接入所述第二功能对应的第二视频流。
13.根据权利要求9所述的装置，其中，所述第一处理模块包括：
安全核查单元，用于响应于接收到第一功能切换到第二功能的触发指令，根据预设安全核查规则对所述第一功能进行安全性核查，获得所述第一功能对应的核查结果；
第一处理单元，用于响应于所述核查结果为通过，生成第二功能对应的视频流接入命令。
14.根据权利要求9所述的装置，还包括：
第三处理模块，用于响应于接收到所述第二功能结束的触发指令，生成所述第二功能对应的视频流归还命令；
第三控制模块，用于基于所述第二功能对应的所述视频流归还命令，控制断开所述第二功能对应的第二视频流；
第四控制模块，用于响应于所述第二功能对应的所述第二视频流断开成功，控制接入所述第一功能对应的第一视频流；
第四处理模块，用于基于所述第一视频流，利用所述感知处理模块执行所述第一功能对应的感知处理，获得所述第一功能对应的感知结果。
15.根据权利要求9所述的装置，还包括：
第五控制模块，用于响应于所述第一功能对应的所述第一视频流断开成功，控制接入所述第二功能对应的除所述第二视频流之外的其他类型的传感器的数据流。
16.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8任一所述的感知处理模块的分时复用方法。
17.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8任一所述的感知处理模块的分时复用方法。
CN202310122759.6A 2023-02-14 2023-02-14 感知处理模块的分时复用方法、装置、电子设备和介质 Pending CN116137563A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310122759.6A CN116137563A (zh) 2023-02-14 2023-02-14 感知处理模块的分时复用方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310122759.6A CN116137563A (zh) 2023-02-14 2023-02-14 感知处理模块的分时复用方法、装置、电子设备和介质

Publications (1)

Publication Number Publication Date
CN116137563A true CN116137563A (zh) 2023-05-19

Family

ID=86333403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310122759.6A Pending CN116137563A (zh) 2023-02-14 2023-02-14 感知处理模块的分时复用方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN116137563A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450207A (zh) * 2023-06-14 2023-07-18 北京鉴智科技有限公司 自动驾驶感知处理方法、装置、电子设备及存储介质
CN117985012A (zh) * 2024-01-29 2024-05-07 南京航空航天大学 一种带分时复用的行泊智能切换系统以及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450207A (zh) * 2023-06-14 2023-07-18 北京鉴智科技有限公司 自动驾驶感知处理方法、装置、电子设备及存储介质
CN117985012A (zh) * 2024-01-29 2024-05-07 南京航空航天大学 一种带分时复用的行泊智能切换系统以及方法

Similar Documents

Publication Publication Date Title
CN116137563A (zh) 感知处理模块的分时复用方法、装置、电子设备和介质
CN110083161B (zh) 无人驾驶汽车的远程接管方法、装置、设备和存储介质
CN108388837B (zh) 一种用于评估自主车辆的内部的系统和方法
CN114205386B (zh) 一种面向服务架构的车载网络通信方法
WO2023207261A1 (zh) 基于soa架构的智能驾驶系统、方法、设备及存储介质
CN112513817B (zh) 一种主cpu与npu的数据交互方法及计算设备
CN111063054A (zh) 故障信息发送方法和装置、车辆故障处理方法和装置
CN115640059B (zh) 自动驾驶操作系统、电子设备及存储介质
CN114879551A (zh) 一种基于cpu硬隔离系统设计方法的智能座舱域控制器
CN113741223B (zh) 车辆远程控制方法、装置、设备、介质以及自动驾驶车辆
CN113656164B (zh) 任务执行方法、系统、电子设备及计算机存储介质
CN113442856B (zh) 基于自适应平台和ros2的控制方法、装置及存储介质
CN114291110B (zh) 车辆控制方法、装置、电子设备及存储介质
CN115983804A (zh) 人机协作任务处理方法、装置、电子设备和存储介质
CN115503626A (zh) 车辆的控制系统、方法、电子设备及存储介质
CN113044031A (zh) 一种基于定速巡航的自适应巡航控制系统及方法
CN114531603B (zh) 一种视频流的图像处理方法、系统及电子设备
WO2024005073A1 (ja) 画像処理装置、画像処理方法、画像処理システム、およびプログラム
CN116494895A (zh) 车辆的控制方法、装置、计算机设备和存储介质
US20230289566A1 (en) System and Method for Processing Information Signals
WO2024005074A1 (ja) 画像処理装置、画像処理方法、画像処理システム、およびプログラム
JP7411961B2 (ja) 走行支援装置、走行支援システム、及び走行支援方法
US20230192101A1 (en) Vehicle assistive system
CN114724373B (zh) 交通现场信息获取方法和装置、电子设备和存储介质
Trifunović et al. Data Exchange Interfaces in Automotive SOA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination