CN114940124A - 感知系统的分时复用方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开实施例公开了一种感知系统的分时复用方法、装置、电子设备和存储介质，其中，方法包括：响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道；基于所述泊车通道获取泊车图像数据；基于所述泊车图像数据，确定泊车感知结果。本公开实施例通过视频通道在座舱通道与泊车通道之间的切换，实现感知系统的分时复用，从而使得座舱感知与泊车感知可以共用一个域控制器，有效提高资源利用率，并可以节省域控制器，降低成本。

Description

感知系统的分时复用方法、装置、电子设备和存储介质

技术领域

本公开涉及计算机视觉技术，尤其是一种感知系统的分时复用方法、装置、电子设备和存储介质。

背景技术

随着计算机视觉技术的不断发展，在自动驾驶、半自动驾驶等车辆上设置有针对座舱的座舱感知系统和针对自动泊车的泊车感知系统，分别用于满足智能座舱和自动泊车的感知需求，座舱感知系统基于座舱域控制器实现，泊车感知系统基于泊车域控制器实现，需要两套独立的域控制器，导致域控制器资源利用率较低、成本较高。

发明内容

为了解决上述资源利用率低、成本较高等技术问题，提出了本公开。本公开的实施例提供了一种感知系统的分时复用方法、装置、电子设备和存储介质。

根据本公开实施例的一个方面，提供了一种感知系统的分时复用方法，包括：响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道；基于所述泊车通道获取泊车图像数据；基于所述泊车图像数据，确定泊车感知结果。

根据本公开实施例的另一个方面，提供了一种感知系统的分时复用装置，包括：第一控制模块，用于响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道；第一获取模块，用于基于所述泊车通道获取泊车图像数据；第一处理模块，用于基于所述泊车图像数据，确定泊车感知结果。

根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的感知系统的分时复用方法。

根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的感知系统的分时复用方法。

基于本公开上述实施例提供的感知系统的分时复用方法、装置、电子设备和存储介质，通过视频通道在座舱通道与泊车通道之间的切换，实现感知系统的分时复用，从而使得座舱感知与泊车感知可以共用一个域控制器，有效提高资源利用率，并可以节省域控制器，降低成本。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开提供的感知系统的分时复用方法的一个示例性的应用场景；

图2是本公开一示例性实施例提供的感知系统的分时复用方法的流程示意图；

图3是本公开另一示例性实施例提供的感知系统的分时复用方法的流程示意图；

图4是本公开再一示例性实施例提供的感知系统的分时复用方法的流程示意图；

图5是本公开再一示例性实施例提供的感知系统的分时复用方法的流程示意图；

图6是本公开又一示例性实施例提供的感知系统的分时复用方法的流程示意图；

图7是本公开一示例性实施例提供的感知系统的分时复用装置的结构示意图；

图8是本公开另一示例性实施例提供的感知系统的分时复用装置的结构示意图；

图9是本公开一示例性实施例提供的第一控制模块501的结构示意图；

图10是本公开再一示例性实施例提供的感知系统的分时复用装置的结构示意图；

图11是本公开又一示例性实施例提供的感知系统的分时复用装置的结构示意图；

图12是本公开电子设备一个应用实施例的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

本公开概述

在实现本公开的过程中，发明人发现，在自动驾驶、半自动驾驶等车辆上设置有针对座舱的座舱感知系统和针对自动泊车的泊车感知系统，分别用于满足智能座舱和自动泊车的感知需求，座舱感知系统基于座舱域控制器实现，泊车感知系统基于泊车域控制器实现，需要两套独立的域控制器，导致域控制器资源利用率较低、成本较高。

示例性概述

图1是本公开提供的感知系统的分时复用方法的一个示例性的应用场景。

在该场景中，车辆上设置有舱内视觉传感器(摄像头1-4)和车外视觉传感器(摄像头5-8)，舱内和车外各作为一组，分别通过解串器接入用于执行本公开的感知系统的分时复用方法的感知系统的分时复用装置，该装置根据分时复用规则，在不同情况下控制视频通道切换到不同的组，以接收该组的视觉传感器的图像数据，图像数据可以包括单帧或多帧图像，还可以包括视频，具体可以根据实际需求设置。解串器是高速数据通信中的接口电路，与串行器配合使用可将单通道或双通道流转换成并行数据，具体原理不再赘述。具体来说，当接收到进入泊车模式的触发指令，可以控制视频通道切换到泊车通道，在该场景这种，泊车通道指车外组的摄像头5-8对应的视频通道，进而可以基于该泊车通道获取泊车图像数据，基于泊车图像数据确定泊车感知结果，用于辅助泊车，泊车感知比如车位检测、障碍物识别，等等。当泊车模式结束后，可以控制视频通道切换到座舱通道，用于接收舱内视觉传感器的图像数据，进行舱内的感知，比如人脸识别、年龄性别识别、打电话事件识别、抽烟事件识别、疲劳检测、情绪识别、睡眠检测、手势识别，等等，具体感知内容可以根据实际需求设置。其中，泊车模式可以包括人工泊车模式和自动泊车模式，具体不做限定，进入泊车模式的触发指令可以包括任意可能的触发指令，比如按键触发指令、语音触发指令，等等。按键触发指令是由用户手动触发硬件按键(比如设置在车辆上的泊车按键)或虚拟按键(比如屏幕上的按键，具体比如中控屏中的界面上的选择框)产生的触发指令，语音触发指令是由用户通过语音交互产生的触发指令。在实际应用中，舱内及车外的视觉传感器可以根据实际需求设置，不限于上述的摄像头1-8。利用本公开的感知系统的分时复用方法，可以实现感知系统的分时复用，从而使得座舱感知与泊车感知可以共用一个域控制器，有效提高资源利用率，并可以节省域控制器，降低成本。

在实际应用中，视觉传感器还可以根据实际需求分为更多个组，比如还可以包括车外解锁摄像头，可以作为一个组对应有车外解锁通道，也可以与舱内摄像头作为一组，在用户上车前，舱内摄像头处于关闭状态，座舱通道仅从车外解锁摄像头获取图像数据进行解锁感知，控制车辆解锁，以使用户能够进入车辆，当车辆启动后，可以控制解锁摄像头关闭，舱内摄像头开启，座舱通道获取舱内摄像头的图像数据进行座舱感知，具体可以根据实际需求设置，本公开不做限定。

示例性方法

图2是本公开一示例性实施例提供的感知系统的分时复用方法的流程示意图。本实施例可应用在电子设备上，具体比如车载计算平台上，如图2所示，包括如下步骤：

步骤201，响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道。

其中，泊车模式可以为人工泊车模式，也可以为自动泊车模式，具体不做限定，进入泊车模式的触发指令可以包括任意可能的触发指令，比如按键触发指令、语音触发指令，等等。按键触发指令是由用户手动触发硬件按键(比如设置在车辆上的泊车按键)或虚拟按键(比如屏幕上的按键，具体比如中控屏中的界面上的选择框)产生的触发指令，语音触发指令是由用户通过语音交互产生的触发指令。视频通道是指与视觉传感器(比如摄像头)连接，以获取视觉传感器的图像数据的连接通道，可以包括座舱通道和泊车通道，在实际应用中，视频通道还可以包括其他类的视频通道，具体不做限定。座舱通道表示连接座舱舱内视觉传感器的视频通道，泊车通道表示连接车外视觉传感器的视频通道。具体连接方式可以采用任意可实施的方式，本公开不做限定。视频通道的切换，可以通过分时开关实现，分时开关可以通过硬件实现也可以通过软件实现，比如可以为座舱通道和泊车通道设置状态(比如启用状态、待机状态)，通过状态的配置实现视频通道的切换。

当车辆处于非泊车模式(比如正常行驶)时，视频通道可以是在座舱通道，用于接收舱内视觉传感器的图像数据，进行舱内的感知，比如人脸识别、年龄性别识别、打电话事件识别、抽烟事件识别、疲劳检测、情绪识别、睡眠检测、手势识别，等等，具体感知内容可以根据实际需求设置。当接收到进入泊车模式的触发指令，表示需要进入泊车模式，则可以控制视频通道从座舱通道切换到泊车通道，用于进行车外环境的感知。

步骤202，基于泊车通道获取泊车图像数据。

其中，泊车图像数据可以包括车外视觉传感器采集的图像数据或视频数据。在进入泊车模式后，需要通过车外视觉传感器采集车外环境图像，用于辅助泊车，比如车外设置有如图1所示的前、后、左、右4个摄像头，则可以基于泊车通道从该4个摄像头获取车辆的环视图像数据，作为泊车图像数据，具体泊车图像数据的数量可以根据实际需求设置，不限于4个摄像头采集的图像数据。

步骤203，基于泊车图像数据，确定泊车感知结果。

在获取到泊车图像数据后，则可以基于预设感知算法或模型进行感知处理，获得泊车感知结果，具体的感知算法或模型可以采用任意可实施的算法或模型，本公开不做限定。比如基于泊车图像数据进行车位检测、障碍物识别等感知处理。

本实施例提供的感知系统的分时复用方法，通过视频通道在座舱通道与泊车通道之间的切换，实现感知系统的分时复用，从而使得座舱感知与泊车感知可以共用一个域控制器，有效提高资源利用率，并可以节省域控制器，降低成本。

在一个可选示例中，图3是本公开另一示例性实施例提供的感知系统的分时复用方法的流程示意图，在本示例中，步骤201具体可以包括以下步骤：

步骤2011，响应于接收到进入泊车模式的触发指令，将座舱通道的状态从启用状态切换到待机状态，并将泊车通道的状态从待机状态切换到启用状态。

其中，为座舱通道和泊车通道设置状态，用于表示该视频通道是否可用，从而实现座舱通道和泊车通道的切换，待机状态表示该视频通道当前未启用，启用状态表示该视频通道当前可用，待机状态和启用状态的具体表示方式可以根据实际需求设置。在接收到进入泊车模式的触发指令后，通过将座舱通道的状态从启用状态切换到待机状态，并将泊车通道的状态从待机状态切换到启用状态，实现座舱通道和泊车通道的切换。

图4是本公开再一示例性实施例提供的感知系统的分时复用方法的流程示意图。

在一个可选示例中，本公开的方法还包括：

步骤204，响应于泊车模式结束，控制视频通道从泊车通道切换到座舱通道。

具体的，泊车模式结束的触发可以是任意可实施的方式，比如检测到车辆已停入车位、检测到用户的停止泊车按键指令或语音指令，等等，具体可以根据实际需求设置，本公开不做限定。视频通道的切换原理参见前述内容，在此不再赘述。

步骤205，基于座舱通道获取座舱图像数据。

其中，座舱图像数据可以基于座舱通道从舱内视觉传感器获得，座舱图像数据可以包括舱内视觉传感器采集的图像数据或视频数据，具体可以根据实际需求设置。舱内视觉传感器可以包括至少一个摄像头，比如用于监控驾驶员的摄像头、用于监控副驾用户的摄像头、用于监控后排的摄像头，等等，具体数量不做限定。

步骤206，基于座舱图像数据，确定座舱感知结果。

其中，对于座舱的感知，可以基于任意可实施的感知算法或模型实现，座舱感知结果比如包括人脸识别结果、年龄性别识别结果、打电话事件识别结果、抽烟事件识别结果、疲劳检测结果、情绪识别结果、睡眠检测结果、手势识别结果及其他可能的感知结果中的至少一种，具体可以根据实际需求设置。可以理解地，不同的感知需要采用对应的感知算法或模型，比如人脸识别可以采用预先训练好的人脸检测模型，具体可以根据实际需求设置。

在一个可选示例中，触发指令包括按键触发指令或语音触发指令。其中，按键触发指令是由用户手动触发硬件按键或虚拟按键产生的触发指令，硬件按键比如设置在车辆上的泊车按键，虚拟按键比如屏幕上的按键，具体比如中控屏中的界面上的选择框，语音触发指令是由用户通过语音交互产生的触发指令，比如用户发出语音“开始泊车”，语音采集设备采集用户的语音，经语音识别和自然语言理解，确定用户意图，从而将用户意图对应的语音触发指令发送给本公开的装置。具体语音交互规则可以根据实际需求设置，本公开不做限定。本公开通过多种触发方式进入泊车模式，有效提升用户体验。

在一个可选示例中，本公开的方法还包括：

步骤3011，响应于接收到进入泊车模式的触发指令，控制语音模式从多模状态切换到单模状态。

其中，语音模式是指语音识别的模式，单模是指仅基于语音数据进行语音识别，多模是指结合语音数据和图像数据综合进行语音识别。由于进入泊车模式需要将视频通道从座舱通道切换到泊车通道，导致舱内暂时无法提供座舱图像数据，因此无法为语音识别提供视频依据，而单模语音识别和多模语音识别需要采用不同的语音识别算法或模型，因此需要将语音模式切换到单模状态，以采用单模的语音识别算法或模型进行语音识别，保证泊车过程中，能够响应舱内用户的语音指令，比如在泊车过程中，用户可以通过语音交互暂停泊车及开始泊车等。

在一个可选示例中，本公开的方法还包括：

步骤3021，响应于泊车模式结束，控制语音模式从单模状态切换到多模状态。

当泊车模式结束，视频通道从泊车通道切换到座舱通道，舱内感知恢复，为了提高舱内感知结果的准确性，控制语音模式从单模状态切换到多模状态，从而可以结合用户语音和用户图像或视频进行语音识别，由于用户声音容易受环境噪声的影响，而用户图像不会受环境噪声的影响，从而将用户脸部或唇部动作用于辅助用户语音数据进行语音识别，可以有效提高语音识别的准确性。具体多模语音识别处理可以采用任意可实施的方式，比如基于多模语音检测模型实现，本公开不做限定。

在一个可选示例中，语音功能可以基于全时免唤醒技术实现，保证对车辆的语音控制的实时性。

图5是本公开再一示例性实施例提供的感知系统的分时复用方法的流程示意图。

在一个可选示例中，步骤201的响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道，包括：

步骤2011a，响应于接收到进入泊车模式的触发指令，基于通过座舱通道获取的座舱图像数据，确定并存储当前座舱人员信息。

具体的，在接收到进入泊车模式的触发指令后，在控制视频通道从座舱通道切换到泊车通道之前，还可以通过座舱通道获取最新的座舱图像数据，进行座舱感知，确定出当前座舱人员信息进行存储，为泊入狭窄车位提供参考依据，从而提高用户体验。当前座舱人员信息至少可以包括副驾人员信息，根据实际需求还可以包括其他相关人员信息，比如后排人员信息，具体不做限定。

步骤2012a，控制视频通道从座舱通道切换到泊车通道。

具体的，在采集完最新的座舱图像数据后，再将视频通道从座舱通道切换到泊车通道，以在泊车过程中继续采集车外的图像数据，其中所述采集的最新的座舱图像数据可以为狭窄车位提供参考依据。

在一个可选示例中，在步骤203的基于泊车图像数据，确定泊车感知结果之后，本公开的方法还包括：

步骤204a，基于泊车感知结果，确定目标车位的宽度类型。

其中，目标车位可以是自动泊车模式下自动检测到的当前要停入的车位，也可以是人工泊车模式下，用户要停入的车位，具体不做限定。在确定了目标车位后，可以基于车辆后方的摄像头采集的图像确定目标车位的宽度，进而将目标车位的宽度与预设车位宽度阈值进行比较，从而确定车位宽度类型。预设车位宽度阈值可以结合车辆自身宽度来确定，根据车位宽度类型的设置，可以设置至少一个预设车位宽度阈值，比如车位宽度类型设置为正常车位、狭窄车位和极窄车位，则可以设置两个不同的阈值，比如第一阈值和第二阈值，第一阈值大于第二阈值，当目标车位的宽度小于第一阈值大于第二阈值时，确定为狭窄车位，当目标车位的宽度小于第二阈值时，确定为极窄车位。正常车位表示当车辆泊入后，两边都可正常下车的车位，狭窄车位表示当车辆泊入中间后无法正常下车，但当车辆向一侧偏移一定距离可以正常下车的车位，极窄车位表示无论如何泊车两侧均无法正常下车的车位。因此，车位宽度类型可以结合车位的实际宽度以及车辆的自身宽度及开门状态来确定，具体不做限定。

步骤204b，响应于目标车位的宽度类型为狭窄车位，基于当前座舱人员信息确定副驾状态。

其中，副驾状态可以包括有人状态和无人状态，当确定出目标车位的宽度类型为狭窄车位，可以考虑车辆向一侧偏移泊入车位，以使车内用户可以从一侧下车。由于后排用户从两侧均可下车，因此可以副驾为参考，当副驾无人时，则可以在泊车时向副驾侧偏移，驾驶用户则可以从驾驶侧正常下车；当副驾有人时，可以在开始泊车之前通过语音或者其他提醒方式提醒副驾人员提前下车。由于当前座舱人员信息包括检测到的副驾人员信息，因此可以方便地确定出副驾状态。具体不再赘述。

步骤204c，响应于副驾状态为无人状态，触发泊车偏移，以控制车辆的泊车位置向副驾侧偏移预设距离。

其中，预设距离可以根据目标车位的宽度及车辆自身宽度来确定，保证车辆偏移后不超出目标车位范围。比如目标车位宽度为2.4米，车辆自身宽度为2米，目标车位相对于车辆来说为狭窄车位，以目标车位长度方向的中轴线和车辆长度方向的中轴线为参考，居中泊入时，车辆中轴线与目标车位中轴线重合，两侧各留0.2米，可能无法正常下车，预设距离可以设置为0.15米-0.2米，比如将车辆向副驾侧偏移0.15米，则驾驶侧可有0.35米加上车位线，使得驾驶侧可以方便下车。具体偏移规则可以根据实际需求设置，本公开不做限定。

本公开通过在泊入狭窄车位时，根据副驾状态将车辆进行偏移，便于车上用户下车，有效提升用户体验。

在一个可选示例中，在步骤204c之后，本公开的方法还包括：

步骤204d，控制输出下车方位提示信息。

其中，下车方位提示信息用于提醒用户从驾驶侧下车，具体输出方式可以根据实际需求设置，比如通过语音输出设备输出提示语音，比如“请您从左侧下车”，以使驾驶员及后排用户从左侧方便地下车，进一步提升用户体验。

在一个可选示例中，在步骤204a的基于泊车感知结果，确定目标车位的宽度类型之后，本公开的方法还包括：

步骤205a，响应于目标车位的宽度类型为极窄车位，控制输出下车提醒。

其中，极窄车位表示车辆泊入后，即使偏移两侧也无法正常下车的车位，这种情况下，为了避免用户无法下车，可以在泊入目标车位前控制输出下车提醒，提醒用户先下车，通过遥控使车辆自动泊入车位，进一步提升用户体验。

图6是本公开又一示例性实施例提供的感知系统的分时复用方法的流程示意图。

在一个可选示例中，在步骤201的响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道之前，本公开的方法还包括：

步骤4011，响应于确定出满足进入泊车模式的预设条件，控制输出进入泊车模式的第一提示信息。

其中，预设条件可以根据实际需求设置，比如可以包括检测到驾驶员处于疲劳状态、检测到到达目的地附近的停车场等。第一提示信息用于提示驾驶员进入泊车模式，第一提示信息的输出方式可以根据实际需求设置，比如通过提示音加中控屏显示提示、通过语音输出设备输出提示语音等，具体不做限定。示例性的，第一提示信息为输出的语音内容“已到达目的地附近停车场，是否进入泊车模式”。具体语音内容可以根据实际场景确定，在此不做限定。

步骤4012，响应于接收到用户对第一提示信息的确认信息，确定接收到进入泊车模式的触发指令。

其中，确认信息可以是用户按键确认或语音确认，具体不做限定。比如输出语音提示信息，则用户可以语音确认，在中控屏输出提示信息，用户可以点击屏幕页面的“确认”或“取消”按键，等等。当接收到用户对第一提示信息的确认信息，则确定接收到进入泊车模式的触发指令，可以按照前述响应方式进行响应，在此不再赘述。

本公开通过在确定出满足进入泊车模式的预设条件时，及时提示用户进入泊车模式，一方面可以提升用户体验，另一方面对于检测到用户疲劳状态时提醒，还可以有效提高行驶安全性。

在一个可选示例中，本公开的方法还包括：

步骤4021，在人工泊车模式下，响应于确定出满足自动泊车条件，控制输出自动泊车建议信息。

具体的，进入泊车模式可以设置一个默认的泊车模式，比如设置为自动泊车模式或者人工泊车模式，用户可以通过语音或其他触发方式进行模式切换。具体可以根据实际需求设置。在泊车过程中，当处于人工泊车模式时，可以实时或定时检测是否满足自动泊车条件，自动泊车条件可以根据实际需求设置，比如检测到用户多次倒车未停入车位中，则可以输出自动泊车建议信息，以提示用户可以进入自动泊车模式。自动泊车建议信息的输出同样可以采用任意可实施的方式输出，参见前述第一提示信息，具体不再赘述。

步骤4022，响应于接收到用户的自动泊车确认指令，控制切换到自动泊车模式。

当用户确认可以进入自动泊车模式，则可以切换到自动泊车模式，实现自动泊车，进一步提升用户体验。

在一个可选示例中，本公开的方法还包括：

步骤4031，在自动泊车模式下，响应于确定出满足人工接管条件，控制输出人工接管请求信息。

其中，人工接管条件可以根据实际需求设置，比如可以为检测到障碍物，长时间无法泊车，则可以输出人工接管请求信息，人工接管请求信息的输出方式及内容可以根据实际需求设置。比如语音输出、提示音加屏幕显示，等等。

步骤4032，响应于接收到用户的人工接管确认指令，控制切换到人工泊车模式。

其中，人工接管确认指令可以通过任意可实施的方式触发，比如检测到用户转动方向盘、用户输入确认语音、用户点击确认按键，等等，具体不再赘述。

在一个可选示例中，在泊车模式下，可以基于泊车感知结果在屏幕为用户显示车辆周围信息，或者直接为用户显示实时监控视频，具体可以根据实际需求设置。屏幕显示可以通过对采集的车辆周围环境图像数据进行拼接渲染，适配到车辆屏幕的显示频率，以在屏幕显示，具体显示控制在此不再赘述。

本公开通过为用户提供人机共泊功能，可以使驾驶用户与车辆在泊车过程中能够协作，实现顺利泊车，进一步提升用户体验。

在一个可选示例中，本公开的方法还包括：

步骤4041，在泊车模式下，响应于用户的暂停泊车语音指令，控制暂停泊车。

具体的，在泊车过程中，用户可以随时通过语音交互实现暂停泊车，进一步提升用户体验。

在一个可选示例中，本公开的方法还包括：

步骤4051，在泊车模式下，响应于用户的开始泊车语音指令，控制开始泊车。

具体的，在泊车过程中，用户暂停泊车后，还可以随时通过语音交互开始泊车，进一步提升用户体验。

本公开上述任一实施例或可选示例可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施。

本公开实施例提供的任一种感知系统的分时复用方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种感知系统的分时复用方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种感知系统的分时复用方法。下文不再赘述。

示例性装置

图7是本公开一示例性实施例提供的感知系统的分时复用装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图7所示的装置包括：第一控制模块501、第一获取模块502和第一处理模块503。

第一控制模块501，用于响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道；第一获取模块502，用于基于泊车通道获取泊车图像数据；第一处理模块503，用于基于第一获取模块502获取的泊车图像数据，确定泊车感知结果。

图8是本公开另一示例性实施例提供的感知系统的分时复用装置的结构示意图。

在一个可选示例中，第一控制模块501包括：第一控制单元5011a，用于将座舱通道的状态从启用状态切换到待机状态，并将泊车通道的状态从待机状态切换到启用状态。

在一个可选示例中，本公开的装置还包括：第二控制模块601、第二获取模块602和第二处理模块603。

第二控制模块601，用于响应于泊车模式结束，控制视频通道从泊车通道切换到座舱通道；第二获取模块602，用于基于座舱通道获取座舱图像数据；第二处理模块603，用于基于第二控制模块601获取的座舱图像数据，确定座舱感知结果。

在一个可选示例中，触发指令包括按键触发指令或语音触发指令。

在一个可选示例中，本公开的装置还包括：第三控制模块701和/或第四控制模块702。

第三控制模块701，用于响应于接收到进入泊车模式的触发指令，控制语音模式从多模状态切换到单模状态；第四控制模块702，用于响应于泊车模式结束，控制语音模式从单模状态切换到多模状态。

图9是本公开一示例性实施例提供的第一控制模块501的结构示意图。

在一个可选示例中，第一控制模块501包括：第一处理单元5011b和第二控制单元5012b。

第一处理单元5011b，用于响应于接收到进入泊车模式的触发指令，基于通过座舱通道获取的座舱图像数据，确定并存储当前座舱人员信息；第二控制单元5012b，用于控制视频通道从座舱通道切换到泊车通道。

图10是本公开再一示例性实施例提供的感知系统的分时复用装置的结构示意图。

在一个可选示例中，本公开的装置还包括：第一确定模块504、第二确定模块505和第三处理模块506。

第一确定模块504，用于基于泊车感知结果，确定目标车位的宽度类型；第二确定模块505，用于响应于第一确定模块504确定的目标车位的宽度类型为狭窄车位，基于当前座舱人员信息确定副驾状态；第三处理模块506，用于响应于第二确定模块505确定的副驾状态为无人状态，触发泊车偏移，以控制车辆的泊车位置向副驾侧偏移预设距离。

在一个可选示例中，本公开的装置还包括：

第五控制模块507，用于控制输出下车方位提示信息。

在一个可选示例中，本公开的装置还包括：第六控制模块508，用于响应于目标车位的宽度类型为极窄车位，控制输出下车提醒。

图11是本公开又一示例性实施例提供的感知系统的分时复用装置的结构示意图。

在一个可选示例中，本公开的装置还包括：第七控制模块801和第三确定模块802。

第七控制模块801，用于响应于确定出满足进入泊车模式的预设条件，控制输出进入泊车模式的第一提示信息；第三确定模块802，用于响应于接收到用户对第一提示信息的确认信息，确定接收到进入泊车模式的触发指令。

在一个可选示例中，本公开的装置还包括：第八控制模块9011和第九控制模块9012。

第八控制模块9011，用于在人工泊车模式下，响应于确定出满足自动泊车条件，控制输出自动泊车建议信息；第九控制模块9012，用于响应于接收到用户的自动泊车确认指令，控制切换到自动泊车模式。

在一个可选示例中，本公开的装置还包括：第四处理模块9021和第五处理模块9022。

第四处理模块9021，用于在自动泊车模式下，响应于确定出满足人工接管条件，控制输出人工接管请求信息；第五处理模块9022，用于响应于接收到用户的人工接管确认指令，控制切换到人工泊车模式。

在一个可选示例中，本公开的装置还包括：第五处理模块9031和/或第六处理模块9032。

第六处理模块9031，用于在泊车模式下，响应于用户的暂停泊车语音指令，控制暂停泊车；第七处理模块9032，用于在泊车模式下，响应于用户的开始泊车语音指令，控制开始泊车。

在一个可选示例中，本公开的装置还可以按照其他任意可实施的方式进行模块划分，比如可以划分为运算处理模块、感知规控模块和视屏信号调度模块，视频信号调度模块用于视频通道的切换，运算处理模块用于基于座舱通道获取座舱图像数据或者基于泊车通道获取泊车图像数据，并基于获取的图像数据进行感知处理，获得感知结果，感知规控模块用于基于运算处理模块的感知结果进行规划控制，比如泊车控制、显示控制，等等。其中运算处理模块可以为任意用于运算处理的模块，比如AI运算处理单元、AI芯片或其他可能的处理模块。具体可以根据实际需求设置。

示例性电子设备

本公开实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的感知系统的分时复用方法。

图12是本公开电子设备一个应用实施例的结构示意图。本实施例中，该电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。

此外，该输入装置13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图12中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种感知系统的分时复用方法，包括：

响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道；

基于所述泊车通道获取泊车图像数据；

基于所述泊车图像数据，确定泊车感知结果。

2.根据权利要求1所述的方法，其中，所述控制视频通道从座舱通道切换到泊车通道，包括：

将所述座舱通道的状态从启用状态切换到待机状态，并将所述泊车通道的状态从待机状态切换到启用状态。

3.根据权利要求1所述的方法，还包括：

响应于所述泊车模式结束，控制视频通道从所述泊车通道切换到所述座舱通道；

基于所述座舱通道获取座舱图像数据；

基于所述座舱图像数据，确定座舱感知结果。

4.根据权利要求1所述的方法，其中，所述触发指令包括按键触发指令或语音触发指令，本公开的装置还包括：

响应于接收到进入所述泊车模式的所述触发指令，控制语音模式从多模状态切换到单模状态；

响应于所述泊车模式结束，控制所述语音模式从所述单模状态切换到所述多模状态。

5.根据权利要求1所述的方法，其中，所述响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道，包括：

响应于接收到进入所述泊车模式的所述触发指令，基于通过所述座舱通道获取的座舱图像数据，确定并存储当前座舱人员信息；

控制视频通道从所述座舱通道切换到所述泊车通道。

6.根据权利要求5所述的方法，其中，在基于所述泊车图像数据，确定泊车感知结果之后，所述方法还包括：

基于所述泊车感知结果，确定目标车位的宽度类型；

响应于所述目标车位的宽度类型为狭窄车位，基于所述当前座舱人员信息确定副驾状态；

响应于所述副驾状态为无人状态，触发泊车偏移，以控制车辆的泊车位置向副驾侧偏移预设距离。

7.根据权利要求6所述的方法，其中，在所述触发泊车偏移之后，所述方法还包括：

控制输出下车方位提示信息。

8.根据权利要求6所述的方法，其中，在基于所述泊车感知结果，确定目标车位的宽度类型之后，所述方法还包括：

响应于所述目标车位的宽度类型为极窄车位，控制输出下车提醒。

9.根据权利要求1所述的方法，其中，在响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道之前，还包括：

响应于确定出满足进入泊车模式的预设条件，控制输出进入所述泊车模式的第一提示信息；

响应于接收到用户对所述第一提示信息的确认信息，确定接收到进入所述泊车模式的触发指令。

10.根据权利要求1-9任一所述的方法，还包括：

在人工泊车模式下，响应于确定出满足自动泊车条件，控制输出自动泊车建议信息；

响应于接收到用户的自动泊车确认指令，控制切换到自动泊车模式；或者，

在所述自动泊车模式下，响应于确定出满足人工接管条件，控制输出人工接管请求信息；

响应于接收到用户的人工接管确认指令，控制切换到所述人工泊车模式。

11.根据权利要求1-9任一所述的方法，还包括：

在所述泊车模式下，响应于用户的暂停泊车语音指令，控制暂停泊车；和/或，响应于所述用户的开始泊车语音指令，控制开始泊车。

12.一种感知系统的分时复用装置，包括：

第一控制模块，用于响应于接收到进入泊车模式的触发指令，控制视频通道从座舱通道切换到泊车通道；

第一获取模块，用于基于所述泊车通道获取泊车图像数据；

第一处理模块，用于基于所述泊车图像数据，确定泊车感知结果。

13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的感知系统的分时复用方法。

14.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-11任一所述的感知系统的分时复用方法。

Images