CN117294929B - 一种基于车内多模态识别技术的智能拍照方法及系统 - Google Patents

Abstract

本发明公开了一种基于车内多模态识别技术的智能拍照方法及系统，按照预设频率通过感知模块对车内场景进行识别，采集车内多模态信息，获取车内场景和人脸信息，输出给决策模块，决策模块获取感知模块输入的信息后，触发拍照，根据感知模块所获取车内场景和人脸信息匹配相应的拍照方案，包括基于亮度信息匹配补光与曝光参数，基于人脸信息匹配补光模版，基于距离信息调整曝光参数，基于色彩信息调整色彩参数，基于多模态信息推荐美化效果，将匹配的拍照方案传输至执行模块，执行模块根据决策模块所匹配的拍照方案，自动调节拍摄参数以及拍照素材，实现智能拍照。本发明兼容性强，利用车内多模态识别，实现更智能化、个性化的拍照体验。

Description

一种基于车内多模态识别技术的智能拍照方法及系统

技术领域

本发明涉及车辆拍照技术领域，尤其涉及一种基于车内多模态识别技术的智能拍照方法及系统。

背景技术

随着智能交通和自动驾驶技术的发展，车内的多模态识别技术逐渐成为研究的热点。现有技术中的车内多模态识别技术应用主要集中在驾驶辅助、安全驾驶、智能提醒等方面，对于拍照领域的应用较少关注，现有车内拍照方案，运用多模态识别结果，控制拍照交互功能，如语音、视线、手势控制拍照；或直接移植手机拍照方案，手机领域多运用单一模态（图像）识别结果，因硬件限制，在拍照流程、拍照效果上有诸多限制，如：现有屏幕补光技术需要进行预曝光以获取环境亮度信息，再进行正式曝光，导致拍摄延迟700ms以上，拍摄总时长1500ms以上，用户体验差；现有屏幕补光效果单一，无法满足用户个性化补光需求；曝光亮度与人脸距离有关系，色彩倾向与环境光倾向有关系，以及滤镜/装饰效果与环境氛围有关系，现有拍照方案均未兼容上述场景的需求。

为此，我们设计出了一种基于车内多模态识别技术的智能拍照方法及系统来解决以上问题。

发明内容

本发明的目的是为了解决现有技术中存在的拍摄延迟和拍摄总时长时间长，屏幕补光效果单一，曝光亮度与人脸距离、色彩倾向与环境光倾向以及滤镜/装饰效果与环境氛围存在制约关系，无法很好的兼容场景需求等缺点，而提出的一种基于车内多模态识别技术的智能拍照方法及系统，与使用手机拍照不同，车内具有丰富的多模态信息，包括图像、声音等，这些信息可以用于分析用户场景需求，以提升拍照的体验和效果，利用车内多模态识别，实现更智能化、个性化的拍照体验。

为了实现上述目的，本发明采用了如下技术方案：

一种基于车内多模态识别技术的智能拍照方法，包括以下步骤流程：

S101，感知流程，按照预设频率通过感知模块对车内场景进行识别，并触发启动相机后，感知模块采集车内多模态信息，获取车内场景和人脸信息，输出给决策模块，并将所获取车内场景和人脸信息缓存；

S102，决策流程，决策模块获取感知模块输入的信息后，触发拍照，根据感知模块所获取车内场景和人脸信息匹配相应的拍照方案，包括基于亮度信息匹配补光与曝光参数，基于人脸信息匹配补光模版，基于距离信息调整曝光参数，基于色彩信息调整色彩参数，基于多模态信息推荐美化效果，将匹配的拍照方案传输至执行模块；

S103，执行流程，执行模块根据决策模块所匹配的拍照方案，自动调节拍摄参数、交互组件以及拍照素材，实现智能拍照。

进一步的，在所述S101步骤中，感知模块按照0.2秒/次的预设频率对车内场景进行识别；将所获取车内场景和人脸信息缓存时，若本地车机系统内已有缓存逻辑可复用的缓存模块，则保持已有的缓存逻辑不变，将信息存储至缓存模块中，仅提供读取接口供决策模块调用，若本地车机系统内未有缓存逻辑可复用的缓存模块，则提供集中的缓存方式，缓存于本地车机系统，每5秒释放一次，用新的采集数据代替原有缓存数据。

进一步的，在所述S101步骤中，感知模块采集车内多模态信息包括基于ToF传感器识别人脸和环境深度信息，基于光线传感器识别车内环境亮度，基于距离传感器识别相机与人脸距离，通过车机系统根据拍照需求获取行车状态信息，以上感知模块采集车内多模态信息的方式采用单独或并行执行操作。

进一步的，在所述S102步骤中，基于亮度信息匹配补光与曝光参数包括以下内容：

基于设置在车内的光线传感器，从感知模块获取触发相机拍照时的车内亮度信息；

若从感知模块未获取到触发相机拍照时的车内亮度信息，则不跳过相机原有预曝光流程；

若从感知模块获取到触发相机拍照时的车内亮度信息，则跳过相机预曝光流程，将感知模块获取到的车内亮度信息输入给屏幕补光与曝光模块，匹配对应补光亮度与曝光参数。

进一步的，在所述S102步骤中，基于人脸信息匹配补光模版包括以下内容：

基于车内设置的TOF传感器和图像传感器，从感知模块获取人脸深度和人脸关键点信息；

若从感知模块未获取到人脸深度和人脸关键点信息，则跳过补光模板匹配流程；

若从感知模块获取到人脸深度和人脸关键点信息，且人脸数量＞1时，则跳过补光模板匹配流程；

若从感知模块获取到人脸深度和人脸关键点信息，且人脸数量=1时，则不跳过补光模板匹配流程，根据面部五官及轮廓的人脸关键点信息，识别面部特征，选用对应特征的补光模板进行补光。

进一步的，在所述S102步骤中，基于距离信息调整曝光参数包括以下内容：

基于车内设置的TOF传感器，从感知模块获取触发相机拍照时的人脸与屏幕信息；

若从感知模块未获取触发相机拍照时的人脸与屏幕信息，则跳过调整曝光参数流程；

若从感知模块获取触发相机拍照时的人脸与屏幕信息，则不跳过曝光参数流程，根据人脸距离，按照以下方式调整曝光参数：

人脸距离≤20cm时，曝光补偿值-3 EV，防止人脸过曝；

20cm＜人脸距离＜40cm时，曝光补偿值-1 EV，防止人脸过曝；

40cm＜人脸距离＜60cm时，曝光补偿值不变；

60cm＜人脸距离＜80cm时，曝光补偿值加＋1 EV，防止人脸过暗；

80cm＜人脸距离＜100cm时，曝光补偿值加＋3 EV，防止人脸过暗；

100cm≤人脸距离时，曝光补偿值加＋4 EV。

进一步的，在所述S102步骤中，基于色彩信息调整色彩参数包括以下内容：

基于车内域控制器，从感知模块获取触发拍照时的车内色彩倾向信息，车内色彩倾向信息包括氛围灯、顶灯和车窗玻璃颜色；

若从感知模块未获取触发拍照时的车内色彩倾向信息，则跳过调整色彩参数流程；

若从感知模块获取触发拍照时的车内色彩倾向信息，则不跳过调整色彩参数流程，根据色彩倾向信息，选择色彩参数模板，色彩参数模板包括人脸AWB参数、灯AWB参数以及全局AWB参数。

进一步的，在所述S102步骤中，基于多模态信息推荐美化效果包括以下内容：

基于车内多模态信息，从感知模块获取触发拍照时的场景信息；若从感知模块未获取触发拍照时的场景信息，则跳过推荐美化效果流程；若从感知模块获取到触发拍照时的场景信息，则不跳过推荐美化效果流程；所述美化效果指用于提升拍照氛围的滤镜、贴纸、裁剪和背景音乐的素材。

一种基于车内多模态识别技术的智能拍照方法的系统，所述系统包括：

感知模块，采集车内多模态信息，并将采集到的信息输出给决策模块，感知模块的采集维度包括车内各种传感器、车机系统内的图像、音频、文字和车设车控的参数值信息；

决策模块，接收感知模块所采集的信息，根据车内不同的场景和需求匹配拍照方案；

执行模块，根据决策模块匹配的拍照方案，自动调节拍摄参数与交互组件与拍照素材，实现智能拍照。执行模块控制相机的曝光时间、白平衡等参数；以及拍照时的交互组件，如屏幕补光组件、反馈组件等；以及拍照所需的素材，如滤镜、装饰效果、裁剪效果。通过自动调节这些参数和组件和素材，执行模块能够提升拍照的质量和效果，使用户获得更好的拍照体验。

进一步的，所述系统还包括补光与曝光模块、补光模板以及色彩参数模板，所述感知模块包括用于获取触发拍照时的车内亮度信息的光线传感器，用于获取人脸深度和人脸关键点信息的TOF传感器和图像传感器以及距离传感器，所述光线传感器、TOF传感器、图像传感器和距离传感器设置于相机的端部，所述补光模板根据面部特征分为增强面部光线与阴影的立体光和修饰脸型的V型光，所述色彩参数模板包括人脸AWB参数、灯AWB参数、全局AWB参数。

与现有技术相比，本发明的有益效果是：本发明运用多模态识别结果，匹配拍照效果方案，如不同场景不同亮度、色彩参数，相较于手机，车内多有更丰富的模态信息，可用于场景需求分析，辅助拍照，更智能更便捷；通过感知模块的光线传感器获取环境亮度信息，无需预曝光，实现零延迟拍照，拍摄时长缩短50%以上；利用车机屏幕相较于手机屏幕面积更大，可以提供更丰富的补光效果，而且无需额外增加补光设备，降低配置成本。通过感知模块的ToF传感器和图像传感器获取人脸深度信息，判断五官特征提供不同的补光效果；通过感知模块的距离传感器获取人脸距离信息，距离远则亮一些保障曝光充足，距离近则暗一些防止曝光过度；通过车内域控制器获取环境灯光信息，匹配同倾向的色彩，比如氛围灯倾向蓝，整体色彩应该偏蓝，人脸肤色做适当矫正；通过车内音频、图像等多模态信息分析环境特征，匹配对应美化效果。提升车机拍照的体验和效果，利用车内多模态识别，实现更智能化、个性化的拍照体验。

附图说明

图1为本发明屏幕补光与曝光流程与传统技术的对比示意；

图2为本发明针对不同面部特征信息选达到不同补光效果的示意图；

图3为本发明与传统拍照流程相比，针对感知模块获取的色彩信息根据不同氛围灯色值，选择不同色彩参数模板的示意图；

图4为本发明发明基于多模态识别场景推件美化流程示意图；

图5为本发明提出的一种应用于智能拍照方法的系统的组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

为了提升拍照的体验和效果，本发明针对车内具有丰富的多模态信息，包括图像、深度、音频等，基于车内多模态识别技术，提出了一种新的智能拍照方法，该智能拍照方法能够分析用户场景需求，从而更好地满足用户的拍照需求。

具体的，本实施所提出的一种基于车内多模态识别技术的智能拍照方法，包括以下步骤流程：

S101，感知流程，按照预设频率通过感知模块对车内场景进行识别，并触发启动相机后，感知模块采集车内多模态信息，获取车内场景和人脸信息，输出给决策模块，并将所获取车内场景和人脸信息缓存。

感知模块按照0.2秒/次的预设频率对车内场景进行识别；将所获取车内场景和人脸信息缓存时，若本地车机系统内已有缓存逻辑可复用的缓存模块，则保持已有的缓存逻辑不变，将信息存储至缓存模块中，仅提供读取接口供决策模块调用，若本地车机系统内未有缓存逻辑可复用的缓存模块，则提供集中的缓存方式，缓存于本地车机系统，每5秒释放一次，用新的采集数据代替原有缓存数据。

感知模块采集车内多模态信息包括基于ToF传感器识别人脸和环境深度信息，基于光线传感器识别车内环境亮度，基于距离传感器识别相机与人脸距离，通过车机系统根据拍照需求获取行车状态信息（如车设车控、音频信息、行车状态），以上所述的感知模块采集车内多模态信息的方式可采用单独或并行执行操作，通常情况下识别大多数是采用并行处理，且多在相机启动后触发识别，对车机系统与硬件功耗以及内存占用增加是短暂且可控的。

S102，决策流程，决策模块获取感知模块输入的信息后，触发拍照，根据感知模块所获取车内场景和人脸信息匹配相应的拍照方案，包括基于亮度信息匹配补光与曝光参数，基于人脸信息匹配补光模版，基于距离信息调整曝光参数，基于色彩信息调整色彩参数，基于多模态信息推荐美化效果，将匹配的拍照方案传输至执行模块；具体的，

基于亮度信息匹配补光与曝光参数包括以下内容：

基于设置在车内的光线传感器，从感知模块获取触发相机拍照时的车内亮度信息；

若从感知模块未获取到触发相机拍照时的车内亮度信息，则不跳过相机原有预曝光流程，按照相机原有预曝光流程进行曝光；若从感知模块获取到触发相机拍照时的车内亮度信息，则跳过相机预曝光流程，将感知模块获取到的车内亮度信息输入给屏幕补光与曝光模块，匹配对应补光亮度与曝光参数，图1所示为本发明屏幕补光与曝光流程与传统技术的对比示意，亮度获取时长预计控制在50ms以内，以减少对拍照体验的影响。

基于人脸信息匹配补光模版包括以下内容：

基于车内设置的TOF传感器和图像传感器，从感知模块获取人脸深度和人脸关键点信息，人脸关键点信息包括人面部五官及面部轮廓特征；

若从感知模块未获取到人脸深度和人脸关键点信息，则跳过补光模板匹配流程；若从感知模块获取到人脸深度和人脸关键点信息，且人脸数量＞1时，此时车内人数较多，则跳过补光模板匹配流程；

若从感知模块获取到人脸深度和人脸关键点信息，且人脸数量=1时，则不跳过补光模板匹配流程，根据面部五官及轮廓的人脸关键点信息，识别面部特征，选用对应特征的补光模板进行补光，参见图2，图2为本发明针对不同面部特征信息选择不同补光效果的示意图，如识别到面部特征A，则选择屏幕补光效果2，识别到面部特征B，则选择屏幕补光效果3，识别到面部特征C，则选择屏幕补光效果4……最后根据屏幕补光效果进行补正执行。通过感知模块的ToF传感器和图像传感器获取人脸深度信息，判断五官特征提供不同的补光效果。

基于距离信息调整曝光参数包括以下内容：

基于车内设置的距离传感器，从感知模块获取触发相机拍照时的人脸与屏幕信息；

若从感知模块未获取触发相机拍照时的人脸与屏幕信息，则跳过调整曝光参数流程；

若从感知模块获取触发相机拍照时的人脸与屏幕信息，则不跳过曝光参数流程，根据人脸距离，按照以下方式调整曝光参数：

人脸距离≤20cm时，曝光补偿值-3 EV，防止人脸过曝；

20cm＜人脸距离＜40cm时，曝光补偿值-1 EV，防止人脸过曝；

40cm＜人脸距离＜60cm时，曝光补偿值不变；

60cm＜人脸距离＜80cm时，曝光补偿值加＋1 EV，防止人脸过暗；

80cm＜人脸距离＜100cm时，曝光补偿值加＋3 EV，防止人脸过暗；

100cm≤人脸距离时，曝光补偿值加＋4 EV。

通过感知模块的距离传感器获取人脸距离信息，距离远则亮一些保障曝光充足，距离近则暗一些防止曝光过度。

基于色彩信息调整色彩参数包括以下内容：

受限于硬件和算法，AWB对于环境色彩的还原有所偏差，输入环境色彩信息，有助于还原更真实的环境色彩倾向。

基于车内域控制器，从感知模块获取触发拍照时的车内色彩倾向信息，车内色彩倾向信息包括氛围灯、顶灯和车窗玻璃颜色，实际根据项目硬件和需求拓展；

若从感知模块未获取触发拍照时的车内色彩倾向信息，则跳过调整色彩参数流程；

若从感知模块获取触发拍照时的车内色彩倾向信息，则不跳过调整色彩参数流程，根据色彩倾向信息，选择色彩参数模板，色彩参数模板包括人脸AWB参数、灯AWB参数以及全局AWB参数，图3为本发明与传统拍照流程相比，针对感知模块获取的色彩信息，根据不同氛围灯色值，选择不同色彩参数模板的示意图，如氛围灯色值#006BFF，则选择色彩参数模板1，氛围灯色值#BD20088，选择色彩参数模板2，氛围灯色值#00FE00，选择色彩参数模板3……，最后根据所选择的色彩参数模板进行拍照。通过车内域控制器获取环境灯光信息，匹配同倾向的色彩，比如氛围灯倾向蓝，整体色彩应该偏蓝，人脸肤色做适当矫正。

基于多模态信息推荐美化效果包括以下内容：

基于车内多模态信息，从感知模块获取触发拍照时的场景信息；若从感知模块未获取触发拍照时的场景信息，则跳过推荐美化效果流程；若从感知模块获取到触发拍照时的场景信息，则不跳过推荐美化效果流程；图4为本发明美化流程，用户触发拍照，从感知模块获取信息，识别到场景A、场景B、场景C……并推件美化效果2、3、4……，执行美化，本发明中美化效果指利用滤镜、贴纸、裁剪以及背景音乐等素材提升拍照氛围。

在实际应用中，如：获取车机日程信息，识别到今日为情侣纪念日场景，推荐情侣拍照美化效果；获取车内图像信息，识别到带娃场景，推荐家庭拍照美化效果；获取车内音乐信息，识别到古风音乐场景，推荐古风拍照美化效果；获取车内氛围灯信息和时间，识别到类夜店场景，推荐潮流拍照美化效果；获取车机音频和图像信息，识别到氛围很欢乐，推荐娱乐拍照美化效果，通过车内域控制器获取环境灯光信息，匹配同倾向的色彩，比如氛围灯倾向蓝，整体色彩应该偏蓝，人脸肤色做适当矫正；通过车内音频、图像等多模态信息分析环境特征，匹配对应美化效果。

S103，执行流程，执行模块根据决策模块所匹配的拍照方案，自动调节拍摄参数以及拍照素材，实现智能拍照。

本实施例还提出了一种应用于基于车内多模态识别技术的智能拍照方法的系统，如图5所示，该系统包括：

感知模块，采集车内多模态信息，并将采集到的信息输出给决策模块，感知模块的采集维度包括车内各种传感器、车机系统内的图像、音频、文字和车设车控的参数值信息；

决策模块，接收感知模块所采集的信息，根据车内不同的场景和需求匹配拍照方案；

执行模块，根据决策模块匹配的拍照方案，自动调节拍摄参数与拍照素材，实现智能拍照。执行模块可以控制相机的曝光时间、白平衡等参数，以及拍照时的交互组件，如屏幕补光组件、反馈组件等；以及拍照所需的素材，如滤镜、装饰效果、裁剪效果。通过自动调节这些参数和组件和素材，执行模块能够提升拍照的质量和效果，使用户获得更好的拍照体验。

系统还包括补光与曝光模块、补光模板以及色彩参数模板，所述感知模块包括用于获取触发拍照时的车内亮度信息的光线传感器，用于获取人脸深度和人脸关键点信息的TOF传感器和图像传感器以及距离传感器，所述光线传感器、TOF传感器、图像传感器和距离传感器设置于相机拍摄端，所述补光模板根据面部特征分为增强面部光线与阴影的立体光和修饰脸型的V型光，所述色彩参数模板包括人脸AWB参数、灯AWB参数、全局AWB参数。

本发明提出的基于车内多模态识别技术的智能拍照方法及系统，兼容性强，通过像、深度、音频等多模态维度收集车内场景信息，根据个体差异性匹配拍照效果方案，解决车机智能拍照所面对的千人千面的应用痛点，使拍照更加智能化和个性化；运用屏幕补光，根据车内光线强度，通过设置的补光与曝光模块，自动提升屏幕亮度，无需额外配置补光装置，以达到照亮脸部的效果；根据感知模块所获取的车内多模态信息，决策模块匹配补光与曝光参数、补光模版、调整色彩参数以及推荐美化效果的拍照方案，通过执行模块自动调节拍摄参数以及拍照素材，实现智能拍照，从而提升了车机拍照的质量和效果，使用户获得更好的拍照体验。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于车内多模态识别技术的智能拍照方法，其特征在于，包括以下步骤流程：

S101，感知流程，按照预设频率通过感知模块对车内场景进行识别，并触发启动相机，感知模块采集车内多模态信息，获取车内场景和人脸信息，输出给决策模块，并将所获取车内场景和人脸信息缓存；

S102，决策流程，决策模块获取感知模块输入的信息后，触发拍照，根据感知模块所获取车内场景和人脸信息匹配相应的拍照方案，包括基于亮度信息匹配补光与曝光参数，基于人脸信息匹配补光模版，基于距离信息调整曝光参数，基于色彩信息调整色彩参数，基于多模态信息推荐美化效果，将匹配的拍照方案传输至执行模块；

基于亮度信息匹配补光与曝光参数包括以下内容：

基于设置在车内的光线传感器，从感知模块获取触发相机拍照时的车内亮度信息；

若从感知模块未获取到触发相机拍照时的车内亮度信息，则不跳过相机原有预曝光流程；

若从感知模块获取到触发相机拍照时的车内亮度信息，则跳过相机预曝光流程，将感知模块获取到的车内亮度信息输入给屏幕补光与曝光模块，匹配对应补光亮度与曝光参数；

基于人脸信息匹配补光模版包括以下内容：

基于车内设置的TOF传感器和图像传感器，从感知模块获取人脸深度和人脸关键点信息；

若从感知模块未获取到人脸深度和人脸关键点信息，则跳过补光模板匹配流程；

若从感知模块获取到人脸深度和人脸关键点信息，且人脸数量＞1时，则跳过补光模板匹配流程；

若从感知模块获取到人脸深度和人脸关键点信息，且人脸数量=1时，则不跳过补光模板匹配流程，根据面部五官及轮廓的人脸关键点信息，识别面部特征，选用对应特征的补光模板进行补光；

基于距离信息调整曝光参数包括以下内容：

基于车内设置的距离传感器，从感知模块获取触发相机拍照时的人脸与屏幕信息；

若从感知模块未获取触发相机拍照时的人脸与屏幕信息，则跳过调整曝光参数流程；

若从感知模块获取触发相机拍照时的人脸与屏幕信息，则不跳过曝光参数流程，根据人脸距离，按照以下方式调整曝光参数：

人脸距离≤20cm时，曝光补偿值-3 EV，防止人脸过曝；

20cm＜人脸距离＜40cm时，曝光补偿值-1 EV，防止人脸过曝；

40cm＜人脸距离＜60cm时，曝光补偿值不变；

60cm＜人脸距离＜80cm时，曝光补偿值加＋1 EV，防止人脸过暗；

80cm＜人脸距离＜100cm时，曝光补偿值加＋3 EV，防止人脸过暗；

100cm≤人脸距离时，曝光补偿值加＋4 EV；

基于色彩信息调整色彩参数包括以下内容：

基于车内域控制器，从感知模块获取触发拍照时的车内色彩倾向信息，车内色彩倾向信息包括氛围灯、顶灯和车窗玻璃颜色；

若从感知模块未获取触发拍照时的车内色彩倾向信息，则跳过调整色彩参数流程；

若从感知模块获取触发拍照时的车内色彩倾向信息，则不跳过调整色彩参数流程，根据色彩倾向信息，选择色彩参数模板，色彩参数模板包括人脸AWB参数、灯AWB参数以及全局AWB参数；

基于多模态信息推荐美化效果包括以下内容：

基于车内多模态信息，从感知模块获取触发拍照时的场景信息；若从感知模块未获取触发拍照时的场景信息，则跳过推荐美化效果流程；若从感知模块获取到触发拍照时的场景信息，则不跳过推荐美化效果流程；所述美化效果指用于提升拍照氛围的滤镜、贴纸、裁剪和背景音乐的素材；

S103，执行流程，执行模块根据决策模块所匹配的拍照方案，自动调节拍摄参数以及拍照素材，实现智能拍照。

2.根据权利要求1所述的一种基于车内多模态识别技术的智能拍照方法，其特征在于，在所述S101步骤中，感知模块按照0.2秒/次的预设频率对车内场景进行识别；将所获取车内场景和人脸信息缓存时，若本地车机系统内已有缓存逻辑可复用的缓存模块，则保持已有的缓存逻辑不变，将信息存储至缓存模块中，仅提供读取接口供决策模块调用，若本地车机系统内未有缓存逻辑可复用的缓存模块，则提供集中的缓存方式，缓存于本地车机系统，每5秒释放一次，用新的采集数据代替原有缓存数据。

3.根据权利要求1所述的一种基于车内多模态识别技术的智能拍照方法，其特征在于，在所述S101步骤中，感知模块采集车内多模态信息包括基于ToF传感器识别人脸和环境深度信息，基于光线传感器识别车内环境亮度，基于距离传感器识别相机与人脸距离，通过车机系统根据拍照需求获取行车状态信息，以上感知模块采集车内多模态信息的方式采用单独或并行操作。

4.一种应用于权利要求1-3任意一项所述的基于车内多模态识别技术的智能拍照方法的系统，其特征在于，所述系统包括：

感知模块，采集车内多模态信息，并将采集到的信息输出给决策模块，感知模块的采集维度包括车内各种传感器、车机系统内的图像、音频、文字和车设车控的参数值信息；

决策模块，接收感知模块所采集的信息，根据车内不同的场景和需求匹配拍照方案；

执行模块，根据决策模块匹配的拍照方案，自动调节拍摄参数与拍照素材，实现智能拍照。

5.根据权利要求4所述的系统，其特征在于，所述系统还包括补光与曝光模块、补光模板以及色彩参数模板，所述感知模块包括用于获取触发拍照时的车内亮度信息的光线传感器，用于获取人脸深度和人脸关键点信息的TOF传感器和图像传感器以及距离传感器，所述光线传感器、TOF传感器、图像传感器和距离传感器设置于相机的端部，所述补光模板根据面部特征分为增强面部光线与阴影的立体光和修饰脸型的V型光，所述色彩参数模板包括人脸AWB参数、灯AWB参数、全局AWB参数。