CN116101205A - 基于车内摄像头的智能座舱车内智能感知系统 - Google Patents
基于车内摄像头的智能座舱车内智能感知系统 Download PDFInfo
- Publication number
- CN116101205A CN116101205A CN202211105777.5A CN202211105777A CN116101205A CN 116101205 A CN116101205 A CN 116101205A CN 202211105777 A CN202211105777 A CN 202211105777A CN 116101205 A CN116101205 A CN 116101205A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- cabin
- information
- perception
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006870 function Effects 0.000 claims abstract description 204
- 230000008447 perception Effects 0.000 claims abstract description 193
- 230000009471 action Effects 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 42
- 238000012544 monitoring process Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Combined Controls Of Internal Combustion Engines (AREA)
Abstract
本申请公开了基于车内摄像头的智能座舱车内智能感知系统、设备、可读存储介质及基于车内摄像头的智能座舱车内智能感知装置,包括:获取车内摄像头采集的目标用户的用户驾驶状态信息、车内外传感器采集的目标用户对应的车辆驾驶环境信息以及目标车辆内各座舱功能控制器共同对应的功能状态信息;依据用户驾驶状态信息、车辆驾驶环境信息和各功能状态信息,对各座舱功能控制器进行感知决策分析,得到感知作用信息;依据感知作用信息和各座舱功能控制器对应的控制输入信息,生成联动感知控制信号;依据联动感知控制信号,控制各座舱功能控制器共同执行分别对应的座舱功能。本申请解决了智能感知系统控制座舱功能的控制准确性低的技术问题。
Description
技术领域
本申请涉及车辆技术领域,尤其涉及一种基于车内摄像头的智能座舱车内智能感知系统、设备、可读存储介质及基于车内摄像头的智能座舱车内智能感知装置。
背景技术
随着汽车技术的不断发展,汽车俨然成为了人们生活中不可或缺的交通工具之一,与此同时,汽车驾驶的智能化也势在必行,以汽车的智能座舱为例,传统汽车座舱的功能区布局过于碎片化,在5G和车联网高度普及的前提下,汽车座舱集成了车载娱乐系统、流媒体中央后视镜、全液晶仪表以及驾驶辅助等功能的智能座舱将带来更为智能的人机交互体验,目前,可通过汽车摄像头采集车内乘客行为状态,进而对空调控制器、车身控制器以及辅助驾驶控制器等控制器进行主动调节,以实现控制各座舱功能,从而为车内用户提供舒适的驾驶环境,但是,由于用户驾驶环境通常受到多种因素影响,且汽车摄像头无法采集车外信息,进而通过单独感知车内用户行为状态难以为车内提供较为舒适的驾驶环境,所以,智能感知系统控制座舱功能的控制准确性低。
发明内容
本申请的主要目的在于提供一种基于车内摄像头的智能座舱车内智能感知系统、设备、可读存储介质及基于车内摄像头的智能座舱车内智能感知装置,旨在解决现有技术中智能感知系统控制座舱功能的控制准确性低的技术问题。
为实现上述目的,本申请提供一种基于车内摄像头的智能座舱车内智能感知系统,所述基于车内摄像头的智能座舱车内智能感知系统包括相互通信连接的主控模块、座舱功能控制器、车内摄像头和车内外传感器,所述主控模块用于:
获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息;
依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息;
依据所述感知作用信息和各所述座舱功能控制器对应的控制输入信息,生成联动感知控制信号;
依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能。
为实现上述目的,本申请还提供一种基于车内摄像头的智能座舱车内智能感知装置,应用于基于车内摄像头的智能座舱车内智能感知设备,所述基于车内摄像头的智能座舱车内智能感知装置包括:
驾驶环境感知模块,用于获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息;
感知决策分析模块,用于依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息;
控制信号生成模块,用于依据所述感知作用信息和各所述座舱功能控制器对应的控制输入信息,生成联动感知控制信号;
座舱功能执行模块,用于依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能。
本申请还提供一种基于车内摄像头的智能座舱车内智能感知设备,所述基于车内摄像头的智能座舱车内智能感知设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于车内摄像头的智能座舱车内智能感知系统的程序,所述基于车内摄像头的智能座舱车内智能感知系统的程序被处理器执行时可实现如上述的基于车内摄像头的智能座舱车内智能感知系统的步骤。
本申请还提供一种可读存储介质,所述可读存储介质上存储有实现基于车内摄像头的智能座舱车内智能感知系统的程序,所述基于车内摄像头的智能座舱车内智能感知系统的程序被处理器执行时实现如上述的基于车内摄像头的智能座舱车内智能感知系统的步骤。
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的基于车内摄像头的智能座舱车内智能感知系统的步骤。
本申请提供了一种基于车内摄像头的智能座舱车内智能感知系统、设备、可读存储介质及基于车内摄像头的智能座舱车内智能感知装置,相比于现有技术仅根据用户驾驶状态进行座舱功能控制的方法,本申请首先获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息;进而依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息,也即,实现了通过用户驾驶状态信息、车辆驾驶环境信息和各功能状态信息,综合决策出对各座舱功能控制器对应的感知作用的目的;进而依据所述感知作用信息和各所述座舱功能控制器对应的控制输入信息,生成联动感知控制信号,也即,基于感知作用信息对原始的控制输入信息进行干预,以生成联动感知控制信号,进而依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能。由于联动感知控制信号是基于完全反映用户驾驶环境的感知作用信息生成,进而通过联动感知控制信号能够综合控制各座舱功能控制器共同执行分别对应的座舱功能,也即,实现了对智能座舱车内智能感知系统的不同座舱功能进行联动控制的目的,所以,克服了由于用户驾驶环境通常受到多种因素影响,且汽车摄像头无法采集车外信息,进而导致通过单独感知车内用户行为状态难以为车内提供较为舒适的驾驶环境的技术缺陷,所以,提升了智能感知系统控制座舱功能的控制准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请基于车内摄像头的智能座舱车内智能感知系统第一实施例的流程示意图;
图2为本申请基于车内摄像头的智能座舱车内智能感知系统第二实施例的流程示意图;
图3为本申请实施例中基于车内摄像头的智能座舱车内智能感知系统涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,均属于本发明保护的范围。
实施例一
本申请实施例提供一种基于车内摄像头的智能座舱车内智能感知系统,所述基于车内摄像头的智能座舱车内智能感知系统包括相互通信连接的主控模块、座舱功能控制器、车内摄像头和车内外传感器,在本申请基于车内摄像头的智能座舱车内智能感知系统的第一实施例中,参照图1,所述主控模块用于:
步骤S10,获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息;
步骤S20,依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息;
步骤S30,依据所述感知作用信息和各所述座舱功能控制器对应的控制输入信息,生成联动感知控制信号;
步骤S40,依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能。
在本实施例中,需要说明的是,所述智能车内智能感知系统设置于智能车辆,具体可以为由中控、平视显示器、全液晶仪表、智能音响、后视镜、车内摄像头模组以及远程信息处理系统等组成的智能系统,通过智能车内智能感知系统,可进行人车交互、车辆主动调节以及车与外界互联等众多功能,进而为智能车辆内的用户提供智能化的个性服务,所述座舱功能控制器用于控制执行座舱功能,所述座舱功能具体可以为车窗功能、灯光功能以及车内语音功能等,在一种可实施的方式中,不同域的座舱功能均有对应的座舱功能控制器,例如,空调功能对应着空调控制器,辅助驾驶功能对应着辅助驾驶控制器,不同的座舱功能控制器均通过CAN协议和座舱控制器通信,所述目标用户为所述智能车辆中坐在主驾驶位的用户,所述车内摄像头用于监控所述目标用户的用户驾驶状态,具体可通过用户驾驶状态信息进行表征,所述车内外传感器用于采集所述目标用户对应的车辆驾驶环境,具体可通过车辆驾驶环境信息进行表征,其中,所述用户驾驶状态信息包括驾驶行为状态信息和驾驶表情状态信息,所述驾驶行为状态信息具体可以为擦汗、掩鼻和挠痒等,所述驾驶表情状态信息具体可以为焦躁、疲惫、平静以及伤心等,所述车辆驾驶环境信息包括车内驾驶环境信息和车外驾驶环境信息,具体可以为车内空气质量、车外空气质量、车内灯光、车内温度、车外湿度以及车外噪声等。
另外地,需要说明的是,所述功能状态信息用于表征所述座舱功能控制器的控制器运行状态,所述控制器运行状态至少包括控制器的开关、控制器的运行时长以及控制器的运行模式中至少一种,基于车辆驾驶环境信息的采集需求,所述车内外传感器可以为采集温度的温度传感器或采集湿度的湿度传感器等,所述感知作用信息为对各所述座舱功能控制器的感知作用的信息,其中,感知作用的信息为感知作用的选择和组合的信息,用于驱动各所述座舱功能控制器进行座舱功能的实现,例如,在一种可实施的方式中,所述座舱功能为温度控制功能,感知作用A可将温度控制至26℃,感知作用B可将温度控制至19℃。
另外地,需要说明的是,所述联动感知控制信号用于同时对各座舱功能控制器进行控制,以促使所述目标用户对应的用户驾驶环境转变为预设标准驾驶环境,其中,所述标预设标准驾驶环境为预先设置好的最舒适的用户的驾驶环境,通过不同座舱功能控制器对用户驾驶环境相关的座舱功能进行联动控制,例如,在一种可实施的方式中,当目标用户坐在主驾驶位时,根据用户驾驶状态信息选择音乐播放以及进行座椅调节等,根据车辆环境信息主动调节车内灯光、温度及车帘等,不同的驾驶环境均有对应的感知作用模块,通过在感知作用模块中选取模块输入信息,以得到感知作用得分,进而可对各感知作用得分进行加权平均,以得到联动感知控制信号,其中,感知作用模块用于综合多个座舱功能控制器的控制输入信息,并通过控制作用模块输出,实现联动控制座舱功能控制器实现驾驶环境所需的座舱功能。
作为一种示例,步骤S10至步骤S40包括:获取所述车内摄像头采集的目标用户的用户驾驶行为状态信息和用户驾驶表情状态信息、获取所述车内外传感器采集的目标用户对应的车内驾驶环境信息和对应的车外驾驶环境信息以及获取所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息;将所述用户驾驶行为状态信息、所述用户驾驶表情状态信息、所述车内驾驶环境信息、所述车外驾驶环境信息以及各所述功能状态信息进行拼接,得到决策输入信息,通过特征提取所述决策输入信息,以提取所述决策输入信息中对决策分析贡大的特征信息,得到特征提取矩阵,进而对所述特征提取矩阵进行全连接,以进行感知决策,得到感知作用信息,其中,所述决策输入信息可以为矩阵,所述矩阵的列为时间点,所述矩阵的行为驾驶表情状态、驾驶行为状态、车内驾驶环境、车外驾驶环境以及功能状态;依据所述感知作用信息中的各感知作用标签,选取对应的感知作用模块,并通过所述感知作用信息中各感知作用得分,初始化所述感知作用模块,进而基于所述座舱功能控制器的控制输入信息输入对应的初始化后的控制作用模块,生成联动感知控制信号;依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能。
其中,所述车内外传感器包括车内传感器和车外传感器,所述获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息的步骤包括:
步骤A10,通过所述车内摄像头采集包含所述目标用户的车内监控画面,并将所述车内监控画面输入至预设驾驶状态感知模型,得到所述用户驾驶状态信息;
步骤A20,通过所述车内传感器采集所述目标车辆对应的车内温度信息、对应的车内湿度信息以及对应的车内空气质量信息,以及通过车外传感器获取所述目标车辆对应的车外温度信息、对应的车外温度信息以及对应的车外空气质量信息;
步骤A30,依据所述车内温度信息、所述车内湿度信息、车内空气质量信息、所述车温度信息、所述车外湿度信息和所述车外空气质量信息,生成所述车辆驾驶环境信息;
步骤A40,获取各所述座舱功能控制器的控制器运行状态,并根据各所述控制器运行状态,生成所述功能状态信息。
在本实施例中,需要说明的是,所述车内监控画面为所述车内摄像头在预设时间段截取的画面帧,其中,不包含所述目标用户的画面帧不为所述车内监控画面,所述预设驾驶状态感知模型用于输出所述目标用户的用户驾驶状态信息,所述车内传感器和所述车外传感器采集车内驾驶环境信息或采集车外驾驶环境信息的方式均为采集预设时间段内的驾驶环境状态值,进而将驾驶环境状态值组成的驾驶环境状态表示向量作为驾环境信息,例如,在一种可实施的方式中,假设所述驾驶环境信息为车内温度信息,则通过车内温度采集器采集所述目标用户所在的智能车辆内在预设时间段内的车内温度值,进而将各车内温度值组成的车内温度表示向量作为车内温度信息,以此类推,所述车外温度信息、车内湿度信息、车外湿度信息、车内空气质量信息和车外空气质量信息均可由此得到。
作为一种示例,步骤A10至步骤A40包括:通过所述车内摄像头采集包含所述目标用户的车内监控画面,并将所述车内监控画面输入至预设驾驶状态感知模型,得到所述用户驾驶状态信息;通过所述车内传感器采集所述目标车辆对应的车内温度信息、对应的车内湿度信息以及对应的车内空气质量信息,以及通过车外传感器获取所述目标车辆对应的车外温度信息、对应的车外温度信息以及对应的车外空气质量信息;将所述车内温度表示向量、所述车内湿度表示向量和车内空气质量表示向量拼接为车内驾驶环境表示向量,以及将所述车外温度表示向量、所述车外湿度表示向量和所述车外空气质量表示向量拼接为车外驾驶环境表示向量,其中,所述车内驾驶环境表示向量可用于表征所述车内驾驶环境信息,所述车外驾驶环境表示向量可用于表征所述车外驾驶环境信息。
其中,所述通过所述车内摄像头采集包含所述目标用户的车内监控画面,并将所述车内监控画面输入至预设驾驶状态感知模型,得到所述用户驾驶状态信息的步骤包括:
步骤B10,将所述车内监控画面输入至所述预设驾驶状态感知模型,得到所述目标用户的目标用户图像;
步骤B20,对所述目标用户图像进行图像特征提取,得到目标用户眼部特征;
步骤B30,通过比对所述目标用户眼部特征和预设眼部特征图谱,得到所述用户驾驶状态信息。
在本实施例中,需要说明的是,所述预设驾驶状态感知模型在接收到车内监控画面后,可对所述车内监控画面中所述目标用户进行放大,以便于后续训练好的深度神经网络模型进行图像特征提取,所述目标用户眼部特征用于反映所述目标用户的驾驶状态,所述预设眼部特征图谱中存储有预设眼部特征与用户驾驶状态之间的一一映射关系,当所述目标眼部特征与预设眼部特征之间的特征相似度大于预设特征相似度阈值时,则输出用于表征所述目标用户的驾驶状态的用户驾驶状态信息。
作为一种示例,步骤B10至步骤B30包括:将所述车内监控画面输入至所述预设驾驶状态感知模型,得到所述目标用户的目标用户图像;对所述目标用户图像进行图像特征提取,得到目标用户眼部特征;依据所述目标用户眼部特征和所述预设眼部特征图谱中预设眼部特征之间的特征相似度,确定所述用户驾驶状态信息。
其中,所述依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息的步骤包括:
步骤C10,依据所述用户驾驶状态信息、所述车辆驾驶环境信息以及各所述功能状态信息,对所述目标用户在第一预设时间段后的驾驶环境状态进行预测,得到驾驶环境状态预测结果;
步骤C20,依据所述驾驶环境状态预测结果和预设标准驾驶环境状态之间的差异度,生成所述感知作用信息。
在本实施例中,需要说明的是,可通过预设驾驶环境变化预测模型,对目标用户在第一预设时间段后的驾驶环境状态进行预测,所述预设驾驶环境变化预测模型为循环神经网络模型,可预测所述目标用户所在智能车辆的驾驶环境随时间的变化情况,所述第一预设时间段的时间点从当前时间步开始,经过预设数量的时间步之后的时间点,具体可以为下一时间步或下一时间步的下一时间步等,所以,所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息均有时间戳,所述智能座舱车内智能感知系统获取的信息均为当前时间步的信息,例如用户驾驶状态信息和所述车辆驾驶环境信息等。
作为一种示例,步骤C10至步骤C20包括:将所述用户驾驶状态信息、所述车辆驾驶环境信息以及各所述功能状态信息进行拼接,得到决策输入信息,将所述决策输入信息输入至预设驾驶环境变化预测模型,以预测所述目标用户所处驾驶环境随时间的变换情况,得到驾驶环境状态预测结果。
其中,所述驾驶环境状态预测结果包括驾驶环境状态预测向量,所述预设标准驾驶环境状态包括标准环境状态表示向量,所述依据所述驾驶环境状态预测结果和预设标准驾驶环境状态之间的差异度,生成所述感知作用信息的步骤包括:
步骤D10,通过计算所述驾驶环境状态预测向量与所述标准环境状态表示向量之间的向量差值,得到差值向量;
步骤D20,将所述差值向量输入至预设感知作用预测模型,得到所述感知作用信息。
作为一种示例,步骤D10至步骤D20包括:通过计算所述驾驶环境状态预测向量与所述标准环境状态表示向量之间的向量差值,得到差值向量,其中,所述驾驶环境状态预测向量可表征驾驶环境状态;通过将所述差值向量输入至预设感知作用预测模型,将所述差值向量映射为所述感知作用信息,其中,所述感知作用信息至少包括某一驾驶环境特征对应的感知作用标签和对应的感知作用得分。
其中,在所述依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能的步骤之后,所述基于车内摄像头的智能座舱车内智能感知系统还包括:
步骤E10,在预设显示界面上显示座舱功能执行信息,并在第二预设时间段内检测是否接收到针对于各所述座舱功能控制器的座舱功能调节指令;
步骤E20,若是,则调节所述座舱功能调节指令对应的座舱功能控制器。
在本实施例中,需要说明的是,所述第二预设时间段用于表征各所述影响驾驶环境的座舱功能控制器共同执行座舱功能后,所述智能车辆维持对应的驾驶环境的时长,所述预设显示界面由所述智能车辆设置的显示装置显示,具体可以为虚拟显示屏或中控显示屏等,所述座舱功能调节指令用于调节所述座舱功能控制器,具体可以由用户通过手势或语音等操作输入。
作为一种示例,步骤E10至步骤E20包括:在预设显示界面上显示座舱功能执行信息,并在第二预设时间段内检测是否接收到针对于各所述座舱功能控制器的座舱功能调节指令;在所述第二预设时间段内检测到所述座舱功能调节指令,则调节所述座舱功能调节指令对应的座舱功能控制器。
本申请提供了一种基于车内摄像头的智能座舱车内智能感知系统,相比于现有技术仅根据用户驾驶状态进行座舱功能控制的方法,本申请首先获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息;进而依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息,也即,实现了通过用户驾驶状态信息、车辆驾驶环境信息和各功能状态信息,综合决策出对各座舱功能控制器对应的感知作用的目的;进而依据所述感知作用信息和各所述座舱功能控制器对应的控制输入信息,生成联动感知控制信号,也即,基于感知作用信息对原始的控制输入信息进行干预,以生成联动感知控制信号,进而依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能。由于联动感知控制信号是基于完全反映用户驾驶环境的感知作用信息生成,进而通过联动感知控制信号能够综合控制各座舱功能控制器共同执行分别对应的座舱功能,也即,实现了对智能座舱车内智能感知系统的不同座舱功能进行联动控制的目的,所以,克服了由于用户驾驶环境通常受到多种因素影响,且汽车摄像头无法采集车外信息,进而导致通过单独感知车内用户行为状态难以为车内提供较为舒适的驾驶环境的技术缺陷,所以,提升了智能感知系统控制座舱功能的控制准确性。
实施例二
进一步地,参照图2,在本申请另一实施例中,与上述实施例一相同或相似的内容,可以参考上文介绍,后续不再赘述。在此基础上,所述依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息的步骤包括:
步骤F10,将所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息输入至预设感知作用预测模型,对各所述座舱功能控制器进行感知作用预测,得到感知作用预测结果;
步骤F20,依据所述感知作用预测结果中各感知作用得分与预设感知作用得分阈值之间的大小关系,确定各所述座舱功能控制器对应的目标感知作用得分;
步骤F30,依据各所述目标感知作用得分和所述感知作用预测结果,生成所述感知作用信息。
在本实施例中,需要说明的是,所述预设感知作用预测模型为强化学习模型,所述感知决策分析为强化学习的决策过程,通过对当前时间步的用户驾驶状态信息、车辆驾驶环境信息和功能状态信息进行决策分析,以控制各所述座舱功能控制器处于应当执行的控制决策,进而使得所述智能车辆在预设标准驾驶环境中。
作为一种示例,步骤F10至步骤F30包括:将所述用户驾驶状态信息、所述车辆驾驶环境信息以及功能状态信息拼接为所述决策输入信息,通过所述预设感知作用预测模型对所述决策输入信息对应的决策输入表示矩阵进行特征提取,得到目标特征矩阵,并将所述目标特征矩阵映射为感知作用预测向量,进而将所述感知作用预测向量作为感知作用预测结果;若所述感知作用预测结果中的感知作用得分大于所述预设感知作用得分阈值,则将所述感知作用得分作为目标感知作用得分,进而得到各所述座舱功能控制器对应的目标感知作用得分;在所述感知作用预测结果中选取各所述目标感知作用得分对应的目标感知作用标签,依据各所述目标感知作用标签和各所述目标感知作用得分组成的向量作为所述感知作用信息。
本申请实施例提供了一种感知作用信息生成方法,也即,将所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息输入至预设感知作用预测模型,对各所述座舱功能控制器进行感知作用预测,得到感知作用预测结果;依据所述感知作用预测结果中各感知作用得分与预设感知作用得分阈值之间的大小关系,确定各所述座舱功能控制器对应的目标感知作用得分;依据各所述目标感知作用得分和所述感知作用预测结果,生成所述感知作用信息。由于用户的主观意念时刻在变化,而预设感知作用预测模型是对智能车辆当前时间步的驾驶环境进行预测,进而可实现实时确保当前驾驶环境为用户舒适的驾驶环境的目的,所以,为提升智能感知系统控制座舱功能的控制准确性奠定了基础。
实施例三
本申请实施例还提供一种基于车内摄像头的智能座舱车内智能感知装置,所述基于车内摄像头的智能座舱车内智能感知装置应用于基于车内摄像头的智能座舱车内智能感知设备,所述基于车内摄像头的智能座舱车内智能感知装置包括:
驾驶环境感知模块,用于获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息;
感知决策分析模块,用于依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息;
控制信号生成模块,用于依据所述感知作用信息和各所述座舱功能控制器对应的控制输入信息,生成联动感知控制信号;
座舱功能执行模块,用于依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能。
可选地,所述车内外传感器包括车内传感器和车外传感器,所述感知决策分析模块还用于:
通过所述车内摄像头采集包含所述目标用户的车内监控画面,并将所述车内监控画面输入至预设驾驶状态感知模型,得到所述用户驾驶状态信息;
通过所述车内传感器采集所述目标车辆对应的车内温度信息、对应的车内湿度信息以及对应的车内空气质量信息,以及通过车外传感器获取所述目标车辆对应的车外温度信息、对应的车外温度信息以及对应的车外空气质量信息;
依据所述车内温度信息、所述车内湿度信息、车内空气质量信息、所述车温度信息、所述车外湿度信息和所述车外空气质量信息,生成所述车辆驾驶环境信息;
获取各所述座舱功能控制器的控制器运行状态,并根据各所述控制器运行状态,生成所述功能状态信息。
可选地,所述感知决策分析模块还用于:
依据所述用户驾驶状态信息、所述车辆驾驶环境信息以及各所述功能状态信息,对所述目标用户在第一预设时间段后的驾驶环境状态进行预测,得到驾驶环境状态预测结果;
依据所述驾驶环境状态预测结果和预设标准驾驶环境状态之间的差异度,生成所述感知作用信息。
可选地,所述驾驶环境状态预测结果包括驾驶环境状态预测向量,所述感知决策分析模块还用于:
通过计算所述驾驶环境状态预测向量与所述标准环境状态表示向量之间的向量差值,得到差值向量;
将所述差值向量输入至预设感知作用预测模型,得到所述感知作用信息。
可选地,所述感知决策分析模块还用于:
将所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息输入至预设感知作用预测模型,对各所述座舱功能控制器进行感知作用预测,得到感知作用预测结果;
依据所述感知作用预测结果中各感知作用得分与预设感知作用得分阈值之间的大小关系,确定各所述座舱功能控制器对应的目标感知作用得分;
依据各所述目标感知作用得分和所述感知作用预测结果,生成所述感知作用信息。
可选地,所述感知决策分析模块还用于:
将所述车内监控画面输入至所述预设驾驶状态感知模型,得到所述目标用户的目标用户图像;
对所述目标用户图像进行图像特征提取,得到目标用户眼部特征;
通过比对所述目标用户眼部特征和预设眼部特征图谱,得到所述用户驾驶状态信息。
可选地,所述基于车内摄像头的智能座舱车内智能感知装置还用于:
在预设显示界面上显示座舱功能执行信息,并在第二预设时间段内检测是否接收到针对于各所述座舱功能控制器的座舱功能调节指令;
若是,则调节所述座舱功能调节指令对应的座舱功能控制器。
本发明提供的基于车内摄像头的智能座舱车内智能感知装置,采用上述实施例中的基于车内摄像头的智能座舱车内智能感知系统,解决了智能感知系统控制座舱功能的控制准确性低的技术问题。与现有技术相比,本发明实施例提供的基于车内摄像头的智能座舱车内智能感知装置的有益效果与上述实施例提供的基于车内摄像头的智能座舱车内智能感知系统的有益效果相同,且该基于车内摄像头的智能座舱车内智能感知装置中的其他技术特征与上述实施例系统公开的特征相同,在此不做赘述。
实施例四
本发明实施例提供一种电子设备,电子设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施例一中的基于车内摄像头的智能座舱车内智能感知系统。
下面参考图3,其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示,电子设备可以包括处理装置1001(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM)1002中的程序或者从存储装置1003加载到随机访问存储器(RAM)1004中的程序而执行各种适当的动作和处理。在RAM1004中,还存储有电子设备操作所需的各种程序和数据。处理装置1001、ROM1002以及RAM1004通过总线1005彼此相连。输入/输出(I/O)接口1006也连接至总线。
通常,以下系统可以连接至I/O接口1006:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置1007;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1008;包括例如磁带、硬盘等的存储装置1003;以及通信装置1009。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备,但是应理解的是,并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的系统的程序代码。在这样的实施例中,该计算机程序可以通过通信装置1009从网络上被下载和安装,或者从存储装置1003被安装,或者从ROM1002被安装。在该计算机程序被处理装置1001执行时,执行本公开实施例的系统中限定的上述功能。
本发明提供的电子设备,采用上述实施例中的基于车内摄像头的智能座舱车内智能感知系统,解决了智能感知系统控制座舱功能的控制准确性低的技术问题。与现有技术相比,本发明实施例提供的电子设备的有益效果与上述实施例提供的基于车内摄像头的智能座舱车内智能感知系统的有益效果相同,且该电子设备中的其他技术特征与上述实施例系统公开的特征相同,在此不做赘述。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
实施例五
本实施例提供一种可读存储介质,具有存储在其上的计算机可读程序指令,计算机可读程序指令用于执行上述实施例中的基于车内摄像头的智能座舱车内智能感知系统。
本发明实施例提供的可读存储介质例如可以是U盘,但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件,或者任意以上的组合。可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述可读存储介质可以是电子设备中所包含的;也可以是单独存在,而未装配入电子设备中。
上述可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被电子设备执行时,使得电子设备:获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息;依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息;依据所述感知作用信息和各所述座舱功能控制器对应的控制输入信息,生成联动感知控制信号;依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该单元本身的限定。
本发明提供的可读存储介质,存储有用于执行上述基于车内摄像头的智能座舱车内智能感知系统的计算机可读程序指令,解决了智能感知系统控制座舱功能的控制准确性低的技术问题。与现有技术相比,本发明实施例提供的可读存储介质的有益效果与上述实施例提供的基于车内摄像头的智能座舱车内智能感知系统的有益效果相同,在此不做赘述。
实施例六
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的基于车内摄像头的智能座舱车内智能感知系统的步骤。
本申请提供的计算机程序产品解决了智能感知系统控制座舱功能的控制准确性低的技术问题。与现有技术相比,本发明实施例提供的计算机程序产品的有益效果与上述实施例提供的基于车内摄像头的智能座舱车内智能感知系统的有益效果相同,在此不做赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。
Claims (10)
1.一种基于车内摄像头的智能座舱车内智能感知系统,其特征在于,所述基于车内摄像头的智能座舱车内智能感知系统包括相互通信连接的主控模块、座舱功能控制器、车内摄像头和车内外传感器,所述主控模块用于:
获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息;
依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息;
依据所述感知作用信息和各所述座舱功能控制器对应的控制输入信息,生成联动感知控制信号;
依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能。
2.如权利要求1所述基于车内摄像头的智能座舱车内智能感知系统,其特征在于,所述车内外传感器包括车内传感器和车外传感器,所述获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息的步骤包括:
通过所述车内摄像头采集包含所述目标用户的车内监控画面,并将所述车内监控画面输入至预设驾驶状态感知模型,得到所述用户驾驶状态信息;
通过所述车内传感器采集所述目标车辆对应的车内温度信息、对应的车内湿度信息以及对应的车内空气质量信息,以及通过车外传感器获取所述目标车辆对应的车外温度信息、对应的车外温度信息以及对应的车外空气质量信息;
依据所述车内温度信息、所述车内湿度信息、车内空气质量信息、所述车温度信息、所述车外湿度信息和所述车外空气质量信息,生成所述车辆驾驶环境信息;
获取各所述座舱功能控制器的控制器运行状态,并根据各所述控制器运行状态,生成所述功能状态信息。
3.如权利要求1所述基于车内摄像头的智能座舱车内智能感知系统,其特征在于,所述依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息的步骤包括:
依据所述用户驾驶状态信息、所述车辆驾驶环境信息以及各所述功能状态信息,对所述目标用户在第一预设时间段后的驾驶环境状态进行预测,得到驾驶环境状态预测结果;
依据所述驾驶环境状态预测结果和预设标准驾驶环境状态之间的差异度,生成所述感知作用信息。
4.如权利要求1所述基于车内摄像头的智能座舱车内智能感知系统,其特征在于,所述驾驶环境状态预测结果包括驾驶环境状态预测向量,所述预设标准驾驶环境状态包括标准环境状态表示向量,
所述依据所述驾驶环境状态预测结果和预设标准驾驶环境状态之间的差异度,生成所述感知作用信息的步骤包括:
通过计算所述驾驶环境状态预测向量与所述标准环境状态表示向量之间的向量差值,得到差值向量;
将所述差值向量输入至预设感知作用预测模型,得到所述感知作用信息。
5.如权利要求1所述基于车内摄像头的智能座舱车内智能感知系统,其特征在于,所述依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息的步骤包括:
将所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息输入至预设感知作用预测模型,对各所述座舱功能控制器进行感知作用预测,得到感知作用预测结果;
依据所述感知作用预测结果中各感知作用得分与预设感知作用得分阈值之间的大小关系,确定各所述座舱功能控制器对应的目标感知作用得分;
依据各所述目标感知作用得分和所述感知作用预测结果,生成所述感知作用信息。
6.如权利要求2所述基于车内摄像头的智能座舱车内智能感知系统,其特征在于,所述通过所述车内摄像头采集包含所述目标用户的车内监控画面,并将所述车内监控画面输入至预设驾驶状态感知模型,得到所述用户驾驶状态信息的步骤包括:
将所述车内监控画面输入至所述预设驾驶状态感知模型,得到所述目标用户的目标用户图像;
对所述目标用户图像进行图像特征提取,得到目标用户眼部特征;
通过比对所述目标用户眼部特征和预设眼部特征图谱,得到所述用户驾驶状态信息。
7.如权利要求1所述基于车内摄像头的智能座舱车内智能感知系统,其特征在于,在所述依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能的步骤之后,所述基于车内摄像头的智能座舱车内智能感知系统还包括:
在预设显示界面上显示座舱功能执行信息,并在第二预设时间段内检测是否接收到针对于各所述座舱功能控制器的座舱功能调节指令;
若是,则调节所述座舱功能调节指令对应的座舱功能控制器。
8.一种基于车内摄像头的智能座舱车内智能感知装置,其特征在于,应用于基于车内摄像头的智能座舱车内智能感知设备,所述基于车内摄像头的智能座舱车内智能感知装置包括:
驾驶环境感知模块,用于获取所述车内摄像头采集的目标用户的用户驾驶状态信息、所述车内外传感器采集的目标用户对应的车辆驾驶环境信息以及所述目标车辆内各所述座舱功能控制器共同对应的功能状态信息;
感知决策分析模块,用于依据所述用户驾驶状态信息、所述车辆驾驶环境信息和各所述功能状态信息,对各所述座舱功能控制器进行感知决策分析,得到感知作用信息;
控制信号生成模块,用于依据所述感知作用信息和各所述座舱功能控制器对应的控制输入信息,生成联动感知控制信号;
座舱功能执行模块,用于依据所述联动感知控制信号,控制各所述座舱功能控制器共同执行分别对应的座舱功能。
9.一种基于车内摄像头的智能座舱车内智能感知设备,其特征在于,所述基于车内摄像头的智能座舱车内智能感知设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7中任一项所述的基于车内摄像头的智能座舱车内智能感知系统的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有实现基于车内摄像头的智能座舱车内智能感知系统的程序,所述实现基于车内摄像头的智能座舱车内智能感知系统的程序被处理器执行以实现如权利要求1至7中任一项所述基于车内摄像头的智能座舱车内智能感知系统的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211105777.5A CN116101205A (zh) | 2022-09-09 | 2022-09-09 | 基于车内摄像头的智能座舱车内智能感知系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211105777.5A CN116101205A (zh) | 2022-09-09 | 2022-09-09 | 基于车内摄像头的智能座舱车内智能感知系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116101205A true CN116101205A (zh) | 2023-05-12 |
Family
ID=86258556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211105777.5A Pending CN116101205A (zh) | 2022-09-09 | 2022-09-09 | 基于车内摄像头的智能座舱车内智能感知系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116101205A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116466828A (zh) * | 2023-06-19 | 2023-07-21 | 无锡车联天下信息技术有限公司 | 一种智能座舱驾驶环境手势智能检测方法 |
-
2022
- 2022-09-09 CN CN202211105777.5A patent/CN116101205A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116466828A (zh) * | 2023-06-19 | 2023-07-21 | 无锡车联天下信息技术有限公司 | 一种智能座舱驾驶环境手势智能检测方法 |
CN116466828B (zh) * | 2023-06-19 | 2023-08-18 | 无锡车联天下信息技术有限公司 | 一种智能座舱驾驶环境手势智能检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110287810B (zh) | 车门动作检测方法、装置和计算机可读存储介质 | |
US11330384B2 (en) | Artificial intelligence device for diagnosing failure and method thereof | |
CN112083795A (zh) | 对象控制方法及装置、存储介质和电子设备 | |
CN116101205A (zh) | 基于车内摄像头的智能座舱车内智能感知系统 | |
US20220197457A1 (en) | Coupling of User Interfaces | |
CN112905004A (zh) | 一种用于车载显示屏的手势控制方法、装置和存储介质 | |
CN115402230A (zh) | 一种基于智能座舱的车载智能硬件系统管理方法 | |
CN114167992A (zh) | 显示画面渲染方法、电子设备及可读存储介质 | |
CN114724528B (zh) | 显示设备的显示控制方法、装置、电子设备及存储介质 | |
WO2023237079A1 (zh) | 基于驾驶行为的交互显示方法、装置、设备及介质 | |
CN117666791A (zh) | 手势控制双重认证方法、装置、电子设备及存储介质 | |
CN112102584A (zh) | 一种车辆的自动驾驶报警方法、装置、车辆和存储介质 | |
WO2023036230A1 (zh) | 一种执行指令确定方法、装置、设备及存储介质 | |
CN115489402A (zh) | 车辆座舱调整方法、装置、电子设备及可读存储介质 | |
CN116259039A (zh) | 一种自动驾驶汽车行驶风险模型的参数标定方法 | |
CN116958851A (zh) | 视频时效模型的训练方法、装置、设备及存储介质 | |
WO2023272629A1 (zh) | 界面的控制方法、装置和系统 | |
CN114419610A (zh) | 车辆的老人模式切换方法、装置、电子设备及存储介质 | |
CN114677738A (zh) | Mv录制方法、装置、电子设备及计算机可读存储介质 | |
CN115022611A (zh) | Vr画面显示方法、电子设备及可读存储介质 | |
CN111796980A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN117681659A (zh) | 一种车辆仪表屏的显示方法、装置、介质、电子设备 | |
CN117648049A (zh) | 导航地图缩放方法、装置、电子设备及存储介质 | |
CN118849768A (zh) | 车辆中控屏的位姿调整方法、装置、设备及存储介质 | |
CN114916944A (zh) | 疲劳驾驶监测方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |