CN114572141A - 乘员监测系统、乘员遗留提醒方法及相关设备 - Google Patents

Abstract

本发明涉及行车安全技术领域，提供一种乘员监测系统、乘员遗留提醒方法及相关设备。乘员监测系统包括：行车检测装置，用于检测车辆的行车状态；以及乘员检测装置，设于车辆的乘员舱内，包括检测范围覆盖乘员舱且至少部分重叠的摄像组件和雷达，乘员检测装置与行车检测装置连接，用于在行车状态的触发下采集乘员舱内的乘员信息。本发明通过检测范围覆盖乘员舱且至少部分重叠的摄像组件和雷达，实现对乘员舱的精准检测，提高检测精度；并通过行车状态触发乘员检测装置，实现根据行车状态适时检测，可适用于驻车状态下的乘员遗留监测，及时预知风险，提高行车安全。

Description

乘员监测系统、乘员遗留提醒方法及相关设备

技术领域

本发明涉及行车安全技术领域，具体地说，涉及一种乘员监测系统、乘员遗留提醒方法及相关设备。

背景技术

出于行车安全考虑，现有的车辆都会在乘员舱内加装传感器，对乘员进行监测，以及时预知风险。

例如，现有方案通常在座椅上设置坐垫传感器，通过感知重量，以及重量的分布判断车内是否有人，以及乘员的分类。

这种监测方案的缺点是无法区分人和物品，误报率高。并且乘员分类的准确率低，无法准确判断乘员是儿童或成人，如要实现准确判断，则需要加装成本极高的坐垫传感器，不利于推广应用。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种乘员监测系统、乘员遗留提醒方法及相关设备，能实现乘员舱的全面检测以及乘员的准确识别。

本发明的一个方面提供一种乘员监测系统，包括：行车检测装置，用于检测车辆的行车状态；以及乘员检测装置，设于所述车辆的乘员舱内，包括检测范围覆盖所述乘员舱且至少部分重叠的摄像组件和雷达，所述乘员检测装置与所述行车检测装置连接，用于在所述行车状态的触发下，采集所述乘员舱内的乘员信息。

在一些实施例中，所述摄像组件包括：第一TOF相机，可旋转地设于所述乘员舱的前排区域，所述第一TOF相机的检测范围至少可活动地覆盖所述乘员舱的前排座椅区域；第二TOF相机，可旋转地设于所述乘员舱的中部或后部区域，所述第二TOF相机的检测范围至少可活动地覆盖所述乘员舱的后排座椅区域。

在一些实施例中，所述雷达包括一个或多个，所述雷达的检测范围覆盖所述乘员舱。

在一些实施例中，所述乘员检测装置通过所述车辆的电子控制单元连接所述行车检测装置。

在一些实施例中，所述摄像组件通过图像处理器连接所述电子控制单元，所述雷达和所述行车检测装置通过CAN模块连接所述电子控制单元。

在一些实施例中，所述行车检测装置包括：发动机传感器，用于检测所述车辆的发动机状态；车速传感器，用于检测所述车辆的车速状态；车门传感器，用于检测所述车辆的车门状态。

在一些实施例中，所述的乘员监测系统还包括：提醒装置，通过所述车辆的电子控制单元连接所述行车检测装置和所述乘员检测装置，用于在所述电子控制单元的触发下发出提醒。

在一些实施例中，所述提醒装置包括：车载组件，包括车载显示屏和车载音响；车身部件，通过所述车辆的车身控制模块连接所述电子控制单元；移动设备，通过所述车辆的无线通信模块连接所述电子控制单元。

在一些实施例中，所述车身部件包括所述车辆的车门、车窗、空调、喇叭和大灯。

本发明的又一个方面提供一种乘员遗留提醒方法，包括：响应于车辆的驻车信号，获得乘员舱内的乘员信息；至少根据所述乘员信息，确定遗留场景；以及根据所述遗留场景，发出提醒信息。

在一些实施例中，所述确定遗留场景，包括：获得由所述车辆的摄像组件采集的第一乘员信息和由所述车辆的雷达采集的第二乘员信息；根据所述第一乘员信息和所述第二乘员信息，确定所述乘员舱内是否有遗留的活体。

在一些实施例中，所述根据所述遗留场景，发出提醒信息，包括：当确定所述乘员舱内有儿童遗留时，生成第一遗留场景；响应于所述第一遗留场景，监测所述车辆的车门状态；于所述车门打开的第一预设时间内，通过所述车辆的车载组件发出第一提醒。

在一些实施例中，所述通过所述车辆的车载组件发出第一提醒之后，还包括：持续监测所述第一遗留场景；当所述第一遗留场景的持续时间超出第二预设时间，通过所述车辆的车身部件和所述车辆关联的移动设备发出第二提醒。

在一些实施例中，所述通过所述车辆的车身部件和所述车辆关联的移动设备发出第二提醒，包括：通过所述车辆的喇叭和大灯发出与求救信号频率相同的声光信号；以第一频率向所述移动设备推送提醒信息；以及监测所述移动设备的反馈，直至接收到所述移动设备的确认反馈，停止所述第二提醒。

在一些实施例中，所述的乘员遗留提醒方法还包括：当所述第一遗留场景的持续时间超出第三预设时间，所述第三预设时间大于所述第二预设时间，发出第三提醒，包括：启动所述车辆的紧急呼叫；降低所述车辆的车窗和/或开启所述车辆的空调；以大于所述第一频率的第二频率，向所述移动设备推送提醒信息；以及监测所述移动设备的位置，直至所述移动设备进入所述车辆的感应距离范围内，停止所述第三提醒。

在一些实施例中，所述根据所述遗留场景，发出提醒信息，包括：当确定所述乘员舱内仅有成人遗留时，判断遗留的成人是否处于睡眠状态；若是，生成第二遗留场景，并持续监测所述第二遗留场景；当所述第二遗留场景的持续时间超出第一设定时间，发出唤醒提醒。

在一些实施例中，所述发出唤醒提醒，包括：通过车载音响发出语音提醒；和/或通过位于所述车辆内的移动设备发出铃声提醒；和/或通过座椅和/或安全带发出震动提醒。

在一些实施例中，所述发出唤醒提醒之后，还包括：当所述第二遗留场景的持续时间超出第二设定时间，降低所述车辆的车窗和/或开启所述车辆的空调，并启动所述车辆的紧急呼叫。

在一些实施例中，所述的乘员遗留提醒方法还包括：获得所述乘员舱内的第一乘员数量；于所述车辆的车门打开，且所述驻车信号解除时，获得所述乘员舱内的第二乘员数量；比对所述第一乘员数量和所述第二乘员数量；以及当所述第二乘员数量小于所述第一乘员数量时，生成第三遗留场景。

在一些实施例中，所述根据所述遗留场景，发出提醒信息，包括：获得所述第一乘员数量对应的第一人脸集合及所述第二乘员数量对应的第二人脸集合；比对所述第一人脸集合和所述第二人脸集合，确定遗留乘员；以及将所述遗留乘员的人脸信息推送至所述车辆的车载显示屏。

在一些实施例中，所述将所述遗留乘员的人脸信息推送至所述车辆的车载显示屏之后，还包括：响应于所述车载显示屏触发的找回操作，向所述遗留乘员的移动设备推送找回提醒；以及获得所述车辆的第一位置信息和所述遗留乘员的移动设备的第二位置信息，将所述第一位置信息及自所述第二位置信息至所述第一位置信息的导航路线推送至所述遗留乘员的移动设备。

本发明的又一个方面提供一种乘员遗留提醒装置，包括：检测信息获取模块，配置为响应于车辆的驻车信号，获得乘员舱内的乘员信息；遗留场景判定模块，配置为至少根据所述乘员信息，确定遗留场景；以及提醒信息生成模块，配置为根据所述遗留场景，发出提醒信息。

本发明的又一个方面提供一种电子设备，包括：一处理器；一存储器，所述存储器中存储有可执行指令；其中，所述可执行指令被所述处理器执行时，实现上述任意实施例所述的乘员遗留提醒方法。

本发明的又一个方面提供一种计算机可读的存储介质，用于存储程序，其特征在于，所述程序被执行时实现上述任意实施例所述的乘员遗留提醒方法。

本发明与现有技术相比的有益效果至少包括：

通过检测范围覆盖乘员舱且至少部分重叠的摄像组件和雷达，使摄像组件的检测和雷达的检测相互融合，共同做出更全面、更准确的判断，且在特定场景下摄像组件的检测和雷达的检测能够互为冗余，彼此校验，实现对整个乘员舱内所有乘员的精准监测，防止漏识别，提高检测精度；

通过行车状态触发乘员检测装置，实现根据行车状态适时检测，可适用于驻车状态下的乘员遗留监测，及时预知风险，提高行车安全。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明实施例中乘员监测系统的主要组成结构示意图；

图2示出本发明实施例中乘员检测装置的配置结构示意图；

图3和图4示出本发明实施例中旋转第二TOF相机以监测特定区域的示意图；

图5示出本发明实施例中乘员监测系统的具体组成结构和数据传输示意图；

图6示出本发明实施例中乘员遗留提醒方法的步骤示意图；

图7示出本发明实施例中驻车时儿童遗留场景的监控流程示意图；

图8示出本发明实施例中驻车时成人遗留场景的监控流程示意图；

图9示出本发明实施例中乘员遗留提醒装置的模块示意图；

图10示出本发明实施例中电子设备的结构示意图；以及

图11示出本发明实施例中计算机可读的存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使本发明全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面实施例中的步骤序号仅用于表示不同的执行内容，并不严格限定步骤之间的执行顺序。具体描述时使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。需要说明的是，在不冲突的情况下，本发明的实施例及不同实施例中的特征可以相互组合。

图1示出实施例中乘员监测系统的主要组成结构，参照图1所示，本实施例中乘员监测系统包括：行车检测装置110，用于检测车辆的行车状态；以及乘员检测装置120，设于车辆的乘员舱内，包括检测范围覆盖乘员舱且至少部分重叠的摄像组件121和雷达122，乘员检测装置120与行车检测装置110连接，用于在行车状态的触发下，采集乘员舱内的乘员信息。

上述实施例的乘员监测系统，通过检测范围覆盖乘员舱且至少部分重叠的摄像组件121和雷达122，使摄像组件121的检测和雷达122的检测相互融合，共同做出更全面、更准确的判断，且在特定场景下摄像组件的检测和雷达的检测能够互为冗余，彼此校验，实现对整个乘员舱内所有乘员的精准监测，防止漏识别，提高检测精度；并通过行车状态触发乘员检测装置120，实现根据行车状态适时检测，可适用于驻车状态下的乘员遗留监测，及时预知风险，提高行车安全。

由于普通摄像头的检测区域有限，即使采用广角摄像头，也很难覆盖整个乘员舱，当乘员部分身体部位超出摄像头场角(如儿童位于脚垫上、儿童斜靠于侧车门)时容易出现漏识别；并且普通摄像头在活体识别场景中，当摄像头与乘员之间受到遮挡(如乘员盖毛毯、戴帽子)，或乘员与乘员之间距离过近时容易出现漏识别。因此，下述实施例通过TOF相机和雷达组合，实现对乘员舱的全面精准检测。

图2示出实施例中乘员检测装置的配置结构，参照图2所述，在一个具体示例中，摄像组件包括：第一TOF相机1211，可旋转地设于乘员舱200的前排区域，第一TOF相机1211的检测范围121a至少可活动地覆盖乘员舱200的前排座椅区域；第二TOF相机1212，可旋转地设于乘员舱200的中部或后部区域，第二TOF相机1212的检测范围121b至少可活动地覆盖乘员舱200的后排座椅区域。

其中，TOF(Time ofFlight，飞行时间)技术可实现3D成像并监测车内空间，不受环境光的影响，可在强光和黑暗环境中正常工作。TOF技术能够获得准确稳定的深度数据，实现人体识别，同时没有隐私泄露的风险。基于3D图像的乘员识别算法可准确识别并判断乘员舱200内乘员的数量、位置和分类，这将在下文中结合乘员遗留提醒方法具体说明。

本实施例中，通过两个TOF相机实时监测前排座椅区域和后排座椅区域。当然，摄像组件的布局并非如图2所限，在其他示例中，可以结合乘员舱200的空间位置调整摄像组件的位置和个数等，以实现通过可旋转的TOF相机获得更宽的检测视角，覆盖整个乘员舱200的检测。

可旋转的TOF相机还可以精确监测特定区域。图3和图4示出旋转第二TOF相机以监测特定区域的场景，结合图2和图3所示，图2所示的常规场景下，第一TOF相机1211监测前排座椅区域并附带监测后中座椅区域，第二TOF相机1212监测后排座椅区域。控制第二TOF相机1212转动至对准后左座椅201，即可针对性监测后左座椅201的乘员情况。当然，若控制第二TOF相机1212转动至对准后右座椅、后中座椅等其他座椅区域，则可针对性监测其他座椅区域的乘员情况。参照图4所示，第二TOF相机1212还能向下转动以监测后排脚垫区域202；此时可通过前排椅背向前转动以避免遮挡后排脚垫区域202。进一步地，还可通过前排座椅向后移动，前排椅背向后转动，且第二TOF相机1212向前转动以监测前排脚垫区域，监测结束后可将前排座椅和椅背调回初始位置。

当然，图3和图4是以旋转第二TOF相机1212以监测特定区域进行的说明。在其他示例中，也可通过旋转第一TOF相机1211实现针对性监测特定区域，此处不再重复举例。

进一步地，参照图2所示，雷达122可设于乘员舱200的中部、前中后或两侧等区域，雷达122可包括一个或多个，并不以图2所示为限，雷达122的检测范围1220覆盖乘员舱200。雷达122具有较高的活体检测准确率，通常>99％，且不受非金属覆盖物的干扰。通过雷达122与第一TOF相机1211和第二TOF相机1212的集成设计，使雷达与TOF相机充分利用彼此的优势，互为冗余，相互校验，为车辆，尤其是自动驾驶车辆提供更高的安全等级。

在一个实施例中，乘员检测装置通过车辆的电子控制单元(Electronic ControlUnit，简称ECU)连接行车检测装置，以通过ECU对行车检测装置检测到的行车参数和乘员检测装置检测到的乘员信息进行分析。进一步地，ECU可将分析结果传递至车辆的车身控制模块(Body Control Module，简称BCM)，以控制车辆的相关部件，实现安全干预。

图5示出实施例中乘员监测系统的具体组成结构和数据传输流程，结合图2和图5所示，行车检测装置110具体包括：发动机传感器111，用于检测车辆的发动机状态；车速传感器112，用于检测车辆的车速状态；车门传感器113，用于检测车辆的车门状态；行车状态包括发送机状态、车速状态和车门状态。行车检测装置110和乘员检测装置120均与电子控制单元130连接。其中，摄像组件121可通过图像处理器310连接电子控制单元130，图像处理器310可包括TOF驱动模块和图像处理模块，对摄像组件121采集到的原始图像进行处理，获得包括乘员的数量、位置、分类、身体姿态、关节点信息等的乘员信息，传输至电子控制单元130。雷达122和行车检测装置110通过CAN模块320连接电子控制单元130。CAN模块320包含于电子控制单元130中，用于处理CAN信号。行车检测装置110将采集到的包括发动机状态、车速状态和车门状态的行车参数通过CAN模块320传输至电子控制单元130，雷达122将采集到的包括乘员的数量、位置、分类、呼吸/心跳等的乘员信息通过CAN模块320传输至电子控制单元130。从而，电子控制单元130结合行车参数和乘员信息，判断乘员目前所处的场景，进行安全干预。电子控制单元130的具体判断逻辑将在下文中结合乘员遗留提醒方法进行说明。

进一步地，乘员监测系统还包括：提醒装置140，通过电子控制单元130连接行车检测装置110和乘员检测装置120，提醒装置140用于在电子控制单元130的触发下发出提醒。

提醒装置140具体包括：车载组件141，包括车载显示屏1411和车载音响1412，可发出车内提醒；车载显示屏1411还可进一步接收图像处理器310处理生成的红外图像和深度图像，进行实时显示。车身部件142，通过车身控制模块330连接电子控制单元130；车身部件142具体包括车门、车窗、空调、喇叭和大灯，用于发出车身提醒。以及移动设备143，通过车辆的无线通信模块(Vehicle to X，简称V2X)340连接电子控制单元130，用于发出远程提醒。移动设备143例如是驾驶员和/或车内乘员的手机，无线通信模块340还能在紧急情况下呼叫E-Call紧急救援。

本发明还提供一种乘员遗留提醒方法，可由上述任意实施例描述的乘员监测系统执行，主要是由电子控制单元对采集获得的行车参数和乘员信息进行分析，并结合车身控制模块控制相关部件实现安全干预，主要的数据传输过程可如图5所示。当然，在一些实施例中，乘员遗留提醒方法也可由一单独的控制模块执行，该控制模块可与车辆的相关部件通信，以及时预知风险并采取安全干预。

图6示出实施例中乘员遗留提醒方法的主要步骤，参照图6所示，本实施例中乘员遗留提醒方法包括：在步骤S410中，响应于车辆的驻车信号，获得乘员舱内的乘员信息；在步骤S420中，至少根据乘员信息，确定遗留场景；以及在步骤S430中，根据遗留场景，发出提醒信息。

车辆的驻车信号当检测到车速为零时即发出，在车辆挂P档、车辆熄火等情况下，同样会发出驻车信号，启动对遗留场景的检测。响应于车辆的驻车信号获得的乘员信息，可以准确标识驻车时的乘员状态；当然，在车辆行驶过程中，可以对乘员进行实时的监控。

确定遗留场景的过程具体包括：获得由车辆的摄像组件采集的第一乘员信息和由车辆的雷达采集的第二乘员信息；根据第一乘员信息和第二乘员信息，确定乘员舱内是否有遗留的活体。通过TOF相机结合雷达的辅助，可以准确识别乘员舱内是否有遗留的活体，以及活体的数量和位置，还能进一步对乘员进行分类(成人/儿童)。对乘员进行分类可采用已有的技术，例如通过体型判断，本发明对此不做限制。

其中，确定乘员舱内是否有遗留的活体时，对第一乘员信息和第二乘员信息进行融合处理，特定情况下进行冗余校验，以根据第一乘员信息和第二乘员信息，对乘员舱内是否有遗留的活体进行全面、准确的判断。

确定乘员舱内有遗留的活体后，可结合具体的行车参数/乘员信息，确定遗留场景并发出相应的提醒信息，以实现安全干预。

下面结合三种遗留场景，对乘员遗留提醒方法进行具体说明。除下文所列举的三种遗留场景外，本发明的乘员遗留提醒方法还能应用于其他的遗留场景判断和提醒。

第一种遗留场景是有儿童遗留场景，可结合发动机/车速/车门逻辑，确定驻车状态下的儿童遗留场景，并针对被遗留的儿童，进行符合法规要求的分级提醒，确保儿童安全。

具体来说，在儿童遗留场景中，根据遗留场景发出提醒信息的过程包括：当确定乘员舱内有遗留儿童时，包括儿童和成人同时遗留的情况，生成第一遗留场景；响应于第一遗留场景，监测车辆的车门状态；于车门打开的第一预设时间内，通过车辆的车载组件发出第一提醒。第一预设时间例如为10秒，在车门打开的第一预设时间内，其他乘员可能正处于下车状态或尚未远离车辆，因此通过车载组件发出第一提醒，以提醒其他乘员避免遗忘乘员舱内的遗留儿童。车载组件包括车载显示屏和车载音响，可发出视觉提醒和听觉提醒。

进一步地，通过车载组件发出第一提醒之后，还包括：持续监测第一遗留场景；当第一遗留场景的持续时间超出第二预设时间，通过车辆的车身部件和车辆关联的移动设备发出第二提醒。持续监测第一遗留场景的方式是持续地采集乘员舱内的乘员信息并判断是否有遗留儿童。第二预设时间通常小于90秒，通过持续监测第一遗留场景，实现驻车后的持续监测。

通过车身部件和移动设备发出第二提醒的方式具体包括以下措施中的一种或多种：通过车辆的喇叭和大灯发出与求救信号频率相同的声光信号，以吸引路过的人前来解救遗留儿童；以第一频率向移动设备推送提醒信息，该移动设备例如是驾驶员的手机等等。在采用向移动设备推送提醒信息的第二提醒方式时，持续发出第二提醒同时监测移动设备的反馈，直至接收到移动设备的确认反馈，停止第二提醒。

进一步地，当第一遗留场景的持续时间超出第三预设时间，第三预设时间例如为5分钟，发出第三提醒，包括以下措施中的一种或多种：启动车辆的紧急呼叫，例如拨打E-Call紧急救援，以通知救援中心等机构的相关人员前来解救遗留儿童；降低车辆的车窗和/或开启车辆的空调，实现车内空气流通；以高于第一频率的第二频率，向移动设备推送提醒信息；并且监控移动设备的位置，直至移动设备进入车辆的感应距离范围内，例如车辆的一米距离范围内，在确保移动设备的用户已到达车辆附近，可以立即解救遗留儿童时，才终止第三提醒，并向救援中心等机构发出救援解除信息。

图7示出一个具体示例中，驻车时儿童遗留场景的监控流程，具体包括：于乘员监测功能开启后，S710-11，检测到车辆驻车，例如车速减为零，车辆挂P档，车辆熄火等等；S710-22，获得乘员舱内的乘员信息；S720，判断乘员舱内是否有至少一个儿童遗留，若判断为是则生成第一遗留场景，若判断为否则儿童遗留场景的监控流程结束。S730-11，监测车辆的车门状态，判断车门是否打开；S730-22，在车门打开的10秒内通过车载组件发出第一提醒。S730-33，持续监测第一遗留场景，即重复获得乘员舱内的乘员信息和判断乘员舱内是否有遗留儿童的步骤；S730-44，当判断为是，即儿童仍遗留乘员舱内，于90秒内通过车身部件和移动设备发出第二提醒。S730-55，持续监测第一遗留场景，即重复获得乘员舱内的乘员信息和判断乘员舱内是否有遗留儿童的步骤；S730-66，当判断为是，即儿童仍遗留乘员舱内，于第一提醒触发的5分钟后激活例如E-Call，并通过车身部件和移动设备发出第三提醒。从而，通过三级提醒，结合车辆和移动设备实现儿童遗留场景下的安全干预，确保儿童安全。

第二种遗留场景是只有成人遗留场景，可结合雷达的呼吸频率监测，分析乘员是否处于睡眠状态，并针对乘员的睡眠状态进行分级提醒，以避免驻车后乘员长时间滞留车内。

具体来说，在成人遗留场景中，根据遗留场景发出提醒信息的过程包括：当确定乘员舱内有只有成人遗留时，判断遗留成人是否处于睡眠状态；若是，生成第二遗留场景，并持续监测第二遗留场景；当第二遗留场景的持续时间超出第一设定时间，例如10分钟，发出唤醒提醒。唤醒提醒具体包括以下措施中的一种或多种：通过车载音响发出语音提醒，通过位于车辆内的移动设备发出铃声提醒，通过座椅和/或安全带发出震动提醒等等，以辅助乘员自主醒来。

进一步地，发出唤醒提醒之后，还包括：当第二遗留场景的持续时间超出第二设定时间，例如30分钟，则说明辅助乘员自主醒来的唤醒提醒没有生效，因此降低车辆的车窗和/或开启车辆的空调，以净化车内空气；同时启动车辆的紧急呼叫，确保滞留乘员得到及时救援。

图8示出一个具体示例中，驻车时成人遗留场景的监控流程，具体包括：于乘员监测功能开启后，S810-11，检测到车辆驻车；S810-22，获得乘员舱内的乘员信息；S820，判断乘员舱内是否有成人且仅有成人遗留，若判断为是则生成第二遗留场景并持续监测第二遗留场景，若判断为否则成人遗留场景的监控流程结束。S830-11，在成人滞留车内的10分钟后发出唤醒提醒。发出唤醒提醒之后，可进一步通过S830-22判断车辆是否熄火，若是则持续发出唤醒提醒，若否代表此时车辆驻车仅指车速为零而车辆未熄火，因此执行S830-33将车辆熄火，避免内循环长时间开启危害健康，并持续监测第二遗留场景。S830-44，持续监测第二遗留场景，即重复获得乘员舱内的乘员信息和判断乘员舱内是否有且仅有成人遗留的步骤；S830-55，当判断为是，即成人仍遗留乘员舱内，于30分钟后激活例如E-Call，并通过降低车窗/开启空调等方式净化乘员舱内空气。从而，通过唤醒提醒和外力提醒，实现成人遗留场景下的安全干预。

第三种遗留场景是驻车后，驻车信号解除时的乘员遗留场景，可结合发动机/车速和车门逻辑，对驻车后和驻车信号解除时乘员信息进行对比分析，判断是否有乘员遗留。

具体来说，驻车信号解除时，确定遗留场景的步骤还包括：获得乘员舱内的第一乘员数量；于车辆的车门打开，且驻车信号解除时，获得乘员舱内的第二乘员数量；比对第一乘员数量和第二乘员数量；当第二乘员数量小于第一乘员数量时，生成第三遗留场景。第三遗留场景用于指示，车辆再次启动时的乘员数量小于原乘员数量，以及时提醒可能遗漏的乘员。

进一步地，在第三遗留场景中，根据遗留场景发出提醒信息的过程包括：获得第一乘员数量对应的第一人脸集合及第二乘员数量对应的第二人脸集合；比对第一人脸集合和第二人脸集合，确定遗留乘员；将遗留乘员的人脸信息推送至车辆的车载显示屏。通过人脸信息，可供车内乘员准确快速地确定遗留乘员。当然，人脸信息的采集可在获得乘员许可的情况下进行。例如，在乘员上车后可向乘员的移动设备推送一人脸信息采集提醒，当乘员授权许可后即可进行人脸信息的采集。

将遗留乘员的人脸信息推送至车辆的车载显示屏之后，还包括：响应于车载显示屏触发的找回操作，向遗留乘员的移动设备推送找回提醒；以及，获得车辆的第一位置信息和遗留乘员的移动设备的第二位置信息，将第一位置信息及自第二位置信息至第一位置信息的导航路线推送至遗留乘员的移动设备，以提醒并辅助遗留乘员及时赶回车辆。

综上，上述各实施例描述的乘员遗留提醒方法，可结合行车参数和乘员信息准确判断车辆驻车后是否发生乘员遗留，确定遗留场景并及时发出提醒，实现安全干预，提高行车安全。

本发明实施例还提供一种乘员遗留提醒装置，可用于实现上述任意实施例描述的乘员遗留提醒方法。

图9示出实施例中乘员遗留提醒装置的主要模块，参照图9所示，本实施例中乘员遗留提醒装置900包括：检测信息获取模块910，配置为响应于车辆的驻车信号，获得乘员舱内的乘员信息；遗留场景判定模块920，配置为至少根据乘员信息，确定遗留场景；以及提醒信息生成模块930，配置为根据遗留场景，发出提醒信息。

进一步地，乘员遗留提醒装置900还可包括用于实现上述各乘员遗留提醒方法实施例的其他模块，具体可参见上述各乘员遗留提醒方法实施例的描述，此处不再重复说明。

本发明的乘员遗留提醒装置，能够结合行车参数和乘员信息准确判断车辆驻车后是否发生乘员遗留，确定遗留场景并及时发出提醒，实现安全干预，提高行车安全。

本发明实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，可执行指令被处理器执行时，实现上述任意实施例描述的乘员遗留提醒方法。

本发明的电子设备能够结合行车参数和乘员信息准确判断车辆驻车后是否发生乘员遗留，确定遗留场景并及时发出提醒，实现安全干预，提高行车安全。

图10是本发明实施例中电子设备的结构示意图，应当理解的是，图10仅仅是示意性地示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。

如图10所示，电子设备600以通用计算设备的形式表现。电子设备600的组件包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行上述任意实施例描述的乘员遗留提醒方法的步骤。例如，处理单元610可以执行如图6至图8所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一个或多个程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备6000通信，外部设备6000可以是键盘、指向设备、蓝牙设备等设备中的一种或多种。这些外部设备6000使得用户能与该电子设备600进行交互通信。电子设备600也能与一个或多个其它计算设备进行通信，所示计算机设备包括路由器、调制解调器。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读的存储介质，用于存储程序，程序被执行时实现上述任意实施例描述的乘员遗留提醒方法。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行上述任意实施例描述的乘员遗留提醒方法。

本发明的计算机可读的存储介质能够结合行车参数和乘员信息准确判断车辆驻车后是否发生乘员遗留，确定遗留场景并及时发出提醒，实现安全干预，提高行车安全。

图11是本发明的计算机可读的存储介质的结构示意图。参考图11所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品500，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读的存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (24)

1.一种乘员监测系统，其特征在于，包括：

行车检测装置，用于检测车辆的行车状态；以及

乘员检测装置，设于所述车辆的乘员舱内，包括检测范围覆盖所述乘员舱且至少部分重叠的摄像组件和雷达，所述乘员检测装置与所述行车检测装置连接，用于在所述行车状态的触发下，采集所述乘员舱内的乘员信息。

2.如权利要求1所述的乘员监测系统，其特征在于，所述摄像组件包括：

第一TOF相机，可旋转地设于所述乘员舱的前排区域，所述第一TOF相机的检测范围至少可活动地覆盖所述乘员舱的前排座椅区域；

第二TOF相机，可旋转地设于所述乘员舱的中部或后部区域，所述第二TOF相机的检测范围至少可活动地覆盖所述乘员舱的后排座椅区域。

3.如权利要求1所述的乘员监测系统，其特征在于，所述雷达包括一个或多个，所述雷达的检测范围覆盖所述乘员舱。

4.如权利要求1所述的乘员监测系统，其特征在于，所述乘员检测装置通过所述车辆的电子控制单元连接所述行车检测装置。

5.如权利要求4所述的乘员监测系统，其特征在于，所述摄像组件通过图像处理器连接所述电子控制单元，所述雷达和所述行车检测装置通过CAN模块连接所述电子控制单元。

6.如权利要求1所述的乘员监测系统，其特征在于，所述行车检测装置包括：

发动机传感器，用于检测所述车辆的发动机状态；

车速传感器，用于检测所述车辆的车速状态；

车门传感器，用于检测所述车辆的车门状态。

7.如权利要求1所述的乘员监测系统，其特征在于，还包括：

提醒装置，通过所述车辆的电子控制单元连接所述行车检测装置和所述乘员检测装置，用于在所述电子控制单元的触发下发出提醒。

8.如权利要求7所述的乘员监测系统，其特征在于，所述提醒装置包括：

车载组件，包括车载显示屏和车载音响；

车身部件，通过所述车辆的车身控制模块连接所述电子控制单元；

移动设备，通过所述车辆的无线通信模块连接所述电子控制单元。

9.如权利要求8所述的乘员监测系统，其特征在于，所述车身部件包括所述车辆的车门、车窗、空调、喇叭和大灯。

10.一种乘员遗留提醒方法，其特征在于，包括：

响应于车辆的驻车信号，获得乘员舱内的乘员信息；

至少根据所述乘员信息，确定遗留场景；以及

根据所述遗留场景，发出提醒信息。

11.如权利要求10所述的乘员遗留提醒方法，其特征在于，所述确定遗留场景，包括：

获得由所述车辆的摄像组件采集的第一乘员信息和由所述车辆的雷达采集的第二乘员信息；

根据所述第一乘员信息和所述第二乘员信息，确定所述乘员舱内是否有遗留的活体。

12.如权利要求11所述的乘员遗留提醒方法，其特征在于，所述根据所述遗留场景，发出提醒信息，包括：

当确定所述乘员舱内有儿童遗留时，生成第一遗留场景；

响应于所述第一遗留场景，监测所述车辆的车门状态；

于所述车门打开的第一预设时间内，通过所述车辆的车载组件发出第一提醒。

13.如权利要求12所述的乘员遗留提醒方法，其特征在于，所述通过所述车辆的车载组件发出第一提醒之后，还包括：

持续监测所述第一遗留场景；

当所述第一遗留场景的持续时间超出第二预设时间，通过所述车辆的车身部件和所述车辆关联的移动设备发出第二提醒。

14.如权利要求13所述的乘员遗留提醒方法，其特征在于，所述通过所述车辆的车身部件和所述车辆关联的移动设备发出第二提醒，包括：

通过所述车辆的喇叭和大灯发出与求救信号频率相同的声光信号；

以第一频率向所述移动设备推送提醒信息；以及

监测所述移动设备的反馈，直至接收到所述移动设备的确认反馈，停止所述第二提醒。

15.如权利要求14所述的乘员遗留提醒方法，其特征在于，还包括：

当所述第一遗留场景的持续时间超出第三预设时间，所述第三预设时间大于所述第二预设时间，发出第三提醒，包括：

启动所述车辆的紧急呼叫；

降低所述车辆的车窗和/或开启所述车辆的空调；

以大于所述第一频率的第二频率，向所述移动设备推送提醒信息；以及

监测所述移动设备的位置，直至所述移动设备进入所述车辆的感应距离范围内，停止所述第三提醒。

16.如权利要求11所述的乘员遗留提醒方法，其特征在于，所述根据所述遗留场景，发出提醒信息，包括：

当确定所述乘员舱内仅有成人遗留时，判断遗留的成人是否处于睡眠状态；

若是，生成第二遗留场景，并持续监测所述第二遗留场景；

当所述第二遗留场景的持续时间超出第一设定时间，发出唤醒提醒。

17.如权利要求16所述的乘员遗留提醒方法，其特征在于，所述发出唤醒提醒，包括：

通过车载音响发出语音提醒；和/或

通过位于所述乘员舱内的移动设备发出铃声提醒；和/或

通过座椅和/或安全带发出震动提醒。

18.如权利要求16所述的乘员遗留提醒方法，其特征在于，所述发出唤醒提醒之后，还包括：

当所述第二遗留场景的持续时间超出第二设定时间，降低所述车辆的车窗和/或开启所述车辆的空调，并启动所述车辆的紧急呼叫。

19.如权利要求11所述的乘员遗留提醒方法，其特征在于，还包括：

获得所述乘员舱内的第一乘员数量；

于所述车辆的车门打开，且所述驻车信号解除时，获得所述乘员舱内的第二乘员数量；

比对所述第一乘员数量和所述第二乘员数量；以及

当所述第二乘员数量小于所述第一乘员数量时，生成第三遗留场景。

20.如权利要求19所述的乘员遗留提醒方法，其特征在于，所述根据所述遗留场景，发出提醒信息，包括：

获得所述第一乘员数量对应的第一人脸集合及所述第二乘员数量对应的第二人脸集合；

比对所述第一人脸集合和所述第二人脸集合，确定遗留乘员；以及

将所述遗留乘员的人脸信息推送至所述车辆的车载显示屏。

21.如权利要求20所述的乘员遗留提醒方法，其特征在于，所述将所述遗留乘员的人脸信息推送至所述车辆的车载显示屏之后，还包括：

响应于所述车载显示屏触发的找回操作，向所述遗留乘员的移动设备推送找回提醒；以及

获得所述车辆的第一位置信息和所述遗留乘员的移动设备的第二位置信息，将所述第一位置信息及自所述第二位置信息至所述第一位置信息的导航路线推送至所述遗留乘员的移动设备。

22.一种乘员遗留提醒装置，其特征在于，包括：

检测信息获取模块，配置为响应于车辆的驻车信号，获得乘员舱内的乘员信息；

遗留场景判定模块，配置为至少根据所述乘员信息，确定遗留场景；以及

提醒信息生成模块，配置为根据所述遗留场景，发出提醒信息。

23.一种电子设备，其特征在于，包括：

一处理器；

一存储器，所述存储器中存储有可执行指令；

其中，所述可执行指令被所述处理器执行时，实现如权利要求10-21任一项所述的乘员遗留提醒方法。

24.一种计算机可读的存储介质，用于存储程序，其特征在于，所述程序被执行时实现如权利要求10-21任一项所述的乘员遗留提醒方法。

Images