CN113923408A - 一种后排检测及互动系统、方法 - Google Patents

一种后排检测及互动系统、方法 Download PDF

Info

Publication number
CN113923408A
CN113923408A CN202111155952.7A CN202111155952A CN113923408A CN 113923408 A CN113923408 A CN 113923408A CN 202111155952 A CN202111155952 A CN 202111155952A CN 113923408 A CN113923408 A CN 113923408A
Authority
CN
China
Prior art keywords
row
passenger
module
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111155952.7A
Other languages
English (en)
Inventor
朱绪魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lantu Automobile Technology Co Ltd
Original Assignee
Lantu Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lantu Automobile Technology Co Ltd filed Critical Lantu Automobile Technology Co Ltd
Priority to CN202111155952.7A priority Critical patent/CN113923408A/zh
Publication of CN113923408A publication Critical patent/CN113923408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B60R2300/8013—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo for child monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明公开了一种后排检测及互动系统，包括图像采集装置、车载显示屏、微处理器、车载娱乐系统、安全监测模块、报警模块和微信小程序，能够实现实时查看后排乘员状态、乘客遗留判断和报警的功能，并能够基于后排影像解析后排氛围状态，生成节目列表，提供人机互动服务。本发明还公开了一种后排及互动检测的方法，通过获取后排图像，识别出后排乘员的特征信息，并利于预设的判断模型得到乘员的情绪信息，进而利用氛围状态评价模型确定后排氛围状态，提供视频和/或音频节目，提高了后排乘员的乘坐体验，同时通过获取车辆设防状态和后排乘员信息进行乘员遗留判断，避免发生乘员遗忘事件。

Description

一种后排检测及互动系统、方法
技术领域
本发明涉及车辆安全行驶技术领域，特别涉及一种后排检测及互动系统、方法。
背景技术
随着我国车辆保有量增大，对车辆安全、驾驶员状态的研究越来越深入，摄像头、人机交互系统在车载方面大量搭载和应用，车内、车外视觉相关功能越来越丰富。但目前更多聚焦于驾驶员或前排，对后排关注较少，相关应用也很少。
在传统的汽车中，驾驶员虽然可以通过汽车内后视镜观察后排乘坐情况，但是在驾驶员座椅后面仍有很多盲区，尤其在驾驶员座椅后面的后座上乘坐小孩的情况下，更加不容易看出其乘坐状态，甚至小孩从座椅上滑下也不易被发现从而引发安全问题。再者，将乘客遗忘在车上的事件时有发生，尤其是当儿童、老年人被遗留在车辆时，由于缺乏自救能力，在密闭空间内长时间停留是十分危险的，因此，有必要提出一种后排检测及互动系统。
发明内容
本发明提供了一种后排检测及互动系统，包括图像采集装置、车载显示屏、微处理器、车载娱乐系统、安全监测模块、报警模块和微信小程序，能够实现实时查看后排乘员状态、乘客遗留判断和报警的功能，并能够基于后排影像解析后排氛围状态，生成节目列表，提供人机互动服务。
本发明的技术方案为：
一种后排检测及互动系统，包括：
图像采集装置，其设置在车辆座舱后排，能够获取后排影像；
车载显示屏，其设置在车辆座舱前排的控制面板上，且与图像采集装置通信连接，能够调取并显示座舱后排影像；
微处理器，其连接图像采集装置，能够根据座舱后排影像识别后排乘员，提取后排乘员特征信息，并解析得到后排氛围状态；
车载娱乐系统，其连接微处理器和图像采集装置，能够根据后排氛围状态，生成节目列表；
安全监测模块，其连接整车控制器和微处理器，能够根据车辆设防信号和后排乘员信息判断是否存在乘员遗留，若存在，则生成警报信息；
报警模块，其连接安全监测模块，能够根据报警信息执行声光报警，并将报警信息发送给驾驶员；
微信小程序，其与车载娱乐系统和所述报警模块无线通讯连接。
优选的是，车载娱乐系统包括：
影音数据库，其存储视频和/或音频；
获取模块，其获取后排氛围状态；
列表生成模块，其连接获取模块，能够根据后排氛围状态，并基于影音数据库，生成节目列表；
多媒体显示模块，其显示节目列表和播放视频和/或音频；
语音交互模块，其根据节目列表与后排乘员语音互动，确定或更新节目列表。
优选的是，语音交互模块包括语音输出模块和语音接收模块，语音输出模块包括普通话模块和形象模拟音模块。
优选的是，图像采集装置为红外摄像机。
本发明的另一个目的是，提供了一种后排及互动检测的方法，通过获取后排图像，识别出后排乘员的特征信息，并利于预设的判断模型得到乘员的情绪信息，进而利用氛围状态评价模型确定后排氛围状态，提供视频和/或音频节目，提高了后排乘员的乘坐体验，同时通过获取车辆设防状态和后排乘员信息进行乘员遗留判断，避免发生乘员遗忘事件。
一种后排检测及互动方法，使用上述的后排检测及互动系统，包括：
获取车辆的后排影像，根据后排影像识别后排乘员，并提取后排乘员的特征信息；
根据后排乘员的特征信息解析出后排氛围状态；
车载娱乐系统根据后排氛围状态，基于影音数据库，生成节目列表，通过语音互动模块确认和更新节目列表，并利用多媒体显示模块顺序播放节目列表中的视频和/或音频；
安全检测模块实时获取车辆的设防信号，并在设防信号为设防状态时，获取后排影像；
若后排影像中存在乘员，则生成报警信息，并发出报警指令；
报警模块接收到报警指令，执行声光报警，并将报警信息发送到微信小程序。
优选的是，还包括：
驾驶员通过车载显示屏调取并显示所述后排影像，以查看后排乘员状态。
优选的是，后排乘员的特征信息包括乘员数量、情绪状态、性别和年龄；所述后排氛围状态包括欢乐、压抑、轻松和安静。
优选的是，后排乘员信息的提取包括：
获取后排影像的一帧图片，进行面部识别，计数得到后排乘员数量；
获取每个后排乘员的面部放大图像，分割出多个表情敏感区，分别提取表情敏感区的多个特征参数，并与预设的判断模型进行对比，得到表情敏感区的情绪；
遍历表情敏感区，将出现次数最多的情绪，作为乘员的情绪状态；
根据后排乘员的关节图像分析后排乘员的年龄和性别。
优选的是，后排氛围状态包括：
获取多个网络视频样本数据，并标注网络视频样本的情绪类别以构成样本集；
提取网络视频样本中的人员数量、情绪状态、性别和年龄；
通过梯度提升决策树算法建立氛围状态评价模型，并优化氛围状态模型的参数；
将后排影像中的乘员数量、情绪状态、性别和年龄输入到所述氛围状态评价模型得到后排氛围状态。
优选的是，生成节目列表包括：
通过微信小程序创建影音数据库，并标注视频和/或音频的氛围状态、受众年龄、性别，并记录每个视频和/或音频的播放频次；
筛选出受众年龄在后排乘员年龄范围内的视频和/或音频得到第一列表；
剔除第一列表中与后排乘员性别不相符的视频和/或音频得到第二列表；
剔除第二列表中与后排氛围状态不相符的视频和/或音频得到第三列表；
根据播放频次将第三列表中的视频和/或音频排序得到节目列表。
本发明的有益效果是：
本发明提供的后排检测及互动系统、方法，具有三种功能，一是在行车过程中，驾驶员可调用后排监测视频，对后排乘员的状态进行查看，驾驶员不再需要扭头观察，提高行车安全；二是后排遗留人员提醒，车辆停止驾驶员离开时，车辆设防信息为设防状态，通过后排影像识别出后排乘客，并将将报警信息发送给驾驶员，提醒驾驶员不要忘记后排乘员；三是通过后排乘员影像，识别后排乘员数量、年龄和情绪状态，确定后排氛围状态，以提供智能座舱情感交互服务。
附图说明
图1为本发明提供的一种后排检测及互动系统框架图。
图2为本发明提供的一种后排检测及互动方法流程图。
图3本发明的一个实施例中后排检测及互动方法流程图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
“内”等指示的方向或位置关系的术语是基于附图所述的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
如图1所示，一种后排检测及互动系统，包括图像采集装置110、车载显示屏120、微处理器130、车载娱乐系统140、安全监测模块150、报警模块160和微信小程序170。
图像采集装置110设置在车辆座舱后排，能够获取后排影像，车载显示屏120设置在车辆座舱前排的控制面板上，且与图像采集装置110通信连接，能够调取并显示座舱后排影像，微处理器130连接图像采集装置110，能够根据座舱后排影像识别后排乘员，提取后排乘员特征信息，并解析得到后排氛围状态，车载娱乐系统140连接微处理器130和图像采集装置110，能够根据后排氛围状态，生成节目列表，安全监测模块150连接整车控制器和微处理器130，能够根据车辆设防信号和后排乘员信息判断是否存在乘员遗留，若存在，则生成警报信息，报警模块160连接安全监测模块，能够根据报警信息执行声光报警，并将报警信息发送给驾驶员，微信小程序，其与车载娱乐系统140和所述报警模块160无线通讯连接。
进一步的，车载娱乐系统140包括影音数据库141、获取模块142、列表生成模块143、多媒体显示模块144和语音交互模块145。
影音数据库141存储视频和/或音频，获取模块142获取后排氛围状态，列表生成模块143连接获取模块142，能够根据后排氛围状态，并基于影音数据库141，生成节目列表，多媒体显示模块144显示节目列表和播放视频和/或音频，语音交互模块145根据节目列表与后排乘员语音互动，确定或更新节目列表。
一个优选的实施例是，语音交互模块145包括语音输出模块和语音接收模块，语音输出模块包括普通话模块和形象模拟音模块。
一个优选的实施例是，图像采集装置为红外摄像机。
如图2所示，一种后排检测及互动方法，使用如图1所示的后排检测及互动系统，包括：
S110、获取车辆的后排影像，根据后排影像识别后排乘员，并提取后排乘员的特征信息。
其中，后排乘员的特征信息包括乘员数量、情绪状态、性别和年龄；所述后排氛围状态包括欢乐、压抑、轻松和安静。
获取后排影像的一帧图片，进行面部识别，计数得到后排乘员数量；
获取每个后排乘员的面部放大图像，分割出多个表情敏感区，分别提取表情敏感区的多个特征参数，并与预设的判断模型进行对比，得到表情敏感区的情绪；
遍历表情敏感区，将出现次数最多的情绪，作为乘员的情绪状态；
根据后排乘员的关节图像分析后排乘员的年龄和性别。
S120、根据后排乘员的特征信息解析出后排氛围状态。
获取多个网络视频样本数据，并标注网络视频样本的情绪类别以构成样本集；
提取网络视频样本中的人员数量、情绪状态、性别和年龄；
通过梯度提升决策树算法建立氛围状态评价模型，并优化氛围状态模型的参数；
将后排影像中的乘员数量、情绪状态、性别和年龄输入到所述氛围状态评价模型得到后排氛围状态。
其中，氛围状态评价模型的训练过程包括：
首先，选择回归树作为基学习器模型，初始化基学习器模型的损失函数：
Figure BDA0003288396800000061
L(y,f(x))＝L(y,ft-1(x)+g(x,θt))＝[y-ft-1(x)-g(x,θt)]2＝[r-g(x,θt)]2；
其中，ft(x)表示第t次迭代得到的学习器，y表示后排氛围状态，c表示使损失函数达到极小值的常数，L(y,f(x))表示损失函数，g(x,θt)表示基函数，r表示残差r＝y-ft-1(x)。
然后，输入样本集D＝{(xi,yi)}，迭代生成S个基学习器，计算每个样本的残差，对损失函数进行泰勒公式的一阶展开作为样本残差的近似值：
Figure BDA0003288396800000071
将残差作为新样本的氛围状态，训练得到回归树ft(x)，其叶子节点集合为{Rtj,j＝1,2,…,J}；
对每个叶子节点j＝1,2,…,J计算最优拟合值rti；
rti＝argmin∑L(yi,ft-1(xi)+rft(x))；
更新ft(x)：
Figure BDA0003288396800000072
Figure BDA0003288396800000073
最后，得到强化后的学习器模型：
Figure BDA0003288396800000074
通过梯度提升决策树算法训练得到氛围状态评价模型，拟合速度快，训练时间短，评价结果精度高。
S130、车载娱乐系统根据后排氛围状态，基于影音数据库，生成节目列表，通过语音互动模块确认和更新节目列表，并利用多媒体显示模块顺序播放节目列表中的视频和/或音频。
通过微信小程序创建影音数据库，并标注视频和/或音频的氛围状态、受众年龄、性别，并记录每个视频和/或音频的播放频次；
筛选出受众年龄在后排乘员年龄范围内的视频和/或音频得到第一列表；
剔除第一列表中与后排乘员性别不相符的视频和/或音频得到第二列表；
剔除第二列表中与后排氛围状态不相符的视频和/或音频得到第三列表；
根据播放频次将第三列表中的视频和/或音频排序得到节目列表。
S140、安全检测模块实时获取车辆的设防信号，并在设防信号为设防状态时，获取后排影像。
S150、若后排影像中存在乘员，则生成报警信息，并发出报警指令。
S160、报警模块接收到报警指令，执行声光报警，并将报警信息发送到微信小程序。
一个优选的实施例是，还包括：驾驶员通过车载显示屏调取并显示所述后排影像，以查看后排乘员状态。
在一个具体的实施例中，后排检测及互动方法如图3所示，包括：
S110、图像采集装置获取车辆后排影像。
S120、根据后排影像判断后排是否存在乘员。
S130、若存在乘员，则提取后排乘员特征信息。
S140、解析得到后排氛围状态。
S150、生成节目列表
S160、语音交互模块询问乘员是否播放视频和/或音频。
S210、安全监测模块获取车辆设防信息。
S220、判断车辆是否设防？
S230、若车辆设防且后排影像中存在乘员，则报警模块生成并发送报警信息。
S240、微信小程序接收报警信息，提醒驾驶员关注后排乘员。
S250、车辆应急灯闪烁。
S260、车辆喇叭长鸣。
以上内容仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不脱离本发明的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。

Claims (10)

1.一种后排检测及互动系统，其特征在于，包括：
图像采集装置，其设置在车辆座舱后排，能够获取后排影像；
车载显示屏，其设置在车辆座舱前排的控制面板上，且与所述图像采集装置通信连接，能够调取并显示所述座舱后排影像；
微处理器，其连接所述图像采集装置，能够根据所述座舱后排影像识别后排乘员，提取后排乘员特征信息，并解析得到后排氛围状态；
车载娱乐系统，其连接所述微处理器和所述图像采集装置，能够根据所述后排氛围状态，生成节目列表；
安全监测模块，其连接整车控制器和所述微处理器，能够根据车辆设防信号和后排乘员信息判断是否存在乘员遗留，若存在，则生成警报信息；
报警模块，其连接所述安全监测模块，能够根据所述报警信息执行声光报警，并将所述报警信息发送给驾驶员；
微信小程序，其与所述车载娱乐系统和所述报警模块无线通讯连接。
2.如权利要求1所述的后排检测及互动系统，其特征在于，所述车载娱乐系统包括：
影音数据库，其存储视频和/或音频；
获取模块，其获取所述后排氛围状态；
列表生成模块，其连接所述获取模块，能够根据所述后排氛围状态，并基于所述影音数据库，生成节目列表；
多媒体显示模块，其显示所述节目列表和播放视频和/或音频；
语音交互模块，其根据所述节目列表与所述后排乘员语音互动，确定或更新所述节目列表。
3.如权利要求2所述的后排检测及互动系统，其特征在于，所述语音交互模块包括语音输出模块和语音接收模块，所述语音输出模块包括普通话模块和形象模拟音模块。
4.如权利要求3所述的后排检测及互动系统，其特征在于，所述图像采集装置为红外摄像机。
5.一种后排检测及互动方法，使用如权利要求1-4所述的后排检测及互动系统，其特征在于，包括：
获取车辆的后排影像，根据所述后排影像识别后排乘员，并提取后排乘员的特征信息；
根据所述后排乘员的特征信息解析出后排氛围状态；
车载娱乐系统根据所述后排氛围状态，基于影音数据库，生成节目列表，通过语音互动模块确认和更新所述节目列表，并利用多媒体显示模块顺序播放所述节目列表中的视频和/或音频；
安全检测模块实时获取车辆的设防信号，并在所述设防信号为设防状态时，获取所述后排影像；
若所述后排影像中存在乘员，则生成报警信息，并发出报警指令；
报警模块接收到所述报警指令，执行声光报警，并将所述报警信息发送到微信小程序。
6.如权利要求5所述的后排检测及互动方法，其特征在于，还包括：
驾驶员通过车载显示屏调取并显示所述后排影像，以查看后排乘员状态。
7.如权利要求6所述的后排检测及互动系统，其特征在于，所述后排乘员的特征信息包括乘员数量、情绪状态、性别和年龄；所述后排氛围状态包括欢乐、压抑、轻松和安静。
8.如权利要求7所述的后排检测及互动方法，其特征在于，所述后排乘员信息的提取包括：
获取所述后排影像的一帧图片，进行面部识别，计数得到后排乘员数量；
获取每个所述后排乘员的面部放大图像，分割出多个表情敏感区，分别提取所述表情敏感区的多个特征参数，并与预设的判断模型进行对比，得到所述表情敏感区的情绪；
遍历所述表情敏感区，将出现次数最多的情绪，作为乘员的情绪状态；
根据所述后排乘员的关节图像分析所述后排乘员的年龄和性别。
9.如权利要求8所述的排检测及互动方法，其特征在于，所述后排氛围状态包括：
获取多个网络视频样本数据，并标注所述网络视频样本的情绪类别以构成样本集；
提取所述网络视频样本中的人员数量、情绪状态、性别和年龄；
通过梯度提升决策树算法建立氛围状态评价模型，并优化所述氛围状态模型的参数；
将所述后排影像中的乘员数量、情绪状态、性别和年龄输入到所述氛围状态评价模型得到后排氛围状态。
10.如权利要求9所述的排检测及互动方法，其特征在于，所述生成节目列表包括：
通过微信小程序创建影音数据库，并标注所述视频和/或音频的氛围状态、受众年龄、性别，并记录每个所述视频和/或音频的播放频次；
筛选出受众年龄在所述后排乘员年龄范围内的视频和/或音频得到第一列表；
剔除所述第一列表中与所述后排乘员性别不相符的视频和/或音频得到第二列表；
剔除所述第二列表中与所述后排氛围状态不相符的视频和/或音频得到第三列表；
根据所述播放频次将所述第三列表中的所述视频和/或音频排序得到节目列表。
CN202111155952.7A 2021-09-29 2021-09-29 一种后排检测及互动系统、方法 Pending CN113923408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111155952.7A CN113923408A (zh) 2021-09-29 2021-09-29 一种后排检测及互动系统、方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111155952.7A CN113923408A (zh) 2021-09-29 2021-09-29 一种后排检测及互动系统、方法

Publications (1)

Publication Number Publication Date
CN113923408A true CN113923408A (zh) 2022-01-11

Family

ID=79237224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111155952.7A Pending CN113923408A (zh) 2021-09-29 2021-09-29 一种后排检测及互动系统、方法

Country Status (1)

Country Link
CN (1) CN113923408A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008279862A (ja) * 2007-05-09 2008-11-20 Denso Corp 車載設備制御システム及びプログラム
BR102015006784A2 (pt) * 2015-03-26 2016-09-27 Fca Fiat Chrysler Automóveis Brasil Ltda sistema e método para determinar a presença de ocupantes não auto-suficiente no banco traseiro de veículos
US20160379466A1 (en) * 2015-06-26 2016-12-29 Continental Automotive Systems, Inc. System For Warning A Driver That A Passenger Is Left In A Vehicle
CN106878364A (zh) * 2015-12-11 2017-06-20 比亚迪股份有限公司 用于车辆的信息推送方法、系统、云服务器和车辆
CN107766835A (zh) * 2017-11-06 2018-03-06 贵阳宏益房地产开发有限公司 行车安全检测方法及装置
CN109649223A (zh) * 2018-08-21 2019-04-19 福建麦凯智造婴童文化股份有限公司 一种智能安全座椅监控系统
CN111599140A (zh) * 2020-05-09 2020-08-28 宜宾凯翼汽车有限公司 一种车辆后排活体监测系统及方法
CN112455365A (zh) * 2019-09-06 2021-03-09 比亚迪股份有限公司 针对车内后排座椅的监控方法、系统、设备及存储介质
CN112572293A (zh) * 2019-09-27 2021-03-30 宝能汽车集团有限公司 车载控制系统及其控制方法、车辆
CN113139070A (zh) * 2021-03-23 2021-07-20 合创汽车科技有限公司 车内用户的交互方法、装置、计算机设备和存储介质
CN113183900A (zh) * 2021-03-31 2021-07-30 江铃汽车股份有限公司 车辆人员监测方法、装置、可读存储介质及车载系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008279862A (ja) * 2007-05-09 2008-11-20 Denso Corp 車載設備制御システム及びプログラム
BR102015006784A2 (pt) * 2015-03-26 2016-09-27 Fca Fiat Chrysler Automóveis Brasil Ltda sistema e método para determinar a presença de ocupantes não auto-suficiente no banco traseiro de veículos
US20160379466A1 (en) * 2015-06-26 2016-12-29 Continental Automotive Systems, Inc. System For Warning A Driver That A Passenger Is Left In A Vehicle
CN106878364A (zh) * 2015-12-11 2017-06-20 比亚迪股份有限公司 用于车辆的信息推送方法、系统、云服务器和车辆
CN107766835A (zh) * 2017-11-06 2018-03-06 贵阳宏益房地产开发有限公司 行车安全检测方法及装置
CN109649223A (zh) * 2018-08-21 2019-04-19 福建麦凯智造婴童文化股份有限公司 一种智能安全座椅监控系统
CN112455365A (zh) * 2019-09-06 2021-03-09 比亚迪股份有限公司 针对车内后排座椅的监控方法、系统、设备及存储介质
CN112572293A (zh) * 2019-09-27 2021-03-30 宝能汽车集团有限公司 车载控制系统及其控制方法、车辆
CN111599140A (zh) * 2020-05-09 2020-08-28 宜宾凯翼汽车有限公司 一种车辆后排活体监测系统及方法
CN113139070A (zh) * 2021-03-23 2021-07-20 合创汽车科技有限公司 车内用户的交互方法、装置、计算机设备和存储介质
CN113183900A (zh) * 2021-03-31 2021-07-30 江铃汽车股份有限公司 车辆人员监测方法、装置、可读存储介质及车载系统

Similar Documents

Publication Publication Date Title
KR102446686B1 (ko) 승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체
US11498573B2 (en) Pacification method, apparatus, and system based on emotion recognition, computer device and computer readable storage medium
CN108725357B (zh) 基于人脸识别的参数控制方法、系统与云端服务器
KR101078466B1 (ko) 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체
CN106004735A (zh) 车载系统及车辆设施的调整方法
CN111415347B (zh) 遗留对象检测方法和装置及交通工具
TWI738132B (zh) 基於動作分析的人機交互方法、車載裝置
CN113780062A (zh) 一种基于情感识别的车载智能交互方法、存储介质及芯片
CN112154490B (zh) 用于估计车辆座舱内部的场景的车内系统
CN111813491B (zh) 一种车载助手的拟人化交互方法、装置及汽车
CN110516622A (zh) 一种车内人员的性别、年龄和情绪智能识别方法及系统
CN112560568A (zh) 用于检测交通工具驾驶员的打哈欠的方法和装置
CN115268334A (zh) 车窗控制方法、装置、设备及存储介质
CN113312958B (zh) 一种基于司机状态的派单优先度调整方法及装置
CN113923408A (zh) 一种后排检测及互动系统、方法
CN112572293A (zh) 车载控制系统及其控制方法、车辆
CN114170559A (zh) 车载设备的控制方法、装置和车辆
CN114734912A (zh) 座舱内通过氛围灯进行提醒的方法和装置、电子设备和存储介质
Suryavanshi et al. In Cabin Driver Monitoring and Alerting System For Passenger cars using Machine Learning.
CN114120390A (zh) 基于人脸识别的仪表参数自适配系统、方法及身份识别系统和车辆
JP2021111046A (ja) 記録制御装置及び記録制御プログラム
CN110838027A (zh) 车辆使用满意度的确定方法及装置、存储介质、计算设备
CN218287648U (zh) 汽车的车载娱乐系统及汽车
CN113911061A (zh) 车载儿童监护方法、装置、设备及可读存储介质
CN116746931B (zh) 一种基于脑电的增量式驾驶员不良状态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220111

RJ01 Rejection of invention patent application after publication