CN114390254B - 一种后排驾驶舱监控方法、装置及车辆 - Google Patents

一种后排驾驶舱监控方法、装置及车辆 Download PDF

Info

Publication number
CN114390254B
CN114390254B CN202210040782.6A CN202210040782A CN114390254B CN 114390254 B CN114390254 B CN 114390254B CN 202210040782 A CN202210040782 A CN 202210040782A CN 114390254 B CN114390254 B CN 114390254B
Authority
CN
China
Prior art keywords
voice information
cockpit
information
gesture
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210040782.6A
Other languages
English (en)
Other versions
CN114390254A (zh
Inventor
顾莹
回姝
杨宇
李会坤
孙钏博
李俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202210040782.6A priority Critical patent/CN114390254B/zh
Publication of CN114390254A publication Critical patent/CN114390254A/zh
Application granted granted Critical
Publication of CN114390254B publication Critical patent/CN114390254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本申请公开了一种后排驾驶舱监控方法、装置及车辆。后排驾驶舱监控方法包括:判断是否需要对后排驾驶舱进行监控,若是,则生成摄像装置工作信号并传递给后排摄像装置;获取后排摄像装置在收到所述摄像装置工作信号后传递的驾驶舱后排图像。本申请的后排驾驶舱监控方法根据后排具体情况进行后排驾驶舱的监控,从而能够在保证后排驾驶舱乘客的隐私下,在需要时对后排驾驶舱进行监控,不会出现当需要进行监控时,无法了解后排驾驶舱的情况出现,也不会出现打扰到后排驾驶舱乘客,侵犯后排驾驶舱乘客隐私的问题出现。

Description

一种后排驾驶舱监控方法、装置及车辆
技术领域
本申请涉及汽车技术领域,具体涉及一种后排驾驶舱监控方法、后排驾驶舱监控装置以及车辆。
背景技术
近年随着科技技术的创新和发展,以及人们生活水平的提高,越来越多的家庭选择短途旅行,随之而来对后排儿童状态的监测成为人们关注的焦点。
现有方案通过车内后视镜对后排乘客进行观测及监控,虽然这种方法可以直观的观测到后排乘客情况,但涉及到三排七座家庭用车,对三排观测存在一定的视觉盲区,当处于黑夜时,更是无法通过后视镜观测后排乘客状态。
另外,有些情况下后排乘客可能不希望被驾驶员知道后排情况,而有些情况下可能驾驶员如果不知道后排情况会比较危险,因此,需要一种灵活人性化的后排驾驶舱监控方法。
因此,希望有一种技术方案来解决或至少减轻现有技术的上述不足。
发明内容
本发明的目的在于提供一种后排驾驶舱监控方法来至少解决上述的一个技术问题。
本发明的一个方面,提供一种后排驾驶舱监控方法,后排驾驶舱监控方法包括:
判断是否需要对后排驾驶舱进行监控,若是,则
生成摄像装置工作信号并传递给后排摄像装置;
获取后排摄像装置在收到所述摄像装置工作信号后传递的驾驶舱后排图像。
可选地,所述判断是否需要对后排驾驶舱进行监控包括:
获取驾驶者的语音信息;
识别所述驾驶者的语音信息,从而获取驾驶者的语义信息和/或文字信息;
获取语音预设判断数据库,所述语音预设判断数据库包括多个预设语音判断条件;
判断驾驶者的语义信息和/或文字信息是否符合所述语音预设判断数据库中的一个预设语音判断条件;若是,则
判断需要对后排驾驶舱进行监控。
可选地,所述判断是否需要对后排驾驶舱进行监控包括:
获取驾驶者的动作信息;
识别所述驾驶者的动作信息;
获取动作预设判断数据库,所述动作预设判断数据库包括多个预设动作判断条件;
判断驾驶者的动作信息是否符合所述动作预设判断数据库中的一个预设动作判断条件;若是,则
判断需要对后排驾驶舱进行监控。
可选地,所述判断是否需要对后排驾驶舱进行监控包括:
获取后排乘客的声呗信息;
获取声呗阈值;
判断后排乘客的声呗信息是否超过所述声呗阈值,若是,则
生成监视询问信息;
获取驾驶者或后排乘客根据所述监视询问信息所反馈的手势信息和/或语音信息;
根据所反馈的手势信息和/或语音信息判断是否需要对后排驾驶舱进行监控。
可选地,所述后排驾驶舱监控方法进一步包括:
根据获取到的驾驶舱后排图像生成反应动作信号,所述反应动作信号包括如下中的至少一种:
关闭摄像装置信号、不进行特殊动作信号、拨打求救电话信号、生成报警信息信号、生成强制刹车信号以及使车辆进入自动驾驶模式信号。
可选地,所述根据获取到的驾驶舱后排图像生成反应动作包括:
获取经过训练的危险动作分类器;
获取驾驶舱后排图像的图像特征;
将所述图像特征输入至所述危险动作分类器中,从而获取危险动作分类器所输出的分类器标签,所述分类器标签包括关闭摄像装置标签、不进行特殊动作标签、拨打求救电话标签、生成报警信息标签、生成强制刹车信号标签以及使车辆进入自动驾驶模式标签;
根据所述关闭摄像装置标签生成关闭摄像装置信号;
根据所述不进行特殊动作标签生成不进行特殊动作信号;
根据所述拨打求救电话标签生成拨打求救电话信号;
根据所述生成报警信息标签生成生成报警信息信号;
根据所述生成强制刹车信号标签生成强制刹车信号;
根据所述使车辆进入自动驾驶模式标签生成自动驾驶模式信号。
可选地,所述判断是否需要对后排驾驶舱进行监控包括:
判断是否获取到主动监控信号,若是,则
判断需要对后排驾驶舱进行监控。
本申请还提供了一种后排驾驶舱监控装置,所述后排驾驶舱监控装置包括:
监控判断模块,所述监控判断模块用于判断是否需要对后排驾驶舱进行监控;
工作信号生成模块,所述工作信号生成模块用于生成摄像装置工作信号并传递给后排摄像装置;
获取模块,所述获取模块用于获取后排摄像装置在收到所述摄像装置工作信号后传递的驾驶舱后排图像。
本申请还提供了一种车辆,所述车辆包括如上所述的后排驾驶舱监控装置,用于实现如上所述的后排驾驶舱监控方法。
可选地,所述车辆包括:
驾驶舱,所述驾驶舱包括前排驾驶舱以及后排驾驶舱;
摄像装置,所述摄像装置用于拍摄所述后排驾驶舱内的图像;
报警装置,所述报警装置设置在前排驾驶舱,所述报警装置能够根据报警信息信号进行报警。
有益效果
本申请的后排驾驶舱监控方法根据后排具体情况进行后排驾驶舱的监控,从而能够在保证后排驾驶舱乘客的隐私下,在需要时对后排驾驶舱进行监控,不会出现当需要进行监控时,无法了解后排驾驶舱的情况出现,也不会出现打扰到后排驾驶舱乘客,侵犯后排驾驶舱乘客隐私的问题出现。
附图说明
图1是本申请一实施例的后排驾驶舱监控方法的流程示意图。
图2是用于实现图1所示的后排驾驶舱监控方法的系统设备示意图。
图3是本申请一实施例的后排驾驶舱监控装置的结构示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行更加详细的描述。在附图中,自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例,而不是全部的实施例。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
如图1所示的后排驾驶舱监控方法包括:
步骤1:判断是否需要对后排驾驶舱进行监控,若是,则
步骤2:生成摄像装置工作信号并传递给后排摄像装置;
步骤3:获取后排摄像装置在收到摄像装置工作信号后传递的驾驶舱后排图像。
本申请的后排驾驶舱监控方法根据后排具体情况进行后排驾驶舱的监控,从而能够在保证后排驾驶舱乘客的隐私下,在需要时对后排驾驶舱进行监控,不会出现当需要进行监控时,无法了解后排驾驶舱的情况出现,也不会出现打扰到后排驾驶舱乘客,侵犯后排驾驶舱乘客隐私的问题出现。
在本实施例中,判断是否需要对后排驾驶舱进行监控包括:
获取驾驶者的语音信息;
识别驾驶者的语音信息,从而获取驾驶者的语义信息和/或文字信息;
获取语音预设判断数据库,所述语音预设判断数据库包括多个预设语音判断条件;
判断驾驶者的语义信息和/或文字信息是否符合所述语音预设判断数据库中的一个预设语音判断条件;若是,则
判断需要对后排驾驶舱进行监控。
举例来说,驾驶员在驾驶过程中,需要对后排驾驶舱进行监控,例如需要观看下后排驾驶舱的情况,而此时驾驶者可能双手正在开车中,如果通过手动控制摄像头容易出现危险,因此,可以通过语音的方式进行控制。
在一个实施例中,在识别驾驶者的语音信息,从而获取驾驶者的语义信息和/或文字信息之前,本申请还进一步包括:
获取驾驶者的面部图像;
提取驾驶者的面部图像的面部特征;
获取面部特征数据库,面部特征数据库包括多个面部预设特征;
判断驾驶者的面部特征分别与各个面部预设特征之间的相似度,若相似度大于阈值,则
进行识别驾驶者的语音信息,从而获取驾驶者的语义信息和/或文字信息这一步骤。
采用这种方式,可以首先对驾驶员进行下身份识别,防止是未经允许的驾驶者驾驶车辆。
可以理解的是,在一个实施例中,本申请还可以进一步包括:
判断驾驶者的面部特征分别与各个面部预设特征之间的相似度,若相似度小于阈值,则
获取摄像装置打开询问码;
获取驾驶者根据摄像装置打开询问码回答的信息;
获取密码数据库,所述密码数据库中包括多个密码;
若驾驶者回答的信息中包括密码数据库中的一个或多个密码,则进行识别驾驶者的语音信息,从而获取驾驶者的语义信息和/或文字信息这一步骤。
采用这种方式,一方面可以防止在某些情况下面部识别出现错误,例如,驾驶者脸部受伤导致变形或者由于戴有口罩等情况导致的识别不出的问题,另一方面,也可以作为面部识别的一个补充,防止有些经过车主同意但是未录入的驾驶者使用时无法进行本申请的上述操作。
在一个备选实施例中,判断是否需要对后排驾驶舱进行监控包括:
获取驾驶者的动作信息;
识别驾驶者的动作信息;
获取动作预设判断数据库,动作预设判断数据库包括多个预设动作判断条件;
判断驾驶者的动作信息是否符合动作预设判断数据库中的一个预设动作判断条件;若是,则
判断需要对后排驾驶舱进行监控。
在有些情况下,驾驶者可能不方便出声音,例如,假设驾驶者被劫持,此时想知道后排驾驶舱的情况可能不能通过语音的控制方式进行控制,此时,可以通过手势进行控制。
例如,驾驶者以前就已经录入了某一个手势作为开启摄像装置的手势,当驾驶者再次使用该手势时,即可开启摄像装置。
可以理解的是,该处获取驾驶者的动作信息可以通过前排驾驶舱的摄像装置获取。
在本实施例中,判断是否需要对后排驾驶舱进行监控还可以包括如下步骤:
获取后排乘客的声呗信息;
获取声呗阈值;
判断后排乘客的声呗信息是否超过所述声呗阈值,若是,则
生成监视询问信息;
获取驾驶者或后排乘客根据所述监视询问信息所反馈的手势信息和/或语音信息;
根据所反馈的手势信息和/或语音信息判断是否需要对后排驾驶舱进行监控。
通常需要进行后排驾驶舱监控的情况,主要是因为后排驾驶舱出现了比较紧急的情况,例如,后排驾驶舱内的乘客吵架、打架,导致驾驶员需要关注后排驾驶舱的情况,此时,通过分呗的方式即可以筛出这些情况,因为当吵架或者打架时,发出的声呗通常较大,然而,也有些情况下可能是朋友之间的嬉戏,也会导致声呗较大,因此,通过生成询问信息并通过驾驶者或后排乘客的反馈的手势信息和/或语音信息来进行再一次确定。
举例来说,当后排驾驶舱内的乘客嬉戏时,由于声呗较大,导致系统误以为需要开启摄像装置,此时会生成监视询问信息,监视询问信息会从前排驾驶舱的喇叭处播放和/或从后排驾驶舱的喇叭处播放,可以理解的是,具体从前排驾驶舱的喇叭播放还是从后排驾驶舱的喇叭播放可以通过使用者自行调节,当使用者发现事实不需要进行监控时,使用者可以通过手势来进行反馈或通过语音进行反馈,例如,使用者可以摆手或者说不需要。
系统获取到该反馈的手势信息和/或语音信息,根据所反馈的手势信息和/或语音信息判断是否需要对后排驾驶舱进行监控。
在本实施例中,根据所反馈的手势信息判断是否需要对后排驾驶舱进行监控包括:
获取手势信息数据库,所述手势信息数据库包括同意手势库以及不同意手势库,所述同意手势库中包括至少一个手势,所述不同意手势库中包括至少一个手势;
将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算,判断是否有一个相似度高于预设阈值,若有,则
判断与反馈的手势信息相似度超过预设阈值的手势属于同意手势库还是不同意手势库,若属于同意手势库,则生成摄像装置工作信号并传递给后排摄像装置。若属于不同意手势库,则不进行操作。
在本实施例中,根据所反馈的语音信息判断是否需要对后排驾驶舱进行监控包括:
获取语音信息数据库,所述语音信息数据库包括同意语音信息库以及不同意语音信息库,所述同意语音信息库中包括至少一个语音信息,所述不同意语音信息库中包括至少一个语音信息;
将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算,判断是否有一个相似度高于预设阈值,若有,则
判断与反馈的语音信息相似度超过预设阈值的语音信息属于同意语音信息库还是不同意语音信息库,若属于同意语音信息库,则生成摄像装置工作信号并传递给后排摄像装置。若属于不同意语音信息库,则不进行操作。
在本实施例中,根据所反馈的手势信息和/或语音信息判断是否需要对后排驾驶舱进行监控包括:
获取手势信息数据库,所述手势信息数据库包括同意手势库以及不同意手势库,所述同意手势库中包括至少一个手势,所述不同意手势库中包括至少一个手势;
将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算,判断是否有一个相似度高于第一手势预设阈值,若有,则
判断该手势是否属于同意手势库,若属于,则
获取语音信息数据库,所述语音信息数据库包括同意语音信息库以及不同意语音信息库,所述同意语音信息库中包括至少一个语音信息,所述不同意语音信息库中包括至少一个语音信息;
将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算,判断是否有一个相似度高于第一语音预设阈值,若有,则
判断该手势是否属于同意手势库,若属于,则
生成摄像装置工作信号并传递给后排摄像装置。
在本实施中,将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算,判断是否有一个相似度高于第一手势预设阈值,若有,则
判断该手势是否属于同意手势库,若不属于,则
获取语音信息数据库,所述语音信息数据库包括同意语音信息库以及不同意语音信息库,所述同意语音信息库中包括至少一个语音信息,所述不同意语音信息库中包括至少一个语音信息;
将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算,判断是否有一个相似度高于第一语音预设阈值,若有,则
判断该手势是否属于同意手势库,若属于,则
获取将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算后相似度最高的相似度值,该相似度值称为第一相似度值;
获取将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算后相似度最高的相似度值,该相似度值称为第二相似度值;
判断第一相似度值与第二相似度值谁高,若第一相似度值高,则不进行操作,若第二相似度值高,则生成摄像装置工作信号并传递给后排摄像装置。
在本实施中,将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算,判断是否有一个相似度高于第一手势预设阈值,若有,则
判断该手势是否属于同意手势库,若不属于,则
获取语音信息数据库,所述语音信息数据库包括同意语音信息库以及不同意语音信息库,所述同意语音信息库中包括至少一个语音信息,所述不同意语音信息库中包括至少一个语音信息;
将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算,判断是否有一个相似度高于第一语音预设阈值,若有,则
判断该手势是否属于同意手势库,若不属于,则不进行操作。
在本实施中,将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算,判断是否有一个相似度高于第一手势预设阈值,若有,则
判断该手势是否属于同意手势库,若属于,则
获取语音信息数据库,所述语音信息数据库包括同意语音信息库以及不同意语音信息库,所述同意语音信息库中包括至少一个语音信息,所述不同意语音信息库中包括至少一个语音信息;
将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算,判断是否有一个相似度高于第一语音预设阈值,若有,则
判断该手势是否属于同意手势库,若不属于,则
获取将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算后相似度最高的相似度值,该相似度值称为第一相似度值;
获取将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算后相似度最高的相似度值,该相似度值称为第二相似度值;
判断第一相似度值与第二相似度值谁高,若第二相似度值高,则不进行操作,若第一相似度值高,则生成摄像装置工作信号并传递给后排摄像装置。
采用上述的方法,可以更为准确的进行判断,另外,有些情况下,使用者由于某些情况可能会同时用语音或者手势来进行反馈,例如,在后排驾驶舱被挟持且前排也同样出现一些问题导致驾驶者需要迷惑其他人时,例如驾驶者想通过语音告诉其他人他不开摄像装置,但是其实心里是想开摄像装置的,此时,只要使得手势所作出的反馈的相似度大于语音所作出的反馈的相似度大即可。
在本实施例中,后排驾驶舱监控方法进一步包括:
根据获取到的驾驶舱后排图像生成反应动作信号,反应动作信号包括如下中的至少一种:
关闭摄像装置信号、不进行特殊动作信号、拨打求救电话信号、生成报警信息信号、生成强制刹车信号以及使车辆进入自动驾驶模式信号。
在当摄像装置进行摄像后,很可能摄像装置会拍摄到一些非常情况,例如后排驾驶舱有什么突发情况出现,导致驾驶舱的驾驶员需要一些特殊的反应,例如,后排驾驶舱的突然情况可能导致驾驶舱的驾驶员无法驾驶,需要切换到自动驾驶模式,或者需要进行拨打求救电话或者需要报警从而提醒前排驾驶舱的驾驶员的情况出现,通过上述方法,即可以生成如下信号的至少一种操作:
关闭摄像装置信号、不进行特殊动作信号、拨打求救电话信号、生成报警信息信号、生成强制刹车信号以及使车辆进入自动驾驶模式信号。
其中,当生成关闭摄像装置信号时,关闭摄像装置信号会传递给摄像装置,从而使摄像装置不在录像或者拍照;
当生成不进行特殊动作信号,即不进行任何反应。
当生成拨打求救电话信息时,通过车辆内自带的电话进行自动拨号。
当生成报警信息信号时,在前排驾驶舱的报警装置响起。
当生成强制刹车信号时,控制车辆进行刹车。
当生成车辆进入自动驾驶模式信号时,车辆从手动模式改成自动模式并生成语音提醒。
在本实施例中,根据获取到的驾驶舱后排图像生成反应动作包括:
获取经过训练的危险动作分类器;
获取驾驶舱后排图像的图像特征;
将图像特征输入至所述危险动作分类器中,从而获取危险动作分类器所输出的分类器标签,所述分类器标签包括关闭摄像装置标签、不进行特殊动作标签、拨打求救电话标签、生成报警信息标签、生成强制刹车信号标签以及使车辆进入自动驾驶模式标签;
根据关闭摄像装置标签生成关闭摄像装置信号;
根据不进行特殊动作标签生成不进行特殊动作信号;
根据拨打求救电话标签生成拨打求救电话信号;
根据生成报警信息标签生成生成报警信息信号;
根据生成强制刹车信号标签生成强制刹车信号;
根据使车辆进入自动驾驶模式标签生成自动驾驶模式信号。
举例来说,该分类器可以通过训练集进行训练,例如,训练集可以采用试验照片,例如,将人类打架的照片、吵架的照片等作为训练集来训练和测试该分类器。
在本实施例中,判断是否需要对后排驾驶舱进行监控还可以包括:
判断是否获取到主动监控信号,若是,则
判断需要对后排驾驶舱进行监控。
采用这种方式,可以通过按钮的方式由前排驾驶舱的驾驶员进行主动控制。
本申请的摄像装置为广角摄像头,利用广角摄像头将后排驾驶舱(例如,二排三排)乘客状态采集后通过LVDS传输至中控显示屏,进行图像显示,通过方向盘硬按键控制图像显示,可以实现即按即显,也可实现对后排乘客状态的录制。
后排可视技术整体实现的思想为:通过车载信息娱乐系统(In-VehicleInfotainment)主机对摄像头传入图像进行处理后显示在中控显示屏上,当驾驶员对后排乘客状态有监测需求时,只需要点击方向盘按键,即可通过LIN通讯告知信息娱乐系统主机对摄像头采集的视频信号进行解析,并显示于中控显示屏上。
参见图3,本申请还提供了一种后排驾驶舱监控装置,所述后排驾驶舱监控装置包括监控判断模块101、工作信号生成模块102以及获取模块103,
监控判断模块101用于判断是否需要对后排驾驶舱进行监控;
工作信号生成模块102用于生成摄像装置工作信号并传递给后排摄像装置;
获取模块103用于获取后排摄像装置在收到所述摄像装置工作信号后传递的驾驶舱后排图像。
需要说明的是,前述对方法实施例的解释说明也适用于本实施例的系统,此处不再赘述。
本申请还提供了一种车辆,所述车辆包括如上所述的后排驾驶舱监控装置,用于实现如上所述的后排驾驶舱监控方法。
在本实施例中,车辆包括驾驶舱、摄像装置以及报警装置,驾驶舱包括前排驾驶舱以及后排驾驶舱;摄像装置用于拍摄所述后排驾驶舱内的图像;报警装置设置在前排驾驶舱,报警装置能够根据报警信息信号进行报警。
在本实施例中,车辆还包括车载电话。
在本实施例中,报警装置可以是声音报警装置也可以是图像报警装置。
本申请还提供了一种电子设备,包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序,处理器执行计算机程序时实现如上的后排驾驶舱监控方法。
本申请还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时能够实现如上的后排驾驶舱监控方法。
图2是能够实现根据本申请一个实施例提供的后排驾驶舱监控方法的电子设备的示例性结构图。
如图2所示,电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中,输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接,输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接,进而与电子设备的其他组件连接。具体地,输入设备504接收来自外部的输入信息,并通过输入接口502将输入信息传送到中央处理器503;中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器504中,然后通过输出接口505将输出信息传送到输出设备506;输出设备506将输出信息输出到电子设备的外部供用户使用。
也就是说,图2所示的电子设备也可以被实现为包括:存储有计算机可执行指令的存储器;以及一个或多个处理器,该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的后排驾驶舱监控方法。
在一个实施例中,图2所示的电子设备可以被实现为包括:存储器504,被配置为存储可执行程序代码;一个或多个处理器503,被配置为运行存储器504中存储的可执行程序代码,以执行上述实施例中的后排驾驶舱监控方法。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动,媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外,显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地标识的方框实际上可以基本并行地执行,他们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本实施例中所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本实施例中,装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上,但其实并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此,本申请的保护范围应当以本申请权利要求所界定的范围为准。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外,显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
虽然,上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (9)

1.一种后排驾驶舱监控方法,其特征在于,所述后排驾驶舱监控方法包括:
判断是否需要对后排驾驶舱进行监控,若是,则
生成摄像装置工作信号并传递给后排摄像装置;
获取后排摄像装置在收到所述摄像装置工作信号后传递的驾驶舱后排图像;
所述判断是否需要对后排驾驶舱进行监控包括:
获取后排乘客的声贝信息;
获取声贝阈值;
判断后排乘客的声贝信息是否超过所述声贝阈值,若是,则
生成监视询问信息;
获取驾驶者或后排乘客根据所述监视询问信息所反馈的手势信息和语音信息;
根据所反馈的手势信息和语音信息判断是否需要对后排驾驶舱进行监控;
所述根据所反馈的手势信息和语音信息判断是否需要对后排驾驶舱进行监控包括:
获取手势信息数据库,所述手势信息数据库包括同意手势库以及不同意手势库,所述同意手势库中包括至少一个手势,所述不同意手势库中包括至少一个手势;
将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算,判断是否有一个相似度高于第一手势预设阈值,若有,则
判断该手势是否属于同意手势库,若属于,则
获取语音信息数据库,所述语音信息数据库包括同意语音信息库以及不同意语音信息库,所述同意语音信息库中包括至少一个语音信息,所述不同意语音信息库中包括至少一个语音信息;
将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算,判断是否有一个相似度高于第一语音预设阈值,若有,则
判断该语音信息是否属于同意语音信息库,若不属于,则
获取将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算后相似度最高的相似度值,该相似度值称为第一相似度值;
获取将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算后相似度最高的相似度值,该相似度值称为第二相似度值;
判断第一相似度值是否大于第二相似度值,若否,则不进行操作,若第一相似度值大于第二相似度值,则生成摄像装置工作信号并传递给后排摄像装置。
2.如权利要求1所述的后排驾驶舱监控方法,其特征在于,所述判断是否需要对后排驾驶舱进行监控包括:
获取驾驶者的语音信息;
识别所述驾驶者的语音信息,从而获取驾驶者的语义信息和/或文字信息;
获取语音预设判断数据库,所述语音预设判断数据库包括多个预设语音判断条件;
判断驾驶者的语义信息和/或文字信息是否符合所述语音预设判断数据库中的一个预设语音判断条件;若是,则
判断需要对后排驾驶舱进行监控。
3.如权利要求2所述的后排驾驶舱监控方法,其特征在于,所述判断是否需要对后排驾驶舱进行监控包括:
获取驾驶者的动作信息;
识别所述驾驶者的动作信息;
获取动作预设判断数据库,所述动作预设判断数据库包括多个预设动作判断条件;
判断驾驶者的动作信息是否符合所述动作预设判断数据库中的一个预设动作判断条件;若是,则
判断需要对后排驾驶舱进行监控。
4.如权利要求3所述的后排驾驶舱监控方法,其特征在于,所述后排驾驶舱监控方法进一步包括:
根据获取到的驾驶舱后排图像生成反应动作信号,所述反应动作信号包括如下中的至少一种:
关闭摄像装置信号、不进行特殊动作信号、拨打求救电话信号、生成报警信息信号、生成强制刹车信号以及使车辆进入自动驾驶模式信号。
5.如权利要求4所述的后排驾驶舱监控方法,其特征在于,所述根据获取到的驾驶舱后排图像生成反应动作包括:
获取经过训练的危险动作分类器;
获取驾驶舱后排图像的图像特征;
将所述图像特征输入至所述危险动作分类器中,从而获取危险动作分类器所输出的分类器标签,所述分类器标签包括关闭摄像装置标签、不进行特殊动作标签、拨打求救电话标签、生成报警信息标签、生成强制刹车信号标签以及使车辆进入自动驾驶模式标签;
根据所述关闭摄像装置标签生成关闭摄像装置信号;
根据所述不进行特殊动作标签生成不进行特殊动作信号;
根据所述拨打求救电话标签生成拨打求救电话信号;
根据所述生成报警信息标签生成生成报警信息信号;
根据所述生成强制刹车信号标签生成强制刹车信号;
根据所述使车辆进入自动驾驶模式标签生成自动驾驶模式信号。
6. 如权利要求1所述的后排驾驶舱监控方法,其特征在于,所述判断是否需要对后排驾驶舱进行监控包括:
判断是否获取到主动监控信号,若是,则
判断需要对后排驾驶舱进行监控。
7.一种后排驾驶舱监控装置,其特征在于,所述后排驾驶舱监控装置包括:
监控判断模块,所述监控判断模块用于判断是否需要对后排驾驶舱进行监控;
工作信号生成模块,所述工作信号生成模块用于生成摄像装置工作信号并传递给后排摄像装置;
获取模块,所述获取模块用于获取后排摄像装置在收到所述摄像装置工作信号后传递的驾驶舱后排图像;其中,
所述判断是否需要对后排驾驶舱进行监控包括:
获取后排乘客的声贝信息;
获取声贝阈值;
判断后排乘客的声贝信息是否超过所述声贝阈值,若是,则
生成监视询问信息;
获取驾驶者或后排乘客根据所述监视询问信息所反馈的手势信息和语音信息;
根据所反馈的手势信息和语音信息判断是否需要对后排驾驶舱进行监控;
所述根据所反馈的手势信息和语音信息判断是否需要对后排驾驶舱进行监控包括:
获取手势信息数据库,所述手势信息数据库包括同意手势库以及不同意手势库,所述同意手势库中包括至少一个手势,所述不同意手势库中包括至少一个手势;
将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算,判断是否有一个相似度高于第一手势预设阈值,若有,则
判断该手势是否属于同意手势库,若属于,则
获取语音信息数据库,所述语音信息数据库包括同意语音信息库以及不同意语音信息库,所述同意语音信息库中包括至少一个语音信息,所述不同意语音信息库中包括至少一个语音信息;
将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算,判断是否有一个相似度高于第一语音预设阈值,若有,则
判断该语音信息是否属于同意语音信息库,若不属于,则
获取将反馈的手势信息与同意手势库以及不同意手势库中的手势进行相似度计算后相似度最高的相似度值,该相似度值称为第一相似度值;
获取将反馈的语音信息与同意语音信息库以及不同意语音信息库中的语音信息进行相似度计算后相似度最高的相似度值,该相似度值称为第二相似度值;
判断第一相似度值是否大于第二相似度值,若否,则不进行操作,若第一相似度值大于第二相似度值,则生成摄像装置工作信号并传递给后排摄像装置。
8.一种车辆,其特征在于,所述车辆包括如权利要求7所述的后排驾驶舱监控装置,用于实现如权利要求1至6中任意一项所述的后排驾驶舱监控方法。
9.如权利要求8所述的车辆,其特征在于,所述车辆包括:
驾驶舱,所述驾驶舱包括前排驾驶舱以及后排驾驶舱;
摄像装置,所述摄像装置用于拍摄所述后排驾驶舱内的图像;
报警装置,所述报警装置设置在前排驾驶舱,所述报警装置能够根据报警信息信号进行报警。
CN202210040782.6A 2022-01-14 2022-01-14 一种后排驾驶舱监控方法、装置及车辆 Active CN114390254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210040782.6A CN114390254B (zh) 2022-01-14 2022-01-14 一种后排驾驶舱监控方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210040782.6A CN114390254B (zh) 2022-01-14 2022-01-14 一种后排驾驶舱监控方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN114390254A CN114390254A (zh) 2022-04-22
CN114390254B true CN114390254B (zh) 2024-04-19

Family

ID=81200932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210040782.6A Active CN114390254B (zh) 2022-01-14 2022-01-14 一种后排驾驶舱监控方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN114390254B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100624A (zh) * 2015-08-28 2015-11-25 广东欧珀移动通信有限公司 一种拍摄方法及终端
CN105501121A (zh) * 2016-01-08 2016-04-20 北京乐驾科技有限公司 一种智能唤醒方法及系统
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
KR20180059052A (ko) * 2016-11-25 2018-06-04 르노삼성자동차 주식회사 자동차 뒷좌석 모니터링 시스템
CN110070058A (zh) * 2019-04-25 2019-07-30 信利光电股份有限公司 一种车载手势识别装置及系统
CN110705356A (zh) * 2019-08-31 2020-01-17 深圳市大拿科技有限公司 功能控制方法及相关设备
CN111667603A (zh) * 2020-05-27 2020-09-15 奇瑞商用车(安徽)有限公司 一种汽车车载拍摄分享系统及其控制方法
CN113411496A (zh) * 2021-06-07 2021-09-17 恒大新能源汽车投资控股集团有限公司 一种车载摄像头的控制方法、装置及电子设备
CN113734075A (zh) * 2021-09-29 2021-12-03 安徽江淮汽车集团股份有限公司 用于儿童乘客的车载智能交互系统
CN113799785A (zh) * 2021-01-14 2021-12-17 百度(美国)有限责任公司 用于驾驶员和乘客的车载声学监控系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196823A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Voice Command Activated Vehicle Camera System
KR20210000466A (ko) * 2019-06-25 2021-01-05 현대모비스 주식회사 차량 내 제스처 입력을 이용한 제어 시스템

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100624A (zh) * 2015-08-28 2015-11-25 广东欧珀移动通信有限公司 一种拍摄方法及终端
CN105501121A (zh) * 2016-01-08 2016-04-20 北京乐驾科技有限公司 一种智能唤醒方法及系统
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
KR20180059052A (ko) * 2016-11-25 2018-06-04 르노삼성자동차 주식회사 자동차 뒷좌석 모니터링 시스템
CN110070058A (zh) * 2019-04-25 2019-07-30 信利光电股份有限公司 一种车载手势识别装置及系统
CN110705356A (zh) * 2019-08-31 2020-01-17 深圳市大拿科技有限公司 功能控制方法及相关设备
CN111667603A (zh) * 2020-05-27 2020-09-15 奇瑞商用车(安徽)有限公司 一种汽车车载拍摄分享系统及其控制方法
CN113799785A (zh) * 2021-01-14 2021-12-17 百度(美国)有限责任公司 用于驾驶员和乘客的车载声学监控系统
CN113411496A (zh) * 2021-06-07 2021-09-17 恒大新能源汽车投资控股集团有限公司 一种车载摄像头的控制方法、装置及电子设备
CN113734075A (zh) * 2021-09-29 2021-12-03 安徽江淮汽车集团股份有限公司 用于儿童乘客的车载智能交互系统

Also Published As

Publication number Publication date
CN114390254A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
US9865258B2 (en) Method for recognizing a voice context for a voice control function, method for ascertaining a voice control signal for a voice control function, and apparatus for executing the method
JP5082834B2 (ja) 脇見検出装置および方法、並びに、プログラム
WO2023273064A1 (zh) 对象说话检测方法及装置、电子设备和存储介质
JP6669240B1 (ja) 記録制御装置、記録制御システム、記録制御方法、および記録制御プログラム
US10286781B2 (en) Method for the automatic execution of at least one driving function of a motor vehicle
CN109472253B (zh) 行车安全智能提醒方法、装置、智能方向盘和智能手环
US9984298B2 (en) Method for outputting a drowsiness warning and control unit
CN111445146A (zh) 一种订单监控的方法及装置
US20180022357A1 (en) Driving recorder system
CN114332941A (zh) 基于乘车对象检测的报警提示方法、装置及电子设备
CN114390254B (zh) 一种后排驾驶舱监控方法、装置及车辆
JP2020166524A (ja) 監視システム、監視方法およびコンピュータプログラム
JP6018840B2 (ja) ドライブレコーダ
WO2020079755A1 (ja) 情報提供装置及び情報提供方法
WO2023071175A1 (zh) 关联车内的人和物的方法及装置、电子设备和存储介质
JP7447455B2 (ja) 車両用記録制御装置および車両用記録制御方法
CN114760417A (zh) 一种图像拍摄方法和装置、电子设备和存储介质
KR20210119243A (ko) 졸음운전 및 부주의 운전 인식 기능을 구비한 블랙박스 시스템 및 그 서비스 제공방법
DE102019133559A1 (de) Bestimmen der Benutzung eines Mobilgeräts
CN205417607U (zh) 车载显示系统及汽车
WO2024029187A1 (ja) 音声コマンド受付装置、および音声コマンド受付方法
US20220135049A1 (en) Display control apparatus, display control method, and storage medium
CN117719445A (zh) 用户情绪调节方法、装置、车辆及存储介质
JP2023006970A (ja) 運転支援制御装置、及び運転支援制御方法
EP3433844B1 (fr) Dispositif d'aide a la conduite

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant