CN111008595A - 一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法 - Google Patents

一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法 Download PDF

Info

Publication number
CN111008595A
CN111008595A CN201911235846.2A CN201911235846A CN111008595A CN 111008595 A CN111008595 A CN 111008595A CN 201911235846 A CN201911235846 A CN 201911235846A CN 111008595 A CN111008595 A CN 111008595A
Authority
CN
China
Prior art keywords
window
pet
target detection
baby
car interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911235846.2A
Other languages
English (en)
Inventor
梁超
邹珺明
张玥
王晓
白云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201911235846.2A priority Critical patent/CN111008595A/zh
Publication of CN111008595A publication Critical patent/CN111008595A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，该方法包括以下步骤：1)在车内设置摄像头与麦克风；2)对采集的音频进行语音识别，获取车内氛围识别结果；3)对采集的视频图像进行目标检测，获取目标检测对象离车窗的距离；4)当目标检测对象离车窗的距离小于设定值时，则判定婴儿/宠物有趴窗的趋势，并进行预警。本发明通过摄像头硬件架设的方式限制，将硬件与识别方式紧密结合，更具系统性；只通过目标检测便可判断出婴儿/宠物是否趴窗，方法简易有效，时效性强。

Description

一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别 方法
技术领域
本发明涉及计算机视觉技术，尤其涉及一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法。
背景技术
近些年来越来越多的人拥有了自己的汽车，为了更好的出行感受，私家车也应该更加智能，像检测到车内氛围并主动打开氛围灯、消息推送，在后排出现婴儿/宠物时，预测趴窗场景并及时通知司机。这些问题是汽车为乘员提供暖心、便捷服务的重要体现。在此背景下，我们亟需一种面向私家车内后排婴儿/ 宠物趴窗判别及车内氛围识别方法。
私家车内场景识别包括后排婴儿/宠物趴窗识别和车内氛围识别。对于这些场景，目前也没有一套完整的识别系统。因此，本发明描述了完整的识别方案并提出了一种简单而有效的检测方法：将采集到的音频信息进行语音识别和主题分类，再把从特定角度拍摄到的视频仅通过目标检测识别出婴儿/宠物到车窗距离，实现私家车内场景的识别。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法。
本发明解决其技术问题所采用的技术方案是：一种面向私家车内后排婴儿/ 宠物趴窗判别及车内氛围识别方法，包括以下步骤：
1)在车内设置摄像头与麦克风，所述摄像头设置如下：后排设置两个；
2)对采集的音频进行语音识别，获取车内氛围识别结果；
3)对采集的视频图像进行目标检测，获取目标检测对象离车窗的距离；具体如下：
3.1)将视频转为视频帧序列；
3.2)将图片输入到特征提取网络，得到多尺度特征图，将每个特征图被分为若干块，对每一块进行预测，得到预测的目标检测对象边界框中心点和对象边界框大小；
3.3)通过YOLOv3模型，获取目标检测对象边界框的中心点坐标和边界框的宽和高在内的参数，通过参数计算目标检测对象离车窗的距离；
4)当目标检测对象离车窗的距离小于设定值时，则判定婴儿/宠物有趴窗的趋势，并进行预警。
按上述方案，所述步骤1)中摄像头设置如下：两个摄像头分别安装在车内左右两侧，视角朝向后排，同时保证这两个摄像头一边的视野范围与车窗的边线对齐，如安装在右边的摄像头，保证摄像头视野的右边与车窗的右边线对齐，左边同理；。
按上述方案，所述步骤2)中采集的音频进行语音识别，获取车内氛围识别结果；具体如下：
2.1)将语音信号转换为神经网络需要的二维频谱图像信号，即语谱图；
2.2)将语谱图作为输入，放入声学模型，将声学信号转为拼音标签序列；
2.3)CTC解码：在语音识别系统的声学模型的输出中，将连续相同的符号合并为同一个符号，然后再去除静音分隔标记符，得到最终实际的语音拼音符号序列；
2.4)使用统计语言模型，将拼音转换为最终的识别文本并输出；
2.5)使用LDA主题分类模型将识别到的文本进行主题分类；
2.6)根据主题分类的结果获得车内氛围识别结果。
按上述方案，所述步骤3.2)中得到预测的目标检测对象边界框中心点和对象边界框大小具体如下：
将图片输入到Darknet-53特征提取网络，得到多尺度特征图，每个特征图被分为若干块，对每一块进行预测，通过K-Means聚类得到目标检测对象边界框中心点，通过线性回归得到目标检测对象边界框大小。
本发明产生的有益效果是：
1、通过摄像头硬件架设的方式限制，将硬件与识别方式紧密结合，更具系统性；
2、只通过目标检测便可判断出婴儿/宠物是否趴窗，方法简易有效，时效性强；
3、实时检测婴儿/宠物趴窗，同时具备一定预测性，不是等婴儿/宠物真正趴在窗户上时才识别出趴窗，而是当婴儿/宠物离车窗的距离过小时进行预警，防患于未然；
4、氛围检测时允许有一定的时间延迟，语音识别和主题分类车中的对话内容，可以更加准确地确定车内氛围，是家庭出游还是商务出行又或是通勤等氛围。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的方法流程图；
图2是本发明实施例的目标检测模型示意图；
图3是本发明实施例的语音识别&主题分类模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，包括以下步骤：
1)在车内设置摄像头与麦克风，所述摄像头设置如下：在后排设置两个；
这两个摄像头分别安装在车内左右两侧，靠近驾驶座与副驾驶靠背，视角朝向后排，同时保证这两个摄像头一边的视野范围与车窗的边线对齐，如安装在左边的摄像头，保证摄像头视野的左边与车窗的左边线对齐(规定朝向挡风玻璃为前)，右边同理；
2)对采集的音频进行语音识别，获取车内氛围识别结果；如图3；
2.1)将语音信号转换为神经网络需要的二维频谱图像信号，即语谱图；
2.2)将语谱图作为输入，放入声学模型，将声学信号转为拼音标签序列；
2.3)CTC解码：在语音识别系统的声学模型的输出中，将连续相同的符号合并为同一个符号，然后再去除静音分隔标记符，得到最终实际的语音拼音符号序列；
2.4)使用统计语言模型，将拼音转换为最终的识别文本并输出；
2.5)使用LDA主题分类模型将识别到的文本进行主题分类；
2.6)根据主题分类的结果获得车内氛围识别结果。
3)对采集的视频图像进行目标检测，获取目标检测对象离车窗的距离；具体如下：
3.1)将两个摄像头收集到的视频转为视频帧序列，并分为两组，一组为左侧摄像头拍摄的视频帧序列，记为1组，一组为右侧摄像头拍摄的视频帧序列，记为2组；
3.2)将图片输入到Darknet-53特征提取网络，得到多尺度特征图，每个特征图被分为若干块，对每一块进行预测，通过K-Means聚类得到目标检测对象边界框中心点，通过线性回归得到目标检测对象边界框大小，如图2；
3.3)通过YOLOv3模型，获取目标检测对象边界框的中心点坐标和边界框的宽和高在内的参数，通过参数计算目标检测对象离车窗的距离，具体如下：
通过YOLOv3模型，可以得到一些参数：是婴儿/宠物对象的box参数，一共四个值，即box的中心点坐标(x,y)和box的宽和高(w,h)；
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002304851990000061
Figure BDA0002304851990000062
其中，bx，by是预测的边界框(bounding box)在特征图(feature map)中的中心点坐标；bw，bh是预测的边界框(bounding box)在特征图(feature map) 中的长和宽；pw、ph是预设的参考框(anchor box)映射到特征图(feature map) 中的宽和高；tx，ty，tw，th是为网络学习的相对于先验框(prior,anchor)的预测偏移(offset)，tx，ty是预测的坐标偏移值，tw，th是尺度缩放；cx，cy是特征图 (feature map)中网格单元(grid cell)的左上角坐标，在yolov3中每个网格单元(grid cell)在特征图(feature map)中的宽和高均为1，b0是特征图 (feature map)右上角横坐标(即整个特征图的宽)。
因此，我们设边框离车窗一侧的距离为d，图像的组数标记为n，
Figure BDA0002304851990000071
当d小于一设定值时，则判定婴儿/宠物有趴窗的趋势，并进行预警。
本发明针对私家车内后排婴儿/宠物趴窗进行实时检测，所提方法具备一定预测性，不是等婴儿/宠物真正趴在窗户上时才识别出趴窗，而是当婴儿/宠物离车窗的距离过小时进行预警，防患于未然。本发明针对私家车内氛围检测时允许有一定的时间延迟，语音识别和主题分类车中的对话内容，可以更加准确地确定车内氛围。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，其特征在于，包括以下步骤：
1)在车内设置摄像头与麦克风。考虑到婴儿/宠物在前排趴窗的行为会被司机发现，因此此发明只在后排放置摄像头，检测婴儿/宠物趴窗行为；
2)对采集的音频进行语音识别，获取车内氛围识别结果；
3)对采集的视频图像进行目标检测，获取目标检测对象离车窗的距离；具体如下：
3.1)将视频转为视频帧序列；
3.2)将图片输入到特征提取网络，得到多尺度特征图，将每个特征图被分为若干块，对每一块进行预测，得到预测的目标检测对象边界框中心点和对象边界框大小；
3.3)通过YOLOv3模型，获取目标检测对象边界框的中心点坐标和边界框的宽和高在内的参数，通过参数计算目标检测对象离车窗的距离；
4)当目标检测对象离车窗的距离小于设定值时，则判定婴儿/宠物有趴窗的趋势，并进行预警。
2.根据权利要求1所述的面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，其特征在于，所述步骤1)中摄像头设置如下：所述摄像头设置为两个安装在后排的摄像头；
两个摄像头分别安装在车内左右两侧，视角朝向后排，同时保证这两个摄像头一边的视野范围与车窗的边线对齐。
3.根据权利要求1所述的面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，其特征在于，所述步骤2)中采集的音频进行语音识别，获取车内氛围识别结果；具体如下：
2.1)将语音信号转换为神经网络需要的二维频谱图像信号，即语谱图；
2.2)将语谱图作为输入，放入声学模型，将声学信号转为拼音标签序列；
2.3)CTC解码：在语音识别系统的声学模型的输出中，将连续相同的符号合并为同一个符号，然后再去除静音分隔标记符，得到最终实际的语音拼音符号序列；
2.4)使用统计语言模型，将拼音转换为最终的识别文本并输出；
2.5)使用LDA主题分类模型将识别到的文本进行主题分类；
2.6)根据主题分类的结果获得车内氛围识别结果。
4.根据权利要求1所述的面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法，其特征在于，所述步骤3.2)中得到预测的目标检测对象边界框中心点和对象边界框大小具体如下：
将图片输入到Darknet-53特征提取网络，得到多尺度特征图，每个特征图被分为若干块，对每一块进行预测，通过K-Means聚类得到目标检测对象边界框中心点，通过线性回归得到目标检测对象边界框大小。
CN201911235846.2A 2019-12-05 2019-12-05 一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法 Pending CN111008595A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911235846.2A CN111008595A (zh) 2019-12-05 2019-12-05 一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911235846.2A CN111008595A (zh) 2019-12-05 2019-12-05 一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法

Publications (1)

Publication Number Publication Date
CN111008595A true CN111008595A (zh) 2020-04-14

Family

ID=70113881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911235846.2A Pending CN111008595A (zh) 2019-12-05 2019-12-05 一种面向私家车内后排婴儿/宠物趴窗判别及车内氛围识别方法

Country Status (1)

Country Link
CN (1) CN111008595A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633175A (zh) * 2020-12-24 2021-04-09 哈尔滨理工大学 复杂环境下基于多尺度卷积神经网络单音符实时识别算法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105845127A (zh) * 2015-01-13 2016-08-10 阿里巴巴集团控股有限公司 语音识别方法及其系统
CN105872757A (zh) * 2016-03-24 2016-08-17 乐视控股（北京）有限公司 一种观看电视的安全距离提醒方法及装置
US20180253613A1 (en) * 2017-03-06 2018-09-06 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
CN108831505A (zh) * 2018-05-30 2018-11-16 百度在线网络技术（北京）有限公司 用于识别应用的使用场景的方法和装置
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
CN109658128A (zh) * 2018-11-19 2019-04-19 浙江工业大学 一种基于yolo和质心跟踪的门店入店率统计方法
CN109934848A (zh) * 2019-03-07 2019-06-25 贵州大学 一种基于深度学习的运动物体精准定位的方法
CN110490099A (zh) * 2019-07-31 2019-11-22 武汉大学 一种基于机器视觉的地铁公共地点人流量分析方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105845127A (zh) * 2015-01-13 2016-08-10 阿里巴巴集团控股有限公司 语音识别方法及其系统
CN105872757A (zh) * 2016-03-24 2016-08-17 乐视控股（北京）有限公司 一种观看电视的安全距离提醒方法及装置
US20180253613A1 (en) * 2017-03-06 2018-09-06 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
CN108831505A (zh) * 2018-05-30 2018-11-16 百度在线网络技术（北京）有限公司 用于识别应用的使用场景的方法和装置
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
CN109658128A (zh) * 2018-11-19 2019-04-19 浙江工业大学 一种基于yolo和质心跟踪的门店入店率统计方法
CN109934848A (zh) * 2019-03-07 2019-06-25 贵州大学 一种基于深度学习的运动物体精准定位的方法
CN110490099A (zh) * 2019-07-31 2019-11-22 武汉大学 一种基于机器视觉的地铁公共地点人流量分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谭俊: "一个改进的YOLOv3目标识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633175A (zh) * 2020-12-24 2021-04-09 哈尔滨理工大学 复杂环境下基于多尺度卷积神经网络单音符实时识别算法

Similar Documents

Publication Publication Date Title
JP6570731B2 (ja) 乗客の混雑度の算出方法及びそのシステム
WO2020042984A1 (zh) 一种车辆行为检测方法及装置
TWI431559B (zh) 車牌偵測辨識方法及其系統
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN106599832A (zh) 一种基于卷积神经网络的多类障碍物检测与识别方法
CN111564015B (zh) 一种轨道交通周界入侵的监测方法及装置
EP2064653A1 (en) Method and system of identifying one or more features represented in a plurality of sensor acquired data sets
CN110969130A (zh) 一种基于yolov3司机危险动作识别方法及系统
CN109685026B (zh) 一种驾驶员手持手机通话的实时监测方法
CN110309764B (zh) 一种基于深度学习的多阶段驾驶员打电话行为检测方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN106886778B (zh) 一种监控场景下车牌字符分割与识别方法
Hakim et al. Implementation of an image processing based smart parking system using Haar-Cascade method
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN108009548A (zh) 一种智能路牌识别方法及系统
CN114882440B (zh) 一种人头检测方法和系统
CN110009650B (zh) 一种扶梯扶手边界区域越界检测方法与系统
CN112633149A (zh) 一种域自适应雾天图像目标检测方法和装置
US11482012B2 (en) Method for driving assistance and mobile device using the method
TW201913594A (zh) 以影像為基礎之車輛計數與分類系統
CN104239847B (zh) 行车警示方法及车用电子装置
CN103065163B (zh) 一种基于静态图片的快速目标检测识别系统及方法
CN112381014A (zh) 一种基于城市道路的违停车辆检测及管理方法及系统
CN106919939B (zh) 一种交通标识牌跟踪识别方法及系统
CN113012335A (zh) 一种基于YOLOv3人脸检测的地铁站台引导排队系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200414

RJ01 Rejection of invention patent application after publication