CN108090393A - 基于音视频识别的出租车载客不打表的检测方法及系统 - Google Patents

基于音视频识别的出租车载客不打表的检测方法及系统 Download PDF

Info

Publication number
CN108090393A
CN108090393A CN201610990950.2A CN201610990950A CN108090393A CN 108090393 A CN108090393 A CN 108090393A CN 201610990950 A CN201610990950 A CN 201610990950A CN 108090393 A CN108090393 A CN 108090393A
Authority
CN
China
Prior art keywords
vehicle
audio
face
beat
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610990950.2A
Other languages
English (en)
Inventor
陈义华
许宁
涂岩恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yaxon Networks Co Ltd
Original Assignee
Xiamen Yaxon Networks Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yaxon Networks Co Ltd filed Critical Xiamen Yaxon Networks Co Ltd
Priority to CN201610990950.2A priority Critical patent/CN108090393A/zh
Publication of CN108090393A publication Critical patent/CN108090393A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification

Abstract

本发明基于音视频识别的出租车载客不打表的检测方法及系统，包括如下步骤：S1：采集车辆行车状态；S2：若车辆已点火且由静止变成运行状态，且计价器未打表，则对副驾和后排座位分别进行视频采集；否则返回S1；S3：利用采集的视频数据进行人脸识别；S4：若识别到人脸，则判定车辆处于载客未打表状态，将图片和采集的照片保存备用；S5：若未识别到人脸，进行音频数据采集并处理后与司机的声音样本比对，若两者差别较大，则判定是乘客的声音，即车辆处于载客未打表状态，将音频数据保存备用。通过对车内的音视频数据进行采集，提取副驾及后排座位的照片并进行脸部和外形识别并对录音数据进行处理，较好的实现了出租车载客不打表的检测。

Description

基于音视频识别的出租车载客不打表的检测方法及系统
技术领域
本发明涉及通讯技术领域，具体涉及一种基于音视频识别的出租车载客不打表的检测方法及系统。
背景技术
现有的出租车载客不打表的检测方式主要有两种，一种是通过座位传感器检测是否有信号（CN201310039529[1].X）；另外一种则是对视频数据进行灰度化后进行运动侦测，从而判断是否有载客（CN201410718681[1].5）。这两种方案的缺点都比较明显，座位传感器无法区分人和物；运动侦测法则受算法及外界的影响比较大同时也无法区分人和物，因此准确度也不高。为了解决乘客的识别问题，本发明从人的外形特征及声音特征入手，通过对脸部识别、外形识别、声音对比识别来判断车上是否载有乘客，最大程度的提高了对乘客的识别度，实现了车租车载客不打表的检测。
发明内容
本发明在于为解决上述问题而提供一种基于音视频识别的出租车载客不打表的检测方法及系统，本方法及系统对采集的音视频数据进行分析和识别，并结合车辆的运行状态及计价器的状态判断车辆是否载客不打表。
本发明一种基于音视频识别的出租车载客不打表的检测方法，是基于具有音视频采集和处理设备的出租车，包括如下步骤：
S1：对车辆行车状态进行采集，进入步骤S2；
S2：若车辆处于发动机已点火的状态，且车辆由静止状态变成运行状态，且计价器未打表，则对副驾和后排座位分别进行视频采集，进入步骤S3；否则返回步骤S1；
S3：从采集的视频数据中提取出多个时间上连续的图片，进行人脸识别，进入步骤S4；
S4：若识别到人脸，则判定车辆处于载客未打表状态，此时将图片及车辆状态保存并上传至中心服务器，并对乘客进行拍照后将照片发送至中心服务器保存备用；否则进入步骤S5；
S5：采集车内音频数据，对采集到的音频数据进行处理，并将处理后的音频数据与司机的声音样本进行比对，若两者差别较大，则判定是乘客的声音，即车辆处于载客未打表状态，此时将音频数据发送至中心服务器保存备用。
进一步的，S3步骤中，人脸识别采用openCV库。
进一步的，S5步骤中，音频数据处理包括去噪、保留声音频率范围内的数据。
本发明还包括一种基于音视频识别的出租车载客不打表的检测系统，包括：
行车状态采集模块：用于对车辆行车状态进行采集；
视频采集模块：用于若行车状态采集模块采集到车辆处于发动机已点火的状态，且车辆由静止状态变成运行状态，且计价器未打表，则对副驾和后排座位分别进行视频采集；否则对车辆行车状态进行采集；
人脸识别模块：用于从视频采集模块采集的视频数据中提取出多个时间上连续的图片，进行人脸识别；
判定并保存数据模块：用于若人脸识别模块识别到人脸，则判定车辆处于载客未打表状态，此时将图片及车辆状态保存并上传至中心服务器，并对乘客进行拍照后将照片发送至中心服务器保存备用；
音频数据采集和比对判定模块：用于若人脸识别模块未识别到人脸，则采集车内音频数据，对音频数据进行处理，并将处理后的音频数据与司机的声音样本进行比对，若两者差别较大，则判定是乘客的声音，即车辆处于载客未打表状态，将音频数据发送至中心服务器保存备用。
本发明的有益效果是：
本发明通过对车内的音视频数据进行采集，提取副驾及后排座位的照片并进行脸部和外形识别，同时对录音数据进行处理比对，从人的外形特征及声音特征入手，通过对脸部识别、外形识别、声音对比识别来判断车上是否载有乘客，最大程度的提高了对乘客的识别度，检测出租车载客不打表准确度高。
附图说明
图1为本发明的方法流程图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
参见图1，本发明一种基于音视频识别的出租车载客不打表的检测方法，是基于具有音视频采集和处理设备的出租车，包括如下步骤：
S1：对车辆行车状态进行采集，进入步骤S2；
S2：若车辆处于发动机已点火的状态，且车辆由静止状态变成运行状态，且计价器未打表，则对副驾和后排座位分别进行视频采集，进入步骤S3；否则返回步骤S1；
S3：从采集的视频数据中提取出多个时间上连续的图片，进行人脸识别，其中，人脸识别采用openCV库，进入步骤S4；
S4：若识别到人脸，则判定车辆处于载客未打表状态，此时将图片及车辆状态保存并上传至中心服务器，并对乘客进行拍照后将照片发送至中心服务器保存备用；否则进入步骤S5；
S5：采集车内音频数据，对采集到的音频数据进行处理，其中，音频数据处理包括去噪、保留声音频率范围内的数据，并将处理后的音频数据与司机的声音样本进行比对，若两者差别较大，则判定是乘客的声音，即车辆处于载客未打表状态，此时将音频数据发送至中心服务器保存备用。
本发明还包括一种基于音视频识别的出租车载客不打表的检测系统，包括：
行车状态采集模块：用于对车辆行车状态进行采集；
视频采集模块：用于若行车状态采集模块采集到车辆处于发动机已点火的状态，且车辆由静止状态变成运行状态，且计价器未打表，则对副驾和后排座位分别进行视频采集；否则对车辆行车状态进行采集；
人脸识别模块：用于从视频采集模块采集的视频数据中提取出多个时间上连续的图片，进行人脸识别；
判定并保存数据模块：用于若人脸识别模块识别到人脸，则判定车辆处于载客未打表状态，此时将图片及车辆状态保存并上传至中心服务器，并对乘客进行拍照后将照片发送至中心服务器保存备用；
音频数据采集和比对判定模块：用于若人脸识别模块未识别到人脸，则采集车内音频数据，对音频数据进行处理，并将处理后的音频数据与司机的声音样本进行比对，若两者差别较大，则判定是乘客的声音，即车辆处于载客未打表状态，将音频数据发送至中心服务器保存备用。
本发明一种基于音视频识别的出租车载客不打表的检测方法及系统，通过对车内的音视频数据进行采集，提取副驾及后排座位的照片并进行脸部和外形识别，同时对录音数据进行处理比对，从人的外形特征及声音特征入手，通过对脸部识别、外形识别、声音对比识别来判断车上是否载有乘客，最大程度的提高了对乘客的识别度，检测出租车载客不打表准确度高。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (4)

1.一种基于音视频识别的出租车载客不打表的检测方法，是基于具有音视频采集和处理设备的出租车，其特征在于：包括如下步骤：
S1：对车辆行车状态进行采集，进入步骤S2；
S2：若车辆处于发动机已点火的状态，且车辆由静止状态变成运行状态，且计价器未打表，则对副驾和后排座位分别进行视频采集，进入步骤S3；否则返回步骤S1；
S3：从采集的视频数据中提取出多个时间上连续的图片，进行人脸识别，进入步骤S4；
S4：若识别到人脸，则判定车辆处于载客未打表状态，此时将图片及车辆状态保存并上传至中心服务器，并对乘客进行拍照后将照片发送至中心服务器保存备用；否则进入步骤S5；
S5：采集车内音频数据，对采集到的音频数据进行处理，并将处理后的音频数据与司机的声音样本进行比对，若两者差别较大，则判定是乘客的声音，即车辆处于载客未打表状态，此时将音频数据发送至中心服务器保存备用。
2.如权利要求1所述的一种基于音视频识别的出租车载客不打表的检测方法，其特征在于：S3步骤中，人脸识别采用openCV库。
3.如权利要求1所述的一种基于音视频识别的出租车载客不打表的检测方法，其特征在于：S5步骤中，音频数据处理包括去噪、保留声音频率范围内的数据。
4.一种基于音视频识别的出租车载客不打表的检测系统，其特征在于：包括：
行车状态采集模块：用于对车辆行车状态进行采集；
视频采集模块：用于若行车状态采集模块采集到车辆处于发动机已点火的状态，且车辆由静止状态变成运行状态，且计价器未打表，则对副驾和后排座位分别进行视频采集；否则对车辆行车状态进行采集；
人脸识别模块：用于从视频采集模块采集的视频数据中提取出多个时间上连续的图片，进行人脸识别；
判定并保存数据模块：用于若人脸识别模块识别到人脸，则判定车辆处于载客未打表状态，此时将图片及车辆状态保存并上传至中心服务器，并对乘客进行拍照后将照片发送至中心服务器保存备用；
音频数据采集和比对判定模块：用于若人脸识别模块未识别到人脸，则采集车内音频数据，对音频数据进行处理，并将处理后的音频数据与司机的声音样本进行比对，若两者差别较大，则判定是乘客的声音，即车辆处于载客未打表状态，将音频数据发送至中心服务器保存备用。
CN201610990950.2A 2016-11-10 2016-11-10 基于音视频识别的出租车载客不打表的检测方法及系统 Pending CN108090393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610990950.2A CN108090393A (zh) 2016-11-10 2016-11-10 基于音视频识别的出租车载客不打表的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610990950.2A CN108090393A (zh) 2016-11-10 2016-11-10 基于音视频识别的出租车载客不打表的检测方法及系统

Publications (1)

Publication Number Publication Date
CN108090393A true CN108090393A (zh) 2018-05-29

Family

ID=62168013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610990950.2A Pending CN108090393A (zh) 2016-11-10 2016-11-10 基于音视频识别的出租车载客不打表的检测方法及系统

Country Status (1)

Country Link
CN (1) CN108090393A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948451A (zh) * 2019-02-22 2019-06-28 深圳业拓讯通信科技有限公司 一种出租车拒载行为的识别系统和方法
CN113345244A (zh) * 2021-06-23 2021-09-03 广州交信投科技股份有限公司 巡游车告警方法、告警装置、计算机存储介质和终端

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030316A (zh) * 2007-04-17 2007-09-05 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
CN102044144A (zh) * 2009-10-21 2011-05-04 厦门雅迅网络股份有限公司 一种出租车车载通信终端及其数据处理方法
CN103390347A (zh) * 2013-06-27 2013-11-13 山东大学 一种出租车智能可视和图像识别装置及工作方法
CN104176063A (zh) * 2014-09-06 2014-12-03 胡达广 根据人体生物特征设置汽车系统
CN104410831A (zh) * 2014-12-01 2015-03-11 厦门雅迅网络股份有限公司 一种监控出租车载客不打表的方法
CN104640001A (zh) * 2013-11-07 2015-05-20 大陆汽车系统公司 基于多重超定向波束形成器的共同讲话者调零
CN204547917U (zh) * 2015-04-15 2015-08-12 郭帅 一种轿车超员检测报警系统
CN105235615A (zh) * 2015-10-27 2016-01-13 浙江吉利控股集团有限公司 一种基于人脸识别的车辆控制系统
CN105279814A (zh) * 2014-07-24 2016-01-27 中兴通讯股份有限公司 行车记录处理方法及系统
CN105303819A (zh) * 2015-11-18 2016-02-03 王勇 乘客通过手机监督司机行为和车辆环境的系统及方法
CN105292052A (zh) * 2015-11-12 2016-02-03 福州大学 车辆行车安全自动监控与报警系统
CN105700682A (zh) * 2016-01-08 2016-06-22 北京乐驾科技有限公司 基于视觉和语音的智能性别、情绪识别检测系统及方法
CN105825184A (zh) * 2016-03-15 2016-08-03 深圳市佳信捷技术股份有限公司 车辆数据处理方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030316A (zh) * 2007-04-17 2007-09-05 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
CN102044144A (zh) * 2009-10-21 2011-05-04 厦门雅迅网络股份有限公司 一种出租车车载通信终端及其数据处理方法
CN103390347A (zh) * 2013-06-27 2013-11-13 山东大学 一种出租车智能可视和图像识别装置及工作方法
CN104640001A (zh) * 2013-11-07 2015-05-20 大陆汽车系统公司 基于多重超定向波束形成器的共同讲话者调零
CN105279814A (zh) * 2014-07-24 2016-01-27 中兴通讯股份有限公司 行车记录处理方法及系统
CN104176063A (zh) * 2014-09-06 2014-12-03 胡达广 根据人体生物特征设置汽车系统
CN104410831A (zh) * 2014-12-01 2015-03-11 厦门雅迅网络股份有限公司 一种监控出租车载客不打表的方法
CN204547917U (zh) * 2015-04-15 2015-08-12 郭帅 一种轿车超员检测报警系统
CN105235615A (zh) * 2015-10-27 2016-01-13 浙江吉利控股集团有限公司 一种基于人脸识别的车辆控制系统
CN105292052A (zh) * 2015-11-12 2016-02-03 福州大学 车辆行车安全自动监控与报警系统
CN105303819A (zh) * 2015-11-18 2016-02-03 王勇 乘客通过手机监督司机行为和车辆环境的系统及方法
CN105700682A (zh) * 2016-01-08 2016-06-22 北京乐驾科技有限公司 基于视觉和语音的智能性别、情绪识别检测系统及方法
CN105825184A (zh) * 2016-03-15 2016-08-03 深圳市佳信捷技术股份有限公司 车辆数据处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948451A (zh) * 2019-02-22 2019-06-28 深圳业拓讯通信科技有限公司 一种出租车拒载行为的识别系统和方法
CN113345244A (zh) * 2021-06-23 2021-09-03 广州交信投科技股份有限公司 巡游车告警方法、告警装置、计算机存储介质和终端

Similar Documents

Publication Publication Date Title
CN101809619B (zh) 属性估计系统、年龄估计系统、性别估计系统、年龄和性别估计系统和属性估计方法
CN106920233B (zh) 基于图像处理的划痕检测方法、装置及电子设备
CN101271514B (zh) 一种快速目标检测和目标输出的图像检测方法及装置
CN107368770B (zh) 一种回头客自动识别方法及系统
CN1930575B (zh) 评估音频和视频源数据的方法及设备
US9129164B2 (en) Vehicle driver assist system
CN106375755A (zh) 一种视频数据卡顿检测方法及系统
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN105807335B (zh) 车辆底盘检查方法和系统
CN104717426B (zh) 一种基于外部传感器的多摄像机视频同步装置及方法
WO2004042673A3 (en) Automatic, real time and complete identification of vehicles
CN110991406A (zh) 一种基于rsvp脑电特征的弱小目标检测方法及系统
CN109920404A (zh) 拥有智能感知作用的自助售货广告管理系统的信息采集装置及采集方法
CN112465706A (zh) 一种闸口集装箱自动验残方法
CN110728650A (zh) 一种基于智能终端的井盖凹陷检测方法及相关设备
CN109345524A (zh) 一种基于视觉的轴承外观缺陷检测系统
CN105389985B (zh) 一种基于手机传感器的智能驾驶行为分析方法
CN106980837A (zh) 一种基于车辆特征信息分析的车型识别方法及系统
CN108090393A (zh) 基于音视频识别的出租车载客不打表的检测方法及系统
JP4021873B2 (ja) 顔画像監視システム
CN113269769A (zh) 一种基于图像配准的缺陷检测方法、系统及设备
CN108345878A (zh) 基于视频的公共交通工具客流量监测方法及系统
CN107257913A (zh) 用于更新在导航系统中的停车场信息的方法和导航系统
CN107277557A (zh) 一种视频分割方法及系统
CN110322470A (zh) 行动识别装置、行动识别方法以及记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180529

WD01 Invention patent application deemed withdrawn after publication