CN104735412A - 一种地铁乘客紧急通讯的音视频合成及同步播放方法 - Google Patents
一种地铁乘客紧急通讯的音视频合成及同步播放方法 Download PDFInfo
- Publication number
- CN104735412A CN104735412A CN201510119123.1A CN201510119123A CN104735412A CN 104735412 A CN104735412 A CN 104735412A CN 201510119123 A CN201510119123 A CN 201510119123A CN 104735412 A CN104735412 A CN 104735412A
- Authority
- CN
- China
- Prior art keywords
- video
- file
- audio
- tdvr
- audio file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
一种地铁乘客紧急通讯的音视频合成及同步播放方法，先从TDVR的视频文件夹中获取视频数据，构造一个满足需求时间段以及编号要求的仅含有视频的avi文件，再构造一个与avi文件等长的空wav文件，然后从TDVR的音频文件夹中，按照需求时间段以及编号要求，将相应的音频文件数据拷贝进wav文件中，再将二者合成为一个既包含视频又包含音频的avi文件。同步播放为从TDVR视频文件夹中按照需求时间段以及编号要求获取视频帧，在视频帧解码播放的同时按照其时间戳，同步播放从TDVR音频文件夹中选取的满足需求时间段的音频文件。本发明在运行过程中发生PECU报警后，获取报警时刻音视频信息的一种方法使用。
Description
技术领域
本发明属于嵌入式计算机领域，涉及一种地铁乘客紧急通讯的音视频合成及同步播放方法。
背景技术
随着国民经济的不断发展，我国的城市化进程也在逐步加快，经济发展，车辆不断增加，城市路面交通系统面临前所未有的压力，迫切需要发展地下公共交通来缓解城市交通拥堵的压力。地铁这种动力大、不占用地面空间的交通运输设施，正在大中城市建设中悄然兴起，并成为解决城市交通问题的最佳选择。与此同时地铁的安全性问题也愈发引起人们重视，传统的车载视频监控系统大多仅有视频没有音频，这就使得紧急事件发生后，调查人员无法获得事件发生时的全部信息，造成事件调查的不便。部分车载视频监控系统中设计有音频模块，但是存在着系统存储有大量无用音频、存储空间浪费的问题，所以需要引入列车紧急通讯的音视频合成以及同步播放方法来解决这一问题。
车载视频监控系统为司机及运营控制中心提供了在驾驶室或者运行控制中心OCC(Operation Control Centre)监控客室乘客及两端司机室状况的功能。如图1所示，系统由驾驶室中的司机室监控触摸显示屏TLCD(CCTV Touch LCD)、工业交换机Switch、多功能车辆总线MVB(Multifunction Vehicle Bus)、车辆数字摄像储存器TDVR(Train-borne Digital Video Recorder)、车载摄像头Camera、乘客紧急通讯单元PECU(Passenger Emergency Communication Unit)以及客室广播控制器模块Controller等七个部分组成，其中TLCD、TDVR、Controller以及Camera通过Switch相连，PECU与Controller通过MVB相连。系统能够对列车司机室和客室的所有Camera拍摄的视频信号进行连续记录，为事后调查提供依据。
Camera采用彩色固定式半球形车载摄像头，仅采集视频数据，输出的信号经由集成在客室广播控制单元PACU(PA Amplifier&Video Control Unit)中的编码器编码转为数字信号后，通过内部以太网络进行传输，并保存在司机室TDVR的硬盘中。Camera的基本视频流格式分为子码流与主码流，子码流的分辨率为320×288，每秒数据量512KB，主码流的分辨率为704×576，每秒数据量1MB。客室工业交换机Switch集成在客室广播控制单元PACU中。司机室工业交换机Switch集成在地铁广播与视频控制单元ACSU(Train-borneAnnouncement&Video Control System Unit)中。
当车载视频监控系统开始运行，TLCD上电启动之后通过ping指令查看内部以太网络内全部Camera的在线状态，然后根据在线状态向TDVR发送取全车在线Camera子码流命令，TDVR收到该命令之后发送取流命令，与全车在线的Camera建立连接，根据实时流传输协议RTSP获取H.264格式的视频数据存入TDVR的视频文件夹中。视频数据以帧为单位存储，用时间戳来标识记录该视频帧的时刻，各个不同Camera的视频帧在TDVR中以不同编号加以区分。为了节省TDVR的存储空间，不需要录制音频数据，TDVR中只存在视频文件夹。
在客室内出现紧急情况或发生突发事件时，乘客可按下设置在客室紧急报警器上的按钮，并通过紧急报警器的内藏式麦克风实现与司机的对话，这一过程称为乘客紧急通讯PECU报警过程。乘客触发PECU报警跟司机室通过MVB建立通话连接时，TLCD向TDVR发送取该PECU对应的Camera主码流的命令，TDVR收到该命令之后便开始取该Camera主码流存入TDVR的视频文件夹中。为了管理人员在事后能更好地了解报警当时的情形，此时需要Controller录制PECU报警的音频文件，并存储在Controller音频文件夹中。当通话完毕后停止录制音频文件，PECU报警过程结束。TDVR每隔20分钟便会通过内部以太网遍历Controller音频文件夹，如果发现其中有不同于其自身音频文件夹中的音频文件，便将该音频文件复制进其自身音频文件夹中，完成TDVR与Controller二者内部音频文件的同步。因此TDVR中存在两个文件夹，一个存储H.264格式的视频文件，一个存储wav格式的音频文件，在使用PC上位机调取PECU报警时刻视频的过程中需要将二者合成。
传统的音视频合成方法大多使用DirectShow开发包提供的接口函数，通过构建Filter Graph的模型来管理整个数据流的处理过程，完成数据流的合成。但是单纯使用这种方法存在要求音频文件须与视频文件等长，视频文件需要预先编码等缺点。本发明在使用DirectShow开发包提供的接口函数的基础上，按照音视频合成以及同步播放两个过程分别处理，克服了以上缺点，满足了用户的要求。
发明内容
本发明要解决的技术问题是提供一种列车乘客紧急通讯音视频合成以及同步播放方法。将在TDVR不同文件夹中的视频数据与音频数据合成为一个avi文件，或者在播放报警时刻视频的过程中同步播放音频，以便调查人员更好地了解事件发生时的情形，满足调查需求。
本发明的技术方案：
音视频合成及同步播放的总体过程如图2所示，将PC上位机连接到列车的内部以太网中，方法首先遍历TDVR中的音频文件夹，获取每个报警音频文件的信息，包括对应的列车号、车厢号、设备号、音频文件的起始时间以及长度，据此计算出每个音频文件对应的Camera编号；同时，在TDVR的视频文件夹中选择同样Camera编号的视频文件，根据实际需要给出一个需求时间段，然后按照音频与视频文件的录制时间，在这个时间段内对二者进行音视频合成或者同步播放。
(1)音视频合成
首先判断TDVR的音频文件夹中是否存在与欲合成Camera编号一致的音频文件，如果不存在则说明该Camera在运行过程中没有发生PECU报警，音视频合成过程结束。如果存在则开始在TDVR的视频文件夹中取视频帧，视频帧的长度与用户要求一致，然后将这些视频帧写入一个avi文件。接下来，构造一个与此avi文件等长空的wav文件，然后在TDVR的音频文件夹中依次遍历同样编号的每一个音频文件。根据音频文件的起始时间以及播放长度判断是否存在满足用户要求的部分，如果存在则将这一部分写入wav文件的对应位置中，如果不存在继续遍历。遍历完成后，再调用基于DirectShow的接口将仅含有视频数据的avi文件以及仅含有音频数据的wav文件合成为一个既包含视频又包含音频的avi文件，音视频合成过程结束。
(2)同步播放
首先判断TDVR的音频文件夹中是否存在与欲播放Camera编号一致的音频文件，如果不存在则说明该Camera在运行过程中没有发生PECU报警，同步播放过程结束。如果存在则开始在TDVR的视频文件夹中取视频帧，具体过程以需求时间段开始时间为起点，遍历其中的每一帧视频数据，判断该视频帧时间戳是否大于需求时间段结束时间，如果大于则说明选择时间段的视频帧已经取完，同步播放过程结束。如果小于或等于则将该视频帧放入播放缓冲队列中。在遍历视频文件夹的同时，根据播放缓冲队列中视频帧的编号及时间戳，在音频文件夹中寻找相应的音频文件，如能找到，则同步播放此视频与音频，如找不到，则在TDVR的视频文件夹中继续遍历下一个视频帧。继续这个过程，直至从TDVR的视频文件夹中获取的视频帧时间戳大于需求时间段的结束时间，同步播放过程结束。
本发明的有益效果在于实现了管理人员获取PECU报警时刻状况过程中的音视频合成以及同步播放功能，既能保证音视频的同步需要又能保证TDVR硬盘空间的合理利用。
附图说明
图1是车载视频监控系统的组成框图。
图2是本发明的音视频合成以及同步播放总体框图。
图3是本发明的音视频合成流程图。
图4是本发明的同步播放流程图。
具体实施方式
以下结合发明内容和说明书附图详细说明本发明的具体实施方式。
(1)预处理
PECU报警音频文件的命名格式为“列车号-车厢号-设备号-年月日-时分秒.wav”，在地铁实际运营过程中可能存在将多列车连挂编组成为一列车的情况，所以需要使用列车号来表示该列车在编组中的位置。一列车由多个车厢组成，用车厢号加以区分，每个车厢内有两个紧急报警器，分别对应一个Camera，用设备号加以区分，如00-03-01-20140922-090444.wav，表示第0号车第3号车厢设备号为1的紧急报警器所对应的Camera在2014年09月22日09点04分44秒开始有PECU报警。将PC上位机连接到列车的内部以太网中，首先遍历TDVR中的音频文件夹，获取每个音频文件对应的列车号、车厢号、设备号、音频文件的起始时间以及播放长度。然后，据此计算出每个音频文件对应的Camera编号，编号的计算方法为列车号、车厢号与设备号之和乘以2，再将每个音频文件标记为未被播放以及未被写入。根据实际需要选择一个需求时间段，然后按照音频与视频文件的录制时间和用户要求，在这个时间段内对二者进行音视频合成或者同步播放。
(2)音视频合成
音视频合成过程如图3所示。首先判断TDVR的音频文件夹中是否存在与欲合成Camera编号一致的音频文件，如果不存在则说明该Camera在运行过程中没有发生PECU报警，音视频合成过程结束。如果存在则开始在TDVR的视频文件夹中取视频帧，视频帧的长度与用户要求一致，然后将这些视频帧写入一个avi文件。接下来，构造一个与此avi文件等长的空wav文件，然后在TDVR音频文件夹中依次遍历同样编号且标记为未写入的每一个音频文件。根据音频文件的起始时间以及播放长度判断是否存在满足用户要求的部分。具体过程为首先判断音频文件的起始时间是否大于或等于需求时间段结束时间，如果大于或等于说明该音频文件的数据均不在需求时间段内，将该音频文件标记为已写入后继续遍历TDVR音频文件夹中同样编号的音频文件。如果音频文件的起始时间小于需求时间段的结束时间，再判断音频文件的起始时间是否大于或等于需求时间段的开始时间，如果大于或等于再判断音频文件的起始时间与播放长度之和是否小于或等于需求时间段的结束时间，如果小于或等于说明音频文件的全部数据均在需求时间段内，以音频文件的起始时间与需求时间段开始时间的差值为偏移来设置wav文件的写入位置，以该写入位置为起点将音频文件的数据全部拷贝进wav文件中。如果音频文件的起始时间与播放长度之和大于需求时间段的结束时间，说明音频文件部分数据超出了需求时间段，再将数据拷贝进wav文件的过程中需要将超出部分舍去。如果音频文件的起始时间小于需求时间段的开始时间，再判断音频文件的起始时间与播放长度之和是否大于或等于需求时间段的开始时间，如果大于或等于说明音频文件有部分数据在需求时间段内，以wav文件数据段起始位置为写入起点，将该音频文件在需求时间段内的数据拷贝进wav文件中，如果音频文件的起始时间与播放长度之和小于需求时间段的开始时间，说明该音频文件的数据均不在需求时间段内，将该音频文件标记为已写入后继续遍历TDVR音频文件夹中同样编号的音频文件。遍历完毕之后，再调用基于DirectShow的合成接口将仅含有视频数据的avi文件以及仅含有音频数据的wav文件合成为一个既包含视频又包含音频的avi文件。最后将仅含有视频数据的avi文件以及仅含有音频数据的wav文件删除，音视频合成过程结束。
(3)同步播放
同步播放过程如图4所示。首先判断TDVR的音频文件夹中是否存在与欲播放Camera编号一致的音频文件，如果不存在则说明该Camera在运行过程中没有发生PECU报警，同步播放过程结束。如果存在则开始在TDVR的视频文件夹中取视频帧，具体过程以需求时间段开始时间为起点，遍历其中的每一帧视频数据，判断该视频帧时间戳是否大于需求时间段结束时间，如果大于则说明需求时间段的视频帧已经取完，同步播放过程结束，如果小于或等于则将该视频帧放入播放缓冲队列中。在遍历视频文件夹的同时，根据播放缓冲队列中视频帧的编号及时间戳，遍历音频文件夹中具有相同编号且标记为未播放的音频文件，判断是否为合适播放的音频文件。具体过程为判断视频帧的时间戳与音频文件起始时间的大小关系，如果前者较小，说明不存在该时刻的音频文件，继续遍历TDVR音频文件夹中的音频文件。如果视频帧的时间戳等于音频文件起始时间，则播放该音频文件，在播放之前首先判断当前是否正在播放其他音频文件，如果有则关闭当前正在播放的音频文件，之后开始同步播放视频与该音频文件并将该音频文件标记为已播放，再在TDVR的视频文件夹中继续遍历下一个视频帧。如果视频帧的时间戳大于音频文件起始时间，再判断视频帧的时间戳是否小于该音频文件起始时间与播放长度之和，如果小于，说明该音频文件的部分数据在需求时间段内，获取该音频文件的起始时间与播放长度之和减去视频帧时间戳的差值，以该差值作为偏移来设置该音频文件的起始播放位置，再播放该音频文件。与上述播放过程相同，需要首先判断当前是否正在播放其他音频文件，如果有则关闭当前正在播放的音频文件，之后同步播放视频与该音频文件并将该音频文件标记为已播放，然后在TDVR的视频文件夹中继续遍历下一个视频帧。如果视频帧的时间戳大于或等于音频文件起始时间与播放长度之和，说明该音频文件不在需求时间段内，将其标记为已播放后继续遍历TDVR音频文件夹，直至遍历完成，如未找到一个合适音频文件，则说明TDVR音频文件夹中没有适合当前时间播放的音频文件，再在TDVR的视频文件夹中继续遍历下一个视频帧。继续这个过程，直至从TDVR的视频文件夹中获取的视频帧时间戳大于需求时间段的结束时间，同步播放过程结束。
Claims (1)
1.一种地铁乘客紧急通讯的音视频合成及同步播放方法，包括音视频合成及同步播放，其特征在于：
首先将PC上位机连接到列车的内部以太网中，遍历TDVR中的音频文件夹，获取每个报警音频文件的信息，包括对应的列车号、车厢号、设备号、音频文件的起始时间以及长度，据此计算出每个音频文件对应的Camera编号；同时，在TDVR的视频文件夹中选择同样Camera编号的视频文件，根据实际需要给出一个需求时间段，然后按照音频与视频文件的录制时间，在这个时间段内对二者进行音视频合成或者同步播放；
音视频合成过程中，首先判断TDVR的音频文件夹中是否存在与欲合成Camera编号一致的音频文件，如果不存在则说明该Camera在运行过程中没有发生PECU报警，音视频合成过程结束；如果存在则开始在TDVR的视频文件夹中取视频帧，视频帧的长度与用户要求一致，然后将这些视频帧写入一个avi文件；接下来，构造一个与此avi文件等长空的wav文件，然后在TDVR的音频文件夹中依次遍历同样编号的每一个音频文件；根据音频文件的起始时间以及播放长度判断是否存在满足用户要求的部分，如果存在则将这一部分写入wav文件的对应位置中，如果不存在继续遍历；遍历完成后，再调用基于DirectShow的接口将仅含有视频数据的avi文件以及仅含有音频数据的wav文件合成为一个既包含视频又包含音频的avi文件，音视频合成过程结束；
同步播放过程中，首先判断TDVR的音频文件夹中是否存在与欲播放Camera编号一致的音频文件，如果不存在则说明该Camera在运行过程中没有发生PECU报警，同步播放过程结束；如果存在则开始在TDVR的视频文件夹中取视频帧，具体过程以需求时间段开始时间为起点，遍历其中的每一帧视频数据，判断该视频帧时间戳是否大于需求时间段结束时间，如果大于则说明选择时间段的视频帧已经取完，同步播放过程结束；如果小于或等于则将该视频帧放入播放缓冲队列中；在遍历视频文件夹的同时，根据播放缓冲队列中视频帧的编号及时间戳，在音频文件夹中寻找相应的音频文件，如能找到，则同步播放此视频与音频，如找不到，则在TDVR的视频文件夹中继续遍历下一个视频帧；继续这个过程，直至从TDVR的视频文件夹中获取的视频帧时间戳大于需求时间段的结束时间，同步播放过程结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510119123.1A CN104735412B (zh) | 2015-03-11 | 2015-03-11 | 一种地铁乘客紧急通讯的音视频合成及同步播放方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510119123.1A CN104735412B (zh) | 2015-03-11 | 2015-03-11 | 一种地铁乘客紧急通讯的音视频合成及同步播放方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104735412A true CN104735412A (zh) | 2015-06-24 |
| CN104735412B CN104735412B (zh) | 2017-08-01 |
Family
ID=53458791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510119123.1A Active CN104735412B (zh) | 2015-03-11 | 2015-03-11 | 一种地铁乘客紧急通讯的音视频合成及同步播放方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104735412B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106843056A (zh) * | 2017-02-28 | 2017-06-13 | 大连理工大学 | 一种地铁运营中心车辆远程视频监控通道的切换方法 |
| CN107291410A (zh) * | 2017-05-15 | 2017-10-24 | 西安诺瓦电子科技有限公司 | 播放控制方法及装置和媒体同步播放系统及方法 |
| CN107566447A (zh) * | 2017-07-26 | 2018-01-09 | 深圳市盛路物联通讯技术有限公司 | 一种安全管理方法及物联网服务器 |
| CN115257870A (zh) * | 2022-08-29 | 2022-11-01 | 中车青岛四方机车车辆股份有限公司 | 一种故障处理装置及动车组列车 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1777265A (zh) * | 2005-08-19 | 2006-05-24 | 上海晨兴电子科技有限公司 | 影音同步录制及播放方法 |
| JP2008211777A (ja) * | 2002-04-26 | 2008-09-11 | Directv Group Inc | 映像提示においてコマーシャルに索引を付けるシステムおよび方法 |
| WO2011018433A1 (en) * | 2009-08-11 | 2011-02-17 | Nagravision S.A. | Digital video recorder with linear recording buffer |
| CN101984663A (zh) * | 2010-10-18 | 2011-03-09 | 中兴通讯股份有限公司 | 一种监控音视频的播放控制方法及系统 |
| US20110135276A1 (en) * | 1998-07-30 | 2011-06-09 | Jim Barton | Closed caption tagging system |
| CN102456376A (zh) * | 2010-11-03 | 2012-05-16 | 深圳英飞拓科技股份有限公司 | 一种用于监控设备的即录即放方法 |
-
2015
- 2015-03-11 CN CN201510119123.1A patent/CN104735412B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110135276A1 (en) * | 1998-07-30 | 2011-06-09 | Jim Barton | Closed caption tagging system |
| JP2008211777A (ja) * | 2002-04-26 | 2008-09-11 | Directv Group Inc | 映像提示においてコマーシャルに索引を付けるシステムおよび方法 |
| CN1777265A (zh) * | 2005-08-19 | 2006-05-24 | 上海晨兴电子科技有限公司 | 影音同步录制及播放方法 |
| WO2011018433A1 (en) * | 2009-08-11 | 2011-02-17 | Nagravision S.A. | Digital video recorder with linear recording buffer |
| CN101984663A (zh) * | 2010-10-18 | 2011-03-09 | 中兴通讯股份有限公司 | 一种监控音视频的播放控制方法及系统 |
| CN102456376A (zh) * | 2010-11-03 | 2012-05-16 | 深圳英飞拓科技股份有限公司 | 一种用于监控设备的即录即放方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106843056A (zh) * | 2017-02-28 | 2017-06-13 | 大连理工大学 | 一种地铁运营中心车辆远程视频监控通道的切换方法 |
| CN107291410A (zh) * | 2017-05-15 | 2017-10-24 | 西安诺瓦电子科技有限公司 | 播放控制方法及装置和媒体同步播放系统及方法 |
| CN107566447A (zh) * | 2017-07-26 | 2018-01-09 | 深圳市盛路物联通讯技术有限公司 | 一种安全管理方法及物联网服务器 |
| CN115257870A (zh) * | 2022-08-29 | 2022-11-01 | 中车青岛四方机车车辆股份有限公司 | 一种故障处理装置及动车组列车 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104735412B (zh) | 2017-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10721517B2 (en) | Method and system for synchronously reproducing multimedia multi-information | |
| CN104735412A (zh) | 一种地铁乘客紧急通讯的音视频合成及同步播放方法 | |
| CN103544744A (zh) | 一种基于云端控制的行车记录仪系统及记录方法 | |
| JP2012023510A5 (zh) | ||
| CN204258983U (zh) | 视音频记录装置 | |
| JP5324722B1 (ja) | 映像記録再生装置 | |
| CN101272501B (zh) | 一种视音频编解码方法和装置 | |
| WO2019127272A1 (zh) | 一种智能车载 adas 功能的演示方法、装置及终端设备 | |
| CN103309301A (zh) | 车船讲解调度管理设备 | |
| CN103106705A (zh) | 一种行车记录仪及其行车记录方法 | |
| CN202013599U (zh) | 四通道车载行车记录仪 | |
| CN208273021U (zh) | 一种乘客信息系统 | |
| CN103177526A (zh) | 渣土车安全行驶实时提醒系统 | |
| CN106210585A (zh) | 一种存储车辆视频录像的方法及装置 | |
| CN202352074U (zh) | 兼具高清图像识别与视频监控的综合监控系统 | |
| CN102202215A (zh) | 一种基于3g的无线视频移动终端设备 | |
| CN206302510U (zh) | 车载视频监控装置 | |
| CN105023312A (zh) | 云电子狗式行车记录仪 | |
| CN105551109A (zh) | 基于语音识别的行车记录仪 | |
| CN202334750U (zh) | 一种高清音视频审讯系统 | |
| CN108259860A (zh) | 一种富媒体视频监控系统 | |
| CN212519244U (zh) | 对行车指挥进行记录分析与直播的装置 | |
| CN204652583U (zh) | 具有新型网络结构的高速公路收费监视系统 | |
| CN204264066U (zh) | 一种车载视讯系统 | |
| CN114414257A (zh) | 汽车的测试系统、方法、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |