CN110753165A - 一种推土机远程操控视频数据与音频数据同步的方法 - Google Patents
一种推土机远程操控视频数据与音频数据同步的方法 Download PDFInfo
- Publication number
- CN110753165A CN110753165A CN201911078981.0A CN201911078981A CN110753165A CN 110753165 A CN110753165 A CN 110753165A CN 201911078981 A CN201911078981 A CN 201911078981A CN 110753165 A CN110753165 A CN 110753165A
- Authority
- CN
- China
- Prior art keywords
- bulldozer
- delta
- video
- audio signal
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000005236 sound signal Effects 0.000 claims abstract description 30
- 230000001133 acceleration Effects 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims description 2
- 238000010276 construction Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Operation Control Of Excavators (AREA)
Abstract
本发明公开了一种推土机远程操控视频数据与音频数据同步的方法，包括如下步骤：步骤一，获取音频信号的特征时间点t1，步骤二，获取视频信号的特征时间点t2，方法如下：获取一段视频信号，对视频中推土机推土铲的速度v求导，得到推土机推土铲的加速度a，进而得到推土机推土铲的加速度a的最大值所对应的时刻，该时刻即为t2；步骤三，计算Δt＝|t1‑t2|，并与预先设定的阈值Cmax进行比较。本发明实现了远程驾驶员端的声音和视频的同步，避免了声音信号和视频信号不同步对驾驶员的干扰，提高了推土机远程操作的效率和安全性。
Description
技术领域
本技术属于推土机远程操控领域，具体涉及一种推土机远程操控视频数据与音频数据同步的方法。
背景技术
推土机是一种工程机械，广泛应用于各种施工现场，具有作业效率高、施工速度快等优点。但在一些特殊环境中，推土机的操作人员的安全和健康收到威胁，例如，在有毒、有辐射的环境，或者施工现场可能出现塌陷、塌落等危险的环境。
为了解决在特殊环境中的推土机操作问题，现有技术普遍采用远程操控的方式，即，驾驶员在远程、安全的环境中操控推土机进行施工作业，现场的视频、声音等信号传输到驾驶员端，驾驶员的操作信号传输到推土机端。
上述推土机端的视频、音频信号传输到驾驶员端时，由于声音信号和视频信号的传输速度不同，导致声音信号和视频信号不同步，进而干扰驾驶员的操作。
发明内容
针对上述问题，本方案提出了一种推土机远程操控视频数据与音频数据同步的方法，可以实现远程驾驶员端的声音和视频的同步。
本发明的技术方案如下：
一种推土机远程操控视频数据与音频数据同步的方法，包括如下步骤：
步骤一，获取音频信号的特征时间点t1，方法如下：
获取一段音频信号，对音频信号的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1；
步骤二，获取视频信号的特征时间点t2，方法如下：
获取一段视频信号，对视频中推土机推土铲的速度v求导，得到推土机推土铲的加速度a，进而得到推土机推土铲的加速度a的最大值所对应的时刻，该时刻即为t2；
步骤三，
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C；其中，C为预设的常数；
进一步的，预设的常数C＝0。
本发明的原理如下：
首先，需要获取音频信号的特征时间点t1，其方法如下：
获取一段音频信号，对音频信号的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1。
然后，需要获取视频信号的特征时间点t2，其方法如下：
获取一段视频信号，对视频中的推土机推土铲的速度v求导，得到推土机推土铲的加速度a，进而得到推土机推土铲的加速度a的最大值所对应的时刻，该时刻即为t2。
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,其中，C为预设的常数；如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C。
本发明的有益效果如下：通过本发明的技术方案，实现了远程驾驶员端的声音和视频的同步，避免了声音信号和视频信号不同步对驾驶员的干扰，提高了推土机远程操作的效率和安全性。
附图说明
图1是本发明的控制方法流程图。
具体实施方式
下面通过具体实施方式来进一步说明本发明的技术方案，推土机工作现场的视频和音频，分别采集并传输到远程的驾驶室内，并在远程驾驶室内向驾驶员播放。其中，音频信号和视频信号的同步校正方法如下：
首先，需要获取音频信号的特征时间点t1，其方法如下：
本实施例中，选用钢铁撞击声音作为特征声音，其频率和响度相对固定。可以预先测定推土机油缸运动到端部时撞击声音的频率和响度，作为样本。所以，在对音频信号进行处理的时候，可以重点计算样本频率上的响度，这样可以提高计算效率和精读。获取一段音频信号，对音频信号在样本频率上的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1。
然后，需要获取视频信号的特征时间点t2，其方法如下：
本实施例中，选用推土机推土铲作为指定物体，选用推土铲的速度作为特征量。获取一段视频信号，对视频中的推土铲的速度v求导，得到推土铲的加速度a，进而得到推土铲的加速度a的最大值所对应的时刻，该时刻即为t2。
预先设定一个正常情况下最大的可能延时量Cmax，作为判断计算结果是否有效的阈值。
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,其中，C为预设的常数；如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C。本实施例中，取C＝0。本方案的控制方法流程图如附图1所示。
以上是对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。
Claims (2)
1.一种推土机远程操控视频数据与音频数据同步的方法，其特征在于，包括如下步骤：
步骤一，获取音频信号的特征时间点t1，方法如下：
获取一段音频信号，对音频信号的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1；
步骤二，获取视频信号的特征时间点t2，方法如下：
获取一段视频信号，对视频中推土机推土铲的速度v求导，得到推土机推土铲的加速度a，进而得到推土机推土铲的加速度a的最大值所对应的时刻，该时刻即为t2；
步骤三，
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C；其中，C为预设的常数。
2.根据权利要求1所述的一种推土机远程操控视频数据与音频数据同步的方法，其特征在于，步骤三中所述预设的常数C＝0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911078981.0A CN110753165A (zh) | 2019-11-07 | 2019-11-07 | 一种推土机远程操控视频数据与音频数据同步的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911078981.0A CN110753165A (zh) | 2019-11-07 | 2019-11-07 | 一种推土机远程操控视频数据与音频数据同步的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110753165A true CN110753165A (zh) | 2020-02-04 |
Family
ID=69282455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911078981.0A Withdrawn CN110753165A (zh) | 2019-11-07 | 2019-11-07 | 一种推土机远程操控视频数据与音频数据同步的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110753165A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010018572A (ko) * | 1999-08-20 | 2001-03-05 | 윤종용 | 오디오/비디오 신호 동기 장치 및 그 방법 |
| CN1973536A (zh) * | 2004-04-07 | 2007-05-30 | 皇家飞利浦电子股份有限公司 | 视频－音频同步 |
| CN103237203A (zh) * | 2013-04-09 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种基于移动终端的音视频同步方法及系统 |
| US20180310047A1 (en) * | 2016-08-30 | 2018-10-25 | Boe Technology Group Co., Ltd. | Method and Apparatus for Synchronizing Audio and Video Signals |
| CN110267083A (zh) * | 2019-06-18 | 2019-09-20 | 广州虎牙科技有限公司 | 音视频同步的检测方法、装置、设备及存储介质 |
-
2019
- 2019-11-07 CN CN201911078981.0A patent/CN110753165A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010018572A (ko) * | 1999-08-20 | 2001-03-05 | 윤종용 | 오디오/비디오 신호 동기 장치 및 그 방법 |
| CN1973536A (zh) * | 2004-04-07 | 2007-05-30 | 皇家飞利浦电子股份有限公司 | 视频－音频同步 |
| CN103237203A (zh) * | 2013-04-09 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种基于移动终端的音视频同步方法及系统 |
| US20180310047A1 (en) * | 2016-08-30 | 2018-10-25 | Boe Technology Group Co., Ltd. | Method and Apparatus for Synchronizing Audio and Video Signals |
| CN110267083A (zh) * | 2019-06-18 | 2019-09-20 | 广州虎牙科技有限公司 | 音视频同步的检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1324604A3 (en) | Signal processing apparatus, method, system, program and medium | |
| WO2021030103A8 (en) | Vehicle health record | |
| EP1256487A3 (en) | System, method, and program for detecting approach to object | |
| WO2007067344A3 (en) | System and method for operation of a pump | |
| WO2015122288A1 (ja) | 異音検知装置、加工機異音検知システムおよび異音検知方法 | |
| US20020062695A1 (en) | Sound field measuring apparatus and sound field measuring method | |
| CN109474222B (zh) | 基于陷波滤波器的变负载伺服系统振动抑制方法及系统 | |
| CN107564132A (zh) | 一种驾驶事件视频获取方法及系统 | |
| US8600078B2 (en) | Audio signal amplitude adjusting device and method | |
| US20160064011A1 (en) | Reverberation suppression apparatus used for auditory device | |
| CN108538281A (zh) | 降噪方法、降噪系统及耳机 | |
| CN110753165A (zh) | 一种推土机远程操控视频数据与音频数据同步的方法 | |
| CN110798591A (zh) | 一种挖掘机远程操控视频数据与音频数据同步的方法 | |
| US20100109639A1 (en) | Frequency spectrum analysis system and method | |
| CN110753166A (zh) | 一种清淤机器人远程操控视频数据与音频数据同步的方法 | |
| WO2005062920A3 (en) | System and method for mitigating noise associated with information communication | |
| CN110830677A (zh) | 一种凿岩机器人远程操控视频数据与音频数据同步的方法 | |
| US5963895A (en) | Transmission system with speech encoder with improved pitch detection | |
| US5621851A (en) | Method of expanding differential PCM data of speech signals | |
| JP7269120B2 (ja) | モータ制御装置 | |
| CN111025234A (zh) | 一种作业机械远程控制声音距离的测量和处理方法 | |
| JP2005236726A (ja) | オートゲインコントロール回路 | |
| EP0975094A3 (en) | Synchronous control apparatus and method | |
| CN111048112A (zh) | 一种作业机械远程控制的音频信号线性处理方法 | |
| CN105513606A (zh) | 语音信号处理方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200204 |