CN110798591A - 一种挖掘机远程操控视频数据与音频数据同步的方法 - Google Patents
一种挖掘机远程操控视频数据与音频数据同步的方法 Download PDFInfo
- Publication number
- CN110798591A CN110798591A CN201911078980.6A CN201911078980A CN110798591A CN 110798591 A CN110798591 A CN 110798591A CN 201911078980 A CN201911078980 A CN 201911078980A CN 110798591 A CN110798591 A CN 110798591A
- Authority
- CN
- China
- Prior art keywords
- delta
- excavator
- video
- audio signal
- cmax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本发明公开了一种挖掘机远程操控视频数据与音频数据同步的方法，包括如下步骤：步骤一，获取音频信号的特征时间点t1，步骤二，获取视频信号的特征时间点t2，步骤三，计算Δt＝|t1‑t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正；通过本发明的技术方案，实现了远程驾驶员端的声音和视频的同步，避免了声音信号和视频信号不同步对驾驶员的干扰，提高了挖掘机远程操作的效率和安全性。
Description
技术领域
本技术属于挖掘机远程操控领域，具体涉及一种挖掘机远程操控视频数据与音频数据同步的方法。
背景技术
挖掘机是一种工程机械，广泛应用于各种施工现场，具有作业效率高、施工速度快等优点。但在一些特殊环境中，挖掘机的操作人员的安全和健康收到威胁，例如，在极寒、水下、有毒、有辐射的环境，或者施工现场可能出现塌陷、塌落等危险的环境。
为了解决在特殊环境中的挖掘机操作问题，现有技术普遍采用远程操控的方式，即，驾驶员在远程、安全的环境中操控挖掘机进行施工作业，现场的视频、声音等信号传输到驾驶员端，驾驶员的操作信号传输到挖掘机端。
上述挖掘机端的视频、音频信号传输到驾驶员端时，由于声音信号和视频信号的传输速度不同，导致声音信号和视频信号不同步，进而干扰驾驶员的操作。
发明内容
针对上述问题，本方案提出了一种挖掘机远程操控视频数据与音频数据同步的方法，可以实现远程驾驶员端的声音和视频的同步。
本发明的技术方案如下：
一种挖掘机远程操控视频数据与音频数据同步的方法，包括如下步骤：
步骤一，获取音频信号的特征时间点t1，方法如下：
获取一段音频信号，对音频信号的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1；
步骤二，获取视频信号的特征时间点t2，方法如下：
获取一段视频信号，对视频中的挖掘机斗杆的角速度w求导，得到挖掘机斗杆的角加速度α，进而得到挖掘机斗杆的角加速度α的最大值所对应的时刻，该时刻即为t2；
步骤三，
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C；其中，C为预设的常数；
进一步的，预设的常数C＝0。
本发明的原理如下：
首先，需要获取音频信号的特征时间点t1，其方法如下：
获取一段音频信号，对音频信号的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1。
然后，需要获取视频信号的特征时间点t2，其方法如下：
获取一段视频信号，对视频中的挖掘机斗杆角速度w求导，得到挖掘机斗杆角加速度α，进而得到挖掘机斗杆角加速度α的最大值所对应的时刻，该时刻即为t2。
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,其中，C为预设的常数；如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C。
本发明的有益效果如下：通过本发明的技术方案，实现了远程驾驶员端的声音和视频的同步，避免了声音信号和视频信号不同步对驾驶员的干扰，提高了挖掘机远程操作的效率和安全性。
附图说明
图1是本发明的控制方法流程图
具体实施方式
下面通过具体实施方式来进一步说明本发明的技术方案，挖掘机工作现场的视频和音频，分别采集并传输到远程的驾驶室内，并在远程驾驶室内向驾驶员播放。其中，音频信号和视频信号的同步校正方法如下：
首先，需要获取音频信号的特征时间点t1，其方法如下：
本实施例中，选用钢铁撞击声音作为特征声音，其频率和响度相对固定。可以预先测定挖掘机油缸运动到端部时撞击声音的频率和响度，作为样本。所以，在对音频信号进行处理的时候，可以重点计算样本频率上的响度，这样可以提高计算效率和精读。获取一段音频信号，对音频信号在样本频率上的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1。
然后，需要获取视频信号的特征时间点t2，其方法如下：
本实施例中，选用挖掘机斗杆作为指定物体，选用斗杆的角速度作为特征量。获取一段视频信号，对视频中的斗杆的角速度w求导，得到斗杆的角加速度α，进而得到斗杆的角加速度α的最大值所对应的时刻，该时刻即为t2。
预先设定一个正常情况下最大的可能延时量Cmax，作为判断计算结果是否有效的阈值。
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,其中，C为预设的常数；如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C。本实施例中，取C＝0。本方案的控制方法流程图如附图1所示。
以上是对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。
Claims (2)
1.一种挖掘机远程操控视频数据与音频数据同步的方法，其特征在于，包括如下步骤：
步骤一，获取音频信号的特征时间点t1，方法如下：
获取一段音频信号，对音频信号的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1；
步骤二，获取视频信号的特征时间点t2，方法如下：
获取一段视频信号，对视频中的挖掘机斗杆的角速度w求导，得到挖掘机斗杆的角加速度α，进而得到挖掘机斗杆的角加速度α的最大值所对应的时刻，该时刻即为t2；
步骤三，
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C；其中，C为预设的常数。
2.根据权利要求1所述的一种挖掘机远程操控视频数据与音频数据同步的方法，其特征在于，步骤三中所述预设的常数C＝0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911078980.6A CN110798591A (zh) | 2019-11-07 | 2019-11-07 | 一种挖掘机远程操控视频数据与音频数据同步的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911078980.6A CN110798591A (zh) | 2019-11-07 | 2019-11-07 | 一种挖掘机远程操控视频数据与音频数据同步的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110798591A true CN110798591A (zh) | 2020-02-14 |
Family
ID=69442971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911078980.6A Withdrawn CN110798591A (zh) | 2019-11-07 | 2019-11-07 | 一种挖掘机远程操控视频数据与音频数据同步的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110798591A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010018572A (ko) * | 1999-08-20 | 2001-03-05 | 윤종용 | 오디오/비디오 신호 동기 장치 및 그 방법 |
| CN1973536A (zh) * | 2004-04-07 | 2007-05-30 | 皇家飞利浦电子股份有限公司 | 视频－音频同步 |
| CN103237203A (zh) * | 2013-04-09 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种基于移动终端的音视频同步方法及系统 |
| US20160234544A1 (en) * | 2013-10-25 | 2016-08-11 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus and system of synchronizing audio with video |
| US20180310047A1 (en) * | 2016-08-30 | 2018-10-25 | Boe Technology Group Co., Ltd. | Method and Apparatus for Synchronizing Audio and Video Signals |
| CN110267083A (zh) * | 2019-06-18 | 2019-09-20 | 广州虎牙科技有限公司 | 音视频同步的检测方法、装置、设备及存储介质 |
-
2019
- 2019-11-07 CN CN201911078980.6A patent/CN110798591A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010018572A (ko) * | 1999-08-20 | 2001-03-05 | 윤종용 | 오디오/비디오 신호 동기 장치 및 그 방법 |
| CN1973536A (zh) * | 2004-04-07 | 2007-05-30 | 皇家飞利浦电子股份有限公司 | 视频－音频同步 |
| CN103237203A (zh) * | 2013-04-09 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种基于移动终端的音视频同步方法及系统 |
| US20160234544A1 (en) * | 2013-10-25 | 2016-08-11 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus and system of synchronizing audio with video |
| US20180310047A1 (en) * | 2016-08-30 | 2018-10-25 | Boe Technology Group Co., Ltd. | Method and Apparatus for Synchronizing Audio and Video Signals |
| CN110267083A (zh) * | 2019-06-18 | 2019-09-20 | 广州虎牙科技有限公司 | 音视频同步的检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2011104668A3 (en) | A video processing system and a method for editing a video asset | |
| CN109474222B (zh) | 基于陷波滤波器的变负载伺服系统振动抑制方法及系统 | |
| US10564658B2 (en) | Servo control apparatus, servo control method and computer-readable recording medium | |
| CN110798591A (zh) | 一种挖掘机远程操控视频数据与音频数据同步的方法 | |
| CN112327734A (zh) | 一种基于互联网的工程机械远程监控系统 | |
| Blain et al. | Implementation of a ROV navigation system using acoustic/Doppler sensors and Kalman filtering | |
| CN110753165A (zh) | 一种推土机远程操控视频数据与音频数据同步的方法 | |
| CN110991074A (zh) | 一种位移传感器测量数据有效性的判定方法 | |
| JP2006197726A (ja) | 位置決め制御装置および位置決め制御方法 | |
| CN110753166A (zh) | 一种清淤机器人远程操控视频数据与音频数据同步的方法 | |
| JP2007298446A (ja) | 地震計、地震計システム、地震警報発令方法、及びプログラム | |
| CN110830677A (zh) | 一种凿岩机器人远程操控视频数据与音频数据同步的方法 | |
| WO2005062920A3 (en) | System and method for mitigating noise associated with information communication | |
| JP2007255982A (ja) | 目標航跡相関装置及び目標航跡の相関判定方法 | |
| CN111351628A (zh) | 一种高超声速风洞连续变攻角试验数据处理方法 | |
| CN111025234A (zh) | 一种作业机械远程控制声音距离的测量和处理方法 | |
| CN114329947A (zh) | 仿真时间校正方法、装置、电子设备和自动驾驶车辆 | |
| JP7269120B2 (ja) | モータ制御装置 | |
| JP2017090428A (ja) | サウンド信号で診断信号を抽出する方法および診断装置 | |
| MX2022010380A (es) | Metodo para seguimiento del estado de un tren de potencia o torre de una turbina eolica y un aerogenerador. | |
| CN110967984A (zh) | 一种作业机械远程控制中现场声音信号的模糊控制方法 | |
| CN111048112A (zh) | 一种作业机械远程控制的音频信号线性处理方法 | |
| US20210359625A1 (en) | Motor control system, encoder, and servo motor | |
| Lilge | Nonlinear discrete-time observers for synchronization problems | |
| CN105376550A (zh) | 影像同步方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200214 |
|
| WW01 | Invention patent application withdrawn after publication |