CN110830677A - 一种凿岩机器人远程操控视频数据与音频数据同步的方法 - Google Patents
一种凿岩机器人远程操控视频数据与音频数据同步的方法 Download PDFInfo
- Publication number
- CN110830677A CN110830677A CN201911079052.1A CN201911079052A CN110830677A CN 110830677 A CN110830677 A CN 110830677A CN 201911079052 A CN201911079052 A CN 201911079052A CN 110830677 A CN110830677 A CN 110830677A
- Authority
- CN
- China
- Prior art keywords
- rock drilling
- delta
- video
- audio signal
- drilling robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000005553 drilling Methods 0.000 title claims abstract description 44
- 239000011435 rock Substances 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000005236 sound signal Effects 0.000 claims abstract description 32
- 230000001133 acceleration Effects 0.000 claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims description 2
- 238000010276 construction Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Earth Drilling (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种凿岩机器人远程操控视频数据与音频数据同步的方法,包括如下步骤:步骤一,获取音频信号的特征时间点t1,方法如下:获取一段音频信号,对音频信号的响度dB求导,得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻,该时刻即为t1;步骤二,获取视频信号的特征时间点t2,方法如下:获取一段视频信号,对视频中的凿岩机器人钻臂的移动速度v求导,进而得到凿岩机器人钻臂的加速度a的最大值所对应的时刻,该时刻即为t2;通过本发明的技术方案,实现了远程操作员端的声音和视频的同步,避免了声音信号和视频信号不同步对操作员的干扰,提高了凿岩机器人远程操作的效率和安全性。
Description
技术领域
本技术属于凿岩机器人远程操控领域,具体涉及一种凿岩机器人远程操控视频数据与音频数据同步的方法。
背景技术
凿岩机器人主要用于矿山凿岩,具有作业效率高、施工速度快等优点。由于凿岩机器人普通施工环境恶劣,为了解决在特殊环境中的凿岩机器人操作问题,现有技术普遍采用远程操控的方式,即,操作员在远程、安全的环境中操控凿岩机器人进行施工作业,现场的视频、声音等信号传输到操作员端,操作员的操作信号传输到凿岩机器人端;上述凿岩机器人端的视频、音频信号传输到操作员端时,由于声音信号和视频信号的传输速度不同,导致声音信号和视频信号不同步,进而干扰操作员的操作。
发明内容
针对上述问题,本方案提出了一种凿岩机器人远程操控视频数据与音频数据同步的方法,可以实现远程操作员端的声音和视频的同步。
本发明的技术方案如下:
一种凿岩机器人远程操控视频数据与音频数据同步的方法,包括如下步骤:
步骤一,获取音频信号的特征时间点t1,方法如下:
获取一段音频信号,对音频信号的响度dB求导,得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻,该时刻即为t1;
步骤二,获取视频信号的特征时间点t2,方法如下:
获取一段视频信号,对视频中的凿岩机器人钻臂的移动速度v求导,得到凿岩机器人钻臂的加速度a,进而得到凿岩机器人钻臂的加速度a的最大值所对应的时刻,该时刻即为t2;
步骤三,
计算Δt=|t1-t2|,并与预先设定的阈值Cmax进行比较,如果Δt>Cmax成立,说明计算出现异常,需要重新开始计算;如果Δt>Cmax不成立,说明本次计算有效,可以用Δt对音频信号或视频信号进行同步校正,方法如下:
如果t1>t2成立,说明音频信号存在滞后,此时需要音频信号提前Δt+C,如果t1>t2不成立,说明视频信号存在滞后,此时需要视频信号提前Δt+C;其中,C为预设的常数;
进一步的,预设的常数C=0。
本发明的原理如下:
首先,需要获取音频信号的特征时间点t1,其方法如下:
获取一段音频信号,对音频信号的响度dB求导,得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻,该时刻即为t1。
然后,需要获取视频信号的特征时间点t2,其方法如下:
获取一段视频信号,对视频中的凿岩机器人钻臂的移动速度v求导,得到凿岩机器人钻臂的加速度a,进而得到凿岩机器人钻臂加速度a的最大值所对应的时刻,该时刻即为t2。
计算Δt=|t1-t2|,并与预先设定的阈值Cmax进行比较,如果Δt>Cmax成立,说明计算出现异常,需要重新开始计算;如果Δt>Cmax不成立,说明本次计算有效,可以用Δt对音频信号或视频信号进行同步校正,方法如下:
如果t1>t2成立,说明音频信号存在滞后,此时需要音频信号提前Δt+C,其中,C为预设的常数;如果t1>t2不成立,说明视频信号存在滞后,此时需要视频信号提前Δt+C。
本发明的有益效果如下:通过本发明的技术方案,实现了远程操作员端的声音和视频的同步,避免了声音信号和视频信号不同步对操作员的干扰,提高了凿岩机器人远程操作的效率和安全性。
附图说明
图1是本发明的控制方法流程图。
具体实施方式
下面通过具体实施方式来进一步说明本发明的技术方案,凿岩机器人工作现场的视频和音频,分别采集并传输到远程的驾驶室内,并在远程驾驶室内向操作员播放。其中,音频信号和视频信号的同步校正方法如下:
首先,需要获取音频信号的特征时间点t1,其方法如下:
本实施例中,选用钢铁撞击声音作为特征声音,其频率和响度相对固定。可以预先测定凿岩机器人钻臂运动到端部时撞击声音的频率和响度,作为样本。所以,在对音频信号进行处理的时候,可以重点计算样本频率上的响度,这样可以提高计算效率和精读。获取一段音频信号,对音频信号在样本频率上的响度dB求导,得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻,该时刻即为t1。
然后,需要获取视频信号的特征时间点t2,其方法如下:
本实施例中,选用凿岩机器人钻臂作为指定物体,选用钻臂的移动速度作为特征量。获取一段视频信号,对视频中的钻臂移动速度v求导,得到钻臂的加速度a,进而得到钻臂加速度a的最大值所对应的时刻,该时刻即为t2。
预先设定一个正常情况下最大的可能延时量Cmax,作为判断计算结果是否有效的阈值。
计算Δt=|t1-t2|,并与预先设定的阈值Cmax进行比较,如果Δt>Cmax成立,说明计算出现异常,需要重新开始计算;如果Δt>Cmax不成立,说明本次计算有效,可以用Δt对音频信号或视频信号进行同步校正,方法如下:
如果t1>t2成立,说明音频信号存在滞后,此时需要音频信号提前Δt+C,其中,C为预设的常数;如果t1>t2不成立,说明视频信号存在滞后,此时需要视频信号提前Δt+C。本实施例中,取C=0。本方案的控制方法流程图如附图1所示。
以上是对本发明进行了示例性的描述,显然本发明的实现并不受上述方式的限制,只要采用了本发明技术方案进行的各种改进,或未经改进将本发明的构思和技术方案直接应用于其它场合的,均在本发明的保护范围内。
Claims (2)
1.一种凿岩机器人远程操控视频数据与音频数据同步的方法,其特征在于,包括如下步骤:
步骤一,获取音频信号的特征时间点t1,方法如下:
获取一段音频信号,对音频信号的响度dB求导,得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻,该时刻即为t1;
步骤二,获取视频信号的特征时间点t2,方法如下:
获取一段视频信号,对视频中的凿岩机器人钻臂的移动速度v求导,得到凿岩机器人钻臂的加速度a,进而得到凿岩机器人钻臂的加速度a的最大值所对应的时刻,该时刻即为t2;
步骤三,
计算Δt=|t1-t2|,并与预先设定的阈值Cmax进行比较,如果Δt>Cmax成立,说明计算出现异常,需要重新开始计算;如果Δt>Cmax不成立,说明本次计算有效,可以用Δt对音频信号或视频信号进行同步校正,方法如下:
如果t1>t2成立,说明音频信号存在滞后,此时需要音频信号提前Δt+C,如果t1>t2不成立,说明视频信号存在滞后,此时需要视频信号提前Δt+C;其中,C为预设的常数。
2.根据权利要求1所述的一种凿岩机器人远程操控视频数据与音频数据同步的方法,其特征在于,步骤三中所述预设的常数C=0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911079052.1A CN110830677A (zh) | 2019-11-07 | 2019-11-07 | 一种凿岩机器人远程操控视频数据与音频数据同步的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911079052.1A CN110830677A (zh) | 2019-11-07 | 2019-11-07 | 一种凿岩机器人远程操控视频数据与音频数据同步的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110830677A true CN110830677A (zh) | 2020-02-21 |
Family
ID=69552968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911079052.1A Withdrawn CN110830677A (zh) | 2019-11-07 | 2019-11-07 | 一种凿岩机器人远程操控视频数据与音频数据同步的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110830677A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010018572A (ko) * | 1999-08-20 | 2001-03-05 | 윤종용 | 오디오/비디오 신호 동기 장치 및 그 방법 |
CN1973536A (zh) * | 2004-04-07 | 2007-05-30 | 皇家飞利浦电子股份有限公司 | 视频-音频同步 |
CN103237203A (zh) * | 2013-04-09 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种基于移动终端的音视频同步方法及系统 |
US20180310047A1 (en) * | 2016-08-30 | 2018-10-25 | Boe Technology Group Co., Ltd. | Method and Apparatus for Synchronizing Audio and Video Signals |
CN110267083A (zh) * | 2019-06-18 | 2019-09-20 | 广州虎牙科技有限公司 | 音视频同步的检测方法、装置、设备及存储介质 |
-
2019
- 2019-11-07 CN CN201911079052.1A patent/CN110830677A/zh not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010018572A (ko) * | 1999-08-20 | 2001-03-05 | 윤종용 | 오디오/비디오 신호 동기 장치 및 그 방법 |
CN1973536A (zh) * | 2004-04-07 | 2007-05-30 | 皇家飞利浦电子股份有限公司 | 视频-音频同步 |
CN103237203A (zh) * | 2013-04-09 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种基于移动终端的音视频同步方法及系统 |
US20180310047A1 (en) * | 2016-08-30 | 2018-10-25 | Boe Technology Group Co., Ltd. | Method and Apparatus for Synchronizing Audio and Video Signals |
CN110267083A (zh) * | 2019-06-18 | 2019-09-20 | 广州虎牙科技有限公司 | 音视频同步的检测方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1470316B1 (en) | Method for controlling a drilling sequence, a rock drilling apparatus and a computer programme to form a drilling sequence | |
WO2020173030A1 (zh) | 一种基于顶煤厚度变化量实时监测的智能化放煤方法 | |
DE602005008597D1 (de) | Verfahren und vorrichtungen zur synchronisationsdetektion und leistungsregelung während eines soft-handover | |
WO2002044478A3 (en) | Method and apparatus for determining the location of undergroung objects during a digging operation | |
AU3188700A (en) | Jitter buffer and methods for control of same | |
TW200518048A (en) | Method and device for adjusting a control parameter of a servo of an optical drive | |
CN104879163A (zh) | 一种井下小型超前定向探放水装置及方法 | |
CN110830677A (zh) | 一种凿岩机器人远程操控视频数据与音频数据同步的方法 | |
SE2130174A1 (en) | Intelligent coal caving method for hydraulic supports of fully mechanized caving faceintelligent coal caving method for hydraulic supports of fully mechanized caving face | |
CN104879491A (zh) | 同步器同步点辨识方法及系统 | |
CN110753166A (zh) | 一种清淤机器人远程操控视频数据与音频数据同步的方法 | |
WO2005062920A3 (en) | System and method for mitigating noise associated with information communication | |
AU4137500A (en) | Method for controlling transmission power | |
CN110798591A (zh) | 一种挖掘机远程操控视频数据与音频数据同步的方法 | |
CN110753165A (zh) | 一种推土机远程操控视频数据与音频数据同步的方法 | |
EP1304287A3 (en) | Method and apparatus for controlling a bicycle transmission | |
AU2001244993A1 (en) | Method for estimating the position of a drill | |
CN111446890B (zh) | 一种具有电流检测功能的编码器及电流检测方法 | |
CN203145832U (zh) | 用于凿岩钻具的防偏控制系统 | |
EP1445747A3 (de) | Verfahren zum Übertragen von Steuerbefehlen von einem Sendeelement zu einem Messtaster | |
CN112813210B (zh) | 一种利用开铁口机检测铁口深度的方法 | |
CN112817234B (zh) | 机载钻臂钻锚的自适应控制方法以及控制系统 | |
SU1716112A1 (ru) | Устройство дл управлени процессом бурени | |
EP1375980A3 (de) | Verfahren und Vorrichtung zur Früherkennung von Störfällen beim Betrieb automatischer Getriebe | |
WO2003078112A3 (de) | Automatische prozesskontrolle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200221 |