CN110753166A - 一种清淤机器人远程操控视频数据与音频数据同步的方法 - Google Patents

一种清淤机器人远程操控视频数据与音频数据同步的方法 Download PDF

Info

Publication number
CN110753166A
CN110753166A CN201911079066.3A CN201911079066A CN110753166A CN 110753166 A CN110753166 A CN 110753166A CN 201911079066 A CN201911079066 A CN 201911079066A CN 110753166 A CN110753166 A CN 110753166A
Authority
CN
China
Prior art keywords
delta
video
dredging robot
audio signal
loudness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911079066.3A
Other languages
English (en)
Inventor
路振芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinhua Shenlian Network Technology Co Ltd
Original Assignee
Jinhua Shenlian Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinhua Shenlian Network Technology Co Ltd filed Critical Jinhua Shenlian Network Technology Co Ltd
Priority to CN201911079066.3A priority Critical patent/CN110753166A/zh
Publication of CN110753166A publication Critical patent/CN110753166A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了一种清淤机器人远程操控视频数据与音频数据同步的方法，包括如下步骤：步骤一，获取音频信号的特征时间点t1，方法如下：获取一段音频信号，对音频信号的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1；步骤二，获取视频信号的特征时间点t2，方法如下：获取一段视频信号，对视频中的清淤机器人机械手的移动速度v求导，进而得到清淤机器人机械手的加速度a的最大值所对应的时刻，该时刻即为t2；通过本发明的技术方案，实现了远程操作员端的声音和视频的同步，避免了声音信号和视频信号不同步对操作员的干扰，提高了清淤机器人远程操作的效率和安全性。

Description

一种清淤机器人远程操控视频数据与音频数据同步的方法
技术领域
本技术属于清淤机器人远程操控领域，具体涉及一种清淤机器人远程操控视频数据与音频数据同步的方法。
背景技术
清淤机器人用于城市下水管道的疏通，具有作业效率高、施工速度快等优点。为了解决在特殊环境中的清淤机器人操作问题，现有技术普遍采用远程操控的方式，即，操作员在远程、安全的环境中操控清淤机器人进行施工作业，现场的视频、声音等信号传输到操作员端，操作员的操作信号传输到清淤机器人端；上述清淤机器人端的视频、音频信号传输到操作员端时，由于声音信号和视频信号的传输速度不同，导致声音信号和视频信号不同步，进而干扰操作员的操作。
发明内容
针对上述问题，本方案提出了一种清淤机器人远程操控视频数据与音频数据同步的方法，可以实现远程操作员端的声音和视频的同步。
本发明的技术方案如下：
一种清淤机器人远程操控视频数据与音频数据同步的方法，包括如下步骤：
步骤一，获取音频信号的特征时间点t1，方法如下：
获取一段音频信号，对音频信号的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1；
步骤二，获取视频信号的特征时间点t2，方法如下：
获取一段视频信号，对视频中的清淤机器人机械手的移动速度v求导，得到清淤机器人机械手的加速度a，进而得到清淤机器人机械手的加速度a的最大值所对应的时刻，该时刻即为t2；
步骤三，
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C；其中，C为预设的常数；
进一步的，预设的常数C＝0。
本发明的原理如下：
首先，需要获取音频信号的特征时间点t1，其方法如下：
获取一段音频信号，对音频信号的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1。
然后，需要获取视频信号的特征时间点t2，其方法如下：
获取一段视频信号，对视频中的清淤机器人机械手的移动速度v求导，得到清淤机器人机械手的加速度a，进而得到清淤机器人机械手加速度a的最大值所对应的时刻，该时刻即为t2。
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,其中，C为预设的常数；如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C。
本发明的有益效果如下：通过本发明的技术方案，实现了远程操作员端的声音和视频的同步，避免了声音信号和视频信号不同步对操作员的干扰，提高了清淤机器人远程操作的效率和安全性。
附图说明
图1是本发明的控制方法流程图
具体实施方式
下面通过具体实施方式来进一步说明本发明的技术方案，清淤机器人工作现场的视频和音频，分别采集并传输到远程的驾驶室内，并在远程驾驶室内向操作员播放。其中，音频信号和视频信号的同步校正方法如下：
首先，需要获取音频信号的特征时间点t1，其方法如下：
本实施例中，选用钢铁撞击声音作为特征声音，其频率和响度相对固定。可以预先测定清淤机器人机械手运动到端部时撞击声音的频率和响度，作为样本。所以，在对音频信号进行处理的时候，可以重点计算样本频率上的响度，这样可以提高计算效率和精读。获取一段音频信号，对音频信号在样本频率上的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1。
然后，需要获取视频信号的特征时间点t2，其方法如下：
本实施例中，选用清淤机器人机械手作为指定物体，选用机械手的移动速度作为特征量。获取一段视频信号，对视频中的机械手移动速度v求导，得到机械手的加速度a，进而得到机械手加速度a的最大值所对应的时刻，该时刻即为t2。
预先设定一个正常情况下最大的可能延时量Cmax，作为判断计算结果是否有效的阈值。
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,其中，C为预设的常数；如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C。本实施例中，取C＝0。本方案的控制方法流程图如附图1所示。
以上是对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (2)

1.一种清淤机器人远程操控视频数据与音频数据同步的方法，其特征在于，包括如下步骤：
步骤一，获取音频信号的特征时间点t1，方法如下：
获取一段音频信号，对音频信号的响度dB求导，得到响度的导数dB’,进而得到响度的导数dB’的最大值所对应的时刻，该时刻即为t1；
步骤二，获取视频信号的特征时间点t2，方法如下：
获取一段视频信号，对视频中的清淤机器人机械手的移动速度v求导，得到清淤机器人机械手的加速度a，进而得到清淤机器人机械手的加速度a的最大值所对应的时刻，该时刻即为t2；
步骤三，
计算Δt＝|t1-t2|，并与预先设定的阈值Cmax进行比较，如果Δt>Cmax成立，说明计算出现异常，需要重新开始计算；如果Δt>Cmax不成立，说明本次计算有效，可以用Δt对音频信号或视频信号进行同步校正，方法如下：
如果t1>t2成立，说明音频信号存在滞后，此时需要音频信号提前Δt+C,如果t1>t2不成立，说明视频信号存在滞后，此时需要视频信号提前Δt+C；其中，C为预设的常数。
2.根据权利要求1所述的一种清淤机器人远程操控视频数据与音频数据同步的方法，其特征在于，步骤三中所述预设的常数C＝0。
CN201911079066.3A 2019-11-07 2019-11-07 一种清淤机器人远程操控视频数据与音频数据同步的方法 Withdrawn CN110753166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911079066.3A CN110753166A (zh) 2019-11-07 2019-11-07 一种清淤机器人远程操控视频数据与音频数据同步的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911079066.3A CN110753166A (zh) 2019-11-07 2019-11-07 一种清淤机器人远程操控视频数据与音频数据同步的方法

Publications (1)

Publication Number Publication Date
CN110753166A true CN110753166A (zh) 2020-02-04

Family

ID=69282458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911079066.3A Withdrawn CN110753166A (zh) 2019-11-07 2019-11-07 一种清淤机器人远程操控视频数据与音频数据同步的方法

Country Status (1)

Country Link
CN (1) CN110753166A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010018572A (ko) * 1999-08-20 2001-03-05 윤종용 오디오/비디오 신호 동기 장치 및 그 방법
CN1973536A (zh) * 2004-04-07 2007-05-30 皇家飞利浦电子股份有限公司 视频－音频同步
CN103237203A (zh) * 2013-04-09 2013-08-07 广东欧珀移动通信有限公司 一种基于移动终端的音视频同步方法及系统
US20180310047A1 (en) * 2016-08-30 2018-10-25 Boe Technology Group Co., Ltd. Method and Apparatus for Synchronizing Audio and Video Signals
CN110267083A (zh) * 2019-06-18 2019-09-20 广州虎牙科技有限公司 音视频同步的检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010018572A (ko) * 1999-08-20 2001-03-05 윤종용 오디오/비디오 신호 동기 장치 및 그 방법
CN1973536A (zh) * 2004-04-07 2007-05-30 皇家飞利浦电子股份有限公司 视频－音频同步
CN103237203A (zh) * 2013-04-09 2013-08-07 广东欧珀移动通信有限公司 一种基于移动终端的音视频同步方法及系统
US20180310047A1 (en) * 2016-08-30 2018-10-25 Boe Technology Group Co., Ltd. Method and Apparatus for Synchronizing Audio and Video Signals
CN110267083A (zh) * 2019-06-18 2019-09-20 广州虎牙科技有限公司 音视频同步的检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
EP3650884A3 (en) Method and apparatus for determining relative pose, device and medium
CN1703118A (zh) 基于立体声信号的声源定位
DE602005008597D1 (de) Verfahren und vorrichtungen zur synchronisationsdetektion und leistungsregelung während eines soft-handover
EP1324604A3 (en) Signal processing apparatus, method, system, program and medium
CN109474222B (zh) 基于陷波滤波器的变负载伺服系统振动抑制方法及系统
US20160327522A1 (en) Abnormal sound detection device, abnormal processing-machine-sound detection system, and abnormal sound detection method
EP1202607A2 (en) Sound field measuring apparatus and method
AU3188700A (en) Jitter buffer and methods for control of same
HK1082044A1 (en) Procedure for estimating a parameter of a local maxima or minima of a correlation function derived from a received signal
WO2004111784A3 (en) Dynamic synchronization of data capture on an optical or other high speed communications link
US8600078B2 (en) Audio signal amplitude adjusting device and method
EP1335350A3 (en) Pitch extraction methods and systems for speech coding using interpolation techniques
CN110753166A (zh) 一种清淤机器人远程操控视频数据与音频数据同步的方法
TW200518048A (en) Method and device for adjusting a control parameter of a servo of an optical drive
WO2004045197A3 (en) A system and method for determining lip synchronization between audio and video in a digitized environment using buffer calculation
CN110830677A (zh) 一种凿岩机器人远程操控视频数据与音频数据同步的方法
CN110753165A (zh) 一种推土机远程操控视频数据与音频数据同步的方法
CN110798591A (zh) 一种挖掘机远程操控视频数据与音频数据同步的方法
CN103168479A (zh) 振鸣抑制装置、助听器、振鸣抑制方法和集成电路
ATE518317T1 (de) Verfahren zur sendeleistungsregelung
WO2005062920A3 (en) System and method for mitigating noise associated with information communication
WO2007087144A3 (en) Machine and method for measuring a characteristic of an optical signal
EP0770254B1 (en) Transmission system and method for encoding speech with improved pitch detection
CN108490876B (zh) 一种提高数控加工监控阈值与信号同步精确性的方法
WO2020014603A3 (en) Reverberation microscopy systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200204

WW01 Invention patent application withdrawn after publication