CN105681750B - 远程操控机器人网络延时与机器人实时移动动作同步方法 - Google Patents

远程操控机器人网络延时与机器人实时移动动作同步方法 Download PDF

Info

Publication number
CN105681750B
CN105681750B CN201610025898.7A CN201610025898A CN105681750B CN 105681750 B CN105681750 B CN 105681750B CN 201610025898 A CN201610025898 A CN 201610025898A CN 105681750 B CN105681750 B CN 105681750B
Authority
CN
China
Prior art keywords
time
newer command
subcommand
robot
transmission delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610025898.7A
Other languages
English (en)
Other versions
CN105681750A (zh
Inventor
林新强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Zhonghengtai Information Technology Co Ltd
Original Assignee
Fuzhou Zhonghengtai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Zhonghengtai Information Technology Co Ltd filed Critical Fuzhou Zhonghengtai Information Technology Co Ltd
Priority to CN201610025898.7A priority Critical patent/CN105681750B/zh
Publication of CN105681750A publication Critical patent/CN105681750A/zh
Application granted granted Critical
Publication of CN105681750B publication Critical patent/CN105681750B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种远程操控机器人网络延时与机器人实时移动动作同步方法。该方法为：首先，送出用户初始操控命令，等待视频流，等待中用户如有操作，对用户连续两次操控命令进行识别，如是相同命令，判断两命令间时间间隔，大于等于视频传输时延，则送出次命令，如小于视频传输时延则丢弃次命令，如果不是相同命令，判断两命令间时间间隔，大于等于视频传输时延，则送出次命令，如小于视频传输时延则缓存该命令，等时间间隔大于等于视频传输时延时再送出该命令。本发明使的远程机器人的操控的动作与回传的图像尽可能同步，提高用户的使用体验。

Description

远程操控机器人网络延时与机器人实时移动动作同步方法
技术领域
本发明涉及一种远程操控机器人网络延时与机器人实时移动动作同步方法
背景技术
远程网络操控机器人实现人在异地也能通过图像实时查看机器人所处环境的真实状况，利用机器人能多向移动的特点，只要机器人能到达的地方，通过远程操控并移到目的地，查看用户想看的目标图像。这种方式从技术上解决了定点监控需布置多个探头才能监视多方位的场景的问题，只要一台机器人就可以360度的范围进行监控。同时移动的场景会对图像的时延提出更高的要求，因网络传输时延的存在，会产生操控动作后与传过来图像不同步的状况，如失步时间过长，给用户会造成比较差的使用体验，也增加机器人的不可操控性。如何使操控的动作与回传的图像尽可能同步，是本发明要解决的技术问题。
发明内容
本发明的目的在于提供一种远程操控机器人网络延时与机器人实时移动动作同步方法，使的远程机器人的操控的动作与回传的图像尽可能同步，提高用户的使用体验。
为实现上述目的，本发明的技术方案是：一种远程操控机器人网络延时与机器人实时移动动作同步方法，包括如下步骤，
S1：送出用户初始操控命令，等待视频流，等待中用户如有操作，对用户连续两次操控命令进行识别，若是相同命令，则执行步骤S2；若不是相同命令，则执行步骤S3；
S2：判断两命令间时间间隔是否大于等于视频传输时延，若是，则送出次命令，跳转至步骤S10；否则，丢弃次命令，跳转至步骤S10；
S3：判断两命令间时间间隔是否大于等于视频传输时延，若是，则送出次命令，否则，缓存次命令，同时启动次命令等待发出计时器；
S4：若次命令等待发出时间小于视频传输时延时接收到次新命令，则执行步骤S5，若次命令等待发出时间大于或等于视频传输时延时无论是否接收到次新命令，直接将缓存的次命令发出，并跳转至步骤S10；
S5：判断次新命令是否与次命令相同，若是，丢弃该次新命令；若否，缓存该次新命令，同时启动次新命令等待发出计时器；
S6：若次命令等待发出时间小于视频传输时延时接收到新命令，则执行步骤S8，若次命令等待发出时间大于或等于视频传输时延时无论是否接收到新命令，直接将缓存的次命令发出，并跳转至步骤S10；
S7：若次新命令等待发出时间小于视频传输时延时接收到新命令，则执行步骤S8，若次新命令等待发出时间大于或等于视频传输时延时无论是否接收到新命令，直接将缓存的次新命令发出，并跳转至步骤S10；
S8：判断命令缓存是否到达两个，若已到达两个，丢弃新命令，并跳转至步骤S6；否则，执行步骤S9；
S9：将次新命令命名为次命令，新命令命名为次新命令，并跳转至步骤S5；
S10：重新执行步骤S1。
在本发明一实施例中，所述步骤S9中，若存在的为次命令和新命令，则只需将新命令命名为次新命令；若存在的为次新命令和新命令，则需将次新命令命名为次命令，新命令命名为次新命令。
在本发明一实施例中，所述视频传输时延的获取方式为：由操控客户端发起，在操控命令包中插上特殊时间标签字段并标记该字段有效，机器人接收端收到包后先查看特殊时间标签字段是否有效，如是则提取该字段，同时在机器人返回的视音频包中插入提取的特殊时间标签字段，操控客户端在收到机器人视音频包提取返回的特殊时间标签字段，对照本地时钟计算时间偏移。
在本发明一实施例中，所述特殊时间标签字段含有不断累加的操控客户端发送包序列号，收到返回的包序列号时，需与发出的未确认的包序列号比对， 未对上则丢弃该特殊时间标签字段，对上了则计算时延，同时删除已确认的包序列号。
相较于现有技术，本发明具有以下有益效果：本发明使机器人的操控的动作与回传的图像尽可能同步，并且提高了用户的使用体验，减小了机器人的不可控性。
附图说明
图1为本发明远程操控机器人网络延时与机器人实时移动动作同步方法流程图。
图2为本发明缓存二三级命令处理流程图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
如图1所示，本发明的一种远程操控机器人网络延时与机器人实时移动动作同步方法，包括如下步骤，
S1：送出用户初始操控命令，等待视频流，等待中用户如有操作，对用户连续两次操控命令进行识别，若是相同命令，则执行步骤S2；若不是相同命令，则执行步骤S3；
S2：判断两命令间时间间隔是否大于等于视频传输时延，若是，则送出次命令，跳转至步骤S10；否则，丢弃次命令，跳转至步骤S10；
S3：判断两命令间时间间隔是否大于等于视频传输时延，若是，则送出次命令，否则，缓存次命令，同时启动次命令等待发出计时器；
S4：若次命令等待发出时间小于视频传输时延时接收到次新命令，则执行步骤S5，若次命令等待发出时间大于或等于视频传输时延时无论是否接收到次新命令，直接将缓存的次命令发出，并跳转至步骤S10；
S5：判断次新命令是否与次命令相同，若是，丢弃该次新命令；若否，缓存该次新命令，同时启动次新命令等待发出计时器；
S6：若次命令等待发出时间小于视频传输时延时接收到新命令，则执行步骤S8，若次命令等待发出时间大于或等于视频传输时延时无论是否接收到新命令，直接将缓存的次命令发出，并跳转至步骤S10；
S7：若次新命令等待发出时间小于视频传输时延时接收到新命令，则执行步骤S8，若次新命令等待发出时间大于或等于视频传输时延时无论是否接收到新命令，直接将缓存的次新命令发出，并跳转至步骤S10；
S8：判断命令缓存是否到达两个，若已到达两个，丢弃新命令，并跳转至步骤S6；否则，执行步骤S9；
S9：将次新命令命名为次命令，新命令命名为次新命令（若存在的为次命令和新命令，则只需将新命令命名为次新命令；若存在的为次新命令和新命令，则需将次新命令命名为次命令，新命令命名为次新命令），并跳转至步骤S5；
S10：重新执行步骤S1。
所述视频传输时延的获取方式为：由操控客户端发起，在操控命令包中插上特殊时间标签字段并标记该字段有效，机器人接收端收到包后先查看特殊时间标签字段是否有效，如是则提取该字段，同时在机器人返回的视音频包中插入提取的特殊时间标签字段，操控客户端在收到机器人视音频包提取返回的特殊时间标签字段，对照本地时钟计算时间偏移。所述特殊时间标签字段含有不断累加的操控客户端发送包序列号，收到返回的包序列号时，需与发出的未确认的包序列号比对， 未对上则丢弃该特殊时间标签字段，对上了则计算时延，同时删除已确认的包序列号。
以下通过具体实施例讲述本发明技术方案。
如图1所示，本发明的一种远程操控机器人网络延时与机器人实时移动动作同步方法，如下：
1、用户操控移动机器人命令延时处理：送出用户初始操控命令，等待视频流，等待中用户如有操作，对用户连续两次操控命令进行识别，如是相同命令，判断两命令间时间间隔，大于等于视频传输时延，则送出次命令，如小于视频传输时延则丢弃次命令。如果不是相同命令，判断两命令间时间间隔，大于等于视频传输时延，则送出次命令，如小于视频传输时延则缓存该命令，等时间间隔大于等于视频传输时延时再送出该命令。
2、缓存次命令处理：缓存次命令同时启动次命令等待计时器，如未等到时间间隔大于等于视频传输时延时，又收到用户的次新操作命令，则次命令与次新命令比较，如相同则丢弃，如果不同缓存次新命令同时启动次新命令等待计时器。当次命令等待计时器大于或等于视频传输时延时，发出缓存的次命令。未等到时间间隔大于等于视频传输时延时，又收到用户操作命令，查看缓存区有几个不同的新命令，如超出两个，丢弃新输入的命令。
3、视频传输时延计时处理：一个命令发出后，视频传输时延计时器置零，重新开始测定视频传输时延。当收到时延应答包时，计算时延时间，覆盖前一个视频传输时延值。
4、实时获取互联网时延方法：获取网络时延由操控客户端发起，在操控命令包中插上特殊时间标签字段并标记该字段有效，机器人接收端收到包后先查看特殊时间标签字段是否有效，如是则提取该字段，同时在机器人返回的视音频包中插入提取的特殊时间标签字段，操控客户端在收到机器人视音频包提取返回的特殊时间标签字段，对照本地时钟计算时间偏移，即一个网络时延获取过程。特殊时间标签字段同时含有不断累加的操控客户端发送包序列号，收到返回的包序列号时，需与发出的未确认的包序列号比对， 未对上则丢弃该时间标签字段，对上了则计算时延，同时删除已确认的包序列号。
本实施例中，采用的数据协议如下：
操控命令包字段格式：
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| V | Reserved| PT | Length |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Sequence number |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Timestamp |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Control command |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| . . . . . . . . . |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
版本(V)：2比特 协议版本识别符。
保留(Reserved)：6比特 保留后续扩展协议用。
包类型(PT)：8比特
长度（Length）：16比特以32比特字为单位，包的长度减一，包括头和任何填料。(偏移量1保证零值有效，避免了在扫描包长度时可能发生的无限循环，同时以32比特为单位避免了对以4为倍数的有效性检测。)
包序列号（Sequence Number）：32比特 每发送一个操控命令包，序列号增加1。接收方可以依次检测数据包的丢失并恢复数据包序列。
时间标签（Timestamp）:32比特 反映操控数据包中的第一个八位组的采样时间。采样时间必须通过时钟及时提供线性无变化增量获取，以支持同步计算
操控命令（Control command）:32比特 操控客户端发出的操控命令字段，包括机器人车体各种前后、左右移动等，以及移动的速度、角度等幅值。
视频数据包头字段格式：
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| V | Reserved| PT | Length |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Returned sequence number |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Returned timestamp |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| Sended sequence number |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| . . . . . . . . . |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
版本(V)：2比特 协议版本识别符。
保留(Reserved)：6比特 保留后续扩展协议用。
包类型(PT)：8比特
长度（Length）：16比特以32比特字为单位,包的长度减一，包括头和任何填料。(偏移量1保证零值有效，避免了在扫描包长度时可能发生的无限循环，同时以32比特为单位避免了对以4为倍数的有效性检测。)
返回的包序列号（Reterned sequence Number）：32比特 返回的机器人端收到操控命令包中提取的包序列号。
返回的时间标签（Returned timestamp）:32比特返回的机器人端收到操控命令包中提取的时间标签。
视频数据包序列号（Sended sequence Number）:32比特 每发送一个视频数据包，序列号增加1。接收方可以依次检测数据包的丢失并恢复数据包序列。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种远程操控机器人网络延时与机器人实时移动动作同步方法，其特征在于：包括如下步骤，
S1：送出用户初始操控命令，等待视频流，等待中用户如有操作，对用户连续两次操控命令进行识别，若是相同命令，则执行步骤S2；若不是相同命令，则执行步骤S3；
S2：判断两命令间时间间隔是否大于等于视频传输时延，若是，则送出次命令，跳转至步骤S10；否则，丢弃次命令，跳转至步骤S10；
S3：判断两命令间时间间隔是否大于等于视频传输时延，若是，则送出次命令，否则，缓存次命令，同时启动次命令等待发出计时器；
S4：若次命令等待发出时间小于视频传输时延时接收到次新命令，则执行步骤S5，若次命令等待发出时间大于或等于视频传输时延时无论是否接收到次新命令，直接将缓存的次命令发出，并跳转至步骤S10；
S5：判断次新命令是否与次命令相同，若是，丢弃该次新命令；若否，缓存该次新命令，同时启动次新命令等待发出计时器；
S6：若次命令等待发出时间小于视频传输时延时接收到新命令，则执行步骤S8，若次命令等待发出时间大于或等于视频传输时延时无论是否接收到新命令，直接将缓存的次命令发出，并跳转至步骤S10；
S7：若次新命令等待发出时间小于视频传输时延时接收到新命令，则执行步骤S8，若次新命令等待发出时间大于或等于视频传输时延时无论是否接收到新命令，直接将缓存的次新命令发出，并跳转至步骤S10；
S8：判断命令缓存是否到达两个，若已到达两个，丢弃新命令，并跳转至步骤S6；否则，执行步骤S9；
S9：将次新命令命名为次命令，新命令命名为次新命令，并跳转至步骤S5；
S10：重新执行步骤S1。
2.根据权利要求1所述的远程操控机器人网络延时与机器人实时移动动作同步方法，其特征在于：所述步骤S9中，若存在的为次命令和新命令，则只需将新命令命名为次新命令；若存在的为次新命令和新命令，则需将次新命令命名为次命令，新命令命名为次新命令。
3.根据权利要求1所述的远程操控机器人网络延时与机器人实时移动动作同步方法，其特征在于：所述视频传输时延的获取方式为：由操控客户端发起，在操控命令包中插上特殊时间标签字段并标记该字段有效，机器人接收端收到包后先查看特殊时间标签字段是否有效，如是则提取该字段，同时在机器人返回的视音频包中插入提取的特殊时间标签字段，操控客户端在收到机器人视音频包提取返回的特殊时间标签字段，对照本地时钟计算时间偏移。
4.根据权利要求3所述的远程操控机器人网络延时与机器人实时移动动作同步方法，其特征在于：所述特殊时间标签字段含有不断累加的操控客户端发送包序列号，收到返回的包序列号时，需与发出的未确认的包序列号比对， 未对上则丢弃该特殊时间标签字段，对上了则计算时延，同时删除已确认的包序列号。
CN201610025898.7A 2016-01-15 2016-01-15 远程操控机器人网络延时与机器人实时移动动作同步方法 Expired - Fee Related CN105681750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610025898.7A CN105681750B (zh) 2016-01-15 2016-01-15 远程操控机器人网络延时与机器人实时移动动作同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610025898.7A CN105681750B (zh) 2016-01-15 2016-01-15 远程操控机器人网络延时与机器人实时移动动作同步方法

Publications (2)

Publication Number Publication Date
CN105681750A CN105681750A (zh) 2016-06-15
CN105681750B true CN105681750B (zh) 2018-09-25

Family

ID=56300881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610025898.7A Expired - Fee Related CN105681750B (zh) 2016-01-15 2016-01-15 远程操控机器人网络延时与机器人实时移动动作同步方法

Country Status (1)

Country Link
CN (1) CN105681750B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109991967A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种机器人运动的控制方法、系统及终端设备
CN112004060B (zh) * 2020-09-02 2022-05-03 深圳市禾启智能科技有限公司 用于景区的无人机观光方法
US11991232B2 (en) 2021-05-28 2024-05-21 Spotify Ab Command buffering

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203632802U (zh) * 2013-12-09 2014-06-04 深圳市盛思维科技有限公司 基于Mesh网络的实时视频传输系统
CN104898652A (zh) * 2011-01-28 2015-09-09 英塔茨科技公司 与一个可移动的远程机器人相互交流
JP2016072727A (ja) * 2014-09-29 2016-05-09 日立建機株式会社 建設機械の遠隔操縦用映像伝送システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898652A (zh) * 2011-01-28 2015-09-09 英塔茨科技公司 与一个可移动的远程机器人相互交流
CN203632802U (zh) * 2013-12-09 2014-06-04 深圳市盛思维科技有限公司 基于Mesh网络的实时视频传输系统
JP2016072727A (ja) * 2014-09-29 2016-05-09 日立建機株式会社 建設機械の遠隔操縦用映像伝送システム

Also Published As

Publication number Publication date
CN105681750A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
KR101889500B1 (ko) 네트워크 플로우 데이터를 이용한 네트워크 연결 체인 역추적 방법 및 시스템
EP3331205B1 (en) Data packet transmission method utilized in ipv6 network and device utilizing same
CN105681750B (zh) 远程操控机器人网络延时与机器人实时移动动作同步方法
CN104079571B (zh) 一种识别Android模拟器的方法及装置
WO2015096801A1 (en) Method and apparatus for accelerating data transmission in a network communication system
CN101436978A (zh) 使用udp协议进行可靠数据传输的方法
CN106657035B (zh) 一种网络报文传输方法及装置
CN102655509B (zh) 一种网络攻击识别方法及装置
CN103686446A (zh) 视频数据传输的丢包重传方法和系统
CN105391690B (zh) 一种基于pof的网络窃听防御方法和系统
CN105812318A (zh) 用于在网络中防止攻击的方法、控制器和系统
CN107222403A (zh) 一种数据传输方法、系统和电子设备
US20110225230A1 (en) Method and apparatus for detecting active and orphan session-based connections
WO2016082627A1 (zh) 多用户共享上网的检测方法及装置
CN100495993C (zh) 检测主机数量的方法、装置与系统及通信方法
CN106131039A (zh) Syn洪泛攻击的处理方法及装置
CN104636103B (zh) 一种键盘数据传输方法及装置
JP2016174268A (ja) ネットワークシステム、ネットワークシステムの制御方法、通信装置、及びプログラム
CN110365795B (zh) 数据传输方法和数据传输网络
CN105991509A (zh) 会话处理方法及装置
CN104378778B (zh) 物联网中主从站之间进行通信的方法、系统及转换网关
CN103546558B (zh) Ott应用的数据抓取方法及装置
CN113301398B (zh) 信息处理方法及系统、服务端设备、客户端设备
JP3771453B2 (ja) Ｔｃｐ中継装置及びシーケンス番号変換方法
CN104012054A (zh) 视频处理方法、设备及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180925

CF01 Termination of patent right due to non-payment of annual fee