CN109729311B - 视频信息采集处理系统、方法和人体随动遥操作机器人 - Google Patents

Abstract

本发明涉及一种视频信息采集处理系统、方法和人体随动遥操作机器人，属于机器人技术领域，系统包括，摄像头模组、视频处理模块、视频合成控制模块；其中，摄像头模组，用于采集多路视频图像信息；视频处理模块，用于选择多路视频图像信息进行视频合成，形成一路视频图像信息输出；视频合成控制模块，内置多个预设的视频模板，可在指令控制下选择某一视频模板，控制视频处理模块按照模板进行视频合成。本发明可以按照操纵端需求，进行相应视频图像的传输；通过预设的模板进行视频合成，减少了视频传输量，降低了图传设备的传输压力，改善对机器人操纵的实时性；可根据需要，随时切换视频传输内容，人机交互友好。

Description

视频信息采集处理系统、方法和人体随动遥操作机器人

技术领域

本发明涉及机器人技术领域，尤其是一种视频信息采集处理系统、方法和人体随动遥操作机器人。

背景技术

人体随动遥操作机器人一般包括机器人端和操纵端，操纵人员可在操纵端，控制机器人完成具体任务，可用于资源开发、核废料清理、排爆、高压高危作业等特种工作环境。为了更加准确的掌握机器人的状态、运动以及操控信息，需要采集机器人多方面信息进行显示，方便操纵人员实时了解机器人的状态和执行情况，多方面信息中通常包含多路数的视频图像数据，这些数据包括环境视频数据、机器人视角视频数据等等。过多的视频数据通过无线的方式传送到操纵端，造成了图传设备的传输压力，延时增大，使得对机器人操纵的实时性变差。

发明内容

鉴于上述的分析，本发明旨在提供一种视频信息采集处理系统、方法和人体随动遥操作机器人，按照操纵端需求，通过预设的视频模板对视频数据进行合成和压缩，降低了图传设备的传输压力，改善对机器人操纵的实时性。

本发明的目的主要是通过以下技术方案实现的：

一种视频信息采集处理系统，包括：摄像头模组、视频处理模块、视频合成控制模块；

所述摄像头模组，用于采集多路视频图像信息；

所述视频合成控制模块，内置多个预设的视频模板，在外部指令控制下，选择某一视频模板输出到所述视频处理模块，

所述视频处理模块，对所述多路视频图像信息进行处理，按照接收的视频模板，对多路视频图像信息进行视频选择及合成，形成一路视频图像信息输出。

进一步地，所述摄像头模组包括多个模拟摄像头和数字摄像头，

所述模拟摄像头，安装于随动遥控制机器人的机身，用于采集视频图像信息；

所述数字摄像头中至少包含一个双目数字摄像头，安装于随动遥控制机器人的头部，用于采集机器人视角下的视频图像信息。

进一步地，所述视频处理模块包括视频采集卡、数字视频图像接收模块、视频合成模块和视频输出模块；

所述视频采集卡与所述多个模拟摄像头分别连接，用于采集所述模拟摄像头输出的模拟视频信息，输出多路数字视频图像信息；

所述数字视频图像接收模块分别与所述视频采集卡和所述数字摄像头连接；接收所述视频采集卡和所述数字摄像头输出的多路数字视频图像信息；

所述视频合成模块，与所述视频合成控制模块连接，用于接收所述视频合成控制模块输出的视频模板，并依据所述视频模板选择相应路数的数字视频图像信息进行视频合成，将多路视频图像信息合成一路视频图像信息；

视频输出模块与所述视频合成模块连接，接收合成视频图像信息并输出到所述机器人的图传设备。

进一步地，所述视频合成模块，包括多路视频信号解码模块、多路视频数据提取模块、多路数据帧同步模块、数据帧重组模块和二次编码模块；

所述多路视频信号解码模块对所述视频采集卡和所述双目数字摄像头输出的多路视频图像信息分别进行相应的解码，得到多路解码后的视频数据；

所述多路视频数据提取模块与多路视频信号解码模块连接，用于去除多路解码后的视频数据中的冗余信息，提取视频图像帧数据；

所述多路数据帧同步模块，对所述多路视频数据提取模块输出的视频图像帧数据进行数据同步，使各路视频图像帧数据的数据帧对齐；

所述数据帧重组模块，与所述视频合成控制模块连接，接收所述视频合成控制模块输出的视频模板，根据接收的视频模板数据，选择需要重组的各路视频数据，分别对视频数据进行设定比例的视频压缩，然后将压缩后的各路视频数据按照预设的显示位置关系，进行视频数据拼接，形成一路视频数据；

所述二次编码模块，对拼接后的视频数据进行编码后，输出到视频输出模块。

进一步地，所述视频模板，包括需要进行合成的视频路数，每路视频数据的压缩比、各视频源数据的拼接位置关系和输出帧速率。

进一步地，所述外部指令为由随动遥控制机器人的控制端发送的控制视频模板选择的指令。

一种视频信息采集处理方法，包括以下步骤：

采集多路视频图像信息；

对所述多路视频图像信息进行处理，根据选择的某一预设视频模板，对多路视频图像信息进行视频合成，形成一路视频图像信息输出；

所述视频模板为预先设定，通过外部指令进行选择。

进一步地，所述多路视频图像信息包含多路模拟视频图像信息和多路数字视频图像信息；

所述多路视频图像信息的视频合成方法包括：

1)对所述多路模拟视频图像信息进行数字化采集，输出多路采集后数字图像信息；

2)对多路数字视频图像信息和多路采集后数字图像信息分别进行解码，得到多路解码后的视频数据；

3)对所述多路解码后的视频数据进行多路视频数据提取，去除视频数据中的冗余信息，只保留多路视频图像帧数据；

4)对多路视频图像帧数据的进行帧同步控制；

5)根据选择的视频模板，从同步后的多路视频图像帧数据选择需要重组的各路视频图像帧数据，分别对视频图像帧数据进行设定比例的视频压缩，然后将压缩后的各路视频数据按照预设的位置关系，进行视频数据拼接，形成一路视频拼接数据；

6)对视频拼接数据进行编码后输出。

进一步地，所述预设的视频模板，包括需要进行合成的视频路数，每路视频数据的压缩比、各视频源数据的拼接位置关系和输出帧速率。

一种人体随动遥操作机器人，包括以上所述任一种视频信息采集处理系统。

本发明有益效果如下：

1.可以按照操纵端需求，进行相应视频图像的传输；

2.通过预设的模板进行视频合成，减少了视频传输量，降低了图传设备的传输压力，改善对机器人操纵的实时性；

3.操纵端可根据需要，随时切换视频传输内容，人机交互友好。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中的视频信息采集处理系统组成连接示意图。

图2为本发明实施例的视频信息采集处理方法流程示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

实施例一、

本实施例公开了一种视频信息采集处理系统，该系统可用于的人体随动遥操作机器人包括机器人端和操纵端(本地端)，操纵端负责对机器人端发出操纵指令并监控机器人端的指令执行结果情况；机器人端执行操纵指令并反馈执行结果情况到操纵端。

如图1所示，所述视频信息采集处理系统包括：摄像头模组、视频处理模块、视频合成控制模块；

所述摄像头模组，用于采集多路视频图像信息；

所述视频处理模块，对所述多路视频图像信息进行处理，在视频合成控制模块的控制下，对多路视频图像信息进行视频合成，形成一路视频图像信息输出；

所述视频合成控制模块，内置多个预设的视频模板，在外部指令控制下，选择某一视频模板输出到所述视频处理模块，控制所述视频处理模块按照模板进行视频合成。

具体的，所述摄像头模组包括至少两个模拟摄像头和一个双目数字摄像头；

两个模拟摄像头，分别安装于随动遥控制机器人的机身的正面和背面，分别采集所述机器人正面和背面的环境视频图像信息，可作为机器人的倒车影像使用；

所述双目数字摄像头，安装于随动遥控制机器人的头部，用于采集所述机器人视角下的视频图像信息。

具体的，所述视频处理模块包括视频采集卡、数字视频图像接收模块、视频合成模块和视频输出模块；

由于，本实施例包括至少两个模拟摄像头，为了将模拟信号进行数字化转换，本实施例的视频处理模块包括视频采集卡；

所述视频采集卡与所述至少两个模拟摄像头分别连接，用于采集模拟摄像头输出的模拟视频信息，输出至少两路数字视频图像信息通过PCI接口传输到所述数字视频图像接收模块；

所述数字视频图像接收模块通过PCI接口所述视频采集卡连接；通过USB接口与所述双目数字摄像头连接；接收所述视频采集卡和所述双目数字摄像头输出的多路数字视频图像信息；

所述视频合成模块，与所述视频合成控制模块连接，用于接收所述视频合成控制模块输出的视频模板，依据所述预设视频模板选择相应路数的数字视频图像信息进行视频合成，将多路视频图像信息合成一路视频图像信息；

视频输出模块与所述视频合成模块连接，将接收的合成视频图像信息通过HDMI接口输出到所述机器人的图传设备。

优选的，所述视频合成模块，多路视频信号解码模块、多路视频数据提取模块、多路数据帧同步模块、数据帧重组模块和二次编码模块；

由于通过采集卡采样输出的数字视频图像信息与双目数字摄像头输出的数字视频图像信息编码格式并不相同，在进行图像合成前，必须进行解码，得到视频图像数据的原始数据帧；

由此，所述多路视频信号解码模块对所述视频采集卡和所述双目数字摄像头输出的多路视频图像信息分别进行相应的解码，得到多路解码后的视频数据。

由于，进行图像合成只需要原始图像数据，因此对于图像合成无关的冗余信息需要预先去除；

由此，所述多路视频数据提取模块与多路视频信号解码模块连接，用于去除多路解码后的视频数据中的冗余信息；提取视频图像帧数据

由于，进行图像合成是各路视频图像数据帧之间进行合成，需进行跟了视频图像数据帧的对齐；

由此，所述多路数据帧同步模块，对所述多路视频数据提取模块输出的视频图像帧数据进行数据同步，使各路视频图像帧数据的数据帧对齐；

所述数据帧重组模块，与所述视频合成控制模块连接，接收所述视频合成控制模块输出的视频模板，根据接收的视频模板数据，选择需要重组的各路视频数据，分别对视频数据进行设定比例的视频压缩，然后将压缩后的各路视频数据按照预设的显示位置关系，进行视频数据拼接，形成一路视频数据；

所述二次编码模块，对拼接后的视频数据进行编码后，输出到视频输出模块。

优选的，所述视频合成控制模块中内置的多个预设的视频模板；

每一个模板，包括：

需要进行合成的视频路数，例如1、2、3或4路；

每路视频对应的摄像头，例如合成视频路数为3路，第1路为双目数字摄像头数据，第2路为机器人正面模拟摄像头数据，第3路为机器人背面模拟摄像头数据；

每路视频数据的压缩比，模板预设每路视频图像在模板中的大小，根据预设大小，对各路视频图像数据进行一定比例的图像压缩；

各视频源数据的拼接位置关系，模板预设了每路视频图像在模板中的位置，各路视频图像之间的位置关系可以是上下位置、左右位置、左对齐、右对齐或中心对齐；

输出帧速率，帧速率可以根据图传设备的传输能力具体进行设定。

所述视频模板的选择，是通过外部输入的视频模板选择指令进行的，所述视频合成控制模块能输出与指令对应的视频模板到所述视频合成控制模块进行视频合成。

特殊的，所述外部指令可以为操作人员通过控制随动遥控制机器人的控制端进行发送。

由此，本实施例的视频信息采集处理系统，接收操纵端的控制指令，按照操纵端需求，进行相应视频图像合成和传输；通过预设的模板进行视频合成，减少了视频传输量，降低了图传设备的传输压力，改善对机器人操纵的实时性；并根据操纵端的需求，可随时切换视频传输内容，人机交互友好。

实施例二、

本实施例还公开了一种视频信息采集处理方法，如图2所示，包括以下步骤：

步骤1、视频图像采集步骤：采集多路视频图像信息；

所述多路视频图像信息包含多路模拟视频图像信息和多路数字视频图像信息；

步骤2、视频图像处理及合成步骤：对所述多路视频图像信息进行处理，根据选择的某一预设视频模板，对多路视频图像信息进行视频合成，形成一路视频图像信息输出；

所述视频模板为预先设定，通过外部指令进行选择。

优选的，所述多路视频图像信息的视频合成方法包括：

1)对所述多路模拟视频图像信息进行数字化采集，输出多路采集后数字图像信息；

2)对多路数字视频图像信息和多路采集后数字图像信息分别进行解码，得到多路解码后的视频数据；

3)对所述多路解码后的视频数据进行多路视频数据提取，去除视频数据中的冗余信息，只保留多路视频图像帧数据；

4)对多路视频图像帧数据的进行帧同步控制；

5)根据选择的视频模板，从同步后的多路视频图像帧数据选择需要重组的各路视频图像帧数据，分别对视频图像帧数据进行设定比例的视频压缩，然后将压缩后的各路视频数据按照预设的位置关系，进行视频数据拼接，形成一路视频拼接数据；

6)对视频拼接数据进行编码后输出。

优选的，所述预设的视频模板，包括需要进行合成的视频路数，每路视频数据的压缩比、各视频源数据的拼接位置关系和输出帧速率。所述预设的视频模板是通过外部指令进行选择的。

特殊的，所述外部指令可以为操作人员通过控制随动遥控制机器人的控制端进行发送。

由此，本实施例的视频信息采集处理方法，接收操纵端的控制指令，按照操纵端需求，进行相应视频图像合成和传输；通过预设的模板进行视频合成，减少了视频传输量，降低了图传设备的传输压力，改善对机器人操纵的实时性；并根据操纵端的需求，可随时切换视频传输内容，人机交互友好。

实施例三、

本实施例还公开了一种人体随动遥操作机器人，包括机器人端和操纵端(本地端)，操纵端负责对机器人端发出操纵指令并监控机器人端的指令执行结果情况；机器人端执行操纵指令并反馈通过多传感器采集形成包括多传感器信息的执行结果情况到操纵端。在机器人端的视频采集处理时通过视频信息采集处理系统进行的。

具体的，所述视频信息采集处理系统包括：摄像头模组、视频处理模块、视频合成控制模块；

所述摄像头模组，用于采集多路视频图像信息；

所述视频处理模块，对所述多路视频图像信息进行处理，在视频合成控制模块的控制下，对多路视频图像信息进行视频合成，形成一路视频图像信息输出；

所述视频合成控制模块，内置多个预设的视频模板，在外部指令控制下，选择某一视频模板输出到所述视频处理模块，控制所述视频处理模块按照模板进行视频合成。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种视频信息采集处理系统，其特征在于，包括：摄像头模组、视频处理模块、视频合成控制模块；

所述摄像头模组，用于采集多路视频图像信息；

所述视频合成控制模块，内置多个预设的视频模板，在外部指令控制下，选择某一视频模板输出到所述视频处理模块；

所述视频处理模块，对所述多路视频图像信息进行处理，按照接收的视频模板，对多路视频图像信息进行视频选择及合成，形成一路视频图像信息输出；

所述视频处理模块包括视频采集卡、数字视频图像接收模块、视频合成模块和视频输出模块；

所述视频采集卡与所述多个模拟摄像头分别连接，用于采集所述模拟摄像头输出的模拟视频信息，输出多路数字视频图像信息；

所述数字视频图像接收模块分别与所述视频采集卡和所述数字摄像头连接；接收所述视频采集卡和所述数字摄像头输出的多路数字视频图像信息；

所述视频合成模块，与所述视频合成控制模块连接，用于接收所述视频合成控制模块输出的视频模板，并依据所述视频模板选择相应路数的数字视频图像信息进行视频合成，将多路视频图像信息合成一路视频图像信息；

视频输出模块与所述视频合成模块连接，接收合成视频图像信息并输出到机器人的图传设备；

所述视频合成模块，包括多路视频信号解码模块、多路视频数据提取模块、多路数据帧同步模块、数据帧重组模块和二次编码模块；

所述多路视频信号解码模块对所述视频采集卡和双目数字摄像头输出的多路视频图像信息分别进行相应的解码，得到多路解码后的视频数据；

所述多路视频数据提取模块与多路视频信号解码模块连接，用于去除多路解码后的视频数据中的冗余信息，提取视频图像帧数据；

所述多路数据帧同步模块，对所述多路视频数据提取模块输出的视频图像帧数据进行数据同步，使各路视频图像帧数据的数据帧对齐；

所述数据帧重组模块，与所述视频合成控制模块连接，接收所述视频合成控制模块输出的视频模板，根据接收的视频模板数据，选择需要重组的各路视频数据，分别对视频数据进行设定比例的视频压缩，然后将压缩后的各路视频数据按照预设的显示位置关系，进行视频数据拼接，形成一路视频数据；

所述二次编码模块，对拼接后的视频数据进行编码后，输出到视频输出模块。

2.根据权利要求1所述的视频信息采集处理系统，其特征在于，所述摄像头模组包括多个模拟摄像头和数字摄像头，

所述模拟摄像头，安装于随动遥控制机器人的机身，用于采集视频图像信息；

所述数字摄像头中至少包含一个双目数字摄像头，安装于随动遥控制机器人的头部，用于采集机器人视角下的视频图像信息。

3.根据权利要求1所述的视频信息采集处理系统，其特征在于，所述视频模板，包括需要进行合成的视频路数，每路视频数据的压缩比、各视频源数据的拼接位置关系和输出帧速率。

4.根据权利要求1-3任一项所述的视频信息采集处理系统，其特征在于，所述外部指令为由随动遥控制机器人的控制端发送的控制视频模板选择的指令。

5.一种视频信息采集处理方法，其特征在于，包括以下步骤：

采集多路视频图像信息；

对所述多路视频图像信息进行处理，根据选择的某一预设视频模板，对多路视频图像信息进行视频合成，形成一路视频图像信息输出；

所述视频模板为预先设定，通过外部指令进行选择；

所述多路视频图像信息包含多路模拟视频图像信息和多路数字视频图像信息；

所述多路视频图像信息的视频合成方法包括：

1)对所述多路模拟视频图像信息进行数字化采集，输出多路采集后数字图像信息；

2)对多路数字视频图像信息和多路采集后数字图像信息分别进行解码，得到多路解码后的视频数据；

3)对所述多路解码后的视频数据进行多路视频数据提取，去除视频数据中的冗余信息，只保留多路视频图像帧数据；

4)对多路视频图像帧数据的进行帧同步控制；

5)根据选择的视频模板，从同步后的多路视频图像帧数据选择需要重组的各路视频图像帧数据，分别对视频图像帧数据进行设定比例的视频压缩，然后将压缩后的各路视频数据按照预设的位置关系，进行视频数据拼接，形成一路视频拼接数据；

6)对视频拼接数据进行编码后输出。

6.根据权利要求5所述的视频信息采集处理方法，其特征在于，所述预设的视频模板，包括需要进行合成的视频路数，每路视频数据的压缩比、各视频源数据的拼接位置关系和输出帧速率。

7.一种人体随动遥操作机器人，其特征在于，包括权利要求1-4任一项所述的视频信息采集处理系统。

Images