CN106911901A - 一种用于智能机器人的数据处理方法及系统 - Google Patents

Abstract

一种用于智能机器人的数据处理方法及系统，其中，该方法包括：步骤一、利用图像采集设备和音频采集设备获取原始图像信息和音频信息；步骤二、根据原始图像信息生成全景图像信息，并根据全景图像信息和音频信息生成VR视频流数据；步骤三、将VR视频流数据发送至VR视频播放端，以由VR视频播放端进行播放。本方法通过智能机器人来获取被摄目标的图像信息，并根据该图像信息来生成VR视频流数据，相较于现有的采用专业VR视频拍摄设备来拍摄VR视频流的方式，本方法能够使得用于不再需要携带笨重的设备来进行VR视频拍摄，同时，该方法还能够丰富VR视频的素材。

Description

一种用于智能机器人的数据处理方法及系统

技术领域

本发明涉及机器人技术领域，具体地说，涉及一种用于智能机器人的数据处理方法及系统。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

目前，提高智能机器人的交互能力，满足用户多种多样的需求，成为本领域技术人员亟需解决的问题。

发明内容

为解决上述问题，本发明提供了一种用于智能机器人的数据处理方法，其包括：

步骤一、利用图像采集设备和音频采集设备获取原始图像信息和音频信息；

步骤二、根据所述原始图像信息生成全景图像信息，并根据所述全景图像信息和音频信息生成VR视频流数据；

步骤三、将所述VR视频流数据发送至VR视频播放端，以由所述VR视频播放端进行播放。

根据本发明的一个实施例，在所述步骤二中，对所述原始图像信息进行解析，得到所述原始图像信息的分辨率，判断所述原始图像信息的分辨率是否满足预设分辨率要求，如果满足，则根据所述原始图像信息生成所述全景图像信息。

根据本发明的一个实施例，在所述步骤二中，如果所述原始图像信息的分辨率不满足预设分辨率要求，则生成位置调整指令，以通过所述位置调整指令对所述图像采集设备的位置进行调整。

根据本发明的一个实施例，在所述步骤二中，通过云端服务器根据所述原始图像信息生成所述全景图像信息。

根据本发明的一个实施例，还接收所述VR视频播放端发送来的位置调整指令；

根据所述位置调整指令生成进行相应的多模态输出指令并执行输出。

根据本发明的一个实施例，在所述步骤一中，利用智能机器人获取多模态交互信息，其中，所述多模态交互信息除了包含所述原始图像信息和音频信息外，还包括环境信息和/或触觉信息；

在所述步骤三中，还将所述环境信息和/或触觉信息发送到所述VR播放端。

本发明还提供了一种用于智能机器人的数据处理系统，其包括：

交互信息获取模块，其用于获取原始图像信息和音频信息；

VR视频流数据生成模块，其用于根据所述原始图像信息生成全景图像信息，并根据所述全景图像信息和音频信息生成VR视频流数据；

数据传输模块，其用于将所述VR视频流数据发送至VR视频播放端，以由所述VR视频播放端进行播放。

根据本发明的一个实施例，所述VR视频流数据生成模块配置为对所述原始图像信息进行解析，得到所述原始图像信息的分辨率，判断所述原始图像信息的分辨率是否满足预设分辨率要求，如果满足，则根据所述原始图像信息生成所述全景图像信息。

根据本发明的一个实施例，如果所述原始图像信息的分辨率不满足预设分辨率要求，所述VR视频流数据生成模块则配置为生成位置调整指令，以通过所述位置调整指令对所述图像采集设备的位置进行调整。

根据本发明的一个实施例，所述VR视频流数据生成模块配置为通过云端服务器根据所述原始图像信息生成所述全景图像信息。

根据本发明的一个实施例，所述系统配置为还接收所述VR视频播放端发送来的位置调整指令，并根据所述位置调整指令生成进行相应的多模态输出指令并执行输出。

根据本发明的一个实施例，交互信息获取模块配置为利用智能机器人获取多模态交互信息，其中，所述多模态交互信息除了包含所述原始图像信息和音频信息外，还包括环境信息和/或触觉信息；

数据传输模块配置为还将所述环境信息和/或触觉信息发送到所述VR播放端。

本发明所提供的用于智能机器人的数据处理方法通过智能机器人来获取被摄目标的图像信息，并根据该图像信息来生成VR视频流数据。相较于现有的采用专业VR视频拍摄设备来拍摄VR视频流的方式，本方法能够使得用于不再需要携带笨重的设备来进行VR视频拍摄，同时，该方法还能够丰富VR视频的素材。

同时，本方法在获取原始图像信息的过程中，能够通过调整智能机器人的图像获取设备的位置来灵活地进行图像拍摄，这有助保证所生成的全景图像的质量，进而有助于提高所制作的VR视频的质量。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的用于智能机器人的数据处理方法的实现流程示意图；

图2是根据本发明另一个实施例的用于智能机器人的数据处理方法的实现流程示意图；

图3是根据本发明一个实施例的用于智能机器人的数据处理系统的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

针对现有的VR设备来说，其视频获取设备往往存在着设备笨重、不便于携带的问题。针对现有技术中所存在的上述问题，本发明提供了一种用于智能机器人的数据处理方法，该方法能够利用智能机器人来获取相应的图像信息和音频信息，并基于该图像信息和音频信息来生成VR视频流数据，从而克服了现有技术中所存在的上述缺陷。

为了更加清楚地描述本发明所提供的用于智能机器人的数据处理方法的实现原理、实现流程以及优点，以下分别结合不同的实施例来对该数据处理方法作进一步地说明。

实施例一：

图1示出了本实施例所提供的用于智能机器人的数据处理方法的实现流程示意图。

如图1所示，本实施例所提供的数据处理方法首先在步骤S101中利用相应的图像采集设备和音频采集设备来获取原始图像信息和音频信息。具体地，本实施例中，该方法在步骤S101中所使用的图像采集设备和音频采集设备优选地为智能机器人所配置的相关设备(例如摄像头和麦克风等)。

需要指出的是，本实施例中，该方法优选地在步骤S101中同步地获取上述原始图像信息和音频信息，即上述原始图像信息和音频信息能够表征同一时刻某一目标物的相关图像和音频。

在得到上述原始图像信息和音频信息后，该方法会在步骤S102中根据步骤S101中所获取到的原始图像信息生成全景图像信息，并在步骤S103中根据上述步骤S102中所生成的全景图像信息以及步骤S101中所获取到的音频信息来生成VR视频流数据。

本实施例中，该方法在步骤S102中优选地采用图像拼接技术来根据步骤S101中所获取到的原始图像信息来生成全景图像信息。利用图像拼接技术，该方法能够将多张相互衔接并且有重叠部分的原始图像拼接合成为一整张高分辨率的全景图像。

需要指出的是，在本发明的不同实施例中，该方法在步骤S102中可以采用不同的图像拼接技术来根据原始图像信息生成全景图像信息，本发明不限于此。例如，在本发明的一个实施例中，该方法可以采用基于区域的图像拼接技术来生成全景图像信息，而在发明的另一个实施例中，该方法则可以采用基于特征的图像拼接技术来生成全景图像信息。

基于区域的图像拼接技术充分利用了图像的信息，其能够利用两幅图像像素之间灰度的关系来确定图像之间坐标变化的参数。并且，该方法根据实际需要还可以具体地采用基于空间的像素匹配法或基于频域的拼接算法来进行图像拼接。相对地，基于频域的拼接算法能够更好地处理带有频率噪声和相关性噪声的图像。

相较于基于区域的图像拼接技术，基于特征的图像拼接技术并不需要利用图像全部的信息，而只是需要利用图像的典型特征来计算图像之间的变换关系。本实施例中，该方法优选地采用基于非下采样Contourlet变换(即NSCT)的图像拼接方法来根据原始图像信息生成全景图像信息。该方法在Contourlet变换的基础上取消了下采样过程，其具有平移不变性的优点。同时，相较于现有的用于图像拼接的非下采样小波变换方法，本方法能够利用到的方向性更加丰富，因而能够更好地表象图像的细节信息，从而使得图像的拼接过渡更加平滑。

同时，由于不同的原始图像是通过不同的图像采集设备采集得到的，这样会使拼接得到的全景图像信息的不同区域可能存在曝光不一致的问题。针对该问题，本方法优选地采用曝光补偿的方式来使得拼接得到的全景图像中各个区域的曝光保持一致。

当得到全景图像信息后，如图1所示，该方法会在步骤S103中根据上述步骤S102中所得到的全景图像信息以及步骤S101中所得到的音频信息生成VR视频流数据。具体地，本实施例中，该方法通过对步骤S102中所得到的全景图像信息和步骤S101中所得到的音频信息进行H265视频编码，以此生成VR视频流数据。

当然，在本发明的不同实施例中，根据实际需要，该方法在生成VR视频流数据时所采用的编码形式还可以为其他合理编码，本发明不限于此。

在得到VR视频流数据后，本方法会在步骤S104中将上述步骤S103中所得到的VR视频流数据传输至VR视频播放端，以由VR视频播放端进行播放。具体地，本实施例中，该方法在步骤S104中通过Wi-Fi来将VR视频流数据传输至VR视频播放端。然而，在本发明的其他实施例中，该方法还可以通过其他合理方式(例如通过有线网络或移动通讯网络等)来将VR视频流数据传输至VR视频播放端，本发明不限于此。

需要指出的是，在本发明的不同实施例中，根据实际需要，该方法既可以通过智能机器人来基于上述原始图像信息来生成全景图像信息，也可以通过云端服务器来实现上述过程，本发明不限于此。

同时，还需要指出的是，在本发明的其他实施例中，根据实际需要，该方法在步骤S101中利用智能机器人所获取到的多模态交互信息中除了包含上述原始图像信息和音频信息，还以包含环境信息和/或触觉信息。其中，该环境信息可以是温度信息、湿度信息以及亮度信息等。在步骤S104中，该方法会将VR视频流数据以及上述环境信息和/或触觉信息发送至VR播放端，这样也就可以向用户更好地呈现被摄目标的当前状态，从而使得用户能够更加真实地观察被摄目标。

实施例二：

图2示出了本实施例所提供的用于智能机器人的数据处理方法的实现流程示意图。

如图2所示，本实施例所提供的数据处理方法首先在步骤S201中利用相应的图像采集设备和音频采集设备来获取原始图像信息和音频信息。其中，该方法优选地在步骤S201中同步地获取上述原始图像信息和音频信息，即上述原始图像信息和音频信息能够表征同一时刻某一目标物的相关图像和音频。

需要指出的是，本实施例中，上述步骤S201的具体实现原理以及实现过程与上述实施例一中步骤S101的实现原理以及实现过程相同，因此在此不再对步骤S201的相关内容进行赘述。

在得到原始图像信息和音频信息后，该方法会在步骤S202中对上述步骤S201中所获取到的原始图像信息进行解析，从而得到原始图像信息的分辨率。在得到原始图像信息的分辨率后，该方法会在步骤S203中进一步判断原始图像信息的分辨率是否满足预设分辨率要求，即原始图像信息的分辨率是否大于或等于预设分辨率阈值。

其中，如果原始图像信息的分辨率不满足预设分辨率要求，那么此时根据所得到的原始图像信息将无法生成满足要求的VR视频流，因此此时该方法将在步骤S207中生成位置调整指令，并通过该位置调整指令来对用于获取原始图像信息的图像采集设备的位置进行调整。

在调整完成后，该方法会返回步骤S201来重新利用位置调整后的图像采集设备和音频采集设备来获取新的原始图像信息和对应的音频信息。本实施例中，当获取到的原始图像信息的分辨率无法满足要求时，其很可能是由于图像采集设备没有对准被摄目标或者图像采集设备的焦距参数不匹配造成的，因此，本方法通过对图像采集设备的位置进行调整来使得图像采集设备对准被摄目标或者将图像采集设备的焦距参数与被摄目标相匹配，这样也就可以得到分辨率更高的原始图像信息，从而为后续得到清晰的VR视频流数据奠定了基础。

而如果原始图像信息的分辨率满足预设分辨率要求，那么此时该方法将在步骤S204中根据步骤S201中所获取到的原始图像信息生成全景图像信息。在得到全景图像信息后，该方法则会在步骤S205中根据上述步骤S204中所得到的全景图像信息以及步骤S201中所获取到的对应音频信息来生成VR视频流数据，并在步骤S206中将上述VR视频流数据传输至VR视频播放端，以由该VR视频播放端进行播放。

需要指出的是，本实施例中，上述步骤S204至步骤S206的具体实现原理以及实现过程优选地与上述实施例一中步骤S102至步骤S104的具体实现原理以及实现过程相同，故在此不再对步骤S204至步骤S206的相关内容进行赘述。

同时，还需要指出的是，该方法还可以接收VR视频播放端所发送来的位置调整指令，并根据该位置调整指令生成相应的多模态输出指令并执行输出。例如，该方法可以根据VR视频播放端所发送来的位置调整指令来生成相应的智能机器人图像采集设备调整指令，通过该图像采集设备调整指令来调整图像采集设备的运行状态。

从上述描述中可以看出，本发明所提供的用于智能机器人的数据处理方法通过智能机器人来获取被摄目标的图像信息，并根据该图像信息来生成VR视频流数据。相较于现有的采用专业VR视频拍摄设备来拍摄VR视频流的方式，本方法能够使得用于不再需要携带笨重的设备来进行VR视频拍摄，同时，该方法还能够丰富VR视频的素材。

同时，本方法在获取原始图像信息的过程中，能够通过调整智能机器人的图像获取设备的位置来灵活地进行图像拍摄，这有助保证所生成的全景图像的指令，进而有助于提高所制作的VR视频的质量。

本方法能够实现视频聊天增强，其能够向佩戴VR播放端的用户实时传输另一用户所处的场景，从而增强了视频聊天体验。同时，本方法还使得用户能够通过智能机器人来远程查看特定的场所，其可以广泛应用于博物馆、建筑工地、购房以及家庭安防等实际应用场景中，其甚至还可以帮助用户查看人类无法达到的区域(例如海底、峡谷等)的场景信息。

本发明还提供了一种用于智能机器人的数据处理系统，图3示出了本实施例中该数据处理系统的结构示意图。

如图3所示，本实施例所提供的用于智能机器人的数据处理系统优选地包括：交互信息获取模块301、VR视频流数据生成模块302以及数据传输模块303。其中，交互信息获取模块301用于获取原始图像信息和音频信息。具体地，本实施例中，交互信息获取模块301可以通过智能机器人所配置的相关图像采集设备(例如摄像头)和音频采集设备(例如麦克风)来获取上述原始图像信息和音频信息。

本实施例中，交互信息获取模块301优选地同步地获取上述原始图像信息和音频信息，即上述原始图像信息和音频信息能够表征同一时刻某一目标物的相关图像和音频。

在得到原始图像信息和音频信息后，交互信息获取模块301会将上述原始图像信息和音频信息传输至VR视频流数据生成模块302。本实施例中，VR视频流数据生成模块302首先会根据上述原始图像信息来生成全景图像信息，随后再根据全景图像信息和音频信息生成VR视频流数据。

需要指出的是，在本发明的不同实施例中，根据实际需要，视频流数据生成模块302既可以配置在智能机器人中，也可以配置在云端服务器中，本发明不限于此。

VR视频流数据生成模块302与数据传输模块303连接，其会将自身生成的VR视频流数据传输至数据传输模块303。本实施例中，数据传输模块303能够将接收到的上述VR视频流数据传输至VR视频播放端，以由VR视频播放端进行播放。

需要指出的是，在本发明的不同实施例中，VR视频流数据生成模块302以及数据传输模块303实现其各自功能的具体原理以及过程既可以与上述实施例一中步骤S102至步骤S104所阐述的内容相同，也可以与上述实施例二中步骤S202至步骤S207所阐述的内容相同，故在此不再对VR视频流数据生成模块302以及数据传输模块303的相关内容进行赘述。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (12)

1.一种用于智能机器人的数据处理方法，其特征在于，包括：

步骤一、利用图像采集设备和音频采集设备获取原始图像信息和音频信息；

步骤二、根据所述原始图像信息生成全景图像信息，并根据所述全景图像信息和音频信息生成VR视频流数据；

步骤三、将所述VR视频流数据发送至VR视频播放端，以由所述VR视频播放端进行播放。

2.如权利要求1所述的方法，其特征在于，在所述步骤二中，对所述原始图像信息进行解析，得到所述原始图像信息的分辨率，判断所述原始图像信息的分辨率是否满足预设分辨率要求，如果满足，则根据所述原始图像信息生成所述全景图像信息。

3.如权利要求2所述的方法，其特征在于，在所述步骤二中，如果所述原始图像信息的分辨率不满足预设分辨率要求，则生成位置调整指令，以通过所述位置调整指令对所述图像采集设备的位置进行调整。

4.如权利要求1～3中任一项所述的方法，其特征在于，在所述步骤二中，通过云端服务器根据所述原始图像信息生成所述全景图像信息。

5.如权利要求1～4中任一项所述的方法，其特征在于，还接收所述VR视频播放端发送来的位置调整指令；

根据所述位置调整指令生成进行相应的多模态输出指令并执行输出。

6.如权利要求1～5中任一项所述的方法，其特征在于，在所述步骤一中，利用智能机器人获取多模态交互信息，其中，所述多模态交互信息除了包含所述原始图像信息和音频信息外，还包括环境信息和/或触觉信息；

在所述步骤三中，还将所述环境信息和/或触觉信息发送到所述VR播放端。

7.一种用于智能机器人的数据处理系统，其特征在于，包括：

交互信息获取模块，其用于获取原始图像信息和音频信息；

VR视频流数据生成模块，其用于根据所述原始图像信息生成全景图像信息，并根据所述全景图像信息和音频信息生成VR视频流数据；

数据传输模块，其用于将所述VR视频流数据发送至VR视频播放端，以由所述VR视频播放端进行播放。

8.如权利要求7所述的系统，其特征在于，所述VR视频流数据生成模块配置为对所述原始图像信息进行解析，得到所述原始图像信息的分辨率，判断所述原始图像信息的分辨率是否满足预设分辨率要求，如果满足，则根据所述原始图像信息生成所述全景图像信息。

9.如权利要求8所述的系统，其特征在于，如果所述原始图像信息的分辨率不满足预设分辨率要求，所述VR视频流数据生成模块则配置为生成位置调整指令，以通过所述位置调整指令对所述图像采集设备的位置进行调整。

10.如权利要求7～9中任一项所述的系统，其特征在于，所述VR视频流数据生成模块配置为通过云端服务器根据所述原始图像信息生成所述全景图像信息。

11.如权利要求7～10中任一项所述的系统，其特征在于，所述系统配置为还接收所述VR视频播放端发送来的位置调整指令，并根据所述位置调整指令生成进行相应的多模态输出指令并执行输出。

12.如权利要求7～11中任一项所述的系统，其特征在于，交互信息获取模块配置为利用智能机器人获取多模态交互信息，其中，所述多模态交互信息除了包含所述原始图像信息和音频信息外，还包括环境信息和/或触觉信息；

数据传输模块配置为还将所述环境信息和/或触觉信息发送到所述VR播放端。