CN108881946A - 传感器数据的生成、传输、处理方法、装置及其系统 - Google Patents

Abstract

本发明提出一种传感器数据的生成、传输、处理方法、装置及其系统，其中，生成方法包括：获取图像传感器同步采集到的至少两帧图像数据；根据至少两帧图像数据，生成扩展帧，其中，扩展帧的数据部分携带有至少两帧图像数据的数据内容。由此，实现了通过扩展帧读取到同步的多帧图像数据，从而实现了无需比对多帧图像数据是否同步，一次调用扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

Description

传感器数据的生成、传输、处理方法、装置及其系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种传感器数据的生成、传输、处理方法、装置及其系统。

背景技术

目前，为了丰富图像内容，使得图像能够满足用户的更多需求，将包含同一帧图像的不同内容的图像数据叠加处理，使得获取的图像更加饱满、内容更加丰富。比如，在3D图像处理技术中，将同一图像的深度图像和彩色图像叠加处理后显示给用户，能给用户带来更加逼真的观赏体验。

然而，相关技术中，受到视频流传输方式的限制，需要分别从不同的视频流中获取同一图像的包含不同内容的图像数据，如果想要获取同一时刻同一图像的包含不同内容的图像数据，就需要进行多次调用，操作效率低，且无法保证多次调用的包含不同内容的图像数据是同一时刻获取的，需要进一步确认图像数据之间的时间戳信息，或者帧序列号信息等，操作繁琐，图像处理效率较低。

发明内容

本发明旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种传感器数据的生成方法，实现了无需比对多帧图像数据是否同步，一次调用扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

本发明的第二个目的在于提出一种传感器数据的传输方法。

本发明的第三个目的在于提出一种传感器数据的处理方法。

本发明的第四个目的在于提出一种传感器数据的生成装置。

本发明的第五个目的在于提出一种传感器数据的传输装置。

本发明的第六个目的在于提出一种传感器数据的处理装置。

本发明的第七个目的在于提出一种传感器数据的处理系统。

本发明的第八个目的在于提出一种非临时性计算机可读存储介质。

本发明的第九个目的在于提出另一种非临时性计算机可读存储介质。

本发明的第十个目的在于提出又一种非临时性计算机可读存储介质。

本发明的第十一个目的在于提出一种计算机程序产品。

本发明的第十二个目的在于提出另一种计算机程序产品。

本发明的第十三个目的在于提出又一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出的一种传感器数据的生成方法，方法，包括：获取图像传感器同步采集到的至少两帧图像数据；

根据所述至少两帧图像数据，生成扩展帧，其中，所述扩展帧的数据部分携带有所述至少两帧图像数据的数据内容。

本发明实施例的传感器数据生成方法，将图像传感器同步采集到的至少两帧图像数据，生成数据部分携带有所述至少两帧图像数据的数据内容的扩展帧，由此，实现了通过扩展帧读取到同步的多帧图像数据，从而实现了无需比对多帧图像数据是否同步，一次调用扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

可选地，所述生成扩展帧，包括：

根据所述至少两帧图像数据的数据属性，生成所述扩展帧的元数据部分；

其中，所述数据属性包括：

同步采集到所述至少两帧图像数据的时间戳、所述至少两帧图像数据的分辨率、所述至少两帧图像数据的数据格式和/或所述至少两帧图像数据的数据总量。

可选地，所述扩展帧的元数据部分还携带有所述扩展帧的标识。

可选地，所述生成扩展帧，包括：

根据所述至少两帧图像数据的数据内容，生成所述扩展帧的数据部分。

可选地，所述根据所述至少两帧图像数据的数据内容，生成所述扩展帧的数据部分之前，还包括：

根据所述至少两帧图像数据的分辨率和数据格式，确定所述至少两帧图像数据的数据量；

根据所述至少两帧图像数据的数据量，以及所述至少两帧图像数据之间的预设排序，确定所述至少两帧图像数据的数据内容在所述数据部分中的位置。

可选地，所述至少两帧图像数据中的一帧为深度图像，另一帧为彩色图像；所述获取图像传感器同步采集到的至少两帧图像数据，包括：

从深度传感器获取所述深度图像；

和/或，从彩色传感器获取所述彩色图像。

为达上述目的，本发明第二方面实施例提出的一种传感器数据的传输方法，，包括：获取扩展帧；其中，所述扩展帧是采用如本发明第一方面实施例所述的生成方法生成的；

将所述扩展帧插入创建的视频流中；

传输所述视频流。

本发明实施例的传感器数据的传输方法，在创建的视频流中，插入包含同步采集的至少两个图像数据的数据内容的扩展帧，以便于对视频流中的扩展帧的一次调用，即可获取同步的至少两个图像数据的数据内容等，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

为达上述目的，本发明第三方面实施例提出的一种传感器数据的处理方法，包括：

获取扩展帧；其中，所述扩展帧是获取图像传感器同步采集到的至少两帧图像数据之后，根据所述至少两帧图像数据生成的；

对所述扩展帧进行解析，得到所述扩展帧的数据部分所携带的至少两帧图像数据的数据内容。

本发明实施例的传感器数据的处理方法，获取扩展帧，并对扩展帧进行解析，得到扩展帧的数据部分所携带的至少两帧图像数据的数据内容。由此，实现了通过对扩展帧解析即可获取到同步的多帧图像数据，从而实现了无需比对多帧图像数据是否同步，一次解析扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

可选地，所述对所述扩展帧进行解析，得到所述扩展帧的数据部分所携带的至少两帧图像数据的数据内容，包括：

从所述扩展帧的数据部分的对应位置，分别读取所述扩展帧的数据部分所携带的至少两帧图像数据的数据内容。

可选地，所述从所述扩展帧的数据部分的对应位置，分别读取所述扩展帧的数据部分所携带的至少两帧图像数据的数据内容之前，还包括：

读取所述扩展帧的元数据部分；

根据所述元数据部分所携带的所述至少两帧图像数据的数据属性，确定所述位置；

其中，所述数据属性包括：

同步采集到所述至少两帧图像数据的时间戳、所述至少两帧图像数据的分辨率、所述至少两帧图像数据的数据格式和/或所述至少两帧图像数据的数据量。

可选地，所述数据属性包括：所述至少两帧图像数据的分辨率和数据格式，所述根据所述元数据部分所携带的所述至少两帧图像数据的数据属性，确定所述位置，包括：

根据所述至少两帧图像数据的分辨率和数据格式，确定所述至少两帧图像数据的数据量；

根据所述至少两帧图像数据的数据量，以及所述至少两帧图像数据的预设排序，确定所述位置。

可选地，所述至少两帧图像数据中的一帧为深度图像，另一帧为彩色图像；所述对所述扩展帧进行解析，得到所述扩展帧的数据部分所携带的至少两帧图像数据的数据内容之后，还包括：

根据所述深度图像和所述彩色图像的数据内容，进行图像处理。

可选地，所述获取扩展帧之前，还包括：

调用视频流接口，以获取视频流；其中，所述视频流是采用如本发明第二方面实施例所述的方法传输的；

从所述视频流中获取所述扩展帧。

为达上述目的，本发明第四方面实施例提出的传感器数据的生成装置，包括：

第一获取模块，用于获取图像传感器同步采集到的至少两帧图像数据；

生成模块，用于根据所述至少两帧图像数据，生成扩展帧，其中，所述扩展帧的数据部分携带有所述至少两帧图像数据的数据内容。

本发明实施例的传感器数据生成装置，将图像传感器同步采集到的至少两帧图像数据，生成数据部分携带有所述至少两帧图像数据的数据内容的扩展帧，由此，实现了通过扩展帧读取到同步的多帧图像数据，从而实现了无需比对多帧图像数据是否同步，一次调用扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

可选地，所述生成模块具体用于：

根据所述至少两帧图像数据的数据属性，生成所述扩展帧的元数据部分；

其中，所述数据属性包括：

同步采集到所述至少两帧图像数据的时间戳、所述至少两帧图像数据的分辨率、所述至少两帧图像数据的数据格式和/或所述至少两帧图像数据的数据总量。

可选地，所述扩展帧的元数据部分还携带有所述扩展帧的标识。

可选地，所述生成模块具体用于：

根据所述至少两帧图像数据的数据内容，生成所述扩展帧的数据部分。

可选地，所述生成模块包括：

第一确定单元，用于根据所述至少两帧图像数据的分辨率和数据格式，确定所述至少两帧图像数据的数据量；

第二确定单元，用于根据所述至少两帧图像数据的数据量，以及所述至少两帧图像数据之间的预设排序，确定所述至少两帧图像数据的数据内容在所述数据部分中的位置。

可选地，所述至少两帧图像数据中的一帧为深度图像，另一帧为彩色图像；所述第一获取模块用于：

从深度传感器获取所述深度图像；

和/或，从彩色传感器获取所述彩色图像。

为达上述目的，本发明第五方面实施例提出的传感器数据的传输装置，包括：第二获取模块，用于获取扩展帧；其中，所述扩展帧是采用如本发明第一方面所述的生成方法生成的；

插入模块，用于将所述扩展帧插入创建的视频流中；

传输模块，用于传输所述视频流。

本发明实施例的传感器数据的传输装置，在创建的视频流中，插入包含同步采集的至少两个图像数据的数据内容的扩展帧，以便于对视频流中的扩展帧的一次调用，即可获取同步的至少两个图像数据的数据内容等，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

为达上述目的，本发明第六方面实施例提出的传感器数据的处理装置，包括：

第三获取模块，用于获取扩展帧；其中，所述扩展帧是传感器数据的生成装置获取图像传感器同步采集到的至少两帧图像数据之后，根据所述至少两帧图像数据生成的；

解析模块，用于对所述扩展帧进行解析，得到所述扩展帧的数据部分所携带的至少两帧图像数据的数据内容。

本发明实施例的传感器数据的处理装置，获取扩展帧，并对扩展帧进行解析，得到扩展帧的数据部分所携带的至少两帧图像数据的数据内容。由此，实现了通过对扩展帧解析即可获取到同步的多帧图像数据，从而实现了无需比对多帧图像数据是否同步，一次解析扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

可选地，所述解析模块具体用于：

从所述扩展帧的数据部分的对应位置，分别读取所述扩展帧的数据部分所携带的至少两帧图像数据的数据内容。

可选地，所述解析模块包括：

读取单元，用于读取所述扩展帧的元数据部分；

第三确定单元，用于根据所述元数据部分所携带的所述至少两帧图像数据的数据属性，确定所述位置；

其中，所述数据属性包括：

同步采集到所述至少两帧图像数据的时间戳、所述至少两帧图像数据的分辨率、所述至少两帧图像数据的数据格式和/或所述至少两帧图像数据的数据量。

可选地，所述数据属性包括：所述至少两帧图像数据的分辨率和数据格式，所述第三确定单元包括：

第一确定子单元，用于根据所述至少两帧图像数据的分辨率和数据格式，确定所述至少两帧图像数据的数据量；

第二确定子单元，用于根据所述至少两帧图像数据的数据量，以及所述至少两帧图像数据的预设排序，确定所述位置。

可选地，所述至少两帧图像数据中的一帧为深度图像，另一帧为彩色图像；所述装置还包括：

处理模块，用于根据所述深度图像和所述彩色图像的数据内容，进行图像处理。

可选地，还包括：

调用模块，用于调用视频流接口，以获取视频流；其中，所述视频流是采用如权利要求7所述的方法传输的；

所述第三获取模块，还用于从所述视频流中获取所述扩展帧。

为达上述目的，本发明第七方面实施例提出的传感器数据的处理系统，包括：本发明第一方面实施例所述的传感器数据的生成装置，本发明第二方面实施例所述的传感器数据的传输装置，本发明第三方面实施例所述的传感器数据的处理装置。

本发明实施例的传感器数据的处理系统，实现了无需比对多帧图像数据是否同步，一次调用扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

为达上述目的，本发明第八方面实施例提出的非临时性计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备执行如本发明第一方面实施例所述的传感器数据的生成方法。

为达上述目的，本发明第九方面实施例提出的非临时性计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备执行如本发明第二方面实施例所述的传感器数据的传输方法。

为达上述目的，本发明第十方面实施例提出的非临时性计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备执行如本发明第三方面实施例所述的传感器数据的处理方法。

为达上述目的，本发明第十一方面实施例提出的计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本发明第一方面实施例所述的传感器数据的生成方法。

为达上述目的，本发明第十二方面实施例提出的计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本发明第二方面实施例所述的传感器数据的传输方法。

为达上述目的，本发明第十三方面实施例提出的计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本发明第三方面实施例所述的传感器数据的处理方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的传感器数据的生成方法的流程图；

图2是根据本发明一个实施例的采集图像数据的应用场景示意图；

图3是本发明实施例与现有技术的获取图像数据的步骤对比示意图；

图4是根据本发明另一个实施例的传感器数据的生成方法的流程图；

图5是根据本发明一个实施例的扩展帧的结构示意图；

图6是根据本发明一个实施例的传感器数据的传输方法的流程图；

图7是根据本发明一个实施例的传感器数据的处理方法的流程图；

图8是根据本发明一个实施例的获取扩展帧数据部分的数据内容位置的场景示意图；

图9(a)是现有技术中传感器数据处理的流程图；

图9(b)是根据本发明一个实施例的传感器数据处理的流程图；

图10是本发明一个实施例的传感器数据的生成装置的结构示意图；

图11是本发明另一个实施例的传感器数据的生成装置的结构示意图；

图12是根据本发明一个实施例的传感器数据的传输装置的结构示意图；

图13是根据本发明第一个实施例的传感器数据的处理装置的结构示意图；

图14是根据本发明第二个实施例的传感器数据的处理装置的结构示意图；

图15是根据本发明第三个实施例的传感器数据的处理装置的结构示意图；

图16是根据本发明第四个实施例的传感器数据的处理装置的结构示意图；

图17是根据本发明第五个实施例的传感器数据的处理装置的结构示意图；以及

图18是根据本发明一个实施例的传感器数据的处理系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的传感器数据的生成、传输、处理方法、装置及其系统。

在现有技术中，由于各个包含同一图像的不同内容的图像数据从不同的数视频流中传输，因而，需要分别从对应的不同的视频流中获取，无论是在保证不同的图像数据的时间一致性上，还是在图像处理的获取效率上，都具有明显的缺陷。

举例而言，在3D处理技术中，如果想获得同一时刻同一图像的深度图像和彩色图像实时构建彩色点云的应用场景，就需要进行两次调用，即需要打开两条视频流，即深度视频流和彩色视频流，通过上层软件接口一次调用获取一帧数据，然后再一次调用获取另外一帧数据，对于上层软件来讲这是低效的。

并且，由于只有同步的两帧数据(深度图像和彩色图像)通过两个相机的外部参数组合在一起才有意义，因而，需要保证获取的深度图像和彩色图像的同步性，而当获取到了深度图像和彩色图像之后，无法确定二者在时间上是否是同步的，即两次调用不能保证深度图像和彩色图像是同一时刻获取的，需要进一步确认二者之间的时间戳信息，或者帧序列号信息，这都导致了图像处理的效率较低。

而本发明实施例的传感器数据的生成方法，能够同步获取同一时刻同一图像的不同内容的图像数据，能够简化图像数据生成的操作步骤，减少多次图像数据传输的额外开销，提高传输效率，进而提高操作系统的图像处理效率。

为了便于说明，下面集中在应用于摄像头等拍摄设备上的传感器数据的生成方法侧描述本发明。

图1是根据本发明一个实施例的传感器数据的生成方法的流程图，如图1所示，该方法包括：

S101，获取图像传感器同步采集到的至少两帧图像数据。

需要说明的是，在不同的应用场景下，获取图像传感器同步采集到的至少两帧图像数据可以是直接获取的，也可以是间接获取的，举例说明如下。

示例一：直接获取。

在本示例中，采集至少两帧图像数据的图像传感器，具有对应的同步开关，通过打开该同步获取开关即可在图像传感器工作时，控制图像传感器自动同步采集到至少两帧图像数据。

其中，在实际应用中，上述同步开关可以是硬件开关，也可以是通过软件或者驱动控制，或者可以是在拍摄设备上的显示屏中显示的菜单等，在此不作限制。

为了更加清楚的说明本示例中的拍摄方法，下面以同步开关为通过软件或者驱动控制，采集的是两帧图像数据A和B，传感器数据的生成方法应用在摄像头中为例进行举例。

举例而言，如图2所示，在RDBD相机中，如果控制图像传感器采集图像数据的是通过软件或者驱动控制，则当开关打开时(图中未示出)，采集彩色数据的彩色传感器和采集深度图像的红外发射器和红外接收器同步工作(其中，根据红外发射器发送的红外信号，和红外接接收器接收的红外信号之间进行差分计算，获取对应的深度图像)，从而则将开关打开至启动位置，即可同步获取到深度图像和彩色图像，此时获取到的深度图像和彩色图像不需要进行时间比对，即为同一时刻的两帧图像数据。

示例二，间接获取。

在本示例中，相关软件或者驱动并不能支持自动同步获取至少两帧图像数据，此时，需要对获取的至少两帧数据进行同步处理。

应当理解的是，在本示例中，获取的每一帧图像数据都具有时间戳等表明采集时间的时间标识，从而，将获取的至少两帧图像数据进行缓存，根据图像数据的时间戳进行比对，从而，获取匹配的同一时刻的至少两个图像数据。

需要强调的是，如图3所示，本示例中的时间比对，是预先处理的操作，发生在具体应用场景下调用同步图像数据之前，与现有技术中，时间比对步骤发生在具体应用场景下调用同步图像数据的过程中的时机不同，因此，本示例中，通过预先将至少两帧图像数据进行同步处理，真正节约了图像处理的时间，提高了图像处理效率。

S102，根据至少两帧图像数据，生成扩展帧，其中，扩展帧的数据部分携带有至少两帧图像数据的数据内容。

其中，图像数据的数据内容可以包括图像的深度数据、彩色数据、亮度数据等。

具体地，将同步的至少两个图像数据，生成扩展帧，从而，扩展帧的数据部分携带有至少两帧图像数据的数据内容，在实际应用中，可以通过调用一次扩展帧，即可获得同一图像同一个时刻的至少两帧图像数据的数据内容。

需要说明的是，上述至少两帧图像数据的数据内容可以是相同的，也可以是不同的。

示例一，至少两帧图像数据的数据内容相同。

举例而言，为了增加获取图像的亮度，采用两个摄像头拍照，每个摄像头中的图像传感器均用于采集图像的亮度数据，从而，该示例下的扩展帧包含的图像数据的内容是同一个拍摄物体的不同角度的亮度数据。

示例二，至少两帧图像数据的数据内容不相同。

举例而言，为了增加视频流中物体的真实感，采集同一个视频流图像中的深度图像和彩色图像数据，从而，该示例下的扩展帧包含的是同一个拍摄物体的不同的数据内容的图像数据。

在本示例中，至少两帧图像数据中的一帧为深度图像，另一帧为彩色图像，从而，将同步从深度图像传感器获取的深度图像，从彩色传感器获取的彩色图像生成扩展帧，通过调用该扩展帧，即可同步获取同一个图像的色彩图像数据和深度图像数据。

从而，基于以上描述可知，由于获取的扩展帧中的数据内容可以是相同的，也可以是不同的，因而，图像传感器的类型可以是相同的，也可以是不同的。

由此，本发明实施例的传感器数据生成方法，将同步的图像数据预先处理成扩展帧，从而，只需要一次调用扩展帧即可获取同步的图像数据，避免了多次调用并比对不同的图像数据，大大提高了图像处理效率。

综上所述，本发明实施例的传感器数据生成方法，将图像传感器同步采集到的至少两帧图像数据，生成数据部分携带有至少两帧图像数据的数据内容的扩展帧，由此，实现了通过扩展帧读取到同步的多帧图像数据，从而实现了无需比对多帧图像数据是否同步，一次调用扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

基于以上实施例，应当理解的是，在实际图像处理中，除了需要图像数据的图像数据内容之外，还需要图像数据的数据属性信息，以便于对扩展帧进行标记、对图像数据进行对齐、形成完整平滑的画面等，因此，本发明实施例中的扩展帧，应当还包含图像数据的其他信息。

具体地，图4是根据本发明另一个实施例的传感器数据的生成方法的流程图，如图4所示，该方法包括：

S201，获取图像传感器同步采集到的至少两帧图像数据。

举例而言，通过RGBD相机中的红外传感器获取并计算获得深深度图像，同时，通过RGB相机中的彩色传感器获取彩色图像。

S202，根据至少两帧图像数据的数据属性，生成扩展帧的元数据部分。

其中，图像数据的数据属性信息包括同步采集到至少两帧图像数据的时间戳(比如Timestamp)、至少两帧图像数据的分辨率(比如，对于彩色图像数据，其数据属性信息包括ColorWidth，ColorHeight等彩色图像的分辨率信息，对于深度图像数据，其数据属性信息包括DepthWidth，DepthHeight等深度图像的分辨率信息等)、至少两帧图像数据的数据格式(比如彩色图像数据用YUYV的方式存储，深度图像数据用1mm为单位深度的方式存储)和/或至少两帧图像数据的数据总量(比如字节数等)。

当然，在实际应用中，元数据的信息还可以根据具体应用场景的需要，自行定制，在此不作限制。

S203，根据至少两帧图像数据的数据内容，生成扩展帧的数据部分。

具体地，扩展帧包括元数据部分和数据部分，其中，根据至少两帧图像数据的数据属性，生成扩展帧的元数据部分，根据至少两帧图像数据的数据内容，生成扩展帧的数据部分，由此，扩展帧虽然扩展了原有的图像数据帧的格式，但是，完整携带了原有图像数据帧的信息，可以正常行使原有图像数据帧的功能。

其中，在本发明的一个实施例中，为了便于对扩展帧的管理，避免扩展帧发生混乱或者数据的丢失，扩展帧中的元数据还携带有扩展帧的标识，以标识每个扩展帧，其中，扩展帧的标识包括扩展帧的ID、时间戳等。

基于以上描述，为了形成标准化的操作流程，便于管理，在本发明的一个实施例中，还可对扩展帧中数据内容的具体位置进行确定。

需要说明的是，根据应用场景的不同，确定上述具体位置的确定规则不同，作为一种可能的实现方式，根据至少两帧图像数据的分辨率和数据格式，确定至少两帧图像数据的数据量，比如确定两帧图像数据各占用多少字节，进而，根据至少两帧图像数据的数据量，以及至少两帧图像数据之间的预设排序，确定至少两帧图像数据的数据内容在数据部分中的位置。比如确定出每个图像数据的数据内容在数据部分的起始字节和终止字节等。

举例而言，如图5所示，扩展帧由数据部分和元数据部分组成，其中，元数据部分包括图像数据的数据属性信息和扩展帧的标识信息，数据部分针对图像数据的预设排序为如图5所示的先存储彩色图像，再存储深度图像，根据彩色图像的分辨率ColorWidth，ColorHeight和深度图像的分辨率DepthWidth，DepthHeight，确定出彩色图像和数据图像占用的数据量，以根据该占用的数据量确定出每个图像数据的起始位置和终止位置，即确定出至少两帧图像数据的数据内容在数据部分中的位置。

综上所述，本发明实施例的传感器数据的生成方法，根据至少两帧图像数据的数据属性，生成扩展帧的元数据部分，根据至少两帧图像数据的数据内容，生成扩展帧的数据部分，由此，扩展帧中既包括至少两帧图像数据的属性信息还包括其数据内容，在扩展了图像数据的帧的格式的同时，保留了数据帧的各种信息，保证了图像处理的稳定性。

下面集中在应用于摄像头等传感器数据生成设备与应用层的操作系统等图像处理设备之间的接口侧，描述本发明实施例的传感器数据的传输方法，其中，该传输方法应用于上述接口等。

图6是根据本发明一个实施例的传感器数据的传输方法的流程图。如图6所示，该方法包括：

S301，获取扩展帧。

其中，扩展帧是采用上述实施例描述的传感器数据的生成方法生成的，该扩展帧的数据部分包括同步采集的至少两帧图像数据的数据内容。

S302，将扩展帧插入创建的视频流中。

S303，传输视频流。

具体地，在进行图像处理的过程中，从创建的对应的视频流中获取对应的图像，比如，从视频流中获取彩色图像和深度图像等，在本发明的实施例中，将扩展帧插入到创建的视频流中，并传输视频流，从而，可在图像处理的过程中，通过一次调用视频流中的扩展帧，即可获取同步的至少两帧的图像数据的数据内容等，大大提高了图像处理效率。

需要说明的是，根据应用场景的不同，可采用不同的方式将扩展帧插入创建的视频流中，比如，可以根据扩展帧的占用字节数，在视频流中确定起始字节位置和终止字节位置，并根据起始字节位置和终止字节位置插入扩展帧。

综上所述，本发明实施例的传感器数据的传输方法，在创建的视频流中，插入包含同步采集的至少两个图像数据的数据内容的扩展帧，以便于对视频流中的扩展帧的一次调用，即可获取同步的至少两个图像数据的数据内容等，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

下面集中在应用于应用层的操作系统等图像处理设备的传感器数据的处理方法侧，描述本发明。

图7是根据本发明一个实施例的传感器数据的处理方法的流程图，如图7所示，该方法包括：

S401，获取扩展帧。

其中，扩展帧是获取图像传感器同步采集到的至少两帧图像数据之后，根据至少两帧图像数据生成的，其生成的具体过程参照结合图1-图5描述的实施例，在此不再赘述。

在本发明的一个实施例中，调用视频流接口，以获取视频流，并从视频流中获取扩展帧。其中，视频流是采用结合图7描述的传感器数据的传输方法传输的。

S402，对扩展帧进行解析，得到扩展帧的数据部分所携带的至少两帧图像数据的数据内容。

在本发明的一个实施例中，如果至少两帧图像数据中的一帧为深度图像，另一帧为彩色图像，则对扩展帧进行解析，得到扩展帧的数据部分所携带的至少两帧图像数据的数据内容，为深度图像和所述彩色图像的数据内容，进而，根据深度图像和彩色图像的数据内容，进行图像处理，比如进行3D合成生成彩色点云数据等。

需要说明的是，根据具体应用场景的不同，可采用不同的方式，对扩展帧进行解析，以得到扩展帧的数据部分所携带的至少两帧图像数据的数据内容。

第一种示例：

由于扩展帧的数据内容部分携带有至少两帧图像数据的数据内容，因而，可以识别扩展帧的数据部分的位置，并从扩展帧的数据部分的对应位置，分别读取扩展帧的数据部分所携带的至少两帧图像数据的数据内容。

其中，在本示例中，根据具体应用场景的不同，可采用不同的方式识别扩展帧的数据部分的位置，作为一种可能的实现方式，可以读取扩展帧的元数据部分，根据元数据部分所携带的至少两帧图像数据的数据属性，确定位置，其中，数据属性包括同步采集到至少两帧图像数据的时间戳、至少两帧图像数据的分辨率、至少两帧图像数据的数据格式和/或至少两帧图像数据的数据量。比如，至少两帧图像数据的数据格式分别为YUYV格式和1mm为单位深度格式，至少两帧图像数据的数据量均为128个字节，则分别识别出格式为YUYV格式的连续128个字节和1mm为单位深度格式的连续128个字节分别作为扩展帧的数据部分的位置。

作为另一种可能的实现方式，根据至少两帧图像数据的分辨率和数据格式，确定至少两帧图像数据的数据量，根据至少两帧图像数据的数据量，以及至少两帧图像数据的预设排序，确定位置，比如，当同步采集的为两帧图像数据A和B时，根据至少两帧图像数据的分辨率和数据格式，确定图像数据A的数据量为128字节，图像数据B的数据量为128字节，两帧图像数据的预设排序为在扩展帧的最上部，则识别出扩展帧的前128个字节为图像数据A的数据内容所在位置，扩展帧的第129-256个字节为图像数据B的数据内容所在位置。

第二种示例：

在本示例中，扩展帧包括数据部分和元数据部分，其中，元数据部分包括起始标识和结束标识，则如图8所示，识别出上一个扩展帧的结束标识，以及下一个扩展帧的起始标识，从而，将上一个扩展帧的结束标识，以及当前扩展帧的起始标识的中间确定为当前扩展帧的数据部分。

为了更加清楚的说明，本发明实施例中传感器数据处理方法相对于现有技术的效果，下面以应用在OpenNI库的应用场景下为例进行比对说明。

其中，在本示例中，获取的图像数据是两帧，分别为深度图像和彩色图像。

如图9(a)所示，在现有技术中，通过相应的代码打开深度图像视频流(VideoStream depth)和彩色图像视频流(VideoStream color)，进而，通过调用相应的软件调用接口，获取一帧深度图像数据，进而，通过调用相应的软件调用接口，获取一帧彩色图像数据，进而，在获取了深度图像数据和彩色图像数据之后，对比二者的时间标识，比如对比二者的时间戳信息，确定二者在时间上是否同步，如果同步，则将两个图像数据组合在一起，如果二者不同步，则需要再次调用并匹配相关图像数据。

如图9(b)所示，在本发明的实施例中，采用相关的代码调用软件接口，打开扩展帧所在视频流，从而，调用一次扩展帧即可获取同步的深度图像数据和彩色图像数据。从而，扩展帧扩展了原有的图像数据帧的格式，也改变了原有的软件的接口调用方式，简化了调用的步骤。

由此，本发明实施例的传感器数据的处理方法，通过对获取到的扩展帧的一次解析，可以得到至少两帧同步图像数据的数据内容等，大大提高了图像处理效率。

综上所述，本发明实施例的传感器数据的处理方法，获取扩展帧，并对扩展帧进行解析，得到扩展帧的数据部分所携带的至少两帧图像数据的数据内容。由此，实现了通过对扩展帧解析即可获取到同步的多帧图像数据，从而实现了无需比对多帧图像数据是否同步，一次解析扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

为了实现上述实施例，本发明还提出一种传感器数据的生成装置。

图10是本发明一个实施例的传感器数据的生成装置的结构示意图。

如图10所示，该传感器数据的生成装置包括第一获取模块1100和生成模块1200。

其中，第一获取模块1100，用于获取图像传感器同步采集到的至少两帧图像数据。

在本发明的一个实施例中，至少两帧图像数据中的一帧为深度图像，另一帧为彩色图像，第一获取模块1100用于从深度传感器获取所述深度图像，和/或，从彩色传感器获取彩色图像。

生成模块1200，用于根据至少两帧图像数据，生成扩展帧，其中，扩展帧的数据部分携带有至少两帧图像数据的数据内容。

需要说明的是，前述对传感器数据的生成方法实施例的解释说明也适用于该实施例的传感器数据的生成装置，其实现原理类似，此处不再赘述。

本发明实施例的传感器数据生成装置，将图像传感器同步采集到的至少两帧图像数据，生成数据部分携带有所述至少两帧图像数据的数据内容的扩展帧，由此，实现了通过扩展帧读取到同步的多帧图像数据，从而实现了无需比对多帧图像数据是否同步，一次调用扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

基于上述实施例，本发明实施例还提供了另一种传感器数据的生成装置的可能的实现方式，图11为本发明另一个实施例的传感器数据的生成装置的结构示意图，在上一实施例的基础上，生成模块1200包括第一确定单元1210和第二确定单元1200。

在本发明的一个实施例中，生成模块1200具体用于根据至少两帧图像数据的数据属性，生成扩展帧的元数据部分，其中，数据属性包括同步采集到至少两帧图像数据的时间戳、至少两帧图像数据的分辨率、至少两帧图像数据的数据格式和/或至少两帧图像数据的数据总量。

其中，在本发明的一个实施例中，扩展帧的元数据部分还携带有扩展帧的标识。

在本发明的一个实施例中，生成模块1200具体用于根据至少两帧图像数据的数据内容，生成扩展帧的数据部分。

在本实施例中，第一确定单元1210，用于根据至少两帧图像数据的分辨率和数据格式，确定所述至少两帧图像数据的数据量。

第二确定单元1220，用于根据至少两帧图像数据的数据量，以及至少两帧图像数据之间的预设排序，确定至少两帧图像数据的数据内容在数据部分中的位置。

需要说明的是，前述对传感器数据的生成方法实施例的解释说明也适用于该实施例的传感器数据的生成装置，其实现原理类似，此处不再赘述。

综上所述，本发明实施例的传感器数据的生成装置，根据至少两帧图像数据的数据属性，生成扩展帧的元数据部分，根据至少两帧图像数据的数据内容，生成扩展帧的数据部分，由此，扩展帧中既包括至少两帧图像数据的属性信息还包括其数据内容，在扩展了图像数据的帧的格式的同时，保留了数据帧的各种信息，保证了图像处理的稳定性。

为了实现上述实施例，本发明还提出了一个传感器数据的传输装置，图12是根据本发明一个实施例的传感器数据的传输装置的结构示意图，如图12所示，该装置包括：第二获取模块2100、插入模块2200和传输模块2300。

其中，第二获取模块2100，用于获取扩展帧，其中，扩展帧是上述实施例描述的传感器数据的生成方法生成的。

插入模块2200，用于将扩展帧插入创建的视频流中。

传输模块2300，用于传输视频流。

需要说明的是，前述对传感器数据的传输方法实施例的解释说明也适用于该实施例的传感器数据的传输装置，其实现原理类似，此处不再赘述。

综上所述，本发明实施例的传感器数据的传输装置，在创建的视频流中，插入包含同步采集的至少两个图像数据的数据内容的扩展帧，以便于对视频流中的扩展帧的一次调用，即可获取同步的至少两个图像数据的数据内容等，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

为了实现上述实施例，本发明还提出了一个传感器数据的处理装置，图13是根据本发明第一个实施例的传感器数据的处理装置的结构示意图，如图13所示，该装置包括：第三获取模块3100和解析模块3200。

其中，第三获取模块3100，用于获取扩展帧。

在本发明的一个实施例中，如图14所示的根据本发明第二个实施例的传感器数据的处理装置的结构示意图，在如图13所示的基础上，该装置还包括调用模块3300，其中，调用模块3300，用于调用视频流接口，以获取视频流，其中，视频流是采用上述传感器数据的传输方法传输的。

进而，第三获取模块3100，还用于从视频流中获取扩展帧。

其中，扩展帧是传感器数据的生成装置获取图像传感器同步采集到的至少两帧图像数据之后，根据至少两帧图像数据生成的。

解析模块3200，用于对扩展帧进行解析，得到扩展帧的数据部分所携带的至少两帧图像数据的数据内容。

在本发明的一个实施例中，至少两帧图像数据中的一帧为深度图像，另一帧为彩色图像，如图15所示的根据本发明第三个实施例的传感器数据的处理装置的结构示意图，该传感器数据的处理装置还包括处理模块3400，处理模块3400用于根据深度图像和所述彩色图像的数据内容，进行图像处理。

在本发明的一个实施例中，解析模块3200具体用于从扩展帧的数据部分的对应位置，分别读取扩展帧的数据部分所携带的至少两帧图像数据的数据内容。

图16是根据本发明第四个实施例的传感器数据的处理装置的结构示意图，如图16所示，在如图13所示的基础上，解析模块3200包括读取单元3210和第三确定单元3220。

其中，读取单元3210，用于读取扩展帧的元数据部分。

第三确定单元3220，用于根据元数据部分所携带的至少两帧图像数据的数据属性，确定位置。

其中，数据属性包括同步采集到至少两帧图像数据的时间戳、至少两帧图像数据的分辨率、至少两帧图像数据的数据格式和/或至少两帧图像数据的数据量。

在本发明的一个实施例中，数据属性包括至少两帧图像数据的分辨率和数据格式，如图17所示的根据本发明第五个实施例的传感器数据的处理装置的结构示意图，第三确定单元3220包括：第一确定子单元3221和第二确定子单元3222。

其中，第一确定子单元3221，用于根据至少两帧图像数据的分辨率和数据格式，确定至少两帧图像数据的数据量。

第二确定子单元3222，用于根据至少两帧图像数据的数据量，以及至少两帧图像数据的预设排序，确定位置。

需要说明的是，前述对传感器数据的处理方法实施例的解释说明也适用于该实施例的传感器数据的处理装置，其实现原理类似，此处不再赘述。

综上所述，本发明实施例的传感器数据的处理装置，获取扩展帧，并对扩展帧进行解析，得到扩展帧的数据部分所携带的至少两帧图像数据的数据内容。由此，实现了通过对扩展帧解析即可获取到同步的多帧图像数据，从而实现了无需比对多帧图像数据是否同步，一次解析扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

为了实现上述实施例，本发明还提出了一种传感器数据的处理系统，图18是根据本发明一个实施例的传感器数据的处理系统的结构示意图，如图18所示，该系统包括传感器数据的生成装置1000、传感器数据的传输装置2000和传感器数据的处理装置3000。

需要说明的是，前述对传感器数据的生成方法实施例的解释说明也适用于该实施例的传感器数据的生成装置，前述对传感器数据的传输方法实施例的解释说明也适用于该实施例的传感器数据的传输装置，前述对传感器数据的处理方法实施例的解释说明也适用于该实施例的传感器数据的处理装置，其实现原理类似，此处不再赘述。

综上所述，本发明实施例的传感器数据的处理系统，实现了无需比对多帧图像数据是否同步，一次调用扩展帧即可获取同步的多帧图像数据，减少多次图像数据传输的额外开销，提高传输效率，进而提高了图像处理效率。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种传感器数据的生成方法，其特征在于，包括以下步骤：

获取图像传感器同步采集到的至少两帧图像数据；

根据所述至少两帧图像数据，生成扩展帧，其中，所述扩展帧的数据部分携带有所述至少两帧图像数据的数据内容。

2.根据权利要求1所述的生成方法，其特征在于，所述生成扩展帧，包括：

根据所述至少两帧图像数据的数据属性，生成所述扩展帧的元数据部分；

其中，所述数据属性包括：

同步采集到所述至少两帧图像数据的时间戳、所述至少两帧图像数据的分辨率、所述至少两帧图像数据的数据格式和/或所述至少两帧图像数据的数据总量。

3.根据权利要求2所述的生成方法，其特征在于，所述扩展帧的元数据部分还携带有所述扩展帧的标识。

4.根据权利要求1-3任一项所述的生成方法，其特征在于，所述生成扩展帧，包括：

根据所述至少两帧图像数据的数据内容，生成所述扩展帧的数据部分。

5.根据权利要求4所述的生成方法，其特征在于，所述根据所述至少两帧图像数据的数据内容，生成所述扩展帧的数据部分之前，还包括：

根据所述至少两帧图像数据的分辨率和数据格式，确定所述至少两帧图像数据的数据量；

根据所述至少两帧图像数据的数据量，以及所述至少两帧图像数据之间的预设排序，确定所述至少两帧图像数据的数据内容在所述数据部分中的位置。

6.一种传感器数据的传输方法，其特征在于，所述方法包括：

获取扩展帧；其中，所述扩展帧是采用如权利要求1-5任一项所述的生成方法生成的；

将所述扩展帧插入创建的视频流中；

传输所述视频流。

7.一种传感器数据的处理方法，其特征在于，所述方法包括：

获取扩展帧；其中，所述扩展帧是获取图像传感器同步采集到的至少两帧图像数据之后，根据所述至少两帧图像数据生成的；

对所述扩展帧进行解析，得到所述扩展帧的数据部分所携带的至少两帧图像数据的数据内容。

8.一种传感器数据的生成装置，其特征在于，包括：

第一获取模块，用于获取图像传感器同步采集到的至少两帧图像数据；

生成模块，用于根据所述至少两帧图像数据，生成扩展帧，其中，所述扩展帧的数据部分携带有所述至少两帧图像数据的数据内容。

9.一种传感器数据的传输装置，其特征在于，包括：

第二获取模块，用于获取扩展帧；其中，所述扩展帧是采用如权利要求1-5任一项所述的生成方法生成的；

插入模块，用于将所述扩展帧插入创建的视频流中；

传输模块，用于传输所述视频流。

10.一种传感器数据的处理装置，其特征在于，包括：

第三获取模块，用于获取扩展帧；其中，所述扩展帧是传感器数据的生成装置获取图像传感器同步采集到的至少两帧图像数据之后，根据所述至少两帧图像数据生成的；

解析模块，用于对所述扩展帧进行解析，得到所述扩展帧的数据部分所携带的至少两帧图像数据的数据内容。