CN112735141A - 视频数据处理方法和装置 - Google Patents

Abstract

本申请涉及一种视频数据处理方法和装置，其中，该视频数据处理方法包括：协处理器生成控制信号并发送至图像传感器；所述控制信号至少包括曝光参数、增益参数以及分类标识；所述图像传感器根据所述控制信号采集图像数据并对所述图像数据配置对应的分类标识，将包括所述分类标识的图像数据发送至处理器；所述处理器接收所述图像数据，根据所述图像数据的所述分类标识对所述图像数据进行分类和处理。通过本申请，解决了采用FPGA协助进行图像快门数据分类，对FPGA的选型要求较高的问题，实现了采用普通FPGA即可实现图像快门数据分类的效果。

Description

视频数据处理方法和装置

技术领域

本申请涉及智能交通领域，特别是涉及视频数据处理方法和装置。

背景技术

在智能交通领域，目前普遍采用的抓拍方案为双快门或三快门抓拍方案。不同的图像快门模式用于根据实际需求采集不同品质的图像数据。例如：视频快门模式数据用于普通视频监控；抓拍快门模式数据用于违法取证；图片快门模式数据用于车辆的识别与跟踪。因此，需要对图像传感器采集的图像数据进行分类。现有的抓拍方案中通过FPGA输出控制时序，控制图像传感器sensor输出图像数据。同时FPGA采集sensor输出的图像数据，在FPGA内部叠加上抓拍信息后输出给处理器CPU，CPU采集到带有抓拍信息的图像后根据抓拍信息进行相应的处理。

MIPI(移动行业处理器接口)是Mobile Industry Processor Interface的缩写。MIPI是MIPI联盟发起的为移动应用处理器指定的开放标准。MIPI CSI-2协议是MIPI联盟协议的子协议，专门针对摄像头芯片的接口而设计，由于其高速、低功耗的特点，MIPI CSI-2协议极大的支持了高清摄像头领域的发展。MIPI CSI-2接口应用非常广泛，逐步成为sensor传感器的通用输出接口标准。

在智能交通领域，违法取证设备需要严格的时序控制，以便实现图像快门模式分类。在多快门图像采集设备中需要采用协处理器生成相关的控制时序，实现工频同步、抓拍以及抓拍信息同步等功能进而协助处理器实现图像数据的分类。然而，随着sensor输出图像的分辨率和帧率不断提高，对选用的FPGA的运行频率、逻辑单元数目、管脚数量等核心参数有很高的要求，因此FPGA的选型局限性较大。

目前针对相关技术中采用FPGA协助进行图像快门数据分类，对FPGA的选型要求较高的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种视频数据处理方法和装置，以至少解决相关技术中采用FPGA协助进行图像快门数据分类，FPGA的选型要求较高的问题。

第一方面，本申请实施例提供了一种视频数据处理方法，包括：

协处理器生成控制信号并发送至图像传感器；所述控制信号至少包括曝光参数、增益参数以及分类标识；

所述图像传感器根据所述控制信号采集图像数据并对所述图像数据配置对应的分类标识，将包括所述分类标识的图像数据发送至处理器；

所述处理器接收所述图像数据，根据所述图像数据的所述分类标识对所述图像数据进行分类和处理。

在其中一个实施例中，所述协处理器生成控制信号并发送至图像传感器之前包括：所述处理器生成主控信号，所述主控信号用于控制所述协处理器生成控制信号；所述主控信号通过低速通信接口发送至所述协处理器。

在其中一个实施例中，所述图像传感器根据所述控制信号采集图像数据并对所述图像数据配置对应的分类标识包括：所述图像传感器根据所述控制信号采集图像数据；基于MIPI-CSI2协议以及所述控制信号，对所述图像数据进行分类；对分类后的所述图像数据配置对应的分类标识。

在其中一个实施例中，所述对分类后的所述图像数据配置对应的分类标识包括：基于所述MIPI-CSI2协议以及所述图像数据生成数据包；所述数据包包括所述图像数据以及所述分类标识。

在其中一个实施例中，所述根据所述图像数据的所述分类标识对所述图像数据进行分类和处理包括：根据所述分类标识，将所述图像数据分为视频快门模式数据、图片快门模式数据以及抓拍快门模式中的一种或多种；将分类后的所述图像数据分别进行处理。

在其中一个实施例中，所述将分类后的所述图像数据分别进行处理包括：将所述视频快门模式数据进行编码显示；基于所述图片快门模式数据对所述图片快门模式数据中的车辆进行跟踪与识别；将所述抓拍快门模式数据存储至存储装置。

在其中一个实施例中，所述图像传感器与所述处理器通过高速数据接口连接，所述高速数据接口包括MIPI CSI-2接口。

在其中一个实施例中，所述分类标识为虚拟通道信息。

在其中一个实施例中，所述协处理器为可编程逻辑列阵器件或复杂可编程逻辑器件。

第二方面，本申请实施例提供了一种视频数据处理装置，所述视频数据处理装置用于实现如上述第一方面任一实施例所述的视频数据处理方法，包括：协处理器、图像传感器、高速数据接口以及处理器；所述协处理器与所述图像传感器连接，所述图像传感器与所述处理器连接，所述处理器通过所述协处理器连接；

所述协处理器，用于生成控制信号并发送至图像传感器，所述控制信号至少包括曝光参数、增益参数以及分类标识；

所述图像传感器，用于根据所述控制信号采集图像数据并对所述图像数据配置对应的分类标识，将包括所述分类标识的图像数据发送至处理器；

所述处理器，用于接收所述图像数据，根据所述图像数据的所述分类标识对所述图像数据进行分类和处理。

相比于相关技术，本申请实施例提供的视频数据处理方法，通过协处理器生成控制信号并发送至图像传感器；所述图像传感器根据所述控制信号采集图像数据，所述图像数据包含曝光参数以及增益参数；高速数据接口接收所述图像数据，根据所述图像数据的曝光参数以及增益参数生成分类标识，并将包括所述分类标识的图像数据发送至处理器；所述处理器接收所述图像数据，根据所述图像数据的所述分类标识对所述图像数据进行分类和处理，解决了采用FPGA协助进行图像快门数据分类，对FPGA的选型要求较高的问题，实现了采用普通FPGA即可实现图像快门数据分类的效果。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据相关技术的多快门抓拍方案示意图；

图2是根据相关技术的优选多快门抓拍方案示意图；

图3是根据本申请实施例的视频数据处理方法的流程图；

图4是根据本申请实施例的MIPI数据包结构示意图；

图5是根据本申请实施例的数据标识的结构示意图；

图6是虚拟通道的时序交织视频流的示意图；

图7是根据本申请实施例的视频数据处理方法的流程结构示意图；

图8是根据本申请实施例的图像数据分发示意图；

图9是根据本申请实施例的视频数据处理装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

随着智能交通技术的发展，双快门或三快门的抓拍方案被广泛应用。图1是根据相关技术的多快门抓拍方案示意图，如图1所示，CPU通过低速通信接口发送主控信号至协处理器，协处理器通过辅助设备控制接口与辅助设备连接，协处理器收到主控信号后生成控制信号并发送至图像传感器sensor，图1中VF表示sensor配置的对应输出接口模式的图像帧。S表示视频快门模式数据，主要用作视频监控；T表示图片快门模式数据，提供给智能算法模块，用作目标跟踪与识别；TM表示抓拍快门模式数据，提供给抓拍模块，用作图片取证；S_i表示携带视频快门模式指示信息的sensor数据；T_i表示携带图片快门模式指示信息的sensor数据；TM_i携带抓拍快门模式指示信息的sensor数据；协处理器采集到sensor输出的图像数据，在设定位置使用帧类型标示模块添加当前图像快门模式信息以及抓拍信息，并输出给CPU，CPU采集到带有附加信息的图像后根据信息分类进行相应的处理。DataAnalyze Distribute Center为数据分析与分配中心，是CPU内部实现的功能模块，简称DADC。DADC将获取到的视频数据按照配套的多快门帧嵌入信息进行分类和图像视频处理，进而将处理好的视频数据送给CPU下一级模块。然而，在该方案中协处理器(一般是FPGA)要完成sensor的驱动与实时曝光、增益控制，sensor数据的采集，sensor图像视频快门模式信息的叠加以及叠加后的图像数据输出。随着sensor输出图像的分辨率和帧率不断提高，对选用的FPGA的运行频率、逻辑单元数目、管脚数量等核心参数有很高的要求，因此FPGA的选型局限性较大。

图2是根据相关技术的优选多快门抓拍方案示意图，如图2所示，在此方案中，使用协处理器实时控制sensor的驱动与曝光、增益控制以及外围组件，比如外同步信号、频爆闪灯的处理，但是协处理器不再采集sensor数据，sensor采集的图像数据直接传递给CPU，协处理器与CPU之间保留高速视频接口传递图像快门模式信息数据，该图像快门模式信息数据为协处理器产生的图片帧信息、视频帧信息以及抓拍帧信息，CPU可将帧同步信息数据与sensor传输过来的图像数据进行叠加，进而实现图像数据的分类。然而，由于协处理器需要向后续CPU传递图像快门模式信息数据，因此对协处理器的管教数量需求依然较高；其次，目前CPU与协处理器的数据交互一般使用LVDS、MIPI CSI-2等高速信号模式，LVDS为低电压差分信号，这也就意味着对协处理器的性能要求依然较高，因为协处理器需要将待传输的带有图像快门模式数据转换为这些高速信号，这些高速信号的转换对FPGA的时钟资源、逻辑资源、IP资源有要求，要求越多，意味着FPGA的选型的范围较窄。此外，使用协处理器向CPU传递带有图像快门模式信息的数据，意味着后续CPU需要专门的处理模块对这一路的数据进行存储、处理，给后续CPU带来了额外的性能开销。并且，采用该方案对sensor数据进行图像快门模式分类时，协处理器传递给CPU的图像快门模式信息与CPU采集到的sensor数据之间同一帧匹配要求两者之间不能超过1/2的帧间隔。事实上，由于控制器软件调度可能出现问题，有可能导致由sensor传给CPU的数据与FPGA传给CPU的帧同步数据出现大于1/2帧的延迟，一旦出现延迟，控制器获取到的抓拍帧快门模式数据并不是实际触发sensor抓拍的图像数据。因此，目前相关技术的多快门智能抓拍方案扔对协处理器的性能提出了较高要求，从而导致了协处理器的选型的局限性。

本实施例还提供了一种视频数据处理方法。图3是根据本申请实施例的视频数据处理方法的流程图，如图3所示，该流程包括如下步骤：

步骤S301，协处理器生成控制信号并发送至图像传感器。

具体的，所述控制信号至少包括曝光参数、增益参数以及分类标识。协处理器FPGA与图像传感器通过低速通信接口连接。协处理器生成行/场同步信号并发送至图像传感器，触发图像传感器采集图像数据例如抓拍、录制视频等等，该行/场同步信号即为控制信号。

在其中一个实施例中，所述协处理器生成控制信号并发送至图像传感器之前包括：所述处理器生成主控信号，所述主控信号用于控制所述协处理器生成控制信号；所述主控信号通过低速通信接口发送至所述协处理器。具体的，协处理器生成控制信号控制sensor采集图像数据，当CPU生成主控信号更改sensor的曝光时间和增益参数时，CPU将主控信号传输至协处理器，协处理器根据主控信号生成同步触发信号并发送至sensor，控制sensor切换图像快门模式采集CPU指定的图像数据。

步骤S302，所述图像传感器根据所述控制信号采集图像数据并对所述图像数据配置对应的分类标识，将包括所述分类标识的图像数据发送至处理器。

在其中一个实施例中，所述图像传感器根据所述控制信号采集图像数据并对所述图像数据配置对应的分类标识包括：所述图像传感器根据所述控制信号采集图像数据；基于MIPI-CSI2协议以及所述控制信号，对所述图像数据进行分类；对分类后的所述图像数据配置对应的分类标识。具体的，在智能交通行业应用中，既要实现智能分析应用，又要实现普通监控录像，一般智能应用需要分析场景中移动物体信息，相机的曝光要做限制，比如快门时间小于5ms，为了保证分析场景噪声在一定范围内，增益也要进行限制，比如增益小于18db。然而对于普通的视频监控录像，一般需要保证夜景场景足够亮，设置相机的最大曝光时间和最大增益满足需求。因此要采集图片快门模式数据、视频快门模式数据以及抓拍快门模式数据，通过调整sensor的曝光参数以及增益参数，即可获取多种图像快门模式的图像数据。数据分类是在sensor传感器内部实现的，MIPI-CSI2接口作为一种主流的视频传输接口普遍存在与当前的sensor传感器中。sensor传感器作为一种芯片，有能力在接收到协处理器的控制信号后，根据协处理器在配置曝光参数和增益参数等图像采集参数时，实时的配置MIPI的虚拟通道信息，从而使得每一帧的虚拟通道信息与该图像的快门模式匹配。

在其中一个实施例中，所述对分类后的所述图像数据配置对应的分类标识包括：基于所述MIPI-CSI2协议以及所述图像数据生成数据包；所述数据包包括所述图像数据以及所述分类标识。具体的，sensor传感器基于MIPI-CSI2协议将图像数据组装成数据包。按数据包的长度可以将数据包分为长数据包和短数据包，图4是根据本申请实施例的MIPI数据包结构示意图，如图4所示，图中的展示了长数据包和短数据包的结构示意图，其中LongPacket表示长数据包，Short Packet表示短数据包。Packet Header表示包头，Packet Data表示数据包中的数据部分，Packet Footer表示包尾；LPS是Low Power State的简写，表示低功耗文件；SOT是Start of Transmission的简写，表示起始传输；EOT是End ofTransmission的简写，表示传输结束。根据图片数据的曝光参数以及增益参数的不同，sensor采集的图像数据可以分为视频快门模式信息、图片快门模式信息以及抓拍快门模式信息。sensor采集的图像数据为YUV格式的数据，经过MIPICSI-2接口，通过数据包的形式传输至CPU。根据图像数据曝光参数和增益参数的不同，在传输是将图像快门模式信息嵌入数据包的数据标识DI中。数据标识DI可以用来区分不同的数据包类型。DI包含两部分，分别是虚拟通道(Virtual Channel，简称VC)和数据类型(Data ID)，用来区分不同的数据包类型。图5是根据本申请实施例的数据标识的结构示意图，如图5所示，Data Indentifier Byte表示数据标识DI的字节。DI长度为1个字节，其中VC占字节的高2bit，DT占字节低6bit。由于MIPI CSI-2数据标识的虚拟通道占2个bit，因此可以表示4种类型的数据，例如，将虚拟通道为0时表示视频快门模式，虚拟通道为1时表为图片快门模式，虚拟通道为2时表示抓拍快门模式。

步骤S303，所述处理器接收所述图像数据，根据所述图像数据的所述分类标识对所述图像数据进行分类和处理。

在其中一个实施例中，所述根据所述图像数据的所述分类标识对所述图像数据进行分类和处理包括：根据所述分类标识，将所述图像数据分为视频快门模式数据、图片快门模式数据以及抓拍快门模式中的一种或多种；将分类后的所述图像数据分别进行处理。具体的，图7是根据本申请实施例的视频数据处理方法的流程结构示意图，如图7所示，CPU在“端口1”采集到sensor生成的VF_S_i、VF_T_i、VF_S_i、VF_T_i、VF_TM_i、(该处的S\T\TM对应的参数是作用在sensor上的，尤其包括曝光、增益等参数)；VF表示sensor配置为MIPICSI-2的输出接口模式的图像帧。S表示视频快门模式数据，主要用作视频监控；T表示图片快门模式数据，提供给智能算法模块，用作目标跟踪与识别；TM表示抓拍快门模式数据，提供给抓拍模块，用作图片取证；S_i表示携带视频快门模式指示信息的sensor数据；T_i表示携带图片快门模式指示信息的sensor数据；TM_i携带抓拍快门模式指示信息的sensor数据；当配置给sensor三种不同曝光模式的虚拟通道值存在差异时，可以利用这个差异能被CPU中的图像信号处理器获取的特点，对图片的模式进行分类。比如配置视频快门模式数据的虚拟通道VC为0，图片快门模式数据的虚拟通道VC为1，抓拍快门模式数据的虚拟通道VC为2。数据分析与分配中心模块在指定位置获取到数据标识虚拟通道VC后，分析当前数据帧的虚拟通道VC值是0、1还是2，这样就可以完成对当前图像帧是视频快门模式数据、图片快门模式数据还是抓拍快门模式数据的分类。

在其中一个实施例中，所述将分类后的所述图像数据分别进行处理包括：将所述视频快门模式数据进行编码显示；基于所述图片快门模式数据对所述图片快门模式数据中的车辆进行跟踪与识别；将所述抓拍快门模式数据存储至存储装置。具体的，图8是根据本申请实施例的图像数据分发示意图；如图8所示，CPU将接收到图像数据根据虚拟通道的差异进行分类和识别，并根据预先设置的信道配置，将不同图像快门模式的数据分发至CPU后续数字视频处理模块(ISP)处理。比如最终VF_S(视频快门模式数据)送给编码显示模块进行编码，在显示器端进行显示；VF_T(图片快门模式数据)送给智能算法模块，该模块可以对图片中的车辆和车牌进行识别，并通过车辆跟踪系统对图片中的车辆进行跟踪；VF_TM(抓拍快门模式数据)送给取证上图模块，该模块可以将抓拍到的图片存储到相应位置，便于后续的调查取证工作。

在其中一个实施例中，所述图像传感器与所述处理器通过高速数据接口连接，所述高速数据接口包括MIPI CSI-2接口。具体的，由于支持MIPI CSI-2接口的Sensor输出图像数据本身就带有分类信息，无需FPGA向CPU传递带有图像快门模式信息数据，意味着后续CPU不需要专门的处理模块对这一路的数据进行存储、处理，减轻了CPU的性能开销。由于sensor输出的图像数据本身就带有分类信息，因此采用MIPI CSI-2接口也解决了当控制器软件调度出现异常时，控制器获取到的抓拍帧快门模式数据并不是实际触发sensor抓拍的图像数据的问题。

在其中一个实施例中，所述分类标识为虚拟通道信息。具体的，CSI-2接口通过不同的虚拟通道(VC)和数据类型标志不同的数据流，典型应用是在JPEG数据流中穿插着YUV缩略图数据流。图6是虚拟通道的时序交织视频流的示意图。如图6所示，不同的虚拟通道一般指定的不同的数据格式，比如RGB666、YUV422或JPEG8，虚拟通道的含义由用户自定义。本申请实施例中传感器sensor采集的图像数据为Bayer格式的RAW数据，根据虚拟通道对图像快门模式信息进行标识。MIPI CSI-2数据标识(DI)虚拟通道(VC)占2个bit，可以表示4种类型的数据。例如，将虚拟通道(VC)为0时表示视频快门模式，虚拟通道(VC)为1时表为图片快门模式，虚拟通道(VC)为2时表示抓拍快门模式。

在其中一个实施例中，所述协处理器为可编程逻辑列阵器件或复杂可编程逻辑器件。具体的，协处理器可以选用普通国产FPGA或CDLD。

通过上述步骤，本申请采用的视频数据处理方法，摒弃了FPGA与CPU之间的高速数据接口，不仅减少了FPGA的管脚使用也减少了逻辑资源的消耗，降低了FPGA的性能要求。由于协处理器不再采集sensor传感器的数据，也无需设定位置使用帧类型标示模块添加当前图像快门模式信息以及抓拍信息，与CPU之间也不再用高速信号接口传递带有帧标记指示信息的数据，在协处理器内部只用实时的控制sensor的驱动与曝光、增益控制以及外围组件(比如外同步信号、频爆闪灯)的处理，因此在FPGA内部只用实时的控制sensor的驱动与曝光、增益控制以及外围组件(比如外同步信号、频爆闪灯)的处理，这样的要求一般普通的国产FPGA甚至CPLD均能胜任。解决了采用FPGA协助进行图像快门数据分类，对FPGA的选型要求较高的问题，实现了采用普通FPGA即可实现图像快门数据分类的效果。

此外，由于支持MIPI CSI-2接口的sensor输出图像数据本身就带有分类信息，无需FPGA向CPU传递带有图像快门模式信息数据，意味着后续CPU不需要专门的处理模块对这一路的数据进行存储、处理，减轻了CPU的性能开销。由于sensor输出的图像数据本身就带有分类信息，因此采用本申请的视频数据处理方法也解决了当控制器软件调度出现异常时，控制器获取到的抓拍帧快门模式数据并不是实际触发sensor抓拍的图像数据的问题。相比于现有技术，本申请的技术方案的CPU器件拥有更多的高速接口用来处理更多通路的视频图像。相比现有技术，大大降低了多快门智能抓拍方案的成本并且提高了抓拍性能。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种视频数据处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图9是根据本申请实施例的视频数据处理装置的结构框图，所述视频数据处理装置用于上述任一项实施例所述的视频数据处理方法，如图9所示，该装置包括：协处理器、图像传感器、高速数据接口以及处理器；所述协处理器与所述图像传感器连接，所述图像传感器与所述处理器连接，所述处理器与所述协处理器连接。

所述协处理器10，用于生成控制信号并发送至图像传感器，所述控制信号至少包括曝光参数、增益参数以及分类标识。

所述图像传感器20，用于根据所述控制信号采集图像数据并对所述图像数据配置对应的分类标识，将包括所述分类标识的图像数据发送至处理器。

所述处理器30，用于接收所述图像数据，根据所述图像数据的所述分类标识对所述图像数据进行分类和处理。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频数据处理方法，其特征在于，包括：

协处理器生成控制信号并发送至图像传感器；所述控制信号至少包括曝光参数、增益参数以及分类标识；

所述图像传感器根据所述控制信号采集图像数据并对所述图像数据配置对应的分类标识，将包括所述分类标识的图像数据发送至处理器；

所述处理器接收所述图像数据，根据所述图像数据的所述分类标识对所述图像数据进行分类和处理。

2.根据权利要求1所述的视频数据处理方法，其特征在于，所述协处理器生成控制信号并发送至图像传感器之前包括：

所述处理器生成主控信号，所述主控信号用于控制所述协处理器生成控制信号；

所述主控信号通过低速通信接口发送至所述协处理器。

3.根据权利要求2所述的视频数据处理方法，其特征在于，所述图像传感器根据所述控制信号采集图像数据并对所述图像数据配置对应的分类标识包括：

所述图像传感器根据所述控制信号采集图像数据；

基于MIPI-CSI2协议以及所述控制信号，对所述图像数据进行分类；

对分类后的所述图像数据配置对应的分类标识。

4.根据权利要求3所述的视频数据处理方法，其特征在于，所述对分类后的所述图像数据配置对应的分类标识包括：

基于所述MIPI-CSI2协议以及所述图像数据生成数据包；

所述数据包包括所述图像数据以及所述分类标识。

5.根据权利要求1所述的视频数据处理方法，其特征在于，所述根据所述图像数据的所述分类标识对所述图像数据进行分类和处理包括：

根据所述分类标识，将所述图像数据分为视频快门模式数据、图片快门模式数据以及抓拍快门模式中的一种或多种；

将分类后的所述图像数据分别进行处理。

6.根据权利要求5所述的视频数据处理方法，其特征在于，所述将分类后的所述图像数据分别进行处理包括：

将所述视频快门模式数据进行编码显示；

基于所述图片快门模式数据对所述图片快门模式数据中的车辆进行跟踪与识别；

将所述抓拍快门模式数据存储至存储装置。

7.根据权利要求1所述的视频数据处理方法，其特征在于，所述图像传感器与所述处理器通过高速数据接口连接，所述高速数据接口包括MIPI CSI-2接口。

8.根据权利要求7所述的视频数据处理方法，其特征在于，所述分类标识为虚拟通道信息。

9.根据权利要求1所述的视频数据处理方法，其特征在于，所述协处理器为可编程逻辑列阵器件或复杂可编程逻辑器件。

10.一种视频数据处理装置，所述视频数据处理装置用于执行权利要求1至9中任一项所述的视频数据处理方法，其特征在于，包括：协处理器、图像传感器以及处理器；所述协处理器与所述图像传感器连接，所述图像传感器与所述处理器连接，所述处理器与所述协处理器连接；

所述协处理器，用于生成控制信号并发送至图像传感器，所述控制信号至少包括曝光参数、增益参数以及分类标识；

所述图像传感器，用于根据所述控制信号采集图像数据并对所述图像数据配置对应的分类标识，将包括所述分类标识的图像数据发送至处理器；

所述处理器，用于接收所述图像数据，根据所述图像数据的所述分类标识对所述图像数据进行分类和处理。

Images