CN112291477B - 多媒体信息处理方法、装置、存储介质及电子装置 - Google Patents

Abstract

本发明实施例提供了一种多媒体信息处理方法、装置、存储介质及电子装置，其中，该方法包括：获取多媒体采集设备按照图像采集参数对目标区域进行拍摄后所得到的多媒体信息；基于图像采集参数确定多媒体信息的目标类型；在确定目标类型为图片帧的情况下，对多媒体信息进行抽样处理，以得到目标多媒体信息；将目标多媒体信息发送给目标处理器，以指示目标处理器处理目标多媒体信息。通过本发明，解决了相关技术中存在的图像处理不及时影响抓拍决策，处理的图像冗余，导致目标处理器传输带宽以及计算性能的浪费的问题，减少了目标处理器的采集带宽，降低了传输链路延迟，又减少了智能算法的冗余计算量，加快了抓拍决策。

Description

多媒体信息处理方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种多媒体信息处理方法、装置、存储介质及电子装置。

背景技术

在智能交通领域，普遍采用的抓拍方案叫双快门或三快门。协处理器采集到Sensor(传感器)输出的图像数据，在设定位置添加当前图像快门模式信息以及抓拍信息，输出给CPU(Central Processing Unit，中央处理器)，CPU采集到带有附加信息的图像后根据信息分类进行相应的处理。然而，在相关技术中，CPU无法对携带有附加信息的数据直接进行视频数据处理，而需要从DDR(Double Date Rate，双倍速率同步动态随机存储器)中读取原始数据，在设定位置按照收集到的信息进行图像分类后分别送给不同的图像数据处理模块。这种方案下，图像快门模式数据由于得不到及时的处理，影响了智能算法最终的抓拍决策。

此外，在相关技术中，视频、图片、抓拍模式数据使用同一个传输通道，对于CPU来说同一个通道获取的图像分辨率需保持一致。在利用双快门或三快门中的图片快门模式数据实现目标跟踪与识别时，CPU图像快门通道的数据采集模块通常采用的图片快门模式数据的分辨率与视频快门模式数据、抓拍快门模式数据的分辨率没有区别，因此，CPU图像快门通道的数据采集模块获取到的图像很大一部分都是冗余的，造成了传输带宽以及计算性能的浪费。其中，多媒体信息处理流程图参见附图1。

由此可知，相关技术中存在图像处理不及时影响抓拍决策，处理的图像冗余，导致传输带宽以及计算性能的浪费的问题。

针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种多媒体信息处理方法、装置、存储介质及电子装置，以至少解决相关技术中存在的图像处理不及时影响抓拍决策，处理的图像冗余，导致传输带宽以及计算性能的浪费的问题。

根据本发明的一个实施例，提供了一种多媒体信息处理方法，包括：获取多媒体采集设备按照图像采集参数对目标区域进行拍摄后所得到的多媒体信息；基于所述图像采集参数确定所述多媒体信息的目标类型；在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；将所述目标多媒体信息发送给目标处理器，以指示所述目标处理器处理所述目标多媒体信息。

根据本发明的一个实施例，还提供了一种多媒体信息处理方法，包括：确定多媒体设备采集多媒体信息的图像采集参数；将所述图像采集参数发送给协处理器，以指示所述协处理器执行目标操作，其中，所述目标操作包括：控制多媒体采集设备按照所述图像采集参数对目标区域进行拍摄，基于所述图像采集参数确定获取的多媒体信息的目标类型，在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；接收所述协处理器返回的所述目标多媒体信息，并处理所述目标多媒体信息。

根据本发明的另一个实施例，提供了一种多媒体信息处理装置，包括：获取模块，用于获取多媒体采集设备按照图像采集参数对目标区域进行拍摄后所得到的多媒体信息；第一确定模块，用于基于所述图像采集参数确定所述多媒体信息的目标类型；抽样模块，用于在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；第一发送模块，用于将所述目标多媒体信息发送给目标处理器，以指示所述目标处理器处理所述目标多媒体信息。

根据本发明的另一个实施例，还提供了一种多媒体信息处理装置，包括：第二确定模块，用于确定多媒体设备采集多媒体信息的图像采集参数；第二发送模块，用于将所述图像采集参数发送给协处理器，以指示所述协处理器执行目标操作，其中，所述目标操作包括：控制多媒体采集设备按照所述图像采集参数对目标区域进行拍摄，基于所述图像采集参数确定获取的多媒体信息的目标类型，在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；接收模块，用于接收所述协处理器返回的所述目标多媒体信息，并处理所述目标多媒体信息。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，获取多媒体采集设备按照图像采集参数对目标区域进行拍摄后得到的多媒体信息，根据图像采集参数确定多媒体信息的目标类型，在确定目标类型为图片帧的情况下，对多媒体信息进行抽样处理，以得到目标多媒体信息，将目标多媒体信息发送给目标处理器，以指示目标处理器处理目标多媒体信息。目标处理器无需目标处理器从存储器中读取原始数据，可以及时地对经过抽样处理后的目标多媒体信息进行处理，提高抓拍的效率及准确率，将经过抽样处理的目标多媒体信息发送给目标处理器，节省了传输带宽以及计算性能，因此，可以解决相关技术中存在的图像处理不及时影响抓拍决策，处理的图像冗余，导致目标处理器传输带宽以及计算性能的浪费的问题，减少了目标处理器的采集带宽，降低了传输链路延迟，又减少了智能算法的冗余计算量，加快了抓拍决策。

附图说明

图1是相关技术中多媒体信息处理示意图；

图2是本发明实施例的一种多媒体信息方法的移动终端的硬件结构框图；

图3是根据本发明实施例的多媒体信息方法流程图一；

图4是根据本发明示例性实施例的多媒体信息处理示意图；

图5是根据本发明实施例的多媒体信息方法流程图二；

图6是根据本发明具体实施例的多媒体信息处理流程图；

图7是根据本发明具体实施例的多媒体信息处理结构框图；

图8是根据本发明实施例的多媒体信息处理装置的结构框图一；

图9是根据本发明实施例的多媒体信息处理装置的结构框图二。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图2是本发明实施例的一种多媒体信息方法的移动终端的硬件结构框图。如图2所示，移动终端可以包括一个或多个(图2中仅示出一个)处理器202(处理器202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器204，其中，上述移动终端还可以包括用于通信功能的传输设备206以及输入输出设备208。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

存储器204可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的多媒体信息方法对应的计算机程序，处理器202通过运行存储在存储器204内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器204可进一步包括相对于处理器202远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备206包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备206可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种多媒体信息方法，图3是根据本发明实施例的多媒体信息方法流程图一，如图3所示，该流程包括如下步骤：

步骤S302，获取多媒体采集设备按照图像采集参数对目标区域进行拍摄后所得到的多媒体信息；

步骤S304，基于所述图像采集参数确定所述多媒体信息的目标类型；

步骤S306，在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；

步骤S308，将所述目标多媒体信息发送给目标处理器，以指示所述目标处理器处理所述目标多媒体信息。

在上述实施例中，多媒体采集设备可以是多快门摄像设备，例如，双快门监控摄像头、三快门监控摄像头等，多媒体采集设备可以为传感器类型的采集设备。当多媒体采集设备为传感器类型的采集设备时，图像采集参数可以是用于指示多媒体采集设备如何采集多媒体信息的参数，例如，图像采集参数中可以包括帧率，即指示传感器每秒N帧图像，例如，每秒采集20帧图像(该取值仅是一种示例性的说明，本发明对帧率不做限制，可以根据多媒体采集设备设置的位置、采集的目标对象等确定帧率，例如，还可以取15帧每秒，25帧每秒等)。图像采集参数中还可以包括曝光参数及曝光方式，例如，先曝光2秒采集图像，再曝光5秒采集图像。图像采集参数中还可以包括图像采集控制参数，如抓拍指令、抓拍参数等，即控制多媒体采集设备按照图像采集控制参数抓拍图像。

示例性的，上述步骤的执行主体可以为协处理器。

多媒体采集设备在智能交通应用中工作在被动模式下，图像采集参数的下发完全受协处理器(FPGA方案)的控制。多媒体采集设备参数作用生效时间是固定且可被协处理器获取的，因此，协处理器每帧下发参数给多媒体采集设备后，协处理器是能明确确认该帧参数对应的图像在后续固定时刻被获取采集到的。因此，在协处理器获取到多媒体信息时，可以将多媒体信息与图像采样参数进行匹配。例如，典型的双快门半帧率的应用，在没有抓拍帧的情况下，视频帧与图片帧各占50％，即，图像采集参数中指示多媒体采集设备先采集一帧图片帧，再采集一帧视频帧，然后再采集一帧图片帧，即每隔一帧视频帧采集一帧图片帧，在获取到多媒体信息后，将图像采集参数与多媒体信息进行匹配，可以确定第1帧、3帧、5帧……为图片帧，第2帧、4帧、6帧……为视频帧。即根据多媒体采集设备参数可以确定目标对象的目标类型，其中，目标类型可以为图片帧、抓拍帧、视频帧等。在确定目标类型为图片帧的情况下，将确定出的图片帧进行抽样处理，将经过抽样处理后的图片帧发送给目标处理器。

在上述实施例中，在目标处理器接收到目标多媒体信息后，可以对目标多媒体信息进行预处理。在对目标多媒体信息进行预处理时，可以确定多媒体采集设备所处环境的曝光参数等是否合适，例如，图片太暗，可以认为曝光不足，图片太亮，可以认为曝光过度。因此，在预处理时可以向协处理器下发曝光增益参数，同时，还可以向协处理器下发与辅助设备相关的参数，例如，当辅助设备为补光设备，如补光灯，中央处理器获取到的图片太暗时，可以下发开启补光灯命令；补光灯开启起始时刻与对应的曝光时间有关，可以通过参数设置补光灯开启在曝光起始之前、之后或与曝光起始同时打开，以使多媒体信息采集设备可以采集到优质的图像。

在上述实施例中，目标处理器还可以对经过预处理的目标多媒体信息进行智能分析，在确定目标多媒体信息中包括目标对象时，下发抓拍指令以及抓拍参数，传感器在获取到抓拍指令及抓拍参数时，可以对目标对象进行抓拍，得到抓拍帧，并发送该抓拍帧。

在上述实施例中，在确定多媒体信息为抓拍帧或视频帧的情况下，可以在抓拍帧或视频帧的设定位置添加标识信息，将添加了标识信息的抓拍帧或视频帧发送给目标处理器。目标处理器读取设定位置的标识信息，确定接收到的多媒体信息为抓拍帧还是视频帧，针对不同类型的帧进行不同的处理。例如，当多媒体信息为抓拍帧时，可以对抓拍帧进行取证保存，当多媒体信息为视频帧时，可以对多个视频帧进行编码，显示在显示屏中。

在上述实施例中，图像采集参数可以是预先设置参数，指示多媒体采集设备采集图像，在目标处理器对图像进行处理后，可以对图像采集参数进行更新，即形成新的图像采集参数，以指示多媒体采集设备按照新的图像采集参数采集多媒体信息。

在上述实施例中，多媒体信息处理示意图可参见附图4。图4中的名词解释如下：

视频，多快门方案中，视频快门模式数据主要用作视频监控，后续简称VF_S。

图片，多快门方案中，图片快门模式数据提供给智能算法模块，用作目标跟踪、识别以及抓拍的决策依据，后续简称VF_T。

抓拍，多快门方案中，抓拍快门模式数据用作图片取证，后续简称VF_TM。

视频_i，此处i是英语单词insert的简称，视频_i表示在视频快门模式数据的设定位置添加了标志信息的数据，后续简称VF_S_i。

抓拍_i，此处i是英语单词insert的简称，抓拍_i表示在抓拍快门模式数据的设定位置添加了标志信息的数据，后续简称VF_TM_i。

下采样图片，完成纵向、横向的抽样的图片快门模式数据。

协处理器，可以采用FPGA方案，完成Sensor驱动、配置、视频数据的采集与处理，图像模式信息、抓拍信息的叠加以及叠加后的图像数据输出。

中央处理器(对应于上述目标处理器)，可以采用嵌入式SoC(System on Chip，系统级芯片)方案。

如图4所示，协处理器在“端口1”采集到Sensor生成的VF_S，在设定位置添加当前图像快门模式信息以及抓拍信息(对应于上述标识信息)，生成VF_S_i；VF_S_i包含了VF_S所有的图像内容，并且包括了标识信息，因此，其纵向分辨率比VF_S的大。在生成VF_S_i后，协处理器立即将VF_S_i通过“端口3”发送给中央处理器的“端口2”。协处理器在“端口1”采集到Sensor生成的VF_TM后，在设定位置添加当前图像快门模式信息以及抓拍信息(对应于上述标识信息)，生成VF_TM_i。同理，VF_TM_i包含了VF_TM所有的图像内容，且其的纵向分辨率比VF_TM的大；协处理器在生成VF_TM_i后，立即将VF_TM_i通过“端口3”发送给中央处理器的“端口2”。中央处理器通过“端口2”将采集到的带有标识信息的图像后，根据信息分类进行相应的处理，视频快门模式数据经过视频图像处理后进行编码显示；抓拍快门模式数据经过视频图像处理后进行取证上传，因此，这两种格式的数据无需进行抽样处理。

需要说明的是，协处理器在“端口1”采集到同一个Sensor生成的VF_TM与VF_S、VF_T三者时间上不会出现重叠。

通过本发明，获取多媒体采集设备按照图像采集参数对目标区域进行拍摄后得到的多媒体信息，根据图像采集参数确定多媒体信息的目标类型，在确定目标类型为图片帧的情况下，对多媒体信息进行抽样处理，以得到目标多媒体信息，将目标多媒体信息发送给目标处理器，以指示目标处理器处理目标多媒体信息。目标处理器无需目标处理器从存储器中读取原始数据，可以及时地对经过抽样处理后的目标多媒体信息进行处理，提高抓拍的效率及准确率，将经过抽样处理的目标多媒体信息发送给目标处理器，节省了传输带宽以及计算性能，因此，可以解决相关技术中存在的图像处理不及时影响抓拍决策，处理的图像冗余，导致传输带宽以及计算性能的浪费的问题，达到及时处理多媒体信息、提高抓拍的效率及准确率、节省传输带宽及计算性能的效果。

在一个示例性实施例中，对所述多媒体信息进行抽样处理，以得到目标多媒体信息包括：按照预设的抽样方式对所述多媒体信息进行抽样处理，以得到所述目标多媒体信息；或者，按照预先接收到的来自所述目标处理器的抽样指令对所述多媒体信息进行抽样，以得到所述目标多媒体信息。在本实施例中，协处理器在“端口1”采集到Sensor生成的VF_T后，可以按照预定的抽样方式对图片帧进行抽样，或者根据中央处理器的抽样指令对VF_T进行纵向、横向的抽样，生成VF_T_Sub。对VF_T的抽样可以减少中央处理器内智能算法模块获取图像的冗余信息，达到减少智能算法模块计算性能的开销以及降低协处理器与后续中央处理器间的传输带宽的目的。其中，带宽节省是由两个方面构成的：一个是节省了图片帧格式数据的DDR缓冲；另外一个是图片帧格式数据分辨率较小，如果垂直抽样率设置为M，水平抽样率设置为N，采用垂直、水平抽样的方法可减少图片帧格式数据通道(1-1/M*1/N)的带宽开销。

在一个示例性实施例中，在获取多媒体采集设备按照第一图像采集参数对目标区域进行拍摄后所得到的多媒体信息之前，所述方法还包括：将获取的所述多媒体采集设备对所述目标区域进行拍摄后所得到的历史多媒体信息发送给所述目标处理器，以指示所述目标处理器基于所述历史多媒体信息确定所述抽样指令。在本实施例中，目标处理器可以利用智能算法针对全局图像进行目标跟踪与识别，由于智能算法对图像间隔像素的丢失并不敏感。因此，可以根据历史多媒体信息确定抽样指令。此外，纵向、横向的抽样支持参数配置，当多媒体采集设备为传感器类型设备时，例如，Sensor多媒体采集设备，Sensor输出Bayer序列的特征，两个方向的抽样比例可以设置为2的倍数。当智能算法识别出感兴趣的区域，例如，包括目标对象的区域，可以对包括目标对象的区域独立设置抽样比例，例如，1：1抽样，即，对目标区域不抽样。例如，对智能算法车牌识别、车标识别的位置进行1：1抽样，保留图片帧对应位置的全部细节。目标处理器根据历史多媒体信息(如，前一帧图片帧，或前N帧图片帧)确定抽样指令，将抽样指令发送给协处理器，协处理器将后续采集到的图片帧进行抽样，生成的VF_T_Sub，通过“端口4”(如图4所示)发送给中央处理器的“端口1”，供目标处理器处理。

在上述实施例中，VF_T_Sub与VF_TM_i、VF_S_i相比，没有在图像数据设定位置添加当前图像快门模式信息以及抓拍信息，这是因为VF_T_Sub独占协处理器一个输出端口，中央处理器“端口1”对应的采集模块可以不像处理器“端口2”采集模块那样需要区分该通道采集的带有附加信息的图像进行相应分类的处理，这样操作的优点是：解决了当前方案下处理器无法对携带有附加信息的数据直接进行视频数据处理，而需要从DDR中读取原始数据，在设定位置按照收集到的信息进行图像分类后分别送给不同的视频数据处理模块带来的图片快门模式数据处理不及时，影响了智能算法最终的抓拍决策的问题；VF_T_Sub的数据可以直接送给图像处理模块而不用进行DDR缓冲，降低了处理器的带宽开销。

VF_TM_i、VF_S_i没有采取VF_T_Sub一样分别占协处理器一个输出端口的原因基本有两个：一个是当前方案下中央处理器一般只有两个VIEDOPROC(视频处理模块)；另外的一个原因是在只有两个视频处理模块的前提下，智能交通的编码显示模块对视频帧图像的延迟并不敏感，WEB(页面)上显示早一点或者晚一点不影响实际监控。另外。VF_TM_i必须在图像数据设定位置添加抓拍信息，否则无法与抓拍模块进行匹配，即无法识别抓拍帧。因此，在硬件限制的前提下，可以对视频帧与抓拍帧均使用嵌入帧信息的方法，仅将图片帧直接传递给视频处理模块。

在本实施例中还提供了一种多媒体信息方法，图5是根据本发明实施例的多媒体信息方法流程图二，如图5所示，该流程包括如下步骤：

步骤S502，确定多媒体设备采集多媒体信息的图像采集参数；

步骤S504，将所述图像采集参数发送给协处理器，以指示所述协处理器执行目标操作，其中，所述目标操作包括：控制多媒体采集设备按照所述图像采集参数对目标区域进行拍摄，基于所述图像采集参数确定获取的多媒体信息的目标类型，在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；

步骤S506，接收所述协处理器返回的所述目标多媒体信息，并处理所述目标多媒体信息。

在上述实施例中，多媒体采集设备可以是多快门摄像设备，例如，双快门监控摄像头、三快门监控摄像头等，多媒体采集设备可以为传感器类型的采集设备。当多媒体采集设备为传感器类型的采集设备时，图像采集参数可以是用于指示多媒体采集设备如何采集多媒体信息的参数，例如，图像采集参数中可以包括帧率，即指示传感器每秒N帧图像，例如，每秒采集20帧图像(该取值仅是一种示例性的说明，本发明对帧率不做限制，可以根据多媒体采集设备设置的位置、采集的目标对象等确定帧率，例如，还可以取15帧每秒，25帧每秒等)。图像采集参数中还可以包括曝光参数及曝光方式，例如，先曝光2秒采集图像，再曝光5秒采集图像。图像采集参数中还可以包括图像采集控制参数，如抓拍指令、抓拍参数等，即控制多媒体采集设备按照图像采集控制参数抓拍图像。

多媒体采集设备在智能交通应用中工作在被动模式下，图像采集参数的下发完全受协处理器(FPGA方案)的控制。多媒体采集设备参数作用生效时间是固定且可被协处理器获取的，因此，协处理器每帧下发参数给多媒体采集设备后，协处理器是能明确确认该帧参数对应的图像在后续固定时刻被获取采集到的。因此，在协处理器获取到多媒体信息时，可以将多媒体信息与图像采样参数进行匹配。例如，典型的双快门半帧率的应用，在没有抓拍帧的情况下，视频帧与图片帧各占50％，即，图像采集参数中指示多媒体采集设备先采集一帧图片帧，再采集一帧视频帧，然后再采集一帧图片帧，即每隔一帧视频帧采集一帧图片帧，在获取到多媒体信息后，将图像采集参数与多媒体信息进行匹配，可以确定第1帧、3帧、5帧……为图片帧，第2帧、4帧、6帧……为视频帧。即可以确定目标对象的目标类型，其中，目标类型可以为图片帧、抓拍帧、视频帧等。在确定目标类型为图片帧的情况下，将确定出的图片帧进行抽样处理，将经过抽样处理后的图片帧发送给目标处理器。

示例性的，上述步骤的执行主体可以为中央处理器。

在上述实施例中，在目标处理器接收到目标多媒体信息后，可以对目标多媒体信息进行预处理。在对目标多媒体信息进行预处理时，可以确定多媒体采集设备所处环境的曝光参数等是否合适，例如，图片太暗，可以认为曝光不足，图片太亮，可以认为曝光过度。因此，在预处理时可以向协处理器下发曝光增益参数，同时，还可以向协处理器下发与辅助设备相关的参数，例如，当辅助设备为补光设备，如补光灯，中央处理器获取到的图片太暗时，可以下发开启补光灯命令；补光灯开启起始时刻与对应的曝光时间有关，可以通过参数设置补光灯开启在曝光起始之前、之后或与曝光起始同时打开，以使多媒体信息采集设备可以采集到优质的图像。

在上述实施例中，目标处理器还可以对经过预处理的目标多媒体信息进行智能分析，在确定目标多媒体信息中包括目标对象时，下发抓拍指令以及抓拍参数，传感器在获取到抓拍指令及抓拍参数时，可以对目标对象进行抓拍，得到抓拍帧，并发送该抓拍帧。

在上述实施例中，在确定多媒体信息为抓拍帧或视频帧的情况下，可以在抓拍帧或视频帧的设定位置添加标识信息，将添加了标识信息的抓拍帧或视频帧发送给目标处理器。目标处理器读取设定位置的标识信息，确定接收到的多媒体信息为抓拍帧还是视频帧，针对不同类型的帧进行不同的处理。例如，当多媒体信息为抓拍帧时，可以对抓拍帧进行取证保存，当多媒体信息为视频帧时，可以对多个视频帧进行编码，显示在显示屏中。

在上述实施例中，多媒体信息处理示意图可参见附图4。图4中的名词解释如下：

视频，多快门方案中，视频快门模式数据主要用作视频监控，后续简称VF_S。

图片，多快门方案中，图片快门模式数据提供给智能算法模块，用作目标跟踪、识别以及抓拍的决策依据，后续简称VF_T。

抓拍，多快门方案中，抓拍快门模式数据用作图片取证，后续简称VF_TM。

视频_i，此处i是英语单词insert的简称，视频_i表示在视频快门模式数据的设定位置添加了标志信息的数据，后续简称VF_S_i。

抓拍_i，此处i是英语单词insert的简称，抓拍_i表示在抓拍快门模式数据的设定位置添加了标志信息的数据，后续简称VF_TM_i。

下采样图片，完成纵向、横向的抽样的图片快门模式数据。

协处理器，可以采用FPGA方案，完成Sensor驱动、配置、视频数据的采集与处理，图像模式信息、抓拍信息的叠加以及叠加后的图像数据输出。

中央处理器(对应于上述目标处理器)，可以采用嵌入式SoC(System on Chip，系统级芯片)方案。

如图4所示，协处理器在“端口1”采集到Sensor生成的VF_S，在设定位置添加当前图像快门模式信息以及抓拍信息(对应于上述标识信息)，生成VF_S_i；VF_S_i包含了VF_S所有的图像内容，并且包括了标识信息，因此，其纵向分辨率比VF_S的大。在生成VF_S_i后，协处理器立即将VF_S_i通过“端口3”发送给中央处理器的“端口2”。协处理器在“端口1”采集到Sensor生成的VF_TM后，在设定位置添加当前图像快门模式信息以及抓拍信息(对应于上述标识信息)，生成VF_TM_i。同理，VF_TM_i包含了VF_TM所有的图像内容，且其的纵向分辨率比VF_TM的大；协处理器在生成VF_TM_i后，立即将VF_TM_i通过“端口3”发送给中央处理器的“端口2”。中央处理器通过“端口2”将采集到的带有标识信息的图像后，根据信息分类进行相应的处理，视频快门模式数据经过视频图像处理后进行编码显示；抓拍快门模式数据经过视频图像处理后进行取证上传，因此，这两种格式的数据无需进行抽样处理。

需要说明的是，协处理器在“端口1”采集到同一个Sensor生成的VF_TM与VF_S、VF_T三者时间上不会出现重叠。

通过本发明，获取多媒体采集设备按照图像采集参数对目标区域进行拍摄后得到的多媒体信息，根据图像采集参数确定多媒体信息的目标类型，在确定目标类型为图片帧的情况下，对多媒体信息进行抽样处理，以得到目标多媒体信息，将目标多媒体信息发送给目标处理器，以指示目标处理器处理目标多媒体信息。目标处理器无需目标处理器从存储器中读取原始数据，可以及时地对经过抽样处理后的目标多媒体信息进行处理，提高抓拍的效率及准确率，将经过抽样处理的目标多媒体信息发送给目标处理器，节省了传输带宽以及计算性能，因此，可以解决相关技术中存在的图像处理不及时影响抓拍决策，处理的图像冗余，导致传输带宽以及计算性能的浪费的问题，达到及时处理多媒体信息、提高抓拍的效率及准确率、节省传输带宽及计算性能的效果。

在一个示例性实施例中，接收所述协处理器返回的所述目标多媒体信息，并处理所述目标多媒体信息之前，所述方法还包括：确定抽样指令；将所述抽样指令发送给所述协处理器，以指示所述协处理器基于所述抽样指令对所述多媒体信息进行抽样，以得到所述目标多媒体信息。在本实施例中，协处理器可以根据中央处理器的抽样指令对VF_T进行纵向、横向的抽样，生成VF_T_Sub。对VF_T的抽样可以减少中央处理器内智能算法模块获取图像的冗余信息，达到减少智能算法模块计算性能的开销以及降低协处理器与后续中央处理器间的传输带宽的目的。其中，带宽节省是由两个方面构成的：一个是节省了图片帧格式数据的DDR缓冲；另外一个是图片帧格式数据分辨率较小，如果垂直抽样率设置为M，水平抽样率设置为N，采用垂直、水平抽样的方法可减少图片帧格式数据通道(1-1/M*1/N)的带宽开销。

在一个示例性实施例中，确定抽样指令包括：获取所述协处理器发送的历史多媒体信息，其中，所述历史多媒体信息为所述协处理器获取的所述多媒体采集设备对所述目标区域进行拍摄后所得到的历史多媒体信息；基于所述历史多媒体信息确定所述抽样指令；或者，获取其他协处理器发送的其他多媒体信息，其中，所述其他多媒体信息为所述其他协处理器获取的由其他多媒体采集设备对其他区域进行拍摄后所得到的其他多媒体信息，所述其他区域至少包含所述目标区域中的部分区域；基于所述其他多媒体信息确定所述抽样指令。在本实施例中，目标处理器可以利用智能算法针对全局图像进行目标跟踪与识别，由于智能算法对图像间隔像素的丢失并不敏感。因此，可以根据历史多媒体信息确定抽样指令。此外，纵向、横向的抽样支持参数配置，当多媒体采集设备为传感器类型设备时，例如，Sensor多媒体采集设备，Sensor输出Bayer序列的特征，两个方向的抽样比例可以设置为2的倍数。当智能算法识别出感兴趣的区域，例如，包括目标对象的区域，可以对包括目标对象的区域独立设置抽样比例，例如，1：1抽样，即，对目标区域不抽样。例如，对智能算法车牌识别、车标识别的位置进行1：1抽样，保留图片帧对应位置的全部细节。目标处理器根据历史多媒体信息(如，前一帧图片帧，或前N帧图片帧)确定抽样指令，将抽样指令发送给协处理器，协处理器将后续采集到的图片帧进行抽样，生成的VF_T_Sub，通过“端口4”发送给中央处理器的“端口1”，供目标处理器处理。

在上述实施例中，VF_T_Sub与VF_TM_i、VF_S_i相比，没有在图像数据设定位置添加当前图像快门模式信息以及抓拍信息，这是因为VF_T_Sub独占协处理器一个输出端口，中央处理器“端口1”对应的采集模块可以不像处理器“端口2”采集模块那样需要区分该通道采集的带有附加信息的图像进行相应分类的处理，这样操作的优点是：解决了当前方案下处理器无法对携带有附加信息的数据直接进行视频数据处理，而需要从DDR中读取原始数据，在设定位置按照收集到的信息进行图像分类后分别送给不同的视频数据处理模块带来的图片快门模式数据处理不及时，影响了智能算法最终的抓拍决策的问题；VF_T_Sub的数据可以直接送给图像处理模块而不用进行DDR缓冲，降低了处理器的带宽开销。

VF_TM_i、VF_S_i没有采取VF_T_Sub一样分别占协处理器一个输出端口的原因基本有两个：一个是当前方案下中央处理器一般只有两个VIEDOPROC；另外的一个原因是在只有两个视频处理模块的前提下，智能交通的编码显示模块对视频帧图像的延迟并不敏感，WEB(页面)上显示早一点或者晚一点不影响实际监控。另外。VF_TM_i必须在图像数据设定位置添加抓拍信息，否则无法与抓拍模块进行匹配，即无法识别抓拍帧。因此，在硬件限制的前提下，可以对视频帧与抓拍帧均使用嵌入帧信息的方法，仅将图片帧直接传递给视频处理模块。

在上述实施例中，还可以根据其他协处理器发送的其他多媒体信息确定抽样指令，其他协处理器与可以与其他多媒体信息采集设备相连，获取其他多媒体信息采集设备采集的多媒体信息。其中，其他多媒体采集设备所能采集图像的区域与多媒体采集设备所能采集图像的区域存在重叠的区域。在确定其他多媒体信息中存在目标对象，而目标多媒体信息中未出现目标对象时，例如，目标对象从其他区域正在进入目标区域时，目标区域还未出现目标对象时，可以根据其他多媒体信息确定抽样指令，在目标对象进入到目标区域后，即可直接根据抽样指令对包含目标对象的图像帧进行抽样，无需根据历史多媒体信息确定抽样指令后在对后续采集的多媒体信息按照抽样指令进行抽样。

下面结合具体实施方式对多媒体信息处理进行说明：

图6是根据本发明具体实施例的多媒体信息处理流程图，如图6所述，该流程包括：

步骤S602，控制传感器，并获取目标图像(对应于上述多媒体信息)。

步骤S604，根据协处理器下发的传感器的控制时序匹配目标图像的帧信息特征。

步骤S606，目标图像按帧信息进行分类，视频帧与抓拍帧嵌入对应类型并通过高速数据通路发送给中央处理器，图片帧数据抽样后通过高速数据通路发送给中央处理器。

步骤S608，中央处理器分类处理目标图像。

需要说明的是，中央处理器分类处理目标图像后，可以将确定出新的控制参数(对应于上述图像获取参数)发送给协处理器，协处理器控制传感器，即多媒体采集设备按照新的控制参数采集图像。

图7是根据本发明具体实施例的多媒体信息处理结构框图，如图7所示，协处理器72中包括的传感器驱动与参数下发模块7202可以通过低速通信接口驱动传感器模块74(对应于上述多媒体采集设备)，并通过低速通信接口下发参数(对应于上述图像采集参数)。传感器模块74根据该参数采集多媒体信息。协处理器72中包括的图像采集模块7204获取传感器模块采集的多媒体信息，并将多媒体信息发送给协处理器72中包括的图像帧与传感器控制参数匹配模块7206。图像帧与传感器控制参数匹配模块7206还能够接收传感器驱动与参数下发模块7202发送的参数，并将该参数与获取到的多媒体信息进行匹配，确定目标多媒体信息的目标类型。图像帧与传感器控制参数匹配模块7206在确定多媒体信息为视频帧或抓拍帧时，将视频帧和抓拍帧发送给协处理器72中包括的视频帧/抓拍帧信息嵌入模块7208，视频帧/抓拍帧信息嵌入模块7208在视频帧、抓拍帧的设定位置嵌入标识信息，并将嵌入标识信息的多媒体信息发送给协处理器72中包括的嵌入帧信息图像数据发送模块7210。嵌入帧信息图像数据发送模块7210将嵌入标识信息的多媒体信息发送给中央处理器76。图像帧与传感器控制参数匹配模块7206在确定多媒体信息为图片帧的情况下，将图片帧发送给协处理器72中包括的图片帧数据发送模块7212。图片帧数据发送模块7212对图片帧进行抽样处理，将抽样后的图片帧发送给中央处理器76中包括的图像处理模块7604。

中央处理器76中包括的帧协议解析模块7602确定标识信息添加的设定位置，并将设定位置发送给图像处理模块7604。图像处理模块7604对多媒体信息进行处理，识别设定位置的标识信息，将视频帧发送给中央处理器76中包括的视频编码显示模块7606。视频编码显示模块7606对视频帧进行编码显示。图像处理模块7604对抓拍帧进行取证保存。图像处理模块7604对图片帧进行处理，确定图片帧拍摄的环境参数是否合适，将曝光增益参数发送给中央处理器76中包括的图像参数控制模块7608。图像参数控制模块7608将增益参数发送给协处理器中包括的CPU协议解析模块7214。CPU协议解析模块7214解析增益参数，将增益参数通过内部总线接口发送给传感器驱动与参数下发模块7202，将与辅助设备相关的参数下发给协处理器72中包括的辅助设备控制以及与传感器参数同步模块7216。传感器驱动与参数下发模块7202将增益参数发送给传感器模块74，传感器74根据增益参数调整曝光时间等参数。辅助设备控制以及与传感器参数同步模块7216将传感器参数及与辅助设备相关的参数发送给辅助设备78，辅助设备78根据传感器参数及与辅助设备相关的参数调整补光时间等参数，例如，补光开启时刻与曝光起始时刻的关系参数。

图像处理模块7604对图片帧进行处理后，将处理后的图片帧发送给中央处理器76中包括的智能分析模块7610。智能分析模块7610分析图片帧，在确定图片帧中包括有目标对象或其他感兴趣的对象时，发送抓拍指令及抓拍参数给中央处理器76中包括的抓拍控制与参数下发模块7612。抓拍控制与参数下发模块7612将抓拍指令及抓拍参数发送给CPU协议解析模块7214。CPU协议解析模块7214解析抓拍指令及抓拍参数，将解析后的抓拍指令及抓拍参数通过内部总线接口发送给传感器驱动与参数下发模块7202和辅助设备控制以及与传感器参数同步模块7216。传感器驱动与参数下发模块7202和辅助设备控制以及与传感器参数同步模块7216将抓拍指令及抓拍参数分别发送给传感器模块74和辅助设备76。传感器模块74根据抓拍指令及抓拍参数抓拍图像，并将抓拍图像发送给图像采集模块7204。辅助设备76按照抓拍指令及抓拍参数调整补光时间、光照亮度等参数。

在前述实施例中，通过两组传输通道分别传输图片帧格式数据和视频/抓拍帧数据，图片帧格式数据通道不带附加信息，视频/抓拍帧数据携带附加信息的方式，解决了处理器处理图片帧格式数据不及时影响智能算法最终抓拍决策的问题，降低了处理器的存储带宽开销。水平、垂直方向抽样图片帧图像数据，且支持对智能算法感兴趣区域抽样比例独立可设，减少了中央处理器内智能算法模块获取图像的冗余信息，达到减少智能算法模块计算性能的开销以及降低协处理器与中央处理器间的传输带宽的好处。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种多媒体信息处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图8是根据本发明实施例的多媒体信息处理装置的结构框图一，如图8所示，该装置包括：

获取模块82，用于获取多媒体采集设备按照图像采集参数对目标区域进行拍摄后所得到的多媒体信息；

第一确定模块84，用于基于所述图像采集参数确定所述多媒体信息的目标类型；

抽样模块86，用于在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；

第一发送模块88，用于将所述目标多媒体信息发送给目标处理器，以指示所述目标处理器处理所述目标多媒体信息。

其中，所述获取模块82对应于上述图像采集模块7204，所述抽样模块86和所述第一发送模块88对应于上述图片帧数据发送模块7212。

在一个示例性实施例中，所述抽样模块86可以通过如下方式实现对所述多媒体信息进行抽样处理，以得到目标多媒体信息包括：按照预设的抽样方式对所述多媒体信息进行抽样处理，以得到所述目标多媒体信息；或者，按照预先接收到的来自所述目标处理器的抽样指令对所述多媒体信息进行抽样，以得到所述目标多媒体信息。

在一个示例性实施例中，所述装置可以用于在获取多媒体采集设备按照第一图像采集参数对目标区域进行拍摄后所得到的多媒体信息之前，将获取的所述多媒体采集设备对所述目标区域进行拍摄后所得到的历史多媒体信息发送给所述目标处理器，以指示所述目标处理器基于所述历史多媒体信息确定所述抽样指令。

图9是根据本发明实施例的多媒体信息处理装置的结构框图二，如图9所示，该装置包括：

第二确定模块92，用于确定多媒体设备采集多媒体信息的图像采集参数；

第二发送模块94，用于将所述图像采集参数发送给协处理器，以指示所述协处理器执行目标操作，其中，所述目标操作包括：控制多媒体采集设备按照所述图像采集参数对目标区域进行拍摄，基于所述图像采集参数确定获取的多媒体信息的目标类型，在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；

接收模块96，用于接收所述协处理器返回的所述目标多媒体信息，并处理所述目标多媒体信息。

其中，所述第二确定模块92对应于上述图像处理模块7604及智能分析模块7610，所述第二发送模块94对应于上述图像参数控制模块7608及抓拍控制与参数下发模块7612，所述接收模块96对应于上述帧协议解析模块7602及图像处理模块7604。

在一个示例性实施例中，所述装置可以用于接收所述协处理器返回的所述目标多媒体信息，并处理所述目标多媒体信息之前，确定抽样指令；将所述抽样指令发送给所述协处理器，以指示所述协处理器基于所述抽样指令对所述多媒体信息进行抽样，以得到所述目标多媒体信息。

在一个示例性实施例中，所述装置可以通过如下方式实现确定抽样指令：获取所述协处理器发送的历史多媒体信息，其中，所述历史多媒体信息为所述协处理器获取的所述多媒体采集设备对所述目标区域进行拍摄后所得到的历史多媒体信息；基于所述历史多媒体信息确定所述抽样指令；或者，获取其他协处理器发送的其他多媒体信息，其中，所述其他多媒体信息为所述其他协处理器获取的由其他多媒体采集设备对其他区域进行拍摄后所得到的其他多媒体信息，所述其他区域至少包含所述目标区域中的部分区域；基于所述其他多媒体信息确定所述抽样指令。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多媒体信息处理方法，其特征在于，包括：

获取多媒体采集设备按照图像采集参数对目标区域进行拍摄后所得到的多媒体信息，其中，所述多媒体采集设备为多快门采集设备，用于采集多种类型的多媒体信息；

基于所述图像采集参数确定所述多媒体信息的目标类型；

在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；

将所述目标多媒体信息发送给目标处理器，以指示所述目标处理器处理所述目标多媒体信息；

在确定所述目标类型为除所述图片帧以外的其他类型的情况下，无需对所述多媒体信息进行处理；

其中，所述目标处理器与所述多媒体采集设备集成在同一设备中。

2.根据权利要求1所述的方法，其特征在于，对所述多媒体信息进行抽样处理，以得到目标多媒体信息包括：

按照预设的抽样方式对所述多媒体信息进行抽样处理，以得到所述目标多媒体信息；

或者，

按照预先接收到的来自所述目标处理器的抽样指令对所述多媒体信息进行抽样，以得到所述目标多媒体信息。

3.根据权利要求2所述的方法，其特征在于，在获取多媒体采集设备按照第一图像采集参数对目标区域进行拍摄后所得到的多媒体信息之前，所述方法还包括：

将获取的所述多媒体采集设备对所述目标区域进行拍摄后所得到的历史多媒体信息发送给所述目标处理器，以指示所述目标处理器基于所述历史多媒体信息确定所述抽样指令。

4.一种多媒体信息处理方法，其特征在于，包括：

确定多媒体设备采集多媒体信息的图像采集参数，其中，所述多媒体采集设备为多快门采集设备，用于采集多种类型的多媒体信息；

将所述图像采集参数发送给协处理器，以指示所述协处理器执行目标操作，其中，所述目标操作包括：控制多媒体采集设备按照所述图像采集参数对目标区域进行拍摄，基于所述图像采集参数确定获取的多媒体信息的目标类型，在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；在确定所述目标类型为除所述图片帧以外的其他类型的情况下，无需对所述多媒体信息进行处理；其中，所述协处理器与所述多媒体采集设备集成在同一设备中；

接收所述协处理器返回的所述目标多媒体信息，并处理所述目标多媒体信息。

5.根据权利要求4所述的方法，其特征在于，接收所述协处理器返回的所述目标多媒体信息，并处理所述目标多媒体信息之前，所述方法还包括：

确定抽样指令；

将所述抽样指令发送给所述协处理器，以指示所述协处理器基于所述抽样指令对所述多媒体信息进行抽样，以得到所述目标多媒体信息。

6.根据权利要求5所述的方法，其特征在于，确定抽样指令包括：

获取所述协处理器发送的历史多媒体信息，其中，所述历史多媒体信息为所述协处理器获取的所述多媒体采集设备对所述目标区域进行拍摄后所得到的历史多媒体信息；基于所述历史多媒体信息确定所述抽样指令；

或者，

获取其他协处理器发送的其他多媒体信息，其中，所述其他多媒体信息为所述其他协处理器获取的由其他多媒体采集设备对其他区域进行拍摄后所得到的其他多媒体信息，所述其他区域至少包含所述目标区域中的部分区域；基于所述其他多媒体信息确定所述抽样指令。

7.一种多媒体信息处理装置，其特征在于，包括：

获取模块，用于获取多媒体采集设备按照图像采集参数对目标区域进行拍摄后所得到的多媒体信息，其中，所述多媒体采集设备为多快门采集设备，用于采集多种类型的多媒体信息；

第一确定模块，用于基于所述图像采集参数确定所述多媒体信息的目标类型；

抽样模块，用于在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；

第一发送模块，用于将所述目标多媒体信息发送给目标处理器，以指示所述目标处理器处理所述目标多媒体信息；

所述装置在确定所述目标类型为除所述图片帧以外的其他类型的情况下，无需对所述多媒体信息进行处理；

其中，所述目标处理器与所述多媒体采集设备集成在同一设备中。

8.一种多媒体信息处理装置，其特征在于，包括：

第二确定模块，用于确定多媒体设备采集多媒体信息的图像采集参数，其中，所述多媒体采集设备为多快门采集设备，用于采集多种类型的多媒体信息；

第二发送模块，用于将所述图像采集参数发送给协处理器，以指示所述协处理器执行目标操作，其中，所述目标操作包括：控制多媒体采集设备按照所述图像采集参数对目标区域进行拍摄，基于所述图像采集参数确定获取的多媒体信息的目标类型，在确定所述目标类型为图片帧的情况下，对所述多媒体信息进行抽样处理，以得到目标多媒体信息；

接收模块，用于接收所述协处理器返回的所述目标多媒体信息，并处理所述目标多媒体信息；

所述装置在确定所述目标类型为除所述图片帧以外的其他类型的情况下，无需对所述多媒体信息进行处理；

其中，所述协处理器与所述多媒体采集设备集成在同一设备中。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至3任一项中所述的方法，或者执行权利要求4至6任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至3任一项中所述的方法，或者执行权利要求4至6任一项中所述的方法。

Images