CN108289177A - 信息交互方法、装置及系统 - Google Patents

Abstract

本发明提供了一种信息交互方法、装置及系统，涉及图像处理技术领域，由图像检测单元执行的信息交互方法包括：从主控单元获取待检测图像；对待检测图像进行目标检测，得到检测结果；其中，检测结果包括待检测图像对应的对象信息和操作指示信息；对象信息为待检测图像中目标对象的信息；将检测结果发送给主控单元，以使主控单元基于检测结果中的待检测图像对应的对象信息和操作指示信息对待检测图像进行操作处理。本发明能够简化图像处理设备中主控芯片与图像检测芯片的交互方式，提升图像处理效率。

Description

信息交互方法、装置及系统

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种信息交互方法、装置及系统。

背景技术

图像处理设备在对采集的图像进行检测处理时，大多需要主控芯片与图像检测芯片之间的信息交互。以抓拍机为例，主控芯片可以是IPC(Internet Protocol Camera，网络协议摄像机)主控芯片，用于采集视频帧，并对视频帧进行缓存、传输、抠图、画框、推图等操作，图像检测芯片(又可称为抓拍芯片)主要用于对视频帧图像进行检测，以给主控芯片提供检测结果。

具体的，抓拍机在对视频图像进行处理时，需要IPC主控芯片和抓拍芯片(也即，图像检测芯片)进行两次交互通信，第一次交互通信是IPC主控芯片将采集的视频帧图像传输给抓拍芯片，抓拍芯片把在帧图像中目标对象的位置信息返回给IPC主控芯片；第二次交互是IPC主控芯片根据位置信息进行抠图等操作，然后将抠到的小图传输给抓拍芯片，令抓拍芯片对小图进行属性检测，并将检测得到的属性信息回传给IPC主控芯片，以便于IPC主控芯片基于该属性信息对帧图像进行处理。在交互通信过程中，IPC主控芯片需要基于抓拍芯片回传的检测信息确定图像处理操作，实现较为复杂。

由上述抓拍机流程可见，现有图像处理设备中的主控芯片与图像检测芯片的交互方式繁琐复杂，图像处理效率较低。

发明内容

有鉴于此，本发明的目的在于提供一种信息交互方法、装置及系统，能够简化图像处理设备中主控芯片与图像检测芯片的交互方式，提升图像处理效率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种信息交互方法，所述方法由图像检测单元执行，所述方法包括：从主控单元获取待检测图像；对所述待检测图像进行目标检测，得到检测结果；其中，所述检测结果包括所述待检测图像对应的对象信息和操作指示信息；所述对象信息为所述待检测图像中目标对象的信息；将所述检测结果发送给所述主控单元，以使所述主控单元基于所述检测结果中的所述待检测图像对应的对象信息和操作指示信息对所述待检测图像进行操作处理。

进一步，所述从主控单元获取待检测图像的步骤，包括：接收所述主控单元传输的视频数据；将所述视频数据中的各张帧图像分别作为待检测图像。

进一步，所述对所述待检测图像进行目标检测，得到检测结果的步骤，包括：通过卷积神经网络对各张所述帧图像逐一进行目标检测，得到各张所述帧图像分别对应的检测结果；其中，所述检测结果还包括帧号信息；同一所述帧图像的帧号信息、对象信息和操作指示信息相关联。

进一步，所述通过卷积神经网络对各张所述帧图像逐一进行目标检测，得到各张所述帧图像分别对应的检测结果的步骤包括：将各张所述帧图像逐一输入至卷积神经网络中，通过所述卷积神经网络执行如下操作：读取各张所述帧图像携带的帧号信息；对各张所述帧图像逐一进行目标检测，得到各张所述帧图像分别对应的对象信息；根据各张所述帧图像的对象信息，确定各张所述帧图像对应的操作指示信息；分别关联各张所述帧图像的帧号信息、对象信息和操作指示信息，以作为各张所述帧图像对应的检测结果。

进一步，所述对象信息包括对象位置和对象标识；所述操作指示信息包括是否执行操作项的指示信息；所述操作项包括框示操作、缓存操作、推图操作及清空操作中的一种或多种；其中，所述框示操作包括：按照所述对象位置，在所述待检测图像上显示检测框；其中，所述检测框内包含有所述目标对象；所述缓存操作包括：在与所述对象标识对应的缓存区缓存所述检测框内的图像，形成缓存图像；所述推图操作包括：将所述缓存图像推至预设区，以在所述预设区显示；其中，所述缓存图像仍保留在所述缓存区；所述清空操作包括：将所述缓存区中的所述缓存图像清空。

进一步，所述对象信息还包括对象属性；所述推图操作还包括：将所述缓存图像以及所述对象属性推至所述预设区。

第二方面，本发明实施例还提供一种信息交互方法，所述方法由主控单元执行，所述方法包括：向图像检测单元发送待检测图像；接收所述图像检测单元基于所述待检测图像返回的检测结果；其中，所述检测结果包括所述待检测图像对应的对象信息和操作指示信息；所述对象信息为所述待检测图像中目标对象的信息；基于所述检测结果中的所述待检测图像对应的对象信息和操作指示信息对所述待检测图像进行操作处理。

进一步，所述向图像检测单元发送待检测图像的步骤，包括：向所述图像检测单元发送视频数据；其中，所述视频数据中的各张帧图像均为待检测图像。

进一步，所述接收所述图像检测单元基于所述待检测图像返回的检测结果的步骤，包括：接收所述图像检测单元基于各张所述帧图像返回的各张所述帧图像分别对应的检测结果；所述检测结果还包括帧号信息；同一所述帧图像的帧号信息、对象信息和操作指示信息相关联。

进一步，所述基于所述检测结果对所述待检测图像中的所述待检测图像对应的对象信息和操作指示信息进行操作处理的步骤，包括：根据所述检测结果中的帧号信息，在缓存的所述视频数据中查找到与所述帧号信息对应的帧图像；读取所述帧号信息相关联的操作指示信息；基于所述帧号信息相关联的对象信息，按照读取的所述操作指示信息对所述帧号信息对应的帧图像进行操作处理。

进一步，所述对象信息包括对象位置和对象标识；所述操作指示信息包括是否执行操作项的信息；所述操作项包括框示操作、缓存操作、推图操作及清空操作中的一种或多种；其中，所述框示操作包括：按照所述对象位置，在所述待检测图像上显示检测框；其中，所述检测框内包含有所述目标对象；所述缓存操作包括：在与所述对象标识对应的缓存区缓存所述检测框内的图像，形成缓存图像；所述推图操作包括：将所述缓存图像推至预设区，以在所述预设区显示；其中，所述缓存图像仍保留在所述缓存区；所述清空操作包括：将所述缓存区中的所述缓存图像清空。

进一步，所述基于所述帧号信息相关联的对象信息，按照所述操作指示信息对所述帧号信息对应的帧图像进行操作处理的步骤，包括：读取所述操作指示信息，确定所述操作指示信息中需执行的操作项；按照预先设定的操作项执行顺序，依次执行所述需执行的操作项；其中，所述预先设定的操作性执行顺序由前至后依次为：框示操作、缓存操作、推图操作及清空操作。

进一步，所述对象信息还包括对象属性；所述推图操作还包括：将所述缓存图像以及所述对象属性推至所述预设区。

第三方面，本发明实施例提供了一种信息交互装置，所述装置应用于图像检测单元，所述装置包括：图像获取模块，用于从主控单元获取待检测图像；检测模块，用于对所述待检测图像进行目标检测，得到检测结果；其中，所述检测结果包括所述待检测图像对应的对象信息和操作指示信息；所述对象信息为所述待检测图像中目标对象的信息；结果发送模块，用于将所述检测结果发送给所述主控单元，以使所述主控单元基于所述检测结果中的所述待检测图像对应的对象信息和操作指示信息对所述待检测图像进行操作处理。

第四方面，本发明实施例提供了一种信息交互装置，所述装置应用于主控单元，所述装置包括：图像发送模块，用于向图像检测单元发送待检测图像；结果接收模块，用于接收所述图像检测单元基于所述待检测图像返回的检测结果；其中，所述检测结果包括所述待检测图像对应的对象信息和操作指示信息；所述对象信息为所述待检测图像中目标对象的信息；操作处理模块，用于基于所述检测结果中的所述待检测图像对应的对象信息和操作指示信息对所述待检测图像进行操作处理。

第五方面，本发明实施例提供了一种信息交互系统，包括：图像检测单元和主控单元；所述图像检测单元在执行计算机程序时执行如第一方面任一项所述的方法；所述主控单元在执行计算机程序时执行如第二方面任一项所述的方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法，或上述第二方面任一项所述的方法的步骤。

本发明实施例提供了一种信息交互方法、装置及系统，图像检测单元在从主控单元获取待检测图像后，对待检测图像进行目标检测，得到包含有对象信息和操作指示信息的检测结果，然后再将检测结果发送给主控单元，便可使主控单元基于检测结果进行操作。这种方式只需图像检测单元与主控单元之间实现一次信息交互即可实现图像处理流程，一方面简化了主控单元的处理量，另一方面也简化了主控单元与图像检测单元之间的交互次数，综合改善了主控芯片与图像检测芯片之间的交互方式，提升了图像处理效率。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种基于图像检测单元的信息交互方法流程图；

图3示出了本发明实施例所提供的一种基于主控单元的信息交互方法流程图；

图4示出了本发明实施例所提供的一种IPC主控芯片和抓拍芯片的交互示意图；

图5示出了本发明实施例所提供的一种抓拍芯片的工作流程图；

图6示出了本发明实施例所提供的一种IPC主控芯片的工作流程图；

图7示出了本发明实施例所提供的一种应用于图像检测单元的信息交互装置的结构框图；

图8示出了本发明实施例所提供的一种应用于主控单元的信息交互装置的结构框图；

图9示出了本发明实施例所提供的一种信息交互系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术中诸如抓拍机等图像处理设备内部芯片交互繁琐，图像处理效率较低的问题，本发明实施例提供的一种信息交互方法、装置及系统，该技术可应用于抓拍机、人脸识别设备、智能门禁设备等图像处理设备，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的信息交互方法、装置及系统的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的一种信息交互方法、装置及系统的示例电子设备可以被实现为诸如摄像机、抓拍机、人脸识别终端等图像处理设备。

实施例二：

参照图2所示的一种基于图像检测单元的信息交互方法流程图，该方法由图像检测单元执行，具体包括如下步骤：

步骤S202，从主控单元获取待检测图像。待检测图像的数量可以为一张，也可以为多张。诸如，如果为单次采集人脸图像的人脸识别器或者定期抓拍的图像采集装置，待检测图像可以仅为一张采集图像；如果为采集视频数据的抓拍机，待检测图像可以为多张帧图像。

在一种实施方式中，当待检测图像为视频流中的帧图像时，获取待检测图像的方式具体可以为：图像检测单元接收主控单元传输的视频数据；将视频数据中的各张帧图像分别作为待检测图像。

上述图像检测单元与主控单元均可采用处理芯片实现，图像检测单元又可称为图像检测芯片，诸如可采用FPGA实现。主控单元又可称为主控芯片，图像处理设备中的主控单元即为IPC主控单元。图像检测单元与主控单元之间可通过API接口进行信息交互，图像检测单元上设置有预先训练好的用于实现目标检测的卷积神经网络，通过对待检测图像进行特征提取，可对待检测图像中所包含的对象进行诸如人脸识别、属性检测等分析，得到检测结果，以使主控单元基于检测结果采取进一步操作。

步骤S204，对待检测图像进行目标检测，得到检测结果；其中，检测结果包括待检测图像对应的对象信息和操作指示信息；对象信息为待检测图像中目标对象的信息。

具体实现时，对象信息可以包括目标对象在待检测图像中出现的位置(可简称为对象位置)和对象标识(也即，用于追踪同一目标对象的追踪标识)，此外，还可以包括目标对象的类型(可简称为对象类型)、目标对象的属性(可简称为对象属性)等。实际应用中，对象属性为可选项，可根据待检测图像中的目标对象的信息进一步判断是否在检测结果中添加对象属性。诸如，以检测框位置表示对象位置，检测框内包含有检测到的目标对象，如果某帧图像中检测框内目标对象的特征较为模糊，例如检测框内的目标对象表现为低头姿态，难以准确的确定该目标对象的属性信息，则该帧图像对应的检测结果可以不包括对象属性。本实施例中的图像检测单元可以直接根据对象位置而对目标对象进行属性检测，无需现有技术中需要先由主控单元基于对象位置抠图后，再将抠到的图像返给图像检测单元，再由图像检测单元基于抠到的图像进行属性检测，一方面简化了主控单元的处理量，另一方面也简化了主控单元与图像检测单元之间的交互次数，较好地提升了交互效率。

操作指示信息具体可以包括是否执行操作项的指示信息；操作项包括框示操作、缓存操作、推图操作及清空操作中的一种或多种。其中，框示操作包括：按照对象位置，在待检测图像上显示检测框；检测框内包含有目标对象。缓存操作包括：在与对象标识对应的缓存区缓存检测框内的图像，形成缓存图像。推图操作包括：将缓存图像推至预设区，以在预设区显示；其中，缓存图像仍保留在缓存区。清空操作包括：将缓存区中的缓存图像清空。当对象信息还包括对象属性时，推图操作还包括：将缓存图像以及对象属性推至预设区。应当注意的是，在各帧图像对应的检测结果中，各操作项是否执行的指示是互相独立的，某一操作是否执行，与其它操作是否执行都无关联。但是，如果包含有需要执行的操作，在一种实施例中，可以按照框示操作、缓存操作、推图操作及清空操作的次序执行。诸如，A帧图像对应的检测结果中仅包括有框示操作的执行指示以及缓存操作的执行指示，则表示主控单元需要按照上述次序，先执行框示操作，然后再执行缓存操作。

如果将抓拍机采集的多张帧图像作为待检测图像，在一种实施方式中，上述步骤S204具体可以为：通过卷积神经网络对各张帧图像逐一进行目标检测，得到各张帧图像分别对应的检测结果；其中，检测结果还包括帧号信息；同一帧图像的帧号信息、对象信息和操作指示信息相关联。

视频流中的每张帧图像都对应一个帧号信息，该帧号信息可以是主控单元在采集视频流后，在视频流上的每个帧图像上的指定区域标注的，以便于主控单元与图像检测单元基于各帧图像的帧号信息准确地交互各帧图像对应的对象信息和操作指示信息。

本实施例进一步给出了一种得到检测结果的具体实现方式：

将各张帧图像逐一输入至卷积神经网络中，通过卷积神经网络执行如下操作：(1)读取各张帧图像携带的帧号信息。具体的，可以在帧图像的指定区域内读取帧号信息，诸如在帧图像的右下角处读取帧号信息。读取帧号信息的位置以及帧号信息的表达形式可遵循主控单元与图像检测单元双方之间的协议。(2)对各张帧图像逐一进行目标检测，得到各张帧图像分别对应的对象信息。(3)根据各张帧图像的对象信息，确定各张帧图像对应的操作指示信息。不同帧图像对应的操作指示信息不同；具体的，可以将各张帧图像的对象信息进行比对，根据比对结果确定各张帧图像对应的操作指示信息。以对象信息包括目标对象的质量数值(该质量数值可以是对目标对象的清晰度、呈现的特征数量等信息进行多维度评价确定)为例，通过比对各张帧图像所包含的目标对象的质量数值，将目标对象的质量数值最高的帧图像对应的操作指示信息确定为推图操作。为便于理解，示意性说明如下：前10帧图像中均出现目标对象A，以目标对象A为人脸为例进行说明，可以逐帧对每张人脸进行多维度的质量判断，通过比对确定第5帧图像中的目标对象A的质量数值最高，也即A在第5帧图像中所呈现的特征最为清楚(比如，清晰正脸)，则可以确定第5帧图像对应的检测结果中的操作指示信息包括推图操作，具体的，可以将目标对象A的人脸推送至指定区。(4)分别关联各张帧图像的帧号信息、对象信息和操作指示信息，以作为各张帧图像对应的检测结果。

步骤S206，将检测结果发送给主控单元，以使主控单元基于检测结果中的待检测图像对应的对象信息和操作指示信息对待检测图像进行操作处理。具体的，主控单元可以按照操作指示信息，执行诸如框示操作、缓存操作、推图操作及清空操作等相应操作。在实现时，检测结果可以采用google protocol buffer格式在图像检测单元和主控单元之间传输。相比于主控单元，图像检测单元通常采用计算能力较强的硬件实现，以较快速可靠地对图像进行分析处理，得到检测结果。由于本实施例中的图像检测单元基于待检测图像生成的检测结果中包含有操作指示信息，主控单元可以直接基于操作指示信息对待检测图像进行处理，无需再如现有技术中的主控单元还需要基于抓拍芯片回传的诸如目标对象的位置信息、属性信息等再计算确定相关的图像处理操作，较好地降低了主控单元的计算量及开发难度，也综合提升了主控芯片与图像检测芯片之间的交互效率。

本发明实施例提供的上述信息交互方法，图像检测单元在从主控单元获取待检测图像后，对待检测图像进行目标检测，得到包含有对象信息和操作指示信息的检测结果，然后再将检测结果发送给主控单元，便可使主控单元基于检测结果进行操作。这种方式只需图像检测单元与主控单元之间实现一次信息交互即可实现图像处理流程，一方面简化了主控单元的处理量，另一方面也简化了主控单元与图像检测单元之间的交互次数，综合改善了主控芯片与图像检测芯片之间的交互方式，提升了图像处理效率。

实施例三：

参照图3所示的一种基于主控单元的信息交互方法流程图，该方法由主控单元执行，具体包括如下步骤：

步骤S302，向图像检测单元发送待检测图像。具体实施时，可以是向图像检测单元发送视频数据；其中，视频数据中的各张帧图像均为待检测图像。

步骤S304，接收图像检测单元基于待检测图像返回的检测结果；其中，检测结果包括待检测图像对应的对象信息和操作指示信息；对象信息为待检测图像中目标对象的信息。具体实施时，接收图像检测单元基于各张帧图像返回的各张帧图像分别对应的检测结果；检测结果还包括帧号信息；同一帧图像的帧号信息、对象信息和操作指示信息相关联。

在一种实施方式中，上述对象信息包括对象位置和对象标识；操作指示信息包括是否执行操作项的信息；操作项包括框示操作、缓存操作、推图操作及清空操作中的一种或多种。

步骤S306，基于检测结果中的待检测图像对应的对象信息和操作指示信息对待检测图像进行操作处理。

为便于理解，给出一种如下的具体实现步骤：

(1)根据检测结果中的帧号信息，在缓存的视频数据中查找到与帧号信息对应的帧图像。

(2)读取帧号信息相关联的操作指示信息。

(3)基于帧号信息相关联的对象信息，按照读取的操作指示信息对帧号信息对应的帧图像进行操作处理。具体实现时，可以读取操作指示信息，确定操作指示信息中需执行的操作项；按照预先设定的操作项执行顺序，依次执行需执行的操作项；其中，预先设定的操作性执行顺序由前至后依次为：框示操作、缓存操作、推图操作及清空操作。

具体的，框示操作包括：按照对象位置，在待检测图像上显示检测框；其中，检测框内包含有目标对象；缓存操作包括：在与对象标识对应的缓存区缓存检测框内的图像，形成缓存图像；推图操作包括：将缓存图像推至预设区，以在预设区显示；其中，缓存图像仍保留在缓存区；清空操作包括：将缓存区中的缓存图像清空；接收图像检测单元基于各张帧图像返回的各张帧图像分别对应的检测结果；检测结果还包括帧号信息；同一帧图像的帧号信息、对象信息和操作指示信息相关联。

此外，如果对象信息还包括对象属性；推图操作还包括：将缓存图像以及对象属性推至预设区。

相比于主控单元，图像检测单元通常采用计算能力较强的硬件实现，以较快速可靠地对图像进行分析处理，得到检测结果。本实施例提供的信息交互方法将原有主控单元应该承担的计算量(诸如，基于目标对象的位置信息、属性信息等计算确定相关的图像处理操作)转移至计算能力更强的图像检测单元实现，由于本实施例中的图像检测单元基于待检测图像生成的检测结果中包含有操作指示信息，主控单元可以直接基于操作指示信息对待检测图像进行处理，较好地降低了主控单元的计算量及开发难度，也综合提升了主控芯片与图像检测芯片之间的交互效率。

本发明实施例提供的上述信息交互方法，主控单元在向图像检测单元发送待检测图像后，只需接收图像检测单元基于待检测图像返回的检测结果，并按照检测结果对待检测图像进行操作处理即可，这种方式只需图像检测单元与主控单元之间实现一次信息交互即可实现图像处理流程，一方面简化了主控单元的处理量，另一方面也简化了主控单元与图像检测单元之间的交互次数，综合改善了主控芯片与图像检测芯片之间的交互方式，提升了图像处理效率。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述主控单元的信息交互方法，诸如参考前述方法实施例中的相关内容，在此不再赘述。

实施例四：

本实施例给出了一种基于实施例二与实施例三提供的信息交互方法的具体应用示例，该应用示例以图像处理设备为抓拍机为例进行说明，本实施例中的抓拍芯片也即前述实施例中的图像检测单元，本实施例中的IPC主控芯片也即前述实施例中的主控单元，可以理解的是，抓拍机的IPC主控芯片与抓拍芯片之间设置有交互接口，用于使IPC主控芯片与抓拍芯片交互信息。IPC主控芯片与抓拍芯片之间遵从预设的交互协议，本实施例提供的信息交互方法也可以理解为IPC主控芯片与抓拍芯片之间所遵从的交互协议。

在本实施例中，抓拍机的IPC主控芯片与抓拍芯片之间仅交互通信一次，参见图4所示的一种IPC主控芯片和抓拍芯片的交互示意图，IPC主控芯片向抓拍芯片发送视频数据，抓拍芯片返回各帧图像对应的检测结果。

各帧图像对应的检测结果(以下简称帧检测结果)包括帧ID、结果项和结束标识。为便于理解，解释如下：

帧ID具体为视频帧的帧号，该帧号可以由IPC主控芯片在采集到视频数据后，直接在视频数据中的视频帧图像上标注的，在一种实施方式中，可以在视频帧图像的右下角位置读取。

结果项表示视频帧相关的核心信息，具体可以是该视频帧的多个检测结果，诸如该视频帧中所包含对象的类型和该视频帧的检测框位置(也即，前述实施例中的对象信息)、操作选项(也即，前述实施例中的操作指示信息)、当然，为了便于有针对性的处理视频帧，结果项内还可以包括帧ID和追踪ID(也即，前述实施例中的对象标识)，此外，结果项中还可以包括有属性信息。

结束标识则表示该帧检测结果结束。

在本实施例中，以帧图像的结果项包括类型信息(type)、检测框位置信息(box)、帧ID(frame_id)、追踪ID(track id)、操作选项、以及属性信息(attribute)为例进行说明：

类型信息表示对帧图像进行检测后得到的结果类型，具体为帧图像中目标对象的类型，例如检测得到该帧图像中所包含的目标对象为人脸、车、行人、某种动物或其它类型等。应当注意的是，本实施例将类型信息单独示出，以便于IPC主控芯片直接基于类型信息进行处理，在另一种实施方式中，还可以将类型信息归并为对象的属性信息的一种属性类别。

检测框位置信息表示对帧图像进行检测后得到的目标对象在帧图像中的具体位置，具体可以由X Y H W分量组成，(X Y)代表框左上角点的坐标，(H)代表框的高，(W)代表框的宽。

帧ID与帧检测结果中单独示出的帧ID相同，是用于区分各帧图像的标识信息。

操作选项可以包括框示操作(show)、缓存操作(update)、推图操作(push)及清空操作(die)，在帧检测结果中，可以采用布尔(bool)分量来表征IPC主控芯片是否需要执行上述操作。上述操作的具体示例如下：

框示操作：IPC主控芯片需要在帧图像上显示出检测框，该检测框内包含有检测到的目标对象。

缓存操作：IPC主控芯片需要把检测框内的图像缓存，以备将来推图。具体实现时，可以根据追踪ID建立缓存区，将追踪ID对应的目标对象的对象信息(具体可以为包括该目标对象的检测框的位置信息等、属性信息等)缓存在该缓存区。

推图操作：IPC主控芯片需要把缓存的图像推出去(缓存的图像仍然保留)。应当注意的是，由于属性信息并非每个帧图像的帧检测结果都具备，如果某帧图像出现有属性信息，则需要IPC主控芯片在执行推图操作时，将属性信息和缓存图像一起推出。在实现推图时，IPC主控芯片需要先将检测框内的图像从待检测图像中抠出，也即先抠图，然后可以将抠图结果压缩后与缓存区内的属性信息一起输出。

清空操作：IPC主控芯片可以把已追踪结束的帧图像对应的相关缓存，清空，也即清空内存。

基于图4所示的一种IPC主控芯片和抓拍芯片的交互示意图，为便于理解，进一步结合图5和图6说明了IPC主控芯片和抓拍芯片各自的工作流程：

参见图5所示的一种抓拍芯片的工作流程图，具体包括如下步骤：

步骤S502，接收IPC主控芯片发送的视频数据；其中，视频数据可以包括多张视频帧图像。

步骤S504，对视频数据中的各帧图像进行多重CNN计算，得到帧检测结果。

步骤S506，将帧检测结果发送给IPC主控芯片。

参见图6所示的一种IPC主控芯片的工作流程图，具体包括如下步骤：

步骤S602，将视频数据传输给抓拍芯片。

步骤S604，缓存视频数据中的N帧图像。

步骤S606，等待抓拍芯片回传的帧检测结果。

步骤S608，根据帧检测结果中的帧ID，在缓存的N帧图像中找到帧ID对应的帧图像。

步骤S610，逐一读取帧检测结果中的结果项。

步骤S612，执行结果项中的操作选项对应的操作。

步骤S614，释放追踪结束的帧图像。

为描述的方便和简洁，上述描述的抓拍芯片和IPC主控芯片的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

通过本实施例提供的IPC主控芯片和抓拍芯片之间的交互示意图，以及IPC主控芯片和抓拍芯片各自的工作流程可见，将信息交互方法应用于抓拍机，只需IPC主控芯片和抓拍芯片之间实现一次信息交互即可，而且IPC主控芯片在一次交互即可直接获得抓拍芯片的检测结果，并且直接确定所需执行的操作，不仅无需多次交互，而且也简化了主控芯片自身的计算量，综合提升了抓拍机的图像处理效率。

实施例五：

参见图7所示的一种应用于图像检测单元的信息交互装置的结构框图，该装置包括图像获取模块702、检测模块704和结果发送模块706，其中：

图像获取模块702，用于从主控单元获取待检测图像。

在一种实施方式中，图像获取模块进一步用于：接收主控单元传输的视频数据；将视频数据中的各张帧图像分别作为待检测图像。

检测模块704，用于对待检测图像进行目标检测，得到检测结果；其中，检测结果包括待检测图像对应的对象信息和操作指示信息；对象信息为待检测图像中目标对象的信息。

在一种实施方式中，检测模块进一步用于通过卷积神经网络对各张帧图像逐一进行目标检测，得到各张帧图像分别对应的检测结果；其中，检测结果还包括帧号信息；同一帧图像的帧号信息、对象信息和操作指示信息相关联。

在一种实施方式中，检测模块进一步用于将各张帧图像逐一输入至卷积神经网络中，通过卷积神经网络执行如下操作：读取各张帧图像携带的帧号信息；对各张帧图像逐一进行目标检测，得到各张帧图像分别对应的对象信息；根据各张帧图像的对象信息，确定各张帧图像对应的操作指示信息；分别关联各张帧图像的帧号信息、对象信息和操作指示信息，以作为各张帧图像对应的检测结果。

结果发送模块706，用于将检测结果发送给主控单元，以使主控单元基于检测结果中的待检测图像对应的对象信息和操作指示信息对待检测图像进行操作处理。

本发明实施例提供的上述信息交互装置，图像检测单元在从主控单元获取待检测图像后，对待检测图像进行目标检测，得到包含有对象信息和操作指示信息的检测结果，然后再将检测结果发送给主控单元，便可使主控单元基于检测结果进行操作。该装置只需图像检测单元与主控单元之间实现一次信息交互即可实现图像处理流程，综合简化了主控芯片与图像检测芯片之间的交互方式，提升了图像处理效率。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例六：

参见图8所示的一种应用于主控单元的信息交互装置的结构框图，该装置包括：

图像发送模块802，用于向图像检测单元发送待检测图像。

图像发送模块进一步用于：向图像检测单元发送视频数据；其中，视频数据中的各张帧图像均为待检测图像。

结果接收模块804，用于接收图像检测单元基于待检测图像返回的检测结果；其中，检测结果包括待检测图像对应的对象信息和操作指示信息；对象信息为待检测图像中目标对象的信息。

结果接收模块进一步用于：接收图像检测单元基于各张帧图像返回的各张帧图像分别对应的检测结果；检测结果还包括帧号信息；同一帧图像的帧号信息、对象信息和操作指示信息相关联。

操作处理模块806，用于基于检测结果中的待检测图像对应的对象信息和操作指示信息对待检测图像进行操作处理。

操作处理模块进一步用于：根据检测结果中的帧号信息，在缓存的视频数据中查找到与帧号信息对应的帧图像；读取帧号信息相关联的操作指示信息；基于帧号信息相关联的对象信息，按照读取的操作指示信息对帧号信息对应的帧图像进行操作处理。

本发明实施例提供的上述信息交互装置，主控单元在向图像检测单元发送待检测图像后，只需接收图像检测单元基于待检测图像返回的检测结果，并按照检测结果对待检测图像进行操作处理即可，该装置只需图像检测单元与主控单元之间实现一次信息交互即可实现图像处理流程，综合简化了主控芯片与图像检测芯片之间的交互方式，提升了图像处理效率。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例七：

基于前述实施例，本实施例给出了一种信息交互系统，参见图9所示的一种信息交互系统的结构示意图，该系统包括：图像检测单元10和主控单元20；图像检测单元10与主控单元20之间可通过API接口进行信息交互。

图像检测单元在执行计算机程序时执行如实施例二提供的任一项的方法；

主控单元在执行计算机程序时执行如实施例三提供的任一项的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步，本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述前述方法实施例所提供的信息交互方法的步骤。

本发明实施例所提供的信息交互方法、装置以及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种信息交互方法，其特征在于，所述方法由图像检测单元执行，所述方法包括：

从主控单元获取待检测图像；

对所述待检测图像进行目标检测，得到检测结果；其中，所述检测结果包括所述待检测图像对应的对象信息和操作指示信息；所述对象信息为所述待检测图像中目标对象的信息；将所述检测结果发送给所述主控单元，以使所述主控单元基于所述检测结果中的所述待检测图像对应的对象信息和操作指示信息对所述待检测图像进行操作处理。

2.根据权利要求1所述的方法，其特征在于，所述从主控单元获取待检测图像的步骤，包括：

接收所述主控单元传输的视频数据；

将所述视频数据中的各张帧图像分别作为待检测图像。

3.根据权利要求2所述的方法，其特征在于，对所述待检测图像进行目标检测，得到检测结果的步骤，包括：

通过卷积神经网络对各张所述帧图像逐一进行目标检测，得到各张所述帧图像分别对应的检测结果；其中，所述检测结果还包括帧号信息；同一所述帧图像的帧号信息、对象信息和操作指示信息相关联。

4.根据权利要求3所述的方法，其特征在于，所述通过卷积神经网络对各张所述帧图像逐一进行目标检测，得到各张所述帧图像分别对应的检测结果的步骤包括：

将各张所述帧图像逐一输入至卷积神经网络中，通过所述卷积神经网络执行如下操作：

读取各张所述帧图像携带的帧号信息；

对各张所述帧图像逐一进行目标检测，得到各张所述帧图像分别对应的对象信息；

根据各张所述帧图像的对象信息，确定各张所述帧图像对应的操作指示信息；

分别关联各张所述帧图像的帧号信息、对象信息和操作指示信息，以作为各张所述帧图像对应的检测结果。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述对象信息包括对象位置和对象标识；所述操作指示信息包括是否执行操作项的指示信息；所述操作项包括框示操作、缓存操作、推图操作及清空操作中的一种或多种；其中，

所述框示操作包括：按照所述对象位置，在所述待检测图像上显示检测框；其中，所述检测框内包含有所述目标对象；

所述缓存操作包括：在与所述对象标识对应的缓存区缓存所述检测框内的图像，形成缓存图像；

所述推图操作包括：将所述缓存图像推至预设区，以在所述预设区显示；其中，所述缓存图像仍保留在所述缓存区；

所述清空操作包括：将所述缓存区中的所述缓存图像清空。

6.根据权利要求5所述的方法，其特征在于，所述对象信息还包括对象属性；

所述推图操作还包括：将所述缓存图像以及所述对象属性推至所述预设区。

7.一种信息交互方法，其特征在于，所述方法由主控单元执行，所述方法包括：

向图像检测单元发送待检测图像；

接收所述图像检测单元基于所述待检测图像返回的检测结果；其中，所述检测结果包括所述待检测图像对应的对象信息和操作指示信息；所述对象信息为所述待检测图像中目标对象的信息；

基于所述检测结果中的所述待检测图像对应的对象信息和操作指示信息对所述待检测图像进行操作处理。

8.根据权利要求7所述的方法，其特征在于，所述向图像检测单元发送待检测图像的步骤，包括：

向所述图像检测单元发送视频数据；其中，所述视频数据中的各张帧图像均为待检测图像。

9.根据权利要求8所述的方法，其特征在于，所述接收所述图像检测单元基于所述待检测图像返回的检测结果的步骤，包括：

接收所述图像检测单元基于各张所述帧图像返回的各张所述帧图像分别对应的检测结果；所述检测结果还包括帧号信息；同一所述帧图像的帧号信息、对象信息和操作指示信息相关联。

10.根据权利要求9所述的方法，其特征在于，所述基于所述检测结果中的所述待检测图像对应的对象信息和操作指示信息对所述待检测图像进行操作处理的步骤，包括：

根据所述检测结果中的帧号信息，在缓存的所述视频数据中查找到与所述帧号信息对应的帧图像；

读取所述帧号信息相关联的操作指示信息；

基于所述帧号信息相关联的对象信息，按照读取的所述操作指示信息对所述帧号信息对应的帧图像进行操作处理。

11.根据权利要求10所述的方法，其特征在于，所述对象信息包括对象位置和对象标识；所述操作指示信息包括是否执行操作项的信息；所述操作项包括框示操作、缓存操作、推图操作及清空操作中的一种或多种；其中，

所述框示操作包括：按照所述对象位置，在所述待检测图像上显示检测框；其中，所述检测框内包含有所述目标对象；

所述缓存操作包括：在与所述对象标识对应的缓存区缓存所述检测框内的图像，形成缓存图像；

所述推图操作包括：将所述缓存图像推至预设区，以在所述预设区显示；其中，所述缓存图像仍保留在所述缓存区；

所述清空操作包括：将所述缓存区中的所述缓存图像清空。

12.根据权利要求11所述的方法，其特征在于，所述基于所述帧号信息相关联的对象信息，按照所述操作指示信息对所述帧号信息对应的帧图像进行操作处理的步骤，包括：

读取所述操作指示信息，确定所述操作指示信息中需执行的操作项；

按照预先设定的操作项执行顺序，依次执行所述需执行的操作项；其中，所述预先设定的操作性执行顺序由前至后依次为：框示操作、缓存操作、推图操作及清空操作。

13.根据权利要求11所述的方法，其特征在于，所述对象信息还包括对象属性；

所述推图操作还包括：将所述缓存图像以及所述对象属性推至所述预设区。

14.一种信息交互装置，其特征在于，所述装置应用于图像检测单元，所述装置包括：

图像获取模块，用于从主控单元获取待检测图像；

检测模块，用于对所述待检测图像进行目标检测，得到检测结果；其中，所述检测结果包括所述待检测图像对应的对象信息和操作指示信息；所述对象信息为所述待检测图像中目标对象的信息；

结果发送模块，用于将所述检测结果发送给所述主控单元，以使所述主控单元基于所述检测结果中的所述待检测图像对应的对象信息和操作指示信息对所述待检测图像进行操作处理。

15.一种信息交互装置，其特征在于，所述装置应用于主控单元，所述装置包括：

图像发送模块，用于向图像检测单元发送待检测图像；

结果接收模块，用于接收所述图像检测单元基于所述待检测图像返回的检测结果；其中，所述检测结果包括所述待检测图像对应的对象信息和操作指示信息；所述对象信息为所述待检测图像中目标对象的信息；

操作处理模块，用于基于所述检测结果中的所述待检测图像对应的对象信息和操作指示信息对所述待检测图像进行操作处理。

16.一种信息交互系统，其特征在于，包括：图像检测单元和主控单元；

所述图像检测单元在执行计算机程序时执行如权利要求1至6任一项所述的方法；

所述主控单元在执行计算机程序时执行如权利要求7至13任一项所述的方法。

17.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至6任一项所述的方法，或上述权利要求7至13任一项所述的方法的步骤。