CN112887511A

CN112887511A - 智能视频处理装置

Info

Publication number: CN112887511A
Application number: CN202110063173.8A
Authority: CN
Inventors: 周艳; 张爱军
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2018-03-27
Filing date: 2018-03-27
Publication date: 2021-06-01
Also published as: US20200402379A1; CN110312057A; CN110312057B; US11282355B2; US20220198894A1; WO2019184606A1; US11869322B2

Abstract

提供了一种智能视频处理装置，该装置包括图像获取模块，用于获取图像或视频数据，还包括处理获取的图像或视频数据的智能模块，以及用于实现智能视频处理装置与外部设备通信并接收外部设备对智能视频处理装置的配置信息的通信模块，配置信息用于扩展智能视频处理装置的功能。本发明实施例提供的智能视频处理装置在实现基本智能分析功能的基础上，能够根据用户的特定需求扩展其他功能，以及根据场景需要扩展多个新的硬件模块，从而提供了一种开放式和可扩展的智能视频处理装置，使用户能够根据特定需求自主开发智能分析应用，并根据不同应用场景选择扩展新的模块，增强了智能视频处理装置的兼容性并扩大了装置的适用范围。

Description

智能视频处理装置

技术领域

本发明涉及视频监控领域，特别涉及一种可定义的智能视频处理装置。

背景技术

随着现在视频监控技术的发展，监控由单纯的记录视频向智能化发展，而这样的智能化趋势同样深深影响了前端摄像机的发展，当前摄像机呈越来越智能化的趋势。同时，基于今年来计算机视觉、深度学习等技术的快速发展，智能摄像机的自动识别准确度已经超过了人类。而随着智能摄像机的应用，提高了监控效率，大大节省了人力成本，对平安城市、智慧城市等现代化、智能化进程起到重要促进作用。

当前的智能摄像机虽然能够实现部分智能分析功能，但生产商一般需要针对不同的应用场景而开发不同类型的智能摄像机，实现的智能分析功能也不尽相同。由于针对不同应用场景所使用的算法的不同，以及各个制造商都只提供自己的实现方法，所以这些智能摄像机之间通常是相互不能通用的，这种不兼容性使得用户需要针对不同应用场景购买对应类型的智能摄像机，加重了用户的负担。

发明内容

本发明实施例提供了一种可定义的智能视频处理装置，其在传统的智能视频处理装置的智能分析功能基础上，还能够支持用户按照实际应用场景的需要对智能视频处理装置的功能进行软件和/或硬件上的开发和扩展，从而增强智能视频处理装置的通用性，扩展智能视频处理装置的应用场景。

为达到上述目的，本发明实施例提供的智能视频处理装置，包括：用于接收图像或视频数据的图像获取模块；与图像获取模块连接的智能模块，用于对获取的图像或视频数据进行智能分析和处理；以及用于实现与外部设备通信的通信模块，通信模块可以接收外部设备对智能视频处理装置的配置信息，该配置信息用于扩展智能视频处理装置的功能。本发明实施例提供的智能视频处理装置能够接收外部设备对装置的配置信息，并根据接收的配置信息执行相应操作，实现不同的功能。用户或生产商能够根据应用场景的需要向智能视频处理装置中写入不同的配置信息，增加了智能视频处理装置的通用性，避免了随着应用场景的不同而需要开发不同的视频处理装置。

其中，配置信息可以包括以下至少一种：神经网络深度学习模型，适用于特定应用场景的智能视频分析算法代码，多摄像机协作的位置拓扑信息及控制信息，安全控制列表和控制动作指示。用户或生产商可以根据场景的需要选择写入的配置信息，本发明实施例提供的智能视频处理装置支持的配置信息不限于上述列举的类型。

本发明实施例提供的智能视频处理装置中的通信模块可以为无线通信模块和固定通信模块两者至少一种，可以根据应用场景的需要灵活选择合适的通信方式。

在一种可能的实现方式中，智能视频处理装置还包括用于管理智能视频处理装置的数据和系统安全的安全与控制模块。在安全与管理模块存储有安全控制列表，该安全控制列表为所述智能视频处理装置对外部设备的管理列表，包括允许访问所述智能视频处理装置系统数据的外部设备的信息；在智能视频处理装置的数据传输路径上设置有至少一个安全控制点，用于对传输的数据进行鉴权操作。通过设置安全控制列表和安全控制点，可以对传输到外部设备的数据和外部对系统的操作进行鉴权，以防止数据传向未授权的设备，或者智能视频处理装置被非法劫持。

在一种可能的实现方式中，本发明提供的智能视频处理装置还可以支持根据需要扩展新的硬件模块，智能视频处理装置中包括扩展接口，用于接入至少一个扩展模块，并实现智能视频处理装置与扩展模块之间的通信。智能视频处理装置与扩展模块之间可以实现双工通信和控制。扩展模块可以为新的通信模块、新的存储模块或者新的智能模块，可以根据实际场景的需要选择扩展模块。通过设置扩展接口，使智能视频处理装置能够支持扩展新的模块，增强了智能视频处理装置的性能，使智能视频处理装置能够实现更多不同的场景。

在一种可能的实现方式中，将至少一个扩展模块的硬件/软件驱动程序安装到智能视频处理装置的系统中，使扩展模块成为智能视频处理装置的一部分。

在一种可能的实现方式中，智能视频处理装置上设置有API接口层，扩展模块通过将其自身的硬件/软件驱动程序安装到API接口层中，以实现扩展模块对智能视频处理装置的访问和/或实现对其他扩展模块的控制。

在一种可能的实现方式中，扩展模块中存储有为特定视频监控场景而开发的算法代码。在原有智能视频处理装置的基础上，针对不同的监控场景增加对应的扩展模块，增强了智能视频处理装置的通用性，而不需要针对不同的监控场景定制性开发不同类型的智能视频处理装置，能够显著减少开发成本。

在一种可能的实现方式中，智能视频处理装置中的图像获取模块包括镜头、图像采集模块和图像处理模块。此时，智能视频处理装置为智能摄像机，相比于传统摄像机，其支持可定义性和可扩展性，可以根据应用场景的不同而扩展新的功能。

本发明实施例提供的智能视频处理装置支持用户根据需要输入不同的配置信息，并且支持扩展新的硬件模块。本发明实施例提供的智能视频处理装置在实现基本智能分析功能的基础上，能够根据用户的特定需求扩展其他功能，以及根据需要扩展多个新的硬件模块，从而提供了一种开放式和可扩展的智能视频处理装置，使用户能够根据特定需求自主开发智能分析应用，并根据不同应用场景选择扩展新的模块，增强了智能视频处理装置的兼容性并扩大了装置的适用范围。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

图1为本发明实施例提供的一种可能的智能视频处理装置结构示意图；

图2为本发明实施例提供的另一种可能的智能视频处理装置的结构示意图；

图3为本发明实施例提供的一种智能模块的系统架构示意图；

图4为本发明实施例提供的一种智能视频处理装置与扩展模块的连接示意图；

图5为本发明实施例提供的又一种智能视频处理装置与扩展模块的连接示意图；

图6为本发明实施例提供的又一种智能视频处理装置与扩展模块的连接示意图；

图7为本发明实施例提供的又一种智能视频处理装置与扩展模块的连接示意图；

图8为本发明实施例提供的智能视频处理装置可能的工作流程图；

图9为本发明实施例提供的智能视频处理装置的一种应用场景；

图10为本发明实施例提供的智能视频处理装置的又一种应用场景；

图11为本发明实施例提供的智能视频处理装置的又一种应用场景；

图12为本发明实施例提供的一种编解码方式；

图13为本发明实施例提供的又一种编解码方式；

图14为本发明实施例提供的智能视频处理装置中的控制点示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。方法实施例中的具体操作方法也可以应用于装置实施例中。

当前视频监控广泛应用于工业、安保以及日常等领域，视频监控摄像机也一直在追求智能化。当前的智能摄像机仅能适用于特定的应用场景，智能摄像机的开发也具有很强的对应性，不同的监控场景需要实现不同功能的智能摄像机，而无法通用，不具有兼容性。这样，智能摄像机的开发将耗费巨大，而开发出来的智能摄像机也不具有兼容性。因此，为解决现有智能摄像机的不可兼容性以及计算能力有限等问题，本申请实施例提供了一种支持可定义的智能视频处理装置，支持用户根据实际应用场景的需要对智能视频处理装置的功能进行软件和/或硬件上的开发和扩展，从而增强智能视频处理装置的通用性。

如图1所示，为本发明实施例的一种可能的智能视频处理装置的结构示意图。其主要包括图像获取模块110、智能模块120、通信模块170，其他模块或部件在本发明实施例中都是可选的。

本发明实施例提供的智能视频处理装置100中的图像获取模块110用于获取图像和/或视频数据以供智能视频处理装置处理和分析。根据应用场景的不同，图像获取模块110获取图像的方式有所不同。在一类场景中，智能视频处理装置100可以与各种不同的前端设备连接，前端设备可以将采集到的图像/视频数据通过传输给智能视频处理装置100进行进一步分析与处理，此时图像获取模块110的物理形态可以表现为与前端设备连接的接口。以下给出本发明实施例提供的智能视频处理装置100的几个具体应用场景。

场景1：在某些门禁摄像头的应用场景中，同时需要门禁系统具有人脸检测和告警等功能。此时，可以根据检测要求准确度和目标范围的不同，提供对应的智能视频处理装置100并进行针对性应用开发。此时，门禁摄像头与相应的智能视频处理装置100组合成为能够实现更多功能的智能门禁。

场景2：在手机终端外部连接智能视频处理装置100，手机终端作为前端图像/视频获取设备与智能视频处理装置100协作组成更大容量并且可以实时记录分析的智能监控系统。智能视频处理系统结合手机获取图像/视频的灵活性，大大扩展了智能视频监控的应用场景。

场景3：特种前端设备通常适用于对的特定场景的监控，具有特定传感器(烟雾、红外、湿度、黑光等)以及震动、声光告警等功能，根据警务或其他应用场景需要，通过将特种前端设备与智能视频处理装置100连接并开发对应的应用，可以实现特种前端设备的本地快速分析，特种前端设备与智能视频处理装置100共同组成智能前端视频分析系统。

上述场景中，前端设备与智能视频处理装置100连接的接口可以为有线或无线通信方式，有线方式可以包括以太网技术中的TCP/IP通信技术、UDP技术或标准USB端口、COM接口及其他类似的标准端口等方式，无线通信方式可以包括WiFi、蓝牙、ZigBee或UWB等技术，可以根据实际应用场景及前端设备的硬件形态选择对应的连接方式。

在另一种应用场景中，智能视频处理装置100自身设置有镜头用于采集图像和/或视频数据，此时图像获取模块110可以为镜头、图像采集模块以及图像处理模块的总称，此时，智能视频处理装置表现为一种特殊的可定义智能摄像机。如图2所示，为本发明实施例提供的一种可定义智能摄像机200的结构示意图，该智能摄像机200是将作为直接采集图像和/或视频数据的普通摄像机与智能视频处理装置100集成在一起，形成既能采集图像/视频数据，又能智能处理视频数据，还能支持可根据实际需求自行定义智能分析算法的可定义智能摄像机200。本发明实施例提供的可定义智能摄像机200是现有普通摄像机与智能视频处理装置100的结合，其主要构件与智能视频处理装置100基本类似，其中镜头A、图像采集模块210以及图像处理模块220三部件对应于智能视频处理装置100中的图像获取模块110，用于采集图像和/或视频数据。镜头A有固定光圈、自动光圈、自动变焦、自动变倍等种类，图像采集模块210用于将捕捉到的光信号记录下来，视频采集模块210通常为各种光学传感器，例如互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)、电荷耦合器件(Charge-coupled Device，CCD)或实现相似功能的器件。

可选地，在某些场景中，图像采集模块210采集到未经处理的视频流，需要借助图像处理模块220对该视频流进行处理。图像处理模块220一般具有A/D转换、信号处理和图像缩放等功能，其中A/D转换和信号处理技术是技术人员公知的。在一些实施例中，例如当智能摄像机200中的视频采集模块210是CMOS传感器时，视频采集模块能够实现A/D转换功能，因此图像处理模块220中不需要具备A/D转换功能。经A/D转换和信号处理产生的结果是数字图像数据，根据一个实施例，该数字图像数据在被发送到智能模块230之前，视频和图像处理模块220将该数字图像数据处理为至少一个特定大小的图像。在再一实施例中，不需要对来自前端的图像和/或视频执行任何缩放或大小调整。

本发明实施例提供的智能视频处理装置100中的智能模块120主要是用于对收到的视频或图像数据进行智能分析和处理，以及管理和控制智能视频处理装置100中的其他模块。智能模块120可以根据外界发送的配置信息执行相应操作并实现相应的功能。

智能模块120所进行的智能分析和处理能够给出被监控场景所发生的异常事件的完整认定结果，视频监控系统的其他后端设备不需要对该完整认定结果进行后处理，该完整认定结果就能够提供与该异常事件相关的完整信息。智能模块120在前端完成对视频的处理和分析，使视频处理更为及时，并且避免了将所有视频数据传输到后端设备处理，节约了带宽。

智能模块120可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，人工智能(Artificial Intelligence，AI)芯片、图形处理器(Graphics Processing Unit，GPU)，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。所述处理器也可以是实现计算功能和/或控制功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合，或者CPU跟GPU或AI芯片的组合等等。

通信模块170用于接收外部对智能视频处理装置100的定义内容，即对智能视频处理装置100的配置信息，还用于将智能视频处理装置100的数据发送给外部设备。所述配置信息用于扩展智能视频处理装置100所能实现的功能，智能视频处理装置100在接收到配置信息之后可以解析接收到的配置信息，并按照配置信息的内容执行相关操作以实现配置信息的功能。此处的配置信息不仅可以包括针对各种视频监控应用场景开发的智能视频分析软件或算法代码，也可以包括神经网络深度学习模型或者某些应用场景下需要多摄像机协作的算法及控制信息，还可以为对智能视频处理装置100内部数据安全的控制信息等。

用户或设备生产商可以将根据具体应用场景开发的视频处理软件、算法，或者其他控制信息从通信模块170写入智能视频处理装置中，使智能视频处理装置能够满足该应用场景的需求，实现智能视频处理装置的功能可扩展性。

通信模块170也可用于将摄像机100的一些关键识别结果及时预警和通知到远程的用户，包括触发短信或触发有风险操作的鉴权认证等一些需要的摄像机和网络协同动作。

本发明实施例中的通信模块170可以为无线通信模块，其中包括用于传输信令的信令面协议栈和用于传输数据的用户面协议栈。本发明实施例中的通信模块170还可以为固定通信模块，其中包括用于传输控制信息的管理端口和用于传输数据的数据传递端口。

作为具体实现方式，无线通信模块可以为WiFi芯片、ZigBee芯片、蓝牙芯片或者支持2G/3G/4G/5G的基带芯片，固定通信模块可以为支持ADSL(Asymmetric DigitalSubscriber Line，非对称数字用户环路)、xPON(x Passive Optical Network，无源光纤网络)、PTN(Packet Transport Network，分组传送网)或其他有线接入技术的部件。随着网络演进和技术发展，也可能出现其他接入方式，无线通信模块或固定通信模块可以为支持其他接入方式的部件，此处不做限定。可以根据应用场景的需求，选择智能视频处理装置100中的通信模块170，智能视频处理装置100可以选择安装无线通信模块，也可以选择安装固定通信模块，还可以选择同时安装无线通信模块和固定通信模块。

可选地，本发明实施例提供的智能视频处理装置100还可以包括编解码模块150。编解码模块150被布置为针对连续的视频序列、针对有限的视频序列、针对静态图像或针对图像/视频流将该数字图像数据编码为多种已知格式中的任意一种。举例来说，可以将图像信息编码为MPEG1、MPEG2、MPEG4、JEPG、MJPG、位映像等再对外传输。编解码模块150还用于对与外部设备通信的数据进行信道纠错编解码，以减少误码率和数据错误。编解码模块150还可以用于根据输出接口的网络质量条件(带宽、抖动或时延等)进行反馈式编码，能够根据当前的网络质量自适应选择合适的编码方式。可选地，也可以将编解码功能集成在智能模块120当中。

可选地，本发明实施例提供的智能视频处理装置100还可以包括存储模块130，用于存储智能视频处理装置100进行智能分析所需要执行的程序代码以及接收的视频或图像数据。根据实际应用场景的需要，本发明实施例提供的智能视频处理装置100中的存储模块130是可以扩展的，根据需要，可以通过扩展接口a再扩展至少一个存储模块。存储模块130可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasableprogrammable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

与现有的智能视频分析设备不同的是，本发明实施例提供的智能视频处理装置100具有可定义性以及可扩展性。实际应用中的场景千差万别，需要的视频处理也各有不同，本发明实施例中的智能视频处理装置能够支持对智能视频处理装置进行再定义，而不仅仅局限于某一具体应用场景，设备制造商或用户可以通过通信模块170向智能视频处理装置100写入为某特定应用场景定制开发的应用或算法。

为使本发明实施例提供的智能视频处理装置100具有可定义性，本发明实施例中提供了一种支持可定义的智能模块120。如图3所示，本发明实施例中的智能模块120从硬件到软件可以分为四层，分别为智能模块硬件层121、驱动程序层122、软件调度层123以及可定义软件和算法层124。

智能模块硬件层121为智能模块120的硬件实体，如前所述，智能模块120最基本的功能为实现计算和控制功能，可以采用不同的硬件来实现，如CPU、DSP、ASIC或FPGA等，可以根据实际场景的需要灵活选择。

智能模块120连接到智能视频处理装置100系统中并正常工作，需要安装对应的驱动程序，驱动程序层122包括了支持智能模块120连接在智能视频处理装置100系统中并保障其正常工作所需要的所有驱动程序。安装对应的驱动程序之后，系统可以控制和调用智能模块120，以实现智能模块120的功能。

软件调度层123用于实现在智能模块120工作时，对智能模块120上运行的各种程序之间的协调和调用。在某些应用场景中，可能涉及到运行多个程序，但智能模块120的运算资源有限，因此，需要软件调度层123来协调各程序的运行先后顺序。

可定义软件和算法层124为智能模块120中可以运行的软件和执行的算法的总称，用户可以根据不同的应用场景在智能模块120中写入相应的软件和算法。同时，还支持可定义软件和算法层124中的应用软件和算法的相互调用，即一个软件或算法可以发布其能够实现的功能块，并且其他的软件或算法可以使用其发布的功能块，这种应用软件和算法的调用机制使得用户能够根据应用场景，方便地替换可定义软件和算法层中的软件或算法。

通过设置上述四层，智能视频处理装置100能够实现可定义性，可以根据不同的应用场景向智能视频处理装置100中写入需要的配置信息，扩展了智能视频处理装置100的通用性和适用范围。

本发明实施例提供的智能视频处理装置100还设置有扩展接口a，当智能视频处理装置100的硬件能力不足以满足应用场景的需求时，用户可以通过扩展接口a向智能视频处理装置100扩展新的硬件模块以满足计算需求。本发明实施例中的扩展模块可以为新的通信模块、新的存储模块或新的智能模块等。

在某些场景中，原本智能视频处理装置的通信模块中可能只支持有线通信，在有线通信网络通信拥塞或中断时，可以通过扩展接口扩展新的通信模块，扩展的通信模块为支持无线通信的通信模块，具体地，扩展的通信模块可以支持WiFi通信、ZigBee通信、蓝牙通信或者2G/3G/4G/5G等通信方式。

在某些场景中，智能视频处理装置需要存储更多的图像数据，但原有的智能视频处理装置无法支持这样的需求，此时可以选择通过扩展接口扩展更多的存储模块以增加智能视频处理装置的存储能力。扩展的存储模块可以为只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random accessmemory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

在另一些应用场景中，扩展模块12N可以为存储有为特定应用场景而开发的应用或算法的智能模块，安装有该扩展模块的智能视频处理装置100能适用于相应特定应用场景，而不需要进行二次开发。扩展模块也可以是单纯地为智能视频处理装置100提供计算能力的模块，其根据智能模块120的控制而进行计算。无论扩展了何种智能模块，用户都可以通过通信模块170对智能视频处理装置100进行二次开发，使智能模块120与扩展模块12N完成用户定义的应用或计算。可选地，扩展的智能模块可以为嵌入式微处理器、通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件，也可以为AI芯片、GPU或其他智能处理器，还可以为上述部件的任意组合。

在控制方面，本发明实施例提供的智能视频处理装置100的智能模块120对其他模块进行控制。或者，可选地，在增加了扩展模块之后，经智能视频处理装置100的授权，也可以由其中一个扩展模块12N实现对其他模块的控制。根据本发明实施例，通过在扩展模块12N中设置中继站(例如hub)，扩展模块12N能够作为整个智能视频处理装置100的一部分来使用，而不仅仅是智能视频处理装置100的一个外设部件。

在软硬件的安装和连接方面，本发明实施例提供的智能视频处理装置100可以采用特定标准和/或协议，实现扩展模块12N安装在智能视频处理装置100上。具体地，智能视频处理装置100中设置有API接口层，新的扩展模块12N通过将自身的硬件/软件驱动程序安装到智能视频处理装置系统中的API接口层中，以实现智能模块120对扩展模块12N的控制以及相互的数据传输。同时，扩展模块也可以通过软件对智能模块120进行访问并对整个智能视频处理装置100系统进行控制。智能视频处理装置中100的扩展接口a用于为扩展模块12N与智能视频处理装置100提供连接接口，使智能视频处理装置100能通过扩展接口a实现与扩展模块100的通信。在硬件接口方面，扩展接口a可以为有线或无线形式，可以独立设置，也可以集成在通信模块170上。扩展接口a可以采用TCP/IP或UDP等技术，也可以采用标准的文件传输接口，例如IDE、PCI/PCI-E、SCSI、USB或SATA接口等，还可以采用WiFi、ZigBee或蓝牙等无线通信技术，可以根据应用场景的不同自由选择，本发明在此不做限定。

在电源供电方面，扩展模块12N既可以由智能视频处理装置120供电，也可以由具有供电功能的扩展模块提供。并且，所有模块(包括扩展模块12N)均可以具有待机功能，同时，还可以由智能模块120控制对其他模块(包括扩展模块12N)的供电。其中，被安装在智能视频处理装置100系统中的驱动程序中可以包含扩展模块12N的供电控制信息。

此外，本发明实施例提供的智能视频处理装置100，能够将需要的智能分析功能交给扩展的智能模块来实现，最大程度减少了智能视频处理装置100的计算压力，使智能视频处理装置100的基本功能和硬件大大简化，能够减小智能视频处理装置100的尺寸。

以下给出本发明实施例提供的可扩展智能摄像机200和智能视频处理装置100的一些实例，以进一步阐明本发明的特点，其中主要示出智能视频处理装置与扩展模块之间的连接方式。

实例1：图4显示了利用以太网技术中的TCP/IP通信技术的数据传输方式以及模块控制方法。如图4所示，智能视频处理装置100与扩展模块12N之间采用以太网技术的TCP/IP技术实现数据传输。此外，通过在扩展模块12N中采用hub，扩展模块12N可以作为智能摄像机200或智能视频处理装置100中的节点使用。这样，就可以在各个扩展模块之间实现自由连接。

如图4所示，智能视频处理装置100上的扩展接口a具有若干接口层，其中包括API接口层。当有新的扩展模块12N接入时，通过API接口层，智能视频处理装置100利用以太网传输技术接收扩展模块的安装程序并识别扩展模块12N，并且在智能视频处理装置系统中安装扩展模块12N的驱动程序，这样可以实现智能模块对扩展模块12N的控制。此外，智能视频处理装置100与扩展模块12N之间的数据传输除了采用TCP/IP技术外，还可以采用例如UDP技术等其他技术实现。

实例2：图5显示了利用标准USB端口实现智能视频处理装置100与扩展模块12N之间的数据传输以及模块控制方法。如图5所示，智能视频处理装置100上的扩展接口a具有若干接口层，其中包括OS/Core接口层，在该OS/Core接口层中预先安装USB芯片驱动程序；同时，扩展模块上设置有USB芯片。因此，当有新的扩展模块12N接入时，智能视频处理装置100通过OS/Core接口层中的USB芯片驱动程序识别和驱动扩展模块12N中的USB芯片，将扩展模块的数据转换成智能视频处理装置100可识别的数据，并且接收来自扩展模块12N的数据流和/或发送数据流至扩展模块，从而实现对扩展模块的控制。此外，通过在扩展模块12N中采用hub，扩展模块12N可以作为智能视频处理装置100中的节点使用。这样，就可以在各个扩展模块之间实现自由连接。智能视频处理装置100与扩展智能模块12N之间的数据传输除了采用标准USB端口外，还可以采用其他具有类似芯片的标准端口实现。

实例3：图6显示了利用无线连接技术实现智能视频处理装置100与扩展模块12N之间的连接。如图6所示，智能视频处理装置100中设置有电源无线对接口和接入端，扩展模块12N上设置有电源无线对接口，客户端以和接收器。当扩展模块12N接入智能视频处理装置100时，智能视频处理装置100经由扩展模块12N的接收器为扩展模块供电。扩展模块12N可以作为供电接收器，也可以作为无线供电发射器，从而实现无线供电。

对于数据传输，智能视频处理装置100上具有接入端，而扩展模块12N上具有与接入端对应的客户端，通过接入端和客户端之间的连接以实现数据传输。同时，扩展模块12N上的接入端可以与另一扩展模块上的客户端连接以实现扩展模块之间的数据传输。本发明中，无线连接技术还可以包括WiFi，蓝牙，IrDA，ZigBee和UWB等技术。

实例4：图7显示了采用新技术(例如Thunderbolt技术)实现扩展模块菊连系统架构。如图7所示，智能模块120作为控制模块，其数据传输只要通过PCI-E总线进行数据传输，在智能视频处理装置100中的其他模块(如存储模块130、编码模块150等)内部数据处理传输均经过PCI-E总线传输。通过Thunderbolt技术及相应接口，扩展模块12N可以与智能模块120进行连接，而扩展模块之间也可以通过Thunderbolt技术连接。

本发明实施例提供的智能视频处理装置100和可定义智能摄像机200还包括新的扩展模块12N的供电确定机制，通过对新的扩展模块12N的设备ID中的功耗信息进行识别，从而确定由智能视频处理装置或由与新的扩展模块12N相连的另一扩展模块进行供电。图8示出了一个新的扩展模块12N连接到可扩展智能摄像机或智能视频处理装置中的设备ID识别流程。

如图8所示，当需要与一个新的扩展模块12N建立连接时，智能视频处理装置会识别该扩展模块12N的硬件ID并且建立与该扩展模块的通信。接着，通过在系统(指的是可扩展智能摄像机或智能视频处理装置的系统，下同)中搜索已注册的驱动程序，与该扩展模块12N的驱动程序进行比对，确认该扩展模块12N是否为新的扩展模块。如果不是，则在该扩展模块12N上安装已注册的驱动程序，从而启动该扩展模块12N，并结束本次连接操作。如果是，则建立与新的扩展模块12N的通信，并且从该新的扩展模块12N中读取该扩展模块的信息(如功率信息等)。接着，判断对该新的扩展模块12N的供电对于与该新的扩展模块连接的智能视频处理装置或另一扩展模块来说是否足够。如果供电不足，系统会取消与该新的扩展模块12N的连接并提示该新的扩展模块12N接入电源，然后结束本次连接操作。如果供电充足，系统会在新的扩展模块12N的存储器中寻找该扩展模块的驱动程序。在上述步骤中，如果找不到该扩展模块12N的驱动程序，则提示没有找到该扩展模块的驱动程序，此时，用户可以从网上下载该扩展模块的驱动程序或者手动安装该扩展模块12N的驱动程序，然后在该扩展模块上安装已注册的驱动程序，进而启动该扩展模块12N，最后结束本次连接操作。在上述步骤中，如果找到该扩展模块的驱动程序，系统会自动下载并安装该扩展模块12N的驱动程序。此时，如果该新的扩展模块12N具有操作系统子系统，则会安装该子系统的应用软件。最后，结束本次连接操作。

以上内容主要介绍了本发明实施例提供的智能视频处理装置和智能摄像机的组成结构，以及扩展模块12N与智能视频处理装置100或智能摄像机200的连接及工作方式，下面将介绍本发明实施例提供的可定义智能摄像机和智能视频处理装置的具体应用场景，以进一步说明本发明的有益效果。

应用1：在某些场景中，需要对某目标进行联动抓拍。当监控范围较大的智能摄像机发现锁定目标时，需要通知附近的其他智能摄像机进行联合抓拍，可以根据需要自由设定智能摄像机之间的联动规则，并通过通信模块将该联动规则写入可定义智能摄像机中。

图9示出了应用1场景下各装置间各自的功能及交互过程。当新的可定义智能摄像机1接入系统时，智能摄像机1告知附近的智能计算节点其位置信息，此处的智能计算节点可以设置在某智能摄像机上或者某边缘计算节点上。智能计算节点在接收到新接入的智能摄像机1的位置信息后，根据经纬度坐标信息计算位置，并告知监控范围较大的智能摄像机A在监控区域内识别到人脸目标，则触发智能摄像机1或2抓拍。智能摄像机A登记协同抓拍的规则以及触发抓拍的监控区域，当检测到人脸目标时，则触发智能摄像机1或2抓拍。如果抓拍到的人脸目标为同一目标，则智能摄像机A将其标注为同一目标，并管理触发抓拍的总量和抓拍的最优角度。当智能摄像机1或2抓拍到人脸后，将抓拍到的人脸图像及对应的ID上传给智能计算节点。

应用2：在某些交通监控的场景下，需要增加该视频监控区域内新的交通违章事件的监控，因此需要注入新的交通规则判断功能，以及相应的事件记录和图像抓拍功能。用户可以根据应用场景的需要，将实现的新的功能的算法通过通信模块写入可定义智能摄像机或智能视频处理装置中。这样，当出台新的交通规则之后，就不需要将监控设备全部更换，而仅需在原有设备基础上即能适用新的交通规则，能够节省大量成本。

图10示出了应用2中对智能摄像机定义规则以及智能摄像机的工作过程。智能计算节点往智能摄像机A中写入定义的规则对应的算法，智能节点要求摄像机A完成违反停车新规则的抓拍，即通知监控图像局部区域成为黄色禁止停车区域，需要识别和抓拍停留超过十分钟的车辆并记录实时时间。若摄像机A检测到自己的智能分析能力不足，则可以请求智能计算节点辅助进行车牌识别计算。智能计算节点检测本地智能模块，若不够，则可以通过扩展接口a扩展更多智能模块。智能摄像机A在检测和抓拍到违章车辆图像之后，将图像上传并标明实时时间，智能计算节点在收到图像后识别车牌等车辆信息并记录结果和时间。

应用3：当前智能视频监控场景中大量涉及人脸识别、车辆识别、姿态识别和行为分析等需求，现在通常是采用深度学习来提升识别、分析的性能。深度学习算法是用来建立与模拟人脑进行分析学习的神经机制，构建多隐层的网络结构模型，通过对大量数据进行训练，获得具有代表性的特征信息，实现对图像、声音、文本等数据的解释和预测，提高分类的预测的准确性。在图像识别领域，基于深度学习模型特别是卷积神经网络(ConvolutionNeural Network，CNN)模型，应用比较广泛。深度学习算法通常包括三个步骤：数据集构建、模型训练及生成，以及图像分类识别。深度学习神经网络模型的训练和生成是建立在对大量图片特征进行学习的基础上实现的，性能良好的神经网络模型是建立在大量适当的图像数据上的，因此首先需要构建合适的图像数据库以供神经网络进行学习。模型和参数的训练与生成主要包括训练及测试两个过程。图像数据集构建之后，经过数据转化作为卷积神经网络的底层数据输入。卷积神经网络对数据进行卷积、池化等操作之后，实现网络模型输出。观察描述模型性能优劣的参数等结果，调整网络模型参数，知道输出的性能参数收敛并且趋于一个稳定的状态，模型训练结束，提取到的图像特征存储于该模型中。模型训练生成后，需要测试模型的应用性能，可以从测试图片集中提取图片，调用已经训练好的分类模型，将测试图片数据通过网络模型，最后比对测试数据分类的正确率。若精度较低，则说明训练得到的网络模型没有达到预期，即深度神经网络参数并不是最优解，需要继续优化网络模型提高其测试准确率。优化神经网络模型的方法主要有以下三种：1、扩展训练的图像数据集；2、模型网络结构的变动；3、模型网络参数的调整。在获得了性能优越的神经网络模型和参数之后，就可以将其用于实际的图像识别应用中。在应用阶段，首先将监控场景中的目标进行预处理，提取可以应用于识别的特征信息作为神经网络的输入，利用卷积神经网络模型对其进行识别与分类等操作。当深度学习算法的性能得到了提升，需要更新所需的神经网络模型。某深度学习算法的层数从20层增加到30层，其中部分网络层次的神经元数目扩充，深度学习算法的参数来自各地学习训练后的最新参数，用户可以向智能视频处理装置写入视频监控场景需求相关的神经网络模型或最新的深度学习参数等信息。若智能视频处理装置相对于新的深度学习算法的计算能力不足，则需要增加智能模块，提高智能视频处理装置的计算能力以满足深度学习计算能力要求，扩展新的智能模块的方法已经在上文阐述，在此不再赘述。

应用4：某些场景中，固定网络出现故障，需要通过无线网络接入方式传输图像或视频数据。当固定网络出现拥塞时，调节参数，使编码时对监控场景静止图像信息高压缩比压缩，清晰呈现变化部分。

图11示出了应用4中由于网络拥塞而调节编码参数的工作过程。若固定网络出现拥塞，则智能计算节点通知可定义智能摄像机A以无线接口上传数据，并规定上传速率。智能摄像机A根据H.264、H.265或中国国标、行标等编解码方式，基于MPEG原理调节帧速率。进一步地，智能摄像机A可以调节编码参数，如加强非静止区域、弱化静止背景区域的编码等。完成编码之后，智能摄像机A选择无线接口上传数据。在上传数据前，智能摄像机A还可以选择检查安全参数，如目标地址是否在授权地址列表，是否需要加密传输或选择去除隐私传输等。智能计算节点在接收到上传的数据之后进行解码以及后续处理。

目前各种编码算法可以基于MPEG原理对视频编码速率做动态速率调整。针对视频监控的编码改进可以结合两个主要方向：

方向一：视频监控的静止背景往往长期不变，该场景的编码可以通过帧间变化识别为长期静止区域，而降低编解码速率，突出其他区域码率。如图12示出了该工作过程：当图像编码块输入时，通过帧间对比识别长期静止的背景区域；检测是否存在静止区域，并且静止区域无像素变化(或仅仅光线变化)；如果不存在静止区域，则按照原有编码方式编码；如果存在静止区域，则传递背景标识ID，在解码区直接提取该背景帧对应像素块，对于光线变化场景，可以每隔若干帧再重新定义一个背景帧和新的ID。

方向二：传输安全性问题，图13示出了在没有加密情况下如何去除视频中的隐私再传输的过程：在某些监控场景下，需要去除视频中的隐私再传输，如仅需要观察人群密度或监控老人是否跌倒等场景；若监控场景有去除隐私的需求，则选择使用哪种去除隐私的方式，如无面部详细信息的热力图，或在面部自动打马赛克；最后，分别在本地存储原始的视频数据，待网络条件好时完整发送，以及去除隐私信息并上传视频。

需要说明的是，虽然本发明实施例仅描述了在上述应用场景中采用可定义智能摄像机A、可定义智能摄像机1或2，但这些智能摄像机的功能同样可以由普通摄像机与智能视频处理装置结合来实现。

作为一种可选方式，本发明实施例提供的智能视频处理装置100中还设置有管理和安全模块160。管理和安全模块160用于管理智能视频处理装置100的数据安全，防止互联网黑客攻击智能视频处理装置100以获取图像/视频数据或智能分析结果。管理和安全模块160可以为独立的硬件实体，也可以将其功能集成在智能模块120或扩展模块上，此时管理和安全模块160仅仅作为一种逻辑上的部件，而不具有独立的硬件实体。

为防止互联网黑客攻击，本发明实施例增加安全控制列表和安全控制点，并可以通过无线网络的信令或固定网络的管理面远程设置或二次认证许可，本发明实施例通过由通信模块接收的控制流以控制数据流的目标地址列表，使数据流不被传往非法攻击的地址。管理和安全模块160中可以存储有安全控制列表，用于管理智能视频处理装置100的数据流向，以及用于处理与鉴权相关的密钥计算等。

本发明实施例中的安全控制列表是指系统对外部设备的管理列表，该列表中可以包括允许访问系统数据的外部设备，或允许调用系统硬件的设备，或系统允许的数据发送目的地址。安全控制列表记载的可以是任意的、能表征外部设备身份的信息，如外部设备的MAC地址、IP地址或其他依据国家相关标准的编号等。

安全控制点是指在智能视频处理设备100系统中的数据传输路径上选择某些节点，对经过该节点的数据或控制信息进行管理，判断传输的数据是否符合系统规定的安全性。鉴权和控制是系统在安全控制点进行的两类最主要的操作，用户可以根据实际需要自定义安全控制点的数量以及各安全控制点需要进行的操作。

安全控制列表设置方式包括以下至少一种：从通信模块向智能视频处理装置写入许可地址列表；从通信模块写入鉴权认证的密码/秘钥/机制并在本地验证，该验证过程可以由管理和安全模块160执行，必要时也可由智能模块120单独或协同做复杂的安全运算；或者申请连接的设备需要经过许可后才可以从通信模块读出数据，可以通过通信模块在外部经过二次鉴权或管理员许可确认。

如图14所示，智能视频处理装置100的系统中设置了两个安全控制点，下面以X1控制点为例，示例性说明各安全控制点能实现的功能以及工作方式。

系统在X1控制点主要进行两类操作：鉴权和控制。当数据流经过X1控制点时，可以在X1控制点获取该数据流的目标地址，并判断是否需要传输该数据流，该数据流是否需要进行加密传输，以及选择是通过有线传输还是无线传输。此外，还可以在安全控制列表中查找该数据流的目标地址是否鉴权通过，若目标地址并未记载在安全控制列表中或记载于安全控制列表中的禁止传输列表，可以通过通信模块在外部经过二次鉴权或经由操作人员许可确认。通过设置数据流传输的鉴权步骤，可以最大限度防止数据流传输到非法目的地址，提高数据安全性。

系统还可以在X1控制点执行对系统其他模块的控制和管理操作，如当接收到从通信模块传来的外部配置信息时，X1控制点可以将系统的工作模式以及相应的控制信息通知给其他模块，以使各模块执行对应的操作。可定义的系统工作模式可以为关键图像抓拍、夜间模式、省电模式、低带宽压缩传输、去隐私模式等。

在X1控制点还可以判断在向存储模块130写入数据时是否需要采用本地用户密码加密写，在X1控制点还可以记录远端设备对智能视频处理装置100的访问和操作记录，以用于对设备风险的判断或事后追查无权操作者等。对于某些可能会引起系统风险的操作，X1控制点还可以判断该操作是否经过鉴权，必要时还可以通过管理和安全模块160进行二次鉴权或要求操作人员人工确认。

本发明实施例中设置管理和安全模块160以及安全控制列表和安全控制点的目的在于，对智能视频处理装置100的数据流向进行鉴权以及在外部设备对智能视频处理装置100或可定义智能摄像机200进行操作时判断是否得到授权，通过这两方面以保障智能视频处理装置100或可定义智能摄像机200的数据安全以及系统安全，防止数据流向未被授权的目标地址以及外部设备远程非法控制智能视频处理装置100或可定义智能摄像机200。

图14中的其他几个安全控制点实现的功能和执行的操作与X1控制点类似，用户可以根据实际需要灵活配置，在此不再赘述。

综上所述，本发明实施例提供了一种智能视频处理装置100，其主要包括图像获取模块110，智能模块120，扩展接口a以及通信模块。本发明实施例中的智能模块不仅起到智能分析的作用，还起到整个装置的控制中心的作用，根据需要通过智能模块扩展接口将新的扩展模块安装到智能视频处理装置上，可以使得新的扩展模块成为装置的一部分，同时还可以通过通信模块向智能视频处理装置中写入各种控制信息，使得智能视频处理装置能够实现更多的功能。智能视频处理装置可以与多种前端设备组合，构成能够适应不同场景需要的智能视频监控系统。

在上述智能视频处理装置的基础上，本发明实施例还提供了一种可定义智能摄像机。在可扩展智能摄像机中，其将上述智能视频处理装置集成于摄像机中，并增加了用于视频采集的前端模块，具有上述智能视频处理装置的功能，能够根据不同应用场景的需要开发对应的应用以及增加扩展模块以加强智能摄像机的算力。

也就是说，本发明实施例的智能视频处理装置和可定义智能摄像机提供了一个开放平台，使得硬件制造者不需要针对不同的场景或者不同的应用需求而开发定制的智能摄像机，而仅需要着眼于相应的软件的开发，可以将相应软件写入智能视频处理装置或可定义智能摄像机中。除此之外，硬件制造者或用户还可以基于特定协议或标准选择扩展新的智能模块，从而进一步扩展智能视频处理装置或可定义智能摄像机的计算能力和应用场景。本发明实施例提供的智能视频处理装置和可定义智能摄像机增强了硬件的可扩展性，扩大了硬件的适用范围，减少了重复开发硬件的成本。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种智能视频处理装置，其特征在于，所述智能视频处理装置包括：

图像获取模块，用于接收图像或视频数据；所述图像获取模块包括镜头、图像采集模块和图形处理模块；或者，所述图像获取模块与前端设备连接以接收所述前端设备发送的图像或视频数据；

与所述图像获取模块连接的智能模块，用于对所述图像或视频数据进行智能分析和处理；

通信模块，用于接收外部设备对所述智能摄像机的配置信息，所述配置信息用于扩展所述智能摄像机的功能；所述智能模块根据所述配置信息执行相应操作并实现相应的功能；所述配置信息包括以下至少一种：神经网络深度学习模型；适用于特定应用场景的智能视频分析算法代码；多摄像机协作的位置拓扑信息及控制信息；安全控制列表和控制动作指示。

2.根据权利要求1所述的智能视频处理装置，其特征在于，所述通信模块包括无线通信模块和/或固定通信模块。

3.根据权利要求2所述的智能视频处理装置，其特征在于：

还包括安全与管理模块，用于管理所述智能视频处理装置的数据和系统安全；

在所述安全与管理模块存储有安全控制列表，所述安全控制列表为所述智能视频处理装置对外部设备的管理列表，所述安全控制列表包括允许访问所述智能视频处理装置系统数据的外部设备的信息；

在所述智能视频处理装置的数据传输路径上设置有至少一个安全控制点，用于对传输的数据进行鉴权操作。

4.根据权利要求1所述的智能视频处理装置，其特征在于，所述智能视频处理装置与所述至少一个扩展模块之间实现双工通信和控制。

5.根据权利要求1所述的智能视频处理装置，其特征在于，所述至少一个扩展模块被构造成经由所述智能视频处理装置的授权，所述至少一个扩展模块被作为节点以实现对其他模块的控制。

6.根据权利要求1所述的智能视频处理装置，其特征在于，将所述至少一个扩展模块的硬件/软件驱动程序安装到所述智能视频处理装置的系统中，使所述至少一个扩展模块成为所述智能视频处理装置的一部分。

7.根据权利要求1所述的智能视频处理装置，其特征在于：所述智能视频处理装置上设置有API接口层，所述至少一个扩展模块通过将其自身的硬件/软件驱动程序安装到所述智能视频处理装置中的API接口层中，以实现所述扩展模块对所述智能视频处理装置的访问和/或实现对其他扩展模块的控制。

8.根据权利要求1所述的智能视频处理装置，其特征在于，所述扩展模块为通信模块、存储模块或智能模块。

9.根据权利要求1所述的智能视频处理装置，其特征在于，还包括扩展接口，用于为所述智能智能视频处理装置接入至少一个扩展模块，以及实现所述智能智能视频处理装置与所述至少一个扩展模块之间的通信。

10.根据权利要求1所述的智能视频处理装置，其特征在于，所述扩展模块中存储有为特定视频监控场景而开发的算法代码。

11.根据权利要求1-10任一项所述的智能视频处理装置，其特征在于，所述功能包括：人脸检测。

12.根据权利要求1-10任一项所述的智能视频处理装置，其特征在于，所述功能包括：交通规则判断。

13.根据权利要求1-10任一项所述的智能视频处理装置，其特征在于，所述功能包括：车辆识别、姿态识别或者行为分析。