CN111770266B - 一种智能视觉感知系统 - Google Patents

Abstract

本发明提供了一种智能视觉感知系统，包括可变焦距的摄像机和指定监测区域的假目标反馈特征信息库；摄像机以第一分辨率对所述监测区域进行视频图像采集，采用一次目标检测算法，进行区域内一次目标检测，包括：基于假目标反馈特征信息库判断所述指定监测区域是否包含疑似目标；当发现监测区域包含疑似目标时，调整摄像机，以第二分辨率对所述疑似目标进行视频图像采集，采用二次目标检测算法，进行二次目标检测，以确定所述疑似目标为真目标或假目标；当疑似目标为假目标时，根据假目标的信息更新假目标反馈特征信息库；当疑似目标为真目标时，对所述真目标进行跟踪监测。该智能视觉感知系统，提高了系统捕捉环境异常的精度和准确性。

Description

一种智能视觉感知系统

技术领域

本发明涉及安防领域，特别涉及一种智能视觉感知系统。

背景技术

常见的可运动摄像机包括云台摄像机、PTZ摄像机等，它们通常具有水平转动、竖直转动和焦距变化三个控制参数。通过调整这些参数，可运动摄像机不但可以改变焦距，从而获得拍摄场景中目标或区域的不同分辨率信息，并且可以改变角度，从而获得拍摄场景中目标或区域的不同视场方向信息。但是，这些摄像机，拍摄不同区域场景时，都是通过云台来实现摄像机的视场方向控制，而且视场方向位都是预先设置好的，这种方式仅仅实现了一种自动化监测。

多目摄像机是较为常用的摄像设备，多目摄像机的机体上搭载有多个镜头，多个镜头沿着机体的圆周方向分布。目前的多目摄像机的多个镜头通常固定在基座上，进而进行各个角度方向的拍摄。多个镜头所拍摄的图像能合成多目摄像机的全景图像。但是目前这些多目摄像机，主要功能还是实现全景方位视频拍摄，其目标的可发现距离与目标的可辨识距离都较小。如果将这些多目摄像机镜头焦距都加长，则这些多目摄像机体积都比较大，不适合实际场景应用。

现有的视频监控系统多为被动式的监控。这样的系统基本是“监而不控”，出现问题无法做到快速响应；也不能做到有选择性和智能地采集视频数据，系统消耗资源很大，但效率很低。

在监测较大的区域时，广角高清全景摄像机虽然能够看到整个场景宽度，但摄像机所能看清的距离非常有限。在视频中出现需要监控目标时，只能从全景视场方向去寻找和发现目标的细节，这种情况下一般只能得到较为粗略的信息。系统不能自动地对这些目标进行主动的捕捉、追踪、放大和采集，无法得到目标的细节信息。

虽然也有少数智能视频系统可以对目标进行智能识别和跟踪，但它们只能在单个区域上进行，无论是监测区域范围、效率，还是准确度都不理想。同时由于缺少对疑似目标的准确判断，产生了系统额外动作，同时对真假目标没有二次验证，产生很多虚假的报警信息，导致监控人员怠于处理系统报警事件，当危险真正发生时，延误处理时间，导致此类安防系统没有发挥其真正的作用，产生了难以弥补的损失。

发明内容

为了克服现有技术的缺陷，本发明提供了一种智能视觉感知系统，能够实时发现目标、跟踪目标、识别目标并及时告警，提高了系统捕捉环境异常的精度和准确性，弥补了现有技术的缺憾。

本发明提供的一种智能视觉感知系统，其中，系统包括可变焦距的摄像机和指定监测区域的假目标反馈特征信息库；

摄像机以第一分辨率对监测区域进行视频图像采集，对采集的视频图像，采用一次目标检测算法，进行区域内一次目标检测，包括：基于假目标反馈特征信息库判断指定监测区域是否包含疑似目标；

当发现监测区域包含疑似目标时，调整摄像机，以第二分辨率对疑似目标进行视频图像采集，并基于采集的视频图像，采用二次目标检测算法，进行二次目标检测，以确定疑似目标为真目标或假目标；

当疑似目标为假目标时，根据假目标的信息更新假目标反馈特征信息库；

当疑似目标为真目标时，对真目标进行跟踪监测；

第二分辨率大于第一分辨率。

本发明分两次检测出区域中的有价值目标，可以兼顾监控区域的较大场景和目标细节之间的矛盾，通过一次目标检测可以在较大的监控区域中检测出疑似的目标，大分辨率图像上的检测结果往往有较高的准确度，通过二次目标检测可以得到可靠的检测结果。

优选地，目标反馈特征信息库包括假目标的位置信息和假目标特征描述信息；

摄像机以第一分辨率对监测区域进行视频图像采集包括：摄像机以大视野小分辨率对监测区域进行视频图像采集；

一次目标检测包括：基于假目标反馈特征信息库，判断监测区域内的图像特征与该区域的假目标反馈特征描述和位置信息匹配度是否满足指定条件，若满足，则不判为疑似目标；一次目标检测算法包括基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法；

当发现监测区域包含一个或多个疑似目标时，调整摄像机的视场方向和视场角，以第二分辨率对疑似目标进行视频图像采集，包括：以小视野大分辨率依次对疑似目标进行视频图像采集；

二次目标检测算法为与背景无关的目标分类检测算法；

根据假目标的信息更新假目标反馈特征信息库包括：将大分辨率图像下确定的假目标，映射到小分辨率图像中，获取假目标位置信息，并提取假目标特征描述信息，更新假目标反馈特征信息库；

当疑似目标为真目标时，对真目标进行跟踪监测，并输出大分辨率视频数据，输出告警信息和/或目标特征信息；

大视野小分辨率指通过设定PTZ参数，使视频图像覆盖需要监控的区域；

小视野大分辨率指通过调整PTZ参数，使目标缩放到视频图像高度的1/10～4/5。

设定假目标反馈特征信息库，可以有针对性地进行目标筛选，有别于通用的计算模式，可以提高系统捕捉环境异常的准确度，取得了意想不到的效果。二次目标检测时确认疑似目标为假目标时，对假目标进行特征描述，将特征反馈给视频图像目标检测算法，可使得系统对本区域以大视野小分辨率进行一次目标检测时，融合假目标特征，降低假目标再次被误判为疑似目标的概率。随着系统运行时间的增长，假目标特征描述越来越精确，系统再进行一次目标检测的误检概率将会越来越低，准确度会越来越高，系统性能自动得到提升。

本发明既保证能监测尽可能大的区域，又可以保证监测结果的可靠性。而在检测出有用目标后，可以持续跟踪目标的细节。

优选地，本发明提供的一种智能视觉感知系统，其中，小视野大分辨率指通过调整PTZ参数，使目标缩放到视频图像高度的1/6～2/3，并调整到视野中心。

优选地，本发明提供的一种智能视觉感知系统，其中，目标特征信息包括表征目标具体分类的特征信息和/或表征目标具体身份的特征信息；表征目标具体分类的特征信息包括人、动物、车和/或车型、飞行物、指定异物中的一种或多种，其中指定异物包括自然掉落物和/或扩散物、人类遗落物中的一种或多种；表征目标具体身份的特征信息包括人的身份、动物的种类、车的车牌、其它异物种类中的一种或多种。在现实生活中，将智能视觉感知系统应用在安防领域，通过建立智能识别算法和特征库，针对监测领域中出现的疑似目标，当检测发现疑似目标为真目标时，表征目标具体分类信息和目标具体身份信息，发送监测终端，使告警信息真实、具体、可信，有利于操作者后续对于侵入目标采取合理的排除措施，提高应急响应效率。

优选地，本发明提供的一种智能视觉感知系统，对假目标特征描述信息设定更新速率，优化假目标反馈特征信息库。本发明通过对假目标特征描述信息设定更新速率，进而使假目标反馈特征信息库带有时间特征，更贴合实际，加快该特征库的自适应和自学习速度，进一步提高了系统一次检测准确性，从而提高系统整体性能。

优选地，本发明提供的一种智能视觉感知系统，其中，监测区域为N个，其中N≥1；系统监测过程包括：

在第M个监测区域进行一次目标检测，当一次目标检测发现无疑似目标时，调整摄像机的视场方向和焦距，以大视野小分辨率对下一个监测区域进行一次目标检测，其中，1≤M≤N；

对第M个监测区域的真目标进行跟踪，当真目标消失或跟踪时间达到设定值时，调整摄像机的视场方向和视场角，以小视野大分辨率对第M个监测区域的下一个真目标进行跟踪；

当第M个监测区域的所有真目标消失或跟踪时间达到设定值时，调整摄像机的视场方向和焦距，以大视野小分辨率对下一个监测区域进行一次目标检测；

依次对N个监测区域进行目标检测，循环往复。

在本发明中，发明人通过对目标跟踪条件的设置，比如是否发现疑似目标、目标消失时间和跟踪时间设定值等，提高了监测区域检测效率，并且实现了对区域内真目标的依次检测和跟踪，以及对多个监测区域的顺序检测，进一步提高了单个装置所能检测区域大小和检测距离，从而提高了设备利用率，减少了设备成本和占地空间，具有良好的经济效益。

优选地，本发明提供的一种智能视觉感知系统，其中，分别对所有N个监测区域进行一次目标检测，对一次目标检测发现疑似目标的区域计算各监测区域各自的特征权重；根据各监测区域各自特征权重的大小，按照指定顺序依序对各监测区域进行二次目标检测和跟踪。

在本发明中，发明人通过对各个监测区域进行权重计算，可以对各个监测区域目标的出现概率等属性进行统计，保证系统可以优先监测特征权重比较大的区域，有利于分级预警，使操作者优先处理疑似目标比较多，或者目标移动速率比较快，或者特定监测领域中的其它重点关注目标特征比较集中的监测区域，优先排除该区域中的安全隐患，从而减少了整个安防系统的告警响应时间。在实际应用中，比如在铁路系统中，此项区分区域监测优先级的设置，可以使铁路工作者优先排除轨道及其周边影响列车通行的重要障碍，比如大量羊群经过、路面塌方掩盖铁路轨道等，赢得了事件干预、系统联动的时间，从而挽回多数人员伤亡和数以亿计的财产损失。

优选地，本发明提供的一种智能视觉感知系统，其中，系统包括1个或多个智能视觉感知装置，智能视觉感知装置包括：

摄像机，用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元中的一种或多种；

传动机构，用于调整摄像机的视场方向和大小；

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机视场方向和大小，和/或与云端平台或数据中心进行信息交互；

通信接口单元，用于与云端平台和/或数据中心进行信息交互，和/或与现场其它传感或动作装置，和/或其它关联系统的联动信息交互，包括有线和/或无线接口；

电源管理单元，用于给所有耗电单元供电；

防护外壳，用于将各单元封装在内，起到防护作用。

优选地，本发明提供的一种智能视觉感知系统，其中，智能视觉感知装置还包括光照单元，用于给摄像机所监测的区域补光；光照单元为1个或多个，包括可见光源、红外光源中的一种或多种；传动机构调整光照单元的视场方向和大小。

在本发明中，视频图像采集和跟踪，可通过摄像机调焦、光照单元补光、传动机构带动摄像机和光照电源的角度调整实现；疑似目标发现、真假目标判断、假目标特征描述等，需要数据处理单元执行视频图像目标检测算法来实现。本发明提供的智能视觉感知装置，通过上述硬件和软件的结合，可以实现监测区域内一次目标检测和二次目标检测，分辨疑似目标是真目标还是假目标；针对假目标进行特征描述，并对真目标进行跟踪等，具有可实现性和技术先进性。本发明的智能视觉感知系统，包括一个或多个上述智能视觉感知装置，有利于扩充监测区域，覆盖面积比较大、安防级别比较高的监控场景，提供全方位的安全预警。

优选地，本发明提供的一种智能视觉感知系统，其中，系统包括1个或多个智能视觉感知装置，智能视觉感知装置中摄像机为一台或多台，摄像机为可见光摄像机和/或红外摄像机，红外摄像机包括近红外摄像机和/或红外热成像摄像机。

优选地，由一台或多台摄像机完成一次目标检测中的视频图像采集，和/或二次目标检测中的视频图像采集，和/或真目标跟踪时的视频图像采集。

优选地，由红外摄像机完成一次目标检测中的视频图像采集；由可见光摄像机完成二次目标检测中的视频图像采集，和/或真目标跟踪时的视频图像采集。

优选地，由可见光摄像机完成一次目标检测中的视频图像采集，和/或二次目标检测中的视频图像采集，和/或真目标跟踪时的视频图像采集。

红外热成像摄像机具有在-40℃～+70℃(阳光直射)的室外自然环境下正常工作，可以透烟、雾、霾，图像清晰度高，可夜视并对拍摄物体的温度敏感等特点，用于一次目标检测，对于通常可产生预警信号的活动物体，尤其是生物，具有识别的敏感性。可见光摄像机具有性能稳定、摄像清晰度高等的优点，通过红外热成像摄像机进行一次目标检测，发现疑似目标，使用可见光摄像机进行二次目标检测，对疑似目标进行放大，实现真目标和假目标的判断，可以满足恶劣的环境条件下，系统的稳定性和实用性要求，并且满足系统精准判断的需要。

优选地，传动机构，用于调整摄像机和/或光照单元的水平和/或竖直视场方向和大小，包括驱动电机、水平转轴、竖直转轴；驱动电机驱动摄像机和/或光照单元绕转轴水平转动0～360度，上下转动0～180度。

该传动机构，通过驱动摄像机和光照单元绕水平和竖直转轴以一定角度转动，满足摄像机采集视频图像覆盖所需要监控的区域的要求，以简单的设备结构实现了在现有技术中，多台摄像机相互配合才能实现的图像采集需要，并且可以稳定控制摄像机角度，实现真目标跟踪时图像采集的稳定性，进一步实现本发明目的。

优选地，数据处理单元，采用具有视频图像处理能力的芯片，集成图像目标检测算法程序，进行实时视频图像处理；当识别出疑似目标为假目标时，对假目标进行特征描述，并将特征反馈给视频图像目标检测算法程序。

在本发明中，一次目标检测时需要对监测区域内进行视频图像采集，判断是否存在疑似目标。该判断过程需要将采集的视频图像与特征库进行比对。如果系统判断存在疑似目标，而经过二次目标检测，发现疑似目标为假目标时，说明该假目标特征未收录入特征库，从而导致了系统额外动作。因此，将假目标进行特征描述，并反馈给视频图像目标检测算法，有利于在特定监测领域中，对可能出现的特定障碍物或定期出现的非障碍物进行快速识别，在一次目标检测时，排除出疑似目标范围，节省系统图像采集和判断的时间，从而减少了真目标的告警信息反馈时间，在特定场景下，更有利于工作人员排除妨害，避免事故的发生，具有极强的现实意义。

优选地，通信接口单元包括输入接口和输出接口；输入接口用于接收外部设备信号；输出接口用于发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA、2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括AI/AO、DI/DO、RS485、RS422、RS232、CAN总线、LAN、光纤中的一种或多种。

优选地，本发明提供的一种智能视觉感知系统，其中，智能视觉感知装置通过输入接口，接收监测区域内的其它传感或动作装置的信号，当传感或动作装置发送异常情况信号和/或报警信息时，智能视觉感知装置调整摄像机的视场方向和焦距，优先对传感或动作装置所在区域进行目标检测。

本发明提供的智能视觉感知装置，可接收监测区域内的传感器设备信号，对于外部传感器识别的危险信号进行处理，优先对该区域进行目标检测，实现与外部传感器发送信息的二次验证和目标识别、告警、特征信息发送。该联动机制，真正实现了传感装置的互联互通，节省了系统对外部预警事件的响应时间，同时弥补了外部传感器对于危险源头的具体特征不了解，收到报警信息不能做出准确反映，甚至无所适从，而浪费了事故发生前的宝贵挽救时间的现实问题，从而真正发挥了本系统的安全预警作用。

优选地，本发明提供的一种智能视觉感知系统，其中，智能视觉感知装置通过输出接口，向监测区域内的其它传感或动作装置提供其感知数据和/或结果信息，用于数据融合和/或联合判断，和/或对传感或动作装置进行直接控制或联动，即系统联动。

优选地，本发明提供的一种智能视觉感知系统，其中，监测区域内的其它传感或动作装置包括告警声光设备、门禁设备、消防设备、除障设备、动物驱赶设备、拖车设备、清扫设备、巡视设备、冲力减缓设备、紧急止停设备、分流设备、现场和/或外部通讯设备、防爆设备、医疗救助设备、掩蔽设备、无人机运输设备、人员疏散和/或安全撤离设备中的一种或多种；信息包括告警信息和/或目标特征信息。

本发明提供的智能视觉感知装置，可以向监测区域内的其它系统或设备提供传感化数据输出。这些系统或设备可以对该智能视觉感知装置输出的数据信号进行数据融合、联合判断，也可以直接控制本地其它设备。由于本发明中的智能视觉感知装置可以对外部传感设备进行直接控制或者系统联动，当监测区域内存在事故隐患或者紧急危险时，不仅仅向监控终端发送告警信息和/或目标特征信息，同时还可以通过控制或联动告警声光设备、门禁设备、消防设备、除障设备等，有针对性地对事故隐患或者危险源进行排除，对正在紧密运行的设备进行紧急制动和现场分流，使用通讯设备与监测区域建立联系等等措施，减少外部对于系统发出的告警信息的响应时间，抓住事故发生前的黄金间隙，实现监测区域内人员、运输装置的紧急避险。这将最大限度地避免事故的发生、减少事故损害、保全人员和财产安全，具有极强的现实意义。

优选地，本发明提供的一种智能视觉感知系统，其中，电源管理单元包括集成在系统内部的电池，和/或外部的太阳能电池板，和/或有线电源。

优选地，防护外壳包括接口板、窗口、固定座；

接口板上有1个或多个接口，与外部单元连接；

窗口采用透光材料，分别透射摄像机采集的视频图像，和/或光照单元发出的光；

固定座用于将防护外壳固定在外部支架上。

本发明提供的智能视觉感知装置的防护外壳设计，可以使该装置的摄像机、光照单元、数据处理单元、传动机构、通信接口单元、电源管理单元等处于坚固外壳的保护下。该防护外壳上设置有窗口，用来投射视频图像和光照单元发出的光，采用透光材料等，也可以使摄像机和光照单元不直接接触外部环境，从而提高了系统的稳定性和使用寿命。不同数目的窗口设计，可实现本发明在不同应用条件下具体的图像采集需要。

优选地，本发明提供的一种智能视觉感知系统，其中，输出告警信息和/或目标特征信息至监控终端，和/或输出告警信息和/或目标特征信息至数据中心和/或云端平台，启动告警处理服务，分发信息至监控终端，完成包括告警处置和/或干预和/或系统联动中的一种或多种功能。

优选地，本发明提供的一种智能视觉感知系统，其中，云端平台和/或数据中心，包括服务器和通过图像目标检测算法进行图像识别的软件；监控终端，为一个或多个，用于显示目标识别的结果信息、接收报警信息、进行远程配置和控制，包括智能终端设备和其运行的管理软件，智能终端设备包括但不限计算机、手持机中的一种或多种。

本发明智能视觉识别系统发出的告警信息、目标特征信息等，可以通过云端平台和/或数据中心发给监控终端，保证了数据传输的稳定性和系统的远程控制。同时在数据中心，结合其它特征库，还可以进一步对真目标进行特征识别，包括身份信息等，从而发布更为精准的告警信息和特征信息报告。该方案弥补了现有技术中，在安防领域，监控设备发出模糊信息，导致监控终端收到信息后，无法及时排除妨碍，消除事故危险的缺点。

优选地，本发明提供的一种智能视觉感知系统，其中，服务器包括虚拟服务器，包括本地服务器、边缘云、公共云中的一种或多种。

本发明提供的智能视觉感知系统，能够实时发现目标、跟踪目标、识别目标并产生告警信息和目标特征识别信息，通过一次目标检测，排除非疑似目标；通过对疑似目标的二次目标检测，分辨真假目标，并对假目标进行特征描述补充特征库，减少一次目标检测的误判率，对真目标进行持续跟踪。本发明实现了环境异常的智能捕捉、甄别和特征描述，解决了现有技术中安防领域，对环境的非智能监测，需要操作者紧盯屏幕，实时地人为判断是否存在环境危险，并且以低分辨率，分辨远方存在的现实危险，有很大的误判可能性，影响了应急响应时间，从而延误了事故挽救的时机，可能导致数以亿计的财产损失和众多人员伤亡的现实问题，具有极大的社会价值。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1表示本发明提供的智能视觉感知系统工作流程；

图2表示本发明提供的针对多个监测区域进行目标检测和/或识别的工作流程；

图3表示本发明提供的通过设定区域权重，依序进行目标检测和/或识别的工作流程；

图4表示本发明提供的智能视觉感知系统的数据流转；

图5表示本发明提供的一种单摄像机智能视觉感知装置；

图6表示本发明提供的一种单摄像机、单光源智能视觉感知装置；

图7表示本发明提供的一种双摄像机、双光源智能视觉感知装置；

图8表示本发明提供的一种双摄像机、单光源智能视觉感知装置；

图9表示本发明提供的系统在铁路场景中经一次目标检测发现远处有疑似目标；

图10表示本发明提供的系统在铁路场景中经二次目标检测发现真目标；

图11表示本发明提供的系统在铁路场景中对真目标进行跟踪。

具体实施方式

为了进一步阐明本发明，下面给出一系列实施例。需要指出的是，这些实施例完全是例证性的。给出这些实施例的目的是为了充分明示本发明的意义和内容，但并不因此将本发明限制在所述的实施例范围之中。

首先需要说明的是，本发明是计算机技术在安防领域的一种应用，在本发明的实现过程中，会涉及到多个软件功能模块的应用。本申请人认为，如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本发明。

实施例1：

一种智能视觉感知系统的第一种实施方式：

智能视觉感知系统包括可变焦距的摄像机和指定监测区域的假目标反馈特征信息库。首先，建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。以第一分辨率对监测区域进行视频图像采集。具体地，如图1所示，系统调整摄像机视场方向和焦距，设定PTZ参数，使视频图像覆盖所需要监控的预设监测区域，该大视野小分辨率对指定监测区域进行视频图像采集。采用一次目标检测算法，对摄像机所采集的视频图像，进行区域内一次目标检测。进行区域内一次目标检测，包括：基于假目标反馈特征信息库判断指定监测区域是否包含疑似目标。进一步地，基于假目标反馈特征信息库，判断监测区域内的图像特征与该区域的假目标反馈特征描述和位置信息匹配度是否满足指定条件，若满足，则不判为疑似目标。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，示例性地，当匹配度达到90％，则认为该区域内与假目标反馈特征描述对应位置的对象不是疑似目标，从而则该区域将大概率被划分为背景，即当区域内与假目标反馈特征描述对应位置均符合匹配度达到指定值的情况下，不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

当一次目标检测发现无疑似目标时，调整摄像机视场方向和焦距，以大视野小分辨率对下一个指定监测区域，即预设监测区域进行视频图像采集，并采用一次目标检测算法，对摄像机所采集的视频图像，进行区域内一次目标检测。

当一次目标检测发现有疑似目标时，通过调整PTZ参数，调整摄像机视场方向和焦距，缩放目标高度，以第二分辨率对疑似目标进行视频图像采集，第二分辨率大于第一分辨率。本发明实施例中，以小视野大分辨率对监测区域的疑似目标依次进行视频图像采集，并采用二次目标检测算法，对采集的视频图像，进行二次目标检测，分辨疑似目标为真目标或假目标。二次目标检测算法为与背景无关的目标分类检测算法。

当二次目标检测发现是真目标时，输出告警信息至监控终端，并生成目标特征信息。调整摄像机视场方向和焦距，一段时间持续跟踪目标，同时，将二次目标检测生成的目标特征信息，发送至监控终端。

目标特征信息包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、指定异物，即不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种，或者表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

对真目标进行跟踪，当真目标消失或跟踪时间达到设定值时，调整摄像机的视场方向和大小，以小视野大分辨率对下一个真目标进行跟踪。

当二次目标检测发现一次目标检测的疑似目标是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，获取假目标位置信息，并提取假目标特征描述信息，更新假目标反馈特征信息库，降低系统一次目标检测的误检概率。随着系统运行时间的增长，假目标特征描述越来越精确，系统再进行一次目标检测的误检概率将会越来越低，准确度会越来越高，系统性能自动得到提升。

在进行二次目标检测跟踪时，当所有真目标都消失或跟踪时间达到设定值时，调整摄像机视场方向和焦距，以大视野小分辨率对下一个预设监测区域进行目标识别，识别方法与第一预设监测区域目标识别方法相同。

依次类推，如图2所示，对N(0<N)个预设监测区域分别进行目标检测和/或识别，最后，重新从第一预设监测区域开始目标检测和/或识别，重复执行上述步骤。在第M个监测区域中分别对其中的T个疑似目标进行二次检测，其中，二次检测以大视野小分辨率指通过设定PTZ参数，使视频图像覆盖所需要监控的区域；然后对下一个区域，即第M+1个监测区域进行二次检测。

小视野大分辨率指通过调整PTZ参数，使目标高度缩放到视频图像高度的1/10～4/5，并调整到视野中心。

实施例2：

在上述实施例的基础上，还提供一种智能视觉感知系统的第二种实施方式：

建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。如图1所示，系统调整摄像机视场方向，通过设定PTZ参数，使视频图像覆盖所需要监控的区域，以该大视野小分辨率对第一预设监测区域进行视频图像采集。对摄像机所采集的视频图像采用一次目标检测算法，进行第一预设监测区域内一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

当一次目标检测发现无疑似目标时，智能视觉感知装置继续以大视野小分辨率对下一个预设监测区域进行视频图像采集，采用一次目标检测算法，对采集的视频图像，进行区域内一次目标检测。

当一次目标检测发现有疑似目标时，给出第一预设监测区域特征权重Q1；同时，系统继续以大视野小分辨率对其它预设监测区域进行视频图像采集，并采用二次目标检测算法，对采集的视频图像进行监测区域内一次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

示例性地，监测区域为N个，其中N≥1；系统监测过程包括：

在第M个监测区域进行一次目标检测，当一次目标检测发现无疑似目标时，调整摄像机的视场方向和焦距，以大视野小分辨率对下一个监测区域进行一次目标检测，其中，1≤M≤N；

对第M个监测区域的真目标进行跟踪，当真目标消失或跟踪时间达到设定值时，调整摄像机的视场方向和视场角，以小视野大分辨率对第M个监测区域的下一个真目标进行跟踪；

当第M个监测区域的所有真目标消失或跟踪时间达到设定值时，调整摄像机的视场方向和焦距，以大视野小分辨率对下一个监测区域进行一次目标检测；

依次对N个监测区域进行目标检测，循环往复。

进一步地，如图3所示，分别对所有N个监测区域进行一次目标检测，对一次目标检测发现疑似目标的区域计算各监测区域各自的特征权重；根据各监测区域各自特征权重的大小，按照指定顺序依序对各监测区域进行二次目标检测和跟踪。示例性地，依次对N(0<N)个预设监测区域进行疑似目标的一次目标检测，找出存在疑似目标的区域，对存在疑似目标的区域给出特征权重Qi。依据区域特征权重Qi大小，对存在疑似目标的监测区域进行重新排序，权重最大的为第1区域，其权重为Q1，权重最小的区域为第W(W<＝N)区域，其权重为Qw。

系统调整摄像机的视场方向和焦距，通过调整PTZ参数，缩放目标高度，以小视野大分辨率对存在疑似目标的第1区域的疑似目标进行视频图像采集，并经过视频图像目标检测算法，对采集的视频图像进行二次目标检测。

当二次目标检测发现一次目标检测的疑似目标是真目标时，输出第一告警信息，并生成第一目标特征信息。调整摄像机视场方向和焦距，一段时间持续跟踪目标，同时，将二次目标检测生成的第一目标特征信息发送至云平台或数据中心，云端平台或数据中心依据智能视觉感知装置发送的目标特征信息1经过目标识别算法，进行目标识别，并将得到的第二目标特征信息和第二告警信息，发送至监控终端；监控终端对第二告警信息、第一目标特征信息和/或第二目标特征信息进行处理和显示。

第一目标特征信息包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种。第二目标特征信息包括表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

对真目标进行跟踪，当真目标消失或跟踪时间达到设定值时，调整摄像机的视场方向和大小，以小视野大分辨率对下一个真目标进行跟踪。

当二次目标检测发现一次目标检测的疑似目标是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，提取假目标特征描述信息，对假目标特征描述信息设定更新速率，优化假目标反馈特征信息库，进一步降低系统一次目标检测的误检概率。

对第1区域进行二次目标检测跟踪时，当所有真目标消失或跟踪时间达到设定值时，调整摄像机视场方向和焦距，以小视野大分辨率对存在疑似目标的第2区域进行目标检测和/或识别，检测和/或识别方法与存在疑似目标的第1区域目标检测和/或识别方法相同。

依次类推，重复执行上述步骤，对所有存在疑似目标的W个区域进行二次目标检测和/或识别。

最后，重新从对第一预设监测区域进行目标检测和/或识别，自动执行上述步骤，对N个区域循环进行目标检测和/或识别。

其中，大视野小分辨率指通过设定PTZ参数，使视频图像覆盖所需要监控的区域；

小视野大分辨率指通过调整PTZ参数，使目标高度缩放到视频图像高度的1/6～2/3，并调整到视野中心。

实施例3：

在上述实施例的基础上，还提供一种智能视觉感知系统的第三种实施方式：

一种智能视觉感知系统，包含一个或多个智能视觉感知装置。该智能视觉感知装置的一种结构由1个可见光摄像机、1传动机构、1数据处理单元、1通信接口单元、1电源管理单元、1防护外壳组成。外壳留有1窗口及电源和信号线接口，窗口采用可透光的材料密封，用于摄像机进行视频图像采集。传动机构通过数据处理单元发送的控制命令调整摄像机的水平和上下视场方向位置，包括驱动电机、水平转轴、竖直转轴、控制线等。驱动电机驱动摄像机绕转轴水平转动0～360度，上下转动0～180度。

通信接口单元主要包括有线和无线通信接口，用于接收外部设备信号及发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA、2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括AI/AO、DI/DO、RS485、RS422、RS232、CAN总线、LAN、光纤中的一种或多种。

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机角度，和/或与云端平台或数据中心进行信息交互。电源管理单元主要用于给整个智能视频感知装置供电。传动机构控制摄像机的左右上下摆动位置。

如图5所示，智能视觉感知装置包含可见光摄像机501、传动机构502、数据处理单元503、通信接口单元504、电源管理单元505、防护外壳组成507。

防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；固定座用于固定防护外壳，可固定在外部支架上。在本实施例中，外壳留有窗口508，以及电源和信号线接口板510，窗口508采用可透光的材料密封，用于摄像机进行视频图像采集。传动机构502通过接收数据处理单元503发送的控制命令，调整摄像机501上下左右视场方向。通信接口单元504主要包括有线和无线通信接口。电源管理单元505主要用于给整个智能视频感知装置供电，在本实施例中为系统内部的电池。其中，摄像机，用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元等。

系统工作流程如下：

(1)根据装置所需监测的范围，预设监测区域的个数位置，每个区域以能覆盖该区域的最大倍率来设置该区域的PTZ参数。建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。

(2)针对第一预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元503。

(3)数据处理单元503经过一次目标检测算法，对所采集的视频图像进行一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

(4)当一次目标检测发现无疑似目标时，设定PTZ参数，覆盖第二预设监测区域：数据处理单元503发送控制命令给摄像机501和传动机构502，传动机构502调整摄像机501视场方向，使得摄像机501视场方向对准第二预设监测区域，并调整摄像机501焦距，以大视野小分辨率对该区域进行视频图像采集，数据处理单元503经过视频图像目标检测算法，对采集的视频图像进行目标的一次目标检测。

(5)当一次目标检测发现有疑似目标时，调整PTZ参数：数据处理单元503发送控制命令给摄像机501和传动机构502，传动机构502调整摄像机501视场方向，使得摄像机501视场方向对准疑似目标，调整摄像机501焦距。通过调整PTZ参数，将疑似目标高度缩放到视频图像高度的1/3，以该小视野大分辨率对疑似目标进行视频图像采集，数据处理单元503经过二次目标检测算法，对采集的视频图像进行二次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

(6)当二次目标检测判断出是真目标时，数据处理单元503输出告警信息，并生成该真目标特征信息，同时，数据处理单元503发送控制命令给摄像机501和传动机构502，传动机构502调整摄像机501视场方向，实时调整摄像机501焦距，对检测出的真目标进行实时跟踪，同时，数据处理单元503将该真目标特征信息和告警信息发送至监控终端。

目标特征信息包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种，或者表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

(7)摄像机501对真目标进行跟踪时，当真目标消失或跟踪时间达到设定值时，数据处理单元503发送控制命令至摄像机501和传动机构502，传动机构502调整摄像机501视场方向，使得摄像机501视场方向对准下一个真目标进行跟踪。

(8)当二次目标检测判断出是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，数据处理单元503对假目标进行特征描述，提取假目标特征描述信息，更新假目标反馈特征信息库，以降低算法在此之后的一次目标检测误检概率。随着系统运行时间的增长，假目标特征描述越来越精确，系统再进行一次目标检测的误检概率将会越来越低，准确度会越来越高，系统性能自动得到提升。

对比例为一次图像采集，并采用基于深度神经网络的YOLO V3目标分类检测算法进行一次目标检测。

经试验验证，随运行周期的增加，系统一次目标检测准确度分别为：

(9)摄像机501对真目标进行跟踪时，当所有真目标消失或跟踪时间达到设定值时，针对第二预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元503，数据处理单元503经过视频图像目标检测算法，对采集的视频图像进行目标的一次目标检测。

(10)依次类推，按(2)～(9)步骤对N个预设区域进行目标检测和/或识别，最后，重新从第一预设监测区域开始目标检测和/或识别，自动循环。

实施例4：

在上述实施例的基础上，还提供一种智能视觉感知系统的第四种实施方式：

一种智能视觉感知系统，包含一个或多个智能视觉感知装置。该智能视觉感知装置的一种结构由1个可见光摄像机、1传动机构、1数据处理单元、1通信接口单元、1电源管理单元、1防护外壳组成。外壳留有1窗口及电源和信号线接口，窗口采用可透光的材料密封，用于摄像机进行视频图像采集。传动机构通过数据处理单元发送的控制命令调整摄像机的水平和上下视场方向位置，包括驱动电机、水平转轴、竖直转轴、控制线等。驱动电机驱动摄像机绕转轴水平转动0～360度，上下转动0～180度。

通信接口单元主要包括有线和无线通信接口，用于接收外部设备信号及发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA、2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括AI/AO、DI/DO、RS485、RS422、RS232、CAN总线、LAN、光纤中的一种或多种。

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机角度，和/或与云端平台或数据中心进行信息交互。电源管理单元主要用于给整个智能视频感知装置供电。传动机构控制摄像机的左右上下摆动位置。

如图5所示，智能视觉感知装置包含可见光摄像机501、传动机构502、数据处理单元503、通信接口单元504、电源管理单元505、防护外壳组成507。

防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；固定座用于固定防护外壳，固定在外部支架上。在本实施例中，外壳留有窗口508，以及电源和信号线接口板510，窗口508采用可透光的材料密封，用于摄像机进行视频图像采集。传动机构502通过接收数据处理单元503发送的控制命令，调整摄像机501上下左右视场方向。通信接口单元504主要包括有线和无线通信接口。电源管理单元505主要用于给整个智能视频感知装置供电，在本实施例中为系统内部的电池。其中，摄像机，用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元等。

系统工作流程如下：

(1)根据装置所需监测的范围，预设监测区域的个数位置，每个区域以能覆盖该区域的最大倍率来设置该区域的PTZ参数。建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。

(2)针对第一预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元503。

(3)数据处理单元503经过一次目标检测算法，对所采集的视频图像进行一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

(4)当一次目标检测发现无疑似目标时，设定PTZ参数，覆盖第二预设监测区域：数据处理单元503发送控制命令给摄像机501和传动机构502，传动机构502调整摄像机501视场方向，使得摄像机501视场方向对准第二预设监测区域，并调整摄像机501焦距，以大视野小分辨率对该区域进行视频图像采集，数据处理单元503经过视频图像目标检测算法，对采集的视频图像进行目标的一次目标检测。

(5)当一次目标检测发现有疑似目标时，数据处理单元503给出第一预设监测区域特征权重Q1，Q1由该区域内疑似目标数量获得；设定PTZ参数，以大视野小分辨率覆盖第二预设监测区域，对该区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元503，经过视频图像目标检测算法进行目标的一次目标检测。

(6)依次类推，重复上述步骤(1)～(5)，对N个监测区域进行一次目标检测，区分出存在疑似目标的W个区域，并依据区域特征权重Qi的大小对W个区域重新排序，权重最大的为第1区域，权重最小为第W区域。

本实施例中，各区域特征权重Qi(0<i≤N)分别由各区域中疑似目标的数量获得。

(7)智能视觉感知装置调整摄像机501视场方向和焦距，通过调整PTZ参数，将疑似目标高度缩放到视野高度的1/2，以该小视野大分辨率对存在疑似目标的第1区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元503，数据处理单元503经过二次目标检测算法，对采集的视频图像依次进行区域内疑似目标的二次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

(8)当二次目标检测判断出疑似目标是真目标时，数据处理单元生成该真目标的目标特征信息1和告警信息1。数据处理单元503发送控制命令给摄像机501和传动机构502，传动机构502调整摄像机501视场方向，实时调整摄像机501焦距，对检测出的真目标进行实时跟踪；同时，数据处理单元503将二次检测的真目标的目标特征信息1发送至云平台或数据中心；云端平台或数据中心依据智能视觉感知装置发送的目标特征信息1经过目标识别算法，进行目标识别，并将得到目标的特征信息2和告警信息2发送至监控终端；监控终端对告警信息1、告警信息2、目标特征信息1和/或目标特征信息2进行处理和显示。

目标特征信息1包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种。目标特征信息2包括表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

(9)摄像机501对真目标进行跟踪时，当该目标消失或跟踪时间达到设定值时，数据处理单元503发送控制命令给摄像机501和传动机构502，传动机构502调整摄像机501视场方向，使得摄像机501视场方向对准下一个真目标，调整摄像机501焦距，以小视野大分辨率对下一个真目标进行视频图像采集，将采集的视频图像实时传输至数据处理单元503，数据处理单元503经过视频图像目标检测算法，对采集的视频图像继续进行二次目标检测。

(10)当二次目标检测判断出疑似目标是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，数据处理单元503对假目标进行特征描述，提取假目标特征描述信息，对假目标特征描述信息设定更新速率，优化假目标反馈特征信息库，进一步提高了一次检测算法的精确度。

对比例为一次图像采集，并采用基于深度神经网络的YOLO V3目标分类检测算法进行一次目标检测。

经试验验证，随运行周期的增加，系统一次目标检测准确度分别为：

(11)摄像机501对真目标进行跟踪，当所有真目标消失或跟踪时间达到设定值时，数据处理单元503发送控制命令给摄像机501和传动机构502，传动机构502调整摄像机501视场方向，使得摄像机501视场方向对准第2区域，调整摄像机501焦距，以小视野大分辨率对第2区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元503，进行目标的二次目标检测，检测方法与第1区域目标二次检测方法相同。

(12)依次类推，按(7)～(11)步骤对存在疑似目标的W个区域进行二次目标检测和/或识别，最后，重新从第(2)步开始，从第一预设监测区域开始目标识别，自动循环。

(13)多个智能视觉感知装置组成智能视觉感知系统，通过对各智能视觉感知装置设定不同监测范围，对各监测范围内预设的各监测区域进行如上目标检测和/或识别，以实现对更广区域的目标监测。

实施例5：

在上述实施例的基础上，还提供一种智能视觉感知系统的第五种实施方式：

一种智能视觉感知系统，包含一个或多个智能视觉感知装置。该智能视觉感知装置的一种结构由1个可见光摄像机、1传动机构、1数据处理单元、1通信接口单元、1电源管理单元、1光照单元、1防护外壳组成。外壳留有2窗口及电源和信号线接口，2窗口采用可透光的材料密封，其中一个窗口，用于摄像机进行视频图像采集，另外一个窗口用于光照单元进行补光。传动机构通过数据处理单元发送的控制命令调整摄像机和光照单元的水平和上下视场方向位置，包括驱动电机、水平转轴、竖直转轴、控制线等。驱动电机驱动摄像机和光照单元绕转轴水平转动0～360度，上下转动0～180度。

通信接口单元主要包括有线和无线通信接口，用于接收外部设备信号及发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA、2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括AI/AO、DI/DO、RS485、RS422、RS232、CAN总线、LAN、光纤中的一种或多种。

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机和/或光照单元视场方向和大小，和/或与云端平台或数据中心进行信息交互。电源管理单元主要用于给整个智能视频感知装置供电。光照单元主要包括发光设备和光照强度、视场方向范围调整单元，光照单元和摄像机固定在一起，传动机构共同控制光照单元和摄像机的左右上下摆动位置。

如图6所示，智能视觉感知装置包含可见光摄像机201、传动机构202、数据处理单元203、通信接口单元204、电源管理单元205、光照单元206、防护外壳组成207。

防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；窗口采用透光材料，透射摄像机采集的视频图像，和/或光照单元发出的光；固定座用于固定防护外壳，固定在外部支架上。在本实施例中，外壳留有窗口208和窗口209，以及电源和信号线接口板210，窗口208和窗口209采用可透光的材料密封，其中窗口208用于摄像机进行视频图像采集，窗口209用于补光。传动机构202通过接收数据处理单元203发送的控制命令，调整摄像机201上下视场方向，同时通过延伸至防护外壳外并安装在固定支架上的转动轴211，调整摄像机201左右视场方向。通信接口单元204主要包括有线和无线通信接口。电源管理单元205主要用于给整个智能视频感知装置供电，在本实施例中为系统内部的电池。光照单元206为可见光光源，主要包括发光设备和光照强度、光照范围调整单元。光照单元206和摄像机201固定在一起，传动机构202共同控制光照单元和摄像机的左右上下摆动位置，传动机构包括驱动电机和转台。

其中，摄像机，用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元等。

系统工作流程如下：

(1)根据装置所需监测的范围，预设监测区域的个数及位置，每个区域以能覆盖该区域的最大倍率来设置该区域的PTZ参数。建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。

(2)针对第一预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元203。

(3)数据处理单元203经过一次目标检测算法，对所采集的视频图像进行一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

(4)当一次目标检测发现无疑似目标时，设定PTZ参数，覆盖第二预设监测区域：数据处理单元203发送控制命令给摄像机201和传动机构202，传动机构202调整摄像机201视场方向，使得摄像机201视场方向对准第二预设监测区域，并调整摄像机201焦距，以大视野小分辨率对该区域进行视频图像采集，数据处理单元203经过视频图像目标检测算法，对采集的视频图像进行一次目标检测。

(5)当一次目标检测发现有疑似目标时，调整PTZ参数：数据处理单元203发送控制命令给摄像机201和传动机构202，传动机构202调整摄像机201视场方向，使得摄像机201视场方向对准疑似目标，调整摄像机201焦距，将疑似目标高度缩放到视频图像高度的1/10，以该小视野大分辨率对疑似目标进行视频图像采集，数据处理单元203经过二次目标检测算法，对采集的视频图像进行二次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

(6)当二次目标检测判断出是真目标时，数据处理单元203输出告警信息，并生成该真目标特征信息，同时，数据处理单元203发送控制命令给摄像机201和传动机构202，传动机构202调整摄像机201视场方向，实时调整摄像机201焦距，对检测出的真目标进行实时跟踪，同时，数据处理单元203将该真目标特征信息和告警信息发送至监控终端。

目标特征信息包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种，或者表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

(7)摄像机201对真目标进行跟踪，当真目标消失或跟踪时间达到设定值时，数据处理单元203发送控制命令至摄像机201和传动机构202，传动机构202调整摄像机201视场方向，使得摄像机201视场方向对准下一个真目标进行跟踪。

(8)当二次目标检测判断出是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，数据处理单元203对假目标进行特征描述，提取假目标特征描述信息，更新假目标反馈特征信息库，以降低算法在此之后的一次目标检测误检概率。随着系统运行时间的增长，假目标特征描述越来越精确，系统再进行一次目标检测的误检概率将会越来越低，准确度会越来越高，系统性能自动得到提升。

对比例为一次图像采集，并采用基于深度神经网络的YOLO V3目标分类检测算法进行一次目标检测。

经试验验证，随运行周期的增加，系统一次目标检测准确度分别为：

(9)摄像机201对真目标进行跟踪，当所有真目标消失或跟踪时间达到设定值时，针对第二预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元203，数据处理单元203经过视频图像目标检测算法，对采集的视频图像进行目标的一次目标检测。

(10)依次类推，按(2)～(9)步骤对N个预设区域进行目标检测和/或识别，最后，重新从第一预设监测区域开始目标检测和/或识别，自动循环。

(11)多个智能视觉感知装置组成智能视觉感知系统，通过对各智能视觉感知装置设定不同监测范围，对各监测范围内预设的各监测区域进行如上目标检测和/或识别，以实现对更广区域的目标监测。

在智能视觉感知装置工作中，数据处理单元203对采集的视频图像亮度做实时分析，当亮度不足时，及时发送控制命令给光照单元206，调整光照强度和光场角度，使得摄像机201采集的视频图像亮度适中。

实施例6：

在上述实施例的基础上，还提供一种智能视觉感知系统的第六种实施方式：

一种智能视觉感知系统，包含一个或多个智能视觉感知装置。该智能视觉感知装置的一种结构由1个可见光摄像机、1传动机构、1数据处理单元、1通信接口单元、1电源管理单元、1光照单元、1防护外壳组成。外壳留有2窗口及电源和信号线接口，2窗口采用可透光的材料密封，其中一个窗口，用于摄像机进行视频图像采集，另外一个窗口用于光照单元进行补光。传动机构通过数据处理单元发送的控制命令调整摄像机和光照单元的水平和上下视场方向位置，包括驱动电机、水平转轴、竖直转轴、控制线等。驱动电机驱动摄像机和光照单元绕转轴水平转动0～360度，上下转动0～180度。

通信接口单元主要包括有线和无线通信接口，用于接收外部设备信号及发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA、2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括AI/AO、DI/DO、RS485、RS422、RS232、CAN总线、LAN、光纤中的一种或多种。

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机和/或光照单元角度，和/或与云端平台或数据中心进行信息交互。电源管理单元主要用于给整个智能视频感知装置供电。光照单元主要包括发光设备和光照强度、视场方向范围调整单元，光照单元和摄像机固定在一起，传动机构共同控制光照单元和摄像机的左右上下摆动位置。

如图6所示，智能视觉感知装置包含可见光摄像机201、传动机构202、数据处理单元203、通信接口单元204、电源管理单元205、光照单元206及防护外壳组成207。

防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；窗口采用透光材料，透射摄像机采集的视频图像，和/或光照单元发出的光；固定座用于固定防护外壳，包括固定在转台上，和/或固定在外部支架上。在本实施例中，外壳留有窗口208和窗口209，以及电源和信号线接口板210，窗口208和窗口209采用可透光的材料密封，其中窗口208用于摄像机进行视频图像采集，窗口209用于光照单元进行补光。传动机构202通过接收数据处理单元203发送的控制命令，调整摄像机201上下视场方向，同时通过延伸至防护外壳外并安装在固定支架上的转动轴211，调整摄像机201左右视场方向。通信接口单元204主要包括有线和无线通信接口。电源管理单元205主要用于给整个智能视频感知装置供电，在本实施例中为外部的太阳电池板。光照单元206为可见光，主要包括发光设备和光照强度、光照范围调整单元。光照单元206和摄像机201固定在一起，传动机构202共同控制光照单元和摄像机的左右上下摆动位置，传动机构包括驱动电机和转台。

其中，摄像机用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元等。

系统工作流程如下：

(1)根据装置所需监测的范围，预设监测区域的个数位置，每个区域以能覆盖该区域的最大倍率来设置该区域的PTZ参数。建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。

(2)针对第一预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元203。

(3)数据处理单元203经过一次目标检测算法，对所采集的视频图像进行一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

(4)当一次目标检测发现无疑似目标时，设定PTZ参数，覆盖第二预设监测区域：数据处理单元203发送控制命令给摄像机201和传动机构202，传动机构202调整摄像机201视场方向，使得摄像机201视场方向对准第二预设监测区域，调整摄像机201焦距，以大视野小分辨率对该区域进行视频图像采集，数据处理单元203经过视频图像目标检测算法，对采集的视频图像进行目标的一次目标检测。

(5)当一次目标检测发现有疑似目标时，数据处理单元203给出第一预设监测区域特征权重Q1，Q1由该区域内疑似目标数量获得；设定PTZ参数，以大视野小分辨率覆盖第二预设监测区域，对该区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元203，经过视频图像目标检测算法进行目标的一次目标检测。

(6)依次类推，重复上述步骤(1)～(5)，对N个监测区域目标的一次目标检测，区分出存在疑似目标的W个区域，并依据区域特征权重Qi的大小对W个区域重新排序，权重最大的为第1区域，权重最小为第W区域。

本实施例中，各区域特征权重Qi(0<i≤N)分别由各区域中疑似目标的数量获得。

(7)智能视觉感知装置调整摄像机201视场方向和焦距，通过调整PTZ参数，将疑似目标高度缩放到视频图像高度的4/5，以该小视野大分辨率对存在疑似目标的第1区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元203，数据处理单元203经过二次目标检测算法，对采集的视频图像依次进行区域内疑似目标的二次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

(8)当二次目标检测判断出疑似目标是真目标时，数据处理单元生成该真目标的目标特征信息1和告警信息1。数据处理单元203发送控制命令至摄像机201和传动机构202，传动机构202调整摄像机201视场方向，实时调整摄像机201焦距，对检测出的真目标进行实时跟踪；同时，数据处理单元203将二次检测的真目标的目标特征信息1发送至云平台或数据中心；云端平台或数据中心依据智能视觉感知装置发送的目标特征信息1经过目标识别算法，进行目标识别，并将得到目标的特征信息2和告警信息2发送至监控终端；监控终端对告警信息1、告警信息2、目标特征信息1和/或目标特征信息2进行处理和显示。

目标特征信息1包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种。目标特征信息2包括表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

(9)摄像机201对真目标进行跟踪时，当该目标消失或跟踪时间达到设定值时，数据处理单元203发送控制命令给摄像机201和传动机构202，传动机构202调整摄像机201视场方向，使得摄像机201视场方向对准下一个真目标，调整摄像机201焦距，以小视野大分辨率对下一个真目标进行视频图像采集，将采集的视频图像实时传输至数据处理单元203，数据处理单元203经过视频图像目标检测算法，对采集的视频图像继续进行二次目标检测。

(10)当二次目标检测判断出疑似目标是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，数据处理单元203对假目标进行特征描述，提取假目标特征描述信息，对假目标特征描述信息设定更新速率，优化假目标反馈特征信息库，进一步提高了一次检测算法的精确度。

对比例为一次图像采集，并采用基于深度神经网络的YOLO V3目标分类检测算法进行一次目标检测。

经试验验证，随运行周期的增加，系统一次目标检测准确度分别为：

(11)摄像机201对真目标进行跟踪，当所有真目标消失或跟踪时间达到设定值时，数据处理单元203发送控制命令给摄像机201和传动机构202，传动机构202调整摄像机201视场方向，使得摄像机201视场方向对准第2区域，调整摄像机201焦距，以小视野大分辨率对第2区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元203，进行目标的二次目标检测，检测方法与第1区域目标二次检测方法相同。

(12)依次类推，按(7)～(11)步骤对存在疑似目标的W个区域进行二次目标检测和/或识别，最后，重新从第(2)步开始，从第一预设监测区域开始目标识别，自动循环。

(13)多个智能视觉感知装置组成智能视觉感知系统，通过对各智能视觉感知装置设定不同监测范围，对各监测范围内预设的各监测区域进行如上目标检测和/或识别，以实现对更广区域的目标监测。

在整个智能视觉感知装置工作中，数据处理单元203对采集的视频图像亮度做实时分析，当亮度不足时，及时发送控制命令给光照单元206，调整光照强度，使得摄像机201采集的视频图像亮度适中。

实施例7：

在上述实施例的基础上，还提供一种智能视觉感知系统的第七种实施方式：

一种智能视觉感知系统，包含一个或多个智能视觉感知装置。该智能视觉感知装置由2个可见光摄像机、2传动机构、1数据处理单元、1通信接口单元、1电源管理单元、2光照单元及1防护外壳组成。外壳留有4窗口及电源和信号线接口，4窗口采用可透光的材料密封，其中2个窗口，用于摄像机进行视频图像采集，另外2个窗口用于光照单元进行补光。2传动机构通过数据处理单元发送的控制命令调整摄像机和光照单元的水平和上下视场方向位置，包括驱动电机、水平转轴、竖直转轴、控制线等。驱动电机驱动摄像机和光照单元绕转轴水平转动0～360度，上下转动0～180度。

通信接口单元主要包括有线和无线通信接口，用于接收外部设备信号及发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA、2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括AI/AO、DI/DO、RS485、RS422、RS232、CAN总线、LAN、光纤中的一种或多种。

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机和/或光照单元角度，和/或与云端平台或数据中心进行信息交互。电源管理单元主要用于给整个智能视频感知装置供电。光照单元主要包括发光设备和光照强度、光照范围调整单元，光照单元和摄像机固定在一起，传动机构共同控制光照单元和摄像机的左右上下摆动位置。

如图7所示，智能视觉感知装置包含可见光摄像机301-1、可见光摄像机301-2、传动机构302-1、传动机构302-2、数据处理单元303、通信接口单元304、电源管理单元305、光照单元306-1、光照单元306-2、防护外壳组成307。

防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；窗口采用透光材料，透射摄像机采集的视频图像，和/或光照单元发出的光；固定座用于固定防护外壳，固定在外部支架上。在本实施例中，外壳留有窗口308-1、窗口308-2、窗口309-1、窗口309-2，以及电源和信号线接口板310，窗口308-1、窗口308-2、窗口309-1、窗口309-2都采用可透光的材料密封，其中窗口308-1和窗口308-2用于摄像机301-1和摄像机301-2的视频图像采集，窗口309-1和窗口309-2用于光照单元306-1和光照单元306-2透光，给摄像机301-1和摄像机301-2监测目标补光。

传动机构302-1通过接收数据处理单元303发送的控制命令，调整摄像机301-1左右和上下视场方向位置，传动机构302-2通过接收数据处理单元303发送的控制命令，调整摄像机301-2左右和上下视场方向位置。通信接口单元304主要包括有线和无线通信接口。电源管理单元305主要用于给整个智能视频感知装置供电，在本实施例中为有线电源。光照单元306-1和306-2主要包括发光设备和光照强度调整单元，光源分别为可见光和/或红外光。光照单元306-1和摄像机301-1固定在一起，光照单元306-2和摄像机301-2固定在一起，传动机构302-1共同控制光照单元306-1和摄像机301-1的左右上下摆动位置，传动机构302-2共同控制光照单元306-2和摄像机301-2的左右上下摆动位置。其中，摄像机，用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元等。

系统工作流程如下：

(1)根据装置所需监测的范围，预设监测区域的个数位置，每个区域以能覆盖该区域的最大倍率来设置该区域的PTZ参数。建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。

(2)针对第一预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元303。

(3)数据处理单元303经过一次目标检测算法，对所采集的视频图像进行一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

(4)当一次目标检测发现无疑似目标时，设定PTZ参数，覆盖第二预设监测区域：数据处理单元303发送控制命令给摄像机301-1和传动机构302-1，传动机构302-1调整摄像机301-1视场方向，使得摄像机301-1视场方向对准第二预设监测区域，调整摄像机301-1焦距，以大视野小分辨率对该区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元303，进行目标的一次目标检测。

(5)当一次目标检测发现有疑似目标时，调整PTZ参数：数据处理单元303发送控制命令给摄像机301-2和传动机构302-2，传动机构302-2调整摄像机301-2视场方向，使得摄像机301-2视场方向对准疑似目标，调整摄像机301-2焦距。通过调整PTZ参数，将疑似目标高度缩放到视频图像高度的1/6，以该小视野大分辨率对疑似目标进行视频图像采集，数据处理单元303经过二次目标检测算法，对采集的视频图像进行目标的二次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

(6)当二次目标检测判断出疑似目标是真目标时，数据处理单元303输出告警信息1，并生成该真目标特征信息1，同时，数据处理单元303发送控制命令给摄像机301-2和传动机构302-2，传动机构302-2调整摄像机301-2视场方向，实时调整摄像机301-2焦距，对检测出的真目标进行实时跟踪；同时，数据处理单元303将该真目标特征信息1发送至云平台或数据中心，云端平台或数据中心依据智能视觉感知装置发送的该真目标特征信息1经过目标识别算法，进行目标识别，生成该真目标特征信息2和告警信息2，并将真目标特征信息2和告警信息2发送至监控终端；监控终端对告警信息1、告警信息2、目标特征信息1和/或目标特征信息2进行处理和显示。

目标特征信息1包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种。目标特征信息2包括表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

(7)摄像机301-2对真目标进行跟踪时，当该真目标消失或跟踪时间达到设定值时，数据处理单元303发送控制命令至摄像机301-2和传动机构302-2，传动机构302-2调整摄像机301-2视场方向，使得摄像机301-2视场方向对准下一个真目标，调整摄像机301-2焦距，以小视野大分辨率对下一个真目标进行跟踪。

(8)当二次目标检测判断出是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，数据处理单元303对假目标进行特征描述，提取假目标特征描述信息，更新假目标反馈特征信息库，以降低算法在此之后的一次目标检测误检概率。随着系统运行时间的增长，假目标特征描述越来越精确，系统再进行一次目标检测的误检概率将会越来越低，准确度会越来越高，系统性能自动得到提升。

对比例为一次图像采集，并采用基于深度神经网络的YOLO V3目标分类检测算法进行一次目标检测。

经试验验证，随运行周期的增加，系统一次目标检测准确度分别为：

(9)摄像机301-2对真目标进行跟踪，当所有真目标消失或跟踪时间达到设定值时，针对第二预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元303，进行一次目标检测，检测方法与第一预设监测区域目标检测方法相同。

(10)依次类推，按(2)～(9)步骤对N个区域进行目标检测和/或识别，最后，重新从第一预设监测区域开始目标检测和/或识别，自动循环。

在整个智能视觉感知装置工作中，数据处理单元303对摄像机301-1和摄像机301-2采集的视频图像亮度做实时分析，当亮度不足时，及时发送控制命令给光照单元306-1和光照单元306-2，调整光照单元光照强度和光场角度，使得摄像机301-1和摄像机301-2采集的视频图像亮度适中。

实施例8：

在上述实施例的基础上，还提供一种智能视觉感知系统的第八种实施方式：

一种智能视觉感知系统，包含一个或多个智能视觉感知装置。该智能视觉感知装置由2个可见光摄像机、2传动机构、1数据处理单元、1通信接口单元、1电源管理单元、2光照单元及1防护外壳组成。外壳留有4窗口及电源和信号线接口，4窗口采用可透光的材料密封，其中2个窗口，用于摄像机进行视频图像采集，另外2个窗口用于补光。2传动机构通过数据处理单元发送的控制命令调整摄像机和光照单元的水平和上下视场方向位置，包括驱动电机、水平转轴、竖直转轴、控制线等。驱动电机驱动摄像机和光照单元绕转轴水平转动0～360度，上下转动0～180度。

通信接口单元主要包括有线和无线通信接口，用于接收外部设备信号及发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA、2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括AI/AO、DI/DO、RS485、RS422、RS232、CAN总线、LAN、光纤中的一种或多种。

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机和/或光照单元角度，和/或与云端平台或数据中心进行信息交互。电源管理单元主要用于给整个智能视频感知装置供电。光照单元主要包括发光设备和光照强度、视场方向范围调整单元，光照单元和摄像机固定在一起，传动机构共同控制光照单元和摄像机的左右上下摆动位置。

如图7所示，智能视觉感知装置包含可见光摄像机301-1、可见光摄像机301-2、传动机构302-1、传动机构302-2、数据处理单元303、通信接口单元304、电源管理单元305、光照单元306-1、光照单元306-2及防护外壳组成307。

防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；窗口采用透光材料，透射摄像机采集的视频图像，和/或光照单元发出的光；固定座用于固定防护外壳，或固定在外部支架上。在本实施例中，防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；窗口采用透光材料，分别透射摄像机采集的视频图像，和/或光照单元发出的光；固定座用于固定防护外壳，包括固定在外部支架上。在本实施例中，外壳留有窗口308-1、窗口308-2、窗口309-1、窗口309-2，以及电源和信号线接口板310，窗口308-1、窗口308-2、窗口309-1、窗口309-2都采用可透光的材料密封，其中窗口308-1和窗口308-2用于摄像机301-1和摄像机301-2的视频图像采集，窗口309-1和窗口309-2用于光照单元306-1和光照单元306-2透光，给摄像机301-1和摄像机301-2监测目标补光。

传动机构302-1通过接收数据处理单元303发送的控制命令调整摄像机301-1左右和上下视场方向位置，传动机构302-2通过接收数据处理单元303发送的控制命令调整摄像机301-2左右和上下视场方向位置。通信接口单元304主要包括有线和无线通信接口。电源管理单元305主要用于给整个智能视频感知装置供电，在本实施例中为系统内部的电池。光照单元306-1和306-2主要包括发光设备和光照强度调整单元，光源为可见光和/或红外光。光照单元306-1和摄像机301-1固定在一起，光照单元306-2和摄像机301-2固定在一起，传动机构302-1共同控制光照单元306-1和摄像机301-1的左右上下摆动位置，传动机构302-2共同控制光照单元306-2和摄像机301-2的左右上下摆动位置。

其中，摄像机，用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元等。

系统工作流程如下：

(1)根据装置所需监测的范围，预设监测区域的个数位置，每个区域以能覆盖该区域的最大倍率来设置该区域的PTZ参数。建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。

(2)针对第一预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元303。

(3)数据处理单元303经过一次目标检测算法，对所采集的视频图像进行目标的一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

(4)当一次目标检测发现无疑似目标时，设定PTZ参数，覆盖第二预设监测区域：数据处理单元303发送控制命令给摄像机301-1和传动机构302，传动机构302-1调整摄像机301-1视场方向，使得摄像机301-1视场方向对准第二预设监测区域，并调整摄像机301-1焦距，以大视野小分辨率对第二预设监测区域进行视频图像采集，数据处理单元303进行第二预设监测区域目标的一次目标检测，检测方法与第一预设监测区域目标一次检测方法相同。

(5)当一次目标检测发现有疑似目标时，数据处理单元303给出第一预设监测区域特征权重Q1，Q1由该区域内疑似目标数量获得；同时，设定PTZ参数，以大视野小分辨率覆盖第二预设监测区域，使摄像机301-1对该监测区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元303。

(6)依次类推，重复上述步骤(1)～(5)，对N个监测区域目标的一次目标检测，区分出存在疑似目标的W个区域，并依据区域特征权重Qi的大小对W个区域重新排序，权重最大的为第1区域，权重最小为第W区域。

本实施例中，各区域特征权重Qi(0<i≤N)分别由各区域中疑似目标的数量获得。

(7)智能视觉感知装置调整摄像机301-2视场方向和焦距，将疑似目标高度缩放到视频图像高度的2/3，并调整到视野中心，以该小视野大分辨率对存在疑似目标的第1区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元303，数据处理单元303经过二次目标检测算法，对采集的视频图像依次进行疑似目标的二次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

(8)当二次目标检测判断出疑似目标是真目标时，数据处理单元303生成该真目标的目标特征信息和告警信息，同时，数据处理单元303发送控制命令给摄像机301和传动机构302-2，传动机构302-2调整摄像机301-2视场方向，实时调整摄像机301-2焦距，对检测出的真目标进行实时跟踪；同时，数据处理单元303将目标特征信息和告警信息发送至监控终端。

目标特征信息包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种，或者表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

(9)摄像机301-2对真目标进行跟踪，当该真目标消失或跟踪时间达到设定值时，数据处理单元303发送控制命令给摄像机301-2和传动机构302-2，传动机构302-2调整摄像机301-2视场方向，使得摄像机301-2视场方向对准下一个真目标进行跟踪。

(10)当二次目标检测判断出疑似目标是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，数据处理单元303对假目标进行特征描述，提取假目标特征描述信息，对假目标特征描述信息设定更新速率，优化假目标反馈特征信息库，进一步提高了一次检测算法的精确度。

对比例为一次图像采集，并采用基于深度神经网络的YOLO V3目标分类检测算法进行一次目标检测。

经试验验证，随运行周期的增加，系统一次目标检测准确度分别为：

(11)摄像机301-2对真目标进行跟踪，当所有真目标消失或跟踪时间达到设定值时，数据处理单元303发送控制命令给摄像机301-2和传动机构302-2，传动机构302-2调整摄像机301-2视场方向，使得摄像机301-2视场方向对准第2区域，调整摄像机301-2焦距，以小视野大分辨率对第2区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元303，数据处理单元303经过视频图像目标检测算法，对采集的视频图像进行第2区域目标的二次目标检测，检测方法与第1区域目标二次检测方法相同。

(12)依次类推，按(7)～(11)步骤对W个区域进行二次目标检测和/或识别，最后，重新从第(2)步开始，从第一预设监测区域开始检测和/或目标识别，自动循环。

在整个智能视觉感知装置工作中，数据处理单元303对摄像机301-1和摄像机301-2采集的视频图像亮度做实时分析，当亮度不足时，及时发送控制命令给光照单元306-1和光照单元306-2，调整光照单元光照强度，使得摄像机301-1和摄像机301-2采集的视频图像亮度适中。

实施例9：

在上述实施例的基础上，还提供一种智能视觉感知系统的第九种实施方式：

一种智能视觉感知系统，包含一个或多个智能视觉感知装置。该智能视觉感知装置由1个可见光摄像机、1个近红外摄像机、2传动机构、1数据处理单元、1通信接口单元、1电源管理单元、2光照单元及1防护外壳组成。外壳留有4窗口及电源和信号线接口，4窗口采用可透光的材料密封，其中2个窗口，用于2摄像机进行视频图像采集，另外2个窗口用于光照单元进行补光。2传动机构通过数据处理单元发送的控制命令调整摄像机和光照单元的水平和上下视场方向位置，包括驱动电机、水平转轴、竖直转轴、控制线等。驱动电机驱动摄像机和光照单元绕转轴水平转动0～360度，上下转动0～180度。

通信接口单元主要包括有线和无线通信接口，输入接口用于接收外部设备信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA中的一种或多种；有线方式包括RS485、RS422、RS232、CAN总线中的一种或多种；输出接口用于发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括LAN、光纤中的一种或多种。

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机和/或光照单元角度，和/或与云端平台或数据中心进行信息交互，和/或与现场其它传感器，和/或其它关联系统的联动信息交互。电源管理单元主要用于给整个智能视频感知装置供电。光照单元主要包括发光设备和光照强度、光照范围调整单元，光照单元和摄像机固定在一起，传动机构共同控制光照单元和摄像机的左右上下摆动位置。

如图7所示，智能视觉感知装置包含近红外摄像机301-1、可见光摄像机301-2、传动机构302-1、传动机构302-2、数据处理单元303、通信接口单元304、电源管理单元305、光照单元306-1、光照单元306-2、防护外壳组成307。

防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；窗口采用透光材料，透射摄像机采集的视频图像，和/或光照单元发出的光；固定座用于固定防护外壳，包括固定在外部支架上。在本实施例中，外壳留有窗口308-1、窗口308-2、窗口309-1、窗口309-2，以及电源和信号线接口板310，窗口308-1、窗口308-2、窗口309-1、窗口309-2都采用可透光的材料密封，其中窗口308-1和窗口308-2用于摄像机301-1和摄像机301-2的视频图像采集，窗口309-1和窗口309-2用于光照单元306-1和光照单元306-2透光，给摄像机301-1和摄像机301-2监测目标补光。传动机构302-1通过数据处理单元303发送的控制命令调整摄像机301-1左右和上下视场方向位置，传动机构302-2通过数据处理单元303发送的控制命令调整摄像机301-2左右和上下视场方向位置。通信接口单元304主要包括有线和无线通信接口。电源管理单元305主要用于给整个智能视频感知装置供电，在本实施例中为外部的太阳能电池板。光照单元306-1和306-2主要包括发光设备和光照强度调整单元，均为红外光。光照单元306-1和摄像机301-1固定在一起，光照单元306-2和摄像机301-2固定在一起，传动机构302-1共同控制光照单元306-1和摄像机301-1的左右上下摆动位置，传动机构302-2共同控制光照单元306-2和摄像机301-2的左右上下摆动位置。

其中，摄像机，用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元等。

系统工作流程如下：

(1)根据装置所需监测的范围，预设监测区域的个数位置，每个区域以能覆盖该区域的最大倍率来设置该区域的PTZ参数。建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。

(2)针对第一预设监测区域，设定PTZ参数，近红外摄像机301-1以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元303。

(3)数据处理单元303经过一次目标检测算法，对所采集的视频图像进行目标的一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

(4)当一次目标检测发现无疑似目标时，设定PTZ参数，覆盖第二预设监测区域：数据处理单元303发送控制命令给红外摄像机301-1和传动机构302-1，传动机构302-1调整红外摄像机301-1视场方向，使得红外摄像机301-1视场方向对准第二预设监测区域，调整红外摄像机301-1焦距，以大视野小分辨率对该区域进行视频图像采集，数据处理单元303经过视频图像目标检测算法，对采集的视频图像进行目标的一次目标检测。

(5)当一次目标检测发现有疑似目标时，调整PTZ参数：数据处理单元303发送控制命令给可见光摄像机301-2和传动机构302-2，传动机构302-2调整可见光摄像机301-2视场方向，使得可见光摄像机301-2视场方向对准疑似目标，调整可见光摄像机301-2焦距。通过调整PTZ参数，将疑似目标高度缩放到视频图像高度的1/3，以该小视野大分辨率对疑似目标进行视频图像采集，数据处理单元303经过二次目标检测算法，对采集的视频图像进行二次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

(6)当二次目标检测判断出疑似目标是真目标时，数据处理单元303输出告警信息至监控终端，并生成该真目标特征信息，同时，数据处理单元303发送控制命令给可见光摄像机301-2和传动机构302-2，传动机构302-2调整可见光摄像机301-2视场方向，实时调整可见光摄像机301-2焦距，对检测出的真目标进行实时跟踪；同时，数据处理单元303将真目标特征信息和告警信息发送至监控终端。

目标特征信息包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种，或表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

(7)可见光摄像机301-2对真目标进行跟踪，当该真目标消失或跟踪时间达到设定值时，数据处理单元303发送控制命令至可见光摄像机301-2和传动机构302-2，传动机构302-2调整可见光摄像机301-2视场方向，使得可见光摄像机301-2视场方向对准下一个真目标进行跟踪。

(8)当二次目标检测判断出疑似目标是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，数据处理单元303对假目标进行特征描述，提取假目标特征描述信息，更新假目标反馈特征信息库，以降低算法在此之后的一次目标检测误检概率。随着系统运行时间的增长，假目标特征描述越来越精确，系统再进行一次目标检测的误检概率将会越来越低，准确度会越来越高，系统性能自动得到提升。

对比例为一次图像采集，并采用基于深度神经网络的YOLO V3目标分类检测算法进行一次目标检测。

经试验验证，随运行周期的增加，系统一次目标检测准确度分别为：

(9)可见光摄像机301-2对真目标进行跟踪，当所有真目标消失或跟踪时间达到设定值时，针对第二预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元303：数据处理单元303发送控制命令给红外摄像机301-1和传动机构302-1，传动机构302-1调整红外摄像机301-1视场方向，使得红外摄像机301-1视场方向对准第二预设监测区域，调整红外摄像机301-1焦距，对该区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元303，数据处理单元303经过视频图像目标检测算法，对采集的视频图像进行目标的一次目标检测，检测方法与第一预设监测区域目标检测方法相同。

(10)依次类推，按(2)～(9)步骤对N个区域进行目标识别，最后，重新从第一监测区域开始目标识别，自动循环。

在整个智能视觉感知装置工作中，数据处理单元303对红外摄像机301-1和可见光摄像机301-2采集的视频图像亮度做实时分析，当亮度不足时，及时发送控制命令给光照单元306-1和光照单元306-2，调整光照单元光照强度和光照范围，使得红外摄像机301-1和可见光摄像机301-2采集的视频图像亮度适中。

实施例10：

在上述实施例的基础上，还提供一种智能视觉感知系统的第十种实施方式：

一种智能视觉感知系统，包含一个或多个智能视觉感知装置。该智能视觉感知装置由1个可见光摄像机、1个近红外摄像机、2传动机构、1数据处理单元、1通信接口单元、1电源管理单元、2光照单元及1防护外壳组成。外壳留有4窗口及电源和信号线接口，4窗口采用可透光的材料密封，其中2个窗口，用于2摄像机进行视频图像采集，另外2个窗口用于光照单元进行补光。2传动机构通过数据处理单元发送的控制命令调整摄像机和光照单元的水平和上下视场方向位置，包括驱动电机、水平转轴、竖直转轴、控制线等。驱动电机驱动摄像机和光照单元绕转轴水平转动0～360度，上下转动0～180度。

通信接口单元主要包括有线和无线通信接口，用于接收外部设备信号及发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA、2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括AI/AO、DI/DO、RS485、RS422、RS232、CAN总线、LAN、光纤中的一种或多种。

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机和/或光照单元角度，和/或与云端平台或数据中心进行信息交互，和/或与现场其它传感器，和/或其它关联系统的联动信息交互。电源管理单元主要用于给整个智能视频感知装置供电。光照单元主要包括发光设备和光照强度、光照范围调整单元，光照单元和摄像机固定在一起，传动机构共同控制光照单元和摄像机的左右上下摆动位置。

如图7所示，智能视觉感知装置包含近红外摄像机301-1、可见光摄像机301-2、传动机构302-1、传动机构302-2、数据处理单元303、通信接口单元304、电源管理单元305、光照单元306-1、光照单元306-2及防护外壳组成307。

防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；窗口采用透光材料，分别透射摄像机采集的视频图像，和/或光照单元发出的光；固定座用于固定防护外壳，固定在外部支架上。在本实施例中，外壳留有窗口308-1、窗口308-2、窗口309-1、窗口309-2，以及电源和信号线接口板310，窗口308-1、窗口308-2、窗口309-1、窗口309-2都采用可透光的材料密封，其中窗口308-1和窗口308-2用于摄像机301-1和摄像机301-2的视频图像采集，窗口309-1和窗口309-2用于光照单元306-1和光照单元306-2透光，给摄像机301-1和摄像机301-2监测目标补光。传动机构302-1通过数据处理单元303发送的控制命令调整摄像机301-1左右和上下视场方向位置，传动机构302-2通过数据处理单元303发送的控制命令调整摄像机301-2左右和上下视场方向位置。通信接口单元304主要包括有线和无线通信接口。电源管理单元305主要用于给整个智能视频感知装置供电，在本实施例中为有线电源。光照单元306-1和306-2主要包括发光设备和光照强度调整单元，光源为可见光和/或红外光。光照单元306-1和摄像机301-1固定在一起，光照单元306-2和摄像机301-2固定在一起，传动机构302-1共同控制光照单元306-1和摄像机301-1的左右上下摆动位置，传动机构302-2共同控制光照单元306-2和摄像机301-2的左右上下摆动位置。

其中，摄像机，用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元等。

系统工作流程如下：

(1)根据装置所需监测的范围，预设监测区域的个数位置，每个区域以能覆盖该区域的最大倍率来设置该区域的PTZ参数。建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。

(2)针对第一预设监测区域，设定PTZ参数，近红外摄像机301-1以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元303。

(3)数据处理单元303经过一次目标检测算法，对所采集的视频图像进行目标的一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

(4)当一次目标检测发现无疑似目标时，设定PTZ参数，覆盖第二预设监测区域：数据处理单元303发送控制命令给红外摄像机301-1和传动机构302，传动机构302-1调整近红外摄像机301-1视场方向，使得近红外摄像机301-1视场方向对准第二预设监测区域，调整近红外摄像机301-1焦距，以大视野小分辨率对第二预设监测区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元303，数据处理单元303进行第二预设监测区域目标的一次目标检测，检测方法与第一预设监测区域目标一次检测方法相同。

(5)当一次目标检测发现有疑似目标时，数据处理单元303给出第一预设监测区域特征权重Q1，Q1由该区域内疑似目标数量及移动目标的移动速率加权获得；设定PTZ参数，以大视野小分辨率覆盖第二预设监测区域，由近红外摄像机301-1对该区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元303。

(6)依次类推，重复上述步骤(1)～(5)，对N个监测区域目标的一次目标检测，区分出存在疑似目标的W个区域，并依据区域特征权重Qi的大小对W个区域重新排序，权重最大的为第1区域，权重最小为第W区域。

本实施例中，各区域特征权重Qi(0<i≤N)分别由各区域中疑似目标的数量及移动目标的移动速率加权获得。

(7)智能视觉感知装置调整近红外摄像机301-1视场方向和焦距，通过调整PTZ参数，将疑似目标高度缩放到视野高度的1/2，并调整到视野中心，以该小视野大分辨率对存在疑似目标的第1区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元303，数据处理单元303经过二次目标检测算法，对采集的视频图像依次进行疑似目标的二次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

(8)当二次目标检测判断出疑似目标是真目标时，数据处理单元303生成该真目标的目标特征信息1和告警信息1，同时，数据处理单元303发送控制命令给摄像机301和传动机构302-2，传动机构302-2调整可见光摄像机301-2视场方向，实时调整可见光摄像机301-2焦距，对检测出的真目标进行实时跟踪；同时，数据处理单元303将二次检测真目标的目标特征信息1发送至云平台或数据中心；云端平台或数据中心依据智能视觉感知装置发送的目标特征信息1经过目标识别算法，进行目标识别，并将得到目标的特征信息2和告警信息2发送至监控终端；监控终端对告警信息1、告警信息2、目标特征信息1和/或目标特征信息2进行处理和显示。

目标特征信息1包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种。目标特征信息2包括表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

(9)可见光摄像机301-2对真目标进行跟踪，当该真目标消失或跟踪时间达到设定值时，数据处理单元303发送控制命令给摄像机301-2和传动机构302-2，传动机构302-2调整可见光摄像机301-2视场方向，使得可见光摄像机301-2视场方向对准下一个真目标进行跟踪。

(10)当二次目标检测判断出疑似目标是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，数据处理单元303对假目标进行特征描述，提取假目标特征描述信息，对假目标特征描述信息设定更新速率，优化假目标反馈特征信息库，进一步提高了一次检测算法的精确度。

对比例为一次图像采集，并采用基于深度神经网络的YOLO V3目标分类检测算法进行一次目标检测。

经试验验证，随运行周期的增加，系统一次目标检测准确度分别为：

(11)可见光摄像机301-2对真目标进行跟踪，当所有真目标消失或跟踪时间达到设定值时，数据处理单元303发送控制命令给可见光摄像机301-2和传动机构302-2，传动机构302-2调整可见光摄像机301-2视场方向，使得可见光摄像机301-2视场方向对准第2区域，调整可见光摄像机301-2焦距，以小视野大分辨率对第2区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元303，数据处理单元303经过视频图像目标检测算法，对采集的视频图像进行第2区域目标的二次目标检测，检测方法与第1区域目标二次检测方法相同。

(12)依次类推，按(7)～(11)步骤对W个区域进行二次目标检测和识别，最后，重新从第(1)步开始，从第一预设监测区域开始目标识别，自动循环。

(13)多个智能视觉感知装置组成智能视觉感知系统，通过对各智能视觉感知装置设定不同监测范围，对各监测范围内预设的各监测区域进行如上目标检测和/或识别，以实现对更广区域的目标监测。

在整个智能视觉感知装置工作中，数据处理单元303对摄像机301-1和可见光摄像机301-2采集的视频图像亮度做实时分析，当亮度不足时，及时发送控制命令给光照单元306-1和光照单元306-2，调整光照单元光照强度，使得摄像机301采集的视频图像亮度适中。

实施例11：

在上述实施例的基础上，还提供一种智能视觉感知系统的第十一种实施方式：

一种智能视觉感知系统，包含一个或多个智能视觉感知装置。该智能视觉感知装置由1个可见光摄像机、1个红外热成像摄像机、2传动机构、1数据处理单元、1通信接口单元、1电源管理单元、1光照单元及1防护外壳组成。外壳留有3窗口及电源和信号线接口，3窗口采用可透光的材料密封，其中2个窗口，用于2摄像机进行视频图像采集，另外1个窗口用于补光。2传动机构通过数据处理单元发送的控制命令调整摄像机和光照单元的水平和上下视场方向位置，包括驱动电机、水平转轴、竖直转轴、控制线等。驱动电机驱动摄像机和光照单元绕转轴水平转动0～360度，上下转动0～180度。

通信接口单元主要包括有线和无线通信接口，用于接收外部设备信号及发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA、2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括AI/AO、DI/DO、RS485、RS422、RS232、CAN总线、LAN、光纤中的一种或多种。

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机和/或光照单元角度，和/或与云端平台或数据中心进行信息交互。电源管理单元主要用于给整个智能视频感知装置供电。光照单元主要包括发光设备和光照强度、光照范围调整单元，光照单元和摄像机固定在一起，传动机构共同控制光照单元和摄像机的左右上下摆动位置。

如图8所示，智能视觉感知装置包含红外热成像摄像机401-1、可见光摄像机401-2、传动机构402-1、传动机构402-2、数据处理单元403、通信接口单元404、电源管理单元405、光照单元406、防护外壳407。

防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；窗口采用透光材料，透射摄像机采集的视频图像，和/或光照单元发出的光；固定座用于固定防护外壳，固定在外部支架上。在本实施例中，外壳留有窗口408-1、窗口408-2、窗口409，以及电源和信号线接口板410，窗口408-1、窗口408-2、窗口409都采用可透光的材料密封，其中窗口408-1用于红外热成像摄像机401-1视频图像采集，窗口408-2用于可见光摄像机401-2的视频图像采集，窗口409用于光照单元406透光，给可见光摄像机401-2监测目标补光。

传动机构402-1通过接收数据处理单元403发送的控制命令，调整红外热成像摄像机401-1左右和上下视场方向位置；传动机构402-2通过接收数据处理单元403发送的控制命令调整摄像机401-2左右和上下视场方向位置。通信接口单元404主要包括有线和无线通信接口。电源管理单元405主要用于给整个智能视频感知装置供电，在本实施例中为有线电源。光照单元406主要包括发光设备和光照强度调整单元，光源为激光。光照单元406和摄像机401-2固定在一起，传动机构402-1控制红外热成像摄像机401-1的左右上下摆动位置，传动机构402-2共同控制光照单元406和摄像机401-2的左右上下摆动位置。

其中，摄像机，用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元等。

系统工作流程如下：

(1)根据装置所需监测的范围，预设监测区域的个数位置，每个区域以能覆盖该区域的最大倍率来设置该区域的PTZ参数。建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。

(2)针对第一预设监测区域，设定PTZ参数，红外热成像摄像机401-1以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元403。

(3)数据处理单元403经过一次目标检测算法，对所采集的视频图像进行目标的一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

(4)当一次目标检测发现无疑似目标时，设定PTZ参数，覆盖第二预设监测区域：数据处理单元403发送控制命令给红外热成像摄像机401-1和传动机构402-1，传动机构402-1调整红外热成像摄像机401-1视场方向，使得红外热成像摄像机401-1视场方向对准第二预设监测区域，调整红外热成像摄像机401-1焦距，以大视野小分辨率对第二预设监测区域进行视频图像采集，数据处理单元403经过视频图像目标检测算法，对采集的视频图像进行目标的一次目标检测。

(5)当一次目标检测发现有疑似目标时，调整PTZ参数：数据处理单元403发送控制命令至可见光摄像机401-2和传动机构402-2，传动机构402-2调整可见光摄像机401-2视场方向，使得可见光摄像机401-2视场方向对准疑似目标，调整可见光摄像机401-2焦距。通过调整PTZ参数，将疑似目标高度缩放到视频图像高度的1/3，并调整到视野中心，以该小视野大分辨率对疑似目标进行视频图像采集，数据处理单元403经过二次目标检测算法，对采集的视频图像进行二次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

(6)当二次目标检测判断出疑似目标是真目标时，数据处理单元303输出告警信息1至监控终端，并生成该真目标特征信息1。数据处理单元403发送控制命令给可见光摄像机401-2和传动机构402-2，传动机构402-2调整可见光摄像机401-2视场方向，实时调整可见光摄像机401-2焦距，对检测出的真目标进行实时跟踪；同时，数据处理单元403将该真目标特征信息1发送至云平台或数据中心，云端平台或数据中心依据智能视觉感知装置发送的该真目标特征信息1经过目标识别算法，进行目标识别，生成该真目标特征信息2和告警信息2，并将真目标特征信息2和告警信息2发送至监控终端；监控终端对告警信息1、告警信息2、目标特征信息1和/或目标特征信息2进行处理。

目标特征信息1包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种。目标特征信息2包括表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

(7)可见光摄像机401-2对真目标进行跟踪，当该真目标消失或跟踪时间达到设定值时，数据处理单元403发送控制命令至可见光摄像机401-2和传动机构402-2，传动机构402-2调整可见光摄像机401-2视场方向，使得可见光摄像机401-2视场方向对准下一个真目标进行跟踪。

(8)当二次目标检测判断出疑似目标是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，数据处理单元403对假目标进行特征描述，提取假目标特征描述信息，更新假目标反馈特征信息库，以降低算法在此之后的一次目标检测误检概率。随着系统运行时间的增长，假目标特征描述越来越精确，系统再进行一次目标检测的误检概率将会越来越低，准确度会越来越高，系统性能自动得到提升。

对比例为一次图像采集，并采用基于深度神经网络的YOLO V3目标分类检测算法进行一次目标检测。

经试验验证，随运行周期的增加，系统一次目标检测准确度分别为：

(9)可见光摄像机401-2对真目标进行跟踪，当所有真目标消失或跟踪时间达到设定值时，针对第二预设监测区域，设定PTZ参数，以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元403：数据处理单元403发送控制命令给红外热成像摄像机401-1和传动机构402-1，传动机构402-1调整红外热成像摄像机401-1视场方向，使得红外热成像摄像机401-1视场方向对准第二预设监测区域，调整红外热成像摄像机401-1焦距，以大视野小分辨率对第二预设监测区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元403，数据处理单元403经过视频图像目标检测算法，对采集的视频图像进行目标的一次目标检测，检测方法与第一预设监测区域目标检测方法相同。

(10)依次类推，按(2)～(9)步骤对N个区域进行目标识别，最后，重新从第一预设监测区域开始目标识别，自动循环。

(11)多个智能视觉感知装置组成智能视觉感知系统，通过对各智能视觉感知装置设定不同监测范围，对各监测范围内预设的各监测区域进行如上目标检测和/或识别，以实现对更广区域的目标监测。

在整个智能视觉感知装置工作中，数据处理单元403对可见光摄像机401-2采集的视频图像亮度做实时分析，当亮度不足时，及时发送控制命令给光照单元406，光照单元406调整光照强度和光照范围，使得可见光摄像机401-2采集视频图像亮度适中。

实施例12：

在上述实施例的基础上，还提供一种智能视觉感知系统的第十二种实施方式：

一种智能视觉感知系统，包含一个或多个智能视觉感知装置。该智能视觉感知装置由1个可见光摄像机、1个红外摄像机、2传动机构、1数据处理单元、1通信接口单元、1电源管理单元、1光照单元及1防护外壳组成。外壳留有3窗口及电源和信号线接口，3窗口采用可透光的材料密封，其中2个窗口，用于2摄像机进行视频图像采集，另外1个窗口用于补光。2传动机构通过数据处理单元发送的控制命令调整摄像机和光照单元的水平和上下视场方向位置，包括驱动电机、水平转轴、竖直转轴、控制线等。驱动电机驱动摄像机和光照单元绕转轴水平转动0～360度，上下转动0～180度。

通信接口单元主要包括有线和无线通信接口，输入接口用于接收外部设备信号，其连接方式包括无线和/或有线方式；其中，无线方式包括WIFI、BT、ZIGBEE、LORA中的一种或多种；有线方式包括RS485、RS422、RS232、CAN总线中的一种或多种；输出接口用于发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，无线方式包括2G、3G、4G、5G、NB-IOT中的一种或多种；有线方式包括LAN、光纤中的一种或多种。

数据处理单元，用于对摄像机采集的视频数据进行分析处理，控制摄像机进行焦距调整，控制传动机构调整摄像机和/或光照单元角度，和/或与云端平台或数据中心进行信息交互。电源管理单元主要用于给整个智能视频感知装置供电。光照单元主要包括发光设备和光照强度、视场方向范围调整单元，光照单元和摄像机固定在一起，传动机构共同控制光照单元和摄像机的左右上下摆动位置。

如图8所示，智能视觉感知装置包含红外摄像机401-1、可见光摄像机401-2、传动机构402-1、传动机构402-2、数据处理单元403、通信接口单元404、电源管理单元405、光照单元406、防护外壳407。

防护外壳包括接口板、窗口、固定座。接口板上有1个或多个接口，与外部单元连接；窗口采用透光材料，透射摄像机采集的视频图像，和/或光照单元发出的光；固定座用于固定防护外壳，固定在外部支架上。在本实施例中，外壳留有窗口408-1、窗口408-2、窗口409，以及电源和信号线接口板410，窗口408-1、窗口408-2、窗口409都采用可透光的材料密封，其中窗口408-1用于红外摄像机401-1视频图像采集，窗口408-2用于可见光摄像机401-2的视频图像采集，窗口409用于光照单元406透光，给可见光摄像机401-2监测目标补光。

传动机构402-1通过数据处理单元403发送的控制命令，调整红外摄像机401-1左右和上下视场方向位置；传动机构402-2通过数据处理单元403发送的控制命令，调整摄像机401-2左右和上下视场方向位置。通信接口单元404主要包括有线和无线通信接口。电源管理单元405主要用于给整个智能视频感知装置供电，在本实施例中为系统内部的电池。光照单元406主要包括发光设备和光照强度和光照范围调整单元，光源为红外光。光照单元406和摄像机401-2固定在一起，传动机构402-1控制红外摄像机401-1的左右上下摆动位置，传动机构402-2共同控制光照单元406和摄像机401-2的左右上下摆动位置。

其中，摄像机，用于视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元等。

系统工作流程如下：

(1)根据装置所需监测的范围，预设监测区域的个数位置，每个区域以能覆盖该区域的最大倍率来设置该区域的PTZ参数。建立特定监测区域的假目标反馈特征信息库，包括假目标的位置信息和假目标特征描述信息。

(2)针对第一预设监测区域，设定PTZ参数，红外热成像摄像机401-1以该大视野小分辨率进行视频图像采集，将采集的视频图像实时传输至数据处理单元403。

(3)数据处理单元403经过一次目标检测算法，对所采集的视频图像进行一次目标检测。一次目标检测结合了假目标反馈特征库信息，如果某区域的图像特征与该区域的假目标反馈特征描述具有高匹配度，则该区域将大概率被划分为背景，而不将其归为疑似目标。一次目标检测算法为基于固定背景模型的运动目标检测算法，和/或与背景无关的目标分类检测算法。

(4)当一次目标检测发现无疑似目标时，设定PTZ参数，覆盖第二预设监测区域：数据处理单元403发送控制命令给红外摄像机401-1和传动机构402，传动机构402-1调整红外摄像机401-1视场方向，使得红外摄像机401-1视场方向对准第二预设监测区域，并调整红外摄像机401-1焦距，以大视野小分辨率对该区域进行视频图像采集，数据处理单元403经过视频图像目标检测算法，对采集的视频图像进行目标的一次目标检测。。

(5)当一次目标检测发现有疑似目标时，数据处理单元403给出第一预设监测区域特征权重Q1，Q1由该区域内疑似目标数量及移动目标的移动速率加权获得；设定PTZ参数，以大视野小分辨率覆盖第二预设监测区域，使红外摄像机401-1对该区域进行视频图像采集，将采集的视频图像实时传输至数据处理单元403，经过视频图像目标检测算法，进行一次目标检测。

(6)依次类推，重复上述步骤(1)～(5)，对N个监测区域目标的一次目标检测，区分出存在疑似目标的W个区域，并依据区域特征权重Qi的大小对W个区域重新排序，权重最大的为第1区域，权重最小为第W区域。

本实施例中，各区域特征权重Qi(0<i≤N)分别由各区域中疑似目标的数量及移动目标的移动速率加权获得。

(7)智能视觉感知装置调整可见光摄像机401-2视场方向和焦距，通过调整PTZ参数，将疑似目标高度缩放到视野高度的1/6，并调整到视野中心，以该小视野大分辨率对存在疑似目标的第1区域进行视频图像采集，数据处理单元403将采集的视频图像，经过二次目标检测算法，依序进行疑似目标的二次目标检测。二次目标检测算法为与背景无关的目标分类检测算法。

(8)当二次目标检测判断出疑似目标是真目标时，数据处理单元403生成该真目标的目标特征信息1和告警信息1。数据处理单元403发送控制命令至摄像机401和传动机构402-2，传动机构402-2调整可见光摄像机401-2视场方向，实时调整可见光摄像机401-2焦距，对检测出的真目标进行实时跟踪；同时，数据处理单元403将二次检测的真目标的目标特征信息1发送至云平台或数据中心；云端平台或数据中心依据智能视觉感知装置发送的目标特征信息1经过目标识别算法，进行目标识别，并将得到目标的特征信息2和告警信息2发送至监控终端；监控终端对告警信息1、告警信息2、目标特征信息1和/或目标特征信息2进行处理和显示。

目标特征信息1包括表征目标具体分类的特征信息，包括人、动物、车和/或车型、飞行物、不应当出现的其它异物，包括自然掉落物和/或扩散物，例如落石、泥石流，和人类遗落物等中的一种或多种。目标特征信息2包括表征目标具体身份的特征信息，包括人的身份、动物的种类、车的车牌、其它异物的种类中的一种或多种。具体信息种类和内容根据特定的应用环境进行定义。

(9)可见光摄像机401-2对真目标进行跟踪，当该真目标消失或跟踪时间达到设定值时，数据处理单元403发送控制命令给摄像机401-2和传动机构402-2，传动机构402-2调整可见光摄像机401-2视场方向，使得可见光摄像机401-2视场方向对准下一个真目标进行跟踪。

(10)当二次目标检测判断出疑似目标是假目标时，将大分辨率图像下确定的假目标，映射到小分辨率图像中，数据处理单元403对假目标进行特征描述，提取假目标特征描述信息，对假目标特征描述信息设定更新速率，优化假目标反馈特征信息库，进一步提高了一次检测算法的精确度。

对比例为一次图像采集，并采用基于深度神经网络的YOLO V3目标分类检测算法进行一次目标检测。

经试验验证，随运行周期的增加，系统一次目标检测准确度分别为：

(11)可见光摄像机401-2对真目标进行跟踪，当所有真目标消失或跟踪时间达到设定值时，数据处理单元403发送控制命令给可见光摄像机401-2和传动机构402-2，传动机构402-2调整可见光摄像机401-2视场方向，使得可见光摄像机401-2视场方向对准第2区域，调整可见光摄像机401-2焦距，以小视野大分辨率对第2区域进行视频图像采集，数据处理单元403对采集的视频图像经过视频图像目标检测算法，进行第2区域目标的二次目标检测，检测方法与第1区域目标二次检测方法相同。

(12)依次类推，按(7)～(11)步骤对W个区域进行二次目标检测和识别，最后，重新从第(1)步开始，从第一预设监测区域开始目标检测，自动循环。

(13)多个智能视觉感知装置组成智能视觉感知系统，通过对各智能视觉感知装置设定不同监测范围，对各监测范围内预设的各监测区域进行如上目标检测和/或识别，以实现对更广区域的目标监测。

在整个智能视觉感知装置工作中，数据处理单元403对摄像机401-1和摄像机401-2采集的视频图像亮度做实时分析，当亮度不足时，及时发送控制命令给光照单元406-1和光照单元406-2，调整光照单元光照强度和光照范围，使得摄像机401-1和摄像机401-2采集的视频图像亮度适中。

实施例13：

在上述实施例的基础上，还提供本发明提供的智能视觉感知系统，在铁路应用中，依据实施例12的技术方案，采用红外摄像机401-1，根据当前监测区域的范围，计算出能覆盖整个区域的最大倍率，通过设定PTZ参数，以该大视野小分辨率对该监测区域进行视频图像采集，所采集的视频图像，如图9所示。采用数据处理单元403对所采集的视频图像，经过视频图像目标检测算法，进行一次目标检测，发现有疑似目标。

数据处理单元403发送控制命令给可见光摄像机401-2和传动机构402-2，传动机构402-2调整可见光摄像机401-2视场方向，使得可见光摄像机401-2视场方向对准疑似目标，调整可见光摄像机401-2焦距。通过调整PTZ参数，将疑似目标高度缩放到视野高度的1/3，并调整到视野中心，以该小视野大分辨率对疑似目标进行视频图像采集，所采集的视频图像，如图10所示。

数据处理单元403经过视频图像目标检测算法，对采集的视频图像进行二次目标检测，判断为真目标。数据处理单元将告警信息1、告警信息2、目标特征信息1、和/或目标特征信息2发送至监控终端。同时，可见光摄像机401-2对真目标进行跟踪，如图11所示。告警信息包括可疑人员闯入铁路运行的特定监测区域，滞留时间，可疑行为，带来的现实危险等，目标特征信息包括人及人的身体特征，甚至经过面部特征比对后的人的身份信息。

采用本发明的智能视觉感知系统，实现了对铁路沿线周边行车环境检测，当铁路行车限界内出现非法人员闯入、异物被抛入、落石掉入、边坡坍塌等情况时，及时进行智能捕捉、放大、特征描述和告警，以方便采取后续措施，保证行车安全。本发明解决了当前铁路方面对铁轨周边环境的非智能监测，一方面需要监控者紧盯屏幕，不敢懈怠，实时地人为判断是否存在运行障碍；并且对于远方可能存在的现实危险，可能因为图像不清，加以忽略，或者因为不能及时进行图像放大，产生误判，而影响了应急响应时间，从而延误了事故挽救的时机，可能导致数以亿计的财产损失和众多人员伤亡的现实危险。可见，本发明具有技术先进性和极强的社会应用价值。

实施例14：

在上述实施例的基础上，还提供一种智能视觉感知系统的一种实施方式，基于上述各实施例，智能视觉感知装置通过通信接口的输入接口，接收放置于智能视觉感知装置所能覆盖的检测区域内的其它传感或动作装置信号，当其它传感或动作装置感知到异常情况时，发送报警信息给智能视觉感知装置，智能感知装置接收到该传感或动作装置发送的报警信息，优先调整摄像机的视场方向和焦距，对该传感或动作装置所在区域进行目标检测。

例如，传感装置为埋在地面的振动传感器，在正常情况下，振动传感器所在区域不会有车辆等经过，智能视觉感知装置不对该区域进行监测，当有车辆等经过时，振动传感器给智能视觉感知装置发送振动信号，智能视觉感知装置收到振动信号后，即可调整视场方向和焦距，对振动传感器所在的区域进行目标识别。

一种智能视觉感知系统的另一种实施方式，基于上述各实施例，智能视觉感知装置通过输出接口，向监测区域内的其它传感或动作装置提供其感知数据和/或信息；进一步地，与监测区域内的其它传感或动作装置进行数据融合和/或联合判断，和/或对监测区域内的其它传感或动作装置进行直接控制或系统联动。监测区域内的其它传感或动作装置包括告警声光设备、门禁设备、消防设备、除障设备、动物驱赶设备、拖车设备、清扫设备、巡视设备、冲力减缓设备、紧急止停设备、分流设备、现场和/或外部通讯设备、防爆设备、医疗救助设备、掩蔽设备、无人机运输设备、人员疏散和/或安全撤离设备中的一种或多种；信息包括告警信息和/或目标特征信息。

例如，在实施例13中，本发明的智能视觉感知系统发现了真目标是不明原因出现在铁道上的可疑人员，立即向监测区域内的传感或动作装置发送感知数据和信息，传感或动作装置例如巡视车辆、现场通讯设备等，并联动广播播放警告信息和列车到站信息。如系统通过特征识别，发现真目标是羊群等，可联动动物驱赶设备，使羊群远离列车行进轨道，避免重大事故的发生。同时，根据本发明的智能视觉感知系统发布的告警信息和目标特征信息，启动人员处警流程，由相关责任人员派员前往真目标区域，现场指挥、控制可疑人员并排除妨碍，保证铁路正常运行和人员安全。

在上述实施例中，可以全部或部分地通过软件、硬件任意组合来实现。例如，智能视觉感知装置内部的摄像机可转动的视场方向角度较小，在需要其它方向区域进行监测时，智能视觉感知装置的外壳固定在转台上，智能视觉感知装置的数据处理单元通过控制线与转台内的传动机构连接，智能视觉感知装置控制转台大角度旋转，进而实现其它区域的监测。例如，智能视觉感知装置中有多台摄像机时，可以使用多台摄像机进行交替目标的一次目标检测和目标的二次目标检测，提高识别效率。在监测区域内有较多目标进行实时监控时，可以通过5G技术将视频图像数据实时上传至边缘云中的服务器，如图4所示，在服务其中进行目标二次和/或三次识别。例如，本发明的智能视觉感知系统包含多个智能视觉感知装置，分别覆盖不同的监测范围，形成监测网络，从而扩大监测领域，真正实现防护区域的整体监测。

云端平台和/或数据中心，包括服务器和通过图像目标检测算法进行图像识别的软件；监控终端，为一个或多个，用于显示目标识别的结果信息、接收报警信息、进行远程配置和控制，包括智能终端设备和其运行的管理软件，智能终端设备包括但不限计算机、手持机中的一种或多种。服务器可以为虚拟服务器，包括本地服务器、边缘云、公共云中的一种或多种。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (22)

1.一种智能视觉感知系统，其特征在于，所述系统包括可变焦距的摄像机和指定监测区域的假目标反馈特征信息库；

所述摄像机以第一分辨率对所述监测区域进行视频图像采集，对采集的视频图像，采用一次目标检测算法，进行区域内一次目标检测，包括：基于假目标反馈特征信息库判断所述指定监测区域是否包含疑似目标；

当发现所述监测区域包含疑似目标时，调整所述摄像机，以第二分辨率对所述疑似目标进行视频图像采集，并基于采集的视频图像，采用二次目标检测算法，进行二次目标检测，以确定所述疑似目标为真目标或假目标；

当所述疑似目标为假目标时，根据所述假目标的信息更新假目标反馈特征信息库；

当所述疑似目标为真目标时，对所述真目标进行跟踪监测；

所述第二分辨率大于所述第一分辨率；

所述假目标反馈特征信息库包括假目标的位置信息和假目标特征描述信息；

所述摄像机以第一分辨率对所述监测区域进行视频图像采集包括：摄像机以大视野小分辨率对所述监测区域进行视频图像采集；

所述一次目标检测包括：基于假目标反馈特征信息库，判断所述监测区域内的图像特征与该区域的假目标特征描述信息和位置信息匹配度是否满足指定条件，若满足，则不判为疑似目标；所述一次目标检测算法包括基于固定背景模型的运动目标检测算法和与背景无关的目标分类检测算法；

当发现监测区域包含一个或多个疑似目标时，调整所述摄像机的视场方向和视场角，以第二分辨率对所述疑似目标进行视频图像采集，包括：以小视野大分辨率依次对所述疑似目标进行视频图像采集；

所述二次目标检测算法为与背景无关的目标分类检测算法；

根据所述假目标的信息更新假目标反馈特征信息库包括：将所述大分辨率图像下确定的假目标，映射到所述小分辨率图像中，获取假目标位置信息，并提取所述假目标特征描述信息，更新所述假目标反馈特征信息库；

当所述疑似目标为真目标时，对所述真目标进行跟踪监测，并输出大分辨率视频数据，输出告警信息和/或目标特征信息；

所述大视野小分辨率指通过设定PTZ参数，使所述视频图像覆盖需要监控的区域；

所述小视野大分辨率指通过调整PTZ参数，使所述目标缩放到所述视频图像高度的1/10～4/5；

对所述假目标特征描述信息设定更新速率，优化所述假目标反馈特征信息库。

2.如权利要求1所述的智能视觉感知系统，其特征在于，所述小视野大分辨率指通过调整PTZ参数，使所述目标缩放到所述视频图像高度的1/6～2/3，并调整到视野中心。

3.如权利要求1所述的智能视觉感知系统，其特征在于，所述目标特征信息包括表征目标具体分类的特征信息和/或表征目标具体身份的特征信息；所述表征目标具体分类的特征信息包括人、动物、车和/或车型、飞行物、指定异物中的一种或多种，其中所述指定异物包括自然掉落物和/或扩散物、人类遗落物中的一种或多种；所述表征目标具体身份的特征信息包括人的身份、动物的种类、车的车牌、其它异物种类中的一种或多种。

4.如权利要求1所述的智能视觉感知系统，其特征在于，所述监测区域为N个，其中N≥1；系统监测过程包括：

在第M个监测区域进行一次目标检测，当所述一次目标检测发现无疑似目标时，调整所述摄像机的视场方向和焦距，以大视野小分辨率对下一个监测区域进行一次目标检测，其中，1≤M≤N；

对第M个监测区域的所述真目标进行跟踪，当所述真目标消失或跟踪时间达到设定值时，调整所述摄像机的视场方向和视场角，以小视野大分辨率对第M个监测区域的下一个所述真目标进行跟踪；

当第M个监测区域的所有所述真目标消失或跟踪时间达到设定值时，调整所述摄像机的视场方向和焦距，以所述大视野小分辨率对下一个监测区域进行一次目标检测；

依次对所述N个监测区域进行目标检测，循环往复。

5.如权利要求1所述的智能视觉感知系统，其特征在于，所述监测区域为N个，N≥1；

分别对所有N个监测区域进行一次目标检测，对一次目标检测发现疑似目标的区域计算各监测区域各自的特征权重；根据各监测区域各自特征权重的大小，按照指定顺序依序对所述各监测区域进行二次目标检测和跟踪。

6.如权利要求1所述的智能视觉感知系统，其特征在于，所述系统包括1个或多个智能视觉感知装置，所述智能视觉感知装置包括：

所述摄像机，用于所述视频图像采集，包括聚焦电机、变焦电机、驱动模块、图像信号采集处理单元中的一种或多种；

传动机构，用于调整所述摄像机的视场方向和大小；

数据处理单元，用于对所述摄像机采集的视频数据进行分析处理，控制所述摄像机进行焦距调整，控制所述传动机构调整所述摄像机视场方向和大小，和/或与云端平台或数据中心进行信息交互；

通信接口单元，用于与所述云端平台和/或数据中心进行信息交互，和/或与现场其它传感或动作装置，和/或其它关联系统的联动信息交互，包括有线和/或无线接口；

电源管理单元，用于给所有耗电单元供电；

防护外壳，用于将各单元封装在内，起到防护作用。

7.如权利要求6所述的智能视觉感知系统，其特征在于，所述智能视觉感知装置还包括光照单元，用于给所述摄像机所监测的区域补光；所述光照单元为1个或多个，包括可见光源、红外光源中的一种或多种；所述传动机构调整所述光照单元的视场方向和大小。

8.如权利要求6所述的智能视觉感知系统，其特征在于，所述智能视觉感知装置中摄像机为一台或多台，所述摄像机为可见光摄像机和/或红外摄像机，所述红外摄像机包括近红外摄像机和/或红外热成像摄像机。

9.如权利要求8所述的智能视觉感知系统，其特征在于，由一台或多台摄像机完成所述一次目标检测中的视频图像采集，和/或所述二次目标检测中的视频图像采集，和/或所述真目标跟踪时的视频图像采集。

10.如权利要求9所述的智能视觉感知系统，其特征在于，由所述红外摄像机完成所述一次目标检测中的视频图像采集；由所述可见光摄像机完成所述二次目标检测中的视频图像采集，和/或所述真目标跟踪时的视频图像采集。

11.如权利要求9所述的智能视觉感知系统，其特征在于，由所述可见光摄像机完成所述一次目标检测中的视频图像采集，和/或所述二次目标检测中的视频图像采集，和/或所述真目标跟踪时的视频图像采集。

12.如权利要求7所述的智能视觉感知系统，其特征在于，所述传动机构，用于调整所述摄像机和/或光照单元的水平和/或竖直视场方向和大小，包括驱动电机、水平转轴、竖直转轴；所述驱动电机驱动所述摄像机和/或光照单元绕所述转轴水平转动0～360度，上下转动0～180度。

13.如权利要求6所述的智能视觉感知系统，其特征在于，所述数据处理单元，采用具有视频图像处理能力的芯片，集成图像目标检测算法程序，进行实时视频图像处理；当识别出所述疑似目标为假目标时，对所述假目标进行特征描述，并将所述特征反馈给所述图像目标检测算法程序。

14.如权利要求6所述的智能视觉感知系统，其特征在于，所述通信接口单元包括输入接口和输出接口；所述输入接口用于接收外部设备信号；所述输出接口用于发送系统所采集或接收的信号，其连接方式包括无线和/或有线方式；其中，所述无线方式包括WIFI、BT、ZIGBEE、LORA、2G、3G、4G、5G、NB-IOT中的一种或多种；所述有线方式包括AI/AO、DI/DO、RS485、RS422、RS232、CAN总线、LAN、光纤中的一种或多种。

15.如权利要求14所述的智能视觉感知系统，其特征在于，所述智能视觉感知装置通过所述输入接口，接收所述监测区域内的其它传感或动作装置的信号，当所述传感或动作装置发送异常情况信号和/或报警信息时，所述智能视觉感知装置调整所述摄像机的视场方向和焦距，优先对所述传感或动作装置所在区域进行目标检测。

16.如权利要求14所述的智能视觉感知系统，其特征在于，所述智能视觉感知装置通过所述输出接口，向所述监测区域内的其它传感或动作装置提供其感知数据和/或结果信息，用于数据融合和/或联合判断，和/或对所述传感或动作装置进行直接控制或联动。

17.如权利要求15或16所述的智能视觉感知系统，其特征在于，所述监测区域内的其它传感或动作装置包括告警声光设备、门禁设备、消防设备、除障设备、动物驱赶设备、拖车设备、清扫设备、巡视设备、冲力减缓设备、紧急止停设备、分流设备、现场和/或外部通讯设备、防爆设备、医疗救助设备、掩蔽设备、无人机运输设备、人员疏散和/或安全撤离设备中的一种或多种；所述信息包括告警信息和/或目标特征信息。

18.如权利要求6所述的智能视觉感知系统，其特征在于，所述电源管理单元包括集成在系统内部的电池，和/或外部的太阳能电池板，和/或有线电源。

19.如权利要求7所述的智能视觉感知系统，其特征在于，所述防护外壳包括接口板、窗口、固定座；所述接口板上有1个或多个接口，与外部单元连接；所述窗口采用透光材料，分别透射所述摄像机采集的视频图像，和/或所述光照单元发出的光；所述固定座用于将所述防护外壳固定在外部支架上。

20.如权利要求1所述的智能视觉感知系统，其特征在于，输出告警信息和/或目标特征信息至监控终端，和/或输出所述告警信息和/或目标特征信息至数据中心和/或云端平台，启动告警处理服务，分发信息至所述监控终端，完成包括告警处置和/或干预和/或系统联动中的一种或多种功能。

21.如权利要求20所述的智能视觉感知系统，其特征在于，所述云端平台和/或数据中心，包括服务器和通过图像目标检测算法进行图像识别的软件；所述监控终端，为一个或多个，用于显示目标识别的结果信息、接收报警信息、进行远程配置和控制，包括智能终端设备和其运行的管理软件，所述智能终端设备包括但不限计算机、手持机中的一种或多种。

22.如权利要求21所述的智能视觉感知系统，其特征在于，所述服务器包括虚拟服务器，包括本地服务器、边缘云、公共云中的一种或多种。

Images