CN114422713A - 一种图像采集及智能判读处理装置及方法 - Google Patents

Abstract

本发明公开了一种图像采集及智能判读处理装置及方法，包括供电模块、主控模块、视频采集模块、视频处理模块、声音传感模块、振动传感模块、无线通信模块；所述供电模块与主控模块连接，所述视频处理模块、声音传感模块、振动传感模块、无线通信模块均与主控模块连接；所述视频采集模块与视频处理模块连接；所述主控模块接收声音信息和振动信息进行处理，判断是否有异常情况，若存在异常情况，主控模块给视频处理模块和视频采集模块供电，接收视频处理模块发送的处理后信息；若不存在异常情况，则继续监控声音信息和振动信息。具有无人值守、智能判读、轻巧、低功耗、超长续航时间、部署简单、微光夜视的特点，适用于野外长航时、隐蔽的无人监控。

Description

一种图像采集及智能判读处理装置及方法

技术领域

本发明涉及到图像处理技术领域，尤其涉及一种图像采集及智能判读处理装置及方法。

背景技术

在边海防线上、野外重点区域、野外要地，需要进行24小时监控，当有目标出现在监控区域时需能采集相关图像、并对图像中的目标进行智能判读处理，将判读结果上报。一般有两种实现方式：

方式1：在需监控的地方部署有线摄像头，将视频实时传回到监控中心，通过后台值班员或系统自动监控识别目标。这种方式摄像头实时监控工作，要求持续供电，在野外布线困难、供电资源受限、需灵活随时部署的工作场景，无法满足使用要求；

方式2：采用带目标识别的智能摄像头，用电池供电，部署在野外，实时拍摄周边图像进行目标识别判读，通过无线将图像或判读结果传回到监控中心。因图像采集和目标实时识别消耗功率较多，这种方式续航时间短，不能长时间使用。若采用太阳能板供电，整个设备太大，太暴露，不能满足隐蔽监控使用需求，并且安装部署复杂，不能满足快速机动部署使用要求。

发明内容

本发明的目的在于，提供一种图像采集及智能判读处理装置及方法，具有功耗极低、超长续航时间、智能判读、无人值守、设备轻巧、部署简单、微光夜视的特点，适用于野外长航时、隐蔽、全天候的无人监控。

为达到上述目的，本发明从装置和方法两方面进行图像采集和处理的低功耗设计，以最大程度延长装置的续航时间。

一方面，本发明提供了一种图像采集及智能判读处理装置，包括供电模块、主控模块、视频采集模块、视频处理模块、声音传感模块、振动传感模块、无线通信模块；其中所述供电模块与主控模块连接，所述视频处理模块、声音传感模块、振动传感模块、无线通信模块均与主控模块连接；所述视频采集模块与视频处理模块连接；

所述供电模块，用于给主控模块供电；通过主控模块给视频处理模块、声音传感模块、振动传感模块、无线通信模块供电；通过主控模块、视频处理模块给视频采集模块供电；

所述视频采集模块，用于在视频处理模块供电时，根据采集控制信号采集周边视频信息发送给视频处理模块；

所述视频处理模块，用于在主控模块供电时，给视频采集模块供电，并发送采集控制信号给视频采集模块，并接收视频采集模块发送的周边视频数据进行判读处理后，将判读结果以及压缩后有目标的图像发送给主控模块；

所述声音传感模块，用于采集声音信息发送给主控模块；

所述振动传感模块，用于采集振动信息发送给主控模块；

所述主控模块，用于接收声音信息和振动信息进行处理，判断是否有异常情况，若存在异常情况，则利用声音传感模块采集装置周边的声音信息并计算异常情况发生的方向及距离，同时给视频处理模块和视频采集模块供电，发送包含有异常情况方向及距离信息的控制信号给视频处理模块，接收视频处理模块发送的判读处理后信息；若不存在异常情况，则继续监控声音信息和振动信息；通过无线通信模块与外部终端进行信息交互；

所述无线通信模块，用于实现主控模块与外部设备进行信息交互。

优选地，所述主控模块包括微控制单元、二次电源模块、继电器；其中供电模块通过二次电源模块与继电器连接，所述视频处理模块、声音传感模块、振动传感模块、无线通信模块、继电器均与微控制单元连接；继电器与视频处理模块连接；所述供电模块通过二次电源模块给声音传感模块、振动传感模块、无线通信模块、微控制单元供电；

所述微控制单元，用于接收声音信息和振动信息进行处理，判断是否有异常情况，若存在异常情况，则发送供电控制信号给继电器；微控制单元利用声音传感模块采集装置周边的声音信息并计算异常情况发生方位及距离，发送启动工作控制信号及采集异常情况方向及距离信息的控制信号给视频处理模块；微控制单元持续接收视频处理模块发送的判读处理后信息直至无异常情况时或发送给外部终端后，微控制单元发送断电控制信号给继电器，继续监控声音信息和振动信息；若不存在异常情况，则继续监控声音信息和振动信息；与无线通信模块进行信息交互；

所述二次电源模块用于将供电模块提供的电压转化成预设电压；

所述继电器，用于根据微控制单元供电控制信号，控制视频处理模块和视频采集模块供电的通断。

优选地，所述主控模块还包括定位模块，二次电源模块给定位模块供电，所述定位模块与微控制单元连接，用于实现对装置本身的定位，可采用GPS或北斗定位模块。

优选地，所述视频采集模块包括安装在同一水平面的若干组微光摄像头，每一组微光摄像头均可单独控制上电和采集图像，每一组所述微光摄像头均包括相互连接的镜头和微光传感器，所述微光传感器通过MIPI接口与视频处理模块连接。

优选地，所述声音传感模块包含多个均匀布设于装置四周的声音传感器用于实现声源定位，所述视频处理模块包含多个均匀布设于装置四周的环境光传感器。

本发明还提供了一种图像采集及智能判读处理方法，基于上述所述的图像采集及智能判读处理装置进行图像的采集和智能判读，包括以下步骤：

S1、利用声音传感模块和振动传感模块采集周边环境的声音信息和振动信息，并发送至主控模块；

S2、主控模块基于所接收的声音信息和振动信息判断是否有异常情况，若存在异常情况，则利用声音传感模块采集装置周边的声音信息并计算声音方向及距离并给视频处理模块和视频采集模块供电，同时发送采集控制信号给视频采集模块，如不存在异常情况，则继续监控声音信息和振动信息；

S3、视频处理模块基于采集控制信号中异常情况对应声音方向信息，计算该方向的环境光强度，视频采集模块基于声音方向和该方向环境光强度，对该方向的摄像头进行上电、参数配置和视频数据进行采集，并将所采集的视频数据发送至视频处理模块；

S4、视频处理模块基于所接收的视频信息数据进行判读，并将判读结果及压缩后有目标的图像发送给主控模块；

S5、主控模块接收视频处理模块发送的判读处理后的信息，直至无异常情况或发送给外部设备后，停止给视频处理模块和视频采集模块供电，并继续监控声音信息和振动信息。

优选地，所述步骤S2中计算声音方向及距离的实现方式包括：

S21、预设声音阈值和振动阈值，将主控模块所接收的声音信息和振动信息与预设声音阈值和预设振动阈值进行比较，若所接收的声音信息超过预设声音阈值或振动信息超过预设振动阈值时，则判断存在异常情况，进入步骤S22；

S22、利用广义互相关-相位变换方法和相位变换加权的可控相应功率的声源定位方法分别计算声源定位，并对两种声源定位的结果进行加权平均，进而获得声音方向和距离值。

优选地，所述步骤S3中视频数据采集的实现方式包括：

S31、基于声音方向和距离值计算对应声音方向的环境光强度，用公式表示为：

式中，L表示声音方向的环境光强度值，θ∈[0，360）表示声音方向，单位为角度，

表示视频处理模块中第i个传感器与以声音传感模块中第0个传感器之间的夹角，其中，声音传感模块中第0个传感器设为0°，逆时针方向旋转，L _i 表示视频处理模块第i个传感器的环境光强度值，N表示视频处理模块中传感器的个数。

S32、视频采集模块对声音方向夹角最小的视频采集模块中的摄像头上电，进入步骤S33；

S33、根据声音方向的环境光强度值，通过查找表获取对应摄像头需配置的参数值，将参数值设置到上电的摄像头，进入步骤S34；

S34、上电和配置参数的摄像头连续拍摄多幅视频数据并传输给视频处理模块。

优选地，所述步骤S4的具体实现方式包括：

S41、基于声源距离值，计算金字塔分层算法的层数以将采集的视频图像切割成多幅子图像，其中，计算金字塔分层算法的层数的公式为：

式中，n表示金字塔分层算法层数，D表示声源距离值，ln函数表示取自然底数，floor函数表示向下取整函数；

S42、基于声音方向计算目标在图像中的粗范围（x0,y0,w,h），作为帧差法目标遍历计算范围，用公式表示为：

式中，（x0,y0）表示图像左上角像素坐标，W，H分别表示视频采集模块中摄像头采集的原始图像分辨率的宽和高，w,h分别表示目标在图像中粗范围的宽和高，

是摄像头与声音传感模块中第0个传感器之间的夹角，

是声源位置与声音传感模块中第0个传感器之间的夹角，

和

分别表示声源位置与摄像头位置左边和右边的位置阈值；

S43、在遍历计算范围内对多幅子图像求帧差，计算目标在图像中的位置，选取待识别的子图像；

S44、利用人工智能模型算法对待识别子图像进行目标判读，选取置信度最高的判断结果为最终判读结果，并将最终判读结果和压缩后有目标的图像发送给主控模块。

优选地，所述步骤S43的具体实现方式包括：

S431、基于目标在图像中的粗范围（x0,y0,w,h），利用连续帧间差分法计算图像中的候选目标位置；

S432、在金字塔最底层分割的子图集中，找到包含目标图像位置的所有子图，标记为待识别子图；

S433、在金字塔倒数第二层切割的子图集中，找到包含目标图像位置的所有子图，标记为待识别子图；

S434、依次类推，直到顶层，将未切分的原始整图，标记为待识别子图。

与现有技术比较，本发明中，在默认节电状态时仅对监控装置周边的声音信息和振动信息进行监控，发现异常情况时才会开启耗电量较大视频采集模块和视频处理模块，而且仅对异常情况发生方向的视频进行采集，有效起到降低功耗的效果；同时，基于异常情况的声音信息和振动信息计算对应方向和距离的环境光强度，直接调用已配置好的参数表里的值设置视频采集模块的摄像头参数，去掉了计算量较大的传统根据采集的图像计算参数再自动调节摄像头参数的过程；具有功耗极低、超长续航时间、智能判读、无人值守、设备轻巧、部署简单、微光夜视的特点，适用于野外长航时、隐蔽、全天候的无人监控。

附图说明

图1为本发明提供的一种图像采集及智能判读处理装置的结构框图；

图2为本发明提供的另一种图像采集及智能判读处理装置的结构框图；

图3为本发明提供的声音传感模块中多个声音传感器安装位置的俯视图；

图4为本发明提供的环境光传感器安装位置的俯视图；

图5为本发明提供的视频采集模块中微光摄像头安装位置的俯视图；

图6为本发明提供的一种图像采集及智能判读处理方法流程图；

图7为本发明提供的一种图像采集及智能判读处理方法的数据流图；

图8为本发明提供的环境光传感器与声源位置相对关系示意图；

图9为本发明中金字塔分层算法对图像切割示意图；

图10为本发明提供的微光摄像头与声源位置相对关系示意图；

图11为本发明中图像被金字塔分层算法切割后选取待识别子图像的示意图；

图12为本实施例中图像被切割后不同待识别子图识别示意图。

图中，1.供电模块，2.主控模块，21.微控制单元，22.二次电源模块，23.继电器，24.定位模块，3.视频处理模块，4.视频采集模块，5.声音传感模块，6.振动传感模块，7.无线通信模块。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

参见图1、图3、图4和图5，图1为本发明提供的第一种图像采集及智能判读处理装置的结构框图。

在第一种实施方式中，本发明提供一种图像采集及智能判读处理装置，包括供电模块1、主控模块2、视频采集模块4、视频处理模块3、声音传感模块5、振动传感模块6、无线通信模块7；其中所述供电模块1与主控模块2连接，所述视频处理模块3、声音传感模块5、振动传感模块6、无线通信模块7均与主控模块2连接；所述视频采集模块4与视频处理模块3连接；

所述供电模块1，用于给主控模块2供电；通过主控模块2给视频处理模块3、声音传感模块5、振动传感模块6、无线通信模块7供电；通过主控模块2、视频处理模块3给视频采集模块4供电；

所述视频采集模块4，用于在视频处理模块3供电时，根据采集控制信号采集周边视频信息发送给视频处理模块3；

所述视频处理模块3，用于在主控模块2供电时，给视频采集模块4供电，并发送采集控制信号给视频采集模块4，并接收视频采集模块4发送的周边视频信息进行判读处理后，将判读结果以及压缩后有目标的图像发送给主控模块2；

所述声音传感模块5，用于采集声音信息发送给主控模块2；

所述振动传感模块6，用于采集振动信息发送给主控模块2；

所述主控模块2，用于接收声音信息和振动信息进行处理，判断是否有异常情况，若存在异常情况，则利用声音传感模块5采集装置周边的声音信息并计算异常情况发生的方向及距离，同时给视频处理模块3和视频采集模块4供电，发送包含异常情况方向及距离信息的控制信号给视频处理模块，接收视频处理模块3发送的判读处理后信息；若不存在异常情况，则继续监控声音信息和振动信息；通过无线通信模块7与外部终端进行信息交互；

所述无线通信模块7，用于实现主控模块2与外部终端之间的进行信息交互。

装置默认的节电状态下，供电模块1仅给主控模块2、声音传感模块5、振动传感模块6、无线通信模块7供电，视频采集模块4和视频处理模块3为断电状态，声音传感模块5、振动传感模块6采集声音信号和振动信息发送给主控模块2。主控模块2接收声音信息和振动信息进行计算处理，判断是否有异常情况，若存在异常情况，则主控模块2给视频处理模块3和视频采集模块4供电并发送包含异常情况方向及距离信息的控制信号。若不存在异常情况，则主控模块2继续监控声音信息和振动信息。

主控模块2给视频处理模块3供电后，视频处理模块3给视频采集模块4供电，并将采集异常情况方向及距离信息的控制信号发送给视频采集模块4。在视频处理模块3供电时，视频采集模块4根据采集异常情况方向及距离信息的控制信号采集异常情况方向的视频信息发送给视频处理模块3。视频处理模块3接收周边视频信息进行判读处理后将判读结果及压缩后有目标的图像发送给主控模块2。

主控模块2接收视频处理模块3发送的判读处理后信息，得到图像采集及智能判读处理装置装置周边的异常情况。主控模块2可通过无线通信模块7将视频信息、目标识别信息、声音信息、振动信息发送给外部设备，使远程操作人员获得异常情况发生时监控区域的状态信息。

本申请提供一种图像采集及智能判读处理装置，在默认节电状态时仅对装置周边的声音信息和振动信息进行监控，发现异常情况时才会开启耗电量较大视频采集模块4和视频处理模块3，而且仅对异常情况发生的方向和距离的视频信息进行采集，有效起到降低功耗的效果，具有功耗极低、超长续航时间、智能判读、无人值守、设备轻巧、部署简单、微光夜视的特点，适用于野外长航时、隐蔽、全天候的无人监控。

进一步的方案中，主控模块2接收声音信息和振动信息进行处理，判断是否有异常情况，若存在异常情况，则主控模块2给视频处理模块3和视频采集模块4供电并发送包含异常情况方向及距离信息的控制信号，主控模块2将持续接收视频处理模块3发送的判读处理后信息，直至无异常情况时或发送给外部设备后，主控模块2停止给视频处理模块3和视频采集模块4供电，监控装置恢复到默认的节电状态，继续监控声音信息和振动信息。能够实时监控异常情况直至恢复周边异常情况消除，达到无人值守的效果，若发现异常情况时将异常信息发送给外部后，监控装置即恢复至默认节点模式，进一步降低监控装置的功耗。

参见图2、图3、图4和图5，图2为本发明提供的第二种图像采集及智能判读处理装置的结构框图。

本发明中微光传感器、视频处理芯片、微控制单元芯片、声音传感芯片、振动传感芯片、无线传输芯片、定位芯片等所有关键元器件均采用国产化器件实现。

以下将对图像采集及智能判读处理装置的各组成部分进行进一步的说明。

在一种方案中，主控模块2包括微控制单元21、二次电源模块22、继电器23；其中供电模块1通过二次电源模块22与继电器23连接，所述视频处理模块3、声音传感模块5、振动传感模块6、无线通信模块7、继电器23均与微控制单元21连接；继电器23与视频处理模块3连接；所述供电模块1通过二次电源模块22给声音传感模块5、振动传感模块6、无线通信模块7、微控制单元21供电；

所述微控制单元21，用于接收声音信息和振动信息进行处理，判断是否有异常情况，若存在异常情况，则发送供电控制信号给继电器23；微控制单元21利用声音传感模块5采集装置周边的声音信息并计算异常情况发生方位及距离，发送启动工作控制信号及包含异常情况方向及距离信息的控制信号给视频处理模块3；微控制单元21持续接收视频处理模块3发送的判读处理后信息直至无异常情况时或发送给外部终端后，微控制单元21发送断电控制信号给继电器23，继续监控声音信息和振动信息；若不存在异常情况，则继续监控声音信息和振动信息；与无线通信模块7进行信息交互；

所述二次电源模块22用于将供电模块1提供的电压转化成预设电压；

所述继电器23，用于根据微控制单元21供电控制信号，控制视频处理模块3和视频采集模块4供电的通断。

装置默认的节电状态下，供电模块1仅通过二次电源模块22给微控制单元21、声音传感模块5、振动传感模块6、无线通信模块7供电，视频采集模块4视频处理模块3为断电状态，声音传感模块5、振动传感模块6采集声音信号和振动信息发送给微控制单元21。微控制单元21接收声音信息和振动信息进行处理，判断是否有异常情况，若存在异常情况，则微控制单元21发送供电控制信号给继电器23以及发送启动工作控制信号给视频处理模块3；若不存在异常情况，则微控制单元21继续监控声音信息和振动信息。

继电器23接收到供电控制信号给视频处理模块3供电，视频处理模块3接收到微控制单元21发送的启动工作控制信号后给视频采集模块4供电，并发送包含异常情况方向及距离信息的控制信号给视频采集模块4。在视频处理模块3供电时，视频采集模块4根据包含异常情况方向及距离信息的控制信号采集周边视频信息发送给视频处理模块3。视频处理模块3接收周边视频信息进行判读处理后发送给微控制单元21。

微控制单元21接收视频处理模块3发送的判读处理后信息，得到监控设备周边的异常情况。微控制单元21持续接收视频处理模块3发送的判读处理后信息直至无异常情况时或发送给外部终端后，微控制单元21发送断电控制信号给继电器23，继续监控声音信息和振动信息。继电器23接收到供电控制信号，停止给视频处理模块3和视频采集模块4供电。

微控制单元21可通过无线通信模块7将视频信息、声音信息、振动信息和/或目标智能判读结果信息发送给外部设备，使远程操作人员获得实时监控信息。

上述实施方案能够保证监控装置仅在周边环境出现异常情况时，打开能耗较高的视频采集模块4和视频处理模块3，异常情况消除或者异常情况上传至外部时监控装置即恢复至默认节电模式，进一步降低监控装置的功耗。

优选地，所述主控模块2还包括定位模块24，二次电源模块22给定位模块24供电，所述定位模块24与微控制单元21连接，用于实现对装置本身的定位。定位模块24可采用GPS（Global Positioning System，全球定位系统）或北斗定位模块。

微控制单元21还可通过I²C接口与供电模块1进行通信，获取供电模块1的电池电量信息；当电池电量低于设定值时，微控制单元21通过无线通信模块发送电池电量信息和本身定位信息给外部设备，使远程操作人员获得装置电池电量信息，以便进行电池更换。

为了进一步减小监控装置的体积使其更加轻巧，可将功耗较小的声音传感模块5、振动传感模块6、无线通信模块7和主控模块2设计在一块电路板上，由二次电源模块22统一供电。

所述视频采集模块4包括若干组微光摄像头，所有微光摄像头均在同一水平面安装，总视场覆盖装置周边360°，每一组微光摄像头均可以单独控制上电和采集图像。所述微光摄像头包括相互连接的镜头和微光传感器，所述微光传感器通过MIPI接口（MobileIndustry Processor Interface）与视频处理模块3连接。所述微光传感器具备在白天和夜晚无星光条件下对周边环境清晰成像能力，实现白天、黑夜全天候的正常工作。

所述视频处理模块3接收视频采集模块4发送的周边视频信息，对视频中的目标进行智能判读，提取目标信息，将有目标的图像进行压缩，并将压缩后有目标的图像信息及目标信息发送给微控制单元21。

所述声音传感模块5采集周边的声音信息，通过RS232（异步传输标准接口）传输给微控制单元21，所述声音传感模块5包含多个均匀布设于装置四周的声音传感器用于实现声源定位；所述视频处理模块3包含多个均匀布设于装置四周的环境光传感器，利用均匀布设的环境光传感器实现声源方向环境光的计算。

所述振动传感模块6采集周边的振动信息，通过RS232传输给微控制单元21。

所述无线通信模块7通过RS422与微控制单元21进行通信，支持双向通信。可将装置信息传输到后端监控中心，也可以接收后端监控中心发送的指令，对装置进行控制。无线通信模块可采用无线wifi、3G/4G、自主网实现。

所述供电模块1为电池，装置在待机状态功耗极低，通过电池供电，可实现野外长航时、无人值守监控。

进一步的，所述装置均设置在设备仓中，设备仓下部设置支撑杆，支撑杆下部设计为尖头，可插入地面。设备仓和支撑杆外观喷涂迷彩色。不易暴露，隐蔽性好。

本发明提供的一种图像采集及智能判读处理装置有两个工作状态分别为S₀和S₁。所述状态S₀为默认节电状态，仅有供电模块1仅给主控模块2、声音传感模块5、振动传感模块6、无线通信模块7供电。S₁为识别状态供电模块1给主控模块2、视频处理模块3、视频采集模块4、声音传感模块5、振动传感模块6、无线通信模块7供电，视频采集模块4采集周边采集周边视频信息；视频处理模块3接收视频采集模块发送的周边视频信息，对视频中的目标进行判读识别，提取目标信息，将有目标的图像进行压缩，并将压缩后的带有目标的图像信息及目标信息发送给控模块。

步骤S100：监控装置工作在默认状态S₀下；主控模块2接收声音信息和振动信息进行处理，判断是否有异常情况，若存在异常情况，则进入步骤S200；若不存在异常情况，则主控模块2继续监控声音信息和振动信息；所述判断是否有异常情况，可根据声音信息和振动信息是否满足超过阈值；所述阈值可根据经验设定；

步骤S200：监控装置切换至状态S₁；主控模块2对视频处理模块3和视频采集模块4上电，主控模块2将接收的视频处理模块3发送的信息以及定位模块24发送的定位信息通过无线通信模块7发送给外部终端；所述信息包括压缩后的带有目标的图像信息、目标信息、事件发生的时间、地点；所述目标信息包括目标类型、目标个数、目标图像。

步骤S300：监控装置恢复工作在默认状态S₀下，主控模块2对视频处理模块3和视频采集模块4下电，主控模块2继续监控声音信息和振动信息。

参见图6~图10，图6示出了本发明提供的一种图像采集及智能判读处理方法的流程图。

以下将对本发明提供的一种图像采集及智能判读处理方法进行进一步详细讲述。

基于上述所述的图像采集及智能判读处理装置进行图像的采集和智能判读，包括以下步骤：

S1、利用声音传感模块5和振动传感模块6采集周边环境的声音信息和振动信息，并发送至主控模块2；

S2、主控模块2基于所接收的声音信息和振动信息判断是否有异常情况，若存在异常情况，则利用声音传感模块5采集装置周边的声音信息并计算声音方向及距离并给视频处理模块3和视频采集模块4供电，同时发送采集控制信号给视频采集模块4，如不存在异常情况，则继续监控声音信息和振动信息；

本步骤中，所述异常情况发生的声音方向及距离的实现方式包括：

S21、预设声音阈值和振动阈值，将主控模块2所接收的声音信息和振动信息与预设声音阈值和预设振动阈值进行比较，若所接收的声音信息超过预设声音阈值或振动信息超过预设振动阈值时，则判断存在异常情况，进入步骤S22；

S22、利用广义互相关-相位变换方法和相位变换加权的可控相应功率的声源定位方法分别计算声源定位，并对两种声源定位的结果进行加权平均，进而获得声音方向和距离值；

在本步骤中，当判断存在异常情况时，主控模块2同时控制声音传感模块5中所有传感器采集数据，并计算声音方向和距离，其中，声源定位采用基于到达时延（TimeDifference Of Arrival，TDOA）声发射源定位方法。本实施例中，同时采用近场和远场两种算法计算声音方向和距离，近场声源定位算法采用GCC-PHAT算法，即广义互相关-相位变换方法（Generalized Cross Correlation PHAse Transformation，GCC-PHAT），远场声源定位算法采用SRP-PHAT算法，即基于相位变换加权的可控响应功率的声源定位算法(SteeredResponse Power - Phase Transform，SRP-PHAT) ，两种算法都计算得到结果后，取加权平均的结果作为声音方向θ和距离值D；

S3、视频处理模块3基于采集控制信号中异常情况对应声音方向信息，计算该方向的环境光强度，视频采集模块4基于声音方向和该方向环境光强度，对该方向的摄像头进行上电、参数配置和视频数据进行采集，并将所采集的视频数据发送至视频处理模块3；

在本步骤中，具体包括：

S31、基于声音方向和距离值计算对应声音方向的环境光强度，用公式表示为：

式中，L表示声音方向的环境光强度值，θ∈[0，360）表示声音方向，单位为角度，

表示视频处理模块3中第i个传感器与以声音传感模块5中第0个传感器之间的夹角，其中，声音传感模块5中第0个传感器设为0°，逆时针方向旋转，L _i 表示视频处理模块3第i个传感器的环境光强度值，N表示视频处理模块3中传感器的个数，其中视频处理模块3中的传感器为环境光传感器，声音传感模块5中的传感器为声音传感器；

S32、视频采集模块4对声音方向夹角最小的视频采集模块4中的摄像头上电，进入步骤S33；

S33、根据声音方向的环境光强度值，通过查找表获取对应摄像头需配置的参数值，将参数值设置到上电的摄像头，进入步骤S34；

S34、上电和配置参数的摄像头连续拍摄多幅视频数据并传输给视频处理模块3；

在本步骤中，利用该公式计算环境光强度能够很好避免装置在野外被阳光照射一侧时亮度不均匀问题，所述视频采集模块4接收采集控制信号，基于计算出来的环境光强度调用视频采集模块4已配置好的参数表里的值设置视频采集模块4的摄像头参数进行采集，进一步降低了视频采集模块4的功耗；

S4、视频处理模块3基于所接收的视频信息数据进行判读，并将判读结果及压缩后有目标的图像发送给主控模块2；

本步骤中，具体包括：

S41、基于声源距离值，计算金字塔分层算法的层数以将采集的视频图像切割成多幅子图像，其中，计算金字塔分层算法的层数的公式为：

式中，n表示金字塔分层算法层数，D表示声源距离值，ln函数表示取自然底数，floor函数表示向下取整函数；

在本步骤中，视频采集模块4拍摄的是高清图像，分辨率不低于1920x1080，若目标较远，在图像中成像像素较小，将原始大图像直接送入深度学习模型智能判读识别，模型会对图像进行缩放，如常用的Yolo模型，输入图像分辨率为416x416，模型会对原始图像1920x1080进行缩放成416x416，过大的缩放比例会使得远目标在图像中可能被淹没或将特征减弱，造成目标漏检。本实施例中基于金字塔分层切割方法将原始图像切割成尺寸合适的子图像，使得送入模型的子图像，目标在模型中能被检测出来。金字塔分层切割方法实例如图10所示，第0层是不分割图像，第1层将原始图像在垂直和水平方向居中切割一次，均分成4个子图像，第2层将第1层切割的子图像在垂直和水平方向居中再切割一次，均分成16个子图像，依次类推；

S42、基于声音方向计算目标在图像中的粗范围（x0,y0,w,h），作为帧差法目标遍历计算范围，用公式表示为：

式中，（x0,y0）表示图像左上角像素坐标，W，H分别表示视频采集模块中摄像头采集的原始图像分辨率的宽和高，w,h分别表示目标在图像中粗范围的宽和高，

是摄像头与声音传感模块中第0个传感器之间的夹角，

是声源位置与声音传感模块中第0个传感器之间的夹角，

和

分别表示声源位置与摄像头位置左边和右边的位置阈值；

在本步骤中，基于声音方向信息实现了目标在图像中位置的粗定位；

S43、在遍历计算范围内对多幅子图像求帧差，计算目标在图像中的位置，选取待识别的子图像，具体为：对时间上连续的两帧或三帧子图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当灰度差的绝对值超过预设阈值时，即可判断其为运动目标，将运动目标作为候选目标，从而实现对目标在图像中的位置进行细定位，选取需进行智能识别的子图，具体包括：

S431、基于目标在图像中的粗范围（x0,y0,w,h），利用连续帧间差分法计算图像中的候选目标位置；

S432、在金字塔最底层分割的子图集中，找到包含目标图像位置的所有子图，标记为待识别子图；

S433、在金字塔倒数第二层切割的子图集中，找到包含目标图像位置的所有子图，标记为待识别子图；

S434、依次类推，直到顶层，将未切分的原始整图，标记为待识别子图；

如图11所示，以图12被切割后识别图像选取示意图为例，假设原始拍摄的整张图像为原始图像300a，金字塔分层切割层数为2，分别切割为4等分和16等分。假设目标所在位置为区域311，则金字塔最底层切割后区域311所在的第一图像300c和金字塔倒数第二层切割后区域311所在的第二图像300b，以及原始图像300a都标记为待识别子图；

S44、利用人工智能模型算法对待识别子图像进行目标判读，选取置信度最高的判断结果为最终判读结果，并将最终判读结果和压缩后有目标的图像发送给主控模块，在本步骤中，由于金字塔分层切割后每一层均至少有一幅待识别子图像需要进行智能判断，因此存在多幅待识别子图的识别结果，本实施例选取置信度最高的待识别子图为最终的判读结果，并将最终判读结果和压缩后有目标的图像发送给主控模块，具体如下：

如图12所示，夜间野外图像400a，金字塔分层切割层数n=2，对夜间野外图像400a进行两次金字塔分层切割，如图12虚线所示，夜间野外图像400a，以及子图像400b、400c均为待识别子图，采用Yolov3神经网络算法对待识别子图400a、400b、400c进行目标判读检测，待识别子图400a未检测出目标；待识别子图400b检测出汽车目标，置信度为0.47；待识别子图400c检测出汽车目标，置信度为0.76，将置信度为0.76的汽车目标识别结果和压缩后的待识别子图400c发送到主控模块2；

S5、主控模块2接收视频处理模块3发送的判读处理后的信息，直至无异常情况或发送给外部设备后，停止给视频处理模块3和视频采集模块4供电，并继续监控声音信息和振动信息。

本实施例中，所述视频处理模块3根据主控模块2发送的异常情况方位信息给视频采集模块4中对应微光摄像头上电和配置参数，视频处理模块3根据环境光传感器阵列计算需要上电和采集图像摄像头方位的环境光强度，直接调用并设置视频采集模块4中摄像头的参数。需要设置的摄像头参数根据对应方位环境光在查找表中直接获取，而不是采用传统的通过ISP（Image Signal Process）模块对采集的图像数据计算图像亮度值，再实时动态调整摄像头参数，使得拍摄图像亮度最佳，传统方式ISP需要消耗更多计算资源，也即消耗更多功耗。所述视频处理模块3用NPU芯片采用人工智能算法模型进行图像目标进行智能识别。

需要说明的是，若声源定位和距离计算出有多个声源，或者置信度低于预设阈值时，主控模块2对视频采集模块4中的所有微光摄像头都上电，采用默认金字塔分层算法的层数，对所有图像都进行目标判读。

基于上述图像采集及智能判读处理装置的评述，对应图像采集及智能判读处理方法具有同样的技术效果，此处不再赘述。

以上对本发明所提供的一种图像采集及智能判读处理装置及方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种图像采集及智能判读处理装置，其特征在于，包括供电模块、主控模块、视频采集模块、视频处理模块、声音传感模块、振动传感模块、无线通信模块；其中所述供电模块与主控模块连接，所述视频处理模块、声音传感模块、振动传感模块、无线通信模块均与主控模块连接；所述视频采集模块与视频处理模块连接；

所述供电模块，用于给主控模块供电；通过主控模块给视频处理模块、声音传感模块、振动传感模块、无线通信模块供电；通过主控模块、视频处理模块给视频采集模块供电；

所述视频采集模块，用于在视频处理模块供电时，根据采集控制信号采集周边视频信息发送给视频处理模块；

所述视频处理模块，用于在主控模块供电时，给视频采集模块供电，并发送采集控制信号给视频采集模块，并接收视频采集模块发送的周边视频信息进行判断处理后，将判读结果以及压缩后有目标的图像发送给主控模块；

所述声音传感模块，用于采集声音信息发送给主控模块；

所述振动传感模块，用于采集振动信息发送给主控模块；

所述主控模块，用于接收声音信息和振动信息进行处理，判断是否有异常情况，若存在异常情况，则利用声音传感模块采集装置周边的声音信息并计算声音方向及距离并给视频处理模块和视频采集模块供电，发送包含有异常情况对应声音方向及距离信息的控制信号给视频处理模块，接收视频处理模块发送的判读处理后信息；若不存在异常情况，则继续监控声音信息和振动信息；通过无线通信模块与外部终端进行信息交互；

所述无线通信模块，用于实现主控模块与外部终端之间的信息交互。

2.根据权利要求1所述的图像采集及智能判读处理装置，其特征在于，所述主控模块包括微控制单元、二次电源模块、继电器；其中供电模块通过二次电源模块与继电器连接，所述视频处理模块、声音传感模块、振动传感模块、无线通信模块、继电器均与微控制单元连接；继电器与视频处理模块连接；所述供电模块通过二次电源模块给声音传感模块、振动传感模块、无线通信模块、微控制单元供电；

所述微控制单元，用于接收声音信息和振动信息进行处理，判断是否有异常情况，若存在异常情况，则发送供电控制信号给继电器；微控制单元利用声音传感模块采集装置周边的声音信息并计算声音方向及距离，微控制单元发送启动工作控制信号及发送包含异常情况对应方向及距离信息的控制信号给视频处理模块；微控制单元持续接收视频处理模块发送的判读处理后信息直至无异常情况时或发送给外部终端后，微控制单元发送断电控制信号给继电器，继续监控声音信息和振动信息；若不存在异常情况，则继续监控声音信息和振动信息；与无线通信模块进行信息交互；

所述二次电源模块用于将供电模块提供的电压转化成预设电压；

所述继电器，用于根据微控制单元供电控制信号，控制视频处理模块和视频采集模块供电的通断。

3.根据权利要求2所述的图像采集及智能判读处理装置，其特征在于，所述主控模块还包括定位模块，二次电源模块给定位模块供电，所述定位模块与微控制单元连接，用于实现对装置本身的定位，可采用GPS或北斗定位模块。

4.根据权利要求3所述的图像采集及智能判读处理装置，其特征在于，所述视频采集模块包括安装在同一水平面的若干组微光摄像头，每一组微光摄像头均可单独控制上电和采集图像，每一组所述微光摄像头包括相互连接的镜头和微光传感器，所述镜头视场角大于90°，所述微光传感器通过MIPI接口与视频处理模块连接。

5.根据权利要求4所述的图像采集及智能判读处理装置，其特征在于，所述声音传感模块包括多个均匀布设于装置四周的声音传感器，所述视频处理模块包含多个均匀布设于装置四周的环境光传感器。

6.一种图像采集及智能判读处理方法，其特征在于，基于权利要求1-5任一项所述的图像采集及智能判读处理装置进行图像的采集和智能判读，包括以下步骤：

S1、利用声音传感模块和振动传感模块采集周边环境的声音信息和振动信息，并发送至主控模块；

S2、主控模块基于所接收的声音信息和振动信息判断是否有异常情况，若存在异常情况，则利用声音传感模块采集装置周边的声音信息并计算声音方向及距离并给视频处理模块和视频采集模块供电，同时发送采集控制信号给视频采集模块，如不存在异常情况，则继续监控声音信息和振动信息；

S3、视频处理模块基于采集控制信号中异常情况对应声音方向信息，计算该方向的环境光强度，视频采集模块基于声音方向和该方向环境光强度，对该方向的摄像头进行上电、参数配置和视频数据进行采集，并将所采集的视频数据发送至视频处理模块；

S4、视频处理模块基于所接收的视频数据进行判读，并将判读结果及压缩后有目标的图像发送给主控模块；

S5、主控模块接收视频处理模块发送的判读处理后的信息，直至无异常情况或发送给外部设备后，停止给视频处理模块和视频采集模块供电，并继续监控声音信息和振动信息。

7.根据权利要求6所述的图像采集及智能判读处理方法，其特征在于，所述步骤S2中计算声音方向及距离的实现方式包括：

S21、预设声音阈值和振动阈值，将主控模块所接收的声音信息和振动信息与预设声音阈值和预设振动阈值进行比较，若所接收的声音信息超过预设声音阈值或振动信息超过预设振动阈值时，则判断存在异常情况，进入步骤S22；

S22、利用广义互相关-相位变换方法和相位变换加权的可控相应功率的声源定位方法分别计算声源定位，并对两种声源定位的结果进行加权平均，进而获得声音方向和距离值。

8.根据权利要求7所述的图像采集及智能判读处理方法，其特征在于，所述步骤S3中视频数据采集的实现方式包括：

S31、基于声音方向和距离值计算声音方向的环境光强度，用公式表示为：

式中，L表示声音方向的环境光强度值，θ∈[0，360）表示声音方向，单位为角度，

表示视频处理模块中第i个传感器与以声音传感模块中第0个传感器之间的夹角，其中，声音传感模块中第0个传感器设为0°，逆时针方向旋转，L _i 表示视频处理模块第i个传感器的环境光强度值，N表示视频处理模块中传感器的个数；

S32、视频采集模块对声音方向夹角最小的视频采集模块中的摄像头上电，进入步骤S33；

S33、根据声音方向的环境光强度值，通过查找表获取对应摄像头需配置的参数值，将参数值设置到上电的摄像头，进入步骤S34；

S34、上电和配置参数的摄像头连续拍摄多幅视频数据并传输给视频处理模块。

9.根据权利要求8所述的图像采集及智能判读处理方法，其特征在于，所述步骤S4的具体实现方式包括：

S41、基于声源距离值，计算金字塔分层算法的层数以将采集的视频图像切割成多幅子图像，其中，计算金字塔分层算法的层数的公式为：

式中，n表示金字塔分层算法层数，D表示声源距离值，ln函数表示取自然底数，floor函数表示向下取整函数；

S42、基于声音方向计算目标在图像中的粗范围（x0,y0,w,h），作为帧差法目标遍历计算范围，用公式表示为：

式中，（x0,y0）表示图像左上角像素坐标，W，H分别表示视频采集模块中摄像头采集的原始图像分辨率的宽和高，w,h分别表示目标在图像中粗范围的宽和高，

是摄像头与声音传感模块中第0个传感器之间的夹角，

是声源位置与声音传感模块中第0个传感器之间的夹角，

和

分别表示声源位置与摄像头位置左边和右边的位置阈值；

S43、在遍历计算范围内对多幅子图像求帧差，计算目标在图像中的位置，选取待识别的子图像；

S44、利用人工智能模型算法对待识别子图像进行目标判读，选取置信度最高的判断结果为最终判读结果，并将最终判读结果和压缩后有目标的图像发送给主控模块。

10.根据权利要求9所述的图像采集及智能判读处理方法，其特征在于，所述步骤S43的具体实现方式包括：

S431、基于目标在图像中的粗范围（x0,y0,w,h），利用连续帧间差分法计算图像中的候选目标位置；

S432、在金字塔最底层分割的子图集中，找到包含目标图像位置的所有子图，标记为待识别子图；

S433、在金字塔倒数第二层切割的子图集中，找到包含目标图像位置的所有子图，标记为待识别子图；

S434、依次类推，直到顶层，将未切分的原始整图，标记为待识别子图。

Images