CN103561245A

CN103561245A - 人脑化空间信息监测装置与技术

Info

Publication number: CN103561245A
Application number: CN201310579657.3A
Authority: CN
Inventors: 贺贵明; 刘振盛; 潘万成
Original assignee: Individual
Current assignee: Wuhan Wuda Yingkang Integrated Media Co Ltd
Priority date: 2013-11-19
Filing date: 2013-11-19
Publication date: 2014-02-05

Abstract

本发明提供一种装置和技术，其如人脑般灵敏地监视、监听、多方面感知一定空间范围内不同专业信息，同时边监测、边思索、边跟踪、边识别，尤其能及时发现异常、发现潜在的故障，可以及时预警或报警。装置由主处理器、专业信息处理器、可转动摄像头、多个传感器和音频探测器、无线连接的多个信息探测器、远程无线通信单元组成。本发明的人脑化装置用摄像头代替眼睛、用音频探测器（或MIC）代替耳朵、用不同专业传感器代替鼻子或触摸探测作用，仿效人脑使摄像头、拾音器、传感器协调配合发挥作用，同时仿效人脑在检测信息时自动分辨方向查找、自动搜索、转动跟踪、特别边监视边识别还自动分析，以期尽早、尽量发现异常。

Description

人脑化空间信息监测装置与技术

技术领域

本发明专利属于信息检测、信息处理、信息识别技术领域，特别是像人脑一样在一定空间区域同时进行视频监视、图像识别、音频监听、及多种关心的专业信息监测，并且边检测、边处理、边识别、边鉴别，使及时发现所监测区域发生的视频异常或音频异常或专业性异常和异物，有益于辅助人们对智能工业、智能交通、洁净环境、平安城市、平安社会的推动和建设。

背景技术

人脑化就是像人脑一样一边用眼睛看一边想一边记忆，在用眼睛看的同时用耳朵听、用鼻子嗅和闻。

人们靠大脑获取所在空间的信息，由眼睛获取视频并识别其图像、用耳朵获取音频并分辨其内容、用鼻子感知空气中各种气味获取更多专业类信息；大脑在获取这些信息的同时，总是多方面探测协同识别、思考；所谓空间信息监测指在装置所处一定范围的空间区域内同时检测人们关心的多类不同信息，诸如用摄像头摄取该区域的视频或图像信息、用拾音器检测其中音频类信息、用环境类传感器检测所在区域大气污染及环境温湿度信息、用力学传感器检测运行设备受到的振动、应力、拉力、压力类信息，用电学传感器检测该处电流、电压、电阻类信息，用气体传感器检测该范围烟气、尾气、可燃气、毒气类信息；接着识别这些信息有否异常，如有异常立即转动摄像头过去看看那里的场景、听听音信，判断发生了什么。

现今社会上存在着用摄像头监视场景、用MIC类设备探测声音、用各种传感器检测环境或工业设备专业信息，但把这些方面观察和检测有机结合起来则不多见，特别做成像人脑那样能思维还能分析识别的装置则还没有；常规人们使用可转动摄像头视频监视，是靠人工转动摄像头看看这里、看看那里，真正在这时人工抓拍到异常场景、异常图像信息的机率很低；人脑方式获取信息则不同——眼睛、耳朵、鼻子配合使用；当眼睛正在注视某一场景或某一个人时，耳朵实际在监听，如果听到另一处有异样声音，则人脑会随之转过去看视该处发生什么变化、出现何种异常；同样，如果鼻子突然闻到某方向的异味，人脑也会很快转过去用眼睛看视。

本发明所谓人脑化空间信息监测就是力求仿效人脑的功能来实现空间信息同时多方面获取；很显然，人脑用眼睛检测视频信息和图像、用耳朵检测音频信息、用鼻子检测空气或环境中的不同气体信息（实现了气体传感器作用）；本发明人脑化装置用摄像头代替眼睛、用音频探测器（或MIC）代替耳朵、用不同专业传感器代替鼻子或触摸探测作用，仿效人脑使摄像头、拾音器、传感器协调配合发挥作用；同时仿效人脑在检测信息的同时还自动分辨方向查找、自动搜索、转动跟踪，在检测信息的同时还自动分析、自动识别，以期尽量发现异常。

通过检索专利信息了解到：申请人戴林、夏冰心申请号为201110239238.6的专利《一种无线遥控智能球》，只是解决用无线向球形摄像机发出执行指令或短信而远程遥控球形摄像机工作；同是他们申请号为201110239239.0的专利《一种自动跟踪智能球及其监控方法》，仅是通过红外感应发现区域中的人或物体，然后使球形摄像机去锁定拍摄物；前者无线遥控是一种常规控制方式，后者使用红外探测主要是对人作用，不能发现环境的特异，没有使用预置位方式识别准确和灵敏；戴林、夏冰心申请号为201120303574.8的专利《一种人机交互式语音控制智能球》，是实现无线声控的功能，这是人工交互，离不开人的行为，没有自动化。申请人王宣银申请号为200920114369.X的实用新型《多目全景红外锁定跟踪摄像系统》，用在教室观测范围内由红外摄像头跟踪目标进行监视，其没有给定预置位，在教室人多的情况下跟踪实际是盲目的无效的。申请人王宣银、张健、唐慧明申请号为00118546.2的专利《全方位目标自动搜寻智能球形摄像机》，将摄取的图像送到图像处理单元通过软件识别发出命令驱动步进电机转动，改变摄像头方向，实现自动搜寻和跟踪目标；它与本发明的区别在于第一它主要对人搜寻跟踪，第二它没有把最敏感最易出事的区域设成预置位，没有针对若干预置位目标明确地巡回监视，没有静态差异识别，盲目搜寻成功概率很低且不准确；本发明则既适用于活动对象又适用于静止对象，尤其是使视音频与多种专业信息结合，边监视边识别；申请人李沅申请号为200720057052.8的实用新型《一种多功能监控智能球形摄像机》，集成了温度、湿度、气体、噪声、风速、粉尘等环境感应探测器，实现对多种环境条件的监测，并发出报警信号；其仅提供采集多种参数与视频一起传送显示，不进行视频识别，没有设预置位，没有把采集信息与发生位置联系，更没有与视频联动和跟踪。

发明内容

本发明的目的是：为社会提供一种装置和技术，其如人脑般灵敏地监视、监听、感知环境或空间范围内不同专业应用所必须的信息，同时边监测、边思索、边跟踪、边识别、及时预警或报警；几乎可用在各种行业（只需更换不同专业传感器），满足人们广阔认知环境、协助社会行业的专业在线监测管理，尤其能及时发现异常、发现潜在的故障，促进事务向理想的方向发展。

本专利是一种仿照人脑功能的空间信息监测处理装置，它由主处理器（10）、摄像头（11）与云台（12）、专业信息处理器（20）及若干个专业传感器和音频采集器（21～2X）、短程无线连接单元（30）及若干个短程无线信息探测器（31～3N）、远程无线通信单元（13）组成；其中主处理器（10）直接连接摄像头（11）摄取视频图像、直接连接云台（12）拖动摄像头转动、直接连接短程无线连接单元（30）收集周围环境信息、直接连接远程无线通信单元（13）对远方通信；专业信息处理器（20）连接多个专业传感器（21～2X）获取本装置周围需要感知的信息，然后交与主处理器10联合分析识别；该装置同时具有视频信息、多种专业（含音频）信息检测与处理功能，近似人脑眼耳鼻并举采集并处理信息的作用，在视频监视的同时可由专业（含音频）信息探测得到外部异常而引导摄像头转动对其监视；主处理器综合记录这些信息并识别、报警，向远方管理后台传送，达到近似人脑的空间监测识别效果。

所述专利装置的云台（12）与摄像头（11）转动探测视频信息，特别能对上佰个预先确定的、特别需要关注的区域（分别设成预置位）自动巡回监视、逐一识别，每巡回到一个设定的预置位即自动识别该处有否出现异物、是否发生异常，使得能自动发现装置所在空间区域发生的几乎任何事情。

所述装置对多预置位巡回视频监视，每巡回监视到一个预置位，就采集其图像识别有无异常或异物，识别使用的算法和步骤是：

① 预先对每个预置位图像像素灰度值规范化、对规范化的预置位图像提取轮廓、将轮廓图像制成模板，记第i预置位的轮廓图像模板为M_i(x.y)，i=1、2、3······N,N为预置位个数；

② 进入运行后使云台摄像机自动轮回巡视到第i预置位，提取该位置当前图像，获取该图像素规范化的轮廓图像，并二值化，记为Q_i(x.y)；

③ 使当前第i轮廓图像Q_i(x.y)与第①中对应预置位轮廓图像模板M_i(x.y)配准；

④ 计算当前第i预置位轮廓图像与前对应该预置位轮廓模板图像的差值E_i(x.y) =Q_i(x.y)- M_i(x.y)；

检查差值图E_i(x.y)中残余像素：如残余像素达到一定数量且相对集中，具有一定连续性且组成直线、

或曲线或块状，则认为发现新轮廓或有异常，确定现行第i预置位图像中有异物或图像异常；

⑤ 一发现异常则继续对该预置位提取第2、3幅新图像，如2、3图像中又发现异常则在此位置继续

监视或跟踪；同时通过远程无线通信单元（13）向管理后台发图像和报警信息；

⑥ 如未发现异常或后续图像无异常，则使云台摄像机继续巡回转到下一预置位监视并识别。

本专利装置中的专业信息处理器（20）连接多个专业传感器（21～2X），探测本装置安装点周围不同性质的专业信息；获取当前某个专业传感信息最异常及所对应的预置位，主处理器（10）立即驱动云台带动摄像头对准该传感器所对应的预置位监视，提取该位置视频，还提取该异常信息，远程发送到管理后台以评判该处发生异常的现象和原因，防患事故于初始萌芽状态。

本专利装置具有同时检测视频、音频、传感信息的功能，若视频、音频、传感信息同时有多个发生异常，则装置首先处理和报告视频信息异常、其次处理和报告音频信息的异常、再其次处理和报告传感器检测信息的异常；这个优先次序是基于视频、音频、传感信息的轻重缓急而确定的；并且每次对连带发生的多种信息都配套予以记录、如同大脑那样做协同分析。

本装置中所述主处理器具有视频、音频、传感信息检测和识别功能，其中对视频信息识别是基于对该区域最关心而定义的若干个预置位巡视图像进行；对专业信息或音频信息鉴别是基于对该专业传感器所在预置位确定的专业信息阈值进行的。

本专利装置预置位设置既确定所对应区域、又确定取景时镜头调节的焦距大小，还指定对该信息采集工作时间（只要该信息发生具有时间特点），使卓有成效地发现并记录不同区域不同时间发生的不同异常。

附图说明

图1——本专利装置的组成结构。

图2——本专利装置安装实施的组成与连接。

图3——本专利装置中软件识别处理流程。

图4——本装置在电力行业输电铁塔视频监视应用时塔上预置位分布情况。

具体实施方式

装置的组成结构与连接

附图1说明本专利装置的组成结构有三个部分：由主处理器作为核心的第一部分、以专业信息处理器为中心的第二部分、以短程无线连接单元为中心的第三部分，主处理器在中间对三个部分有机连接。

第一部分中主处理器（10）直接连接摄像头（11）采集视频和图像、直接连接云台（12）控制摄像头水平或垂直转动；这里对摄像头的控制主要由软件按设定的预置位和巡回路线转动，也可以由远方管理后台经由无线网络（例如3G）和装置内远程无线通信单元（13）收发指令进行人工控制，其中远程人工指令仍然经主处理器（10）起作用；视频图像和报警信息向后台传送也经远程无线通信单元（13）起作用。

第一部分中摄像头常规使用工业监控的标准清晰度，也可以选用较高清晰度（如720P）摄像头；远程无线通信可以是基于无线3G或无线WIMAX方式，也可以是自组无线局部网方式。

第二部分以专业信息处理器（20）为中心连接若干个专业传感器和音频采集器（21～2X），收集本装置所在空间环境中有关专业信息和音频信息，经滤波与数字化以及阈值处理后交主处理器联合分析识别；其中专业泛指被管对象或设备在室外运行（静止运行或活动运行）的多种多样的业务或系统，比如：电力、水利、交通、农业、林业、建筑业、养殖业、环保业等。对于本装置来说一台只服务于一个专业，所连接的专业信息传感器一般4～6个、音频采集器一般2～4只即可；在同一环境可能发生多个专业行为，但不同专业仍然使用不同的装置。

第三部分以短程无线连接单元（30）为中心非接触地连接多个短程无线信息探测器（31～3N）；这里无线连接的信息仍然指分专业信息，只是需要采集的区域离所述装置距离稍远（比如200～300米），在野外环境下直接拉信号线不方便，故本装置采用短程无线方式连接探测，使得本装置的环境适应性大大增强。

本装置同时具有视频信息、多种专业（含音频）信息检测与处理功能，尤其具备人脑眼耳鼻并举采集并处理信息的作用，使在一个区域视频监视的同时可由另一专业（含音频）信息探测得到该区域异常而引导摄像头转动对其监视；主处理器综合记录这些信息并识别、报警，向远方管理后台传送，达到近似人脑的空间监测识别效果。

巡回监视中对预置位异常识别的实施

此处结合附图3——装置中软件识别处理流程来说明。

设本装置在应用时所安装的空间位置前后左右上下共有N=24个（不限于此）位置（或设备）使人牵肠挂肚时时需要关注，所以把它们设成预置位，让摄像头周而复始地巡视它们，识别它们发生的变化或受到了外部何种外力、何种形式的干扰乃至破坏；摄像头巡视到某个预置位即停下来观察，连续取若干副图片识别，如发现异常则继续盯住，没有异常则转移到下一预置位，同样取图识别。

具体预置位设置和运行中对预置位识别步骤如下：

（1）人工控制转动球机按巡视路径到达第一个需监视的位置——第一预置位，记录该位置相应于球的经纬式角坐标；如果该位置距离摄像机较远，需要调节焦距以拉近图像监视，则把此时的焦距大小也记录到预置位参数中，有些专业信息传感器监测还与时间关联；如此设置完成所有N个预置位。

（2）对系统所有N个预置位图像制作N个梯度模板（以备后续识别时图像配准用）

（2.1）规范化初始预置位图像灰度（对所有i=1～N个预置位图像）：

提取初始预置位图像f_i(x,y)（表示第i副预置位图像，i=1～N），图像用.bmp格式；

计算f_i(x,y)所有像素灰度平均值 J= 1/XY∑f_i(x,y)；

像素灰度规范化计算：使f_i(x,y)/ J ×100，再取整，得F_i(x.y)，保存F_i（x.y）；

对F_i(x.y)进行梯度计算 S_i(x.y)=[(F_i(x+1,y)-F_i(x.y))²+(F_i(x.y+1)-F_i(x.y))²]

)

保留梯度值较大的那些点（约10%以内），突出图像中主要轮廓；

(2.2) 制作预置位图像轮廓模板M_i(x.y)：

对保留的点置1，其余置0，作为第i幅预置位图像的梯度模板M_i(x.y)；

(2.3) 对i=1～N，制作出N个模板M₁(x.y)、 M₂(x.y)...... M_N(x.y)。

(3) 进入具体识别工作

(3.1) 利用球机自动轮回巡视功能使转动到第i预置位

(3.2)使当前转动到的位置图像与第i预置位图像模板配准：

提取当前位置图像h_i(x.y)，如上2.1规范化计算得到H_i(x.y)，

再计算H_i(x.y)梯度，提取梯度值较大的像素点（约10%），

得到当前轮廓图像Q_i(x.y)，并且予以二值化；

以二值化的Q_i(x.y)匹准梯度模板M_i(x.y),(配准误差点数在5%以内),按x+1/x-1/y+1/y-1循环移动M_i(x.y)，每移动1次计算1次Q_i(x.y)与M_i(x.y)对应像素乘积之和值，每次按4个方向中和值增加最多的方向移动，配准最好时Q_i(x.y)与M_i(x.y)对应像素乘积之和值最大；

(3.3) 匹准后进入异常识别

计算当前到达预置位的轮廓图像与前对应初始预置位图像之差：Q_i(x.y)-M_i(x.y)=E_i(x.y)，

检查差值图E_i(x.y)中残余点数：

① 如残余点数位置相对集中且达到一定数量，或有连续性且有一定长度，则认为发现异常或发现新轮

廓，进一步可确定为现行监视图像中有异物或图像异常，

监视到有异常后拟于连续第二次提取第i预置位图像，与i预置位初始轮廓图像比较计算，还有差异则又第三次提取此位置图像计算，如仍有异物，则视为真的有异常或异物；拟向管理后台发报警，采取的报警措施有：发警示信息、启动录像、后台全屏显示；

如确定异物有移动，则按移动方向驱使球形摄像机转动跟踪。

② 如残余点数很零散，或点数很少，则认为当前位置图像无异常。

3.4 识别到无异常则巡回到下一预置位(第i+1预置位),按预置位图像进行上述计算，如发现异常，则在该位置继续监视或跟踪；无异常即又转动到下一位置监视。

直到巡视完第N预置位，在没有“终止巡视”指令情况下才重新巡回第一预置位，摄取其图像寻找异常(总是与初始化预置位轮廓图像计算差值)。

本发明装置在不同专业场合应用情况

例1、在环境保护专业领域监视时，主要通过视频监视烟囱排放烟气的颜色和烟量、还监视下水道向河流入水口排放污水的颜色，配套通过专业信息传感器（SO₂、CO、CO₂等传感器）提取大气中含硫信息、含碳信息、含烟雾的信息，或者有了含硫、含碳、含烟雾的信息而引起加强对烟气、对污水的监视。

例2、在电力高压输电线路和输电铁塔的专业监视中，如附图4—示出塔上6串绝缘子和塔身共设置8个预置位情况；设二回输电线路共6相输电导线挂在一座铁塔上运行，则6相输电导线和输电绝缘子都需要监视，塔身中下部也监视，进一步地输电铁塔前后输电导线需要监视，输电铁塔两侧地面输电走廊需要监视，输电铁塔塔基还需要监视，根据这些监视需求可设12～24个预置位，使摄像头巡回监视并识别每个预置位有否异常，每巡回一遍约需24～60秒钟（每秒钟至少可处理5幅图像），这样，上述关心的这些预置位中任何一个出现异常都会被发现；

此外可通过监听声音来判知风向，引导摄像头转向监视输电导线的振动和舞动；通过监听第二声音来判知雷击，引导摄像头转向监视绝缘子是否被雷击；还可通过专业信息监测中配套漏电传感器来提取绝缘子漏电情况、引导摄像头转向监视绝缘子有否闪络；通过专业信息检测中使用振动传感器来提取塔身振动信息，以引导摄像头转向监视塔身金具、塔材是否正在被人偷盗拆卸；通过监测输电导线的倾斜角度来引导摄像头监视输电导线弧垂变化或发展。

例3、在公路交叉处或事故多发路段的交通安全专业监视中，可设该路口多个分支为多个预置位，一方面通过对这些预置位自动巡回监视可及时发现撞车撞人的交通事故或违章停车情况；另一方面可通过音频监听发现不同方向的来车，引导摄像头主动监视这些来车的安全；还可通过用超声波这种专业监测来提取路过车辆的车速信息以引导监视该车超速等违章情况。

本发明装置在野外环境安装连接实施情况

在此结合附图2——本专利装置在野外安装实施的组成与连接予以说明。

图2系统中为装置供应电源配套太阳能板与电池，对摄像头与云台单独加外壳形成球机使方便安装、方便运行；主处理器、专业信息处理器、短程无线连接单元、远程无线通信单元共同组成核心处理装置，与各方面有机连接，短程无线和远程无线的天线拟于外置，使方便无线传送；不同专业信息传感器为了从所需要的位置采集信息，所以必然分散安装，使用必要的线缆与专业信息处理器连接；短程无线信息探测器则更分散，可能距离几百米，故用短程无线连接单元接入采集的信息；

本系统采取太阳能供电，太阳能板要接受阳光，储能蓄电池体积偏大所以也分开安装。

Claims

1.一种仿照人脑功能的空间信息监测装置，它由主处理器（10）、摄像头（11）与云台（12）、专业信息处理器（20）及若干个专业传感器和音频采集器（21～2X）、短程无线连接单元（30）及若干个短程无线信息探测器、远程无线通信单元（13）组成；其中主处理器（10）直接连接摄像头（11）摄取视频图像、直接连接云台（12）拖动摄像头转动、直接连接短程无线连接单元（30）收集周围环境信息、直接连接远程无线通信单元（13）对远方通信；专业信息处理器（20）连接多个专业传感器和音频采集器（21～2X）获取本装置周围需要感知的信息，然后交与主处理器10联合分析识别；该装置同时具有视频信息、多种专业（含音频）信息检测与处理功能，近似人脑眼耳鼻并举采集并处理信息的作用，在视频监视的同时可由专业（含音频）信息探测得到外部异常而引导摄像头转动对其监视；主处理器综合记录这些信息并识别、报警，向远方管理后台传送，达到人脑所能的空间监测识别效果。

2.如权利要求1所述发明装置具有云台与摄像头，可转动探测视频信息，特别能对上佰个预先确定的、特别需要关注的区域（预置位）自动巡回监视、逐一识别，每巡回到一个预置位即自动识别该处有否出现异物、是否发生异常，使得能自动发现装置所在空间区域发生的几乎任何事情。

3.如权利要求2中所述装置具有对多预置位巡回视频监视功能，每巡回监视到一个预置位，就对该预置位的图像识别有无异常或异物，识别使用的算法和步骤是：

①预先对每个预置位图像像素灰度值规范化、对规范化的预置位图像提取轮廓、将轮廓图像制成模

板，记第i预置位的轮廓图像模板为M_i(x.y)；

② 进入运行后设使云台摄像机自动轮回巡视到第i预置位，提取该位置当前图像，获取该图像素规范

化的轮廓图像；记为Q_i(x.y)；

或曲线或块状，则认为发现新轮廓或有异常，确定现行第i 预置位中有异物或图像异常；

⑤ 一发现异常则继续对该预置位提取第2、3副新图像，如2、3图像中又发现异常则在此位置继续监视或跟踪；同时通过远程无线通信单元（13）向管理后台发图像和报警信息；

⑥如未发现异常或第2、3图像无异常，则使云台摄像机执行巡回转到下一预置位监视并识别。

4.如权利要求1所述发明装置，其中专业信息处理器连接多个专业传感器（21～2X），探测着本装置安装点周围不同性质的专业信息；获取当前某个专业传感器信息异常及该传感器所对应的预置位，主处理器立即驱动云台带动摄像头对准该预置位监视，提取该处视频，还提取该传感器的异常信息，还远程发送到后台以评判该处发生异常的现象和原因，防患故障于初始萌芽状态。

5.如权利要求1所述的装置具有同时检测视频、音频、传感信息的功能，若视频、音频、传感信息同时有多个发生异常，则装置首先处理和报告视频信息异常、其次处理和报告音频信息的异常、再其次处理和报告传感器检测信息的异常；这个优先次序是基于视频、音频、传感信息的轻重缓急而确定的；并且每次对连带发生的多种信息都配套予以记录、如同大脑那样做协同分析。

6.预置位设置时既确定所对应区域、又确定在该区域取景时镜头调节的焦距大小，还指定对该信息采集的工作时间（只要该信息发生具有时间特点），使更有效地发现并记录不同区域不同时间发生的不同异常。