CN201919087U - 双模智能视觉传感系统架构 - Google Patents
双模智能视觉传感系统架构 Download PDFInfo
- Publication number
- CN201919087U CN201919087U CN 201120012452 CN201120012452U CN201919087U CN 201919087 U CN201919087 U CN 201919087U CN 201120012452 CN201120012452 CN 201120012452 CN 201120012452 U CN201120012452 U CN 201120012452U CN 201919087 U CN201919087 U CN 201919087U
- Authority
- CN
- China
- Prior art keywords
- signal
- input
- video
- signal output
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000005304 joining Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 20
- 238000012423 maintenance Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 206010034972 Photosensitivity reaction Diseases 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000036211 photosensitivity Effects 0.000 abstract 1
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 238000007726 management method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003760 hair shine Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 206010070834 Sensitisation Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004224 protection Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 238000010025 steaming Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
本实用新型是双模智能视觉传感系统架构，其特征是双模智能摄像机的信号输出/输入端与宽带传输网络的第一信号输入/输出端对应相接，宽带传输网络的第二信号输入/输出端与应用管理服务器的第一信号输出/输入端对应相接，应用管理服务器的第二信号输出/输入端与应用客户的信号输入/输出对应相接。优点：本实用新型去掉了智能视频处理服务器。将该模块的任务前置到摄像机前端，实现了先进智能处理的功能，先期设备投入节省，降低了设备维护、系统运营成本。实现基于实时视频分析结果的图像抓拍、实时云台控制对目标自动跟踪，自动根据目标为主体条件的相机感光、照明、对比度等参数调整，最终导致成像质量更高和分析结果更精确。
Description
技术领域
本实用新型涉及的是一种双模智能视觉传感系统架构，可广泛应用于智能交通、智能安防、视频会议、医疗专家系统、自动化生产质量检测技术领域。
背景技术
现有系统的结构原理如图1所示。现有智能视觉信息通过网络摄像机采集并进行压缩编码处理通过宽带传输网络与视频处理服务器连接，在视觉服务器上运行视频解码、模式识别、人工智能等算法。智能视觉服务器通常是高端服务器计算机或者工控机。视觉服务器将分析结果传输到应用管理服务器。应用管理服务器响应各个客户端的请求把智能视频分析的结果服务于各个客户端。例如在智能交通中的应用：高清网络摄像机采集高清视频，为了后端能进行高性能的车牌识别、流量统计、交通违规检测、超速监管等算法需要5兆比特带宽(针对全高清1920X1080@30帧/每秒)才能保证视频分析质量。同时要传输两路分别到视觉处理服务器和应用服务器。而交通管理部门作为用户只需要一些分析结果，如违规车牌、实时车流统计、事故现场片段/图片等信息。使用中可以发现如下的问题：
1)无法实现实时的检测。视频网络传输机理决定，到达智能处理服务器的视频与前端摄像机采集的图像有数秒的延时，对违规追捕等有影响。2)无法实时相机自动调节。数秒延时导致无法通过智能分析的结果自动调节相机采集功能(如照明曝光、自动云台控制目标跟踪、目标缩放等功能)。3)传输带宽压力非常大。对于多路高清视频监控，每一路需要5兆带宽，对传输设备，系统运营费用带来很大压力。4)图像清晰度不够高。由于是实时视频传输，最高到达视频服务器的图像分辨率是1920x1080。这样的分辨率不能满足对多车道的车辆检测算法要求。5)对后台的视频服务器要求高。每个摄像机前端配备一台视频服务器是不经济的，而视频服务器处理压缩视频的解码需要不少的运算量，同时处理多路摄像机视频流需要昂贵的高性能计算机。6)如果一台视频服务器处理多个前端，由于运行非实时操作系统容易造成关键事件丢失、系统不可靠等问题。7)系统复杂、维护成本高。服务器出故障会造成多个摄像机前端变成盲区。
发明内容
本实用新型提出的是一种双模智能视觉传感系统架构，旨在克服现有技术所存在的上述缺陷，本发明去掉了智能视频处理服务器。将该模块的任务前置到摄像机前端，本发明双模智能摄像机不仅实现了先进智能处理的功能并解决现有系统中存在的问题，同时降低系统硬件成本和系统运营成本。
本实用新型技术解决方案：其结构是双模智能摄像机的信号输出/输入端与宽带传输网络的第一信号输入/输出端对应相接，宽带传输网络的第二信号输入/输出端与应用管理服务器的第一信号输出/输入端对应相接，应用管理服务器的第二信号输出/输入端与应用客户的信号输入/输出对应相接。
本实用新型的优点：1)先期设备投入节省，设备维护成本降低。与基于CCTV、采集卡和视频服务器的系统比较本双模摄像机在不明显增加相机硬件成本下实现实时视频压缩和图像智能分析功能，去除了昂贵的视频分析服务器，无需视频采集卡。不仅如此，视频分析服务器需要专门的机房维护成本高。由于在摄像机前端在线分析，图像分辨率高，一台相机可以监管更大的范围，如5条车道，系统成本成倍节省。2)系统性能上很大的提高、智能分析成功率更高更精确。系统基于智能前置的方案，由于前端图像没有经过压缩带来的失真，且分辨率很高，图像识别率高。3)增加新的功能，由于智能前置系统延迟减低几个量级(本发明的是20毫秒延迟，现有系统是数秒延迟)，可以实现基于实时视频分析结果的图像抓拍(现有是外部传感器触发抓拍)、实时云台控制对目标自动跟踪(现有系统不能实现)，自动根据目标为主体条件的相机感光、照明、对比度等参数调整，最终导致成像质量更高和分析结果更精确。4)系统运营成本降低，容易实现远程综合管理。因为智能分析在摄像机前端，网络传输可以只传输分析结果数据。而分析结果数据通常只有几千字节每秒，相比数百万字节每秒，明显的节省信道带宽，网络运营成本大大节省。5)系统升级和扩容容易。本双模智能摄像机操作系统运行在独立的处理器上，智能处理算法可以在线基于网络的升级更新。另外由于每台相机自己处理复杂的视频分析、图像处理，不会对后端服务器带来重大的任务增加压力，系统扩容非常容易。
附图说明
附图1是现有技术结构示意图。
附图2是本发明的结构示意图。
附图3是本发明双模智能摄像机子系统框图。
附图4双模智能摄像机的方案1流程图。
附图5双模智能摄像机的方案2流程图。
附图6是基于CMOS视频传感器模块图。
附图7是基于CCD视频传感器模块图。
附图8是视频压缩与系统管理板图。
附图9是智能视频处理板图。
具体实施方式
对照附图2，其结构是双模智能摄像机的信号输出/输入端与宽带传输网络的第一信号输入/输出端对应相接，宽带传输网络的第二信号输入/输出端与应用管理服务器的第一信号输出/输入端对应相接，应用管理服务器的第二信号输出/输入端与应用客户的信号输入/输出对应相接。
图2与现有的视频系统比较，系统中去掉了智能视频处理服务器。将该模块的任务前置到摄像机前端，本发明双模智能摄像机不仅实现了先进智能处理的功能并解决现有系统中存在的问题，同时降低系统硬件成本和系统运营成本。
实时视频处理，由于视频处理在摄像机前端实现，信号没有经过传输网络延迟、编解码延迟、系统各级缓存延迟。智能处理单元获得的实时的图像序列，使得处理结果反映当前状况。
解决相机智能调节的问题，有闭环控制原理可知，只有系统延迟足够低才能实现基于反馈控制的自动相机照明曝光调节、自动云台控制、目标跟踪等。自动目标跟踪使得相机的视野主动跟踪目标，这在视频会议中自动跟踪发言人，以及在安防领域中主动跟踪可疑目标或车量有非常重要的作用。
降低系统数据传输带宽，由于双模摄像机前端不仅可以摄取实时高清视频流，同时抓取高达5兆像素以上的极高分辨率无压缩图像为智能处理服务。智能处理后的结果是很低数据率的，如车流分析、牌照识别等只有不到每秒一千位的流量。相比5兆的视频码流，节省3到4个数量级的带宽。
高分辨率的实时图像可以减轻图像分析、模式识别模块的压力，使得在较低算法复杂度下识别率更高。另外，因为双模相机摄取的极高分辨率图像，是无需无压缩失真图像。
本发明节省设备成本，系统无需高性能视频服务器，无需大型设备机房维护。
由于双模智能相机是运行的嵌入式实时系统，每个相机负责自己的专门任务，不会出现外界干扰而丢帧的现象。
该智能分析系统属于分布式处理系统，系统更稳定、更易维护升级。现有系统是一台视频分析服务器出故障，多个视频观察点都会瘫痪，维护起来也是相互影响。本发明的系统，每个智能相机负责自己的任务，摄像机前端之间是互相独立的。
对照附图3，其结构是光电镜头的信号输出端接图像传感器(CMOS/CCD)的信号输入端，光电镜头的信号输入端接图像预处理模块的信号输出端，图像传感器(CMOS/CCD)的信号输入/输出端与图像预处理模块的第一信号输出/输入端对应相接，图像预处理模块的第二信号输入/输出端与视频压缩模块的第一信号输出/输入端对应相接，图像预处理模块的第三信号输入/输出端与智能视频处理模块的第一信号输出/输入端对应相接，视频压缩模块的第二信号输出/输入端与智能视频处理模块的第二信号输入/输出端对应相接，视频压缩模块的第三信号输出/输入端与CPU网络通信系统管理模块的第一信号输入/输出端对应相接，CPU网络通信系统管理模块的第二信号输入/输出端与智能视频处理模块的第三信号输入/输出端对应相接，CPU网络通信系统管理模块的第三信号输入/输出端与云台/照明/报警装置的信号输出/输入端对应相接。
图像预处理模块主要完成如下功能：亮度(Brightness)、对比度(Contrast)、色彩(Hue)、饱和度(Saturation)、锐利度(Sharpness)、伽玛(Gamma)、白平衡(White Balance)、背光补偿(BacklightCompensation)、曝光(Exposure)、聚焦(Focus)控制，时空降噪(NoiseReduction)，宽动态范围对比度调整(Wide Dynamic Range Adjustment)，图像重采样(Scaling)等功能。同时对自动光圈镜头提供自动光圈控制信号(Auto Iris)。
由图像传感器(CCD/CMOS)传输至图像预处理模块的是高分辨率实时视频信号，如10兆(千万)像素60帧/每秒的超高清视频信号，对ISP的要求特别高，特别是时空噪声去除等算法复杂度特别高，在1/60秒内要处理出高达千万像素的图像，需要很高的处理能力和算法优化。另外，传感器发展特别快，需要ISP有很强的适应性，所以在双模相机中专门分出一个独立的处理模块。由ISP传到视频压缩模块的视频信号，从传输存储的实际考虑，需要将千万像素图像下采样到一般的高清视频(如1920X1080@60帧/每秒)还有用于远程和移动传输的640X480@30帧/每秒的低分辨率视频。视频压缩模块专门处理实时视频流的多码流实时网络自适应压缩。一般有专业超大规模集成电路实现，不会因为外界的事件的干扰而影响压缩性能和出现丢帧等问题。
由ISP传到智能视频处理模块的是超高分辨率的无压缩视频流，对图像处理和模式识别特别有利。如高速公路上一台相机可以满足5条车道车辆监管、牌照识别、流量统计、违规管制等。如4000X3000像素图像分到五个车道，每个车道高达800x3000分辨率，还远比普通CCTV相机720x576分辨率高。高的图像分辨率对应到如牌照等字符上的采样点阵会很高，算法检测成功率也会非常高。这样，一台相机不仅能输出多个实时视频流，又能实现实时对高达5条车道的检测，从而大大降低系统设备成本和运营成本。
CPU负责网络通信协议，以及与外设的交互，如音频输入、云台控制、照明曝光、报警输入输出等，还负责将事故处理或交通违章等实时分析结果跟实时视频流同步起来，为事后的举证查询提供依据。而监管部门能及时的以很低的数据流获得车牌、流量、违规车辆等信息，这些低数据量的信息即使在移动网络中传输也不至于系统拥堵。本发明对网络带宽的低要求，降低了系统网络的运营成本。
对照附图4、5，两种方案流程的差别是：方案1视频压缩与图像智能分析模块共享ISP图像处理模块。方案2是视频压缩和图像智能分析模块各自有自己的ISP图像处理模块。由于视频压缩与智能分析要求不同，方案2的系统性能更好，但是软硬件成本也相对偏高，适合高端应用领域如医疗专家系统。成本较低的方案1合适智慧城市、平安校园等低端安防应用。
对照附图6，模拟光图像信号通过镜头照射到CMOS图像传感器感光面，CMOS图像传感器接收光源，经过处理变为数字图像信号，经过电平转换器件传给视频压缩与系统管理板，同时经过信号缓冲器件传给智能视频处理板。
对照附图7，模拟光图像信号通过镜头照射到CCD图像传感器感光面，此时CCD模拟前端处理器和CCD驱动及信号处理模块(由FPGA或CPLD实现)进行ADC和信号处理得到数字图像信号，传给视频压缩与系统管理板和智能视频处理板。
对照附图8，视频压缩与系统管理板，主要负责音视频信号处理及云台、光圈、报警等外设或动作进行控制和处理。
视频方面，数字视频信号传给高性能视频压缩SoC器件，进行图像预处理(ISP)、视频压缩得到压缩后的视频数据，通过网络(有线或无线网络)实时传输到远端视频服务器。音频方面，高性能视频压缩SoC器件通过音频编解码器件与本地音频输入/输出接口实现音频数据通信。高性能视频压缩SoC器件，还要负责接收智能视频处理板处理的结果数据，通过网络发到服务器；通过运放器件实现本地视频回放；通过RS485转换器件实现云台控制；通过自动光圈控制模块实现自动光圈控制。
对照附图9，智能视频处理板，主要是通过高性能视频信号处理器，对从图像传感器模块得到的数字视频信号进行智能视频信号处理，并把处理完后的数据和视频压缩与系统管理板进行交互。
Claims (2)
1.双模智能视觉传感系统架构，其特征是双模智能摄像机的信号输出/输入端与宽带传输网络的第一信号输入/输出端对应相接，宽带传输网络的第二信号输入/输出端与应用管理服务器的第一信号输出/输入端对应相接，应用管理服务器的第二信号输出/输入端与应用客户的信号输入/输出对应相接。
2.根据权利要求1所述的双模智能视觉传感系统架构，其特征是双模智能摄像机系统的结构是光电镜头的信号输出端接图像传感器的信号输入端，光电镜头的信号输入端接图像预处理模块的信号输出端，图像传感器的信号输入/输出端与图像预处理模块的第一信号输出/输入端对应相接，图像预处理模块的第二信号输入/输出端与视频压缩模块的第一信号输出/输入端对应相接，图像预处理模块的第三信号输入/输出端与智能视频处理模块的第一信号输出/输入端对应相接，视频压缩模块的第二信号输出/输入端与智能视频处理模块的第二信号输入/输出端对应相接，视频压缩模块的第三信号输出/输入端与CPU网络通信系统管理模块的第一信号输入/输出端对应相接，CPU网络通信系统管理模块的第二信号输入/输出端与智能视频处理模块的第三信号输入/输出端对应相接，CPU网络通信系统管理模块的第三信号输入/输出端与云台/照明/报警装置的信号输出/输入端对应相接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201120012452 CN201919087U (zh) | 2011-01-17 | 2011-01-17 | 双模智能视觉传感系统架构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201120012452 CN201919087U (zh) | 2011-01-17 | 2011-01-17 | 双模智能视觉传感系统架构 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN201919087U true CN201919087U (zh) | 2011-08-03 |
Family
ID=44418875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201120012452 Expired - Lifetime CN201919087U (zh) | 2011-01-17 | 2011-01-17 | 双模智能视觉传感系统架构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN201919087U (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102104721A (zh) * | 2011-01-17 | 2011-06-22 | 王兴国 | 双模智能视觉传感系统架构 |
| CN102307297A (zh) * | 2011-09-14 | 2012-01-04 | 镇江江大科茂信息系统有限责任公司 | 一种多方位视频目标跟踪检测的智能监控系统 |
| CN104378630A (zh) * | 2014-12-12 | 2015-02-25 | 国家电网公司 | 一种会议电视音视频质量分析系统 |
-
2011
- 2011-01-17 CN CN 201120012452 patent/CN201919087U/zh not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102104721A (zh) * | 2011-01-17 | 2011-06-22 | 王兴国 | 双模智能视觉传感系统架构 |
| CN102307297A (zh) * | 2011-09-14 | 2012-01-04 | 镇江江大科茂信息系统有限责任公司 | 一种多方位视频目标跟踪检测的智能监控系统 |
| CN104378630A (zh) * | 2014-12-12 | 2015-02-25 | 国家电网公司 | 一种会议电视音视频质量分析系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102104721A (zh) | 双模智能视觉传感系统架构 | |
| US11790504B2 (en) | Monitoring method and apparatus | |
| CN109640007B (zh) | 人工智能图像传感设备 | |
| KR102143029B1 (ko) | 인공지능형 cctv 시스템 | |
| KR101372838B1 (ko) | 다기능 차량촬영 시스템 및 방법 | |
| CN101106700A (zh) | 视频监控系统中的智能化目标细节捕获装置及方法 | |
| CN110913181A (zh) | 一种基于边缘计算的仓库视频监控系统 | |
| CN201919087U (zh) | 双模智能视觉传感系统架构 | |
| CN105551267A (zh) | 一种通过车流量控制交通信号机的方法 | |
| CN109842752A (zh) | 一种支持4g通信可人脸识别的智能摄像头 | |
| DE102020207263A1 (de) | Fahrzeugkameramodul und Steuerverfahren davon | |
| CN102523432A (zh) | 一种基于3g的智能车载监控系统 | |
| CN105764217A (zh) | 基于红外热成像的智能道路照明系统及其实现方法 | |
| CN102355575A (zh) | 一种具有预警功能的分布式视频监控装置 | |
| CN1852398A (zh) | 一种摄像头和数据处理装置 | |
| CN107958231B (zh) | 光场图像过滤方法、人脸分析方法及电子设备 | |
| CN210955484U (zh) | 一种交通状况监测仪 | |
| CN106375639A (zh) | 一种基于svac和avc的双模智能摄像机系统 | |
| GB2352574A (en) | Closed circuit television camera and system | |
| CN202503603U (zh) | 网络监控摄像机和监控系统 | |
| CN201976189U (zh) | 智能网络摄像机 | |
| JP2013090004A (ja) | 画像受信装置 | |
| KR20060087732A (ko) | 스마트 네트워크 카메라 | |
| CN211720614U (zh) | 智能安防监控摄像头 | |
| CN111523350A (zh) | 图像识别方法及装置、存储介质、终端、图像识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: GM-INNOVATION INC. Free format text: FORMER OWNER: WANG XINGGUO Effective date: 20130206 Free format text: FORMER OWNER: MU KEMING ZHENG WEIGUO YU LAN Effective date: 20130206 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20130206 Address after: Guanghua Road, Baixia District Nanjing city Jiangsu province 210014 No. 1 Innovation Park Incubator Building 5 floor C District Patentee after: NANJING JIEMAI VIDEO TECHNOLOGY CO., LTD. Address before: Guanghua Road, Baixia District Nanjing city Jiangsu province 210014 No. 1 Baixia high-tech park 5 floor C District of Nanjing Jammah Video Science and Technology Co Ltd Patentee before: Wang Xingguo Patentee before: Mu Keming Patentee before: Zheng Weiguo Patentee before: Yu Lan |
|
| CX01 | Expiry of patent term |
Granted publication date: 20110803 |
|
| CX01 | Expiry of patent term |