CN105491336A - 一种低功耗图像识别模块 - Google Patents

一种低功耗图像识别模块 Download PDF

Info

Publication number
CN105491336A
CN105491336A CN201510897329.7A CN201510897329A CN105491336A CN 105491336 A CN105491336 A CN 105491336A CN 201510897329 A CN201510897329 A CN 201510897329A CN 105491336 A CN105491336 A CN 105491336A
Authority
CN
China
Prior art keywords
image
unit
connects
source electrode
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510897329.7A
Other languages
English (en)
Other versions
CN105491336B (zh
Inventor
葛辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu core technology Co. Ltd.
Original Assignee
CINSOFT Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CINSOFT Ltd filed Critical CINSOFT Ltd
Priority to CN201510897329.7A priority Critical patent/CN105491336B/zh
Publication of CN105491336A publication Critical patent/CN105491336A/zh
Application granted granted Critical
Publication of CN105491336B publication Critical patent/CN105491336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00496Recognising patterns in signals and combinations thereof
    • G06K9/00536Classification; Matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/2251Constructional details
    • H04N5/2253Mounting of pick-up device, electronic image sensor, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/2251Constructional details
    • H04N5/2254Mounting of optical parts, e.g. lenses, shutters, filters or optical parts peculiar to the presence or use of an electronic image sensor

Abstract

为了降低中心监控室的监控端为识别监控点的图像或视频信息所消耗的电力,并同时降低安防监控系统中网络数据传输压力,本发明提供了一种低功耗图像识别模块,包括:图像采集单元,其采集监控图像;图像预处理单元,其对所述图像采集单元采集的图像信息进行预处理;图像识别单元,其基于所述图像预处理单元的输出进行图像识别。本发明能够控制监控点的摄像头等图像采集设备在必要时向监控端发送图像信息,减少了不必要的图像帧的传输,进而减少了通信需求,节省了通讯相关的电力消耗,而且能够根据声纹进一步准确地确定人员身份或异常信息,提高安防监控安全性。

Description

一种低功耗图像识别模块
技术领域
[0001]本发明涉及图像信息处理技术领域,更具体地,涉及一种低功耗图像识别模块。
背景技术
[0002]随着计算机和网络技术的不断发展,视频监控系统正从模拟时代向数字化、网络化和智能化方向过渡。智能视频监控技术包含对视频信号的分析和运动目标模式的识别和理解。对视频信号的分析,如对动态目标检测和跟踪,是构建智能视频监控系统的基础;智能监控的中心内容是对运动目标模式的理解,特别是运动目标的识别与分类,如人形识别、异常行为检测与鉴别、场景理解等。这一点对于安防监控(例如楼宇监控)尤其是不可或缺的。
[0003]现代化的楼宇监控点分布具有分散性且个数越来越多,各个监控点的视频采集设备都向中心监控室传输图像信号或视频信号。虽然现有技术中的图像识别算法已经非常完备,但其本身一般都比较复杂,图像的传输操作也需要耗费大量的电力,而且这种操作也为中心监控室的监控端带来了巨大的数据传输压力以及数据处理压力。
发明内容
[0004]为了降低中心监控室的监控端为识别监控点的图像或视频信息所消耗的电力,并同时降低安防监控系统中网络数据传输压力,本发明提供了一种低功耗图像识别模块,包括:
[0005]图像采集单元,其采集监控图像;
[0006]图像预处理单元,其对所述图像采集单元采集的图像信息进行预处理;
[0007]图像识别单元,其基于所述图像预处理单元的输出进行图像识别。
[0008]进一步地,所述图像采集单元包括:
[0009]图像光学采集单元,用于获得图像的光学信号;
[0010]声音采集单元,用于采集声音信息。
[0011 ] 进一步地,所述图像预处理单元包括:
[0012]光电转换单元,用于根据不同时刻的光学信号获得与其对应的、表示图像信息的电气信号;
[0013]判断单元,所述光电转换单元输出的电气信号确定当前的光学信号是否需要输出到图像传输单元;
[0014]图像传输单元,用于根据所述判断单元的输出将所述图像采集单元采集的图像对应的电气信号传输到监控端的图像识别单元。
[0015]进一步地,所述图像采集单元采用光学透镜组件。
[0016]进一步地,所述光电转换单元包括由多个光电感应单元构成的阵列,其中每个光电感应单元对应于一个图像区域。
[0017]进一步地,所述光电感应单元包括:NM0S晶体管T1-T9和电容C,其中T1的栅极连接时钟信号CLK1,源极连接前一时刻图像的电气信号頂G1,漏极连接T4的源极,T4的漏极连接T5的源极,T5的漏极连接T6的源极,T6的漏极连接T8的源极,T8的漏极连接T9的源极,T9的漏极连接输出端Sout,T3的栅极连接时钟信号CLK2,T3的源极连接当前时刻图像的电气信号頂G2,T3的漏极连接T2的漏极、电容C的一端以及T8的源极,T2的栅极连接CLK2,T4的栅极连接CLK1以及T7的源极和T7和T8的栅极,T7的漏极接地,T5的栅极连接电容C的另一端,T2的源极连接电源VDD,T9的栅极连接电源VDD。
[0018] 进一步地,所述图像预处理单元包括滤波降噪单元。
[0019]进一步地,所述滤波降噪单元采用高斯滤波器。
[°02°]进一步地,所述图像识别单元包括:
[0021]数据库,用于存储人形基本信息以及声纹信息;
[0022]人形识别单元,用于根据所述人形基本信息对所述图像采集单元输出的信息进行对比;
[0023]声纹鉴别单元,用于根据所述人形识别单元的识别结果,对所述声音采集单元采集到的声音信号与所述声纹信息进行比对。
[0024]本发明中的“识别”指的是对固定式监控设备采集到的图像中的人形或者异常行为进行识别,而不包括人脸、文字和背景环境的识别。
[0025]本发明的有益效果是:
[0026] (1)能够控制监控点的摄像头等图像采集设备在必要时向监控端发送图像信息,减少了不必要的图像帧的传输,进而减少了通信需求,节省了通讯相关的电力消耗;
[0027] (2)能够根据声纹进一步准确地确定人员身份或异常信息,提高安防监控安全性;
[0028] (3)能够利用晶体管设计而成的图像处理电路简略地进行不同时刻图像的处理,而不需要采用耗电较高的CPU专门处理,也无需为此给监控点的图像采集设备增加额外的负担,从根本上降低了图像识别所需要的电力消耗。
附图说明
[0029]图1示出了根据本发明的低功耗图像识别模块的组成框图。
[0030]图2示出了根据本发明的光电感应单元的电路图。
具体实施方式
[0031]如图1所示,低功耗图像识别模块,包括:所述图像采集单元、图像预处理单元以及图像识别单元。
[0032]其中,图像采集单元包括:
[0033]图像光学采集单元,用于获得图像的光学信号。根据本发明的实施例,所述图像采集单元采用光学透镜组,例如多个被粘接在一起的凸透镜。
[0034]声音采集单元,用于采集声音信息。该单元可以采用录音笔、麦克风等音频输入设备。
[0035]根据本发明的优选实施例,所述预处理单元包括:光电转换单元和判断单元和图像传输单元。其中:
[0036]所述光电转换单元用于根据不同时刻的光学信号获得与其对应的、表示图像信息的电气信号。根据本发明的优选实施例,所述光电转换单元包括由多个光电感应单元构成的阵列,其中每个光电感应单元对应于一个图像区域。根据本发明的一个实施例,该图像区域对应于一个像素或多个像素的集合。
[0037]如图2所示,所述光电感应单元包括:匪0S晶体管T1-T9和电容C,其中T1的栅极连接时钟信号CLK1,源极连接前一时刻图像的电气信号MG1,漏极连接T4的源极,T4的漏极连接T5的源极,T5的漏极连接T6的源极,T6的漏极连接T8的源极,T8的漏极连接T9的源极,T9的漏极连接输出端Sout,T3的栅极连接时钟信号CLK2,T3的源极连接当前时刻图像的电气信号頂G2,T3的漏极连接T2的漏极、电容C的一端以及T8的源极,T2的栅极连接CLK2,T4的栅极连接CLK1以及T7的源极和T7和T8的栅极,T7的漏极接地,T5的栅极连接电容C的另一端,T2的源极连接电源VDD,T9的栅极连接电源VDD。根据本发明的一些实施例,为了节省电力开销,所述判断单元采用MCU,而不采用DSP或者更复杂、通常耗电更高的处理器。
[0038]在该电路中,光电感应单元根据时钟信号CLK1和CLK2的控制,进行将前一时刻的光学信号对应的电气信号頂G1取反,与MG2叠加。这些MG1和MG2信号表示此光电感应单元对应的像素点在不同时刻的灰度对应的电压信号,该像素对应的光电感应单元的输出值表示此像素点对应的输出信号Sout在灰度值上的改变。
[0039]所述判断单元所述光电转换单元输出的电气信号确定当前的光学信号是否需要输出到图像传输单元。该判断单元采用MCU或DSP等信号处理器件。当电气信号的上述灰度值超过预设阈值时,判断单元将当前图像采集单元采集的光学图像对应的电气信号输出给图像传输单元。
[0040]图像传输单元,用于根据所述判断单元的输出将所述图像采集单元采集的图像对应的电气信号传输到监控端的图像识别单元。当判断单元确定此时的此像素值的灰度值改变超过预设阈值时,则表明此时的该像素点的图像发生了较大改变,则该信号将进行进一步处理和上传到监控端,从而减少了上传和进行后续处理的像素的数量,减少了操作步骤,节省了电力消耗。
[0041]根据本发明的一些实施例,图像预处理单元还包括滤波降噪单元,例如,采用高斯滤波器。此滤波降噪单元仅在所述判断单元确定将光学图像对应的电气信号输出给图像传输单元时,对待传输的电气信号进行滤波降噪处理。
[0042]本发明上述“图像对应的电气信号”通常是指来自图像采集单元的光学信号经过光电转换单元转换而成的电气信号,例如图像帧。
[0043]根据本发明的优选实施例,所述图像识别单元包括:
[0044]数据库,用于存储人形基本信息以及声纹信息;
[0045]人形识别单元,用于根据所述人形基本信息对所述图像采集单元输出的信息进行对比;如果比对成功,即表明此时仅依靠人形识别即可成功地识别出人员信息,此时则通常不需要进行声纹识别。
[0046]声纹鉴别单元,用于根据所述人形识别单元的识别结果,对所述声音采集单元采集到的声音信号与所述声纹信息进行比对。本发明中的声纹识别是作为人形识别单元的补充和/或确认手段,也是可选的图像识别单元组件。
[0047]以上对于本发明的较佳实施例所作的叙述是为阐明的目的,而无意限定本发明精确地为所揭露的形式,基于以上的教导或从本发明的实施例学习而作修改或变化是可能的,实施例是为解说本发明的原理以及让所属领域的技术人员以各种实施例利用本发明在实际应用上而选择及叙述,本发明的技术思想企图由权利要求及其均等来决定。

Claims (9)

1.一种低功耗图像识别模块,其特征在于,包括: 图像采集单元,其采集监控图像; 图像预处理单元,其对所述图像采集单元采集的图像信息进行预处理; 图像识别单元,其基于所述图像预处理单元的输出进行图像识别。
2.根据权利要求1所述的图像识别模块,其特征在于,所述图像采集单元包括: 图像光学采集单元,用于获得图像的光学信号; 声首米集单兀,用于米集声首ί目息。
3.根据权利要求1所述的图像识别模块,其特征在于,所述图像预处理单元包括: 光电转换单元,用于根据不同时刻的光学信号获得与其对应的、表示图像信息的电气信号; 判断单元,所述光电转换单元输出的电气信号确定当前的光学信号是否需要输出到图像传输单元; 图像传输单元,用于根据所述判断单元的输出将所述图像采集单元采集的图像对应的电气信号传输到监控端的图像识别单元。
4.根据权利要求3所述的图像识别模块,其特征在于,所述图像采集单元采用光学透镜组件。
5.根据权利要求3所述的图像识别模块,其特征在于,所述光电转换单元包括由多个光电感应单元构成的阵列,其中每个光电感应单元对应于一个图像区域。
6.根据权利要求3所述的图像识别模块,其特征在于,所述光电感应单元包括:匪OS晶体管T1-T9和电容C,其中T1的栅极连接时钟信号CLK1,源极连接前一时刻图像的电气信号MG 1,漏极连接T4的源极,T4的漏极连接T5的源极,T5的漏极连接T6的源极,T6的漏极连接T8的源极,T8的漏极连接T9的源极,T9的漏极连接输出端Sout,T3的栅极连接时钟信号CLK2,T3的源极连接当前时刻图像的电气信号IMG2,T3的漏极连接T2的漏极、电容C的一端以及T8的源极,T2的栅极连接CLK2,T4的栅极连接CLK1以及T7的源极和T7和T8的栅极,T7的漏极接地,T5的栅极连接电容C的另一端,T2的源极连接电源VDD,T9的栅极连接电源VDD。
7.根据权利要求1所述的图像识别模块,其特征在于,所述图像预处理单元还包括滤波降噪单元。
8.根据权利要求7所述的图像识别模块,其特征在于,所述滤波降噪单元采用高斯滤波器。
9.根据权利要求1所述的图像识别模块,其特征在于,所述图像识别单元包括: 数据库,用于存储人形基本信息以及声纹信息; 人形识别单元,用于根据所述人形基本信息对所述图像采集单元输出的信息进行对比; 声纹鉴别单元,用于根据所述人形识别单元的识别结果,对所述声音采集单元采集到的声音信号与所述声纹信息进行比对。
CN201510897329.7A 2015-12-08 2015-12-08 一种低功耗图像识别模块 Active CN105491336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510897329.7A CN105491336B (zh) 2015-12-08 2015-12-08 一种低功耗图像识别模块

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510897329.7A CN105491336B (zh) 2015-12-08 2015-12-08 一种低功耗图像识别模块

Publications (2)

Publication Number Publication Date
CN105491336A true CN105491336A (zh) 2016-04-13
CN105491336B CN105491336B (zh) 2018-07-06

Family

ID=55678013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510897329.7A Active CN105491336B (zh) 2015-12-08 2015-12-08 一种低功耗图像识别模块

Country Status (1)

Country Link
CN (1) CN105491336B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214299A (zh) * 2018-08-09 2019-01-15 合肥美的智能科技有限公司 货柜的物品监控方法、装置以及货柜

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008016360A1 (en) * 2006-08-03 2008-02-07 International Business Machines Corporation Video surveillance system and method with combined video and audio recognition
JP2009259085A (ja) * 2008-04-18 2009-11-05 Takumi Vision株式会社 生体認証システム及び認証方法
CN103475490A (zh) * 2013-09-29 2013-12-25 广州网易计算机系统有限公司 一种身份验证方法及装置
CN103974001A (zh) * 2013-01-24 2014-08-06 三星电子株式会社 图像传感器及其操作方法和包括该图像传感器的系统
CN104782111A (zh) * 2012-10-29 2015-07-15 关根弘一 运动检测用固体摄像装置以及运动检测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008016360A1 (en) * 2006-08-03 2008-02-07 International Business Machines Corporation Video surveillance system and method with combined video and audio recognition
JP2009259085A (ja) * 2008-04-18 2009-11-05 Takumi Vision株式会社 生体認証システム及び認証方法
CN104782111A (zh) * 2012-10-29 2015-07-15 关根弘一 运动检测用固体摄像装置以及运动检测系统
CN103974001A (zh) * 2013-01-24 2014-08-06 三星电子株式会社 图像传感器及其操作方法和包括该图像传感器的系统
CN103475490A (zh) * 2013-09-29 2013-12-25 广州网易计算机系统有限公司 一种身份验证方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214299A (zh) * 2018-08-09 2019-01-15 合肥美的智能科技有限公司 货柜的物品监控方法、装置以及货柜

Also Published As

Publication number Publication date
CN105491336B (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN103530912A (zh) 一种具有情绪识别功能的考勤系统及方法
WO2012142797A1 (zh) 一种视频监控系统及方法
WO2016112624A1 (zh) 控制系统及控制方法
CN105426866A (zh) 虹膜识别装置及虹膜识别方法
US11138903B2 (en) Method, apparatus, device and system for sign language translation
Gogate et al. DNN driven speaker independent audio-visual mask estimation for speech separation
CN103871419A (zh) 一种信息处理方法及电子设备
CN105491336A (zh) 一种低功耗图像识别模块
CN104519256A (zh) Vtm机红外触发拍摄摄像模组及其拍摄方法
CN101382590A (zh) 音源方向识别方法、识别装置和具有该装置的机器人
WO2017000772A1 (zh) 一种前端音频处理系统
CN110602488B (zh) 一种日夜型摄像装置切换异常检测方法、装置及摄像装置
CN105472336A (zh) 一种低功耗图像压缩模块
Shao et al. EEG-Based Emotion Recognition with Deep Convolution Neural Network
CN110085231A (zh) 基于usb端口的多mic语音助理模块
CN109525921A (zh) 一种跨网互联音频大数据采集分析系统
CN205581889U (zh) 虹膜识别装置
CN110855930B (zh) 一种网络设备智能识别方法和系统
CN109946538B (zh) 一种基于磁感应信号的移动设备监控方法及系统
CN112562712A (zh) 一种录音数据处理方法、系统、电子设备及存储介质
CN205864580U (zh) 一种智能语音抓拍系统
CN202720661U (zh) 一种姿势识别系统
US20200234707A1 (en) Voice interaction processing method and apparatus
CN211928627U (zh) 智能交互精准公共电子广告系统
CN209606794U (zh) 一种可穿戴设备、音箱设备和智能家居控制系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 610041 8th Floor, Building 1239 B, Middle Section of Yizhou Avenue, Chengdu High-tech Zone, Sichuan Province

Patentee after: Chengdu core technology Co. Ltd.

Address before: 610041 No. 8 Zizhu North Street, Chengdu High-tech Zone, Sichuan Province

Patentee before: CINSOFT LTD.