CN105791687A - 一种蛙眼仿生检测方法及蛙眼仿生摄像机 - Google Patents

一种蛙眼仿生检测方法及蛙眼仿生摄像机 Download PDF

Info

Publication number
CN105791687A
CN105791687A CN201610121930.1A CN201610121930A CN105791687A CN 105791687 A CN105791687 A CN 105791687A CN 201610121930 A CN201610121930 A CN 201610121930A CN 105791687 A CN105791687 A CN 105791687A
Authority
CN
China
Prior art keywords
frogeye
detector
feature
image
bionical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610121930.1A
Other languages
English (en)
Inventor
刘敏
李红保
温明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhuoshilan Electronics Technology Co Ltd
Original Assignee
Suzhou Zhuoshilan Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhuoshilan Electronics Technology Co Ltd filed Critical Suzhou Zhuoshilan Electronics Technology Co Ltd
Priority to CN201610121930.1A priority Critical patent/CN105791687A/zh
Publication of CN105791687A publication Critical patent/CN105791687A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种蛙眼仿生检测方法，该方法通过蛙眼检测器检测对目标图像进行边缘特征、凸边轮廓特征、运动物体与背景的亮度对比特征和变暗区域特征进行检测，并通过多特征信息融合模块将上述特征信息进行进行融合，筛选过滤冗余数据。本发明还公开了一种采用蛙眼仿生检测方法的摄像机，能够自然过滤和筛选冗余信息，具有低功耗、低带宽和低存储需求的特点，可有效节约高清/超高清视频的采集、传输和存储资源，还可以实现移动触发录像、运动物体检测和跟踪、障碍物识别等功能，在无人驾驶、无人机和物联网中将具有广阔的应用潜质。

Description

一种蛙眼仿生检测方法及蛙眼仿生摄像机
技术领域
本发明涉及电子和信息技术领域，具体涉及一种蛙眼仿生摄像机的方法和系统。
背景技术
随着视频监控朝着高清、超高清方向发展，监控图像清晰度越来越高，高质量的视频图像同时也给网络传输和存储带来巨大压力。另外，随着人工智能、机器视觉、无人驾驶、智能物联网的飞速发展，对低功耗、低带宽和低存储需求的视频采集设备的需求越来越大。而传统摄像机即使在只有背景图像的时间段，也会产生视频信号，如银行ATM监控，很少有人在深夜进行自主银行业务等。因此，监控录像记录的视频图像在时域上存在很大冗余，大量冗余信息的采集、传输和存储将消耗大量不必要的能源、传输和存储资源。
虽然智能前置技术可以将监控由被动变为主动，具有移动侦测和自动报警功能等，但在一些较复杂的场景下存在误报率较高、CPU处理瓶颈等问题。由于蛙眼具有对背景模糊而对运动敏感的天然特性，因此本发明提供的蛙眼仿生摄像机具有自然筛选和过滤冗余数据的优势。
发明内容
本发明的目的在于针对现有技术的上述缺陷，提供一种蛙眼仿生检测方法及蛙眼仿生摄像机。
为实现上述目的，本发明的设计方案如下：
一种蛙眼仿生检测方法，包括以下步骤：
1)图像预处理步骤，对视频图像进行数据格式转换、空间尺度变换、滤波降噪和去抖动处理；
2)采用蛙眼检测器对目标图像进行边缘特征、凸边轮廓特征、运动物体与背景的亮度对比特征和变暗区域特征进行检测；其中，蛙眼检测器包括边缘检测器、凸边检测器、反差检测器和变暗检测器；边缘检测器通过边缘检测算子检测目标图像的边缘特征，并生成包含边缘信息的二值图像；凸边检测器利用凸边物体检测算法检测目标图像的凸边轮廓特征，并生成二值图像；反差检测器采用基于亮度特征的运动物体检测算法检测运动物体与背景的亮度对比特征，以提取运动目标的前景信息并生成二值图像；所述的变暗检测器通过阴影检测算法检测变暗区域特征；
3)将所述的边缘特征信息、所述的凸边轮廓信息、所述的亮度对比信息和所述的变暗区域信息分别进行标准化归一处理，然后基于数学加权求和的方式进行融合，筛选过滤冗余数据。
本发明还提供了一种蛙眼仿生摄像机系统，包括镜头、图像传感器、模数转换模块、影像信号处理器(ImageSignalProcessing，ISP)、蛙眼仿生检测器(FrogEyeBionicDetector，FEBD)和编码器，其中，镜头由几片透镜组成，将外界景物在图像传感器上成像；图像传感器用来接收通过镜头的光线，并将光信号转换成电信号；模数转换模块用于将模拟的电信号转换成数字电信号；ISP对数字化的图像信号进行后处理，包括线性校正、噪声去除、坏点去除、白平衡、自动曝光控制等功能，输出接近真实外界景物的图像；FEBD基于机器视觉技术实现对冗余信息的自然过滤和筛选，并可以实现移动触发录像、运动物体检测和跟踪、障碍物识别等功能；编码器将FEBD自然筛选的图像进行压缩编码。
优选地，上述FEBD包括边缘检测器、凸边检测器、反差检测器和变暗检测器和多特征信息融合模块。
优选地，上述边缘检测器通过边缘检测算子检测到图像的边缘特征信息。
优选地，上述凸边检测器器通过凸边物体检测算法检测到凸形目标的轮廓信息。
优选地，上述反差检测器基于亮度特征的运动物体检测算法提取到运动目标的前景信息。
优选地，上述变暗检测器通过阴影检测算法检测到变暗区域信息。
优选地，上述多特征信息融合模块通过多特征融合策略实现对视频序列的时域冗余信息进行自然过滤和筛选。
优选地，上述FEBD由于具有天然对背景模糊，对运动敏感的特性，因此可实现背景抑制、运动物体检测和跟踪等功能。
优选地，上述FEBD和压缩编码都在数字信号处理器(DigitalSiginalProcessor，DSP)中运行。
本发明的优点和有益效果在于：
本发明在传统的摄像机中的ISP和压缩编码器之间增加了FEBD，FEBD具有对背景模糊而对运动比较敏感的特性，因此蛙眼仿生摄像机可以天然过滤和筛选时域上冗余信息，可实现移动触发录像功能，具有低功耗、低带宽和低存储需求的特点，另外该摄像机还可实现运动检测、跟踪和障碍物识别的功能，在无人驾驶、无人机和物联网中将具有广阔的应用潜质。
附图说明
图1是蛙眼仿生检测方法的流程图。
图2是蛙眼仿生摄像机的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1(蛙眼仿生检测方法)
如图1所示，该方法包括：
1)预处理，对视频图像进行数据格式转换，如将RGB图像转换成灰度图像，RGB格式转化为YUV或rgb格式等；对视频图像进行尺度变换，滤波去噪，采用去抖技术进行稳像等。
2)受蛙眼视觉特性启发，蛙眼仿生检测器通过模仿蛙眼视网膜中神经节细胞层的特征检测器的生物机理，对图像信息进行边缘特征、凸形物体特征、运动物体与背景的亮度对比特征和变暗区域特征信息进行检测。
其中，蛙眼仿生检测器包括边缘检测器、凸边检测器、反差检测器和变暗检测器，缘检测器通过边缘检测算子检测到图像的边缘特征；凸边检测器利用凸边物体检测算法检测到凸形物体特征；反差检测器采用基于亮度特征的运动物体检测算法检测到运动物体与背景的亮度对比特征；变暗检测器通过阴影检测算法检测到变暗区域特征信息。
(1)边缘检测算子采用canny算子对视频图像进行边缘特征检测，该canny算子进行边缘检测包含以下步骤：采用高斯滤波进行去噪、计算图像的亮度梯度信息、采用非最大抑制技术消除虚边缘、采用阈值技术确定边界等。
(2)凸边物体检测算法采用边缘算子检测到图像的边缘特征信息，然后采用非偶然性组织理论，利用属于同一组织物体的边缘具有共线、平行、对称性、凸形和平滑性等特征对边缘进行组织分类，以检测凸形物体的特征。
(3)运动物体检测算法基于亮度特征包括以下步骤：背景模型训练、背景模型更新、运动物体检测和前景分割。
其中，背景模型训练基于数学统计原理，对背景图像进行建模，学习出描述背景图像的数学模型。建立背景模型时考虑到背景的多模态变化，噪声的影响，光照的变化，阴影等因素，以增强背景模型对场景变化的自适应能力和鲁棒性。
在视频序列中，由于每个像素点的像素信息是随时间变化的，若t时刻像素点(x，y)的历史信息为{X1，X2，...，Xt}，其中Xi＝I(x，y，t)，1≤i≤t。在训练背景图像时，也就是背景模型的初始化阶段，首先选取视频的前N帧图像，在这前N帧图像中，假定没有运动物体的驶入，对像素点(x，y)的历史信息{X1，X2，...，XN}进行建模，假如背景模型为Bref(x，y)＝F(X1，X2，...，XN)，其描述的参考背景图像为IB(x，y，t)。
在上述的背景模型更新阶段，因考虑存在噪声、光照的变化和背景元素的局部运动等因素的影响，为了增强背景模型对场景变化的自适应能力，采用当前时刻的视频帧图像信息Icur(x，y)对参考背景模型进行更新。
在上述的运动物体检测阶段，计算每一帧视频图像与所述的背景模型图像之间的相似度，相似度值的高低反映了该时刻的帧图像与背景图像之间的相似度大小。若相似度高，则当前帧与背景帧之间冗余信息大，二者之间存在很大的重叠，若相似度低，则当前帧中可能包含有运动的物体。
在上述的前景分割阶段，对上述所计算的相似度进行修正，根据当前视频图像的时空特性和运动特征对所得相似度值进行修正。并采用阈值分割技术得到包含运动物体的前景二值图像。
(4)阴影检测算法采用基于颜色不变性的方法，首先在彩色图像RGB空间采用边缘检测算子，检测到物体包括阴影的边缘特征，然后将图像变换到颜色一致性空间进行边缘检测，经过两个颜色空间的边缘特征进行异或，可以检测到阴影区域。
3)多特征加权融合包括将边缘特征、凸边物体特征、亮度对比特征和变暗区域特征进行融合，并筛选过滤冗余数据。首先将每一种特征数据进行标准化归一化处理，然后基于数学加权求和的方式进行融合，在特征融合过程中，设计合理的策略进行权重的选取。
实施例2(蛙眼仿生摄像机)
如图2所示，该系统包括镜头、图像传感器、模数转换模块、ISP、DSP和ARM处理器。
其中，
镜头：由几片透镜组成，将外界景物在图像传感器上成像。
图像传感器：用来接收通过镜头的光线并将光信号转换成电信号。
模数转换模块：将模拟的电信号转换成数字电信号。
ISP：图像信号后处理，包括线性校正、噪声去除、坏点去除、白平衡、自动曝光控制等功能，输出接近真实外界景物的图像。
DSP处理器：包括FEBD和视频压缩编码，输入DSP的信号首先经过FEBD处理，然后进行H.264/MPEG4等的压缩编码。其中，实现FEBD具体实施如下：将开源的OPENCV移植到嵌入式Linux环境下，该软件包具有丰富的图像/视频处理接口，移植和优化FEBD。FEBD可实现对高清视频序列中冗余背景图像的自然过滤和筛选，还可以实现移动触发录像、运动物体检测和跟踪、障碍物识别等功能。视频压缩编码对经过FEBD自然筛选的图像进行压缩编码。
ARM处理器：基于嵌入式Linux操作系统，实现对整个摄像机系统的信号传输、信号处理和控制功能。
上述系统摄像机内置系统包括图像传感器、ARM+DSP双核处理器和各种外围接口电路。其中，图像传感器可以采用CMOS/CCD传感器以实现对图像数据的采集；ARM处理器可完成整个系统的控制，DSP处理器完成FEBD和视频压缩算法；且上述系统选用高性能DSP保证了FEBD的可靠实现。本实施例的系统可以运行嵌入式Linux操作系统，通过移植OPENCV开源软件包，具有丰富的图像/视频处理接口。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种蛙眼仿生检测方法，其特征在于，包括如下步骤：
1)采用蛙眼检测器对目标图像进行边缘特征、凸边轮廓特征、运动物体与背景的亮度对比特征和变暗区域特征进行检测；所述的蛙眼检测器包括边缘检测器、凸边检测器、反差检测器和变暗检测器；所述的边缘检测器通过边缘检测算子检测目标图像的边缘特征；所述的凸边检测器利用凸边物体检测算法检测目标图像的凸边轮廓特征；所述的反差检测器采用基于亮度特征的运动物体检测算法检测运动物体与背景的亮度对比特征，以提取运动目标的前景信息；所述的变暗检测器通过阴影检测算法检测变暗区域特征；
2)通过多特征信息融合模块将所述的边缘特征信息、所述的凸边轮廓特征信息、所述的亮度对比特征信息和所述的变暗区域特征信息分别进行标准化归一处理，然后基于数学加权求和的方式进行融合，筛选过滤冗余数据。
2.根据权利要求1中所述的蛙眼仿生检测方法，其特征在于，在步骤1)前，还包括图像预处理步骤，对视频图像进行数据格式转换、空间尺度变换、滤波降噪和去抖动处理。
3.一种采用权利要求1中所述的蛙眼仿生检测方法的蛙眼仿生摄像机，其特征在于，包括镜头、图像传感器、模数转换模块、影像信号处理器、蛙眼仿生检测器和压缩编码器；所述的镜头使外界景物在图像传感器上成像；所述的图像传感器用于接收通过镜头的光线并将光信号转换成电信号；所述的模数转换模块将模拟的电信号转换成数字电信号；所述的影像信号处理器对数字化的图像信号进行后处理，输出接近真实外界景物的图像；所述的蛙眼仿生检测器对冗余信息进行自然过滤和筛选，并可以实现移动触发录像、运动物体检测和跟踪，以及障碍物识别；所述的编码器将所述的蛙眼仿生检测器筛选的图像进行压缩编码。
CN201610121930.1A 2016-03-04 2016-03-04 一种蛙眼仿生检测方法及蛙眼仿生摄像机 Pending CN105791687A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610121930.1A CN105791687A (zh) 2016-03-04 2016-03-04 一种蛙眼仿生检测方法及蛙眼仿生摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610121930.1A CN105791687A (zh) 2016-03-04 2016-03-04 一种蛙眼仿生检测方法及蛙眼仿生摄像机

Publications (1)

Publication Number Publication Date
CN105791687A true CN105791687A (zh) 2016-07-20

Family

ID=56387973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610121930.1A Pending CN105791687A (zh) 2016-03-04 2016-03-04 一种蛙眼仿生检测方法及蛙眼仿生摄像机

Country Status (1)

Country Link
CN (1) CN105791687A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774306A (zh) * 2016-11-30 2017-05-31 百度在线网络技术（北京）有限公司 应用于无人驾驶车辆的启动检测方法、装置和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120092663A1 (en) * 2010-10-14 2012-04-19 Kull Linda S Transmission raman spectroscopy analysis of seed composition
CN103077533A (zh) * 2012-12-26 2013-05-01 中国科学技术大学 一种基于蛙眼视觉特性定位运动目标的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120092663A1 (en) * 2010-10-14 2012-04-19 Kull Linda S Transmission raman spectroscopy analysis of seed composition
CN103077533A (zh) * 2012-12-26 2013-05-01 中国科学技术大学 一种基于蛙眼视觉特性定位运动目标的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李智勇等: "基于蛙眼检测模型的双阈值判定目标跟踪方法", 《电子测量与仪器学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774306A (zh) * 2016-11-30 2017-05-31 百度在线网络技术（北京）有限公司 应用于无人驾驶车辆的启动检测方法、装置和系统
US10664710B2 (en) 2016-11-30 2020-05-26 Baidu Online Network Technology (Beijing) Co., Ltd. Start inspection method, apparatus and system applied to unmanned vehicle

Similar Documents

Publication Publication Date Title
CN110956094B (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
Bouwmans et al. Background modeling using mixture of gaussians for foreground detection-a survey
WO2022141418A1 (zh) 一种图像处理方法以及装置
Cristani et al. Background subtraction for automated multisensor surveillance: a comprehensive review
EP4261778A1 (en) Posture estimation method related apparatus
CN101930535B (zh) 人脸侦测与追踪装置
US20170339409A1 (en) Fast and robust human skin tone region detection for improved video coding
CN103079034A (zh) 一种感知拍摄方法及系统
WO2022141477A1 (zh) 一种图像处理方法以及装置
WO2022052475A1 (zh) 拍摄处理方法和装置、设备、存储介质、程序产品
KR102143029B1 (ko) 인공지능형 cctv 시스템
US9111353B2 (en) Adaptive illuminance filter in a video analysis system
WO2022141333A1 (zh) 一种图像处理方法以及装置
WO2022141351A1 (zh) 一种视觉传感器芯片、操作视觉传感器芯片的方法以及设备
CN116114260A (zh) 一种图像处理方法以及装置
KR20050114817A (ko) 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
KR20180100406A (ko) 자동 조명 및 보안 장치
CN112232205B (zh) 移动端cpu实时多功能人脸检测方法
WO2020008459A1 (en) System and method for use in object detection from video stream
CN105791687A (zh) 一种蛙眼仿生检测方法及蛙眼仿生摄像机
Chen et al. Event-driven video coding for outdoor wireless monitoring cameras
Nair et al. Intelligent activity detection techniques for advanced HD video surveillance systems
CN116311212B (zh) 基于高速摄像机实现运动状态下的船号识别方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160720

RJ01 Rejection of invention patent application after publication