CN107609475B - 基于光场相机的行人检测误检提出方法 - Google Patents
基于光场相机的行人检测误检提出方法 Download PDFInfo
- Publication number
- CN107609475B CN107609475B CN201710670032.6A CN201710670032A CN107609475B CN 107609475 B CN107609475 B CN 107609475B CN 201710670032 A CN201710670032 A CN 201710670032A CN 107609475 B CN107609475 B CN 107609475B
- Authority
- CN
- China
- Prior art keywords
- pictures
- light field
- head
- human body
- field camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 61
- 238000000605 extraction Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 3
- 210000000746 body region Anatomy 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims 2
- 238000013441 quality evaluation Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 8
- 108091008695 photoreceptors Proteins 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
一种基于光场相机的行人检测误检提出方法，包括如下步骤：①利用光场相机拍摄多幅包含人体场景的图片并利用LYTRO官方软件获取不同焦点图片；②将得到的不同焦点图片利用传统行人检测的方法进行检测与识别人体；③对于检测到的人体区域进行人头检测；④利用上述对人头检测的结果将人头和躯干分离出来，并且分别对分离出的人头图片和躯干图片进行无参考图像质量评价；⑤绘制不同焦点人头、躯干图片的SSEQ值随焦距变化的曲线。本发明可以剔除由于物体的空间位置错位叠加引起的误检，提高行人检测方法的误检识别能力，且运算量小、所需数据量小，对机器硬件要求不高。
Description
技术领域
本发明属于图像处理、光学成像领域，特别涉及一种基于光场相机的行人检测误检方法。
背景技术
人体检测是计算机视觉研究领域的一个重要部分，在智能交通、视频监控、人工智能以及人机交互等领域都起到了十分重要的应用。近年来，基于计算机硬件设备和新的拍照技术的快速发展，工业界对行人检测的性能和准确度提出了更加苛刻的要求。
人体检测是计算机视觉研究领域的一个重要部分，在智能交通、视频监控、人工智能以及人机交互等领域都起到了十分重要的应用。近年来，基于计算机硬件设备和新的拍照技术的快速发展，对行人检测的性能和准确度提出了更加苛刻的要求。由于行人具有刚性物体和非刚性物体的特性，如行人拍摄角度的多变性，光照以及遮挡等因素的存在，行人的漏检以及误检一直是影响行人检测性能的关键问题。因此，近年来，科研人员在行人特征的获取和检测方法优化方面开展了大量工作，以增大行人样本和非行人样本之间的特征差异，从而降低误检率，提高行人检测率。
行人检测中一个重要的误检形式就是空间立体视觉的错位引起的误检，例如，商场里橱窗中悬挂的衣服与橱窗前方悬挂的灯笼(或是悬挂的彩球、气球等)，在通过普通相机记录的过程中，就可能在二维照片图像里“看起来”是重合在同一平面上；在结构上，灯笼或球形物体被认为是人的头部，而悬挂的衣服被认为是躯干，虽然其真实场景并非在同一平面上，但是普通二维相机无法区分，最终被误识别为行人。例如，传统的行人检测方法是在2005年CVPR会议发表的SVM+HOG的行人检测算法，该算法在进行二维图像中的目标进行检测的时候，由于物体间的错位，而对形似人体的物体造成了误检。虽然采用立体相机和三维视觉可以一定程度上解决该问题，但是现有的方法有些需要多个相机或是传感器进行联合检测，需要进行多传感器间的数据数据融合、标定和处理，而且也增加了使用的成本；另一类方法是在使用成像设备的同时在引入一个探测源(可以是可见光、红外、微波等，但是不限于这几个波段)，这类方法虽然只是用单一成像设备即可，但是其主动光源则可能对待检测目标产生影响，其可能引起健康伤害和安全性是使用前必须评估的，而且该方法需要直接照射待检测目标，这就可能影响其使用过程中的友好性。
光场相机是一种通过单一传感器就可实现立体光场信息采集的新型成像设备，首先由美国斯坦福大学的吴义仁与其他研究人员创制。“光场相机”机身和一般数码相机差不多，但内部结构则有不同明显，一般相机以主镜头捕捉光线，再聚焦在镜头后的胶片或感光器上，所有光线的总和形成相片上的小点，显示影像。这部特制相机置于主镜头及感光器之间，有一个布满9万个微型镜片的显微镜阵列，每个小镜阵列接收由主镜颈而来的光线后，传送到感光器前，析出聚焦光线及将光线资料转换，以数码方式记下。相机内置软件操作“已扩大光场”，追踪每条光线在不同距离的影像上的落点，经数码重新对焦后，便能拍出完美照片。而且，“光场相机”一反传统，减低镜头孔径大小及景深，以小镜阵列控制额外光线，展露每个影像的景深，再将微小的次影像投射到感光器上，所有聚焦影像周围的朦胧光圈变为“清晰”，不用牺牲景深及影像清晰度。与数码相机相比，光场相机有几点显著特点：(1)先拍照，再对焦。数码相机，只捕捉一个光面对焦成像，中心清晰，焦外模糊；光场相机则是记录下所有方向光束的数据，后期在电脑中根据需要选择对焦点，照片的最后成像效果要在电脑上处理完成。(2)体积小，速度快。由于采用与数码相机不同的成像技术，光场相机没有数码相机上复杂的聚焦系统，整体体积较小，操作也比较简单；同时由于不用选择对焦，拍摄的速度也更快。
上述特点为光场相机在计算机视觉领域中进行行人识别和误检分析提供了广阔的应用前景，具备仅需单一传感器(无需多传感器融合)、所需数据量和运算量小、成像方式友好无伤害、对电脑硬件要求不高等优势。但是，由于光场相机的成像原理和数据获取、处理方式与二维相机和其它立体视觉方法完全不同，真正的应用还必须对光场相机进行有针对性的方法开发。然而，到目前为止，还没有出现基于光场相机、针对行人检测中视觉错位误检的剔除方法。
发明内容
本发明目的在于提供了一种基于光场相机的行人检测方法，该方法可以剔除由于物体的空间位置错位叠加引起的误检，提高行人检测方法的误检识别能力。
为了实现上述目的，本发明的方案是：
一种基于光场相机的行人检测误检提出方法，包括如下步骤：
①利用光场相机拍摄多幅包含人体场景的图片并利用LYTRO官方软件获取不同焦点图片；
②将得到的不同焦点图片利用传统行人检测的方法进行检测与识别人体；
③对于检测到的人体区域进行人头检测；
④利用上述对人头检测的结果将人头和躯干分离出来，并且分别对分离出的人头图片和躯干图片进行无参考图像质量评价；
⑤绘制不同焦点人头、躯干图片的SSEQ值随焦距变化的曲线。
上述光场相机采用LYTRO公司生产的手持式光场相机。
上述人体检测采用SVM+HOG方法。
上述人头检测利用LBP+Cascade Classfier方法。
上述SVM+HOG方法需要2000张正样本、1000张负样本进行训练，所述样本的来源是公用的INRIA数据集，其中使用的正样本是经处理的64*128大小的人体图片，负样本大小和正样本相同，是从完全不包含人体的图片中随机剪裁出。
上述LBP+Cascade Classfier方法需要2000张正样本、1000张负样本进行训练，所述Cascade Classfier的迭代次数设置为16次。
本发明首先利用光场相机获取多幅包含人体场景的图片，其次利用LYTRO官方软件得到不同焦点的图片，随后对这些图片中的人头和躯干分别进行无参考图像质量评价。本发明作为一种对传统人体方法的补充，对于疑似人体的错位误检起到了较好的作用，可以剔除由于物体的空间位置错位叠加引起的误检，提高行人检测方法的误检识别能力，且运算量小、所需数据量小，对机器硬件要求不高。
附图说明
图1是本发明的流程图。
具体实施方式
如图所示：一种基于光场相机的行人检测误检提出方法，包括如下步骤：
1、首先采用LYTRO公司生产的手持式光场相机拍摄多幅包含人体场景的图片，随后利用LYTRO官方软件对图片进行处理，根据不同焦距间隔产生不同焦点图片。
2、将得到的不同焦点图片利用传统行人检测的方法进行检测与识别人体，进行人体检测采用的方法是SVM+HOG。
3、准备人体检测正样本，采用公用的INRIA数据集，其中是96*160大小的人体图片，使用时上下左右都去掉16个像素，截取中间的64*128大小的人体。
4、准备人体检测负样本，从不包含人体的图片中随机裁取，大小是64*128，负样本是从完全不包含人体的图片中随机剪裁出的。
5、首先计算步骤二中的正负样本图像的HOG描述子，组成一个特征向量矩阵，对应的要有一个指定每个特征向量的类别的类标向量，输入SVM中进行训练。
6、将上述训练好的SVM分类器保存为XML文件，然后根据其中的支持向量和参数生成OpenCV中的HOG描述子可用的检测子参数，再调用OpenCV中的多尺度检测函数进行人体的检测。
7、准备人头检测正样本。利用C#.Net框架编写标定人头程序，进而对2000张包含人头的图片进行了标定，并按照一定的格式输出到了txt文件中。
8、准备人头检测负样本。准备1000张不包含人头的图片作为负样本。
9、提取正样本的LBP特征并利用OpenCV中级联回归器对提取的LBP特征进行16层的回归训练，将得到的参数写入XML文件中，此为回归器文件。
10、利用上述回归器文件对真人的人头和疑似真人的人头进行检测。
11、利用上述检测结果，分离人头和躯干，包括真人和疑似真人的情况。
12、分别计算不同焦点图片中人头和躯干的SSEQ值。
13、绘制不同焦点人头、躯干图片的SSEQ值随焦距变化的曲线。根据真人的头部和躯干的SSEQ极小值在相同的焦距位置，而疑似真人的头部和躯干的SSEQ极小值在不同的焦距位置，从而证明了疑似真人的人头和躯干的成像不在一个焦平面上，进而证明传统行人检测方法的错位误检。
需要说明的是，以上所述仅为本发明实施例，仅仅是解释本发明，并非因此限制本发明专利范围。对属于本发明技术构思而仅仅显而易见的改动，同样在本发明保护范围之内。
Claims (2)
1.一种基于光场相机的行人检测误检提出方法，其特征在于：包括如下步骤：
①利用光场相机拍摄多幅包含人体场景的图片并利用LYTRO官方软件获取不同焦点图片；
②将得到的不同焦点图片利用传统行人检测的方法进行检测与识别人体；
③对于检测到的人体区域进行人头检测；
④利用上述对人头检测的结果将人头和躯干分离出来，并且分别对分离出的人头图片和躯干图片进行无参考图像质量评价；
⑤绘制不同焦点人头、躯干图片的无参考质量评价值SSEQ随焦距变化的曲线；
上述人体检测采用支持向量机SVM+方向梯度直方图HOG方法，即选取2000张正样本、1000张负样本进行训练，所述样本的来源是公用的INRIA数据集，其中使用的正样本是经处理的64*128大小的人体图片，负样本大小和正样本相同，是从完全不包含人体的图片中随机剪裁出；
上述人头检测利用局部二值模式LBP+级联分类器Cascade Classfier方法，即选取2000张正样本、1000张负样本进行训练，所述级联分类器Cascade Classfier的迭代次数设置为16次。
2.根据权利要求1所述的基于光场相机的行人检测误检提出方法，其特征在于：上述光场相机采用LYTRO公司生产的手持式光场相机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710670032.6A CN107609475B (zh) | 2017-08-08 | 2017-08-08 | 基于光场相机的行人检测误检提出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710670032.6A CN107609475B (zh) | 2017-08-08 | 2017-08-08 | 基于光场相机的行人检测误检提出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107609475A CN107609475A (zh) | 2018-01-19 |
| CN107609475B true CN107609475B (zh) | 2020-04-10 |
Family
ID=61064728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710670032.6A Active CN107609475B (zh) | 2017-08-08 | 2017-08-08 | 基于光场相机的行人检测误检提出方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107609475B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086675B (zh) * | 2018-07-06 | 2021-08-24 | 四川奇迹云科技有限公司 | 一种基于光场成像技术的人脸识别及攻击检测方法及其装置 |
| CN110866421A (zh) * | 2018-08-28 | 2020-03-06 | 天津理工大学 | 一种基于光场相机与hog、sift混合特征的行人识别方法 |
| CN110866422A (zh) * | 2018-08-28 | 2020-03-06 | 天津理工大学 | 一种基于光场成像结合lbp与svm的二维虚假行人识别方法 |
| CN110866420A (zh) * | 2018-08-28 | 2020-03-06 | 天津理工大学 | 一种基于光场相机和hog、svm的2d欺骗性行人识别方法 |
| CN109859181A (zh) * | 2019-01-29 | 2019-06-07 | 桂林电子科技大学 | 一种pcb焊点缺陷检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043953A (zh) * | 2011-01-27 | 2011-05-04 | 北京邮电大学 | 一种实时鲁棒的针对特定场景的行人检测方法 |
| TW201525879A (zh) * | 2013-12-19 | 2015-07-01 | Inst Information Industry | 行人偵測系統與方法 |
| CN105975926A (zh) * | 2016-04-29 | 2016-09-28 | 中山大学 | 基于光场相机的人脸活体检测方法 |
| CN106503615A (zh) * | 2016-09-20 | 2017-03-15 | 北京工业大学 | 基于多传感器的室内人体检测跟踪和身份识别系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI503756B (zh) * | 2013-08-15 | 2015-10-11 | Univ Nat Taiwan | 人型影像追蹤系統及其人型影像偵測方法與追蹤方法 |
-
2017
- 2017-08-08 CN CN201710670032.6A patent/CN107609475B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043953A (zh) * | 2011-01-27 | 2011-05-04 | 北京邮电大学 | 一种实时鲁棒的针对特定场景的行人检测方法 |
| TW201525879A (zh) * | 2013-12-19 | 2015-07-01 | Inst Information Industry | 行人偵測系統與方法 |
| CN105975926A (zh) * | 2016-04-29 | 2016-09-28 | 中山大学 | 基于光场相机的人脸活体检测方法 |
| CN106503615A (zh) * | 2016-09-20 | 2017-03-15 | 北京工业大学 | 基于多传感器的室内人体检测跟踪和身份识别系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107609475A (zh) | 2018-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107609475B (zh) | 基于光场相机的行人检测误检提出方法 | |
| CN105335722B (zh) | 一种基于深度图像信息的检测系统及方法 | |
| JPWO2020121973A1 (ja) | 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 | |
| US9305206B2 (en) | Method for enhancing depth maps | |
| US20110025834A1 (en) | Method and apparatus of identifying human body posture | |
| CN106570491A (zh) | 一种机器人智能互动的方法及智能机器人 | |
| CN108701363B (zh) | 使用多相机识别和追踪对象的方法、设备和系统 | |
| CN106372629A (zh) | 一种活体检测方法和装置 | |
| WO2024051067A1 (zh) | 红外图像处理方法、装置及设备、存储介质 | |
| JP2015215877A (ja) | ステレオ画像の対において物体を検出する方法 | |
| WO2020207172A1 (zh) | 基于三维光场技术的光学无人机监测方法及系统 | |
| CN111967288A (zh) | 智能三维物体识别和定位系统和方法 | |
| CN113762009B (zh) | 一种基于多尺度特征融合及双注意力机制的人群计数方法 | |
| CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
| Galiyawala et al. | Person retrieval in surveillance video using height, color and gender | |
| CN111898427A (zh) | 一种基于特征融合深度神经网络的多光谱行人检测方法 | |
| CN110866426A (zh) | 基于光场相机和深度学习的行人识别方法 | |
| CN110378934A (zh) | 主体检测方法、装置、电子设备和计算机可读存储介质 | |
| Huang et al. | Whole-body detection, recognition and identification at altitude and range | |
| CN106228560B (zh) | 一种复杂场景下的人数统计方法 | |
| CN109492513B (zh) | 光场监控的人脸空间去重方法 | |
| CN115880220A (zh) | 多视角苹果成熟度检测方法 | |
| CN110866420A (zh) | 一种基于光场相机和hog、svm的2d欺骗性行人识别方法 | |
| CN107092908A (zh) | 一种基于列车转向架上的平面压印字符自动识别方法 | |
| Ştefan et al. | Deep learning-based person search with visual attention embedding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220617 Address after: 300461 room 214, building 3, No. 48, Jialingjiang Road, Lingang Economic Zone, Binhai New Area, Tianjin Patentee after: TJU BINHAI INDUSTRIAL RESEARCH INSTITUTE CO.,LTD. Address before: 300384 No. 391 Binshui West Road, Xiqing District, Tianjin Patentee before: TIANJIN University OF TECHNOLOGY |
|
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared |