CN116246340A - 复杂环境下的人为行动识别方法 - Google Patents

复杂环境下的人为行动识别方法 Download PDF

Info

Publication number
CN116246340A
CN116246340A CN202211715624.2A CN202211715624A CN116246340A CN 116246340 A CN116246340 A CN 116246340A CN 202211715624 A CN202211715624 A CN 202211715624A CN 116246340 A CN116246340 A CN 116246340A
Authority
CN
China
Prior art keywords
background
point
picture
value
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211715624.2A
Other languages
English (en)
Inventor
赵利林
张华�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Jizhiyun Data Technology Co ltd
Original Assignee
Ningbo Jizhiyun Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Jizhiyun Data Technology Co ltd filed Critical Ningbo Jizhiyun Data Technology Co ltd
Priority to CN202211715624.2A priority Critical patent/CN116246340A/zh
Publication of CN116246340A publication Critical patent/CN116246340A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种复杂环境下的人为行动识别方法，其步骤包括：对指定区域光线强度划分多个等级，对每个光线强度等级建立背景序列BGN，并保存光线强度相对应的视频帧BPN；将当前帧F与背景图片BPN进行叠加后得到新的图片F’；叠加规则：当含有完整运动目标的图像Rn的灰度值达到指定值时，该点的像素值取当前帧F的像素值，否则取背景图片的像素值；将叠加后的图片F’送入预先训练好的用于人为行动检测的Fast R‑CNN网络，检测是否有人为行动。本发明采用亮度分级的方法，提高了检测算法的鲁棒性。在更新背景图片的时候，真正的背景肯定是长期不变的，利用这个特点，采用密度聚类的方法，对多个视频帧中每个像素点进行分类，能够精确地提取出真正的背景。

Description

复杂环境下的人为行动识别方法
技术领域
本发明属于人体行为识别技术领域，特别涉及一种复杂环境下的人为行动识别方法。
背景技术
每年，世界各地的大桥上，都会有很多人意外的事件发生。但无法确认意外发生的过程，因此，通过摄像头进行监控，但目前，监控过程还不够成熟，主要表现在识别性能上，在不同光照和恶劣条件等复杂背景环境下，识别的准确率较低。
因此，有必要提供一种复杂环境下的人为行动识别方法来克服上述问题。
发明内容
本发明的目的是提供一种复杂环境下的人为行动识别方法，提高在各种光照环境和恶劣天气等复杂背景下人为行动识别的准确率。
为实现上述目的，本发明采用技术方案：一种复杂环境下的人为行动识别方法，其步骤包括：
第一步骤，对指定区域光线强度划分多个等级，对每个光线强度等级建立背景序列BGN，并保存光线强度相对应的视频帧BPN；
第二步骤，读取当前的一帧视频F，并通过传感器读取当前光照强度，确定当前帧视频F对应的光照强度G；
第三步骤，判断光照强度G对应的背景队列长度是否小于预设值，如果小于预设值，那么把当前帧视频F加入背景队列，并更新背景图片BPN；如果大于预设值，则不更新原背景队列；
第四步骤，获取指定区域中的目标运动轮廓图形，并得到整个完整运动目标的图像；
第五步骤，将当前帧F与背景图片BPN进行叠加后得到新的图片F’；叠加规则：当含有完整运动目标的图像Rn的灰度值达到指定值时，该点的像素值取当前帧F的像素值，否则取背景图片的像素值；
第六步骤，将叠加后的图片F’送入预先训练好的用于人为行动检测的Fast R-CNN网络，检测是否有人为行动。
与现有技术相比，本发明复杂环境下的人为行动识别方法，本发明采用亮度分级的方法，提高了检测算法的鲁棒性。在更新背景图片的时候，真正的背景肯定是长期不变的，利用这个特点，采用密度聚类的方法，对多个视频帧中每个像素点进行分类，能够精确地提取出真正的背景。在送入检测网络识别前，将运动目标叠加到背景图片中，有效地减少了复杂背景对检测网络的影响，提高了人为行动识别的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，其中：
图1是本发明复杂环境下的人为行动识别方法的流程图。
具体实施方式
下面结合附图对本发明作详细的描述，但是应该强调的是，下面的实施方式只是示例性的，而不是为了限制本发明的范围及应用。
请参看图1，本发明为一种复杂环境下的人为行动识别方法，其包括如下步骤：
第一步骤，对指定区域光线强度划分多个等级，对每个光线强度等级建立背景序列BGN，并保存光线强度相对应的视频帧BPN。
具体的，划定桥面感兴趣指定区域ROI，并按照光照强度大小将环境光照强度划分为8个等级，等级越高光照强度越大。为每个光照强度等级建立一个背景队列BG1，BG2，……，BG8，队列中保存晴朗环境下的视频帧，以及8个背景图片BP1，BP2，……，BP8。
第二步骤，读取当前的一帧视频F，并通过传感器读取当前光照强度，确定当前帧视频F对应的光照强度G。
第三步骤，判断光照强度G对应的背景队列长度是否小于预设值，如果小于预设值，那么把当前帧视频F加入背景队列，并更新背景图片BPN。如果大于预设值，则不更新原背景队列。
具体的，光照强度G跟天气状况有关，通过天气API读取当前天气状况。如果天气晴朗，再判断光照强度G对应的背景队列BGN的长度是否小于预设值50000，如果小于预设值，那么把当前帧视频F加入背景队列BGN，并更新背景图片BPN。
更新背景图片的方法：首先，背景队列BGN中设定N个视频帧，每个视频帧的尺寸大小a*b，一共具有a*b个像素点，分别为P1，P2，……，Pa*b，背景图片BPN的尺寸大小a*b。
假设背景队列BGN中有1000个视频帧，每个视频帧的尺寸大小都是200*200，一共有40000个像素点P1，P2，……，P40000，背景图片BPN的尺寸大小也是200*200，也有40000个像素点。
其次，由于每个像素点都有RGB三个通道，建立三个维度分别为R、G、B的坐标系，需要更新背景图片中每个像素点的RGB值，背景队列中有N个(N＝1000个)视频帧，每个位置就对应了N个(N＝1000个)像素点Pk-1，Pk-2，……，Pk-1000。采用密度聚类的算法，对这N个(N＝1000个)点进行分类，选择点的数量最多的那个类，将这个类的中心点坐标作为背景图片中Pk这个点的像素值。每个像素点都做同样的操作后，就能得到更新后的背景图片BPN。
第四步骤，获取指定区域ROI中的目标运动轮廓图形，并得到整个完整运动目标的图像。
其步骤包括，步骤41：设定视频序列中第n帧和第n-1帧图像为fn和fn-1，两帧对应像素点的灰度值记为fn(x，y)和fn-1(x，y)，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn：
Dn(x,y)＝|fn(x,y)-fn-1(x,y)|；
步骤42：设定阈值T，逐个对像素点进行二值化处理，得到二值化图像Rn'。其中，灰度值到达一个指定值(例如255)的点即为运动目标点，灰度值为0的点即为背景点；对图像Rn'进行连通性分析，最终可得到含有完整运动目标的图像Rn。
Figure BDA0004027686010000031
第五步骤，将当前帧F与背景图片BPN进行叠加后得到新的图片F’。叠加规则如下：当含有完整运动目标的图像Rn的灰度值达到指定值时，该点的像素值取当前帧F的像素值，否则取背景图片的像素值。
Figure BDA0004027686010000041
第六步骤，将叠加后的图片F’送入预先训练好的用于人为行动检测的Fast R-CNN网络，检测是否有人为行动。
先经过基础的卷积神经网络提取图像的特征图features；然后输入区域生成网络RPN中，通过一组固定的尺寸和比例得到一组锚点，在经过softmax判断锚点属于前景或者背景，再利用区域回归修正锚点从而获得精确的候选区域(proposals)；接下来将特征图features和候选区域proposals送入RoI Pooling，将候选区域映射到特征图中并池化为统一大小的区域特征图；然后送入全连接层判定目标类别。
第七步骤，转到第2步。若第6步的检测出了人为行动，则报警提醒岸边救援人员，做好准备。
与现有的人体行为检测算法相比，本发明采用亮度分级的方法，提高了检测算法的鲁棒性。在更新背景图片的时候，真正的背景肯定是长期不变的，利用这个特点，采用密度聚类的方法，对多个视频帧中每个像素点进行分类，能够精确地提取出真正的背景。在送入检测网络识别前，将运动目标叠加到背景图片中，有效地减少了复杂背景对检测网络的影响，提高了人为行动识别的准确率。
当然，本技术领域内的一般技术人员应当认识到，上述实施例仅是用来说明本发明，而并非用作对本发明的限定，只要在本发明的实质精神范围内，对上述实施例的变化、变型都将落在本发明权利要求的范围内。

Claims (3)

1.一种复杂环境下的人为行动识别方法，其特征在于，其步骤包括：
第一步骤，对指定区域光线强度划分多个等级，对每个光线强度等级建立背景序列BGN，并保存光线强度相对应的视频帧BPN；
第二步骤，读取当前的一帧视频F，并通过传感器读取当前光照强度，确定当前帧视频F对应的光照强度G；
第三步骤，判断光照强度G对应的背景队列长度是否小于预设值，如果小于预设值，那么把当前帧视频F加入背景队列，并更新背景图片BPN；如果大于预设值，则不更新原背景队列；
第四步骤，获取指定区域中的目标运动轮廓图形，并得到整个完整运动目标的图像；
第五步骤，将当前帧F与背景图片BPN进行叠加后得到新的图片F’；叠加规则：当含有完整运动目标的图像Rn的灰度值达到指定值时，该点的像素值取当前帧F的像素值，否则取背景图片的像素值；
第六步骤，将叠加后的图片F’送入预先训练好的用于人为行动检测的Fast R-CNN网络，检测是否有人为行动。
2.如权利要求1所述的复杂环境下的人为行动识别方法，其特征在于，上述第四步骤包括：
步骤41：设定视频序列中第n帧和第n-1帧图像为fn和fn-1，两帧对应像素点的灰度值记为fn(x，y)和fn-1(x，y)，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn：Dn(x,y)＝|fn(x,y)-fn-1(x,y)|；
步骤42：设定阈值T，逐个对像素点进行二值化处理，得到二值化图像Rn'；其中，灰度值到达一个指定值的点即为运动目标点，灰度值为0的点即为背景点；对图像Rn'进行连通性分析，最终可得到含有完整运动目标的图像Rn：
Figure FDA0004027683000000011
3.如权利要求1所述的复杂环境下的人为行动识别方法，其特征在于，上述第三步骤中，更新背景图片的方法包括：将背景队列BGN中设定N个视频帧，每个视频帧的尺寸大小a*b，一共具有a*b个像素点，分别为P1，P2，……，Pa*b，背景图片BPN的尺寸大小a*b；建立三个维度分别为R、G、B的坐标系，需要更新背景图片中每个像素点的RGB值，背景队列中有N个视频帧，每个位置就对应了N个像素点Pk-1，Pk-2，……，Pk-1000；采用密度聚类的算法，对这N个点进行分类，选择点的数量最多的那个类，将这个类的中心点坐标作为背景图片中Pk这个点的像素值。
CN202211715624.2A 2022-12-29 2022-12-29 复杂环境下的人为行动识别方法 Pending CN116246340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211715624.2A CN116246340A (zh) 2022-12-29 2022-12-29 复杂环境下的人为行动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211715624.2A CN116246340A (zh) 2022-12-29 2022-12-29 复杂环境下的人为行动识别方法

Publications (1)

Publication Number Publication Date
CN116246340A true CN116246340A (zh) 2023-06-09

Family

ID=86634105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211715624.2A Pending CN116246340A (zh) 2022-12-29 2022-12-29 复杂环境下的人为行动识别方法

Country Status (1)

Country Link
CN (1) CN116246340A (zh)

Similar Documents

Publication Publication Date Title
US11282185B2 (en) Information processing device, information processing method, and storage medium
CN106910186B (zh) 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN110678901A (zh) 信息处理设备、信息处理方法和程序
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN111767878B (zh) 嵌入式设备中基于深度学习的交通标志检测方法及系统
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN115496760B (zh) 一种阿胶品质鉴定方法
Bedruz et al. Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN111626169B (zh) 一种基于图像的铁路危险落石尺寸判断方法
CN110555464A (zh) 一种基于深度学习模型的车辆颜色识别方法
WO2022247162A1 (zh) 一种基于机器视觉的透明度检测方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN111598889A (zh) 均压环倾斜故障的识别方法、装置、计算机设备
CN111369526A (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN115937626A (zh) 基于实例分割的半虚拟数据集自动生成方法
CN114255212A (zh) 一种基于cnn的fpc表面缺陷检测方法及其系统
CN113326846A (zh) 一种基于机器视觉的桥梁表观病害快速检测方法
Ghahremannezhad et al. Automatic road detection in traffic videos
CN109978916B (zh) 基于灰度图像特征匹配的Vibe运动目标检测方法
KR101343623B1 (ko) 적응적 피부색 검출 방법, 그리고 이를 이용한 얼굴 검출 방법 및 그 장치
CN112686872B (zh) 基于深度学习的木材计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination