CN114170674A - 一种人机协作场景下人员状态判别方法 - Google Patents

一种人机协作场景下人员状态判别方法 Download PDF

Info

Publication number
CN114170674A
CN114170674A CN202111287420.9A CN202111287420A CN114170674A CN 114170674 A CN114170674 A CN 114170674A CN 202111287420 A CN202111287420 A CN 202111287420A CN 114170674 A CN114170674 A CN 114170674A
Authority
CN
China
Prior art keywords
image
state
state image
foreground
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111287420.9A
Other languages
English (en)
Inventor
朱雅乔
尚志武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN202111287420.9A priority Critical patent/CN114170674A/zh
Publication of CN114170674A publication Critical patent/CN114170674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种人机协作场景下人员状态判别方法，包括：S1，获取人员的状态图像；S2，判断状态图像是否符合预设的质量条件，若是，则进入S3，若否，则进入S1；S3，获取所述状态图像中包含的前景像素点的集合U1；S4，将U1中包含的前景像素点组成前景图像；S5，使用预设的特征获取算法获取所述前景图像中包含的特征信息；S6，将所述特征信息输入到预先训练完成的神经网络模型中进行识别处理，获得所述特征信息表示的状态类型。本发明通过在采集步骤增设质量条件判断步骤，能够避免低质量的图像进入后续的状态识别步骤，从而有效地提高了状态识别的速度。

Description

一种人机协作场景下人员状态判别方法
技术领域
本发明涉及人机协作领域，尤其涉及一种人机协作场景下人员状态判别方法。
背景技术
协作机器人是用于实现人机协作，人和机器人共处一个空间内，两者相互协作，最终完成工作。与传统的工业机器人相比，协作机器人是与人一起工作的，因此，人员的状态是否正常，直接影响到协作的安全。现有技术中，一般通过图像识别的方式对人员的状态进行识别，但是这种识别方式由于无法保证传输至图像识别设备的图像的质量，当低质量图像进行识别过程时，容易产生无法识别的状况，需要重新进行识别过程，从而影响对人员的状态的识别速度。
发明内容
鉴于上述问题，本发明的目的在于提供一种人机协作场景下人员状态判别方法，包括
S1，获取人员的状态图像；
S2，判断状态图像是否符合预设的质量条件，若是，则进入S3，若否，则进入S1；
S3，获取所述状态图像中包含的前景像素点的集合U1；
S4，将U1中包含的前景像素点组成前景图像；
S5，使用预设的特征获取算法获取所述前景图像中包含的特征信息；
S6，将所述特征信息输入到预先训练完成的神经网络模型中进行识别处理，获得所述特征信息表示的状态类型。
优选地，所述判断状态图像是否符合预设的质量条件，包括：
采用如下方式计算状态图像的质量系数：
Figure BDA0003333409070000011
其中，quaidx表示状态图像的质量系数，α、β、δ表示预设的比例参数，α+β+δ＝1，mak表示红色分量图像redIg中的像素点的像素值的最大值，红色分量图像为状态图像在RGB颜色空间中的红色分量对应的图像，sum(k)表示redIg中的像素值为k的像素点的数量，suma表示状态图像中的包含的像素点的数量，
Figure BDA0003333409070000021
suk表示使用图像分割算法对状态图像进行图像分割获得的前景区域中的像素点的集合，nfsuk表示suk中包含的像素点的总数，redIg(c)表示suk中的像素点c在红色分量图像redIg中对应的像素点的梯度幅值；
若quaidx≤thrs，则表示所述状态图像不符合预设的质量条件，若quaidx＞thrs，则表示所述状态图像符合预设的质量条件。
优选地，所述图像分割算法包括大津法、均值迭代分割算法、区域生长算法。
优选地，所述获取所述状态图像中包含的前景像素点的集合U1，包括：
对所述状态图像进行灰度化处理，获得第一处理图像；
对所述第一处理图像进行滤波处理，获得第二处理图像；
对所述第二处理图像进行图像切割处理，获得多个子图像；
使用图像分割算法分别获取每个子图像中包含的前景像素点；
将所有子图像中包含的前景像素点存入集合U1。
优选地，所述对所述状态图像进行灰度化处理，获得第一处理图像，包括：
使用如下函数对所述状态图像进行灰度化处理：
gray(b)＝w1×R(b)+w2×G(b)+w3×B(b)
其中，gray(b)表示所述状态图像中的像素点b在第一处理图像中对应的像素点的像素值，w1、w2、w3表示预设的权重参数，R(b)、G(b)、B(b)分别表示所述状态图像中的像素点b在所述状态图像对应的红色分量图像、绿色分量图像、蓝色分量图像中对应的像素点的像素值。
在本发明中，通过在采集步骤增设质量条件判断步骤，能够避免低质量的图像进入后续的状态识别步骤，从而有效地提高了对人员进行状态识别的速度。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1，为本发明一种人机协作场景下人员状态判别方法的一种示例性实施例图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如图1所示的一种实施例，本发明提供了一种人机协作场景下人员状态判别方法，
S1，获取人员的状态图像；
S2，判断状态图像是否符合预设的质量条件，若是，则进入S3，若否，则进入S1；
S3，获取所述状态图像中包含的前景像素点的集合U1；
S4，将U1中包含的前景像素点组成前景图像；
S5，使用预设的特征获取算法获取所述前景图像中包含的特征信息；
S6，将所述特征信息输入到预先训练完成的神经网络模型中进行识别处理，获得所述特征信息表示的状态类型。
在本发明中，通过在采集步骤增设质量条件判断步骤，能够避免低质量的图像进入后续的状态识别步骤，从而有效地提高了对人员进行状态识别的速度。
质量判断的过程显然比后续的状态识别的过程时间要短，若检测到状态图像不符合预设的质量条件，只需要重新获取状态图像即可，而不需要等不符合预设的质量条件的状态图像出识别结果后再重新获取状态图像，因此加快了对人员的状态识别的过程。
优选地，特征获取算法包括HOG算法，LBP算法等。
优选地，所述状态类型包括正常状态和疲劳状态。
优选地，所述判断状态图像是否符合预设的质量条件，包括：
采用如下方式计算状态图像的质量系数：
Figure BDA0003333409070000041
其中，quaidx表示状态图像的质量系数，α、β、δ表示预设的比例参数，α+β+δ＝1，mak表示红色分量图像redIg中的像素点的像素值的最大值，红色分量图像为状态图像在RGB颜色空间中的红色分量对应的图像，sum(k)表示redIg中的像素值为k的像素点的数量，suma表示状态图像中的包含的像素点的数量，
Figure BDA0003333409070000042
suk表示使用图像分割算法对状态图像进行图像分割获得的前景区域中的像素点的集合，nfsuk表示suk中包含的像素点的总数，redIg(c)表示suk中的像素点c在红色分量图像redIg中对应的像素点的梯度幅值；
若quaidx≤thrs，则表示所述状态图像不符合预设的质量条件，若quaidx＞thrs，则表示所述状态图像符合预设的质量条件。
在上述实施例中，本发明通过像素值占比，像素值之间的差异程度，前景区域像素点占比这几个方面进行计算获得质量系数，能够筛选出清晰度高、像素值之间差异程度小、前景区域像素点占比大的状态图像，从而有效地提高了进入后续的图像识别步骤的图像的质量，避免由于图像质量问题影响人员状态的识别速度。而在人机协作时，人员保持在正确的状态异常重要，否则可能引发安全事故。
优选地，所述图像分割算法包括大津法、均值迭代分割算法、区域生长算法。
具体的，除了上面列举到的这些算法，还可以是其它具有图像分割功能的算法，这里就不在赘述。
优选地，所述获取所述状态图像中包含的前景像素点的集合U1，包括：
对所述状态图像进行灰度化处理，获得第一处理图像；
对所述第一处理图像进行滤波处理，获得第二处理图像；
对所述第二处理图像进行图像切割处理，获得多个子图像；
使用图像分割算法分别获取每个子图像中包含的前景像素点；
将所有子图像中包含的前景像素点存入集合U1。
现有技术一般是使用同一算法对整幅图像进行前景像素点的获取，显然这种处理方式并不合适，因为图像不同区域的像素点分布差异比较大，例如，当使用同一个阈值进行分割时，显然并不适合所有的区域。因此本发明通过分区域来获取前景像素点，有利于提高获得的前景像素点的准确性。
优选地，所述对所述状态图像进行灰度化处理，获得第一处理图像，包括：
使用如下函数对所述状态图像进行灰度化处理：
gray(b)＝w1×R(b)+w2×G(b)+w3×B(b)
其中，gray(b)表示所述状态图像中的像素点b在第一处理图像中对应的像素点的像素值，w1、w2、w3表示预设的权重参数，R(b)、G(b)、B(b)分别表示所述状态图像中的像素点b在所述状态图像对应的红色分量图像、绿色分量图像、蓝色分量图像中对应的像素点的像素值。
优选地，所述对所述第一处理图像进行滤波处理，获得第二处理图像，包括：
使用非局部均值滤波算法对所述第一处理图像进行滤波处理，获得第二处理图像。
优选地，所述对所述第二处理图像进行图像切割处理，获得多个子图像，包括：
采用多次分割的方式进行图像切割处理：
第1次切割：
将所述第二处理图像分成像素点数量相同的D个子图像，分别计算每个子图像的切割系数：
Figure BDA0003333409070000051
其中，cutidx(d)表示第d个子图像的切割系数，d∈[1,D]，s1，s2，s2分别表示预设的比例参数，s1+s2+s3＝1，num(d)表示第d个子图像包含的像素点的总数，numst表示预设的子图像的像素点总数的参考值，numft(d)表示第d个子图像中的前景像素点的总数，numfst表示预设的子图像的前景像素点总数的参考值，gts(d)表示第d个子图像中的像素点的像素值的方差，gtsst表示预设的子图像的像素点的像素值的方差的参考值；
若所述切割系数大于预设的切割系数阈值，则将第d个子图像存入第一次切割集合nxtu1中，若所述切割系数小于等于预设的切割系数阈值，则将第d个子图像存入子图像集合sonigu中；
第q次切割：
判断第q-1次切割集合nxtuq-1是否为空集，若是，则结束对所述第二处理图像进行图像切割处理，若否，则分别将nxtuq-1中的每个子图像分成像素点数量相同的D个子图像，并将本次切割获得的所有子图像存入待判断集合deyluq中；
分别计算deyluq中每个子图像的切割系数，将deyluq中切割系数大于预设的切割系数阈值的子图像存入第q次切割集合nxtuq中，将deyluq中切割系数小于等于预设的切割系数阈值的子图像存入子图像集合sonigu中。
在本发明上述实施例中，采用的是多次切割处理的方式对第二处理图像进行切割处理从而获得子图像。相较于现有技术的直接将图像分割成多个面积相等的子图像的方式，本发明获得的子图像能够提高后续获取前景像素点的过程的准确性。现有技术的子图像获取方式存在的问题包括：子图像的数量难以确定；子图像中可能仅包含同一种类型的像素点，例如全都是前景像素点，这样就会导致后续的前景图像的获取过程不够准确。因为本来就是同一种类型的像素点，但是经过图像分割后，被错误分成了不同类型的像素点，显然会使得前景图像的结果不够准确，从而影响对人员的状态判断的准确性。而本发明每个分割后都会计算切割系数，切割系数主要是用于筛选剩余面积大，前景像素点占比高，像素点之间差异大的子图像进一步进行切割处理，能够保证每个子图像均包含两种类型的像素点，从而保证后续获得的前景图像的准确性。
优选地，所述将U1中包含的前景像素点组成前景图像，包括：
采用如下方式对前景像素点进行补充处理：
第1次补充处理：
对于U1中的前景像素点upix1，若upix1的8邻域的像素点均为U1中的像素点，则不对upix1进行任何处理，若upix1的8邻域的像素点中存在不属于U1中的像素点，则将upix1的8邻域的像素点中不属于U1中的像素点存入集合uspupix,1中，
分别计算uspupix,1中每个像素点与upix1之间的关联系数；
将uspupix,1中关联系数大于预设的关联系数阈值的像素点存入集合U1中，完成对集合U1的第1次更新；
第t次补充处理：
对于U1中的前景像素点upixt，若upixt的8邻域的像素点均为U1中的像素点，则不对upixt进行任何处理，若upixt的8邻域的像素点中存在不属于U1中的像素点，则将upixt的8邻域的像素点中不属于U1中的像素点存入集合uspupix,t中，若uspupix,t在uspupix,t-1中的补集为空集，则结束对前景像素点进行补充处理的过程，否则，
分别计算uspupix,t中每个像素点与upixt之间的关联系数；
将upixt中关联系数大于预设的关联系数阈值的像素点存入集合U1中，完成对集合U1的更新，
其中，对于两个像素点p和q，关联系数通过如下方式进行计算：
Figure BDA0003333409070000071
Figure BDA0003333409070000072
其中，glcdx(p,q)表示p和q之间的关联系数，gray(p)和gray(q)分别表示像素点p和q的灰度值，pu和qu分别表示p和q的H×H大小的邻域的像素点的集合，grtd(r)表示pu中包含的像素点r的梯度幅值，grtd(p)表示像素点p的梯度幅值,wd(p)1表示pu中包含的像素点与像素点p之间的梯度幅值的方差，dist(p,r)表示像素点r和像素点p之间的直线距离，wd(p)2表示pu中包含的像素点与像素点p之间的直线距离的方差，
grtd(s)表示qu中包含的像素点s的梯度幅值，grtd(q)表示像素点q的梯度幅值,wd(q)1表示qu中包含的像素点与像素点q之间的梯度幅值的方差，dist(q,s)表示像素点q和像素点s之间的直线距离，wd(q)表示pu中包含的像素点与像素点q之间的直线距离的方差；
将对前景像素点进行补充处理结束后获得的集合U1中的像素点组成前景图像。
在本发明上述实施例中，创造性地为图像切割处理后获得的前景像素点设置了补充处理的过程，主要是因为S3中获得的前景像素点有时候并不完成，容易使得前景图像存在空洞以及边缘缺口过多，因此，通过设置的补充处理过程能够完成对这两种缺点的有效改善，使得获得的前景图像质量更高，从而有利于提高对人员状态进行识别的速度。
尽管已经示出和描述了本发明的实施例，本领域技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种人机协作场景下人员状态判别方法，其特征在于，包括
S1，获取人员的状态图像；
S2，判断状态图像是否符合预设的质量条件，若是，则进入S3，若否，则进入S1；
S3，获取所述状态图像中包含的前景像素点的集合U1；
S4，将U1中包含的前景像素点组成前景图像；
S5，使用预设的特征获取算法获取所述前景图像中包含的特征信息；
S6，将所述特征信息输入到预先训练完成的神经网络模型中进行识别处理，获得所述特征信息表示的状态类型。
2.根据权利要求1所述的一种人机协作场景下人员状态判别方法，其特征在于，所述判断状态图像是否符合预设的质量条件，包括：
采用如下方式计算状态图像的质量系数：
Figure FDA0003333409060000011
其中，quaidx表示状态图像的质量系数，α、β、δ表示预设的比例参数，α+β+δ＝1，mak表示红色分量图像redIg中的像素点的像素值的最大值，红色分量图像为状态图像在RGB颜色空间中的红色分量对应的图像，sum(k)表示redIg中的像素值为k的像素点的数量，suma表示状态图像中的包含的像素点的数量，
Figure FDA0003333409060000012
suk表示使用图像分割算法对状态图像进行图像分割获得的前景区域中的像素点的集合，nfsuk表示suk中包含的像素点的总数，redIg(c)表示suk中的像素点c在红色分量图像redIg中对应的像素点的梯度幅值；
若quaidx≤thrs，则表示所述状态图像不符合预设的质量条件，若quaidx＞thrs，则表示所述状态图像符合预设的质量条件。
3.根据权利要求2所述的一种人机协作场景下人员状态判别方法，其特征在于，所述图像分割算法包括大津法、均值迭代分割算法、区域生长算法。
4.根据权利要求1所述的一种人机协作场景下人员状态判别方法，其特征在于，所述获取所述状态图像中包含的前景像素点的集合U1，包括：
对所述状态图像进行灰度化处理，获得第一处理图像；
对所述第一处理图像进行滤波处理，获得第二处理图像；
对所述第二处理图像进行图像切割处理，获得多个子图像；
使用图像分割算法分别获取每个子图像中包含的前景像素点；
将所有子图像中包含的前景像素点存入集合U1。
5.根据权利要求4所述的一种人机协作场景下人员状态判别方法，其特征在于，所述对所述状态图像进行灰度化处理，获得第一处理图像，包括：
使用如下函数对所述状态图像进行灰度化处理：
gray(b)＝w1×R(b)+w2×G(b)+w3×B(b)
其中，gray(b)表示所述状态图像中的像素点b在第一处理图像中对应的像素点的像素值，w1、w2、w3表示预设的权重参数，R(b)、G(b)、B(b)分别表示所状态图像中的像素点b在所述状态图像对应的红色分量图像、绿色分量图像、蓝色分量图像中对应的像素点的像素值。
CN202111287420.9A 2021-11-02 2021-11-02 一种人机协作场景下人员状态判别方法 Pending CN114170674A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111287420.9A CN114170674A (zh) 2021-11-02 2021-11-02 一种人机协作场景下人员状态判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111287420.9A CN114170674A (zh) 2021-11-02 2021-11-02 一种人机协作场景下人员状态判别方法

Publications (1)

Publication Number Publication Date
CN114170674A true CN114170674A (zh) 2022-03-11

Family

ID=80477776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111287420.9A Pending CN114170674A (zh) 2021-11-02 2021-11-02 一种人机协作场景下人员状态判别方法

Country Status (1)

Country Link
CN (1) CN114170674A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272174A (zh) * 2022-06-15 2022-11-01 武汉市市政路桥有限公司 一种市政道路检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272174A (zh) * 2022-06-15 2022-11-01 武汉市市政路桥有限公司 一种市政道路检测方法及系统
CN115272174B (zh) * 2022-06-15 2023-05-19 武汉市市政路桥有限公司 一种市政道路检测方法及系统

Similar Documents

Publication Publication Date Title
EP3667286A1 (en) Tire image recognition method and tire image recognition device
JP6192271B2 (ja) 画像処理装置、画像処理方法及びプログラム
US7970212B2 (en) Method for automatic detection and classification of objects and patterns in low resolution environments
CN110120042B (zh) 一种基于slic超像素和自动阈值分割的农作物图像病虫害区域提取方法
CN100550037C (zh) 利用改进Hausdorff距离提取识别人耳特征的方法
CN106815560B (zh) 一种应用于自适应驾座的人脸识别方法
CN116205919B (zh) 基于人工智能的五金零件生产质量检测方法及系统
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN106803257A (zh) 一种作物病害叶片图像中病斑的分割方法
CN110032932B (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法
CN112766154B (zh) 一种高分辨率sar图像建筑物叠掩提取方法
CN106127735A (zh) 一种设施蔬菜边缘清晰类叶面病斑分割方法及装置
CN107169996A (zh) 一种视频中动态人脸识别方法
CN109781737A (zh) 一种软管表面缺陷的检测方法及其检测系统
CN115620075B (zh) 白细胞分类模型用数据集的生成方法、系统及设备
JP7350208B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN113077486A (zh) 一种山区植被覆盖率监测方法及系统
CN114170674A (zh) 一种人机协作场景下人员状态判别方法
CN114582003B (zh) 一种基于云计算服务的睡眠健康管理系统
CN113920324B (zh) 图像识别方法、装置、电子设备及存储介质
CN110874835A (zh) 作物叶部病害抗性鉴定方法、系统、电子设备及存储介质
CN116843581B (zh) 一种多场景图的图像增强方法、系统、设备和存储介质
CN112419278A (zh) 一种基于深度学习的实木地板分类方法
CN110427907B (zh) 一种灰度图边界检测和噪声帧填充的人脸识别预处理方法
CN114080644A (zh) 用于诊断小肠清洁度的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination