CN114091601A - 人员状况侦测的传感器融合方法 - Google Patents

人员状况侦测的传感器融合方法 Download PDF

Info

Publication number
CN114091601A
CN114091601A CN202111369715.0A CN202111369715A CN114091601A CN 114091601 A CN114091601 A CN 114091601A CN 202111369715 A CN202111369715 A CN 202111369715A CN 114091601 A CN114091601 A CN 114091601A
Authority
CN
China
Prior art keywords
dimensional human
human body
person
body skeleton
point information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111369715.0A
Other languages
English (en)
Other versions
CN114091601B (zh
Inventor
施龙圣
魏福呈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Original Assignee
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
Yecheng Optoelectronics Wuxi Co Ltd
General Interface Solution Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interface Optoelectronics Shenzhen Co Ltd, Interface Technology Chengdu Co Ltd, Yecheng Optoelectronics Wuxi Co Ltd, General Interface Solution Ltd filed Critical Interface Optoelectronics Shenzhen Co Ltd
Priority to CN202111369715.0A priority Critical patent/CN114091601B/zh
Priority to TW110143567A priority patent/TWI778872B/zh
Publication of CN114091601A publication Critical patent/CN114091601A/zh
Application granted granted Critical
Publication of CN114091601B publication Critical patent/CN114091601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Optimization (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Lining Or Joining Of Plastics Or The Like (AREA)
  • Branch Pipes, Bends, And The Like (AREA)

Abstract

本发明提供一种人员状况侦测的传感器融合方法，包含：以一毫米波雷达定位一侦测区域内至少一移动人员的位置；以一深度感测相机撷取所述至少一移动人员的一RGB影像或一IR影像，并产生与所述至少一移动人员对应的二维(2D)人体骨架点信息；以一人工智能运算平台执行一传感器融合(sensor fusion)程序，利用所述二维人体骨架点信息衍生之数据合成一三维(3D)人体骨架时间序列；在所述合成三维人体骨架时间序列的数量大于一阈值N时，以所述人工智能运算平台内一动作辨识模块，判断所述至少一移动人员是否跌倒，以决定是否发出一通知。

Description

人员状况侦测的传感器融合方法
技术领域
本发明系有关于一种人员状况侦测的方法，尤其系指一种人员状况侦测的传感器融合方法。
背景技术
在目前的技术中，有许多非接触式跌倒侦测产品或解决方案，但是普遍面临下列问题。例如，在使用雷达的方案中，当场景内人数过多时则跌倒辨识率可能会下降。另外，在使用影像式装置(例如RGB摄影机、IR摄影机)的方案中，视野(Field of View,FOV)涵盖范围太小，而深度摄影机有距离限制(5m)。再者，使用影像式装置的方案，容易使系统长时间维持在高负载(亦即运算量较复杂)的情况之下，有影响产品寿命及能源浪费的缺点。
综上所述，如何提供一个可以有效且准确侦测人员状况侦测的方法乃是业界所需思考的重要课题。
发明内容
本发明提供一种人员状况侦测的传感器融合方法，可有效地提升产品寿命及避免能源浪费。另外，结合不同来源的数据，相较于单独使用这些来源而言，所得到之讯息的不确定性较小。也就是说，可以更准确地判别人员状况。
鉴于上述内容，本发明提供一种人员状况侦测的传感器融合方法，包含：以一毫米波雷达定位一侦测区域内至少一移动人员的位置；以一深度感测相机撷取所述至少一移动人员的一RGB影像或一IR影像，并产生与所述至少一移动人员对应的一二维人体骨架点信息；以一人工智能运算平台执行一传感器融合(sensor fusion)程序，利用所述二维人体骨架点信息衍生之数据合成一三维人体骨架时间序列，其中所述人工智能运算平台耦接所述毫米波雷达与所述深度感测相机；在所述合成三维人体骨架时间序列的数量大于一阈值N时，以所述人工智能运算平台内一动作辨识模块，判断所述至少一移动人员是否跌倒，以决定是否发出一通知。
根据本发明之一个或多个实施方式，其中在执行所述传感器融合程序前更包含：一映射步骤，先将所述二维人体骨架点信息转换成一三维人体骨架点信息；以及一讯号处理步骤，利用一分群算法从所述毫米波雷达的讯号获得一点云群集平均速度；其中，所述三维人体骨架点信息与所述点云群集平均速度于所述传感器融合程序经结合后，产生所述三维人体骨架时间序列。
根据本发明之一个或多个实施方式，其中所述深度感测相机更利用飞时测距(Time of Flight,ToF)技术、结构光(structured light)技术或是主动式立体视觉(active stereo vision)技术，取得所述至少一移动人员的一深度信息，以在所述映射步骤中用于获得所述三维人体骨架点信息。
根据本发明之一个或多个实施方式，更包含：一ID编号产生步骤，在所述RGB影像或所述IR影像显示所述至少一移动人员为复数人时，给予每一移动人员相对应之ID编号，之后进行所述映射步骤；一ID编号比对步骤，将各所述ID编号与一内存内储存之ID编号进行比对，其中所述内存与所述人工智能运算平台耦接；一资料串联步骤，在所述ID编号比对步骤的结果显示为相同时，串联所检测到之所述三维人体骨架时间序列与相同ID编号之时间序列；以及在所述三维人体骨架时间序列的数量大于所述阈值N时，以所述人工智能运算平台内所述动作辨识模块，判断所述至少一移动人员是否跌倒，而决定是否发出所述通知。
根据本发明之一个或多个实施方式，其中在所述ID编号产生步骤与所述ID编号比对步骤之间更包含：一坐标系统转换步骤，将坐标系统原点从所述深度感测相机中心转换至人体骨架原点，其中所述人体骨架原点系肩膀与头部联机的交点。
根据本发明之一个或多个实施方式，其中当所述ID编号比对步骤的结果显示为相异时，则新增ID编号并建立所述三维人体骨架时间序列储存空间，且将所检测到之所述三维人体骨架时间序列储存至所述内存，然后返回所述ID编号产生步骤。
根据本发明之一个或多个实施方式，其中所述深度感测相机在所述毫米波雷达之所述侦测区域内，依照默认之优先权顺序逐一对不同位置之所述至少一移动人员撷取所述RGB影像或所述IR影像。
根据本发明之一个或多个实施方式，其中所述二维人体骨架点信息系由所述人工智能运算平台内之一姿态估测与追踪模块，根据一姿态估测与追踪模型获得，其中所述姿态估测与追踪模型的骨干网络系使用卷积神经网络的架构。
根据本发明之一个或多个实施方式，其中所述动作辨识模块系藉由一深度学习模型或一机器学习分类器，判断所述至少一移动人员是否跌倒。
根据本发明之一个或多个实施方式，其中所述毫米波雷达会在所述侦测区域内重复执行侦测动作，直到所述至少一移动人员出现并确认位置后，藉由与所述人工智能运算平台耦接之一马达调整所述深度感测相机的拍摄方向与角度。
附图说明
图1系绘示本发明一实施例之硬件系统的外观示意图。
图2A系绘示本发明之实施例中硬件系统运作的示意图。
图2B系绘示本发明之实施例中以毫米波雷达生成四维点云并进行分群算法的示意图。
图2C系绘示本发明之实施例中硬件系统运作的示意图。
图3系绘示本发明之实施例中人员状况侦测的传感器融合方法的流程图。
图4系绘示本发明之实施例中用于多人场景跌倒辨识算法的流程图。
图5系绘示本发明一实施例之姿态估测与追踪模块的功能示意图。
图6系绘示本发明一实施例之动作辨识模块的功能示意图。
图7系绘示本发明另一实施例之姿态估测与追踪模块的功能示意图。
图8系绘示本发明一实施例之三维人体骨架时间序列的示意图。
图9系绘示图3中关于传感器融合的程序。
附图标记
10：人工智能运算平台 512：三维人体骨架点信息
20：毫米波雷达 600：动作辨识模型
30：深度感测相机 610：估测类别
40：马达 620：估测结果
50：内存 710：IR影像
100：硬件系统 720：IR影像
110：侦测区域 730：中心点热图
120：移动人员 740：人体骨架估测与追踪模型
130：视野 750：影像
200、210：步骤 760：影像
220：中心点 770：影像
230：移动人员 S10～S130：步骤
240：移动人员 S701、S702：步骤
250：移动人群 S400～S480：步骤
300：三维人体骨架点信息 X、Y、Z：坐标轴
310：点云群集平均速度 (x,y,z,v)：四维点云
320：三维人体骨架时间序列 (x,y)：位置
502：RGB影像 P：人体骨架原点
504：IR影像 t：时刻
506：深度信息 α：旋转角度
508：人体骨架估测与追踪模型 v：速度
510：二维人体骨架点信息 v1：点云群集平均速度
具体实施方式
以下发明提供不同的实施例或示例，以建置所提供之目标物的不同特征。以下叙述之成分以及排列方式的特定示例是为了简化本公开，目的不在于构成限制；组件的尺寸和形状亦不被发明之范围或数值所限制，但可以取决于组件之制程条件或所需的特性。例如，利用剖面图描述本发明的技术特征，这些剖面图是理想化的实施例示意图。因而，由于制造工艺和/公差而导致图示之形状不同是可以预见的，不应为此而限定。
再者，空间相对性用语，例如「下方」、「在…之下」、「低于」、「在…之上」以及「高于」等，是为了易于描述图式中所绘示的元素或特征之间的关系；此外，空间相对用语除了图示中所描绘的方向，还包含组件在使用或操作时的不同方向。
首先要说明的是，本发明之实施例利用传感器融合(sensor fusion)技术，藉由结合不同传感器(例如，毫米波雷达、深度感测相机)所取得的数据而产生无法靠单一传感器所提供的讯息。
在本发明之实施例中，系先透过毫米波雷达侦测环境之大范围区域内是否有人，若有人则定位人体位置。接着，再转动深度感测相机锁定人体。然后，利用一人工智能(Artificial Intelligence,AI)运算平台，以AI深度学习技术萃取三维(3D)人体骨架及追踪目标。最后，结合毫米波雷达所侦测到的人体中心点移动速度辨识是否发生跌倒。
以下，搭配图式说明本案之实施例中人员状况侦测的传感器融合方法与所应用的系统。
首先，请参考图1，图1系绘示本发明一实施例之硬件系统的外观示意图。如图1所示，硬件系统100包含一人工智能运算平台10、一毫米波雷达20、一深度感测相机30、一马达40以及一内存50。其中，人工智能运算平台10分别耦接毫米波雷达20、深度感测相机30、马达40以及内存50。
然后，请参考图2A，图2A系绘示本发明之实施例中硬件系统运作的示意图。图2A系一俯视图，说明本发明之实施例先使用毫米波雷达20搜索场域内人体位置，再决定深度感测相机30的旋转方向与角度。在本发明之实施例中，毫米波雷达20会在侦测区域110内重复执行侦测动作直到至少一移动人员120出现并确认位置后，藉由与人工智能运算平台10耦接之一马达40调整深度感测相机30的拍摄方向与角度。
如图2A所示，硬件系统100之毫米波雷达20将其侦测区域110划分为四个象限，当毫米波雷达20在侦测区域110内侦测到一移动人员120时，会定位移动人员120的位置(x,y)。例如，在本发明之实施例中，移动人员120系位于第四象限。接着，人工智能运算平台10内一处理器(图未显示)会根据移动人员120在第四象限的位置(x,y)，代入下列(式4)计算马达40的旋转角度α。若移动人员120的位置(x,y)位于第一、第二或第三象限的话，则代入相对应的(式1)、(式2)或(式3)计算马达40的旋转角度α。
第一象限:
Figure BDA0003361924070000051
第二象限:
Figure BDA0003361924070000052
第三象限:
Figure BDA0003361924070000053
第四象限:
Figure BDA0003361924070000054
在此，旋转角度α定义为移动人员120与硬件系统100中心之联机和坐标轴X之间的夹角。
在本发明之实施例中，马达40用于调整深度感测相机30的方向与角度，因此深度感测相机30会被马达40朝移动人员120的位置方向转动一旋转角度α。然后，深度感测相机30在本身之视野(Field of View,FOV)内执行人体骨架侦测运算与获得深度信息。
另外，请参考图2B，图2B系绘示本发明之实施例中以毫米波雷达生成四维点云并进行分群算法的示意图。如图2B所示，在本发明之实施例中，在步骤200中，进行数据收集。然后，在步骤210中，执行单一画面处理程序(single frame processing)，即使用毫米波雷达20生成四维(4D)点云(x,y,z,v)后，再由分群算法找出每个群集的中心点220与平均速度。其中(x,y,z)代表各点位置，而v代表各该点的速度。在本发明之实施例中，四维(4D)点云(x,y,z,v)之生成乃是采用频率调变连续波雷达(Frequency Modulated ContinuousWaveform radar,FMCW radar)发射毫米波并记录来自场景的反射，然后计算稀疏点云并滤除静态物体所对应的点。在本发明之实施例中，分群算法乃是采用基于密度的分群(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)算法，对点云进行分群并找出每个群集的中心点220与平均速度。
另外，请参考图2C，图2C系绘示本发明之实施例中硬件系统运作的示意图。图2C系一俯视图，说明在多人场景中，由于硬件系统100之深度感测相机30的视野130无法一次涵盖毫米波雷达20的侦测区域110，因此锁定目标的优先权依照预先设定的条件来解决。例如，位于第一象限的移动人员230，因为在点云Z轴方向有剧烈速度v的变化，依照预先设定的条件具有第一顺位的优先权，故深度感测相机30会优先旋转至移动人员230的方向，进行相关程序。待处理完移动人员230后，接着处理位于第四象限且在点云X轴或Y轴方向有明显位移的移动人员240，依照预先设定的条件具有第二顺位的优先权，故深度感测相机30会接着旋转至移动人员240的方向，进行相关程序。待处理完移动人员240后，接着处理各范围内检测到之人数最多的第三象限，此情况依照预先设定的条件具有第三顺位的优先权，故深度感测相机30会接着旋转至移动人群250的方向，进行相关程序。以上图2C仅是用于说明毫米波雷达20在多人场景优先权判断的一个实施例，当然在其他实施例中，所述预先设定的条件也可以依照不同的设计需求而定义不同的优先权顺序。
接下来，请参考图3，图3系绘示本发明之实施例中人员状况侦测的传感器融合方法的流程图。如图3所示，本发明一实施例之人员状况侦测的传感器融合方法包含步骤S10～S130，以下搭配图1、图2A～图2C逐一说明各步骤。
在步骤S10中，以一毫米波雷达20侦测移动人体，并将讯息传回人工智能运算平台10内之处理器(图未显示)。在不同实施例中，如同在现实环境中一样，所述移动人体系至少一移动人员，例如一移动人员或一移动人群。
在步骤S20中，人工智能运算平台10内之处理器(图未显示)会判断毫米波雷达20侦测区域110内是否有人。若判断结果为否即无人，则返回步骤S10继续以毫米波雷达20侦测移动人体。若判断结果为是即有人，例如图2A之移动人员120或图2C之移动人员230、240或移动人群250，则进到下一步骤S30。
在步骤S30中，人工智能运算平台10内之处理器(图未显示)定位所侦测到之移动人体的位置并藉由马达40旋转深度感测相机30，逐一对准所侦测到之移动人体。
在步骤S40中，以深度感测相机30逐一撷取所侦测到之移动人体的一RGB影像或一IR影像。
在步骤S50中，进行二维人体骨架估测及追踪。人工智能运算平台10内之处理器(图未显示)根据步骤S40之RGB影像或IR影像产生与所侦测到之移动人体对应的一二维人体骨架点信息。
在步骤S60中，人工智能运算平台10内之处理器(图未显示)判断深度感测相机30之视野范围内是否有人。若判断结果为否即无人，则返回步骤S10继续以毫米波雷达20侦测移动人体。若判断结果为是即有人，则进到下一步骤S70。
接下来，在步骤S70与步骤S80中，以人工智能运算平台10执行一传感器融合(sensor fusion)程序，如下说明。
在步骤S70中，根据步骤S50所得之二维人体骨架点信息，藉由人工智能运算平台10内之一映像模块(图未显示)执行一映像步骤S701，将所述二维人体骨架点信息转换成以(xm,ym,zm)表示之三维人体骨架点信息，其中m为自然数，如图9所示。另外，透过人工智能运算平台10内之处理器(图未显示)执行一讯号处理步骤S702，利用分群算法从毫米波雷达20的讯号获得以v1表示之点云群集平均速度，即所谓毫米波雷达点云速度提取，如图9所示。后续在图9会再次进一步说明。在本发明之实施例中，深度感测相机30更利用飞时测距(Time of Flight,ToF)技术、结构光(structured light)技术或是主动式立体视觉(active stereo vision)技术，取得至少一移动人员的一深度信息，以在所述映射步骤中用于获得所述三维人体骨架点信息。
在步骤S80中，将步骤S70所得之三维人体骨架点信息与点云群集平均速度，合成一三维人体骨架时间序列，如图9所示。后续在图9会再次进一步说明。
在步骤S90中，透过人工智能运算平台10内之处理器(图未显示)判别步骤S80所合成之三维人体骨架时间序列的数量是否大于一阈值N。当所述三维人体骨架时间序列的数量未大于一阈值N(即N个画面)时，则返回步骤S50。当所述三维人体骨架时间序列的数量大于一阈值N时，则执行下一步骤S100。
在步骤S100中，人工智能运算平台10呼叫一动作辨识模块(图未显示)，而此动作辨识模块系用于判断至少一移动人员是否跌倒。
在步骤S110中，当所述动作辨识模块判断无人跌倒时，则返回步骤S50。当所述动作辨识模块判断有人跌倒时，则执行下一步骤S120。
在步骤S120中，当所述动作辨识模块判断有人跌倒的情况为连续发生且次数大于或等于K时，则在步骤S130中发出一通知以通报有人跌倒。若所述动作辨识模块判断有人跌倒的情况，未符合连续发生且次数大于或等于K的条件时，则返回步骤S50。
接着，请参考图9，图9系绘示图3中关于传感器融合的程序。如图9所示，在本发明之实施例中，传感器融合的程序系将深度感测相机30与毫米波雷达20的数据进行融合。亦如前所述，根据从深度感测相机30之RGB影像或IR影像得到的二维人体骨架点信息，在步骤S701中映射成三维人体骨架点信息300，包含(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)、…、(xm-2,ym-2,zm-2)、(xm-1,ym-1,zm-1)与(xm,ym,zm)共m个数据点。另外，根据从毫米波雷达20得到的讯号，在步骤S702中进行讯号处理，得到以v1表示之点云群集平均速度310。然后，将所得之三维人体骨架点信息与点云群集平均速度，透过传感器融合技术而合成一三维人体骨架时间序列320。
接下来，请参考图4，图4系绘示本发明之实施例中用于多人场景跌倒辨识算法的流程图。如图2C、图3与图4所示，如前述在多人场景的情况下，深度感测相机30在毫米波雷达20之侦测区域110内，依照默认之优先权顺序逐一对不同位置之至少一移动人员撷取RGB影像或IR影像。接着，执行步骤S400～S480的多人场景跌倒辨识算法流程。
在步骤S400中，在所述RGB影像或所述IR影像显示所述至少一移动人员为复数人时，执行一ID编号产生步骤，给予每一移动人员相对应之ID编号，进行多人二维人体骨架估测及追踪，取得二维人体骨架点信息。
在步骤S410中，进行映射步骤，将二维人体骨架点信息映像成三维人体骨架点信息。
在步骤S420，进行坐标系统转换，将坐标系统原点从深度感测相机30的中心转换至人体骨架原点，其中所述人体骨架原点系肩膀与头部联机的交点。
在步骤S430，进行ID编号比对，亦即将各ID编号与内存50内储存之ID编号进行比对。若比对结果显示为不相同时，则接着在步骤S440中，新增ID编号并建立三维人体骨架时间序列储存空间。然后，在步骤S450中，将所检测到之三维人体骨架时间序列储存至内存50，并返回步骤S400。若步骤S430之比对结果显示为相同时，则进到步骤S460执行数据串联，串联所检测到之三维人体骨架时间序列与相同ID编号之时间序列，并进到下一步骤S470。
在步骤S470中，当三维人体骨架时间序列的数量未大于一阈值N时，则返回步骤S400。当三维人体骨架时间序列的数量大于一阈值N时，则进到步骤480，利用人工智能运算平台10内之动作辨识模块(图未显示)，判断所述至少一移动人员是否跌倒，并决定是否发出一通知以通报有人跌倒。
另外，请参考图5，图5系绘示本发明一实施例之姿态估测与追踪模块的功能示意图。如图5所示，利用人工智能运算平台10内之姿态估测与追踪模块(图未显示)，将RGB影像502或IR影像504输入人体骨架估测与追踪模型508，得到二维人体骨架点信息510，然后结合深度信息506以映像出三维人体骨架点信息512。
另外，请参考图6，图6系绘示本发明一实施例之动作辨识模块的功能示意图。如图6所示，利用人工智能运算平台10内之动作辨识模块(图未显示)，将对应时间序列t-2、t-1、t之三维人体骨架点信息输入动作辨识模型600，然后根据估测类别610，辨识所述至少一移动人员的动作，而得到一估测结果620。在此，时间序列t-2、t-1、t仅为例示，并非用于限定本发明，实际上输入动作辨识模型600之时间序列的数量乃因应实际上训练需要而定。在本发明之实施例中，动作辨识模型600例如是跌倒辨识模型。另外，动作辨识模块600可以是一深度学习模型(RNN、LSTM或GCN)架构或一机器学习分类器(SVM)。
另外，请参考图7，图7系绘示本发明另一实施例之姿态估测与追踪模块的功能示意图。如图7所示，利用人工智能运算平台10内之姿态估测与追踪模块(图未显示)，将对应时间序列t-1、t之IR影像720、710以及时刻t-1之中心点热图(heatmap)730输入人体骨架估测与追踪模型740，然后得到影像750、760与770。在影像750中，有边界框可以估计画面中检测到知人体的数量及位置。在影像760中，二维骨架估测身体关节(joints)与重要部位关键点(keypoints)。在影像770中，可以利用偏移量估测或预测前后画面坐标位移，用来追踪人体ID编号。在本发明之实施例中，姿态估测与追踪模型740的骨干网络可以是不同形式的卷积神经网络(CNN)的架构。而且，不同任务共享骨干模型，减轻系统运算负担。
再来，请参考图8，图8系绘示本发明一实施例之三维人体骨架时间序列的示意图。如图8所示，画面(frame)n-4、画面n-3、画面n-2、画面n-1、画面n系表示连续画面，用以例示三维人体骨架时间序列，其中n为自然数。另外，组件符号P为人体骨架原点，如前面步骤S420所述，当坐标系统原点从以深度感测相机30为中心转换成以人体骨架原点P为中心时，可排除深度感测相机30之视角对跌倒辨识模型等动作辨识模型的影响。
以上实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种人员状况侦测的传感器融合方法，其特征在于，包含：
以毫米波雷达定位一侦测区域内至少一移动人员的位置；
以深度感测相机撷取所述至少一移动人员的RGB影像或IR影像，并产生与所述至少一移动人员对应的一二维人体骨架点信息；
以人工智能运算平台执行传感器融合程序，利用所述二维人体骨架点信息衍生的数据合成三维人体骨架时间序列，其中所述人工智能运算平台耦接所述毫米波雷达与所述深度感测相机；以及
在所述三维人体骨架时间序列的数量大于阈值N时，以所述人工智能运算平台内动作辨识模块，判断所述至少一移动人员是否跌倒，而决定是否发出通知。
2.如请求项1所述之人员状况侦测的传感器融合方法，其特征在于，其中在执行所述传感器融合程序前更包含：
映射步骤，先将所述二维人体骨架点信息转换成三维人体骨架点信息；以及
讯号处理步骤，利用分群算法从所述毫米波雷达的讯号获得点云群集平均速度；
其中，所述三维人体骨架点信息与所述点云群集平均速度于所述传感器融合程序经结合后，产生所述三维人体骨架时间序列，供所述动作辨识模块作为判断所述至少一移动人员是否跌倒的依据。
3.如请求项2所述之人员状况侦测的传感器融合方法，其特征在于，其中所述深度感测相机利用飞时测距技术、结构光技术或是主动式立体视觉技术，取得所述至少一移动人员的深度信息，以在所述映像步骤中用于获得所述三维人体骨架点信息。
4.如请求项3所述之人员状况侦测的传感器融合方法，其特征在于，更包含：
ID编号产生步骤，在所述RGB影像或所述IR影像显示所述至少一移动人员为复数人时，给予每一移动人员相对应之ID编号，之后进行所述映射步骤；
ID编号比对步骤，将各所述ID编号与内存内储存之ID编号进行比对，其中所述内存与所述人工智能运算平台耦接；
资料串联步骤，在所述ID编号比对步骤的结果显示为相同时，串联所检测到之所述三维人体骨架时间序列与相同ID编号之时间序列；以及
在所述三维人体骨架时间序列的数量大于所述阈值N时，以所述人工智能运算平台内所述动作辨识模块，判断所述至少一移动人员是否跌倒，而决定是否发出所述通知。
5.如请求项4所述之人员状况侦测的传感器融合方法，其特征在于，其中在所述ID编号产生步骤与所述ID编号比对步骤之间更包含：
坐标系统转换步骤，将坐标系统原点从所述深度感测相机中心转换至人体骨架原点，其中所述人体骨架原点为肩膀与头部联机的交点。
6.如请求项5所述之人员状况侦测的传感器融合方法，其特征在于，其中当所述ID编号比对步骤的结果显示为相异时，则新增ID编号并建立所述三维人体骨架时间序列储存空间，且将所检测到之所述三维人体骨架时间序列储存至所述内存，然后返回所述ID编号产生步骤。
7.如请求项6所述之人员状况侦测的传感器融合方法，其特征在于，其中所述深度感测相机在所述毫米波雷达的所述侦测区域内，依照默认之优先权顺序逐一对不同位置之所述至少一移动人员撷取所述RGB影像或所述IR影像。
8.如请求项1所述之人员状况侦测的传感器融合方法，其特征在于，其中所述二维人体骨架点信息由所述人工智能运算平台内的姿态估测与追踪模块，根据姿态估测与追踪模型获得，其中所述姿态估测与追踪模型的骨干网络使用卷积神经网络的架构。
9.如请求项1所述之人员状况侦测的传感器融合方法，其特征在于，其中所述动作辨识模块由深度学习模型或机器学习分类器，判断所述至少一移动人员是否跌倒。
10.如请求项1所述之人员状况侦测的传感器融合方法，其特征在于，其中所述毫米波雷达会在所述侦测区域内重复执行侦测动作，直到所述至少一移动人员出现并确认位置后，由与所述人工智能运算平台耦接的马达调整所述深度感测相机的拍摄方向与角度。
CN202111369715.0A 2021-11-18 2021-11-18 人员状况侦测的传感器融合方法 Active CN114091601B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111369715.0A CN114091601B (zh) 2021-11-18 2021-11-18 人员状况侦测的传感器融合方法
TW110143567A TWI778872B (zh) 2021-11-18 2021-11-23 人員狀況偵測的感測器融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111369715.0A CN114091601B (zh) 2021-11-18 2021-11-18 人员状况侦测的传感器融合方法

Publications (2)

Publication Number Publication Date
CN114091601A true CN114091601A (zh) 2022-02-25
CN114091601B CN114091601B (zh) 2023-05-05

Family

ID=80301718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111369715.0A Active CN114091601B (zh) 2021-11-18 2021-11-18 人员状况侦测的传感器融合方法

Country Status (2)

Country Link
CN (1) CN114091601B (zh)
TW (1) TWI778872B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI798042B (zh) * 2022-03-31 2023-04-01 崑山科技大學 冷凍庫環境感知裝置及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI815680B (zh) * 2022-09-28 2023-09-11 財團法人車輛研究測試中心 艙內偵測方法及其系統
TWI832689B (zh) * 2023-02-01 2024-02-11 新加坡商光寶科技新加坡私人有限公司 人員存在偵測模型的訓練系統及訓練方法
CN117017276B (zh) * 2023-10-08 2024-01-12 中国科学技术大学 一种基于毫米波雷达的实时人体紧密边界检测方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201432633A (zh) * 2013-02-06 2014-08-16 Utechzone Co Ltd 跌倒偵測方法
CN105184280A (zh) * 2015-10-10 2015-12-23 东方网力科技股份有限公司 一种人体身份识别方法及装置
US20170054569A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Company, Ltd. User-Configurable Interactive Region Monitoring
CN107590433A (zh) * 2017-08-04 2018-01-16 湖南星云智能科技有限公司 一种基于毫米波雷达和车载摄像头的行人检测方法
CN110555412A (zh) * 2019-09-05 2019-12-10 深圳龙岗智能视听研究院 基于rgb和点云相结合的端到端人体姿态识别方法
CN111626199A (zh) * 2020-05-27 2020-09-04 多伦科技股份有限公司 面向大型多人车厢场景的异常行为分析方法
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN111967379A (zh) * 2020-08-14 2020-11-20 西北工业大学 一种基于rgb视频和骨架序列的人体行为识别方法
CN112346055A (zh) * 2020-10-23 2021-02-09 无锡威孚高科技集团股份有限公司 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
CN112712129A (zh) * 2021-01-11 2021-04-27 深圳力维智联技术有限公司 多传感器融合方法、装置、设备及存储介质
CN112782664A (zh) * 2021-02-22 2021-05-11 西南交通大学 一种基于毫米波雷达的卫生间跌倒检测方法
CN112800905A (zh) * 2021-01-19 2021-05-14 浙江光珀智能科技有限公司 一种基于rgbd相机姿态估计的引体向上计数方法
CN113646736A (zh) * 2021-07-17 2021-11-12 华为技术有限公司 手势识别方法、装置、系统及车辆

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308639B2 (en) * 2019-03-12 2022-04-19 Volvo Car Corporation Tool and method for annotating a human pose in 3D point cloud data
TWI725524B (zh) * 2019-08-28 2021-04-21 技嘉科技股份有限公司 人員狀況偵測裝置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201432633A (zh) * 2013-02-06 2014-08-16 Utechzone Co Ltd 跌倒偵測方法
US20170054569A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Company, Ltd. User-Configurable Interactive Region Monitoring
CN105184280A (zh) * 2015-10-10 2015-12-23 东方网力科技股份有限公司 一种人体身份识别方法及装置
CN107590433A (zh) * 2017-08-04 2018-01-16 湖南星云智能科技有限公司 一种基于毫米波雷达和车载摄像头的行人检测方法
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN110555412A (zh) * 2019-09-05 2019-12-10 深圳龙岗智能视听研究院 基于rgb和点云相结合的端到端人体姿态识别方法
CN111626199A (zh) * 2020-05-27 2020-09-04 多伦科技股份有限公司 面向大型多人车厢场景的异常行为分析方法
CN111967379A (zh) * 2020-08-14 2020-11-20 西北工业大学 一种基于rgb视频和骨架序列的人体行为识别方法
CN112346055A (zh) * 2020-10-23 2021-02-09 无锡威孚高科技集团股份有限公司 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
CN112712129A (zh) * 2021-01-11 2021-04-27 深圳力维智联技术有限公司 多传感器融合方法、装置、设备及存储介质
CN112800905A (zh) * 2021-01-19 2021-05-14 浙江光珀智能科技有限公司 一种基于rgbd相机姿态估计的引体向上计数方法
CN112782664A (zh) * 2021-02-22 2021-05-11 西南交通大学 一种基于毫米波雷达的卫生间跌倒检测方法
CN113646736A (zh) * 2021-07-17 2021-11-12 华为技术有限公司 手势识别方法、装置、系统及车辆

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
K. WANG等: "3D-Skeleton Estimation based on Commodity Millimeter Wave Radar" *
P. ZHAO等: "mID: Tracking and Identifying People with Millimeter Wave Radar" *
吴骅跃: "基于视觉的车辆驾驶辅助系统关键技术研究" *
杨帆: "毫米波雷达点云成像关键技术研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI798042B (zh) * 2022-03-31 2023-04-01 崑山科技大學 冷凍庫環境感知裝置及方法

Also Published As

Publication number Publication date
TWI778872B (zh) 2022-09-21
TW202321987A (zh) 2023-06-01
CN114091601B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN114091601B (zh) 人员状况侦测的传感器融合方法
CN109086788B (zh) 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和系统
CN108445480B (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
US9183444B2 (en) Information processing apparatus, information processing method, and computer program
CN113269098A (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
CN112025729B (zh) 基于ros的多功能智能医疗服务机器人系统
Salas et al. People detection using color and depth images
CN109559330B (zh) 运动目标的视觉跟踪方法、装置、电子设备及存储介质
US10042047B2 (en) Doppler-based segmentation and optical flow in radar images
EP4215932A1 (en) Posture determination system based on radar point clouds
Sun et al. Fast motion object detection algorithm using complementary depth image on an RGB-D camera
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
KR101921071B1 (ko) 다중 프레임에서의 센서 융합을 통한 3차원 객체의 포즈 추정 방법 및 이를 구비한 장치
US20160084953A1 (en) Doppler-based segmentation and optical flow in radar images
Li et al. Real-time monocular joint perception network for autonomous driving
Le et al. Human detection and tracking for autonomous human-following quadcopter
Munz et al. A sensor independent probabilistic fusion system for driver assistance systems
KR102299902B1 (ko) 증강현실을 제공하기 위한 장치 및 이를 위한 방법
CN110232701A (zh) 使用深度传感器网络的行人跟踪
CN112862865A (zh) 水下机器人的检测识别方法、装置和计算机存储介质
Zhu et al. Robust target detection of intelligent integrated optical camera and mmWave radar system
Li et al. Pedestrian detection algorithm based on video sequences and laser point cloud
US20240185456A1 (en) Method of sensor fusion for harmonizing data from multiple data sources
WO2023184197A1 (zh) 目标跟踪方法、装置、系统及存储介质
Shcherbatov et al. Control movement of mobile robots inside building based on pattern recognition algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240112

Address after: 518109, Building E4, 101, Foxconn Industrial Park, No. 2 East Ring 2nd Road, Fukang Community, Longhua Street, Longhua District, Shenzhen City, Guangdong Province (formerly Building 1, 1st Floor, G2 District), H3, H1, and H7 factories in K2 District, North Shenchao Optoelectronic Technology Park, Minqing Road, Guangdong Province

Patentee after: INTERFACE OPTOELECTRONICS (SHENZHEN) Co.,Ltd.

Patentee after: Interface Technology (Chengdu) Co., Ltd.

Patentee after: GENERAL INTERFACE SOLUTION Ltd.

Address before: No.689 Hezuo Road, West District, high tech Zone, Chengdu City, Sichuan Province

Patentee before: Interface Technology (Chengdu) Co., Ltd.

Patentee before: INTERFACE OPTOELECTRONICS (SHENZHEN) Co.,Ltd.

Patentee before: Yicheng Photoelectric (Wuxi) Co.,Ltd.

Patentee before: GENERAL INTERFACE SOLUTION Ltd.

TR01 Transfer of patent right