CN117912093A - 人体姿态检测方法和基于视觉感知的安全人机交互方法 - Google Patents
人体姿态检测方法和基于视觉感知的安全人机交互方法 Download PDFInfo
- Publication number
- CN117912093A CN117912093A CN202211248459.4A CN202211248459A CN117912093A CN 117912093 A CN117912093 A CN 117912093A CN 202211248459 A CN202211248459 A CN 202211248459A CN 117912093 A CN117912093 A CN 117912093A
- Authority
- CN
- China
- Prior art keywords
- human body
- acquisition
- mechanical arm
- key points
- dimensional key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003993 interaction Effects 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 230000016776 visual perception Effects 0.000 title claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 4
- 238000007790 scraping Methods 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 9
- 210000004247 hand Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012928 buffer substance Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提出一种人体姿态检测方法和基于视觉感知的安全人机交互方法。该人体姿态检测方法包括：获取采集区域的人体图像，对人体图像进行人体姿态检测，得到采集区域内人体部位的三维关键点，基于采集区域内人体部位的三维关键点，使用估计算法估计得到采集盲区内人体部位的三维关键点。该基于视觉感知的安全人机交互方法包括：获取机械臂的运行包络，判断采集盲区内人体部位的三维关键点与机械臂的运行包络是否存在交集，确定存在交集的情况下，控制机械臂进入安全模式。本申请有效地解决了存在采集盲区时机械臂的安全性问题，在机械臂与人交互的应用场景中能够避免夹手、刮腿等情况发生，提高了机械臂操作的安全性，提升了用户体验。
Description
技术领域
本申请涉及姿态检测及机械臂控制技术领域，尤其涉及一种人体姿态检测方法、基于视觉感知的安全人机交互方法和计算机程序产品。
背景技术
目前，关于机械臂的安全控制主要有两种方式。第一种方式是在机械臂所在区域安装红外线或摄像头，当检测到有人进入该区域时，控制机械臂停止运动，以保证人的安全。第二种方式是使用海绵等缓冲物质对机械臂进行包装，以减轻与人发生碰撞时的冲击。
但是，第一种方式无法解决红外线或摄像头存在检测盲区时的安全问题，第二种方式不满足美观要求，与机械美感相悖，也不方便使用。
发明内容
本申请实施例提供一种人体姿态检测方法、基于视觉感知的安全人机交互方法和计算机程序产品，以解决相关技术存在的问题，技术方案如下：
第一方面，本申请实施例提供了一种人体姿态检测方法，包括：
获取采集区域的人体图像；
对所述人体图像进行人体姿态检测，得到所述采集区域内人体部位的三维关键点；
基于所述采集区域内人体部位的三维关键点，使用估计算法估计得到采集盲区内人体部位的三维关键点。
第二方面，本申请实施例提供了一种基于视觉感知的安全人机交互方法，包括：
获取采集区域的人体图像；
对所述人体图像进行人体姿态检测，得到所述采集区域内人体部位的三维关键点；
基于所述采集区域内人体部位的三维关键点，使用估计算法估计得到采集盲区内人体部位的三维关键点；
获取机械臂的运行包络；
判断所述采集盲区内人体部位的三维关键点与所述机械臂的运行包络是否存在交集；
确定存在交集的情况下，控制所述机械臂进入安全模式。
第三方面，本申请实施例提供了一种计算机程序产品，计算机程序/指令被一个处理器单独执行时或多个处理器配合执行时实现本公开的实施例提供的任意一项方法。
上述技术方案中的优点或有益效果至少包括：
通过对采集区域的人体图像进行人体姿态检测得到采集区域内人体部位的三维关键点，并基于采集区域内人体部位的三维关键点使用估计算法估计，能够得到采集盲区内人体部位的三维关键点，实现了采集盲区的人体姿态检测。
通过判断采集盲区内人体部位的三维关键点与机械臂的运行包络是否存在交集，进而在确定存在交集的情况下，控制机械臂进入安全模式，有效地解决了存在采集盲区时机械臂的安全性问题，在机械臂与人交互的应用场景中能够避免夹手、刮腿等情况发生，提高了机械臂操作的安全性，提升了用户体验。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1为根据本申请一实施例的人体姿态检测方法流程图；
图2为根据本申请另一实施例的基于视觉感知的安全人机交互方法流程图；
图3为根据本申请一实施例的座舱内人体图像采集场景示意图；
图4为根据本申请一实施例的座舱内采集区域和采集盲区示意图；
图5为根据本申请一实施例的基于视觉感知的安全人机交互方法流程图；
图6为根据本申请一实施例的3D车模示意图；
图7为根据本申请一实施例的机械臂运行包络示意图；
图8为根据本申请一实施例的使用卷积神经网络预估人体部位的三维关键点的示意图；
图9为根据本申请一实施例的使用人体关节约束模型预估人体部位的三维关键点的示意图；
图10为根据本申请一实施例的车载平台架构示意图；
图11为根据本申请一实施例的电子设备的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
本申请实施例涉及人体姿态检测方法和基于视觉感知的安全人机交互方法，可以应用于人和机械臂交互的场景，包括但不限于座舱内人与机械臂交互的场景，尤其是多自由度机械臂的交互场景。其中，座舱包括但不限于车辆座舱、航空器座舱或船舶座舱等。由于座舱通常为狭小的空间，机械臂在进行操作过程中，难免会有可能与人体部位发生碰撞的风险。如连接屏幕的机械臂在操作屏幕旋转时有可能会刮腿，机械臂向安装件方向后缩时有可能罩盖夹手，或者机械臂在翻转时有可能机械臂上的琉球夹手等。为了解决上述各种问题，本申请实施例提供了一种人体姿态检测的方法，通过对采集区域的人体图像进行人体姿态检测得到采集区域内人体部位的三维关键点，并基于采集区域内人体部位的三维关键点使用估计算法估计，能够得到采集盲区内人体部位的三维关键点。本申请实施例还提供了一种基于视觉感知的安全人机交互方法，通过判断采集盲区内人体部位的三维关键点与机械臂的运行包络是否存在交集，进而在确定存在交集的情况下，控制机械臂进入安全模式，有效地解决了存在采集盲区时机械臂的安全性问题，在机械臂与人交互的应用场景中能够避免夹手、刮腿等情况发生，提高了机械臂操作的安全性，提升了用户体验。
图1示出根据本申请一实施例的人体姿态检测方法流程图。如图1所示，该方法可以包括：
S101：获取采集区域的人体图像。
S102：对人体图像进行人体姿态检测，得到采集区域内人体部位的三维关键点。
其中，人体姿态检测可以采用多种姿态检测算法来实现，本实施例具体不限定。
S103：基于采集区域内人体部位的三维关键点，使用估计算法估计得到采集盲区内人体部位的三维关键点。
上述采集区域是指采集装置可以拍摄到的区域，采集盲区是指采集装置无法拍摄到的区域，也可以说是采集区域以外的区域。对于座舱空间来说，人体有的部位可能落入在采集区域内，有的部位则可能落入采集盲区内。
本实施例提供的上述方法，通过对采集区域的人体图像进行人体姿态检测得到采集区域内人体部位的三维关键点，并基于采集区域内人体部位的三维关键点使用估计算法估计，能够得到采集盲区内人体部位的三维关键点，实现了采集盲区的人体姿态检测。
图2示出根据本申请一实施例的基于视觉感知的安全人机交互方法流程图。如图2所示，该方法可以包括：
S201：获取采集区域的人体图像。
其中，人体图像可以由采集装置采集得到，如2D或3D采集装置等。
图3为根据本申请一实施例的座舱内人体图像采集场景示意图。如图3所示，座舱内包括前排和后排共两排座位，采集装置分别部署在前排和后排。前排座位上方安装的OMS(Occupancy Monitoring System，乘客监控系统)摄像头，可以对前排座位进行人体图像的采集。后排座位上方安装的OMS摄像头，可以对后排座位进行人体图像的采集。但是，无论前排还是后排的OMS摄像头，均存在采集盲区，即存在无法采集到的人体部位。例如，前排OMS摄像头可以拍摄到前排主副驾腰部以上的人体图像，但是拍摄不到机械臂。当用户伸手去操控机械臂时，用户的手臂也会超出摄像头的视野范围，即前排用户操控机械臂时会进入摄像头的盲区。
S202：对人体图像进行人体姿态检测，得到采集区域内人体部位的三维关键点。
S203：基于采集区域内人体部位的三维关键点，使用估计算法估计得到采集盲区内人体部位的三维关键点。
图4为根据本申请一实施例的座舱内采集区域和采集盲区示意图。如图4所示，采集装置的采集区域能够拍摄到前排座位人体的部分图像，以及后排座位人体的图像。图中所示前排司机操作方向盘的双臂及双手则位于采集盲区内，采集装置无法拍摄到该采集盲区内的人体图像。
S204：获取机械臂的运行包络。
S205：判断采集盲区内人体部位的三维关键点与机械臂的运行包络是否存在交集。
其中，可以具体通过判断采集盲区内人体部位的三维关键点是否有关键点落入机械臂的运行包络内，来判断是否存在交集，如果有关键点落入机械臂的运行包络内，则确定存在交集，如果无关键点落入机械臂的运行包络内，则确定无交集。
S206：确定存在交集的情况下，控制机械臂进入安全模式。
本实施例提供的上述方法，通过判断采集盲区内人体部位的三维关键点与机械臂的运行包络是否存在交集，进而在确定存在交集的情况下，控制机械臂进入安全模式，有效地解决了存在采集盲区时机械臂的安全性问题，在机械臂与人交互的应用场景中能够避免夹手、刮腿等情况发生，提高了机械臂操作的安全性，提升了用户体验。而且上述方法无需增加任何硬件，基于现有采集装置如车载座舱摄像头，即可解决用户部分身体部位进入摄像头盲区操控机械臂时的安全性问题，成本低，容易实施，实用性强。
图5示出根据本申请一实施例的基于视觉感知的安全人机交互方法流程图。如图5所示，该方法可以包括：
S501：获取采集区域的人体图像。
S502：对人体图像进行人体姿态检测，得到采集区域内人体部位的三维关键点。
S503：基于采集区域内人体部位的三维关键点，使用估计算法估计得到采集盲区内人体部位的三维关键点。
S504：为机械臂与人体部位的三维关键点建立同一个坐标系，在该坐标系下标定出机械臂的运行包络。
图6示出根据本申请一实施例的3D车模示意图。如图6所示，可以参考3D车模来构建坐标系，然后在该坐标系内对机械臂的运行包络进行标定，同时也将人体姿态检测得到的人体部位三维关键点也标定在该坐标系内，从而可以进行机械臂的运行包络与人体部位三维关键点是否存在交集的判断。其中，在建立的坐标系内标定好机械臂的运行包络可以如图7所示，该运行包络反映了机械臂的操作范围，机械臂工作时在该操作范围执行各种操作。
S505：判断采集盲区内人体部位的三维关键点与机械臂的运行包络是否存在交集，如果是，则执行S506，否则，执行S507。
S506：判定机械臂与人体有碰撞风险，控制机械臂停止运动或降低速度运动，流程结束。
S507：判定机械臂与人体无碰撞风险，控制机械臂保持正常工作模式，流程结束。
示例性地，本申请任一实施例涉及的机械臂可以位于座舱内，涉及的人体图像可以由2D或3D采集装置采集得到，具体格式不限，包括RGB、RGB-IR、RGB/IR或TOF等。本申请涉及的三维关键点可以包括位置和姿态。
在本申请上述任一实施例中，步骤基于采集区域内人体部位的三维关键点，使用估计算法估计得到采集盲区内人体部位的三维关键点，可以具体包括：
基于采集区域内人体部位的三维关键点，使用卷积神经网络的泛化能力估计出采集盲区内人体部位的三维关键点。
其中，上述使用卷积神经网络的泛化能力进行估计的步骤，可以适用于2D采集装置采集人体图像的场景，也可以适用于3D采集装置采集人体图像的场景。区别仅在于，在3D采集装置的场景下，可以直接得到三维坐标，而在2D采集装置的场景下，在采集得到二维坐标且预估第三个坐标之后得到三维坐标。其余使用卷积神经网络进行估计的步骤则完全相同，此处不赘述。
图8为根据本申请一实施例的使用卷积神经网络预估人体部位的三维关键点的示意图。如图8所示，首先检测得到采集区域内人体部位的三维关键点，即人体上臂的三维关键点。然后使用卷积神经网络的泛化能力估计得到采集盲区的人体部位的三维关键点，即人体前臂以及手和手腕的三维关键点。
在本申请上述任一实施例中，使用卷积神经网络的泛化能力估计出采集盲区内人体部位的三维关键点之后，还可以包括：
在估计得到的采集盲区内人体部位的三维关键点为多组解的情况下，使用人体关节约束模型进行过滤，得到符合约束条件的解作为采集盲区内人体部位的三维关键点。
其中，人体关节约束模型可以采用多种，如SMPL(Skinned Multi-Person LinearModel，蒙皮多人线性模型)等，此处不限定。人体关节约束模型中设置有约束条件，按照人体关节的特征以及运动范围等因素设置的约束条件，可以过滤掉不合理的人体部位三维关键点。因此，使用人体关节约束模型进行过滤后，能够得到更合理、结果更准确的人体部位的三维关键点，从而提高了人体姿态检测的精度和准确性。
图9为根据本申请一实施例的使用人体关节约束模型预估人体部位的三维关键点的示意图。如图9所示，在检测得到采集区域内人体部位的三维关键点之后，可以先使用卷积神经网络的泛化能力估计出采集盲区内人体部位的三维关键点。通常情况下，估计得到多组解，然后可以使用人体关节约束模型进行过滤，得到符合约束条件的解作为采集盲区的人体部位的三维关键点，从而提高估计的准确性。
本申请针对座舱内2D或3D采集装置的不同场景，结合不同的网络模型预估人体部位的三维关键点，实现了各种图像格式的预估，增强了通用性，适用场景更广泛。
图10为根据本申请一实施例的车载平台架构示意图。如图10所示，车载座舱摄像头用于采集座舱内的人体图像，多自由度机械臂连接车内中控屏，可控制中控屏多角度多方向自由运动。车载SOC(System on Chip，系统级芯片)计算平台进行信息处理和控制。座舱摄像头采集的人体图像通过位于操作系统内核与硬件电路之间的硬件抽象层HAL发送至FWK服务中的相机服务。由相机服务使用单目3D人体姿态估计算法得到采集盲区的人体部位的三维关键点。基于3D车模得到机械臂的运行包络，判断采集盲区的人体部位的三维关键点与机械臂的运行包络是否存在交集，再根据判断结果确定机械臂的工作模式，从而完成了人机安全交互。
本申请的实施例中还提供了一种计算机程序产品，计算机程序/指令被一个处理器单独执行时或多个处理器配合执行时实现本申请的实施例提供的任意一项方法。
图11示出根据本申请一实施例的电子设备的结构框图。如图11所示，该电子设备包括：存储器1110和处理器1120，存储器1110内存储有可在处理器1120上运行的指令。处理器1120执行该指令时实现上述实施例中的车道线数据增强的方法。存储器1110和处理器1120的数量可以为一个或多个。该电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
该电子设备还可以包括通信接口1130，用于与外界设备进行通信，进行数据交互传输。各个设备利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器1120可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1110、处理器1120及通信接口1130集成在一块芯片上，则存储器1110、处理器1120及通信接口1130可以通过内部接口完成相互间的通信。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
本申请实施例提供了一种计算机可读存储介质(如上述的存储器1110)，其存储有计算机指令，该程序被处理器执行时实现本申请实施例中提供的方法。
可选的，存储器1110可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据车道线数据增强的电子设备的使用所创建的数据等。此外，存储器1110可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1110可选包括相对于处理器1120远程设置的存储器，这些远程存储器可以通过网络连接至车道线数据增强的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他实体类别的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁待，磁待磁磁盘存储或其他磁性存储介质或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种人体姿态检测方法，其特征在于，包括：
获取采集区域的人体图像；
对所述人体图像进行人体姿态检测，得到所述采集区域内人体部位的三维关键点；
基于所述采集区域内人体部位的三维关键点，使用估计算法估计得到采集盲区内人体部位的三维关键点。
2.根据权利要求1所述的方法，其特征在于，所述基于所述采集区域内人体部位的三维关键点，使用估计算法估计得到采集盲区内人体部位的三维关键点，包括：
基于所述采集区域内人体部位的三维关键点，使用卷积神经网络的泛化能力估计出采集盲区内人体部位的三维关键点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在估计得到的采集盲区内人体部位的三维关键点为多组解的情况下，使用人体关节约束模型进行过滤，得到符合约束条件的解作为采集盲区内人体部位的三维关键点。
4.一种基于视觉感知的安全人机交互方法，其特征在于，包括：
获取采集区域的人体图像；
对所述人体图像进行人体姿态检测，得到所述采集区域内人体部位的三维关键点；
基于所述采集区域内人体部位的三维关键点，使用估计算法估计得到采集盲区内人体部位的三维关键点；
获取机械臂的运行包络；
判断所述采集盲区内人体部位的三维关键点与所述机械臂的运行包络是否存在交集；
确定存在交集的情况下，控制所述机械臂进入安全模式。
5.根据权利要求4所述的方法，其特征在于，所述确定存在交集的情况下，控制所述机械臂进入安全模式，包括：
若所述采集盲区内人体部位的三维关键点与所述机械臂的运行包络存在交集，则判定所述机械臂与人体有碰撞风险，控制所述机械臂停止运动或降低速度运动。
6.根据权利要求4所述的方法，其特征在于，还包括：
若所述采集盲区内人体部位的三维关键点与所述机械臂的运行包络无交集，则判定所述机械臂与人体无碰撞风险，控制所述机械臂保持正常工作模式。
7.根据权利要求4所述的方法，其特征在于，所述获取机械臂的运行包络，包括：
为所述机械臂与人体部位的三维关键点建立同一个坐标系；
在所述坐标系下标定出所述机械臂的运行包络。
8.根据权利要求4-7中任一项所述的方法，其特征在于，所述机械臂位于座舱内。
9.根据权利要求4-7中任一项所述的方法，其特征在于，所述人体图像由2D或3D采集装置采集得到。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被一个处理器单独执行时或多个处理器配合执行时实现权利要求1至9中任意一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211248459.4A CN117912093A (zh) | 2022-10-12 | 2022-10-12 | 人体姿态检测方法和基于视觉感知的安全人机交互方法 |
| PCT/CN2023/104188 WO2024078037A1 (zh) | 2022-10-12 | 2023-06-29 | 人体姿态检测方法和基于视觉感知的安全人机交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211248459.4A CN117912093A (zh) | 2022-10-12 | 2022-10-12 | 人体姿态检测方法和基于视觉感知的安全人机交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117912093A true CN117912093A (zh) | 2024-04-19 |
Family
ID=90668665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211248459.4A Pending CN117912093A (zh) | 2022-10-12 | 2022-10-12 | 人体姿态检测方法和基于视觉感知的安全人机交互方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117912093A (zh) |
| WO (1) | WO2024078037A1 (zh) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10339389B2 (en) * | 2014-09-03 | 2019-07-02 | Sharp Laboratories Of America, Inc. | Methods and systems for vision-based motion estimation |
| US11927965B2 (en) * | 2016-02-29 | 2024-03-12 | AI Incorporated | Obstacle recognition method for autonomous robots |
| US11074711B1 (en) * | 2018-06-15 | 2021-07-27 | Bertec Corporation | System for estimating a pose of one or more persons in a scene |
| CN110969105B (zh) * | 2019-11-22 | 2023-07-14 | 清华大学深圳国际研究生院 | 一种人体姿态估计方法 |
| CN112966574A (zh) * | 2021-02-22 | 2021-06-15 | 厦门艾地运动科技有限公司 | 人体三维关键点预测方法、装置及电子设备 |
| CN113449696B (zh) * | 2021-08-27 | 2021-12-07 | 北京市商汤科技开发有限公司 | 一种姿态估计方法、装置、计算机设备以及存储介质 |
| CN113837130B (zh) * | 2021-09-29 | 2023-08-08 | 福州大学 | 一种人体手部骨架检测方法及系统 |
| CN114627491A (zh) * | 2021-12-28 | 2022-06-14 | 浙江工商大学 | 一种基于极线汇聚的单人三维姿态估计方法 |
| CN114722913A (zh) * | 2022-03-16 | 2022-07-08 | 北京奕斯伟计算技术有限公司 | 姿态检测方法、装置、电子设备及计算机可读存储介质 |
| CN114663593B (zh) * | 2022-03-25 | 2023-04-07 | 清华大学 | 三维人体姿态估计方法、装置、设备及存储介质 |
| CN114800524B (zh) * | 2022-05-25 | 2023-06-20 | 宁波职业技术学院 | 一种人机交互协作机器人主动避碰的系统及方法 |
-
2022
- 2022-10-12 CN CN202211248459.4A patent/CN117912093A/zh active Pending
-
2023
- 2023-06-29 WO PCT/CN2023/104188 patent/WO2024078037A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024078037A1 (zh) | 2024-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3033999B1 (en) | Apparatus and method for determining the state of a driver | |
| CN106104203B (zh) | 一种移动物体的距离检测方法、装置及飞行器 | |
| WO2023000119A1 (zh) | 手势识别方法、装置、系统及车辆 | |
| WO2021051593A1 (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN109657638B (zh) | 障碍物定位方法、装置和终端 | |
| JP2014101075A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20210165993A1 (en) | Neural network training and line of sight detection methods and apparatus, and electronic device | |
| WO2022174594A1 (zh) | 基于多相机的裸手追踪显示方法、装置及系统 | |
| US20190318535A1 (en) | Display data processing method and apparatus | |
| US11443151B2 (en) | Driving assistant system, electronic device, and operation method thereof | |
| JP2017199302A (ja) | 判定装置、判定方法、判定プログラム及び記録媒体 | |
| CN112883790A (zh) | 一种基于单目摄像头的3d物体检测方法 | |
| JP2021530823A (ja) | ニューラルネットワークのトレーニング方法、視線追跡方法及び装置並びに電子機器 | |
| CN114859938A (zh) | 机器人、动态障碍物状态估计方法、装置和计算机设备 | |
| US20220012494A1 (en) | Intelligent multi-visual camera system and method | |
| WO2022257120A1 (zh) | 瞳孔位置的确定方法、装置及系统 | |
| CN116704125B (zh) | 一种基于三维点云的映射方法、装置、芯片及模组设备 | |
| CN117912093A (zh) | 人体姿态检测方法和基于视觉感知的安全人机交互方法 | |
| CN113534189A (zh) | 体重检测方法、人体特征参数检测方法及装置 | |
| JP2021092996A (ja) | 計測システム、車両、計測方法、計測装置及び計測プログラム | |
| CN102778684A (zh) | 基于fpga的嵌入式单目被动目标跟踪定位系统及方法 | |
| CN115601275A (zh) | 点云增广方法及装置、计算机可读存储介质、终端设备 | |
| CN111762155B (zh) | 车用测距系统及方法 | |
| CN111462251B (zh) | 摄像机标定方法及终端 | |
| TWI817580B (zh) | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |