CN112959322A - 控制方法、控制装置及终端设备 - Google Patents
控制方法、控制装置及终端设备 Download PDFInfo
- Publication number
- CN112959322A CN112959322A CN202110229276.7A CN202110229276A CN112959322A CN 112959322 A CN112959322 A CN 112959322A CN 202110229276 A CN202110229276 A CN 202110229276A CN 112959322 A CN112959322 A CN 112959322A
- Authority
- CN
- China
- Prior art keywords
- target
- depth data
- preset
- dimensional scene
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000011159 matrix material Substances 0.000 claims description 56
- 238000006243 chemical reaction Methods 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 30
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本申请提供的一种控制方法，包括：在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息；若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息；根据所述位置信息，控制所述指定设备的运行。通过上述方法，可以灵活有效地监控机器人等设备的操作，以保证操作安全性。
Description
技术领域
本申请属于控制技术领域，尤其涉及控制方法、控制装置、终端设备及计算机可读存储介质。
背景技术
近年来，机器人等机械控制设备的安全问题呈现逐年上升的趋势，诸如搬运设备、装备机器人、焊接机器人等设备的安全事故对人民的生命以及财产安全造成较大的危害。
而传统的设备安全防护手段以栅栏、光幕为主，占据空间大,成本高、灵活性差。因此，亟需一种灵活有效地控制机器人等设备的操作以保证操作安全性的方法。
发明内容
本申请实施例提供了控制方法、控制装置、终端设备及计算机可读存储介质，可以灵活有效地监控机器人等设备的操作，以保证操作安全性。
第一方面，本申请实施例提供了一种控制方法，包括：
在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息；
若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息；
根据所述位置信息，控制所述指定设备的运行。
第二方面，本申请实施例提供了一种控制装置，包括：
确定模块，用于在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息；
获取模块，用于若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息；
控制模块，用于根据所述位置信息，控制所述指定设备的运行。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如第一方面上述的控制方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如第一方面上述的控制方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中上述的控制方法。
本申请实施例与现有技术相比存在的有益效果是：本申请实施例中，在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息，从而可以基于三维场景信息针对性地确定所述指定设备的目标区域。然后，若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息，再根据所述位置信息，控制所述指定设备的运行，从而可以在信息感知维度较高的三维场景中，基于较为准确的目标区域以及目标物体的位置信息，灵活有效地控制机器人等指定设备的操作，保证了操作安全性，提升了针对指定设备的安全防护效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种控制方法的流程示意图；
图2是本申请一实施例提供的深度传感器的坐标系转换关系的一种示例性示意图；
图3是本申请一实施例提供的目标区域的一种示例性示意图；
图4是本申请一实施例提供的人体骨骼特征点的一种示例性示意图；
图5是本申请一实施例提供的一种控制装置的结构示意图；
图6是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请上述的技术方案，下面通过具体实施例来进行说明。
在设备运行过程中，设备的周围环境中很可能出现人、动物或者其他障碍物，从而可能会影响设备的安全运行，导致设备出现故障，并且还可能会伤害到人或者动物，导致安全事故。因此，需要通过一些设备安全防护手段来保障设备的安全运行。
目前，传统的设备安全防护手段以栅栏、光幕为主，占据空间大,成本高、灵活性差。此外，也有一些设备基于采集到的设备周围的二维图像信息进行安全监控，但是二维图像信息是平面信息，因此信息维度和信息量往往不足，从而容易导致对靠近设备的物体的状态的错误识别，使得对设备的安全控制出现错误，可靠性较差。
而本申请实施例中，可以基于三维视觉信息针对性地确定所述指定设备的目标区域。然后，若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息，再根据所述位置信息，控制所述指定设备的运行，从而可以在信息感知维度较高的三维场景中，基于较为准确的目标区域以及目标物体的位置信息，灵活有效地控制机器人等指定设备的操作，保证了操作安全性，提升了针对指定设备的安全防护效率。
具体地，图1示出了本申请实施例提供的一种控制方法的流程图，该控制方法可以应用于终端设备。
所述终端设备的类型可以为机器人、机械臂、机械控制平台、台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等，本申请实施例对终端设备的具体类型不作任何限制。
在一些实施例中，所述终端设备可以为指定设备。该指定设备可以与深度传感器等设备进行通信连接，以获得深度传感器所采集到的深度数据，从而根据深度数据生成预设三维场景，以及根据深度数据监控可能靠近该指定设备的人或动物等等目标物体，从而确定该指定设备本身的控制方式。或者，该指定设备也可以与诸如云端服务器等设备进行通信连接，以从云端服务器获取诸如预设三维场景、目标物体的位置信息等等数据，从而可以确定该指定设备本身的控制方式。
而在另一些实施例中，所述终端设备也可以是除指定设备之外的其它设备。该终端设备可以与深度传感器以及指定设备等进行通信连接，以进行信息传输。例如，可以从所述深度传感器获取深度数据，并进行相应的处理以获得预设三维场景以及目标物体的位置信息。在确定针对指定设备的控制方式之后，还可以将该控制方式发送给指定设备，以使得指定设备能够根据该控制方式进行控制。
如图1所示，该控制方法可以包括：
步骤S101，在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息。
本申请实施例中，所述指定设备的类型和结构在此不做限制。
示例性的，所述指定设备可以为机器人、机械臂或者其他设备(如生产线上的设备等)。若所述指定设备为机器人，则所述机器人可以为搬运机器人、装配机器人或者焊接机器人等等。
所述预设三维场景的具体获取方式可以有多种。示例性的，深度传感器在采集到所述指定设备所在的空间的三维数据之后，可以发送给执行本申请实施例的终端设备，然后所述终端设备可以针对该三维数据进行融合以及优化之后获得所述预设三维场景。或者，所述预设三维场景也可以是所述终端设备从云端服务器下载得到的。
可以理解的是，本申请实施例中，所述预设三维场景为基于实体场景构建得到的数字化场景，而非实体场景，所述预设三维场景中包含所述指定设备的数字化信息。例如，所述预设三维场景中可以包含指定设备的轮廓信息、各个特征点信息、颜色信息以及位置信息等等。相应的，所述目标区域也可以是在所述预设三维场景中，针对数字化的指定设备确定的区域，所述目标区域可以根据对应的指定区域特征点在所述预设三维场景所对应的坐标系中的坐标信息来表示。
所述目标区域的具体确定方式可以有多种。示例性的，可以根据所述指定设备的基座特征点等静态特征点确定所述目标区域，和/或，也可以根据所述指定设备的末端执行器特征点等动态特征点确定所述目标区域。
所述目标区域的大小以及形状等等在此也不做限制，在实际场景中，可以根据所述指定设备的安全防护需求、活动区域以及尺寸等等灵活设置。示例性的，所述目标区域可以为球形区域、圆柱形区域、长方体区域等等。所述目标区域中可以包含整个所述指定设备，也可以仅包含所述指定设备中的部分部件(例如，仅包含所述指定设备的机械臂结构等等)。
本申请实施例中，可以基于三维场景信息针对性地确定所述指定设备的目标区域，从而使得该目标区域较为准确，为后续的安全控制提供了较好的数据基础。
在一些实施例中，在预设三维场景中确定关于指定设备的目标区域之前，还包括：
获取至少两组深度数据，各组所述深度数据分别由不同的深度传感器采集得到；
根据至少一个转换矩阵和各组所述深度数据，获得所述预设三维场景，每一所述转换矩阵用于标识两个所述深度传感器的坐标系之间的转换关系，针对每一个所述深度传感器，所述深度传感器与至少一个其他深度传感器之间对应有所述转换矩阵。
本申请实施例中，所述深度传感器的类型在此不做限定。示例性的，所述深度传感器可以为飞行时间(time-of-flight，ToF)传感器、结构光深度相机、激光雷达相机、双目立体视觉相机等中的至少一种。所述深度传感器的个数的具体取值也可以根据实际应用场景来确定。本申请实施例中，所述深度传感器的个数为至少两个，此时，可以获得至少两个视角下的深度数据，从而可以有效避免数据采集的盲点，以实现对指定设备的作业全景的较为全面的扫描和监控。
所述深度传感器的具体安装位置也可以有多种。示例性的，所述深度传感器可以安装于所述指定设备的上方、侧面或者下方，也可以安装于所述指定设备上。在一种示例中，所述深度传感器可以安装于所述指定设备的作业空间的上方，从而避免对所述指定设备以及目标物体的运动的干扰。
本申请实施例中，针对每一组所述深度数据，该组所述深度数据与所述至少两组深度数据中的至少一组其他深度数据之间存在相同的特征点，从而可以根据该相同的特征点获得相应的两个深度传感器之间的转换矩阵。
其中，所述转换矩阵可以包括旋转矩阵和平移向量。所述转换矩阵可以是对相应的两个深度传感器的相对位姿关系进行标定而得到。所述转换矩阵的具体确定方式在此不做限制，具体确定时机也可以根据实际场景需求来确定，示例性的，该转换矩阵可以是预先确定好的，也可以是在获得所述至少两个深度数据之后再根据所述至少两个深度数据进行确定。
在一种示例中，可以通过经典棋盘格标定法来进行标定，以获得相应的两个深度传感器之间的坐标系转换关系。
在具体的标定过程中，若所述深度传感器基于红外线来进行检测，则经典棋盘格标定法所使用的棋盘格标定板上可采用红外标志点或使用额外的红外光源进行打光，以提高标定过程中的特征识别的精度和准确度。
本申请实施例中，每一所述转换矩阵用于标识两个所述深度传感器的坐标系之间的转换关系，针对每一个所述深度传感器，所述深度传感器与至少一个其他深度传感器之间对应有所述转换矩阵。
此时，若深度传感器X与深度传感器Y之间存在转换矩阵N1，则可以根据转换矩阵N1将深度传感器Y所对应的深度数据直接转换至深度传感器X的坐标系下。而若深度传感器X与深度传感器Y之间不存在转换矩阵，但深度传感器X与深度传感器Z之间存在转换矩阵N2，深度传感器Z与深度传感器Y之间存在转换矩阵N3，则可以根据转换矩阵N2以及转换矩阵N3将深度传感器Y所对应的深度数据转换至深度传感器X的坐标系下。
在一些实施例中，所述根据至少一个转换矩阵和各组所述深度数据，获得所述预设三维场景，包括：
根据所述至少一个转换矩阵，获得至少两组目标深度数据，所述至少两组目标深度数据与所述至少两组深度数据一一对应，各组所述目标深度数据对应的坐标系相同；
根据所述至少两组目标深度数据，获得所述预设三维场景。
本申请实施例中，可以根据所述至少一个转换矩阵，将所述至少两组深度数据统一至同一坐标系下，以便于进行后续的数据融合等操作。其中，该目标深度数据的坐标系可以为某一深度传感器所对应的坐标系，也可以为预设的其他世界坐标系。
在一种示例中，该目标深度数据的坐标系可以为某一深度传感器(设为深度传感器A)所对应的坐标系。此时，若已确定深度传感器B与深度传感器A之间的转换矩阵X1以及深度传感器C与深度传感器A之间的转换矩阵X2，则可以根据X1将所述深度传感器B的深度数据转换为一组目标深度数据，并根据X2将所述深度传感器C的深度数据转换为另一组目标深度数据。而若已确定深度传感器B与深度传感器A之间的转换矩阵X1以及深度传感器B与深度传感器C之间的转换矩阵X3，则可以根据X3将所述深度传感器C的深度数据转换至在深度传感器B所对应的坐标系下的中间数据，再根据X1将该中间数据转换为一组目标深度数据。可见，各组目标深度数据的具体获取方式可以基于所述转换矩阵来确定。
在一些实施例中，所述至少两组目标深度数据由一组第一深度数据和至少一组第二深度数据构成；
所述根据所述至少两组目标深度数据，获得所述预设三维场景，包括：
针对每一组第二深度数据，获得包含所述第二深度数据和所述第一深度数据的数据对；
根据所述数据对和预设配准算法，获得融合数据；
根据各个所述数据对所对应的融合数据，获得所述预设三维场景。
在一种示例中，所述第一深度数据可以为坐标系与所述目标深度数据的坐标系相同的深度数据，以针对每一个数据对，通过预设配准算法将所述数据对中的数据向所述目标深度数据的坐标系进行配准优化，提升了各组融合数据的匹配性，从而提升了所述预设三维场景的准确性。
本申请实施例中，在获取到所述至少两组目标深度数据之后，由于各组目标深度数据之间往往依然存在拼接误差以及大量重合数据。因此，需要进行进一步的优化处理，以得到更好的数据融合结果。具体的，针对每一组第二深度数据，可以获得包含所述第二深度数据和所述第一深度数据的数据对，然后根据所述数据对和预设配准算法，获得融合数据。其中，一组数据对可以对应两个深度传感器，此时，可以根据该数据对和所述预设配准算法，对该两个深度传感器之间的相互位姿关系进行优化，从而获得较为准确的数据配准结果，即获得准确的融合数据。
示例性的，所述预设配准算法可以为迭代最近邻点(Iterative Closest Point,ICP)算法、核心相关(Kernel Correlation，KC)算法、鲁棒点匹配(Robust PointMatching，RPM)算法等等。
下面以4个深度传感器为例，说明本申请实施例的一种示例性具体实施方式。
该4个深度传感器所分别对应的目标深度数据X1、
以及
其中X1可以为第一深度数据。此时，可以组成三组数据对
对每组数据对采用ICP(Iterative Closest Point,迭代最近邻点法)进行融合，获得每组数据对所对应的融合数据，再融合各组所述融合数据，可以获得预设三维场景。
在一些实施例中，所述至少两组深度数据由一组第三深度数据和至少一组第四深度数据构成，所述第三深度数据的坐标系与所述目标深度数据的坐标系相同；
所述根据所述至少一个转换矩阵，获得至少两组目标深度数据，包括：
根据所述至少一个转换矩阵，将每一组所述第四深度数据转换为对应的目标深度数据，并将所述第三深度数据作为一组所述目标深度数据。
本申请实施例中，可以将所述第三深度数据对应的深度传感器的坐标系可以作为所述预设三维场景对应的世界坐标系。所述至少一个转换矩阵可以包括目标深度传感器与其他深度传感器之间的转换矩阵，也可以包括任意两个其他深度传感器之间的转换矩阵。
下面以具体示例，说明本申请实施例的一种示例性实施方式。
在一种示例中，可以将深度传感器1的坐标系作为世界坐标系。此时，深度传感器2与深度传感器1之间的转换矩阵可以为[R21,T21]，深度传感器2的深度数据X2可以通过以下公式转换至深度传感器1的坐标系中，以获得一组目标深度数据
其中，
为X2换算到世界坐标系后的目标深度数据，R21是深度传感器2与深度传感器1之间的旋转矩阵，T21是深度传感器2与深度传感器1之间的平移向量。
除深度传感器2之外的其他深度传感器的深度数据转换到世界坐标系可以分为两种情况。
第一种情况是该其他深度传感器与深度传感器1之间存在转换矩阵，这样可通过类似深度传感器2的深度数据的转换方法进行转换，在此不再赘述。第二种情况是该其他深度传感器与深度传感器1之间不存在转换矩阵，则需要根据至少两个转换矩阵来进行转换。
例如，如图2中所示，深度传感器3不与深度传感器1相邻，因此无法通过与深度传感器1共同观察同样的特征点来进行标定并获得转换矩阵。此时，可通过深度传感器3与深度传感器4或者深度传感器2之间的转换矩阵来进行转换。例如，可以基于以下公式，将深度传感器3的深度数据X3转换至深度传感器1的坐标系中，获得一组目标深度数据
其中，
为X3换算到世界坐标系后的目标深度数据，R32是深度传感器3与深度传感器2之间的旋转矩阵，T32是深度传感器3与深度传感器2之间的平移向量。
步骤S102，若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息。
本申请实施例中，所述目标物体的类型在此不做限制。示例性的，所述目标物体可以为人、动物或者球体等等。所述预设条件可以基于实际场景需求来确定。例如，所述预设条件可以指所述目标物体进入所述预设三维场景中，或者，所述目标物体与所述目标区域的距离小于预设距离，或者，所述目标物体进入所述目标区域中等等。
可以理解的是，所述目标物体在所述预设三维场景中可以根据所述目标物体所对应的物体特征点、物体颜色信息、物体轮廓信息等等信息来表示。
在所述预设三维场景中检测满足预设条件的目标物体的具体方式可以有多种。示例性的，可以通过卷积神经网络模型等目标检测算法在所述预设三维场景中对目标物体进行检测。
所述目标物体的第一特征点可以有一个或者至少两个。在一些示例中，所述第一特征点可以包括目标物体的轮廓特征点。而在另一些示例中，所述第一特征点可以包括所述目标物体的关节特征点。
所述位置信息可以包括所述第一特征点与所述目标区域中的指定特征点之间的距离信息。其中，示例性的，所述目标区域中的指定特征点可以为所述目标区域的中心点、指定边缘顶点以及指定边缘中点等等中的至少一种。
在实际应用场景中，该目标物体可能成为所述指定设备运行过程中的障碍物，从而影响所述指定设备的安全运行。
在一种实施例中，所述在预设三维场景中确定关于指定设备的目标区域，包括：
在所述预设三维场景中，追踪所述指定设备上的第二特征点；
根据所述第二特征点，实时确定所述目标区域。
本申请实施例中，可以通过诸如卷积神经网络模型等目标检测算法等实时检测所述指定设备上的第二特征点。该第二特征点可以用于标注所述指定设备上的指定部件的操作，例如，该第二特征点可以位于所述指定设备的末端执行件上。此时，可以根据追踪到的所述第二特征点的坐标信息等，实时地动态确定所述目标区域，以使得所述目标区域可以准确地框定所述指定设备所涉及的安全作业空间，安全防护的针对性更强，从而为后续对所述指定设备的安全控制提供准确的数据基础。
步骤S103，根据所述位置信息，控制所述指定设备的运行。
本申请实施例中，可以根据所述位置信息，确定针对所述指定设备的控制策略，也可以根据所述位置信息，确定针对所述指定设备的控制参数等等，从而控制所述指定设备的运行。
通过所述位置信息，可以反映所述目标物体所在的位置是否会影响所述指定设备当前的操作的安全性，因此，可以根据所述位置信息，选择较为安全的适当的控制方式对所述指定设备进行控制，以提升针对所述指定设备进行控制时的安全性，减少对周围的事物以及所述指定设备本身的安全事故的发生。
在一种实施例中，所述目标区域包括至少两个目标子区域；
所述根据所述位置信息，控制所述指定设备的运行，包括：
若所述位置信息指示所述第一特征点位于任一目标子区域中，则确定针对所述指定设备的目标控制方式为所述第一特征点所在的目标子区域对应的控制方式；
根据所述目标控制方式，控制所述指定设备的运行。
本申请实施例中，每个目标子区域可以对应不同的安全防护等级的控制方式，从而可以根据所述第一特征点所在的目标子区域，确定针对所述指定设备的控制方式。
本申请实施例中，所述控制方式可以有多种。
示例性的，所述目标区域可以为半径为K1的球形区域，目标子区域N1为半径不大于K2的球形区域，目标子区域N2为目标区域中除目标子区域N1之外的区域，K1>K2。
若所述目标区域中不包含所述第一特征点，则可以确定针对所述指定设备的控制方式为第一控制方式。其中，该第一控制方式可以指示所述指定设备根据预设指令进行控制；
若所述第一特征点位于目标子区域N2，则可以确定针对所述指定设备的控制方式为第二控制方式。其中，该第二控制方式可以指示所述指定设备的指定部件的运动速度小于预设速度阈值；
若所述第一特征点位于目标子区域N1，则可以确定针对所述指定设备的控制方式为第三控制方式。其中，该第三控制方式可以指示所述指定设备的指定部件停止运动。
当然，所述控制方式也可以包括其他控制方式，例如，可以包括诸如语音提示等提示操作等。
通过设置至少两个目标子区域，可以分别针对不同的目标子区域，确定针对所述指定设备的不同等级的安全防护操作，从而提升设备安全控制的安全性，同时减小对指定设备的正常操作的负面影响。
如图3所示，在一种示例中，深度传感器可以位于指定区域的上方，从而获取关于指定设备的深度数据，并确定关于所述指定设备的目标区域。
该指定设备包括两个机械臂，因此，可以分别针对每个机械臂确定对应的目标区域。
每一个所述目标区域可以为球形区域。所述目标子区域可以包含目标子区域P1和目标子区域P2。
其中，目标子区域P1可以为降速区，若所述第一特征点位于目标子区域P1中，则可以限制所述指定设备的执行件的速度。
示例性的，目标子区域P1：
此时，该目标子区域P1可以为半径在(R1，R2]区间内的区域。
目标子区域P2可以为急停区，若所述第一特征点位于目标子区域P2中，则可以停止所述指定设备的执行件的运动。
示例性的，目标子区域P2：
{ΠP2(x,y,z):(x-Ox)2+(y-Oy)2+(z-Oz)2≤R1}
此时，该目标子区域P2可以为半径在(0，R1]区间内的区域。
在一种实施例中，所述目标区域包括至少两个目标子区域；
所述根据所述位置信息，控制所述指定设备的运行，包括：
若所述位置信息指示所述第一特征点位于任一目标子区域中，则根据所述第一特征点所在的目标子区域对应的预设等级，确定所述指定设备的目标运动控制参数；
根据所述目标运动控制参数，控制所述指定设备的运行。
本申请实施例中，所述目标运动控制参数可以为速度、加速度以及运动方向等等中的至少一种。所述预设等级可以指示所述目标子区域的安全防护等级，因此，根据所述预设等级，可以确定适合当前安全形势的目标运动控制参数的取值范围或者具体取值，从而控制所述指定设备的运行。
在一种实施例中，所述若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息，包括：
若在所述预设三维场景中检测到目标物体，则获取所述目标物体的至少一个关节特征点的特征点信息；
若根据所述特征点信息，确定存在任一所述关节特征点位于所述目标区域，则确定在所述预设三维场景中检测到满足预设条件的目标物体，并从位于所述目标区域的关节特征点中确定所述第一特征点；
获取所述第一特征点相对于所述目标区域的位置信息。
本申请实施例中，关节特征点可以较为完整地表征诸如人等目标物体的运动情况，因此，相对于诸如人脸识别得到的面部特征点等其他特征点，关节特征点可以更好地捕捉目标物体的运动，并更好地进行安全防护。
在一种示例中，所述目标物体可以是人，所述关节特征点可以包括人体骨骼特征点。
如图4所示，为人体骨骼特征点的一种示例性示意图。其中，人体可以包括20个主要骨骼点，分别位于髋关节中心、脊柱、双肩中心、头部、左肩、左肘、左腕、左手、右肩、右肘、右腕、右手、左髋关节、左膝、左踝、左脚、右髋关节、右膝、右踝以及右脚。
在一种实施例中，可以通过至少两个深度传感器来检测所述目标物体的至少一个关节特征点的特征点信息，以提升关节特征点检测的全面性以及准确性。
对于进入指定设备的作业空间的人来说，可以通过预先设置的深度传感器准确捕捉到人相对于指定设备的运动情况，而避免了无法进行侧面人脸识别等识别不出来以及识别不准确的问题。
在一种示例中，可以判断每个关节特征点与目标区域之间的位置关系。例如，针对20个人体骨骼点Pi(xi,yi,zi),i＝1,...,20，若所述目标区域为球形区域，则各个人体骨骼点相对于所述目标区域的位置信息可以包括每个Pi与目标区域的中心O(Ox,Oy,Oz)之间的距离di：
使用dmin＝min{,i＝1,…,20}作为人体与目标区域之间的最小距离，若R1<dmin≤R2，则人已进入表示降速区的目标子区域P1，指定设备进行适当的降速操作；若R1＞dmin，则人已进入表示急停区的目标子区域P2，需要指定设备进行保护性停止操作。其他情况下，则无需操作。当然，各个所述目标子区域的预设等级、半径以及指定设备进行的相应安全控制可根据实际需要进行调整。
本申请实施例中，在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息，从而可以基于三维场景信息针对性地确定所述指定设备的目标区域。然后，若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息，再根据所述位置信息，控制所述指定设备的运行，从而可以在信息感知维度较高的三维场景中，基于较为准确的目标区域以及目标物体的位置信息，灵活有效地控制机器人等指定设备的操作，保证了操作安全性，提升了针对指定设备的安全防护效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例上述的控制方法，图5示出了本申请实施例提供的一种控制装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图5，该控制装置5包括：
确定模块501，用于在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息；
获取模块502，用于若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息；
控制模块503，用于根据所述位置信息，控制所述指定设备的运行。
可选的，所述目标区域包括至少两个目标子区域；
所述控制模块503包括：
第一确定单元，用于若所述位置信息指示所述第一特征点位于任一目标子区域中，则确定针对所述指定设备的目标控制方式为所述第一特征点所在的目标子区域对应的控制方式；
第一控制单元，用于根据所述目标控制方式，控制所述指定设备的运行。
可选的，所述目标区域包括至少两个目标子区域；
所述控制模块503包括：
第二确定单元，用于若所述位置信息指示所述第一特征点位于任一目标子区域中，则根据所述第一特征点所在的目标子区域对应的预设等级，确定所述指定设备的目标运动控制参数；
第二控制单元，用于根据所述目标运动控制参数，控制所述指定设备的运行。
可选的，所述获取模块502包括：
第一获取单元，用于若在所述预设三维场景中检测到目标物体，则获取所述目标物体的至少一个关节特征点的特征点信息；
第三确定单元，用于若根据所述特征点信息，确定存在任一所述关节特征点位于所述目标区域，则确定在所述预设三维场景中检测到满足预设条件的目标物体，并从位于所述目标区域的关节特征点中确定所述第一特征点；
第二获取单元，用于获取所述第一特征点相对于所述目标区域的位置信息。
可选的，所述控制装置5还包括：
第二获取模块，用于获取至少两组深度数据，各组所述深度数据分别由不同的深度传感器采集得到；
处理模块，用于根据至少一个转换矩阵和各组所述深度数据，获得所述预设三维场景，每一所述转换矩阵用于标识两个所述深度传感器的坐标系之间的转换关系，针对每一个所述深度传感器，所述深度传感器与至少一个其他深度传感器之间对应有所述转换矩阵。
可选的，所述处理模块包括：
第一处理单元，用于根据所述至少一个转换矩阵，获得至少两组目标深度数据，所述至少两组目标深度数据与所述至少两组深度数据一一对应，各组所述目标深度数据对应的坐标系相同；
第二处理单元，用于根据所述至少两组目标深度数据，获得所述预设三维场景。
可选的，所述至少两组目标深度数据由一组第一深度数据和至少一组第二深度数据构成；
所述第二处理单元包括：
第一处理子单元，用于针对每一组第二深度数据，获得包含所述第二深度数据和所述第一深度数据的数据对；
第二处理子单元，用于根据所述数据对和预设配准算法，获得融合数据；
第三处理子单元，用于根据各个所述数据对所对应的融合数据，获得所述预设三维场景。
可选的，所述至少两组深度数据由一组第三深度数据和至少一组第四深度数据构成，所述第三深度数据的坐标系与所述目标深度数据的坐标系相同；
所述第一处理单元具体用于：
根据所述至少一个转换矩阵，将每一组所述第四深度数据转换为对应的目标深度数据，并将所述第三深度数据作为一组所述目标深度数据。
本申请实施例中，在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息，从而可以基于三维场景信息针对性地确定所述指定设备的目标区域。然后，若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息，再根据所述位置信息，控制所述指定设备的运行，从而可以在信息感知维度较高的三维场景中，基于较为准确的目标区域以及目标物体的位置信息，灵活有效地控制机器人等指定设备的操作，保证了操作安全性，提升了针对指定设备的安全防护效率。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图6为本申请一实施例提供的终端设备的结构示意图。如图6所示，该实施例的终端设备6包括：至少一个处理器60(图6中仅示出一个)、存储器61以及存储在上述存储器61中并可在上述至少一个处理器60上运行的计算机程序62，上述处理器60执行上述计算机程序62时实现上述任意各个控制方法实施例中的步骤。
上述终端设备6可以是机器人、机械臂、服务器、手机、可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、桌上型计算机、笔记本、台式电脑以及掌上电脑等计算设备。该终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备6的举例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入设备、输出设备、网络接入设备等。其中，上述输入设备可以包括键盘、触控板、指纹采集传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、摄像头等，输出设备可以包括显示器、扬声器等。
上述处理器60可以是中央处理单元(Central Processing Unit，CPU)，该处理器60还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器61在一些实施例中可以是上述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。上述存储器61在另一些实施例中也可以是上述终端设备6的外部存储设备，例如上述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器61还可以既包括上述终端设备6的内部存储单元也包括外部存储设备。上述存储器61用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
另外，尽管未示出，上述终端设备6还可以包括网络连接模块，如蓝牙模块Wi-Fi模块、蜂窝网络模块等等，在此不再赘述。
本申请实施例中，上述处理器60执行上述计算机程序62以实现上述任意各个控制方法实施例中的步骤时，在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息，从而可以基于三维场景信息针对性地确定所述指定设备的目标区域。然后，若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息，再根据所述位置信息，控制所述指定设备的运行，从而可以在信息感知维度较高的三维场景中，基于较为准确的目标区域以及目标物体的位置信息，灵活有效地控制机器人等指定设备的操作，保证了操作安全性，提升了针对指定设备的安全防护效率。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (20)
1.一种控制方法，其特征在于，包括：
在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息；
若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息；
根据所述位置信息，控制所述指定设备的运行。
2.如权利要求1所述的控制方法，其特征在于，所述目标区域包括至少两个目标子区域；
所述根据所述位置信息，控制所述指定设备的运行，包括：
若所述位置信息指示所述第一特征点位于任一目标子区域中，则确定针对所述指定设备的目标控制方式为所述第一特征点所在的目标子区域对应的控制方式；
根据所述目标控制方式，控制所述指定设备的运行。
3.如权利要求1所述的控制方法，其特征在于，所述目标区域包括至少两个目标子区域；
所述根据所述位置信息，控制所述指定设备的运行，包括：
若所述位置信息指示所述第一特征点位于任一目标子区域中，则根据所述第一特征点所在的目标子区域对应的预设等级，确定所述指定设备的目标运动控制参数；
根据所述目标运动控制参数，控制所述指定设备的运行。
4.如权利要求1所述的控制方法，其特征在于，所述若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息，包括：
若在所述预设三维场景中检测到目标物体，则获取所述目标物体的至少一个关节特征点的特征点信息；
若根据所述特征点信息，确定存在任一所述关节特征点位于所述目标区域，则确定在所述预设三维场景中检测到满足预设条件的目标物体，并从位于所述目标区域的关节特征点中确定所述第一特征点；
获取所述第一特征点相对于所述目标区域的位置信息。
5.如权利要求1所述的控制方法，其特征在于，在预设三维场景中确定关于指定设备的目标区域之前，还包括：
获取至少两组深度数据，各组所述深度数据分别由不同的深度传感器采集得到；
根据至少一个转换矩阵和各组所述深度数据，获得所述预设三维场景，每一所述转换矩阵用于标识两个所述深度传感器的坐标系之间的转换关系，针对每一个所述深度传感器，所述深度传感器与至少一个其他深度传感器之间对应有所述转换矩阵。
6.如权利要求5所述的控制方法，其特征在于，所述根据至少一个转换矩阵和各组所述深度数据，获得所述预设三维场景，包括：
根据所述至少一个转换矩阵，获得至少两组目标深度数据，所述至少两组目标深度数据与所述至少两组深度数据一一对应，各组所述目标深度数据对应的坐标系相同；
根据所述至少两组目标深度数据，获得所述预设三维场景。
7.如权利要求6所述的控制方法，其特征在于，所述至少两组目标深度数据由一组第一深度数据和至少一组第二深度数据构成；
所述根据所述至少两组目标深度数据，获得所述预设三维场景，包括：
针对每一组第二深度数据，获得包含所述第二深度数据和所述第一深度数据的数据对；
根据所述数据对和预设配准算法，获得融合数据；
根据各个所述数据对所对应的融合数据，获得所述预设三维场景。
8.如权利要求6所述的控制方法，其特征在于，所述至少两组深度数据由一组第三深度数据和至少一组第四深度数据构成，所述第三深度数据的坐标系与所述目标深度数据的坐标系相同；
所述根据所述至少一个转换矩阵，获得至少两组目标深度数据，包括：
根据所述至少一个转换矩阵，将每一组所述第四深度数据转换为对应的目标深度数据，并将所述第三深度数据作为一组所述目标深度数据。
9.如权利要求1至8任意一项所述的控制方法，其特征在于，所述在预设三维场景中确定关于指定设备的目标区域，包括：
在所述预设三维场景中，追踪所述指定设备上的第二特征点；
根据所述第二特征点，实时确定所述目标区域。
10.一种控制装置，其特征在于，包括：
确定模块，用于在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息；
获取模块，用于若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息；
控制模块，用于根据所述位置信息，控制所述指定设备的运行。
11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：
在预设三维场景中确定关于指定设备的目标区域，所述预设三维场景中包含所述指定设备的信息；
若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息；
根据所述位置信息，控制所述指定设备的运行。
12.如权利要求11所述的终端设备，其特征在于，所述目标区域包括至少两个目标子区域；
所述处理器执行所述计算机程序时，所述根据所述位置信息，控制所述指定设备的运行，包括：
若所述位置信息指示所述第一特征点位于任一目标子区域中，则确定针对所述指定设备的目标控制方式为所述第一特征点所在的目标子区域对应的控制方式；
根据所述目标控制方式，控制所述指定设备的运行。
13.如权利要求11所述的终端设备，其特征在于，所述目标区域包括至少两个目标子区域；
所述处理器执行所述计算机程序时，所述根据所述位置信息，控制所述指定设备的运行，包括：
若所述位置信息指示所述第一特征点位于任一目标子区域中，则根据所述第一特征点所在的目标子区域对应的预设等级，确定所述指定设备的目标运动控制参数；
根据所述目标运动控制参数，控制所述指定设备的运行。
14.如权利要求11所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，所述若在所述预设三维场景中检测到满足预设条件的目标物体，则获取所述目标物体的第一特征点相对于所述目标区域的位置信息，包括：
若在所述预设三维场景中检测到目标物体，则获取所述目标物体的至少一个关节特征点的特征点信息；
若根据所述特征点信息，确定存在任一所述关节特征点位于所述目标区域，则确定在所述预设三维场景中检测到满足预设条件的目标物体，并从位于所述目标区域的关节特征点中确定所述第一特征点；
获取所述第一特征点相对于所述目标区域的位置信息。
15.如权利要求11所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，在预设三维场景中确定关于指定设备的目标区域之前，还包括：
获取至少两组深度数据，各组所述深度数据分别由不同的深度传感器采集得到；
根据至少一个转换矩阵和各组所述深度数据，获得所述预设三维场景，每一所述转换矩阵用于标识两个所述深度传感器的坐标系之间的转换关系，针对每一个所述深度传感器，所述深度传感器与至少一个其他深度传感器之间对应有所述转换矩阵。
16.如权利要求15所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，所述根据至少一个转换矩阵和各组所述深度数据，获得所述预设三维场景，包括：
根据所述至少一个转换矩阵，获得至少两组目标深度数据，所述至少两组目标深度数据与所述至少两组深度数据一一对应，各组所述目标深度数据对应的坐标系相同；
根据所述至少两组目标深度数据，获得所述预设三维场景。
17.如权利要求16所述的终端设备，其特征在于，所述至少两组目标深度数据由一组第一深度数据和至少一组第二深度数据构成；
所述处理器执行所述计算机程序时，所述根据所述至少两组目标深度数据，获得所述预设三维场景，包括：
针对每一组第二深度数据，获得包含所述第二深度数据和所述第一深度数据的数据对；
根据所述数据对和预设配准算法，获得融合数据；
根据各个所述数据对所对应的融合数据，获得所述预设三维场景。
18.如权利要求16所述的终端设备，其特征在于，所述至少两组深度数据由一组第三深度数据和至少一组第四深度数据构成，所述第三深度数据的坐标系与所述目标深度数据的坐标系相同；
所述处理器执行所述计算机程序时，所述根据所述至少一个转换矩阵，获得至少两组目标深度数据，包括：
根据所述至少一个转换矩阵，将每一组所述第四深度数据转换为对应的目标深度数据，并将所述第三深度数据作为一组所述目标深度数据。
19.如权利要求11至18任意一项所述的终端设备，其特征在于，所述处理器执行所述计算机程序时，所述在预设三维场景中确定关于指定设备的目标区域，包括：
在所述预设三维场景中，追踪所述指定设备上的第二特征点；
根据所述第二特征点，实时确定所述目标区域。
20.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110229276.7A CN112959322A (zh) | 2021-03-02 | 2021-03-02 | 控制方法、控制装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110229276.7A CN112959322A (zh) | 2021-03-02 | 2021-03-02 | 控制方法、控制装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112959322A true CN112959322A (zh) | 2021-06-15 |
Family
ID=76276280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110229276.7A Pending CN112959322A (zh) | 2021-03-02 | 2021-03-02 | 控制方法、控制装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112959322A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115847431A (zh) * | 2023-02-27 | 2023-03-28 | 深圳市越疆科技股份有限公司 | 机械臂的路点设置方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100191372A1 (en) * | 2009-01-26 | 2010-07-29 | Fanuc Ltd | Production system having cooperating process area between human and robot |
| CN108673501A (zh) * | 2018-05-17 | 2018-10-19 | 中国科学院深圳先进技术研究院 | 一种机器人的目标跟随方法及装置 |
| CN108733044A (zh) * | 2017-09-29 | 2018-11-02 | 北京猎户星空科技有限公司 | 避障方法、装置、机器人和计算机可读存储介质 |
| CN110216674A (zh) * | 2019-06-20 | 2019-09-10 | 北京科技大学 | 一种冗余自由度机械臂视觉伺服避障系统 |
| US20200047342A1 (en) * | 2019-08-08 | 2020-02-13 | Lg Electronics Inc. | Driving method of robot |
| CN111951376A (zh) * | 2020-07-28 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 融合结构光和光度学的三维对象重建方法及终端设备 |
-
2021
- 2021-03-02 CN CN202110229276.7A patent/CN112959322A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100191372A1 (en) * | 2009-01-26 | 2010-07-29 | Fanuc Ltd | Production system having cooperating process area between human and robot |
| CN108733044A (zh) * | 2017-09-29 | 2018-11-02 | 北京猎户星空科技有限公司 | 避障方法、装置、机器人和计算机可读存储介质 |
| CN108673501A (zh) * | 2018-05-17 | 2018-10-19 | 中国科学院深圳先进技术研究院 | 一种机器人的目标跟随方法及装置 |
| CN110216674A (zh) * | 2019-06-20 | 2019-09-10 | 北京科技大学 | 一种冗余自由度机械臂视觉伺服避障系统 |
| US20200047342A1 (en) * | 2019-08-08 | 2020-02-13 | Lg Electronics Inc. | Driving method of robot |
| CN111951376A (zh) * | 2020-07-28 | 2020-11-17 | 中国科学院深圳先进技术研究院 | 融合结构光和光度学的三维对象重建方法及终端设备 |
Non-Patent Citations (2)
| Title |
|---|
| HUANG S , GU F , CHENG Z , ET AL: "A Joint Calibration Method for the 3D Sensing System Composed with ToF and Stereo Camera", 《IEEE》 * |
| 周自维: "基于立体视觉的环境构建及机器人路径规划研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115847431A (zh) * | 2023-02-27 | 2023-03-28 | 深圳市越疆科技股份有限公司 | 机械臂的路点设置方法、装置、电子设备及存储介质 |
| CN115847431B (zh) * | 2023-02-27 | 2023-05-09 | 深圳市越疆科技股份有限公司 | 机械臂的路点设置方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11833692B2 (en) | Method and device for controlling arm of robot | |
| CN111814752B (zh) | 室内定位实现方法、服务器、智能移动设备、存储介质 | |
| CN112528831A (zh) | 多目标姿态估计方法、多目标姿态估计装置及终端设备 | |
| CN113362446B (zh) | 基于点云数据重建对象的方法及装置 | |
| JP2010530086A (ja) | イメージングモデル及び画像処理装置 | |
| CN108628442B (zh) | 一种信息提示方法、装置以及电子设备 | |
| JP2021531601A (ja) | ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器 | |
| CN110096152B (zh) | 身体部位的空间定位方法、装置、设备及存储介质 | |
| CN113362445B (zh) | 基于点云数据重建对象的方法及装置 | |
| CN111433783A (zh) | 手部模型生成方法、装置、终端设备及手部动作捕捉方法 | |
| CN110222651A (zh) | 一种人脸姿态检测方法、装置、终端设备及可读存储介质 | |
| US10623629B2 (en) | Imaging apparatus and imaging condition setting method and program | |
| CN113557492B (zh) | 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质 | |
| CN113971835A (zh) | 一种家电设备的控制方法、装置、存储介质及终端设备 | |
| CN113159161A (zh) | 目标匹配方法和装置、设备及存储介质 | |
| CN110850973B (zh) | 音频设备的控制方法、音频设备及存储介质 | |
| CN115552348A (zh) | 移动目标跟随方法、机器人和计算机可读存储介质 | |
| CN112959322A (zh) | 控制方法、控制装置及终端设备 | |
| WO2022183372A1 (zh) | 控制方法、控制装置及终端设备 | |
| CN113227708B (zh) | 确定俯仰角的方法、装置及终端设备 | |
| CN114092668A (zh) | 虚实融合方法、装置、设备及存储介质 | |
| CN113515143A (zh) | 机器人导航方法、机器人及计算机可读存储介质 | |
| CN110196630B (zh) | 指令处理、模型训练方法、装置、计算机设备及存储介质 | |
| LU502957B1 (en) | Control method, control apparatus and terminal device | |
| KR20090115738A (ko) | 정보 추출 방법, 등록 장치, 대조 장치 및 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210615 |
|
| RJ01 | Rejection of invention patent application after publication |