CN110355758B - 一种机器跟随方法、设备及跟随机器人系统 - Google Patents
一种机器跟随方法、设备及跟随机器人系统 Download PDFInfo
- Publication number
- CN110355758B CN110355758B CN201910602590.8A CN201910602590A CN110355758B CN 110355758 B CN110355758 B CN 110355758B CN 201910602590 A CN201910602590 A CN 201910602590A CN 110355758 B CN110355758 B CN 110355758B
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- image
- target
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000006243 chemical reaction Methods 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 34
- 230000008859 change Effects 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Abstract
本发明实施例公开了一种机器跟随方法、设备及跟随机器人系统，其中方法包括：获取原始深度图像以及对应于所述原始深度图像的图像坐标系；通过对所述原始深度图像进行图像识别处理，找到跟踪目标映射在所述图像坐标系中的原始目标坐标；对所述图像坐标系进行坐标转换处理，得到相机坐标系以及所述原始目标坐标对应于所述相机坐标系的相机目标坐标；根据所述相机坐标系确定机器本体坐标系；根据所述相机目标坐标确定对应于所述相机坐标系的相机调整参数和对应于所述机器本体坐标系的本体调整参数；根据所述相机调整参数和所述本体调整参数控制机器进行运动。本发明实施例能够有效提高对机器本体的控制精准度，进而提高跟随机器人的可靠性。
Description
技术领域
本发明涉及机器设备技术领域，尤其涉及一种机器跟随方法、设备及跟随机器人系统。
背景技术
随着科学技术的发展以及工作任务复杂性的增加，在现代的工业领域里，机器人已经逐渐成为一种不可缺少的设备，充分的发挥着它的优势，改变着我们的生活。
伴随着机器人技术研究的深入化，将视觉技术应用在移动机器人上成为新的研究方向，尤其是自动跟随机器人。由于自动跟随机器人具有目标识别和自主导航的功能，可以服务于特定的目标对象，帮助人们完成任务，因而被广泛使用。但是现有自动跟随机器人由于经常同时处理目标图像识别与控制跟踪运动这两个过程，这样很容易导致在控制机器人运动时造成较大的延迟以及控制误差。
因此，如何提高现有跟随机器人的跟随可靠性成为当前亟待解决的问题。
发明内容
本发明实施例为了有效克服现有技术所存在的上述缺陷，创造性地提供一种机器跟随方法，包括：获取原始深度图像以及对应于所述原始深度图像的图像坐标系；通过对所述原始深度图像进行图像识别处理，找到跟踪目标映射在所述图像坐标系中的原始目标坐标；对所述图像坐标系进行坐标转换处理，得到相机坐标系以及所述原始目标坐标对应于所述相机坐标系的相机目标坐标；根据所述相机坐标系确定机器本体坐标系；根据所述相机目标坐标确定对应于所述相机坐标系的相机调整参数和对应于所述机器本体坐标系的本体调整参数；根据所述相机调整参数和所述本体调整参数控制机器进行运动。
在一可实施方式中，所述根据所述相机目标坐标确定对应于所述机器本体坐标系的本体调整参数包括：根据所述相机目标坐标的对应深度信息和所述相机调整参数确定对应于所述机器本体坐标系的本体调整参数。
在一可实施方式中，所述对所述图像坐标系进行坐标转换处理，得到相机坐标系以及所述原始目标坐标对应于所述相机坐标系的相机目标坐标包括：根据相机投影信息确定对应于所述图像坐标系和相机坐标系之间的转换关系；根据所述转换关系对所述图像坐标系以及所述图像坐标系中的原始目标坐标进行坐标转换，得到相机坐标系以及所述相机坐标系中的相机目标坐标。
在一可实施方式中，所述根据所述相机目标坐标确定对应于所述相机坐标系的相机调整参数包括：计算所述相机目标坐标与所述相机坐标系原点之间的坐标差值；根据所述坐标差值计算对应于所述相机坐标系的相机调整参数。
在一可实施方式中，所述根据所述相机坐标系确定机器本体坐标系包括：获取相机的旋转关系参数；根据所述相机的旋转关系参数和所述相机坐标系计算机器本体坐标系。
本发明另一方面提供一种机器跟随设备，包括：原始图像获取模块，用于获取原始深度图像以及对应于所述原始深度图像的图像坐标系；目标识别模块，用于通过对所述原始深度图像进行图像识别处理，找到跟踪目标映射在所述图像坐标系中的原始目标坐标；坐标处理模块，用于对所述图像坐标系进行坐标转换处理，得到相机坐标系以及所述相机坐标系中对应于所述原始目标坐标的相机目标坐标；机器坐标确定模块，用于根据所述相机坐标系确定机器本体坐标系；参数调整模块，用于根据所述相机目标坐标确定对应于所述相机坐标系的相机调整参数和对应于所述机器本体坐标系的本体调整参数；参数控制模块，用于根据所述相机调整参数和所述本体调整参数控制机器进行运动。
在一可实施方式中，所述参数调整模块包括：本体参数调整单元，用于根据所述相机目标坐标的对应深度信息和所述相机调整参数确定对应于所述机器本体坐标系的本体调整参数。
本发明另一方面提供一种跟随机器人系统，包括图像获取装置、图像控制装置、主控装置和机器人本体，所述图像获取装置安装在所述机器人本体上，用于获取原始深度图像并发送至所述图像控制装置；所述图像控制装置包括图像处理装置和图像跟踪装置，所述图像处理装置与所述图像获取装置相连接，用于根据所述原始深度图像进行目标识别与坐标处理，得到对应于所述原始深度图像的图像坐标系、跟踪目标映射在所述图像坐标系中的原始目标坐标、相机坐标系以及所述原始目标坐标对应于所述相机坐标系的相机目标坐标，所述图像跟踪装置与所述图像处理装置相连接，用于根据所述相机目标坐标以及所述相机坐标系计算相机调整参数，并根据所述相机调整参数控制所述图像获取装置进行跟随运动；所述主控装置与所述图像跟踪装置相连接，用于获取所述相机调整参数，并根据所述相机目标坐标和所述相机调整参数控制所述机器人本体进行跟随运动。
在一可实施方式中，所述系统还包括避障装置，所述避障装置包括多个超声波传感器，所述多个超声波传感器对称安装于所述机器人本体上，用于检测障碍物信息并传输至主控装置，所述主控装置根据所述障碍物信息控制所述机器人本体进行避障。
在一可实施方式中，所述主控装置获取相机的旋转参数，并根据所述相机目标坐标、所述相机调整参数和所述旋转参数控制所述机器人本体进行跟随运动。
为解决现有技术中，现有自动跟随机器人由于经常同时处理目标图像识别与控制跟踪运动这两个过程，很容易导致在控制机器人运动时造成较大的延迟以及控制误差的问题，本发明实施例特提供一种机器跟随方法，先获取到原始深度图像以及对应于原始深度图像的图像坐标系，原始深度图像可以由彩色相机与深度相机相结合的方式来获取，原始深度图像包括有被跟随物的所有信息，包括特征信息，深度信息以及背景；然后对所获取到的原始深度图像进行图像识别处理，即去除背景信息，提取跟随目标的特征信息和相应深度信息，从而得到跟踪目标映射在图像坐标系中的原始目标坐标；然后根据相机透视投影关系对图像坐标系进行坐标转换处理，通过比例关系计算得到相机坐标系以及原始目标坐标对应于相机坐标系的相机目标坐标；再根据相机坐标系和机器人本体坐标系之间的相对位置转换关系对相机坐标系进行转化计算，得到机器本体坐标系，再根据相机目标坐标的位置变化来确定对应于相机坐标系的相机调整参数和对应于机器本体坐标系的本体调整参数，最后即可通过根据相机调整参数来控制跟随机器上的相机或相机搭载平台进行相应跟随运动，通过本体调整参数来控制机器本体进行相应跟随运动。
本发明实施例中将机器的跟踪运动处理过程能够分为两个阶段，即相机与目标图像之间的跟踪运动关系以及相机与机器本体之间的跟踪运动关系，使得机器无需同时处理目标图像识别与控制跟踪运动，而且，相对于直接对跟随机器人进行控制，先对相机平台进行控制能够更加精准，在跟踪过程中，较容易实现跟踪目标坐标与相机坐标之间的角度变化保持在一个较小的阈值内，然后再控制机器人本体跟踪相机进行运动，能够有效提高对机器本体的控制精准度，进而提高跟随机器人的可靠性。
附图说明
图1为本发明一实施例所提供的一种机器跟随方法的一种流程示意图；
图2为本发明一实施例所提供的一种机器跟随设备的一种组成结构示意图；
图3为本发明一实施例所提供的一种跟随机器人系统的结构示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参考图1，本发明实施例一方面提供一种机器跟随方法，包括：
步骤101，获取原始深度图像以及对应于原始深度图像的图像坐标系；
步骤102，通过对原始深度图像进行图像识别处理，找到跟踪目标映射在图像坐标系中的原始目标坐标；
步骤103，对图像坐标系进行坐标转换处理，得到相机坐标系以及原始目标坐标对应于相机坐标系的相机目标坐标；
步骤104，根据相机坐标系确定机器本体坐标系；
步骤105，根据相机目标坐标确定对应于相机坐标系的相机调整参数和对应于机器本体坐标系的本体调整参数；
步骤106，根据相机调整参数和本体调整参数控制机器进行运动。
为解决现有技术中，现有自动跟随机器人由于经常同时处理目标图像识别与控制跟踪运动这两个过程，很容易导致在控制机器人运动时造成较大的延迟以及控制误差的问题，本发明实施例特提供一种机器跟随方法，先通过步骤101获取到原始深度图像以及对应于原始深度图像的图像坐标系，原始深度图像可以由彩色相机与深度相机相结合的方式来获取，原始深度图像包括有被跟随物的所有信息，包括特征信息，深度信息以及背景；然后通过步骤102对所获取到的原始深度图像进行图像识别处理，即去除背景信息，提取跟随目标的特征信息和相应深度信息，从而得到跟踪目标映射在图像坐标系中的原始目标坐标；然后通过步骤103根据相机透视投影关系对图像坐标系进行坐标转换处理，通过比例关系计算得到相机坐标系以及原始目标坐标对应于相机坐标系的相机目标坐标；再通过步骤104根据相机坐标系和机器人本体坐标系之间的相对位置转换关系对相机坐标系进行转化计算，得到机器本体坐标系，再通过步骤105根据相机目标坐标的位置变化来确定对应于相机坐标系的相机调整参数和对应于机器本体坐标系的本体调整参数，最后即可通过根据相机调整参数来控制跟随机器上的相机或相机搭载平台进行相应跟随运动，通过本体调整参数来控制机器本体进行相应跟随运动。
本发明实施例中将机器的跟踪运动处理过程能够分为两个阶段，即相机与目标图像之间的跟踪运动关系以及相机与机器本体之间的跟踪运动关系，使得机器无需同时处理目标图像识别与控制跟踪运动，而且，相对于直接对跟随机器人进行控制，先对相机平台进行控制能够更加精准，在跟踪过程中，较容易实现跟踪目标坐标与相机坐标之间的角度变化保持在一个较小的阈值内，然后再控制机器人本体跟踪相机进行运动，能够有效提高对机器本体的控制精准度，进而提高跟随机器人的可靠性。
在一可实施方式中，根据相机目标坐标确定对应于机器本体坐标系的本体调整参数包括：
根据相机目标坐标的对应深度信息和相机调整参数确定对应于机器本体坐标系的本体调整参数。
本发明实施例中，相机坐标系与图像坐标系之间保持相对固定的关系，即当目标发生向左或向右的位移时，图像坐标系相应也会发生变化，那么，对应的，由于相机会保持跟踪目标在图像中的位置大致不变，相机也会跟着图像进行运动，而相机运动所参考的相机调整参数可以由相机坐标系与图像坐标系之间的偏距来计算得到。本发明实施例中，机器本体包括有旋转运动和线性运动，其中旋转运动参数主要根据相机的运动参数，即相机调整参数计算得到，而线性运动参数则根据相机目标坐标中的深度变化信息来计算得到。本发明实施例中将机器的跟踪运动处理过程能够分为两个阶段，即相机与目标图像之间的跟踪运动关系以及相机与机器本体之间的跟踪运动关系，使得机器无需同时处理目标图像识别与控制跟踪运动，而且，相对于直接对跟随机器人进行控制，先对相机平台进行控制能够更加精准，在跟踪过程中，较容易实现跟踪目标坐标与相机坐标之间的角度变化保持在一个较小的阈值内，然后再控制机器人本体跟踪相机进行运动，能够有效提高了对机器本体的控制精准度，进而有利于提高跟随机器人的可靠性。
在一可实施方式中，对图像坐标系进行坐标转换处理，得到相机坐标系以及原始目标坐标对应于相机坐标系的相机目标坐标包括：
根据相机投影信息确定对应于图像坐标系和相机坐标系之间的转换关系；
根据转换关系对图像坐标系以及图像坐标系中的原始目标坐标进行坐标转换，得到相机坐标系以及相机坐标系中的相机目标坐标。
本发明实施例中，相机目标坐标本身包括有跟踪目标各个特征像素点的深度信息，而由于相机拍摄图像是通过调整不同焦距后根据透视投影而实现的，因此图像坐标系与相机坐标系之间也同样为投影关系，通过获取相机投影信息，包括相机镜头的焦距信息，再根据比例关系便能计算得到图像坐标系和相机坐标系之间的转换关系。通过先计算相机坐标系与图像坐标系之间的转换关系，能够便于机器跟随时快速处理机器人本体与相机或者相机搭载平台之间的相对位置关系，从而提高机器跟随时的处理效率。
其中，[X3,Y3,Z3,1]是相机坐标系下的齐次坐标表示，[X4,Y4,Z4,1]是图像坐标系下的齐次坐标表示，和图像坐标系和相机坐标系之间的对应关系，可以简化表示为：
λ为相机比例参数，f为相机的焦距，d为相机的深度信息。
在一可实施方式中，根据相机目标坐标确定对应于相机坐标系的相机调整参数包括：
计算相机目标坐标与相机坐标系原点之间的坐标差值；
根据坐标差值计算对应于相机坐标系的相机调整参数。
本发明实施例中，为了保持跟踪目标在图像中的位置保持基本不变，需要保证图像坐标系以及相机坐标系之间的相对位置关系也固定不变。由于相机坐标系是根据相机透视投影信息计算比例关系后对图像坐标系进行转换所得到的，当跟踪目标发生位移时，相机坐标系中的相机目标坐标也会发生对应位移量，此位移量即为相机目标坐标与相机坐标系原点之间的坐标差值，此时，只要将相机坐标系向相同方向调整对应的位移量，便能使得跟踪目标再次处于图像坐标系中的原始位置。这样，通过对图像坐标系的位移量，即坐标差值根据比例关系进行计算，便能得到对应于相机坐标的相机调整参数，简单可靠，有利于提高机器本体以及相机跟随的效率。
在一可实施方式中，根据相机坐标系确定机器本体坐标系包括：
获取相机的旋转关系参数；
根据相机的旋转关系参数和相机坐标系计算机器本体坐标系。
本发明实施例中，相机和机器本体之间存在相对位置转换关系，即相机坐标系和机器本体坐标系之间存在相对转换关系，也即存在旋转关系参数。旋转关系参数由相机平台和机器人本体在相对安装位置和运动过程中，相机平台的方位角和俯仰角所对应的旋转关系两部分来决定，具体如下所示：
[X3,Y3,Z3,1]是相机坐标系下的齐次坐标表示，[X2,Y2,Z2,1]是机器本体坐标系下的齐次坐标表示。R为3X3矩阵，表示两坐标系之间的旋转关系，t为3X1矩阵，表示两坐标系之间的位置关系，即相机平台安装在机器人本体的相对位置。本发明实施例根据相机坐标系与机器本体坐标系之间的转换关系来确定机器本体坐标系，从而当相机或相机平台跟随目标进行移动时，机器本体也能立即根据相机坐标系的移动来调节机器本体坐标系的相对位置。具体的，当跟踪目标开始移动时，会造成图像坐标和深度发生变化，相机坐标系为跟随跟踪目标便相应发生位移，由于相机坐标系发生位移，相机与机器本体之间的相对位置关系便发生了变化，即上述公式中的旋转关系R发生变化，根据变化后的旋转关系控制机器人进行运动调整，在机器人运动过程中也会造成相机坐标系和跟踪目标之间的相对运动，在整个动态调整的过程中，使机器人本体与跟踪目标之间的相对位置保持基本不变，有效的提高了跟随机器人的效率和可靠性。
请参考图2，本发明另一方面提供一种机器跟随设备，包括：
原始图像获取模块201，用于获取原始深度图像以及对应于原始深度图像的图像坐标系；
目标识别模块202，用于通过对原始深度图像进行图像识别处理，找到跟踪目标映射在图像坐标系中的原始目标坐标；
坐标处理模块203，用于对图像坐标系进行坐标转换处理，得到相机坐标系以及相机坐标系中对应于原始目标坐标的相机目标坐标；
机器坐标确定模块204，用于根据相机坐标系确定机器本体坐标系；
参数调整模块205，用于根据相机目标坐标确定对应于相机坐标系的相机调整参数和对应于机器本体坐标系的本体调整参数；
参数控制模块206，用于根据相机调整参数和本体调整参数控制机器进行运动。
为解决现有技术中，现有自动跟随机器人由于经常同时处理目标图像识别与控制跟踪运动这两个过程，很容易导致在控制机器人运动时造成较大的延迟以及控制误差的问题，本发明实施例特提供一种机器跟随方法，先通过原始图像获取模块201获取到原始深度图像以及对应于原始深度图像的图像坐标系，原始深度图像可以由彩色相机与深度相机相结合的方式来获取，原始深度图像包括有被跟随物的所有信息，包括特征信息，深度信息以及背景；然后通过目标识别模块202对所获取到的原始深度图像进行图像识别处理，即去除背景信息，提取跟随目标的特征信息和相应深度信息，从而得到跟踪目标映射在图像坐标系中的原始目标坐标；然后通过坐标处理模块203根据相机透视投影关系对图像坐标系进行坐标转换处理，通过比例关系计算得到相机坐标系以及原始目标坐标对应于相机坐标系的相机目标坐标；再通过机器坐标确定模块204根据相机坐标系和机器人本体坐标系之间的相对位置转换关系对相机坐标系进行转化计算，得到机器本体坐标系，再通过参数调整模块205根据相机目标坐标的位置变化来确定对应于相机坐标系的相机调整参数和对应于机器本体坐标系的本体调整参数，最后即可通过参数控制模块206根据相机调整参数来控制跟随机器上的相机或相机搭载平台进行相应跟随运动，通过本体调整参数来控制机器本体进行相应跟随运动。
本发明实施例中通过建立跟踪目标、图像坐标系与相机坐标系之间的相对坐标转换关系以及相机坐标系与机器本体坐标系之间的相对坐标转换关系，将机器的跟踪运动处理过程能够分为两个阶段，即相机与目标图像之间的跟踪运动关系以及相机与机器本体之间的跟踪运动关系，使得机器无需同时处理目标图像识别与控制跟踪运动，而且，相对于直接对跟随机器人进行控制，先对相机平台进行控制能够更加精准，在跟踪过程中，较容易实现跟踪目标坐标与相机坐标之间的角度变化保持在一个较小的阈值内，然后再控制机器人本体跟踪相机进行运动，能够有效提高对机器本体的控制精准度，进而提高跟随机器人的可靠性。
在一可实施方式中，参数调整模块205包括：
本体参数调整单元，用于根据相机目标坐标的对应深度信息和相机调整参数确定对应于机器本体坐标系的本体调整参数。
本发明实施例中，相机坐标系与图像坐标系之间保持相对固定的关系，即当目标发生向左或向右的位移时，图像坐标系相应也会发生变化，那么，对应的，由于相机会保持跟踪目标在图像中的位置大致不变，相机也会跟着图像进行运动，而相机运动所参考的相机调整参数可以由相机坐标系与图像坐标系之间的偏距来计算得到。本发明实施例中，机器本体包括有旋转运动和线性运动，其中旋转运动参数主要根据相机的运动参数，即相机调整参数计算得到，而线性运动参数则根据相机目标坐标中的深度变化信息来计算得到。本发明实施例中将机器的跟踪运动处理过程能够分为两个阶段，即相机与目标图像之间的跟踪运动关系以及相机与机器本体之间的跟踪运动关系，使得机器无需同时处理目标图像识别与控制跟踪运动，而且，相对于直接对跟随机器人进行控制，先对相机平台进行控制能够更加精准，在跟踪过程中，较容易实现跟踪目标坐标与相机坐标之间的角度变化保持在一个较小的阈值内，然后再控制机器人本体跟踪相机进行运动，能够有效提高了对机器本体的控制精准度，进而有利于提高跟随机器人的可靠性。
请参考图3，本发明另一方面提供一种跟随机器人系统，包括图像获取装置301、图像控制装置、主控装置和机器人本体302，图像获取装置301安装在机器人本体302上，用于获取原始深度图像并发送至图像控制装置；图像控制装置包括图像处理装置和图像跟踪装置，图像处理装置与图像获取装置301相连接，用于根据原始深度图像进行目标识别与坐标处理，得到对应于原始深度图像的图像坐标系、跟踪目标映射在图像坐标系中的原始目标坐标、相机坐标系以及原始目标坐标对应于相机坐标系的相机目标坐标，图像跟踪装置与图像处理装置相连接，根据相机目标坐标以及相机坐标系计算相机调整参数，并根据相机调整参数控制图像获取装置301进行跟随运动；主控装置与图像跟踪装置相连接，用于获取相机调整参数，并根据相机目标坐标和相机调整参数控制机器人本体302进行跟随运动。
为解决现有技术中，现有自动跟随机器人由于经常同时处理目标图像识别与控制跟踪运动这两个过程，很容易导致在控制机器人运动时造成较大的延迟以及控制误差的问题，本发明实施例特提供一种跟随机器人系统。其中，图像获取装置301包括具有深度功能的相机，相机安装在一个具有多自由度的平台上，或者采用同时具有图像和深度视频功能的云台。图像获取装置301获取到原始深度图像后发送至图像控制装置，图像控制装置中的图像处理装置对原始深度图像进行目标识别以及坐标化，得到对应于原始深度图像的图像坐标系、跟踪目标映射在图像坐标系中的原始目标坐标，并根据图像坐标系和原始目标坐标通过比例关系计算得到相机坐标系以及原始目标坐标对应于相机坐标系的相机目标坐标；然后，图像跟踪装置根据相机目标坐标以及相机坐标系计算相机调整参数，并根据相机调整参数控制图像获取装置301进行跟随运动，使得跟踪目标与图像获取装置301之间的相对位置关系保持不变，也即通过控制相机进行跟随运动使得目标在相机坐标系中的相机目标坐标保持不变。然后通过主控装置获取图像获取装置301的相机调整参数，并根据相机调整参数和相机目标坐标来控制机器人本体302进行跟随运动。
本发明实施例中通过建立跟踪目标、图像坐标系与相机坐标系之间的相对坐标转换关系以及相机坐标系与机器本体坐标系之间的相对坐标转换关系，将机器的跟踪运动处理过程能够分为两个阶段，即相机与目标图像之间的跟踪运动关系以及相机与机器本体之间的跟踪运动关系，使得机器无需同时处理目标图像识别与控制跟踪运动，而且，相对于直接对跟随机器人进行控制，先对相机平台进行控制能够更加精准，在跟踪过程中，较容易实现跟踪目标坐标与相机坐标系之间的角度变化保持在一个较小的阈值内，然后再控制机器人本体302跟踪相机进行运动，能够有效提高了对机器本体的控制精准度，进而有利于提高跟随机器人的可靠性。
在一可实施方式中，系统还包括避障装置，避障装置包括多个超声波传感器，多个超声波传感器对称安装于机器人本体302上，用于检测障碍物信息并传输至主控装置，主控装置根据障碍物信息控制机器人本体302进行避障。
由于在跟随场景中，为了提高机器人的识别跟随效率，机器人不会通过图像识别障碍，因此本发明实施例通过安装超声波传感器测距的方式进行基本避障，从而有效保护机器人不受损坏。
在一可实施方式中，主控装置获取相机的旋转参数，并根据相机目标坐标、相机调整参数和旋转参数控制机器人本体302进行跟随运动。
本发明实施例中，图像获取装置301和机器人本体302之间存在相对位置转换关系，即相机坐标和机器本体坐标之间存在相对转换关系，也即存在旋转参数。旋转参数由图像获取装置301和机器人本体302在相对安装位置和运动过程中，图像获取装置301，即相机平台的方位角和俯仰角所对应的旋转关系两部分来决定，具体如下所示：
[X3,Y3,Z3,1]是相机坐标系下的齐次坐标表示，[X2,Y2,Z2,1]是机器人本体302坐标系下的齐次坐标表示。R为3X3矩阵，表示两坐标系之间的旋转关系，t为3X1矩阵，表示两坐标系之间的位置关系，即相机平台安装在机器人本体302的相对位置。本发明实施例根据相机坐标系与机器本体坐标系之间的转换关系来确定机器本体坐标系，从而当相机或相机平台跟随目标进行移动时，机器本体也能立即根据相机坐标系的移动来调节机器本体坐标系的相对位置。具体的，当跟踪目标开始移动时，会造成图像坐标和深度发生变化，相机坐标系为跟随跟踪目标便相应发生位移，由于相机坐标系发生位移，相机与机器本体之间的相对位置关系便发生了变化，即上述公式中的旋转关系R发生变化，根据变化后的旋转关系控制机器人进行运动调整，在机器人运动过程中也会造成相机坐标系和跟踪目标之间的相对运动，在整个动态调整的过程中，使机器人本体302与跟踪目标之间的相对位置保持基本不变，有效的提高了跟随机器人的效率和可靠性。
在一可实施方式中，跟随机器人系统还包括上位机，上位机与主控装置相连接，用于显示机器人的工作状态、已识别目标的显示、硬件设备状态、以及电池电量、跟踪失败时的警告和手动控制等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种机器跟随方法，其特征在于，包括：
获取原始深度图像以及对应于所述原始深度图像的图像坐标系；
通过对所述原始深度图像进行图像识别处理，找到跟踪目标映射在所述图像坐标系中的原始目标坐标；
对所述图像坐标系进行坐标转换处理，得到相机坐标系以及所述原始目标坐标对应于所述相机坐标系的相机目标坐标；
根据所述相机坐标系确定机器本体坐标系；
根据所述相机目标坐标确定对应于所述相机坐标系的相机调整参数和对应于所述机器本体坐标系的本体调整参数；
根据所述相机调整参数和所述本体调整参数控制机器进行运动；
其中，根据所述相机调整参数和所述本体调整参数控制机器进行运动，包括：
当目标发生位移时，根据所述相机调整参数调整相机目标坐标系的相对图像坐标系的位置，用于使目标处于图像坐标系的原始目标坐标，以控制相机进行目标跟踪运动；
根据所述本体调整参数调整机器本体坐标系相对相机坐标系的位置，以控制机器进行相机跟踪运动。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相机目标坐标确定对应于所述机器本体坐标系的本体调整参数包括：
根据所述相机目标坐标的对应深度信息和所述相机调整参数确定对应于所述机器本体坐标系的本体调整参数。
3.根据权利要求1所述的方法，其特征在于，所述对所述图像坐标系进行坐标转换处理，得到相机坐标系以及所述原始目标坐标对应于所述相机坐标系的相机目标坐标包括：
根据相机投影信息确定对应于所述图像坐标系和相机坐标系之间的转换关系；
根据所述转换关系对所述图像坐标系以及所述图像坐标系中的原始目标坐标进行坐标转换，得到相机坐标系以及所述相机坐标系中的相机目标坐标。
4.根据权利要求3所述的方法，其特征在于，所述根据所述相机目标坐标确定对应于所述相机坐标系的相机调整参数包括：
计算所述相机目标坐标与所述相机坐标系原点之间的坐标差值；
根据所述坐标差值计算对应于所述相机坐标系的相机调整参数。
5.根据权利要求1所述的方法，其特征在于，所述根据所述相机坐标系确定机器本体坐标系包括：
获取相机的旋转关系参数；
根据所述相机的旋转关系参数和所述相机坐标系计算机器本体坐标系。
6.一种机器跟随设备，其特征在于，包括：
原始图像获取模块，用于获取原始深度图像以及对应于所述原始深度图像的图像坐标系；
目标识别模块，用于通过对所述原始深度图像进行图像识别处理，找到跟踪目标映射在所述图像坐标系中的原始目标坐标；
坐标处理模块，用于对所述图像坐标系进行坐标转换处理，得到相机坐标系以及所述相机坐标系中对应于所述原始目标坐标的相机目标坐标；
机器坐标确定模块，用于根据所述相机坐标系确定机器本体坐标系；
参数调整模块，用于根据所述相机目标坐标确定对应于所述相机坐标系的相机调整参数和对应于所述机器本体坐标系的本体调整参数；
参数控制模块，用于根据所述相机调整参数和所述本体调整参数控制机器进行运动，其中，根据所述相机调整参数和所述本体调整参数控制机器进行运动，包括：当目标发生位移时，根据所述相机调整参数调整相机目标坐标系的相对图像坐标系的位置，用于使目标处于图像坐标系的原始目标坐标，以控制相机进行目标跟踪运动；根据所述本体调整参数调整机器本体坐标系相对相机坐标系的位置，以控制机器进行相机跟踪运动。
7.根据权利要求6所述的设备，其特征在于，所述参数调整模块包括：
本体参数调整单元，用于根据所述相机目标坐标的对应深度信息和所述相机调整参数确定对应于所述机器本体坐标系的本体调整参数。
8.一种跟随机器人系统，其特征在于，包括图像获取装置、图像控制装置、主控装置和机器人本体，所述图像获取装置安装在所述机器人本体上，用于获取原始深度图像并发送至所述图像控制装置；所述图像控制装置包括图像处理装置和图像跟踪装置，所述图像处理装置与所述图像获取装置相连接，用于根据所述原始深度图像进行目标识别与坐标处理，得到对应于所述原始深度图像的图像坐标系、跟踪目标映射在所述图像坐标系中的原始目标坐标、相机坐标系以及所述原始目标坐标对应于所述相机坐标系的相机目标坐标，所述图像跟踪装置与所述图像处理装置相连接，用于根据所述相机目标坐标以及所述相机坐标系计算相机调整参数，并根据所述相机调整参数控制所述图像获取装置进行跟随运动；所述主控装置与所述图像跟踪装置相连接，用于获取所述相机调整参数，并根据所述相机目标坐标和所述相机调整参数控制所述机器人本体进行跟随运动。
9.根据权利要求8所述的系统，其特征在于，所述系统还包括避障装置，所述避障装置包括多个超声波传感器，所述多个超声波传感器对称安装于所述机器人本体上，用于检测障碍物信息并传输至主控装置，所述主控装置根据所述障碍物信息控制所述机器人本体进行避障。
10.根据权利要求8所述的系统，其特征在于，所述主控装置获取相机的旋转参数，并根据所述相机目标坐标、所述相机调整参数和所述旋转参数控制所述机器人本体进行跟随运动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910602590.8A CN110355758B (zh) | 2019-07-05 | 2019-07-05 | 一种机器跟随方法、设备及跟随机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910602590.8A CN110355758B (zh) | 2019-07-05 | 2019-07-05 | 一种机器跟随方法、设备及跟随机器人系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110355758A CN110355758A (zh) | 2019-10-22 |
| CN110355758B true CN110355758B (zh) | 2021-02-09 |
Family
ID=68218264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910602590.8A Active CN110355758B (zh) | 2019-07-05 | 2019-07-05 | 一种机器跟随方法、设备及跟随机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110355758B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114391259A (zh) * | 2019-11-06 | 2022-04-22 | Oppo广东移动通信有限公司 | 信息处理方法、终端设备及存储介质 |
| CN111741199B (zh) * | 2020-06-30 | 2022-02-01 | 北京飞影科技有限公司 | 一种摄像画面保持方法及装置 |
| TWI756844B (zh) * | 2020-09-25 | 2022-03-01 | 財團法人工業技術研究院 | 自走車導航裝置及其方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3992026B2 (ja) * | 2004-07-09 | 2007-10-17 | 船井電機株式会社 | 自走ロボット |
| CN103692440B (zh) * | 2013-12-06 | 2015-06-17 | 中国民航大学 | 一种连续型机器人空间路径跟踪方法 |
| CN104331894A (zh) * | 2014-11-19 | 2015-02-04 | 山东省科学院自动化研究所 | 一种基于双目立体视觉的机器人拆垛方法 |
| CN105955251A (zh) * | 2016-03-11 | 2016-09-21 | 北京克路德人工智能科技有限公司 | 一种机器人的视觉跟随控制方法及机器人 |
| CN109949375B (zh) * | 2019-02-02 | 2021-05-14 | 浙江工业大学 | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 |
-
2019
- 2019-07-05 CN CN201910602590.8A patent/CN110355758B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110355758A (zh) | 2019-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110355758B (zh) | 一种机器跟随方法、设备及跟随机器人系统 | |
| US10006772B2 (en) | Map production method, mobile robot, and map production system | |
| US11833696B2 (en) | Vision-based sensor system and control method for robot arms | |
| CN105518702A (zh) | 一种对目标物体的检测方法、检测装置以及机器人 | |
| KR20150088636A (ko) | 위치 추정 장치 및 방법 | |
| CN108214487A (zh) | 基于双目视觉和激光雷达的机器人目标定位和抓取方法 | |
| JP2008298685A (ja) | 計測装置及びプログラム | |
| JP6708730B2 (ja) | 移動体 | |
| CN104297758A (zh) | 一种基于2d脉冲式激光雷达的辅助靠泊装置及其方法 | |
| JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
| CN102798456A (zh) | 一种工程机械臂架系统工作幅度的测量方法、装置及系统 | |
| JP2020028957A (ja) | 干渉回避装置およびロボットシステム | |
| KR20220054582A (ko) | 시각 포지셔닝 방법 및 관련 장치, 기기와 컴퓨터 판독 가능한 저장 매체 | |
| JP6948164B2 (ja) | 作業用ロボットのアーム姿勢制御システムおよび方法 | |
| JP5019478B2 (ja) | マーカ自動登録方法及びシステム | |
| CN112508912A (zh) | 地面点云数据滤除方法及装置、臂架防碰撞方法及系统 | |
| CN111273701A (zh) | 一种云台视觉控制系统以及控制方法 | |
| CN113701750A (zh) | 一种井下多传感器的融合定位系统 | |
| KR20030026497A (ko) | 이동 로봇의 자기위치인식 장치 및 방법 | |
| JP2001076128A (ja) | 障害物検出装置及び方法 | |
| KR100784125B1 (ko) | 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법 | |
| JP2002232869A (ja) | カメラのキャリブレーション方法 | |
| CN110378937B (zh) | 基于Kinect摄像头的工业机械臂人机安全距离检测方法 | |
| KR20200076628A (ko) | 모바일 디바이스의 위치 측정 방법, 위치 측정 장치 및 전자 디바이스 | |
| KR100773271B1 (ko) | 단일 카메라를 이용한 이동 로봇의 위치 측정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210721 Address after: 518109 room 1010, 10 / F, building a, Datang times commercial complex, No. 2203, Meilong Avenue, Qinghua community, Longhua street, Longhua District, Shenzhen, Guangdong Patentee after: Shenzhen Shihe Robot Technology Co.,Ltd. Address before: 100083 no.cg05-253, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing Patentee before: BEIJING SHIHE TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP03 | Change of name, title or address |
Address after: Building 5, 9th Floor, China Net Grain Networking Technology Industrial Park, Intersection of Xingfu Road and Taohuatan Road, Yaohai District, Hefei City, Anhui Province, 230011 Patentee after: Shihe Robotics (Hefei) Co.,Ltd. Country or region after: Zhong Guo Address before: 518109 room 1010, 10 / F, building a, Datang times commercial complex, No. 2203, Meilong Avenue, Qinghua community, Longhua street, Longhua District, Shenzhen, Guangdong Patentee before: Shenzhen Shihe Robot Technology Co.,Ltd. Country or region before: Zhong Guo |
|
| CP03 | Change of name, title or address |