CN115220375A - 机器人控制方法、装置、存储介质及电子设备 - Google Patents

机器人控制方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115220375A
CN115220375A CN202111165840.XA CN202111165840A CN115220375A CN 115220375 A CN115220375 A CN 115220375A CN 202111165840 A CN202111165840 A CN 202111165840A CN 115220375 A CN115220375 A CN 115220375A
Authority
CN
China
Prior art keywords
image
real
virtual
degree
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111165840.XA
Other languages
English (en)
Inventor
高斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Beijing Technologies Co Ltd
Original Assignee
Cloudminds Beijing Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Beijing Technologies Co Ltd filed Critical Cloudminds Beijing Technologies Co Ltd
Priority to CN202111165840.XA priority Critical patent/CN115220375A/zh
Publication of CN115220375A publication Critical patent/CN115220375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25257—Microcontroller

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及一种机器人控制方法、装置、存储介质及电子设备。所述方法包括：获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像；获取虚拟场景中虚拟机器人采集到的虚拟图像，所述虚拟场景是根据从所述真实场景中采集到的历史图像构建的三维场景，所述虚拟机器人为所述实体机器人的数字孪生体；确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度；若所述差异程度超过预设程度，控制所述图像采集设备以第一策略进行图像采集，以获取所述真实场景的更多细节信息。由此，在真实图像与虚拟图像之间差异较大时，获取真实场景的更多细节信息，为操作人员提供真实场景的细节，提升操作人员监控及辅助机器人的精确性和效率。

Description

机器人控制方法、装置、存储介质及电子设备
技术领域
本公开涉及机器人技术领域，具体地，涉及一种机器人控制方法、装置、存储介质及电子设备。
背景技术
随着机器人技术的发展，目前可通过机器人辅助甚至代替人类执行各种任务，而为了更好地对机器人进行控制，还可以通过数字孪生技术将真实场景中的实体机器人模拟以虚拟机器人的形式显示在人为构建的三维虚拟场景中，这样，操作人员通过虚拟场景中的虚拟机器人能够实时获知真实场景中的实体机器人的相关信息，进而对实体机器人进行监控和任务辅助。
发明内容
本公开的目的是提供一种机器人控制方法、装置、存储介质及电子设备，能够为操作人员提供有关真实场景的更加细节的内容，提升操作人员监控及辅助机器人的精确性和效率。
为了实现上述目的，根据本公开的第一方面，提供一种机器人控制方法，所述方法包括：
获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像；
获取虚拟场景中虚拟机器人采集到的虚拟图像，所述虚拟场景是根据从所述真实场景中采集到的历史图像构建的三维场景，所述虚拟机器人为所述实体机器人的数字孪生体；
确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度；
若所述差异程度超过预设程度，控制所述图像采集设备以第一策略进行图像采集，以获取所述真实场景的更多细节信息。
可选地，所述确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度，包括：
确定在所述虚拟图像和所述真实图像中存在差异的像素点的数量；
若所述数量大于预设数量，确定所述虚拟图像与所述真实图像之间的差异程度超过预设程度；
若所述数量小于或等于所述预设数量，确定所述虚拟图像与所述真实图像之间的差异程度未超过预设程度。
可选地，所述确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度，包括：
比较所述虚拟图像和所述真实图像，以确定是否存在目标对象，所述目标对象为存在于所述虚拟图像而不存在于所述真实图像的第一对象或存在于所述真实图像而不存在于所述虚拟图像的第二对象；
若存在所述目标对象，确定所述虚拟图像与所述真实图像之间的差异程度超过预设程度；
若不存在所述目标对象，确定所述虚拟图像与所述真实图像之间的差异程度未超过预设程度。
可选地，所述确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度，包括：
比较所述虚拟图像和所述真实图像，以确定是否存在目标对象，所述目标对象为存在于所述虚拟图像而不存在于所述真实图像的第一对象或存在于所述真实图像而不存在于所述虚拟图像的第二对象；
若存在所述目标对象，确定所述目标对象的画面占比；
若所述画面占比大于预设比例，确定所述虚拟图像与所述真实图像之间的差异程度超过预设程度；
若不存在所述目标对象，或者，所述画面占比小于或等于所述预设比例，确定所述虚拟图像与所述真实图像之间的差异程度未超过预设程度。
可选地，所述实体机器人通过所述图像采集设备的转动以调整拍摄视角；
所述控制所述图像采集设备以第一策略进行图像采集，以获取所述真实场景的更多细节信息，包括：
减小所述实体机器人的移动速度，和/或，减小所述图像采集设备的转动速度，以获取所述真实场景的更多细节信息。
可选地，所述控制所述图像采集设备以第一策略进行图像采集，以获取所述真实场景的更多细节信息，包括：
若识别到存在于所述真实图像而不存在于所述虚拟图像的第二对象，控制所述图像采集设备跟随拍摄所述第二对象，以获取所述第二对象的更多细节信息。
可选地，所述图像采集设备包括多个摄像头；
所述控制所述图像采集设备跟随拍摄所述第二对象，包括：
确定距离所述第二对象最近的目标摄像头；
通过所述目标摄像头拍摄所述第二对象。
可选地，所述方法还包括：
若所述差异程度未超过所述预设程度，控制所述图像采集设备以第二策略进行图像采集，以获得区别于所述真实图像的图像信息。
可选地，所述实体机器人通过所述图像采集设备的转动以调整拍摄视角；
所述控制所述图像采集设备以第二策略进行图像采集，以获得区别于所述真实图像的图像信息，包括：
增大所述实体机器人的移动速度，和/或，增大所述图像采集设备的转动速度，以获得区别于所述真实图像的图像信息。
可选地，在所述获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像的步骤之前，所述方法还包括：
识别到所述实体机器人当前执行的任务受到干扰。
根据本公开的第二方面，提供一种机器人控制装置，其所述装置包括：
第一获取模块，用于获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像；
第二获取模块，用于获取虚拟场景中虚拟机器人采集到的虚拟图像，所述虚拟场景是根据从所述真实场景中采集到的历史图像构建的三维场景，所述虚拟机器人为所述实体机器人的数字孪生体；
确定模块，用于确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度；
第一控制模块，用于若所述差异程度超过预设程度，控制所述图像采集设备以第一策略进行图像采集，以获取所述真实场景的更多细节信息。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现本公开第一方面所述方法的步骤。
根据本公开的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像，获取虚拟场景中虚拟机器人采集到的虚拟图像，并确定虚拟图像与真实图像之间的差异程度是否超过预设程度，以及，若差异程度超过预设程度，控制图像采集设备以第一策略进行图像采集，以获取真实场景的更多细节信息。其中，虚拟场景是根据从真实场景中采集到的历史图像构建的三维场景，虚拟机器人为实体机器人的数字孪生体。由此，可以基于真实场景的真实图像和虚拟场景的虚拟图像之间的差异程度，实时调整实体机器人上图像采集设备的图像采集策略，从而在真实图像与虚拟图像之间差异较大时，获取真实场景的更多细节信息，进而为操作人员提供有关真实场景的更加细节的内容，提升操作人员监控及辅助机器人的精确性和效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开的一种实施方式提供的机器人控制方法的流程图；
图2是根据本公开提供的机器人控制方法中，确定虚拟图像与真实图像之间的差异程度是否超过预设程度的步骤的一种示例性的流程图；
图3是根据本公开的另一种实施方式提供的机器人控制方法的流程图；
图4是根据本公开的一种实施方式提供的机器人控制装置的框图；
图5是根据一示例性实施例示出的一种电子设备的框图；
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在介绍本公开的方案之前，首先对本公开涉及到的应用场景性简要说明。如背景技术所述，为了更好地对机器人进行控制，可以通过数字孪生的方式将真实场景中的实体机器人以模拟机器人的形式模拟显示在虚拟场景中。虚拟场景是对实体机器人所处的真实场景进行三维重建而得到的，因此，需要实体机器人采集真实场景中的画面，并发送给服务器或控制平台进行场景的三维重建。
图1是根据本公开的一种实施方式提供的机器人控制方法的流程图。本公开提供的机器人控制方法可以应用于能够与实体机器人、控制平台通信的服务器，或者，本公开提供的机器人控制方法可以应用于实体机器人。
如图1所示，该方法可以包括步骤11～步骤14。
在步骤11中，获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像。
图像采集设备设置于实体机器人上，用于拍摄实体机器人所经过的环境的图像。示例地，图像采集设备可以包括至少一个摄像头，其中每个摄像头安装于实体机器人的不同位置，用于拍摄不同方向的图像。
在步骤12中，获取虚拟场景中虚拟机器人采集到的虚拟图像。
其中，虚拟场景是根据从真实场景中采集到的历史图像构建的三维场景，虚拟机器人为实体机器人的数字孪生体。
为了便于对机器人的控制，通常情况下，预先通过数字孪生的方式将真实场景中的实体机器人模拟显示在虚拟场景对应的画面中。虚拟场景可以是通过真实场景中实体机器人传输的真实采集到的图像进行模拟而得到的。具体实施时，通过数字孪生得到的虚拟场景和虚拟机器人可以显示在控制平台上，供操作人员观看。
需要说明的是，虚拟场景并非实时的场景，是提前通过一定的方法构建出来的，例如，虚拟场景可以是根据从真实场景中采集到的历史图像构建的三维场景，即，虚拟场景与过去某个时间点的真实场景相一致。然而，真实场景并非一成不变，因此，实体机器人在真实场景中实时采集到的图像也并非总是与虚拟场景相一致。
在步骤13中，确定虚拟图像与真实图像之间的差异程度是否超过预设程度。
在一种可能的实施方式中，步骤13可以包括以下步骤：
确定在虚拟图像和真实图像中存在差异的像素点的数量；
若数量大于预设数量，确定虚拟图像与真实图像之间的差异程度超过预设程度；
若数量小于或等于预设数量，确定虚拟图像与真实图像之间的差异程度未超过预设程度。
由于虚拟机器人为实体机器人的数字孪生体，因此，虚拟机器人采集到的虚拟图像的尺寸与实体机器人采集到真实图像的尺寸一致，因此，可以通过比对真实图像与虚拟图像中对应位置处的像素点是否相同，即，比对真实图像和虚拟图像中坐标相同的像素点是否相同，进而确定虚拟图像和真实图像之间不相同的像素点的数量。
若在虚拟图像和真实图像中存在差异的像素点的数量大于预设数量，说明虚拟图像和真实图像中存在较多存在差异的像素点，从而，可以确定虚拟图像与真实图像之间的差异程度超过预设程度。反之，若数量小于或等于预设数量，说明虚拟图像和真实图像中存在差异的像素点并不多，因此，可以确定虚拟图像与真实图像之间的差异程度未超过预设程度。
在另一种可能的实施方式中，步骤13可以包括以下步骤：
比较虚拟图像和真实图像，以确定是否存在目标对象；
若存在目标对象，确定虚拟图像与真实图像之间的差异程度超过预设程度；
若不存在目标对象，确定虚拟图像与真实图像之间的差异程度未超过预设程度。
其中，目标对象为存在于虚拟图像而不存在于真实图像的第一对象或存在于真实图像而不存在于虚拟图像的第二对象。
示例地，可以通过图像识别技术识别虚拟图像和真实图像中的对象(例如，人或物体)，并判断虚拟图像和真实图像中的对象是否能够相互对应。若无法相互对应，则确定存在目标对象。并且，若某个对象存在于虚拟图像而不存在于真实图像，说明目标对象包括第一对象，或者，若某个对象存在于真实图像而不存在于虚拟图像，说明目标对象包括第二对象。
若存在目标对象，说明真实场景相比于虚拟场景存在新增的对象或者存在缺失的对象，也就是真实场景与虚拟场景已经存在区别，因此，可以确定虚拟图像与真实图像之间的差异程度超过预设程度，反之，若不存在目标对象，说明真实场景相比于虚拟场景并未新增或缺失任何对象，因此，可以确定虚拟图像与真实图像之间的差异程度未超过预设程度。
在另一种可能的实施方式中，步骤13可以包括以下步骤，如图2所示。
在步骤21中，比较虚拟图像和真实图像，以确定是否存在目标对象。
其中，目标对象为存在于虚拟图像而不存在于真实图像的第一对象或存在于真实图像而不存在于虚拟图像的第二对象。
示例地，可以通过图像识别技术识别虚拟图像和真实图像中的对象(例如，人或物体)，并判断虚拟图像和真实图像中的对象是否能够相互对应。若无法相互对应，则确定存在目标对象。并且，若某个对象存在于虚拟图像而不存在于真实图像，说明目标对象包括第一对象，或者，若某个对象存在于真实图像而不存在于虚拟图像，说明目标对象包括第二对象。
在步骤22中，若存在目标对象，确定目标对象的画面占比。
若存在目标对象，说明虚拟图像和真实图像之间存在差异，因此，为了确认二者之间的差异程度，需要进一步确定该差异在图像中所占比例，即，目标对象的画面占比。
示例地，若目标对象为第一对象，可以将第一对象在虚拟图像中的占比确定为目标对象的画面占比。再例如，若目标对象为第二对象，可以将第二对象在真实图像中的占比确定为目标对象的画面占比。
在步骤23中，若画面占比大于预设比例，确定虚拟图像与真实图像之间的差异程度超过预设程度。
若画面占比大于预设比例，说明虚拟图像与真实图像之间存在较大比例的不同，因此可以确定虚拟图像与真实图像之间的差异程度超过预设程度。
在步骤24中，若不存在目标对象，或者，画面占比小于或等于预设比例，确定虚拟图像与真实图像之间的差异程度未超过预设程度。
若不存在目标对象，说明虚拟图像和真实图像中所包含的对象是一致的，二者并无较大差异，因此，可以确定虚拟图像与真实图像之间的差异程度未超过预设程度。
若画面占比小于或等于预设比例，说明虚拟图像与真实图像之间虽然存在差异，但占比较小，因此，可以确定虚拟图像与真实图像之间的差异程度未超过预设程度。
在步骤14中，若差异程度超过预设程度，控制图像采集设备以第一策略进行图像采集，以获取真实场景的更多细节信息。
若真实图像与虚拟图像之间的差异程度超过预设程度，说明虚拟场景与真实场景存在较大区别，也就是说，虚拟场景内的部分内容已失去意义。因此，为了保证操作人员对实体机器人的控制效率及准确性，提升实体机器人的任务完成效率，需要获取真实场景中的更多细节信息，以使操作人员获知真实图像与虚拟图像之间存在差异的部分到底包含何种内容。
在一种可能的实施方式中，步骤14可以包括以下步骤：
减小实体机器人的移动速度，和/或，减小图像采集设备的转动速度，以获取真实场景的更多细节信息。
通常情况下，实体机器人在真实场景中运动，并在运动过程中采集真实场景的图像信息。其中，实体机器人通过图像采集设备的转动以调整拍摄视角。由于图像采集设备的采集频率保持不变，因此，实体机器人的运动速度越快，经过同一段距离所拍摄的图像数量越少，所获取到的真实场景的细节就越少，同理，图像采集设备的转动速度越快，同一时段内拍摄到的图像数量越少，所获取到的真实场景的细节越少。
因此，减小实体机器人的移动速度，相比于减小速度之前，能够在同样的距离内拍摄更多的图像，从而获得真实场景的更多细节。减小图像采集设备的转动速度，相比于减小转动速度之前，能够在同样的角度转动范围内拍摄到更多的图像，从而获得真实场景的更多细节。
在另一种可能的实施方式中，步骤14可以包括以下步骤：
若识别到存在于真实图像而不存在于虚拟图像的第二对象，控制图像采集设备跟随拍摄第二对象，以获取第二对象的更多细节信息。
若识别到第二对象，说明真实场景中新增了第二对象，这是虚拟场景中所不存在的，因此，可以跟随拍摄第二对象，以获取第二对象的细节信息，以尽可能多地为操作人员提供更多有关于第二对象的信息。
在一种可能的实施例中，图像采集设备可以包括多个摄像头，相应地，控制图像采集设备跟随拍摄第二对象，可以包括以下步骤：
确定距离第二对象最近的目标摄像头；
通过目标摄像头拍摄第二对象。
示例地，可以通过图像采集设备在一段时间内采集到的包含第二对象的图像，确定第二对象的运动趋势，进而根据各个摄像头的位置分布关系，确定距离第二对象最近的目标摄像头。例如，若确定第二对象向左运动，且第二对象从当前摄像头的拍摄视野中消失，可以确定当前摄像头左方的摄像头为目标摄像头。
再例如，可以通过测距设备(例如，超声波、激光雷达等)检测第二对象与各个摄像头之间的距离，进而将与第二对象之间距离最短的摄像头确定为目标摄像头。
在确定出目标摄像头之后，通过目标摄像头继续拍摄第二对象，以获取第二对象的更多细节信息。同时，还可以关闭当前摄像头，以节省能量。
可选地，本公开提供的方法可以在特定的场景下生效，因此，在步骤11之前，本公开提供的方法还可以包括以下步骤：
识别到实体机器人当前执行的任务受到干扰。
在实体机器人当前执行的任务受到干扰时，说明真实场景可能发生变化而影响到机器人任务的执行，因此，有必要对虚拟图像和真实图像进行比较，以确认是否需要获取真实场景的更多细节。从而，可以避免不必要的数据处理，节省计算资源。
通过上述技术方案，获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像，获取虚拟场景中虚拟机器人采集到的虚拟图像，并确定虚拟图像与真实图像之间的差异程度是否超过预设程度，以及，若差异程度超过预设程度，控制图像采集设备以第一策略进行图像采集，以获取真实场景的更多细节信息。其中，虚拟场景是根据从真实场景中采集到的历史图像构建的三维场景，虚拟机器人为实体机器人的数字孪生体。由此，可以基于真实场景的真实图像和虚拟场景的虚拟图像之间的差异程度，实时调整实体机器人上图像采集设备的图像采集策略，从而在真实图像与虚拟图像之间差异较大时，获取真实场景的更多细节信息，进而为操作人员提供有关真实场景的更加细节的内容，提升操作人员监控及辅助机器人的精确性和效率。
在一种可能的实施方式中，在图1所示各步骤的基础上，本公开提供的方法还可以包括以下步骤，如图3所示。
在步骤31中，若差异程度未超过预设程度，控制图像采集设备以第二策略进行图像采集，以获得区别于真实图像的图像信息。
若真实图像与虚拟图像之间的差异程度未超过预设程度，说明虚拟场景与真实场景区别不大，也就是说，实体机器人当前所处位置的环境与虚拟场景中所构建的相一致，没有继续拍摄、分析的必要。因此，可以控制图像采集设备以第二策略进行图像采集，获得区别于真实图像的图像信息，即，尽快切换到真实场景在真实图像对应区域之外的其他区域。
在一种可能的实施方式中，步骤31可以包括以下步骤：
增大实体机器人的移动速度，和/或，增大图像采集设备的转动速度，以获得区别于真实图像的图像信息。
增大实体机器人的移动速度，相比于增大速度之前，能够在拍摄同样数量图像的情况下走过更多的距离，从而获得区别于真实图像的图像信息，即真实场景中在真实图像对应区域之外的其他区域的图像信息，这样，能够。
增大图像采集设备的转动速度，相比于增大转动速度之前，能够在拍摄图像数量图像的情况下转过更多的角度，从而尽快获得区别于真实图像的图像信息。
图4是根据本公开的一种实施方式提供的机器人控制装置的框图。如图4所示，该装置40包括：
第一获取模块41，用于获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像；
第二获取模块42，用于获取虚拟场景中虚拟机器人采集到的虚拟图像，所述虚拟场景是根据从所述真实场景中采集到的历史图像构建的三维场景，所述虚拟机器人为所述实体机器人的数字孪生体；
确定模块43，用于确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度；
第一控制模块44，用于若所述差异程度超过预设程度，控制所述图像采集设备以第一策略进行图像采集，以获取所述真实场景的更多细节信息。
可选地，所述确定模块43，包括：
第一确定子模块，用于确定在所述虚拟图像和所述真实图像中存在差异的像素点的数量；
第二确定子模块，用于若所述数量大于预设数量，确定所述虚拟图像与所述真实图像之间的差异程度超过预设程度；
第三确定子模块，用于若所述数量小于或等于所述预设数量，确定所述虚拟图像与所述真实图像之间的差异程度未超过预设程度。
可选地，所述确定模块43，包括：
比较子模块，用于比较所述虚拟图像和所述真实图像，以确定是否存在目标对象，所述目标对象为存在于所述虚拟图像而不存在于所述真实图像的第一对象或存在于所述真实图像而不存在于所述虚拟图像的第二对象；
第四确定子模块，用于若存在所述目标对象，确定所述虚拟图像与所述真实图像之间的差异程度超过预设程度；
第五确定子模块，用于若不存在所述目标对象，确定所述虚拟图像与所述真实图像之间的差异程度未超过预设程度。
可选地，所述确定模块43，包括：
比较子模块，用于比较所述虚拟图像和所述真实图像，以确定是否存在目标对象，所述目标对象为存在于所述虚拟图像而不存在于所述真实图像的第一对象或存在于所述真实图像而不存在于所述虚拟图像的第二对象；
第六确定子模块，用于若存在所述目标对象，确定所述目标对象的画面占比；
第七确定子模块，用于若所述画面占比大于预设比例，确定所述虚拟图像与所述真实图像之间的差异程度超过预设程度；
第八确定子模块，用于若不存在所述目标对象，或者，所述画面占比小于或等于所述预设比例，确定所述虚拟图像与所述真实图像之间的差异程度未超过预设程度。
可选地，所述实体机器人通过所述图像采集设备的转动以调整拍摄视角；
所述第一控制模块44，包括：
第一控制子模块，用于减小所述实体机器人的移动速度，和/或，减小所述图像采集设备的转动速度，以获取所述真实场景的更多细节信息。
可选地，所述第一控制模块44，包括：
第二控制子模块，用于若识别到存在于所述真实图像而不存在于所述虚拟图像的第二对象，控制所述图像采集设备跟随拍摄所述第二对象，以获取所述第二对象的更多细节信息。
可选地，所述图像采集设备包括多个摄像头；
所述第二控制子模块，包括：
第九确定子模块，用于确定距离所述第二对象最近的目标摄像头；
拍摄子模块，用于通过所述目标摄像头拍摄所述第二对象。
可选地，所述装置40还包括：
第二控制模块，用于若所述差异程度未超过所述预设程度，控制所述图像采集设备以第二策略进行图像采集，以获得区别于所述真实图像的图像信息。
可选地，所述实体机器人通过所述图像采集设备的转动以调整拍摄视角；
所述第二控制模块，包括：
第三控制子模块，用于增大所述实体机器人的移动速度，和/或，增大所述图像采集设备的转动速度，以获得区别于所述真实图像的图像信息。
可选地，所述第一获取模块41用于在识别到所述实体机器人当前执行的任务受到干扰后，获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种电子设备700的框图。如图5所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的机器人控制方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的机器人控制方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的机器人控制方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的机器人控制方法。
图6是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图6，电子设备1900包括处理器1922，其数量可以为一个或多个，以及存储器1932，用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1922可以被配置为执行该计算机程序，以执行上述的机器人控制方法。
另外，电子设备1900还可以包括电源组件1926和通信组件1950，该电源组件1926可以被配置为执行电子设备1900的电源管理，该通信组件1950可以被配置为实现电子设备1900的通信，例如，有线或无线通信。此外，该电子设备1900还可以包括输入/输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述机器人控制方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1932，上述程序指令可由电子设备1900的处理器1922执行以完成上述的机器人控制方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的机器人控制方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (13)

1.一种机器人控制方法，其特征在于，所述方法包括：
获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像；
获取虚拟场景中虚拟机器人采集到的虚拟图像，所述虚拟场景是根据从所述真实场景中采集到的历史图像构建的三维场景，所述虚拟机器人为所述实体机器人的数字孪生体；
确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度；
若所述差异程度超过预设程度，控制所述图像采集设备以第一策略进行图像采集，以获取所述真实场景的更多细节信息。
2.根据权利要求1所述的方法，其特征在于，所述确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度，包括：
确定在所述虚拟图像和所述真实图像中存在差异的像素点的数量；
若所述数量大于预设数量，确定所述虚拟图像与所述真实图像之间的差异程度超过预设程度；
若所述数量小于或等于所述预设数量，确定所述虚拟图像与所述真实图像之间的差异程度未超过预设程度。
3.根据权利要求1所述的方法，其特征在于，所述确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度，包括：
比较所述虚拟图像和所述真实图像，以确定是否存在目标对象，所述目标对象为存在于所述虚拟图像而不存在于所述真实图像的第一对象或存在于所述真实图像而不存在于所述虚拟图像的第二对象；
若存在所述目标对象，确定所述虚拟图像与所述真实图像之间的差异程度超过预设程度；
若不存在所述目标对象，确定所述虚拟图像与所述真实图像之间的差异程度未超过预设程度。
4.根据权利要求1所述的方法，其特征在于，所述确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度，包括：
比较所述虚拟图像和所述真实图像，以确定是否存在目标对象，所述目标对象为存在于所述虚拟图像而不存在于所述真实图像的第一对象或存在于所述真实图像而不存在于所述虚拟图像的第二对象；
若存在所述目标对象，确定所述目标对象的画面占比；
若所述画面占比大于预设比例，确定所述虚拟图像与所述真实图像之间的差异程度超过预设程度；
若不存在所述目标对象，或者，所述画面占比小于或等于所述预设比例，确定所述虚拟图像与所述真实图像之间的差异程度未超过预设程度。
5.根据权利要求1所述的方法，其特征在于，所述实体机器人通过所述图像采集设备的转动以调整拍摄视角；
所述控制所述图像采集设备以第一策略进行图像采集，以获取所述真实场景的更多细节信息，包括：
减小所述实体机器人的移动速度，和/或，减小所述图像采集设备的转动速度，以获取所述真实场景的更多细节信息。
6.根据权利要求1所述的方法，其特征在于，所述控制所述图像采集设备以第一策略进行图像采集，以获取所述真实场景的更多细节信息，包括：
若识别到存在于所述真实图像而不存在于所述虚拟图像的第二对象，控制所述图像采集设备跟随拍摄所述第二对象，以获取所述第二对象的更多细节信息。
7.根据权利要求6所述的方法，其特征在于，所述图像采集设备包括多个摄像头；
所述控制所述图像采集设备跟随拍摄所述第二对象，包括：
确定距离所述第二对象最近的目标摄像头；
通过所述目标摄像头拍摄所述第二对象。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述差异程度未超过所述预设程度，控制所述图像采集设备以第二策略进行图像采集，以获得区别于所述真实图像的图像信息。
9.根据权利要求8所述的方法，其特征在于，所述实体机器人通过所述图像采集设备的转动以调整拍摄视角；
所述控制所述图像采集设备以第二策略进行图像采集，以获得区别于所述真实图像的图像信息，包括：
增大所述实体机器人的移动速度，和/或，增大所述图像采集设备的转动速度，以获得区别于所述真实图像的图像信息。
10.根据权利要求1-9中任一项所述的方法，其特征在于，在所述获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像的步骤之前，所述方法还包括：
识别到所述实体机器人当前执行的任务受到干扰。
11.一种机器人控制装置，其特征在于，所述装置包括：
第一获取模块，用于获取真实场景中通过设置于实体机器人上图像采集设备采集到的真实图像；
第二获取模块，用于获取虚拟场景中虚拟机器人采集到的虚拟图像，所述虚拟场景是根据从所述真实场景中采集到的历史图像构建的三维场景，所述虚拟机器人为所述实体机器人的数字孪生体；
确定模块，用于确定所述虚拟图像与所述真实图像之间的差异程度是否超过预设程度；
第一控制模块，用于若所述差异程度超过预设程度，控制所述图像采集设备以第一策略进行图像采集，以获取所述真实场景的更多细节信息。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-10中任一项所述方法的步骤。
13.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-10中任一项所述方法的步骤。
CN202111165840.XA 2021-09-30 2021-09-30 机器人控制方法、装置、存储介质及电子设备 Pending CN115220375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111165840.XA CN115220375A (zh) 2021-09-30 2021-09-30 机器人控制方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111165840.XA CN115220375A (zh) 2021-09-30 2021-09-30 机器人控制方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115220375A true CN115220375A (zh) 2022-10-21

Family

ID=83606918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111165840.XA Pending CN115220375A (zh) 2021-09-30 2021-09-30 机器人控制方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115220375A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116214528A (zh) * 2023-05-10 2023-06-06 深圳市安信达存储技术有限公司 一种人形机器人存储控制方法及控制系统
CN117621090A (zh) * 2024-01-25 2024-03-01 青岛创新奇智科技集团股份有限公司 一种工业机器人的控制方法、系统及工业机器人

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116214528A (zh) * 2023-05-10 2023-06-06 深圳市安信达存储技术有限公司 一种人形机器人存储控制方法及控制系统
CN116214528B (zh) * 2023-05-10 2023-10-03 深圳市安信达存储技术有限公司 一种人形机器人存储控制方法及控制系统
CN117621090A (zh) * 2024-01-25 2024-03-01 青岛创新奇智科技集团股份有限公司 一种工业机器人的控制方法、系统及工业机器人
CN117621090B (zh) * 2024-01-25 2024-05-14 青岛创新奇智科技集团股份有限公司 一种工业机器人的控制方法、系统及工业机器人

Similar Documents

Publication Publication Date Title
CN112703533B (zh) 对象跟踪
US10812686B2 (en) Method and system for mimicking human camera operation
CN115220375A (zh) 机器人控制方法、装置、存储介质及电子设备
CN113744348A (zh) 一种参数标定方法、装置及雷视融合检测设备
CN107993256A (zh) 动态目标跟踪方法、装置及存储介质
CN107820002B (zh) 改进的监测摄像机方向控制
US11599974B2 (en) Joint rolling shutter correction and image deblurring
CN108177146A (zh) 机器人头部的控制方法、装置及计算设备
CN112839165B (zh) 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质
CN112514366A (zh) 图像处理方法、图像处理装置和图像处理系统
CN113910224A (zh) 机器人跟随的方法、装置及电子设备
CN110363811B (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
CN114549578A (zh) 目标跟踪方法、装置及存储介质
CN118096878A (zh) 一种用于位姿识别的训练样本自动标注方法、装置及系统
JP7475959B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN109345594A (zh) 全局坐标系构建及应用方法、装置、设备及存储介质
CN107423187B (zh) 一种屏幕监控方法、装置及系统
CN114821544B (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
CN113703704B (zh) 界面显示方法、头戴式显示设备和计算机可读介质
CN115311472A (zh) 一种动作捕捉方法及相关设备
CN113108919A (zh) 人体温度检测方法、装置和存储介质
CN113990073B (zh) 面向交通路口的雷达视觉协同方法、装置、设备及介质
CN115499596B (zh) 一种处理图像的方法和装置
CN115213881A (zh) 机器人控制方法、装置、存储介质及电子设备
CN112991542B (zh) 房屋三维重建方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination