CN110825368A - 机器人的控制方法、系统、电子设备、存储介质 - Google Patents
机器人的控制方法、系统、电子设备、存储介质 Download PDFInfo
- Publication number
- CN110825368A CN110825368A CN201911162547.0A CN201911162547A CN110825368A CN 110825368 A CN110825368 A CN 110825368A CN 201911162547 A CN201911162547 A CN 201911162547A CN 110825368 A CN110825368 A CN 110825368A
- Authority
- CN
- China
- Prior art keywords
- action
- robot
- key data
- package
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000009471 action Effects 0.000 claims abstract description 263
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 239000011248 coating agent Substances 0.000 claims description 3
- 238000000576 coating method Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 10
- 230000006872 improvement Effects 0.000 abstract description 6
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 16
- 240000003768 Solanum lycopersicum Species 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 244000269722 Thea sinensis Species 0.000 description 4
- 239000008267 milk Substances 0.000 description 4
- 210000004080 milk Anatomy 0.000 description 4
- 235000013336 milk Nutrition 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种机器人的控制方法、系统、电子设备、存储介质，机器人的控制方法包括：解析输入源以生成关键数据；根据所述关键数据自一云端动作包数据库匹配至少一动作包，所述动作包包括按时间轴排序的至少一个动作块，所述动作块映射供所述机器人执行的程序代码；下载所匹配的动作包；以及使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码。本发明提供动作包的生态交互平台，从而便于对机器人进行控制和动作包的改进。
Description
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种机器人的控制方法、系统、电子设备、存储介质。
背景技术
随着机器人技术的发展，机器人已经从工业领域逐渐普及，向个人及家庭使用发展。然而，目前机器人的编程通常涉及编程语言，对于个人和家庭使用者而言，在编程语言的使用上存在困难。同时，即使在工业场景下的机器人编程，仍需要对机器人编程语言熟悉的人员担任编程的工作，这也大大增加了企业的用人成本。
由此，如何在不会通过图形化方式进行编程的个人和家庭用户与可以自行通过图形化方式进行编程的专业人员(包括可以自行进行编程的业余人员)之间；以及可以自行通过图形化方式进行编程的专业人员(包括可以自行进行编程的业余人员)之间形成交互平台，从而便于个人及家庭可以在无需自行通过图形化方式进行编程的情况下，使用机器人的同时，促进专业人员机器人的图形化方式编程的交流和改进，是本领域亟待解决的技术问题。
发明内容
本发明为了克服上述相关技术存在的缺陷，提供一种机器人的控制方法、系统、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本发明的一个方面，提供一种机器人的控制方法，包括：
解析输入源以生成关键数据；
根据所述关键数据自一云端动作包数据库匹配至少一动作包，所述动作包包括按时间轴排序的至少一个动作块，所述动作块映射供所述机器人执行的程序代码；
下载所匹配的动作包；以及
使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码。
在本发明的一些实施例中，所述输入源至少包括语音输入，所述解析输入源以生成关键数据包括：
对所述语音输入进行语音识别，根据所述语音识别生成关键数据。
在本发明的一些实施例中，所述输入源至少包括视频和/或图像输入，所述解析输入源以生成关键数据包括：
对所述视频和/或图像输入进行识别，根据识别结果生成关键数据。
在本发明的一些实施例中，对所述视频和/或图像输入进行识别，根据识别结果生成关键数据包括：
识别所述图像和/或视频输入中的待操作对象，将所述待操作对象作为所述关键数据。
在本发明的一些实施例中，所述输入源至少包括视频输入，对所述视频输入进行识别，根据识别结果生成关键数据包括：
识别所述视频输入中的待模拟对象；
根据所述视频输入对所述待模拟对象进行动作捕捉；以及
根据所述待模拟对象的动作捕捉，生成关键数据。
在本发明的一些实施例中，对所述视频和/或图像输入进行识别，根据识别结果生成关键数据包括：
识别所述图像和/或视频输入中的标识码，将所述标识码包含的数据作为所述关键数据。
在本发明的一些实施例中，所述标识码以非可见光涂料的涂布于待操作对象，所述视频和/或图像为非可见光视频和/或图像，对所述视频和/或图像输入进行识别，根据识别结果生成关键数据包括：
识别非可见光图像和/或视频输入中的标识码，将所述标识码包含的数据作为所述关键数据。
在本发明的一些实施例中，所述云端动作包数据库储存多个用户上传的动作包和/或AI系统根据输入源自动生成的动作包。
在本发明的一些实施例中，所述云端动作包数据库储存的动作包还关联支付信息，所述根据所述关键数据自一云端动作包数据库匹配至少一动作包之后，且所述下载所匹配的动作包之前还包括：
接收支付操作，所述支付操作至少向上传该动作包的用户支付所述支付信息中设定的金额。
在本发明的一些实施例中，所述下载所匹配的动作包之后，且使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码之前还包括：
编辑所述动作包。
在本发明的一些实施例中，所述使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码之后还包括：
上传经编辑的动作包。
在本发明的一些实施例中，若根据所述关键数据无法自一云端动作包数据库匹配到动作包，则将所述关键数据输入一云端动作包生成模型，所述云端动作包模型根据所述关键数据生成一动作包，所述云端动作包模型为经训练的机器学习模型。
根据本发明的又一方面，还提供一种机器人的控制装置，包括：
解析模块，用于解析输入源以生成关键数据；
匹配模块，用于根据所述关键数据自一云端动作包数据库匹配至少一动作包，所述动作包包括按时间轴排序的至少一个动作块，所述动作块映射供所述机器人执行的程序代码；
下载模块，用于下载所匹配的动作包；以及
执行模块，用于使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码。
在本发明的一些实施例中，所述解析模块至少包括语音采集模块、视频和/或图像采集模块、非可见光视频和/或图像采集模块中的一个或多个。
在本发明的一些实施例中，还提供一种机器人的控制系统，包括：
如上所述的机器人的控制装置；以及
机器人。
根据本发明的再一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
相比现有技术，本发明的优势在于：
利用机器人图形化编程中的动作包，形成可以基于动作包进行交互的云端生态平台，从而在不会通过图形化方式进行编程的个人和家庭用户与可以自行通过图形化方式进行编程的专业人员(包括可以自行进行编程的业余人员)之间；以及可以自行通过图形化方式进行编程的专业人员(包括可以自行进行编程的业余人员)之间形成交互平台，从而便于个人及家庭可以在无需自行通过图形化方式进行编程的情况下，使用机器人的同时，促进专业人员机器人的图形化方式编程的交流和改进。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的机器人的控制方法的流程图。
图2示出了根据本发明具体实施例的动作包展开状态下的示意图。
图3示出了根据本发明具体实施例的动作包收起状态下的示意图。
图4示出了根据本发明实施例的机器人的控制方法的示意图。
图5示出了根据本发明实施例的机器人的控制装置的模块图。
图6示出了根据本发明实施例的机器人的控制系统的模块图。
图7示意性示出本发明示例性实施例中一种计算机可读存储介质示意图。
图8示意性示出本发明示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。
图1示出了根据本发明实施例的机器人的控制方法的流程图。参考图1，所述机器人的控制方法包括如下步骤：
步骤S110：解析输入源以生成关键数据。
输入源及关键数据的解析将结合图3的多个实施例进行具体的说明，在此不予赘述。
步骤S120：根据所述关键数据自一云端动作包数据库匹配至少一动作包，所述动作包包括按时间轴排序的至少一个动作块，所述动作块映射供所述机器人执行的程序代码。
具体而言，动作包可以由上传该动作包的用户于一机器人编辑界面上编辑获得。机器人编辑界面和本发明中的机器人控制界面可以集成在一个应用(网页应用、APP或可执行程序)中。
在一个具体实施例中，可以通过如下方式进行编辑：接收用户于机器人编辑界面上的编辑区域的操作，生成并显示动作块序列，所述动作块序列包括按时间轴顺序排列的多个动作块，每个所述动作块按用户操作确定该动作块的动作类型及动作参数，各所述动作类型映射对应的程序代码段，动作块序列供所述机器人按所述时间轴顺序执行各动作块的动作类型映射的程序代码段及动作参数。进一步地，可以通过如下方式于编辑区域编辑动作块。首先于编辑区域内显示一动作块。在本发明的优选实施例中，所添加的动作块为默认动作块，默认动作块对应默认动作类型及默认动作参数。通过接收用户对所添加的动作块的操作，于所添加的动作块显示一动作类型列表。具体而言，动作块的显示区域内显示有该动作块的动作类型的图标，通过对该图标的左击、右击、触控、长按、压力按压等，以显示一动作类型列表。动作类型列表例如可以包括位置，手抓动作，等待，警示信号、数字信号、模拟信号、信号量等。其中，数字信号、模拟信号、信号量分别还可以包括设置、读取等动作类型，在此不予赘述。动作类型的显示形式(图标、文字、图标和文字的组合)、动作类型的具体内容和动作类型的数量的变化都在本发明的保护范围之内。然后，接收用户对动作类型列表的操作，确定所添加的动作块的动作类型。动作块的动作参数也可根据用户对于动作块的操作进行设定，在此不予赘述。
在编辑区域添加至少一动作块后，可以对至少一动作块执行打包操作。打包操作例如可以包括：接收用户对于所述动作块序列中至少一动作块的打包操作，以将选中的所述至少一动作块打包为一动作包，所述动作包中的多个动作块同时被用户操作。具体而言，例如可以通过长按鼠标左键，拖动鼠标以生成选中范围，从而选中范围内的至少一个动作块。又例如，可以通过两个手指的滑动，以确定选中范围的两个顶点，从而选中范围内的至少一个动作块。通过选中后对选中范围内的左击、右击、触控、长按、压力按压等操作，以进行打包的确认和选择。本发明并非以此为限制，其它方式的动作块的选择和打包操作也在本发明的保护范围之内。具体而言，对动作包的操作将直接对应至该动作包内的多个动作块中。例如，删除动作包时，该动作包内的多个动作块一并删除。移动该动作包时，该动作包内的多个动作块一并移动。动作包内的多个动作块映射的程序代码也将一并被打包。
下面分别通过图2和图3说明编辑动作包时的显示模式。图2示出了根据本发明具体实施例的动作包展开状态下的示意图。图3示出了根据本发明具体实施例的动作包收起状态下的示意图。
在图2中，在机器人编辑界面200上的编辑区域210内添加多个动作块以形成动作块序列241。在动作块序列241中选取部分动作块进行打包，以生成动作包251。在图2中，所述动作包251处于展开显示的模式，动作包251中包括多个动作块，动作包展开显示的范围内，提供“关闭”图标、解包图标及动作包命名。通过对“关闭”图标的操作，以关闭展开显示模式，进入收起显示模式。通过对解包图标(位于“关闭”图标右侧)的操作，用于将该动作包内的多个动作块释放为多个单独的动作块。通过对动作包命名(我的动作包)的编辑，可以更改命名。
当关闭展开显示模式，进入收起显示模式时，如图3所示，所述动作包252处于收起显示时具有与动作块相同的显示尺寸，以在相同的面积内显示更多的内容，所述动作包252具有与所述动作块不同的显示颜色和/或亮度，以与动作块区别。在收起显示模式中，还可以接收用户对所述动作包的执行参数的设置，所述执行参数包括循环执行的循环次数。在收起显示模式中，还可以提供“展开”图标。通过对“展开”图标的操作，以从收起显示模式，转换至展开显示模式(如图3)。
由此，通过上述方式可以实现图形化的机器人编程，即无需了解机器人的编程语言，通过图形化的动作块与编程代码的映射，即可对机器人进行编程。
用户编辑完成动作包后，可以将动作包及动作包的命名(或其它关键词)关联地上传至云端动作包数据库，从而便于其它用户通过关键数据与动作包的命名(或其它关键词)的匹配。
步骤S130：下载所匹配的动作包。
步骤S140：使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码。
由此，在本发明提供的机器人的控制方法中，利用机器人图形化编程中的动作包，形成可以基于动作包进行交互的云端生态平台，从而在不会通过图形化方式进行编程的个人和家庭用户与可以自行通过图形化方式进行编程的专业人员(包括可以自行进行编程的业余人员)之间；以及可以自行通过图形化方式进行编程的专业人员(包括可以自行进行编程的业余人员)之间形成交互平台，从而便于个人及家庭可以在无需自行通过图形化方式进行编程的情况下，使用机器人的同时，促进专业人员机器人的图形化方式编程的交流和改进。
下面结合图3描述本发明多个具体实施例的机器人的控制方法。
在本发明的具体实施例中，输入源310的解析可以通过视觉检测311、二维码等识别码的识别312、红外/激光识别313、动作捕捉314、语音识别315中的一项或多项的组合来实现。例如，在一些实施例中，可以将不同的解析方式获得数据组合以生成关键数据。在另一些实施例中，当其中一解析方式无法获得数据从而生成关键数据时，可以采用另一种解析方式获得的数据来生成关键数据。例如，通过视觉检测311无法确定待操作对象时，可以通过二维码等识别码的识别312来进行解析。本发明可以实现更多的变化方式，在此不予赘述。
具体而言，在上述实施例中，所述输入源可以包括语音输入，对输入源的解析可以是对所述语音输入进行语音识别，根据所述语音识别生成关键数据。用户可以通过语音指令，以向用户端320输入关键数据。关键数据可以是语音识别后获得的文本数据。在另一些实施例中，关键数据可以是对语音识别后获得的文本数据进一步处理(例如提取关键词)获得的关键词。例如，针对于制作奶茶场景的应用，在制作奶茶快结束时，用户需要机器人对制作的奶茶杯体进行上下左右的晃动动作，针对于此晃动动作，用户只需要通过语音输入“下载晃动奶茶杯子动作包”，机器人控制系统会自动根据当前编辑的场景情况，自动在云端计算相应的数据，并匹配或者自动生成相应的开发包并提供给用户使用，用户只需要少量修改一些初始化参数即可快速应用在机器人编程界面里完成相应的动作。
具体而言，在上述实施例中，所述输入源可以包括视频和/或图像输入，对输入源的解析可以是对所述视频和/或图像输入进行识别，根据识别结果生成关键数据。
在输入源包括视频和/或图像输入的实施例的一个具体实现中，对所述视频和/或图像输入进行识别实际上是要识别出视频和/或图像的待操作对象(视觉检测311)。例如，用户需要利用机器人操作切开西红柿，用户端将包含有西红柿的视频和/或图像作为输入源，并根据输入源识别出待操作对象为西红柿，则可以将所识别处的待操作对象作为关键数据，以在云端的动作包数据库340进行匹配。具体而言，输入源优选地为实时采集拍摄获得的视频和/或图像。在一些变化例中，输入源也可以是用户通过网络搜索到的视频和/或图像。待操作对象的识别算法可以是现有的视觉检测311技术。
在输入源包括视频输入的实施例的一个具体实现中，对所述视频输入进行识别实际上是要对待模拟对象进行动作捕捉314。例如，用户需要利用机器人操作切开西红柿，用户端将用户手臂切开西红柿的视频作为输入源，并根据输入源识别出待模拟对象为用户手臂，根据所述视频输入对用户手臂进行动作捕捉，根据所述用户手臂的动作捕捉，生成关键数据(例如捕捉用户手臂的多个关节点的位置作为关键数据)，由此，以在云端的动作包数据库340进行匹配。具体而言，输入源优选地为实时采集拍摄获得的视频。在一些变化例中，输入源也可以是用户通过网络搜索到的视频。动作捕捉314的实施例可以与视觉检测311的实施例组合使用。例如，通过视觉检测311识别待操作对象为西红柿，通过动作捕捉314识别用户手臂为切开动作，由此，将西红柿及切开动作(例如捕捉用户手臂的多个关节点的位置)作为关键数据，以在云端的动作包数据库340进行匹配。
在输入源包括视频和/或图像输入的实施例的一个具体实现中，对所述视频和/或图像输入进行识别实际上是要识别出视频和/或图像的标识码(二维码等识别码的识别312)。例如，用户需要利用机器人操作切开西红柿，用户端将贴有二维码(二维码中包含“切开西红柿”)的西红柿的视频和/或图像作为输入源，并根据输入源识别出二维码中包含“切开西红柿”，则可以将二维码中包含的内容(“切开西红柿”)作为关键数据，以在云端的动作包数据库340进行匹配。具体而言，输入源优选地为实时采集拍摄获得的视频和/或图像。该实施例也可以与上述两种方式进行结合，例如，通过二维码标识西红柿，通过捕捉用户手臂的动作获得切开动作，将西红柿及切开动作(例如捕捉用户手臂的多个关节点的位置)作为关键数据，以在云端的动作包数据库340进行匹配。又例如，通过二维码等识别码的识别312与视觉检测311相互验证，以确定待操作对象为西红柿。本领域技术人员可以实现更多的变化方式，在此不予赘述。
进一步地，在上述标识码的实施例中，考虑到将二维码贴纸贴在待操作对象上有时不便于对待操作对象进行操作(例如，西红柿上贴有二维码贴纸，当切开位置位于贴纸处时，不便于机器人执行切开动作)。为此，本发明还可以提供一种无感式的标识码的提供和识别。具体而言，所述标识码以非可见光涂料的涂布于待操作对象(例如可以将红外涂料以印章的方式盖在待操作对象的表面)，所述输入源为非可见光视频和/或图像。由此，通过对非可见光图像和/或视频输入中的标识码的识别，可以将所述标识码包含的数据作为所述关键数据。该实施例中，所述标识码包含的数据可以单独使用作为关键数据，也可以与前述的二维码等识别码的识别312类似，与视觉检测311、动作捕捉314结合以生成关键数据。
通过上述方式解析获得关键数据后，通过用户端320可将关键数据上传至云端330，云端330可以在一云端动作包数据库中匹配一动作包，并通过云端330返回至用户端320，以供用户端320下载获得该动作包390。进一步地，在本发明的各个实施例中，云端动作包数据库可以储存多个用户上传的动作包和/或AI系统根据输入源自动生成的动作包。动作包可以与关键数据关联地储存在云端动作包数据库。上传动作包时关联的关键数据可以与用户端320需要匹配时生成的关键数据以相同的方式生成。上传动作包时关联的关键数据也可以按用户端320需要匹配时生成的关键数据的形式来生成，而不限定其生成方式。例如，关键数据皆为文本数据，上传动作包时关联的关键数据可以由用户打字输入，用户端320需要匹配时生成的关键数据可以通过语音识别获得。具体而言，在一些具体实施例中，在云端动作包数据库中匹配动作包时，可能获得多个匹配的动作包，用户可以通过自动选取，或者自动择优选择(例如自动选择下载次数多的动作包)，来实现多动作包的选取。
进一步地，在本实施例中，用户端320下载所匹配的动作包390之前还可以包括支付操作360。所述支付操作至少向上传该动作包的用户支付所述支付信息中设定的金额。换言之，上传动作包的开发者可以设定该动作包的价格，并包含在支付信息中，以与该动作包关联上传。用户下载该动作包时，需支付开发者所设定的价格。进一步地，用户所支付的金额可由云端平台与开发者分成获得。
在本发明的一些实施例中，用户端320下载动作包390后，可以对所述动作包390编辑。例如，对动作包390内的动作块的顺序进行调整；对动作包390内的动作块进行增加和删除；对动作包390内的动作块的动作类型和动作参数进行更新等。进一步地，用户端320编辑动作包后，可以将该经编辑的动作包上传至云端330，以供云端动作包数据库340进行储存。
在本发明的一些实施例中，若根据所述关键数据无法自一云端动作包数据库340匹配到动作包，则将所述关键数据输入一云端动作包生成模型350，所述云端动作包模型350根据所述关键数据生成一动作包，所述云端动作包模型350为经训练的机器学习模型。机器学习模型例如可以是神经网络，本发明并非以此为限制。具体而言，可以根据动作包数据库340内的动作包及关联的关键数据对所选取的机器学习模型进行训练，以确定机器学习模型中的参数。由此，当将所述关键数据输入该经训练的云端动作包生成模型350，该经训练的云端动作包模型350可以根据所述关键数据生成一动作包。
以上仅仅是本发明提供的多个实施例，各实施例可以单独/组合来实现，本发明并非以此为限制。
下面结合图5描述本发明提供的机器人的控制装置。图5示出了根据本发明实施例的机器人的控制装置的模块图。机器人的控制装置300包括解析模块410、匹配模块420、下载模块430以及执行模块440。
解析模块410用于解析输入源以生成关键数据。
具体而言，所述解析模块410至少包括语音采集模块、视频和/或图像采集模块、非可见光视频和/或图像采集模块中的一个或多个，由此，可以通过前述方法中的多种解析的实施例，实现对语音输入、视频和/或图像输入、非可见光视频和/或图像输入的解析。
匹配模块420用于根据所述关键数据自一云端动作包数据库匹配至少一动作包，所述动作包包括按时间轴排序的至少一个动作块，所述动作块映射供所述机器人执行的程序代码。
下载模块430用于下载所匹配的动作包；以及
执行模块440用于使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码。
在本发明的示例性实施方式的机器人的控制装置中，利用机器人图形化编程中的动作包，形成可以基于动作包进行交互的云端生态平台，从而在不会通过图形化方式进行编程的个人和家庭用户与可以自行通过图形化方式进行编程的专业人员(包括可以自行进行编程的业余人员)之间；以及可以自行通过图形化方式进行编程的专业人员(包括可以自行进行编程的业余人员)之间形成交互平台，从而便于个人及家庭可以在无需自行通过图形化方式进行编程的情况下，使用机器人的同时，促进专业人员机器人的图形化方式编程的交流和改进。
以上仅仅是示意性地示出本发明各个实施例的模块图，在不违背本发明构思的前提下，模块的合并及模块的拆分皆在本发明的保护范围之内。上述各模块可以以软件、硬件、固件或他们之间的任意组合来实现。
下面参见图6，图6示出了根据本发明具体实施例的机器人的控制系统的模块图。机器人的控制系统包括机器人的控制装置400及机器人500。由此，可以通过机器人的控制装置400及机器人500之间的交互实现对机器人500的编程。机器人的控制装置400及机器人500可以通过有线或无线的方式进行通信，本发明并非以此为限制。机器人500可以实时按时间轴读取动作包的至少一个动作块对应的程序代码段，并按动作参数填充至程序代码段中，以进行动作的执行。在一些变化例中，在动作块的编辑过程中，动作包的至少一动作块对应的程序代码段相应的生成，并按动作块的编辑或顺序变更而进行变化。机器人500仅需根据以生成的程序代码段进行执行即可。本发明并非以此为限制。
以上仅仅是示意性地描述本发明的一个具体实施方式，在此不予赘述。在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述机器人的控制方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述机器人的控制方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本发明的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述机器人的控制方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本发明的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：至少一个处理单元810、至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830、显示单元840等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述机器人的控制方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图1所示的步骤。
所述存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。
所述存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器860可以通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明实施方式的上述机器人的控制方法。
相比现有技术，本发明的优势在于：
利用机器人图形化编程中的动作包，形成可以基于动作包进行交互的云端生态平台，从而在不会通过图形化方式进行编程的个人和家庭用户与可以自行通过图形化方式进行编程的专业人员(包括可以自行进行编程的业余人员)之间；以及可以自行通过图形化方式进行编程的专业人员(包括可以自行进行编程的业余人员)之间形成交互平台，从而便于个人及家庭可以在无需自行通过图形化方式进行编程的情况下，使用机器人的同时，促进专业人员机器人的图形化方式编程的交流和改进。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。
Claims (17)
1.一种机器人的控制方法，其特征在于，包括：
解析输入源以生成关键数据；
根据所述关键数据自一云端动作包数据库匹配至少一动作包，所述动作包包括按时间轴排序的至少一个动作块，所述动作块映射供所述机器人执行的程序代码；
下载所匹配的动作包；以及
使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码。
2.如权利要求1所述的机器人的控制方法，其特征在于，所述输入源至少包括语音输入，所述解析输入源以生成关键数据包括：
对所述语音输入进行语音识别，根据所述语音识别生成关键数据。
3.如权利要求1所述的机器人的控制方法，其特征在于，所述输入源至少包括视频和/或图像输入，所述解析输入源以生成关键数据包括：
对所述视频和/或图像输入进行识别，根据识别结果生成关键数据。
4.如权利要求3所述的机器人的控制方法，其特征在于，对所述视频和/或图像输入进行识别，根据识别结果生成关键数据包括：
识别所述图像和/或视频输入中的待操作对象，将所述待操作对象作为所述关键数据。
5.如权利要求3所述的机器人的控制方法，其特征在于，所述输入源至少包括视频输入，对所述视频输入进行识别，根据识别结果生成关键数据包括：
识别所述视频输入中的待模拟对象；
根据所述视频输入对所述待模拟对象进行动作捕捉；以及
根据所述待模拟对象的动作捕捉，生成关键数据。
6.如权利要求3所述的机器人的控制方法，其特征在于，对所述视频和/或图像输入进行识别，根据识别结果生成关键数据包括：
识别所述图像和/或视频输入中的标识码，将所述标识码包含的数据作为所述关键数据。
7.如权利要求6所述的机器人的控制方法，其特征在于，所述标识码以非可见光涂料的涂布于待操作对象，所述视频和/或图像为非可见光视频和/或图像，对所述视频和/或图像输入进行识别，根据识别结果生成关键数据包括：
识别非可见光图像和/或视频输入中的标识码，将所述标识码包含的数据作为所述关键数据。
8.如权利要求1至7任一项所述的机器人的控制方法，其特征在于，所述云端动作包数据库储存多个用户上传的动作包和/或AI系统根据输入源自动生成的动作包。
9.如权利要求8所述的机器人的控制方法，其特征在于，所述云端动作包数据库储存的动作包还关联支付信息，所述根据所述关键数据自一云端动作包数据库匹配至少一动作包之后，且所述下载所匹配的动作包之前还包括：
接收支付操作，所述支付操作至少向上传该动作包的用户支付所述支付信息中设定的金额。
10.如权利要求1至7任一项所述的机器人的控制方法，其特征在于，所述下载所匹配的动作包之后，且使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码之前还包括：
编辑所述动作包。
11.如权利要求10所述的机器人的控制方法，其特征在于，所述使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码之后还包括：
上传经编辑的动作包。
12.如权利要求1至7任一项所述的机器人的控制方法，其特征在于，若根据所述关键数据无法自一云端动作包数据库匹配到动作包，则将所述关键数据输入一云端动作包生成模型，所述云端动作包模型根据所述关键数据生成一动作包，所述云端动作包模型为经训练的机器学习模型。
13.一种机器人的控制装置，其特征在于，包括：
解析模块，用于解析输入源以生成关键数据；
匹配模块，用于根据所述关键数据自一云端动作包数据库匹配至少一动作包，所述动作包包括按时间轴排序的至少一个动作块，所述动作块映射供所述机器人执行的程序代码；
下载模块，用于下载所匹配的动作包；以及
执行模块，用于使机器人按所述时间轴执行所下载的动作包中至少一个动作块所映射的程序代码。
14.如权利要求13所述的机器人的控制装置，其特征在于，所述解析模块至少包括语音采集模块、视频和/或图像采集模块、非可见光视频和/或图像采集模块中的一个或多个。
15.一种机器人的控制系统，其特征在于，包括：
如权利要求13或14所述的机器人的控制装置；以及
机器人。
16.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储器，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至12任一项所述的机器人的控制方法。
17.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至12任一项所述的机器人的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911162547.0A CN110825368A (zh) | 2019-11-22 | 2019-11-22 | 机器人的控制方法、系统、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911162547.0A CN110825368A (zh) | 2019-11-22 | 2019-11-22 | 机器人的控制方法、系统、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110825368A true CN110825368A (zh) | 2020-02-21 |
Family
ID=69559114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911162547.0A Pending CN110825368A (zh) | 2019-11-22 | 2019-11-22 | 机器人的控制方法、系统、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825368A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111552238A (zh) * | 2020-04-17 | 2020-08-18 | 达闼科技（北京）有限公司 | 机器人控制方法、装置、计算设备及计算机存储介质 |
| CN112099775A (zh) * | 2020-09-15 | 2020-12-18 | 上海岭先机器人科技股份有限公司 | 一种制衣工艺流程代码化的方法 |
| WO2022142078A1 (zh) * | 2020-12-28 | 2022-07-07 | 达闼机器人股份有限公司 | 动作学习方法、装置、介质及电子设备 |
| WO2022217754A1 (zh) * | 2021-04-14 | 2022-10-20 | 达闼机器人股份有限公司 | 机器人控制方法、装置、存储介质、电子设备、程序产品和机器人 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108268255A (zh) * | 2018-02-11 | 2018-07-10 | 遨博（北京）智能科技有限公司 | 用于编程机器人的方法和装置 |
-
2019
- 2019-11-22 CN CN201911162547.0A patent/CN110825368A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108268255A (zh) * | 2018-02-11 | 2018-07-10 | 遨博（北京）智能科技有限公司 | 用于编程机器人的方法和装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111552238A (zh) * | 2020-04-17 | 2020-08-18 | 达闼科技（北京）有限公司 | 机器人控制方法、装置、计算设备及计算机存储介质 |
| CN112099775A (zh) * | 2020-09-15 | 2020-12-18 | 上海岭先机器人科技股份有限公司 | 一种制衣工艺流程代码化的方法 |
| CN112099775B (zh) * | 2020-09-15 | 2023-09-01 | 上海岭先机器人科技股份有限公司 | 一种制衣工艺流程代码化的方法 |
| WO2022142078A1 (zh) * | 2020-12-28 | 2022-07-07 | 达闼机器人股份有限公司 | 动作学习方法、装置、介质及电子设备 |
| WO2022217754A1 (zh) * | 2021-04-14 | 2022-10-20 | 达闼机器人股份有限公司 | 机器人控制方法、装置、存储介质、电子设备、程序产品和机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110825368A (zh) | 机器人的控制方法、系统、电子设备、存储介质 | |
| US10157502B2 (en) | Method and apparatus for sharing augmented reality applications to multiple clients | |
| CN102609188B (zh) | 基于插入点的用户界面交互行为 | |
| US11232257B2 (en) | Apparatuses, systems, and methods for providing a visual program for machine vision systems | |
| CN105308648B (zh) | 用于对用户选定的兴趣区域进行超分辨的系统和方法 | |
| CN112035101B (zh) | 结合rpa及ai的命令库创建方法、装置、介质及设备 | |
| US20170220963A1 (en) | Systems and methods for dynamic prediction of workflows | |
| US10762678B2 (en) | Representing an immersive content feed using extended reality based on relevancy | |
| CN110286885A (zh) | 自动化初始开发方法、系统、计算机设备和存储介质 | |
| US20220139075A1 (en) | Deep learning guide device and method | |
| CN110955421A (zh) | 用于机器人编程的方法、系统、电子设备、存储介质 | |
| CN110333869A (zh) | Ros机器人调试装置、方法、计算机设备以及程序产品 | |
| US10691429B2 (en) | Converting whiteboard images to personalized wireframes | |
| Seib et al. | A ROS-based system for an autonomous service robot | |
| CN114036501A (zh) | 一种app的检测方法、系统、装置、设备及存储介质 | |
| KR102011212B1 (ko) | 인공지능 신경망의 학습 데이터로 사용되는 객체의 추출 및 저장방법 | |
| US11221484B2 (en) | Apparatus and method for scent visualization | |
| CN112825033A (zh) | 界面代码的生成方法、装置、设备及存储介质 | |
| JP2002520701A (ja) | 仮想設備モデルを作成するための装置および方法 | |
| US11741715B2 (en) | Automatic creation and annotation of software-related instructional videos | |
| CN114327709A (zh) | 一种控制页面生成方法、装置、智能设备及存储介质 | |
| CN113127195A (zh) | 人工智能分析垂直解决方案集成器 | |
| US20230176834A1 (en) | Graphical programming environment | |
| US20220374652A1 (en) | Image collection and labelling using computer system and analysis | |
| Wang | VisionARy: An Open Source 3D Environment Segmentation Toolkit for Augmented Reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200221 |
|
| WD01 | Invention patent application deemed withdrawn after publication |