CN112975964B - 基于大数据的机器人自动控制方法、控制系统、机器人 - Google Patents
基于大数据的机器人自动控制方法、控制系统、机器人 Download PDFInfo
- Publication number
- CN112975964B CN112975964B CN202110203417.8A CN202110203417A CN112975964B CN 112975964 B CN112975964 B CN 112975964B CN 202110203417 A CN202110203417 A CN 202110203417A CN 112975964 B CN112975964 B CN 112975964B
- Authority
- CN
- China
- Prior art keywords
- module
- robot
- information
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000009471 action Effects 0.000 claims abstract description 61
- 238000007781 pre-processing Methods 0.000 claims abstract description 34
- 238000012546 transfer Methods 0.000 claims abstract description 31
- 239000012634 fragment Substances 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 38
- 238000003860 storage Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 13
- 230000008447 perception Effects 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000012512 characterization method Methods 0.000 claims description 8
- 230000005855 radiation Effects 0.000 claims description 8
- 238000012800 visualization Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000000701 chemical imaging Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000005065 mining Methods 0.000 claims description 2
- 241000282414 Homo sapiens Species 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器人技术领域，公开了一种基于大数据的机器人自动控制方法、控制系统、机器人，接收用户对机器人的语言，然后将所述语言片段包发送到信息预处理模块，在信息预处理模块中将所述语音片段识别且加以分析处理，转化成文本之后，提取出关键词，等待信息中转模块中转；同时，图像采集单元采集将用户动作图像，然后将图像压缩发送到信息预处理模块，将处理完成后的图像进行人物动作识别；机器人工作模块中接受的处理器模块的指令进行移动，执行用户输入的语言指令动作或相关自动控制的活动。本发明处理器采用的是开放式的硬件软件结构，可以根据用户的需要进行扩充功能，提升机器人服务的个性化标准。
Description
技术领域
本发明属于机器人技术领域，尤其涉及一种基于大数据的机器人自动控制方法、控制系统、机器人。
背景技术
目前，随着科技的不断发展和社会的不断进步，机器人为人类所作的事情越来越多，科技水平发展的越高，最终还是要为人类服务的。比如现在出现了很多种机器人，如各种精密装配机器人、位置混合控制机器人、多肢体协调控制系统以及先进制造系统中的机器人的研究等。相应的，人类在社会运作中对机器人控制器的性能也提出了更高的要求。但是，机器人自诞生以来，特别是工业机器人所采用的控制器基本上都是开发者基于自己的独立结构进行开发的，采用专用计算机、专用机器人语言、专用操作系统、专用微处理器。这样的机器人局限性太大，目的性太强，个性化太差，只能是满足对特定情境和特定功能的所需。而且目前的机器人在这种单一的模式下，系统之间耦合性太强，不便于进行系统的扩展。对于家用式的机器人服务安全性能必须是严格过关的，难以自动更新系统的对比数据，达不到理想的智能化服务标准。
通过上述分析，现有技术存在的问题及缺陷为：
(1)系统核心处理框架的开放性差，不便于后续的扩展和改进。
(2)软件硬件不隔离，逻辑性差，耦合性高。
(3)难以实现基于大数据的自动控制的运作的水平，达不到让用户满意程度。
发明内容
针对现有技术存在的问题，本发明提供了一种基于大数据的机器人自动控制方法、控制系统、机器人。
本发明是这样实现的，一种基于大数据的机器人自动控制方法，包括：
步骤一，接收用户对机器人的语言，然后将所述语言片段包发送到信息预处理模块，在信息预处理模块中将所述语音片段识别且加以分析处理，转化成文本之后，提取出关键词，等待信息中转模块中转；同时，图像采集单元采集将用户动作图像，然后将所述图像压缩发送到信息预处理模块，在信息预处理模块中，对发送至内存的图像进行读取操作，再对图像进行灰度值分析和直方图均衡化，将处理完成后的图像进行人物动作识别，然后将识别后的结果加入缓存，并发送信息中转模块；
所述对图像进行人物动作识别包括：
(1)对于人物动作图像数据的每个像素，由各谱段的灰度值计算出辐动作活动范围值，并进行归一化构成一条人物动作轨迹曲线；
(2)针对每个像素在所获的人物动作轨迹曲线，采用滤波器进行平滑处理，在保留较多曲线特征的基础上消除人物动作轨迹异常数据，得到各像素平滑后的人物动作轨迹曲线
(3)将所获各像素平滑后的人物动作轨迹曲线
结合标准活动幅度系统的活动幅度匹配函数
采用下式计算得标准活动幅度系统下的三维空间活动距离值(X,Y,Z)，其中Δλ是成像光谱仪器的活动距离采样间隔；
(4)根据三维空间活动距离值(XD65,YD65,ZD65)，通过下式将所获每个像素的三维空间活动距离值转换至均匀活动范围感知空间CIEL*C*h*，获得三个活动范围感知参量，即上/下
左/右
及前/后h1；
其中，
XD65＝95.047,YD65＝100,ZD65＝108.883；
(5)设置上/下系数kL、左/右系数kC和前/后系数kh的取值，通过下式调制所获各像素的上/下
左/右
及前/后h1，得到调制后的活动范围感知参量，即上/下
左/右
及前/后h2，使可视化效果满足保真复现需求，则kL＝kC＝1，kh＝0，改变kL实现调节图像明暗的需求，改变kC实现调节图像鲜艳程度的需求，改变kh实现调节图像白平衡的需求；
(6)根据显示设备的白点三维空间活动距离值(XW,YW,ZW)，通过下式，将所获各像素的上/下
左/右
及前/后h2转换至在显示设备上待显示的CIEXYZ值(X',Y',Z')；
(7)根据三维空间活动距离值(XRmax,YRmax,ZRmax)、(XGmax,YGmax,ZGmax、(XBmax,YBmax,ZBmax)结合三通道的伽马系数γR、γG、γB，建立起如下式的特征化模型，通过特征化模型，所获各像素的CIEXYZ值(X',Y',Z')计算至对应的数字驱动值(dR,dG,dB)，即完成人物动作图像的活动范围可视化，其中N是显示设备单通道的存储位数；
步骤二，处理器模块的外部数据信息接收单元读取信息中转模块存储在内存中的数据信息，CPU并行处理单元结合改进后的关节型机器人的动力学方程为计算力矩法、非线性前馈法和自适应控制法将所述数据信息进一步处理；并将处理后的指令发送机器人工作模块；
步骤三，所述机器人工作模块中接受的处理器模块的指令进行移动，执行用户输入的语言指令动作或相关自动控制的活动。
所述步骤一，采用各像素在各谱段的灰度值计算出辐动作活动范围值以构成人物动作轨迹曲线，具体包括以下步骤：
第一步，对于光谱成像仪器进行定标，选取5个～10个定标灰度值D测量对应的定标辐动作活动范围值F，采用最小二乘法拟合出下式映射表达式的参数α、β、ε，从而对被测区域的每个像素，将各谱段的灰度值代入下式计算辐动作活动范围值；
D＝αFβ+ε；
第二步，以最大灰度值Dmax对应的辐动作活动范围值Fmax为基准，将每个像素在各谱段的辐动作活动范围值进行归一化，构成一条人物动作轨迹曲线。
进一步，所述在信息预处理模块中，对发送至内存的图像进行读取操作包括：
将深度帧投影到三个正交的笛卡尔平面中，每个3D深度帧根据前视图，侧视图和俯视图生成三个2D地图，表示为mapf、maps、mapt；选择使用其中的两张地图继续向正交轴上投影，求取2D地图的行和与列和列表suma，其中a∈{d，w，h}；将和列表suma经过二值化处理后生成与宽度轴、高度轴以及深度轴对应的三个1D分布列表，表示为listw、listh、listd；计算公式如下：
其中lista[i]表示a轴上分布列表的第i个元素；suma[i]为与a轴对应的和列表第i个元素；ω表示二值化阈值，通过参数实验进行选取；
1D分布列表生成方式由mapt的行和得到，或由maps的列和得到；对于有N帧的深度视频序列，计公式如下：
其中
表示深度图序列第x帧在a轴上的1D分布列表；DSTMa[x]表示DSTMa的第x行。
本发明另一目的在于提供一种基于大数据的自动控制机器人控制系统，所述基于大数据的自动控制机器人控制系统包括外部信息获取模块、处理器模块、机器人工作模块；
其中外部信息获取模块包括信息采集模块、信息预处理模块和信息中转模块，所述的信息采集模块包括语音采集模块和图像采集模块；处理器模块包括信息中转模块、内核处理器模块和数据模块；机器人工作模块包括肢体动作模块、工作处理器模块、显示器和信息采集模块；
所述内核处理器模块包括外部数据接收单元、CPU并行处理单元和大数据云服务计算，数据模块包括分布式大数据挖掘、分布式处理、分布式数据库、云存储和虚拟化，将大数据和云计算深度融合部署，以分布式计算存储和分布式计算为基础，对于海量数据进行挖掘和处理。
进一步，所述的外部信息获取模块中，利用信息采集模块进行对外部信息的获取，其中的语音采集单元接收用户对机器人的语言，然后将语言片段包发送到信息预处理模块，在信息预处理模块中将这个语音片段识别且加以分析处理，转化成文本之后，提取出关键词，等待信息中转模块中转；同时，在信息采集模块中的图像采集单元，将用户开门之后的动作捕捉下来，然后将图像压缩发送到信息预处理模块，在信息预处理模块中，对发送至内存的图像进行读取操作，接下来对图像进行灰度值分析和直方图均衡化；将处理完成后的图像进行人物动作识别，然后将识别后的结果加入缓存.
所述的内核处理器模块中，外部数据信息接收单元读取信息中转模块存储在内存中的数据信息，CPU并行处理单元将此信息进一步处理；
所述的数据模块采用分布式的架构进行运作，对海量数据进行分布式数据的挖掘，依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术进行融合。
所述的机器人工作模块中的肢体工作模块包括关节手臂动作和机器人的移动单元，在机器人移动的过程中，通过信息采集处理模块进行数据信息的分析，当判断后是遇到障碍物的时，处理器模块控制移动单元进行移动处理，并且将捕获的图像在安装在机器人眼部的显示器进行显示出来。
本发明另一目的在于提供一种信息数据处理终端，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于大数据的机器人自动控制方法。
本发明另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于大数据的机器人自动控制方法。
本发明另一目的在于提供一种基于大数据的机器人，所述基于大数据的机器人所述基于大数据的机器人自动控制方法
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
本发明对图像进行人物动作识别包括：对于人物动作图像数据的每个像素，由各谱段的灰度值计算出辐动作活动范围值，并进行归一化构成一条人物动作轨迹曲线；针对每个像素在所获的人物动作轨迹曲线，采用滤波器进行平滑处理，在保留较多曲线特征的基础上消除人物动作轨迹异常数据，得到各像素平滑后的人物动作轨迹曲线；将所获各像素平滑后的人物动作轨迹曲线结合标准活动幅度系统的活动幅度匹配函数，采用下式计算得标准活动幅度系统下的三维空间活动距离值(X,Y,Z)，根据三维空间活动距离值(XD65,YD65,ZD65)，通过下式将所获每个像素的三维空间活动距离值转换至均匀活动范围感知空间CIEL*C*h*，获得三个活动范围感知参量，即上/下
左/右
及前/后h1；
设置上/下系数kL、左/右系数kC和前/后系数kh的取值，通过下式调制所获各像素的上/下
左/右
及前/后h1，得到调制后的活动范围感知参量，即上/下
左/右
及前/后h2，使可视化效果满足保真复现需求，则kL＝kC＝1，kh＝0，改变kL实现调节图像明暗的需求，改变kC实现调节图像鲜艳程度的需求，根据显示设备的白点三维空间活动距离值(XW,YW,ZW)，通过下式，将所获各像素的上/下
左/右
及前/后h2转换至在显示设备上待显示的CIEXYZ值(X',Y',Z')；根据三维空间活动距离值(XRmax,YRmax,ZRmax)、(XGmax,YGmax,ZGmax、(XBmax,YBmax,ZBmax)结合三通道的伽马系数γR、γG、γB，建立起如下式的特征化模型，通过特征化模型，所获各像素的CIEXYZ值(X',Y',Z')计算至对应的数字驱动值(dR,dG,dB)，即完成人物动作图像的活动范围可视化，其中N是显示设备单通道的存储位数；在本发明中所述在信息预处理模块中，对发送至内存的图像进行读取操作包括：将深度帧投影到三个正交的笛卡尔平面中，每个3D深度帧根据前视图，侧视图和俯视图生成三个2D地图，表示为mapf、maps、mapt；选择使用其中的两张地图继续向正交轴上投影，求取2D地图的行和与列和列表suma，其中a∈{d，w，h}；将和列表suma经过二值化处理后生成与宽度轴、高度轴以及深度轴对应的三个1D分布列表。通过上述方案，本发明的图像识别更准确。
本发明处理器采用的是开放式的硬件软件结构，可以根据用户的需要进行扩充功能，提升机器人服务的个性化标准。手臂动作单元采用的是关节机器手臂，在进行充分的编程和计算模拟之后，有很高的自由度，而且可以自由变成，服务效率和生产效率极高，可任意代替用户做一些危险行的工作，比如在烤箱中拿烤好的食物。与目前最流行的云计算相融合，为大数据提供了弹性可拓展的基础设备，让大数据计算更加准确，为人类带来福音。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于大数据的自动控制机器人结构图。
图2是本发明实施例提供的内核处理器模块结构图。
图3是本发明实施例提供的数据模块结构图。
图4是本发明实施例提供的基于大数据的机器人自动控制方法流程图。
图5是本发明实施例提供的采用各像素在各谱段的灰度值计算出辐动作活动范围值以构成人物动作轨迹曲线流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于大数据的机器人自动控制方法及机器人，下面结合附图对本发明作详细的描述。
如图1-图3所示，本发明提供一种基于大数据的自动控制机器人控制系统，包括外部信息获取模块、处理器模块、机器人工作模块三大部分。其中外部信息获取模块包括信息采集模块、信息预处理模块和信息中转模块，所述的信息采集模块包括语音采集模块和图像采集模块；处理器模块包括信息中转模块、内核处理器模块和数据模块；机器人工作模块包括肢体动作模块、工作处理器模块、显示器和信息采集模块。所述的本发明中最核心的部分在于内核处理器模块和数据模块，内核处理器模块包括外部数据接收单元、CPU并行处理单元和大数据云服务计算，数据模块包括分布式大数据挖掘、分布式处理、分布式数据库、云存储和虚拟化，在本发明中，将大数据和云计算深度融合部署，以分布式计算存储和分布式计算为基础，进而对于海量数据进行挖掘和处理，使得机器人在平时的处理过程中能更好的为用户提供服务。本发明处理器采用的是开放式的硬件软件结构，可以根据用户的需要进行扩充功能，提升机器人服务的个性化标准。
所述的外部信息获取模块中，利用信息采集模块进行对外部信息的获取，其中的语音采集单元接收用户对机器人的语言，然后将此部分的语言片段包发送到信息预处理模块，在信息预处理模块中将这个语音片段识别且加以分析处理，转化成文本之后，提取出关键词，等待信息中转模块中转；此模块中的核心是在信息采集模块中的图像采集单元，例如在机器人在家中看到用户回家之后，将用户开门之后的动作捕捉下来，然后将此高清图像压缩发送到信息预处理模块，在信息预处理模块中，对发送至内存的图像进行读取操作，接下来对图像进行灰度值分析和直方图均衡化，此部分实用python语言实现。将处理完成后的图像进行人物动作识别，然后将识别后的结果加入缓存，在信息中转模块的作用下实现中转操作。
所述的处理器模块，信息中转模块是将处理器模块和外部信息获取模块联系起来的重要部分，在内核处理器模块中，外部数据信息接收单元读取信息中转模块存储在内存中的数据信息，CPU并行处理单元将此信息进一步处理，本发明中所提到的CPU并行处理单元采用的是开放性的并行处理结构，实用并行处理技术，不但能有效的提高CPU的运行计算速度，还能满足机器人自动控制的实时性要求，使用的是机器人运动学和动力学算法进行实现的，由于本发明中的机器人是使用的关节机器臂，而且结合改进后的关节型机器人的动力学方程为计算力矩法、非线性前馈法和自适应控制法，将这些算法映射到并行结构中。所述的大数据云服务计算，使用MapReduce编程模型实现对数据模块中大规模数据集的并行运算，MapReduce在目前是比较可靠的技术，例如在进行数据分析处理时，MapReduce会进行数据划分和计算任务调度，数据和代码进行相互通信，会进行数据的优化和出错检查和恢复，对于实现数据分析处理的安全行提供了很大的保障，最重要的一点是MapReduce具有平滑无缝的可扩展性，是数据扩展和系统规模的扩展性。与内核处理器模块连接的数据模块共同构成本发明的核心内容。
所述的数据模块，其中的结构就是表现了大数据和云计算的关系就是密不可分的，大数据必然是无法用单台计算机进行处理的，必须是采用分布式的架构进行运作，大数据的特色是对海量数据进行分布式数据的挖掘，依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术的融合。
所述的机器人工作模块中的肢体工作模块，其中包括关节手臂动作和机器人的移动单元，动作模块是由工作处理器进行控制的，在机器人移动的过程中，会通过信息采集处理模块进行数据信息的分析，当判断后是遇到障碍物的时，工作处理器会控制移动单元进行移动处理，并且会将捕获的图像在安装在机器人眼部的显示器进行显示出来。
在本发明中，所述的本发明中在机器人移动的过程中，捕获到用户回家打开房门的图像，分析处理之后，机器人根据大数据进行判断用户回家之后需要换鞋、换衣服、放包之类的活动，然后机器人会自主的移动过去帮用户拿出需要更换的鞋子和衣服，最后将所各种东西根据基于大数据的物品识别放到固定的位置，完成此次自动控制的活动。用户也可以根据自己的所需来要求机器人去做一些事情，比如烹饪食品、播放电视或打开空调，此时在机器人内部是根据语音信息来进行控制的活动。
本发明系统核心处理框架是开放性的，便于后续的扩展和改进，软件硬件隔离，逻辑性强，耦合性低。实现基于大数据的自动控制的运作的水平，可以达到用户满意程度。
如图4所示，本发明提供一种基于大数据的机器人自动控制方法，包括：
S101，接收用户对机器人的语言，然后将所述语言片段包发送到信息预处理模块，在信息预处理模块中将所述语音片段识别且加以分析处理，转化成文本之后，提取出关键词，等待信息中转模块中转；同时，图像采集单元采集将用户动作图像，然后将所述图像压缩发送到信息预处理模块，在信息预处理模块中，对发送至内存的图像进行读取操作，再对图像进行灰度值分析和直方图均衡化，将处理完成后的图像进行人物动作识别，然后将识别后的结果加入缓存，并发送信息中转模块；
所述对图像进行人物动作识别包括：
(1)对于人物动作图像数据的每个像素，由各谱段的灰度值计算出辐动作活动范围值，并进行归一化构成一条人物动作轨迹曲线；
(2)针对每个像素在所获的人物动作轨迹曲线，采用滤波器进行平滑处理，在保留较多曲线特征的基础上消除人物动作轨迹异常数据，得到各像素平滑后的人物动作轨迹曲线
(3)将所获各像素平滑后的人物动作轨迹曲线
结合标准活动幅度系统的活动幅度匹配函数
采用下式计算得标准活动幅度系统下的三维空间活动距离值(X,Y,Z)，其中Δλ是成像光谱仪器的活动距离采样间隔；
(4)根据三维空间活动距离值(XD65,YD65,ZD65)，通过下式将所获每个像素的三维空间活动距离值转换至均匀活动范围感知空间CIEL*C*h*，获得三个活动范围感知参量，即上/下
左/右
及前/后h1；
其中，
XD65＝95.047,YD65＝100,ZD65＝108.883；
(5)设置上/下系数kL、左/右系数kC和前/后系数kh的取值，通过下式调制所获各像素的上/下
左/右
及前/后h1，得到调制后的活动范围感知参量，即上/下
左/右
及前/后h2，使可视化效果满足保真复现需求，则kL＝kC＝1，kh＝0，改变kL实现调节图像明暗的需求，改变kC实现调节图像鲜艳程度的需求，改变kh实现调节图像白平衡的需求；
(6)根据显示设备的白点三维空间活动距离值(XW,YW,ZW)，通过下式，将所获各像素的上/下
左/右
及前/后h2转换至在显示设备上待显示的CIEXYZ值(X',Y',Z')；
(7)根据三维空间活动距离值(XRmax,YRmax,ZRmax)、(XGmax,YGmax,ZGmax、(XBmax,YBmax,ZBmax)结合三通道的伽马系数γR、γG、γB，建立起如下式的特征化模型，通过特征化模型，所获各像素的CIEXYZ值(X',Y',Z')计算至对应的数字驱动值(dR,dG,dB)，即完成人物动作图像的活动范围可视化，其中N是显示设备单通道的存储位数；
S102，处理器模块的外部数据信息接收单元读取信息中转模块存储在内存中的数据信息，CPU并行处理单元结合改进后的关节型机器人的动力学方程为计算力矩法、非线性前馈法和自适应控制法将所述数据信息进一步处理；并将处理后的指令发送机器人工作模块；
S103，所述机器人工作模块中接受的处理器模块的指令进行移动，执行用户输入的语言指令动作或相关自动控制的活动。
所述步骤S101，采用各像素在各谱段的灰度值计算出辐动作活动范围值以构成人物动作轨迹曲线，如图5所示，具体包括以下步骤：
S201，对于光谱成像仪器进行定标，选取5个～10个定标灰度值D测量对应的定标辐动作活动范围值F，采用最小二乘法拟合出下式映射表达式的参数α、β、ε，从而对被测区域的每个像素，将各谱段的灰度值代入下式计算辐动作活动范围值；
D＝αFβ+ε；
S202，以最大灰度值Dmax对应的辐动作活动范围值Fmax为基准，将每个像素在各谱段的辐动作活动范围值进行归一化，构成一条人物动作轨迹曲线。
在本发明中，所述在信息预处理模块中，对发送至内存的图像进行读取操作包括：
将深度帧投影到三个正交的笛卡尔平面中，每个3D深度帧根据前视图，侧视图和俯视图生成三个2D地图，表示为mapf、maps、mapt；选择使用其中的两张地图继续向正交轴上投影，求取2D地图的行和与列和列表suma，其中a∈{d，w，h}；将和列表suma经过二值化处理后生成与宽度轴、高度轴以及深度轴对应的三个1D分布列表，表示为listw、listh、listd；计算公式如下：
其中lista[i]表示a轴上分布列表的第i个元素；suma[i]为与a轴对应的和列表第i个元素；ω表示二值化阈值，通过参数实验进行选取；
1D分布列表生成方式由mapt的行和得到，或由maps的列和得到；对于有N帧的深度视频序列，计公式如下：
其中
表示深度图序列第x帧在a轴上的1D分布列表；DSTMa[x]表示DSTMa的第x行。
下面结合实验结果对本发明的技术方案作进一步描述。
本发明处理器采用的是开放式的硬件软件结构，可以根据用户的需要进行扩充功能，提升机器人服务的个性化标准。手臂动作单元采用的是关节机器手臂，在进行充分的编程和计算模拟之后，有很高的自由度，而且可以自由变成，服务效率和生产效率极高，可任意代替用户做一些危险行的工作，比如在烤箱中拿烤好的食物。与目前最流行的云计算相融合，为大数据提供了弹性可拓展的基础设备，让大数据计算更加准确，为人类带来福音。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于大数据的机器人自动控制方法，其特征在于，所述基于大数据的机器人自动控制方法包括：
接收用户对机器人的语言，然后将语言片段包发送到信息预处理模块，在信息预处理模块中将所述语言片段识别且加以分析处理，转化成文本之后，提取出关键词，等待信息中转模块中转；同时，图像采集单元采集将用户动作图像，然后将所述图像压缩发送到信息预处理模块，在信息预处理模块中，对发送至内存的图像进行读取操作，再对图像进行灰度值分析和直方图均衡化，将处理完成后的图像进行人物动作识别，然后将识别后的结果加入缓存，并发送信息中转模块；
所述对图像进行人物动作识别包括：
(1)对于人物动作图像数据的每个像素，由各谱段的灰度值计算出辐动作活动范围值，并进行归一化构成一条人物动作轨迹曲线；
(2)针对每个像素在所获的人物动作轨迹曲线，采用滤波器进行平滑处理，在保留较多曲线特征的基础上消除人物动作轨迹异常数据，得到各像素平滑后的人物动作轨迹曲线
(3)将所获各像素平滑后的人物动作轨迹曲线
结合标准活动幅度系统的活动幅度匹配函数
采用下式计算得标准活动幅度系统下的三维空间活动距离值(X,Y,Z)，其中Δλ是成像光谱仪器的活动距离采样间隔；
(4)根据三维空间活动距离值(XD65,YD65,ZD65)，通过下式将所获每个像素的三维空间活动距离值转换至均匀活动范围感知空间CIEL*C*h*，获得三个活动范围感知参量，即上/下
左/右
及前/后h1；
其中，
XD65＝95.047,YD65＝100,ZD65＝108.883；
(5)设置上/下系数kL、左/右系数kC和前/后系数kh的取值，通过下式调制所获各像素的上/下
左/右
及前/后h1，得到调制后的活动范围感知参量，即上/下
左/右
及前/后h2，使可视化效果满足保真复现需求，则kL＝kC＝1，kh＝0，改变kL实现调节图像明暗的需求，改变kC实现调节图像鲜艳程度的需求，改变kh实现调节图像白平衡的需求；
(6)根据显示设备的白点三维空间活动距离值(XW,YW,ZW)，通过下式，将所获各像素的上/下
左/右
及前/后h2转换至在显示设备上待显示的CIEXYZ值(X',Y',Z')；
(7)根据三维空间活动距离值(XRmax,YRmax,ZRmax)、(XGmax,YGmax,ZGmax)、(XBmax,YBmax,ZBmax)结合三通道的伽马系数γR、γG、γB，建立起如下式的特征化模型，通过特征化模型，所获各像素的CIEXYZ值(X',Y',Z')计算至对应的数字驱动值(dR,dG,dB)，即完成人物动作图像的活动范围可视化，其中N是显示设备单通道的存储位数；
处理器模块的外部数据信息接收单元读取信息中转模块存储在内存中的数据信息，CPU并行处理单元结合改进后的关节型机器人的动力学方程为计算力矩法、非线性前馈法和自适应控制法将所述数据信息进一步处理；并将处理后的指令发送机器人工作模块；
所述机器人工作模块中接受的处理器模块的指令进行移动，执行用户输入的语言指令动作或相关自动控制的活动。
2.如权利要求1所述的基于大数据的机器人自动控制方法，其特征在于，采用各像素在各谱段的灰度值计算出辐动作活动范围值以构成人物动作轨迹曲线，具体包括以下步骤：
第一步，对于光谱成像仪器进行定标，选取5个～10个定标灰度值D测量对应的定标辐动作活动范围值F，采用最小二乘法拟合出下式映射表达式的参数α、β、ε，从而对被测区域的每个像素，将各谱段的灰度值代入下式计算辐动作活动范围值；
D＝αFβ+ε；
第二步，以最大灰度值Dmax对应的辐动作活动范围值Fmax为基准，将每个像素在各谱段的辐动作活动范围值进行归一化，构成一条人物动作轨迹曲线。
3.如权利要求1所述的基于大数据的机器人自动控制方法，其特征在于，所述在信息预处理模块中，对发送至内存的图像进行读取操作包括：
将深度帧投影到三个正交的笛卡尔平面中，每个3D深度帧根据前视图，侧视图和俯视图生成三个2D地图，表示为mapf、maps、mapt；选择使用其中的两张地图继续向正交轴上投影，求取2D地图的行和与列和列表suma，其中a∈{d，w，h}；将和列表suma经过二值化处理后生成与宽度轴、高度轴以及深度轴对应的三个1D分布列表，表示为listw、listh、listd；计算公式如下：
其中lista[i]表示a轴上分布列表的第i个元素；suma[i]为与a轴对应的和列表第i个元素；ω表示二值化阈值，通过参数实验进行选取；
1D分布列表生成方式由mapt的行和得到，或由maps的列和得到；对于有N帧的深度视频序列，计公式如下：
其中
表示深度图序列第x帧在a轴上的1D分布列表；DSTMa[x]表示DSTMa的第x行。
4.一种基于大数据的自动控制机器人控制系统，其特征在于，所述基于大数据的自动控制机器人控制系统包括外部信息获取模块、处理器模块、机器人工作模块；
其中外部信息获取模块包括信息采集模块、信息预处理模块和信息中转模块，所述的信息采集模块包括语音采集模块和图像采集模块；处理器模块包括信息中转模块、内核处理器模块和数据模块；机器人工作模块包括肢体动作模块、工作处理器模块、显示器和信息采集模块；
所述内核处理器模块包括外部数据接收单元、CPU并行处理单元和大数据云服务计算，数据模块包括分布式大数据挖掘、分布式处理、分布式数据库、云存储和虚拟化，将大数据和云计算深度融合部署，以分布式计算存储和分布式计算为基础，对于海量数据进行挖掘和处理。
5.如权利要求4所述的基于大数据的自动控制机器人控制系统，其特征在于，所述的外部信息获取模块中，利用信息采集模块进行对外部信息的获取，其中的语音采集单元接收用户对机器人的语言，然后将语言片段包发送到信息预处理模块，在信息预处理模块中将这个语言片段识别且加以分析处理，转化成文本之后，提取出关键词，等待信息中转模块中转；同时，在信息采集模块中的图像采集单元，将用户开门之后的动作捕捉下来，然后将图像压缩发送到信息预处理模块，在信息预处理模块中，对发送至内存的图像进行读取操作，接下来对图像进行灰度值分析和直方图均衡化；将处理完成后的图像进行人物动作识别，然后将识别后的结果加入缓存。
6.如权利要求4所述的基于大数据的自动控制机器人控制系统，其特征在于，所述的内核处理器模块中，外部数据信息接收单元读取信息中转模块存储在内存中的数据信息，CPU并行处理单元将此信息进一步处理；
所述的数据模块采用分布式的架构进行运作，对海量数据进行分布式数据的挖掘，依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术进行融合。
7.如权利要求4所述的基于大数据的自动控制机器人控制系统，其特征在于，所述的机器人工作模块中的肢体工作模块包括关节手臂动作和机器人的移动单元，在机器人移动的过程中，通过信息采集处理模块进行数据信息的分析，当判断后是遇到障碍物的时，处理器模块控制移动单元进行移动处理，并且将捕获的图像在安装在机器人眼部的显示器进行显示出来。
8.一种信息数据处理终端，其特征在于，所述信息数据处理终端包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-3任意一项所述基于大数据的机器人自动控制方法。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-3任意一项所述基于大数据的机器人自动控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110203417.8A CN112975964B (zh) | 2021-02-23 | 2021-02-23 | 基于大数据的机器人自动控制方法、控制系统、机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110203417.8A CN112975964B (zh) | 2021-02-23 | 2021-02-23 | 基于大数据的机器人自动控制方法、控制系统、机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112975964A CN112975964A (zh) | 2021-06-18 |
| CN112975964B true CN112975964B (zh) | 2022-04-01 |
Family
ID=76349862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110203417.8A Active CN112975964B (zh) | 2021-02-23 | 2021-02-23 | 基于大数据的机器人自动控制方法、控制系统、机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112975964B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101075433A (zh) * | 2007-04-18 | 2007-11-21 | 上海山思智能科技有限公司 | 一种机器人语音识别人工智能的控制方法 |
| KR20100070773A (ko) * | 2008-12-18 | 2010-06-28 | 주식회사 케이티 | 성격 변화 장치 및 그 방법과, 그를 이용한 행동 다양화 장치 및 그 방법과, 그 로봇 시스템 |
| JP2017052075A (ja) * | 2015-09-11 | 2017-03-16 | シャープ株式会社 | 応答装置および調整装置 |
| CN106826838A (zh) * | 2017-04-01 | 2017-06-13 | 西安交通大学 | 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法 |
| CN107443396A (zh) * | 2017-08-25 | 2017-12-08 | 魔咖智能科技（常州）有限公司 | 一种实时模仿人体动作的智能陪伴机器人 |
| CN107480612A (zh) * | 2017-07-31 | 2017-12-15 | 广东欧珀移动通信有限公司 | 人物动作的识别方法、装置和终端设备 |
| CN207387672U (zh) * | 2017-08-29 | 2018-05-22 | 郑杰 | 一种基于语音和图像识别的智能机器人 |
| CN108509880A (zh) * | 2018-03-21 | 2018-09-07 | 南京邮电大学 | 一种视频人物行为语义识别方法 |
| CN111300429A (zh) * | 2020-03-25 | 2020-06-19 | 深圳市天博智科技有限公司 | 机器人控制系统、方法及可读存储介质 |
| CN111775151A (zh) * | 2020-06-28 | 2020-10-16 | 河南工业职业技术学院 | 一种机器人智能控制系统 |
-
2021
- 2021-02-23 CN CN202110203417.8A patent/CN112975964B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101075433A (zh) * | 2007-04-18 | 2007-11-21 | 上海山思智能科技有限公司 | 一种机器人语音识别人工智能的控制方法 |
| KR20100070773A (ko) * | 2008-12-18 | 2010-06-28 | 주식회사 케이티 | 성격 변화 장치 및 그 방법과, 그를 이용한 행동 다양화 장치 및 그 방법과, 그 로봇 시스템 |
| JP2017052075A (ja) * | 2015-09-11 | 2017-03-16 | シャープ株式会社 | 応答装置および調整装置 |
| CN106826838A (zh) * | 2017-04-01 | 2017-06-13 | 西安交通大学 | 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法 |
| CN107480612A (zh) * | 2017-07-31 | 2017-12-15 | 广东欧珀移动通信有限公司 | 人物动作的识别方法、装置和终端设备 |
| CN107443396A (zh) * | 2017-08-25 | 2017-12-08 | 魔咖智能科技（常州）有限公司 | 一种实时模仿人体动作的智能陪伴机器人 |
| CN207387672U (zh) * | 2017-08-29 | 2018-05-22 | 郑杰 | 一种基于语音和图像识别的智能机器人 |
| CN108509880A (zh) * | 2018-03-21 | 2018-09-07 | 南京邮电大学 | 一种视频人物行为语义识别方法 |
| CN111300429A (zh) * | 2020-03-25 | 2020-06-19 | 深圳市天博智科技有限公司 | 机器人控制系统、方法及可读存储介质 |
| CN111775151A (zh) * | 2020-06-28 | 2020-10-16 | 河南工业职业技术学院 | 一种机器人智能控制系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Kinect竞赛用体感控制机器人的开发研究;刘淑云;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20180131(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112975964A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652121B (zh) | 一种表情迁移模型的训练方法、表情迁移的方法及装置 | |
| CN110163806B (zh) | 一种图像处理方法、装置以及存储介质 | |
| CN108983636B (zh) | 人机智能共生平台系统 | |
| CN111260665A (zh) | 图像分割模型训练方法和装置 | |
| CN105042789B (zh) | 一种智能空调的控制方法及系统 | |
| CN107336243A (zh) | 基于智能移动终端的机器人控制系统及控制方法 | |
| CN107958218A (zh) | 一种实时手势识别的方法 | |
| US20230230305A1 (en) | Online streamer avatar generation method and apparatus | |
| CN108596865B (zh) | 一种用于卷积神经网络的特征图增强系统及方法 | |
| CN113627422A (zh) | 一种图像分类方法及其相关设备 | |
| CN105069745A (zh) | 基于普通图像传感器及增强现实技术的带表情变脸系统及方法 | |
| CN112184816A (zh) | 一种基于电池极耳的锂电池柔性定位方法 | |
| CN115375835A (zh) | 基于二维关键点的三维模型建立方法、计算机及存储介质 | |
| CN116500901B (zh) | 数字孪生驱动的用户意图不明下人机协作任务规划方法 | |
| CN115328319B (zh) | 一种基于轻量型手势识别的智能控制方法及装置 | |
| CN112975964B (zh) | 基于大数据的机器人自动控制方法、控制系统、机器人 | |
| CN111695408A (zh) | 一种智能手势信息识别系统及方法、信息数据处理终端 | |
| CN112069979B (zh) | 一种实时动作识别人机交互系统 | |
| WO2020150990A1 (zh) | 人体动作表征的处理方法、系统、电子装置及存储介质 | |
| CN116449947B (zh) | 一种基于tof相机的汽车座舱域手势识别系统及方法 | |
| CN109934155B (zh) | 一种基于深度视觉的协作机器人手势识别方法及装置 | |
| CN117152838A (zh) | 一种基于多核动态注意力机制的手势识别方法 | |
| CN115716278A (zh) | 基于主动感知与交互操作协同的机器人目标搜索方法及机器人仿真平台 | |
| CN107220660A (zh) | 一种基于加权局部余弦相似度的目标跟踪算法 | |
| Shruti et al. | Arduino Based Hand Gesture Controlled Robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |