CN112975964A - 基于大数据的机器人自动控制方法、控制系统、机器人 - Google Patents

基于大数据的机器人自动控制方法、控制系统、机器人 Download PDF

Info

Publication number
CN112975964A
CN112975964A CN202110203417.8A CN202110203417A CN112975964A CN 112975964 A CN112975964 A CN 112975964A CN 202110203417 A CN202110203417 A CN 202110203417A CN 112975964 A CN112975964 A CN 112975964A
Authority
CN
China
Prior art keywords
module
robot
information
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110203417.8A
Other languages
English (en)
Other versions
CN112975964B (zh
Inventor
孙昊
王媛媛
张文鹏
吕志文
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haike Virtual Reality Research Institute
Original Assignee
Qingdao Haike Virtual Reality Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haike Virtual Reality Research Institute filed Critical Qingdao Haike Virtual Reality Research Institute
Priority to CN202110203417.8A priority Critical patent/CN112975964B/zh
Publication of CN112975964A publication Critical patent/CN112975964A/zh
Application granted granted Critical
Publication of CN112975964B publication Critical patent/CN112975964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器人技术领域,公开了一种基于大数据的机器人自动控制方法、控制系统、机器人,接收用户对机器人的语言,然后将所述语言片段包发送到信息预处理模块,在信息预处理模块中将所述语音片段识别且加以分析处理,转化成文本之后,提取出关键词,等待信息中转模块中转;同时,图像采集单元采集将用户动作图像,然后将图像压缩发送到信息预处理模块,将处理完成后的图像进行人物动作识别;机器人工作模块中接受的处理器模块的指令进行移动,执行用户输入的语言指令动作或相关自动控制的活动。本发明处理器采用的是开放式的硬件软件结构,可以根据用户的需要进行扩充功能,提升机器人服务的个性化标准。

Description

基于大数据的机器人自动控制方法、控制系统、机器人
技术领域
本发明属于机器人技术领域,尤其涉及一种基于大数据的机器人自动控制方法、控制系统、机器人。
背景技术
目前,随着科技的不断发展和社会的不断进步,机器人为人类所作的事情越来越多,科技水平发展的越高,最终还是要为人类服务的。比如现在出现了很多种机器人,如各种精密装配机器人、位置混合控制机器人、多肢体协调控制系统以及先进制造系统中的机器人的研究等。相应的,人类在社会运作中对机器人控制器的性能也提出了更高的要求。但是,机器人自诞生以来,特别是工业机器人所采用的控制器基本上都是开发者基于自己的独立结构进行开发的,采用专用计算机、专用机器人语言、专用操作系统、专用微处理器。这样的机器人局限性太大,目的性太强,个性化太差,只能是满足对特定情境和特定功能的所需。而且目前的机器人在这种单一的模式下,系统之间耦合性太强,不便于进行系统的扩展。对于家用式的机器人服务安全性能必须是严格过关的,难以自动更新系统的对比数据,达不到理想的智能化服务标准。
通过上述分析,现有技术存在的问题及缺陷为:
(1)系统核心处理框架的开放性差,不便于后续的扩展和改进。
(2)软件硬件不隔离,逻辑性差,耦合性高。
(3)难以实现基于大数据的自动控制的运作的水平,达不到让用户满意程度。
发明内容
针对现有技术存在的问题,本发明提供了一种基于大数据的机器人自动控制方法、控制系统、机器人。
本发明是这样实现的,一种基于大数据的机器人自动控制方法,包括:
步骤一,接收用户对机器人的语言,然后将所述语言片段包发送到信息预处理模块,在信息预处理模块中将所述语音片段识别且加以分析处理,转化成文本之后,提取出关键词,等待信息中转模块中转;同时,图像采集单元采集将用户动作图像,然后将所述图像压缩发送到信息预处理模块,在信息预处理模块中,对发送至内存的图像进行读取操作,再对图像进行灰度值分析和直方图均衡化,将处理完成后的图像进行人物动作识别,然后将识别后的结果加入缓存,并发送信息中转模块;
所述对图像进行人物动作识别包括:
(1)对于人物动作图像数据的每个像素,由各谱段的灰度值计算出辐动作活动范围值,并进行归一化构成一条人物动作轨迹曲线;
(2)针对每个像素在所获的人物动作轨迹曲线,采用滤波器进行平滑处理,在保留较多曲线特征的基础上消除人物动作轨迹异常数据,得到各像素平滑后的人物动作轨迹曲线
Figure BDA0002948832340000021
(3)将所获各像素平滑后的人物动作轨迹曲线
Figure BDA0002948832340000022
结合标准活动幅度系统的活动幅度匹配函数
Figure BDA0002948832340000023
采用下式计算得标准活动幅度系统下的三维空间活动距离值(X,Y,Z),其中Δλ是成像光谱仪器的活动距离采样间隔;
Figure BDA0002948832340000024
Figure BDA0002948832340000031
(4)根据三维空间活动距离值(XD65,YD65,ZD65),通过下式将所获每个像素的三维空间活动距离值转换至均匀活动范围感知空间CIEL*C*h*,获得三个活动范围感知参量,即上/下
Figure BDA0002948832340000032
左/右
Figure BDA0002948832340000033
及前/后h1
Figure BDA0002948832340000034
Figure BDA0002948832340000035
Figure BDA0002948832340000036
其中,
XD65=95.047,YD65=100,ZD65=108.883;
(5)设置上/下系数kL、左/右系数kC和前/后系数kh的取值,通过下式调制所获各像素的上/下
Figure BDA0002948832340000037
左/右
Figure BDA0002948832340000038
及前/后h1,得到调制后的活动范围感知参量,即上/下
Figure BDA0002948832340000039
左/右
Figure BDA00029488323400000310
及前/后h2,使可视化效果满足保真复现需求,则kL=kC=1,kh=0,改变kL实现调节图像明暗的需求,改变kC实现调节图像鲜艳程度的需求,改变kh实现调节图像白平衡的需求;
Figure BDA0002948832340000041
(6)根据显示设备的白点三维空间活动距离值(XW,YW,ZW),通过下式,将所获各像素的上/下
Figure BDA0002948832340000042
左/右
Figure BDA0002948832340000043
及前/后h2转换至在显示设备上待显示的CIEXYZ值(X',Y',Z');
Figure BDA0002948832340000044
Figure BDA0002948832340000045
(7)根据三维空间活动距离值(XRmax,YRmax,ZRmax)、(XGmax,YGmax,ZGmax、(XBmax,YBmax,ZBmax)结合三通道的伽马系数γR、γG、γB,建立起如下式的特征化模型,通过特征化模型,所获各像素的CIEXYZ值(X',Y',Z')计算至对应的数字驱动值(dR,dG,dB),即完成人物动作图像的活动范围可视化,其中N是显示设备单通道的存储位数;
Figure BDA0002948832340000051
Figure BDA0002948832340000052
步骤二,处理器模块的外部数据信息接收单元读取信息中转模块存储在内存中的数据信息,CPU并行处理单元结合改进后的关节型机器人的动力学方程为计算力矩法、非线性前馈法和自适应控制法将所述数据信息进一步处理;并将处理后的指令发送机器人工作模块;
步骤三,所述机器人工作模块中接受的处理器模块的指令进行移动,执行用户输入的语言指令动作或相关自动控制的活动。
所述步骤一,采用各像素在各谱段的灰度值计算出辐动作活动范围值以构成人物动作轨迹曲线,具体包括以下步骤:
第一步,对于光谱成像仪器进行定标,选取5个~10个定标灰度值D测量对应的定标辐动作活动范围值F,采用最小二乘法拟合出下式映射表达式的参数α、β、ε,从而对被测区域的每个像素,将各谱段的灰度值代入下式计算辐动作活动范围值;
D=αFβ+ε;
第二步,以最大灰度值Dmax对应的辐动作活动范围值Fmax为基准,将每个像素在各谱段的辐动作活动范围值进行归一化,构成一条人物动作轨迹曲线。
进一步,所述在信息预处理模块中,对发送至内存的图像进行读取操作包括:
将深度帧投影到三个正交的笛卡尔平面中,每个3D深度帧根据前视图,侧视图和俯视图生成三个2D地图,表示为mapf、maps、mapt;选择使用其中的两张地图继续向正交轴上投影,求取2D地图的行和与列和列表suma,其中a∈{d,w,h};将和列表suma经过二值化处理后生成与宽度轴、高度轴以及深度轴对应的三个1D分布列表,表示为listw、listh、listd;计算公式如下:
Figure BDA0002948832340000061
其中lista[i]表示a轴上分布列表的第i个元素;suma[i]为与a轴对应的和列表第i个元素;ω表示二值化阈值,通过参数实验进行选取;
1D分布列表生成方式由mapt的行和得到,或由maps的列和得到;对于有N帧的深度视频序列,计公式如下:
Figure BDA0002948832340000062
其中
Figure BDA0002948832340000063
表示深度图序列第x帧在a轴上的1D分布列表;DSTMa[x]表示DSTMa的第x行。
本发明另一目的在于提供一种基于大数据的自动控制机器人控制系统,所述基于大数据的自动控制机器人控制系统包括外部信息获取模块、处理器模块、机器人工作模块;
其中外部信息获取模块包括信息采集模块、信息预处理模块和信息中转模块,所述的信息采集模块包括语音采集模块和图像采集模块;处理器模块包括信息中转模块、内核处理器模块和数据模块;机器人工作模块包括肢体动作模块、工作处理器模块、显示器和信息采集模块;
所述内核处理器模块包括外部数据接收单元、CPU并行处理单元和大数据云服务计算,数据模块包括分布式大数据挖掘、分布式处理、分布式数据库、云存储和虚拟化,将大数据和云计算深度融合部署,以分布式计算存储和分布式计算为基础,对于海量数据进行挖掘和处理。
进一步,所述的外部信息获取模块中,利用信息采集模块进行对外部信息的获取,其中的语音采集单元接收用户对机器人的语言,然后将语言片段包发送到信息预处理模块,在信息预处理模块中将这个语音片段识别且加以分析处理,转化成文本之后,提取出关键词,等待信息中转模块中转;同时,在信息采集模块中的图像采集单元,将用户开门之后的动作捕捉下来,然后将图像压缩发送到信息预处理模块,在信息预处理模块中,对发送至内存的图像进行读取操作,接下来对图像进行灰度值分析和直方图均衡化;将处理完成后的图像进行人物动作识别,然后将识别后的结果加入缓存.
所述的内核处理器模块中,外部数据信息接收单元读取信息中转模块存储在内存中的数据信息,CPU并行处理单元将此信息进一步处理;
所述的数据模块采用分布式的架构进行运作,对海量数据进行分布式数据的挖掘,依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术进行融合。
所述的机器人工作模块中的肢体工作模块包括关节手臂动作和机器人的移动单元,在机器人移动的过程中,通过信息采集处理模块进行数据信息的分析,当判断后是遇到障碍物的时,处理器模块控制移动单元进行移动处理,并且将捕获的图像在安装在机器人眼部的显示器进行显示出来。
本发明另一目的在于提供一种信息数据处理终端,所述信息数据处理终端包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述基于大数据的机器人自动控制方法。
本发明另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述基于大数据的机器人自动控制方法。
本发明另一目的在于提供一种基于大数据的机器人,所述基于大数据的机器人所述基于大数据的机器人自动控制方法
结合上述的所有技术方案,本发明所具备的优点及积极效果为:
本发明对图像进行人物动作识别包括:对于人物动作图像数据的每个像素,由各谱段的灰度值计算出辐动作活动范围值,并进行归一化构成一条人物动作轨迹曲线;针对每个像素在所获的人物动作轨迹曲线,采用滤波器进行平滑处理,在保留较多曲线特征的基础上消除人物动作轨迹异常数据,得到各像素平滑后的人物动作轨迹曲线;将所获各像素平滑后的人物动作轨迹曲线结合标准活动幅度系统的活动幅度匹配函数,采用下式计算得标准活动幅度系统下的三维空间活动距离值(X,Y,Z),根据三维空间活动距离值(XD65,YD65,ZD65),通过下式将所获每个像素的三维空间活动距离值转换至均匀活动范围感知空间CIEL*C*h*,获得三个活动范围感知参量,即上/下
Figure BDA0002948832340000081
左/右
Figure BDA0002948832340000082
及前/后h1
设置上/下系数kL、左/右系数kC和前/后系数kh的取值,通过下式调制所获各像素的上/下
Figure BDA0002948832340000083
左/右
Figure BDA0002948832340000084
及前/后h1,得到调制后的活动范围感知参量,即上/下
Figure BDA0002948832340000085
左/右
Figure BDA0002948832340000086
及前/后h2,使可视化效果满足保真复现需求,则kL=kC=1,kh=0,改变kL实现调节图像明暗的需求,改变kC实现调节图像鲜艳程度的需求,根据显示设备的白点三维空间活动距离值(XW,YW,ZW),通过下式,将所获各像素的上/下
Figure BDA0002948832340000087
左/右
Figure BDA0002948832340000088
及前/后h2转换至在显示设备上待显示的CIEXYZ值(X',Y',Z');根据三维空间活动距离值(XRmax,YRmax,ZRmax)、(XGmax,YGmax,ZGmax、(XBmax,YBmax,ZBmax)结合三通道的伽马系数γR、γG、γB,建立起如下式的特征化模型,通过特征化模型,所获各像素的CIEXYZ值(X',Y',Z')计算至对应的数字驱动值(dR,dG,dB),即完成人物动作图像的活动范围可视化,其中N是显示设备单通道的存储位数;在本发明中所述在信息预处理模块中,对发送至内存的图像进行读取操作包括:将深度帧投影到三个正交的笛卡尔平面中,每个3D深度帧根据前视图,侧视图和俯视图生成三个2D地图,表示为mapf、maps、mapt;选择使用其中的两张地图继续向正交轴上投影,求取2D地图的行和与列和列表suma,其中a∈{d,w,h};将和列表suma经过二值化处理后生成与宽度轴、高度轴以及深度轴对应的三个1D分布列表。通过上述方案,本发明的图像识别更准确。
本发明处理器采用的是开放式的硬件软件结构,可以根据用户的需要进行扩充功能,提升机器人服务的个性化标准。手臂动作单元采用的是关节机器手臂,在进行充分的编程和计算模拟之后,有很高的自由度,而且可以自由变成,服务效率和生产效率极高,可任意代替用户做一些危险行的工作,比如在烤箱中拿烤好的食物。与目前最流行的云计算相融合,为大数据提供了弹性可拓展的基础设备,让大数据计算更加准确,为人类带来福音。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于大数据的自动控制机器人结构图。
图2是本发明实施例提供的内核处理器模块结构图。
图3是本发明实施例提供的数据模块结构图。
图4是本发明实施例提供的基于大数据的机器人自动控制方法流程图。
图5是本发明实施例提供的采用各像素在各谱段的灰度值计算出辐动作活动范围值以构成人物动作轨迹曲线流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种基于大数据的机器人自动控制方法及机器人,下面结合附图对本发明作详细的描述。
如图1-图3所示,本发明提供一种基于大数据的自动控制机器人控制系统,包括外部信息获取模块、处理器模块、机器人工作模块三大部分。其中外部信息获取模块包括信息采集模块、信息预处理模块和信息中转模块,所述的信息采集模块包括语音采集模块和图像采集模块;处理器模块包括信息中转模块、内核处理器模块和数据模块;机器人工作模块包括肢体动作模块、工作处理器模块、显示器和信息采集模块。所述的本发明中最核心的部分在于内核处理器模块和数据模块,内核处理器模块包括外部数据接收单元、CPU并行处理单元和大数据云服务计算,数据模块包括分布式大数据挖掘、分布式处理、分布式数据库、云存储和虚拟化,在本发明中,将大数据和云计算深度融合部署,以分布式计算存储和分布式计算为基础,进而对于海量数据进行挖掘和处理,使得机器人在平时的处理过程中能更好的为用户提供服务。本发明处理器采用的是开放式的硬件软件结构,可以根据用户的需要进行扩充功能,提升机器人服务的个性化标准。
所述的外部信息获取模块中,利用信息采集模块进行对外部信息的获取,其中的语音采集单元接收用户对机器人的语言,然后将此部分的语言片段包发送到信息预处理模块,在信息预处理模块中将这个语音片段识别且加以分析处理,转化成文本之后,提取出关键词,等待信息中转模块中转;此模块中的核心是在信息采集模块中的图像采集单元,例如在机器人在家中看到用户回家之后,将用户开门之后的动作捕捉下来,然后将此高清图像压缩发送到信息预处理模块,在信息预处理模块中,对发送至内存的图像进行读取操作,接下来对图像进行灰度值分析和直方图均衡化,此部分实用python语言实现。将处理完成后的图像进行人物动作识别,然后将识别后的结果加入缓存,在信息中转模块的作用下实现中转操作。
所述的处理器模块,信息中转模块是将处理器模块和外部信息获取模块联系起来的重要部分,在内核处理器模块中,外部数据信息接收单元读取信息中转模块存储在内存中的数据信息,CPU并行处理单元将此信息进一步处理,本发明中所提到的CPU并行处理单元采用的是开放性的并行处理结构,实用并行处理技术,不但能有效的提高CPU的运行计算速度,还能满足机器人自动控制的实时性要求,使用的是机器人运动学和动力学算法进行实现的,由于本发明中的机器人是使用的关节机器臂,而且结合改进后的关节型机器人的动力学方程为计算力矩法、非线性前馈法和自适应控制法,将这些算法映射到并行结构中。所述的大数据云服务计算,使用MapReduce编程模型实现对数据模块中大规模数据集的并行运算,MapReduce在目前是比较可靠的技术,例如在进行数据分析处理时,MapReduce会进行数据划分和计算任务调度,数据和代码进行相互通信,会进行数据的优化和出错检查和恢复,对于实现数据分析处理的安全行提供了很大的保障,最重要的一点是MapReduce具有平滑无缝的可扩展性,是数据扩展和系统规模的扩展性。与内核处理器模块连接的数据模块共同构成本发明的核心内容。
所述的数据模块,其中的结构就是表现了大数据和云计算的关系就是密不可分的,大数据必然是无法用单台计算机进行处理的,必须是采用分布式的架构进行运作,大数据的特色是对海量数据进行分布式数据的挖掘,依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术的融合。
所述的机器人工作模块中的肢体工作模块,其中包括关节手臂动作和机器人的移动单元,动作模块是由工作处理器进行控制的,在机器人移动的过程中,会通过信息采集处理模块进行数据信息的分析,当判断后是遇到障碍物的时,工作处理器会控制移动单元进行移动处理,并且会将捕获的图像在安装在机器人眼部的显示器进行显示出来。
在本发明中,所述的本发明中在机器人移动的过程中,捕获到用户回家打开房门的图像,分析处理之后,机器人根据大数据进行判断用户回家之后需要换鞋、换衣服、放包之类的活动,然后机器人会自主的移动过去帮用户拿出需要更换的鞋子和衣服,最后将所各种东西根据基于大数据的物品识别放到固定的位置,完成此次自动控制的活动。用户也可以根据自己的所需来要求机器人去做一些事情,比如烹饪食品、播放电视或打开空调,此时在机器人内部是根据语音信息来进行控制的活动。
本发明系统核心处理框架是开放性的,便于后续的扩展和改进,软件硬件隔离,逻辑性强,耦合性低。实现基于大数据的自动控制的运作的水平,可以达到用户满意程度。
如图4所示,本发明提供一种基于大数据的机器人自动控制方法,包括:
S101,接收用户对机器人的语言,然后将所述语言片段包发送到信息预处理模块,在信息预处理模块中将所述语音片段识别且加以分析处理,转化成文本之后,提取出关键词,等待信息中转模块中转;同时,图像采集单元采集将用户动作图像,然后将所述图像压缩发送到信息预处理模块,在信息预处理模块中,对发送至内存的图像进行读取操作,再对图像进行灰度值分析和直方图均衡化,将处理完成后的图像进行人物动作识别,然后将识别后的结果加入缓存,并发送信息中转模块;
所述对图像进行人物动作识别包括:
(1)对于人物动作图像数据的每个像素,由各谱段的灰度值计算出辐动作活动范围值,并进行归一化构成一条人物动作轨迹曲线;
(2)针对每个像素在所获的人物动作轨迹曲线,采用滤波器进行平滑处理,在保留较多曲线特征的基础上消除人物动作轨迹异常数据,得到各像素平滑后的人物动作轨迹曲线
Figure BDA0002948832340000121
(3)将所获各像素平滑后的人物动作轨迹曲线
Figure BDA0002948832340000122
结合标准活动幅度系统的活动幅度匹配函数
Figure BDA0002948832340000123
采用下式计算得标准活动幅度系统下的三维空间活动距离值(X,Y,Z),其中Δλ是成像光谱仪器的活动距离采样间隔;
Figure BDA0002948832340000131
Figure BDA0002948832340000132
(4)根据三维空间活动距离值(XD65,YD65,ZD65),通过下式将所获每个像素的三维空间活动距离值转换至均匀活动范围感知空间CIEL*C*h*,获得三个活动范围感知参量,即上/下
Figure BDA0002948832340000133
左/右
Figure BDA0002948832340000134
及前/后h1
Figure BDA0002948832340000135
Figure BDA0002948832340000136
Figure BDA0002948832340000137
其中,
XD65=95.047,YD65=100,ZD65=108.883;
(5)设置上/下系数kL、左/右系数kC和前/后系数kh的取值,通过下式调制所获各像素的上/下
Figure BDA0002948832340000141
左/右
Figure BDA0002948832340000142
及前/后h1,得到调制后的活动范围感知参量,即上/下
Figure BDA0002948832340000143
左/右
Figure BDA0002948832340000144
及前/后h2,使可视化效果满足保真复现需求,则kL=kC=1,kh=0,改变kL实现调节图像明暗的需求,改变kC实现调节图像鲜艳程度的需求,改变kh实现调节图像白平衡的需求;
Figure BDA0002948832340000145
(6)根据显示设备的白点三维空间活动距离值(XW,YW,ZW),通过下式,将所获各像素的上/下
Figure BDA0002948832340000146
左/右
Figure BDA0002948832340000147
及前/后h2转换至在显示设备上待显示的CIEXYZ值(X',Y',Z');
Figure BDA0002948832340000148
Figure BDA0002948832340000149
(7)根据三维空间活动距离值(XRmax,YRmax,ZRmax)、(XGmax,YGmax,ZGmax、(XBmax,YBmax,ZBmax)结合三通道的伽马系数γR、γG、γB,建立起如下式的特征化模型,通过特征化模型,所获各像素的CIEXYZ值(X',Y',Z')计算至对应的数字驱动值(dR,dG,dB),即完成人物动作图像的活动范围可视化,其中N是显示设备单通道的存储位数;
Figure BDA0002948832340000151
Figure BDA0002948832340000152
S102,处理器模块的外部数据信息接收单元读取信息中转模块存储在内存中的数据信息,CPU并行处理单元结合改进后的关节型机器人的动力学方程为计算力矩法、非线性前馈法和自适应控制法将所述数据信息进一步处理;并将处理后的指令发送机器人工作模块;
S103,所述机器人工作模块中接受的处理器模块的指令进行移动,执行用户输入的语言指令动作或相关自动控制的活动。
所述步骤S101,采用各像素在各谱段的灰度值计算出辐动作活动范围值以构成人物动作轨迹曲线,如图5所示,具体包括以下步骤:
S201,对于光谱成像仪器进行定标,选取5个~10个定标灰度值D测量对应的定标辐动作活动范围值F,采用最小二乘法拟合出下式映射表达式的参数α、β、ε,从而对被测区域的每个像素,将各谱段的灰度值代入下式计算辐动作活动范围值;
D=αFβ+ε;
S202,以最大灰度值Dmax对应的辐动作活动范围值Fmax为基准,将每个像素在各谱段的辐动作活动范围值进行归一化,构成一条人物动作轨迹曲线。
在本发明中,所述在信息预处理模块中,对发送至内存的图像进行读取操作包括:
将深度帧投影到三个正交的笛卡尔平面中,每个3D深度帧根据前视图,侧视图和俯视图生成三个2D地图,表示为mapf、maps、mapt;选择使用其中的两张地图继续向正交轴上投影,求取2D地图的行和与列和列表suma,其中a∈{d,w,h};将和列表suma经过二值化处理后生成与宽度轴、高度轴以及深度轴对应的三个1D分布列表,表示为listw、listh、listd;计算公式如下:
Figure BDA0002948832340000161
其中lista[i]表示a轴上分布列表的第i个元素;suma[i]为与a轴对应的和列表第i个元素;ω表示二值化阈值,通过参数实验进行选取;
1D分布列表生成方式由mapt的行和得到,或由maps的列和得到;对于有N帧的深度视频序列,计公式如下:
Figure BDA0002948832340000162
其中
Figure BDA0002948832340000163
表示深度图序列第x帧在a轴上的1D分布列表;DSTMa[x]表示DSTMa的第x行。
下面结合实验结果对本发明的技术方案作进一步描述。
本发明处理器采用的是开放式的硬件软件结构,可以根据用户的需要进行扩充功能,提升机器人服务的个性化标准。手臂动作单元采用的是关节机器手臂,在进行充分的编程和计算模拟之后,有很高的自由度,而且可以自由变成,服务效率和生产效率极高,可任意代替用户做一些危险行的工作,比如在烤箱中拿烤好的食物。与目前最流行的云计算相融合,为大数据提供了弹性可拓展的基础设备,让大数据计算更加准确,为人类带来福音。
以上所述,仅为本发明较优的具体的实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于大数据的机器人自动控制方法,其特征在于,所述基于大数据的机器人自动控制方法包括:
接收用户对机器人的语言,然后将所述语言片段包发送到信息预处理模块,在信息预处理模块中将所述语音片段识别且加以分析处理,转化成文本之后,提取出关键词,等待信息中转模块中转;同时,图像采集单元采集将用户动作图像,然后将所述图像压缩发送到信息预处理模块,在信息预处理模块中,对发送至内存的图像进行读取操作,再对图像进行灰度值分析和直方图均衡化,将处理完成后的图像进行人物动作识别,然后将识别后的结果加入缓存,并发送信息中转模块;
所述对图像进行人物动作识别包括:
(1)对于人物动作图像数据的每个像素,由各谱段的灰度值计算出辐动作活动范围值,并进行归一化构成一条人物动作轨迹曲线;
(2)针对每个像素在所获的人物动作轨迹曲线,采用滤波器进行平滑处理,在保留较多曲线特征的基础上消除人物动作轨迹异常数据,得到各像素平滑后的人物动作轨迹曲线
Figure FDA0002948832330000011
(3)将所获各像素平滑后的人物动作轨迹曲线
Figure FDA0002948832330000012
结合标准活动幅度系统的活动幅度匹配函数
Figure FDA0002948832330000013
采用下式计算得标准活动幅度系统下的三维空间活动距离值(X,Y,Z),其中Δλ是成像光谱仪器的活动距离采样间隔;
Figure FDA0002948832330000014
Figure FDA0002948832330000021
(4)根据三维空间活动距离值(XD65,YD65,ZD65),通过下式将所获每个像素的三维空间活动距离值转换至均匀活动范围感知空间CIEL*C*h*,获得三个活动范围感知参量,即上/下
Figure FDA0002948832330000022
左/右
Figure FDA0002948832330000023
及前/后h1
Figure FDA0002948832330000024
Figure FDA0002948832330000025
Figure FDA0002948832330000026
其中,
XD65=95.047,YD65=100,ZD65=108.883;
(5)设置上/下系数kL、左/右系数kC和前/后系数kh的取值,通过下式调制所获各像素的上/下
Figure FDA0002948832330000027
左/右
Figure FDA0002948832330000028
及前/后h1,得到调制后的活动范围感知参量,即上/下
Figure FDA0002948832330000029
左/右
Figure FDA00029488323300000210
及前/后h2,使可视化效果满足保真复现需求,则kL=kC=1,kh=0,改变kL实现调节图像明暗的需求,改变kC实现调节图像鲜艳程度的需求,改变kh实现调节图像白平衡的需求;
Figure FDA0002948832330000031
(6)根据显示设备的白点三维空间活动距离值(XW,YW,ZW),通过下式,将所获各像素的上/下
Figure FDA0002948832330000032
左/右
Figure FDA0002948832330000033
及前/后h2转换至在显示设备上待显示的CIEXYZ值(X',Y',Z');
Figure FDA0002948832330000034
Figure FDA0002948832330000035
(7)根据三维空间活动距离值(XRmax,YRmax,ZRmax)、(XGmax,YGmax,ZGmax、(XBmax,YBmax,ZBmax)结合三通道的伽马系数γR、γG、γB,建立起如下式的特征化模型,通过特征化模型,所获各像素的CIEXYZ值(X',Y',Z')计算至对应的数字驱动值(dR,dG,dB),即完成人物动作图像的活动范围可视化,其中N是显示设备单通道的存储位数;
Figure FDA0002948832330000041
Figure FDA0002948832330000042
处理器模块的外部数据信息接收单元读取信息中转模块存储在内存中的数据信息,CPU并行处理单元结合改进后的关节型机器人的动力学方程为计算力矩法、非线性前馈法和自适应控制法将所述数据信息进一步处理;并将处理后的指令发送机器人工作模块;
所述机器人工作模块中接受的处理器模块的指令进行移动,执行用户输入的语言指令动作或相关自动控制的活动。
2.如权利要求1所述的基于大数据的机器人自动控制方法,其特征在于,所述采用各像素在各谱段的灰度值计算出辐动作活动范围值以构成人物动作轨迹曲线,具体包括以下步骤:
第一步,对于光谱成像仪器进行定标,选取5个~10个定标灰度值D测量对应的定标辐动作活动范围值F,采用最小二乘法拟合出下式映射表达式的参数α、β、ε,从而对被测区域的每个像素,将各谱段的灰度值代入下式计算辐动作活动范围值;
D=αFβ+ε;
第二步,以最大灰度值Dmax对应的辐动作活动范围值Fmax为基准,将每个像素在各谱段的辐动作活动范围值进行归一化,构成一条人物动作轨迹曲线。
3.如权利要求1所述的基于大数据的机器人自动控制方法,其特征在于,所述在信息预处理模块中,对发送至内存的图像进行读取操作包括:
将深度帧投影到三个正交的笛卡尔平面中,每个3D深度帧根据前视图,侧视图和俯视图生成三个2D地图,表示为mapf、maps、mapt;选择使用其中的两张地图继续向正交轴上投影,求取2D地图的行和与列和列表suma,其中a∈{d,w,h};将和列表suma经过二值化处理后生成与宽度轴、高度轴以及深度轴对应的三个1D分布列表,表示为listw、listh、listd;计算公式如下:
Figure FDA0002948832330000051
其中lista[i]表示a轴上分布列表的第i个元素;suma[i]为与a轴对应的和列表第i个元素;ω表示二值化阈值,通过参数实验进行选取;
1D分布列表生成方式由mapt的行和得到,或由maps的列和得到;对于有N帧的深度视频序列,计公式如下:
Figure FDA0002948832330000052
其中
Figure FDA0002948832330000053
表示深度图序列第x帧在a轴上的1D分布列表;DSTMa[x]表示DSTMa的第x行。
4.一种基于大数据的自动控制机器人控制系统,其特征在于,所述基于大数据的自动控制机器人控制系统包括外部信息获取模块、处理器模块、机器人工作模块;
其中外部信息获取模块包括信息采集模块、信息预处理模块和信息中转模块,所述的信息采集模块包括语音采集模块和图像采集模块;处理器模块包括信息中转模块、内核处理器模块和数据模块;机器人工作模块包括肢体动作模块、工作处理器模块、显示器和信息采集模块;
所述内核处理器模块包括外部数据接收单元、CPU并行处理单元和大数据云服务计算,数据模块包括分布式大数据挖掘、分布式处理、分布式数据库、云存储和虚拟化,将大数据和云计算深度融合部署,以分布式计算存储和分布式计算为基础,对于海量数据进行挖掘和处理。
5.如权利要求4所述的基于大数据的自动控制机器人控制系统,其特征在于,所述的外部信息获取模块中,利用信息采集模块进行对外部信息的获取,其中的语音采集单元接收用户对机器人的语言,然后将语言片段包发送到信息预处理模块,在信息预处理模块中将这个语音片段识别且加以分析处理,转化成文本之后,提取出关键词,等待信息中转模块中转;同时,在信息采集模块中的图像采集单元,将用户开门之后的动作捕捉下来,然后将图像压缩发送到信息预处理模块,在信息预处理模块中,对发送至内存的图像进行读取操作,接下来对图像进行灰度值分析和直方图均衡化;将处理完成后的图像进行人物动作识别,然后将识别后的结果加入缓存。
6.如权利要求4所述的基于大数据的自动控制机器人控制系统,其特征在于,所述的内核处理器模块中,外部数据信息接收单元读取信息中转模块存储在内存中的数据信息,CPU并行处理单元将此信息进一步处理;
所述的数据模块采用分布式的架构进行运作,对海量数据进行分布式数据的挖掘,依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术进行融合。
7.如权利要求4所述的基于大数据的自动控制机器人控制系统,其特征在于,所述的机器人工作模块中的肢体工作模块包括关节手臂动作和机器人的移动单元,在机器人移动的过程中,通过信息采集处理模块进行数据信息的分析,当判断后是遇到障碍物的时,处理器模块控制移动单元进行移动处理,并且将捕获的图像在安装在机器人眼部的显示器进行显示出来。
8.一种信息数据处理终端,其特征在于,所述信息数据处理终端包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1-3任意一项所述基于大数据的机器人自动控制方法。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1-3任意一项所述基于大数据的机器人自动控制方法。
10.一种基于大数据的机器人,其特征在于,所述基于大数据的机器人权利要求1-3任意一项所述基于大数据的机器人自动控制方法。
CN202110203417.8A 2021-02-23 2021-02-23 基于大数据的机器人自动控制方法、控制系统、机器人 Active CN112975964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110203417.8A CN112975964B (zh) 2021-02-23 2021-02-23 基于大数据的机器人自动控制方法、控制系统、机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110203417.8A CN112975964B (zh) 2021-02-23 2021-02-23 基于大数据的机器人自动控制方法、控制系统、机器人

Publications (2)

Publication Number Publication Date
CN112975964A true CN112975964A (zh) 2021-06-18
CN112975964B CN112975964B (zh) 2022-04-01

Family

ID=76349862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110203417.8A Active CN112975964B (zh) 2021-02-23 2021-02-23 基于大数据的机器人自动控制方法、控制系统、机器人

Country Status (1)

Country Link
CN (1) CN112975964B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075433A (zh) * 2007-04-18 2007-11-21 上海山思智能科技有限公司 一种机器人语音识别人工智能的控制方法
KR20100070773A (ko) * 2008-12-18 2010-06-28 주식회사 케이티 성격 변화 장치 및 그 방법과, 그를 이용한 행동 다양화 장치 및 그 방법과, 그 로봇 시스템
JP2017052075A (ja) * 2015-09-11 2017-03-16 シャープ株式会社 応答装置および調整装置
CN106826838A (zh) * 2017-04-01 2017-06-13 西安交通大学 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法
CN107443396A (zh) * 2017-08-25 2017-12-08 魔咖智能科技(常州)有限公司 一种实时模仿人体动作的智能陪伴机器人
CN107480612A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人物动作的识别方法、装置和终端设备
CN207387672U (zh) * 2017-08-29 2018-05-22 郑杰 一种基于语音和图像识别的智能机器人
CN108509880A (zh) * 2018-03-21 2018-09-07 南京邮电大学 一种视频人物行为语义识别方法
CN111300429A (zh) * 2020-03-25 2020-06-19 深圳市天博智科技有限公司 机器人控制系统、方法及可读存储介质
CN111775151A (zh) * 2020-06-28 2020-10-16 河南工业职业技术学院 一种机器人智能控制系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075433A (zh) * 2007-04-18 2007-11-21 上海山思智能科技有限公司 一种机器人语音识别人工智能的控制方法
KR20100070773A (ko) * 2008-12-18 2010-06-28 주식회사 케이티 성격 변화 장치 및 그 방법과, 그를 이용한 행동 다양화 장치 및 그 방법과, 그 로봇 시스템
JP2017052075A (ja) * 2015-09-11 2017-03-16 シャープ株式会社 応答装置および調整装置
CN106826838A (zh) * 2017-04-01 2017-06-13 西安交通大学 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法
CN107480612A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人物动作的识别方法、装置和终端设备
CN107443396A (zh) * 2017-08-25 2017-12-08 魔咖智能科技(常州)有限公司 一种实时模仿人体动作的智能陪伴机器人
CN207387672U (zh) * 2017-08-29 2018-05-22 郑杰 一种基于语音和图像识别的智能机器人
CN108509880A (zh) * 2018-03-21 2018-09-07 南京邮电大学 一种视频人物行为语义识别方法
CN111300429A (zh) * 2020-03-25 2020-06-19 深圳市天博智科技有限公司 机器人控制系统、方法及可读存储介质
CN111775151A (zh) * 2020-06-28 2020-10-16 河南工业职业技术学院 一种机器人智能控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘淑云: "基于Kinect竞赛用体感控制机器人的开发研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Also Published As

Publication number Publication date
CN112975964B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN110163806B (zh) 一种图像处理方法、装置以及存储介质
US20220012533A1 (en) Object Recognition Method and Apparatus
CN108983636B (zh) 人机智能共生平台系统
EP4145351A1 (en) Neural network construction method and system
US20210152751A1 (en) Model training method, media information synthesis method, and related apparatuses
CN105042789B (zh) 一种智能空调的控制方法及系统
CN107301409B (zh) 基于Wrapper特征选择Bagging学习处理心电图的系统及方法
CN112184816B (zh) 一种基于电池极耳的锂电池柔性定位方法
CN110569957A (zh) 一种基于人工蜂群算法的优化方法
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸系统及方法
CN111917999A (zh) 视频处理方法、移动终端及可读存储介质
CN114422832A (zh) 主播虚拟形象生成方法及装置
WO2023082949A1 (zh) 智能体的控制方法、装置、电子设备、程序及存储介质
CN113536970A (zh) 一种视频分类模型的训练方法及相关装置
CN115375835A (zh) 基于二维关键点的三维模型建立方法、计算机及存储介质
CN113627422A (zh) 一种图像分类方法及其相关设备
CN115328319A (zh) 一种基于轻量型手势识别的智能控制方法及装置
CN116500901A (zh) 数字孪生驱动的用户意图不明下人机协作任务规划方法
CN112975964B (zh) 基于大数据的机器人自动控制方法、控制系统、机器人
CN111695408A (zh) 一种智能手势信息识别系统及方法、信息数据处理终端
CN117475518B (zh) 一种同步人体运动识别与预测方法及系统
CN112069979B (zh) 一种实时动作识别人机交互系统
CN116449947B (zh) 一种基于tof相机的汽车座舱域手势识别系统及方法
CN108596865B (zh) 一种用于卷积神经网络的特征图增强系统及方法
WO2020150990A1 (zh) 人体动作表征的处理方法、系统、电子装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant