CN114648565A - 一种机器人的控制方法及装置 - Google Patents

一种机器人的控制方法及装置 Download PDF

Info

Publication number
CN114648565A
CN114648565A CN202210262799.6A CN202210262799A CN114648565A CN 114648565 A CN114648565 A CN 114648565A CN 202210262799 A CN202210262799 A CN 202210262799A CN 114648565 A CN114648565 A CN 114648565A
Authority
CN
China
Prior art keywords
distance
robot
distance error
error correction
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210262799.6A
Other languages
English (en)
Inventor
卫莉丽
陈永录
韩晔
张翔宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210262799.6A priority Critical patent/CN114648565A/zh
Publication of CN114648565A publication Critical patent/CN114648565A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种机器人的控制方法及装置，涉及控制技术领域，可用于金融领域或其他技术领域。所述方法包括：计算深度相机与拍摄目标之间的距离误差；基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。所述装置执行上述方法。本发明实施例提供的机器人的控制方法及装置，能够精确计算深度相机与拍摄目标之间的距离值，从而实现对机器人的移动进行精准控制。

Description

一种机器人的控制方法及装置
技术领域
本发明涉及控制技术领域，具体涉及一种机器人的控制方法及装置。
背景技术
随着数字成像技术的发展，相机作为一种传感器被广泛使用与研究。三维深度感知设备作为一种新型的视觉传感器，可实时获取深度图信息，广泛应用在智能汽车、医疗和机器人等领域。ToF(Time of Flight)深度相机通过发射信号和接收信号之间的相位差，间接计算出光的飞行时间，进而计算距离。因而选择将深度相机固定到机器人上，以便于定位机器人的移动距离。
在ToF深度相机的测量距离过程中，测量结果和测量精度会受到相机系统内部和外界环境等诸多因素的影响，为了获取更高精度的距离信息，对ToF深度相机进行深度标定及优化变得尤为重要，但是，现有技术采用的对ToF深度相机进行深度标定及优化的方法，距离精度还是有待进一步提高。
发明内容
针对现有技术中的问题，本发明实施例提供一种机器人的控制方法及装置，能够至少部分地解决现有技术中存在的问题。
一方面，本发明提出一种机器人的控制方法，包括：
计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；
基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；
根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；
根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
其中，所述影响因子为像素距离和与所述像素距离对应的模型参数之积；所述像素距离为深度相机拍摄原始图像数据中各像素点分别与图像像素中心点之间的像素距离，相应的，所述基于预设距离误差校正模型对所述距离误差进行校正，包括：
基于预设距离误差校正模型对与各像素距离分别对应的距离误差进行校正。
其中，所述对标定后得到的深度图进行图像处理，得到优化深度图，包括：
对标定后得到的深度图进行滤波处理，得到优化深度图。
其中，所述拍摄目标为目标客户；相应的，在所述根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动的步骤之后，所述机器人的控制方法还包括：
若确定所述机器人移动至目标位置，则控制所述机器人针对所述目标客户执行预设迎宾处理动作。
其中，在所述控制所述机器人针对所述目标客户执行预设迎宾处理动作的步骤之后，所述机器人的控制方法还包括：
响应所述目标客户触发的业务办理请求和业务办理方式，提取所述业务办理请求中的语音特征；所述业务办理方式包括语音交互业务办理方式；
基于预设语音识别模型对所述语音特征进行识别，得到语音识别结果，并控制所述机器人根据所述语音识别结果执行业务办理动作；其中，所述预设语音识别模型为完成训练的自然语音处理模型。
其中，所述根据所述语音识别结果执行业务办理动作，包括：
通过显示屏结合语音合成的方式进行业务流程显示及办理。
其中，所述语音合成的方式为基于序列生成模型的语音合成方式。
一方面，本发明提出一种机器人的控制装置，包括：
计算单元，用于计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；
校正单元，用于基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；
标定单元，用于根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；
控制单元，用于根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
再一方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：
计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；
基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；
根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；
根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：
计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；
基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；
根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；
根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
本发明实施例提供的机器人的控制方法及装置，计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动，能够精确计算深度相机与拍摄目标之间的距离值，从而实现对机器人的移动进行精准控制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例提供的机器人的控制方法的流程示意图。
图2是本发明另一实施例提供的机器人的控制方法的流程示意图。
图3是本发明一实施例提供的机器人的控制装置的结构示意图。
图4为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1是本发明一实施例提供的机器人的控制方法的流程示意图，如图1所示，本发明实施例提供的机器人的控制方法，包括：
步骤S1：计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值。
步骤S2：基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型。
步骤S3：根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图。
步骤S4：根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
在上述步骤S1中，装置计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值。装置可以是执行该方法的计算机设备，计算机设备可以为深度相机、携带深度相机的机器人或者可控制机器人的客户端。深度相机可以是TOF深度相机。拍摄目标可以是拍摄的目标客户。
可以在白色平面场景下，采集ToF深度相机拍摄的原始图像数据，计算ToF深度相机与拍摄目标之间的距离测量值。
为了更准确地获取与该距离测量值对应的距离真实值，可以采取现有方法获取距离真实值，例如在白色平面场景下，将绝对平面深度值进行曲面化作为距离真实值。
在上述步骤S2中，装置基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型。所述影响因子为像素距离和与所述像素距离对应的模型参数之积；所述像素距离为深度相机拍摄原始图像数据中各像素点分别与图像像素中心点之间的像素距离，相应的，所述基于预设距离误差校正模型对所述距离误差进行校正，包括：
基于预设距离误差校正模型对与各像素距离分别对应的距离误差进行校正。预设距离误差校正模型可以采用如下公式表示：
Δd＝p(1)+p(2)cos(4kd)+p(3)sin(4kd)+p(4)cos(8kd)+p(5)sin(8kd)+p(6)r
其中，Δd为输出距离误差校正结果，即校正后的距离误差、cos(4kd)、sin(4kd)、cos(8kd)和sin(8kd)为谐波误差计算模型的相关项、r为像素距离、p(6)为像素距离对应的模型参数、p(1)～p(5)也为不同的模型参数、k＝2πf/c、f为调制频率、c为光速、d为上述距离测量值。
上述谐波误差具体为奇次谐波误差。距离误差可以表示为上述p(1)+p(2)cos(4kd)+p(3)sin(4kd)+p(4)cos(8kd)+p(5)sin(8kd)。
对于像素点(i,j)，其对应一个像素距离rij，该像素距离对应一个距离误差校正结果Δdij。可以理解的是，每个像素点都可以通过上述公式计算对应的Δd。
可以通过最小二乘法估计上述模型参数p(1)～p(6)，要求误差平方和最小，即对参数最佳估计，可通过对模型中每个模型参数求偏导数，得到六个方程，即联立方程组求解，得到模型参数的最佳估计值。该模型可以明显地提高相机的测量精度。
在上述步骤S3中，装置根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图。深度误差标定为本领域成熟技术，不再赘述。
所述对标定后得到的深度图进行图像处理，得到优化深度图，包括：
对标定后得到的深度图进行滤波处理，得到优化深度图。滤波处理所采用的具体方法可采用现有方法。
在上述步骤S4中，装置根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。由于优化深度图中的距离误差是经过校正后得到的校正后的距离误差，因此，该距离值相比于上述距离测量值的精度更高，从而使得机器人向拍摄目标移动的方向、移动距离以及机械臂的伸缩范围更加准确。
本发明实施例提供的机器人的控制方法，计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动，能够精确计算深度相机与拍摄目标之间的距离值，从而实现对机器人的移动进行精准控制。
进一步地，所述影响因子为像素距离和与所述像素距离对应的模型参数之积；所述像素距离为深度相机拍摄原始图像数据中各像素点分别与图像像素中心点之间的像素距离，相应的，所述基于预设距离误差校正模型对所述距离误差进行校正，包括：
基于预设距离误差校正模型对与各像素距离分别对应的距离误差进行校正。可参照上述说明，不再赘述。
本发明实施例提供的机器人的控制方法，对与各像素距离分别对应的距离误差进行校正，进一步能够精确计算深度相机与拍摄目标之间的距离值，从而实现对机器人的移动进行精准控制。
进一步地，所述对标定后得到的深度图进行图像处理，得到优化深度图，包括：
对标定后得到的深度图进行滤波处理，得到优化深度图。可参照上述说明，不再赘述。
本发明实施例提供的机器人的控制方法，通过对标定后得到的深度图进行滤波处理，有助于进一步精确计算深度相机与拍摄目标之间的距离值，从而实现对机器人的移动进行精准控制。
进一步地，所述拍摄目标为目标客户；相应的，在所述根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动的步骤之后，所述机器人的控制方法还包括：
若确定所述机器人移动至目标位置，则控制所述机器人针对所述目标客户执行预设迎宾处理动作。目标客户可以理解为进入线下营业网点大厅的客户，当有客户进入线下营业网点大厅时，将其作为目标客户，目标位置可以根据上述距离值来确定。预设迎宾处理动作可以根据业务场景自主定义，例如包括表情、手势和问候等，具体可以包括：
如图2所示，当客户进入线下网点大厅时，机器人可以面带微笑移动到客户面前作出握手的姿势，同时语音播报“欢迎光临”。结合该业务场景，上述机器人可以为智能语音交互的自助业务办理机器人。
本发明实施例提供的机器人的控制方法，能够减少服务人员的迎宾接待工作量，还能够提高客户体验。
进一步地，在所述控制所述机器人针对所述目标客户执行预设迎宾处理动作的步骤之后，所述机器人的控制方法还包括：
响应所述目标客户触发的业务办理请求和业务办理方式，提取所述业务办理请求中的语音特征；所述业务办理方式包括语音交互业务办理方式；客户语音输入业务办理请求和选择语音交互业务办理，并提取业务办理请求中的语音特征。
如图2所示，客户还可选其他两种业务办理方式，本发明实施例对此不作介绍说明。
语音特征提取可以采用MFCC(Mel频率倒谱系数)计算方法，首先对语音信号进行加窗处理，将语音信号分割成帧；再通过快速傅里叶变换(FFT)求出各帧的功率谱；然后利用mel-scale对功率谱进行滤波器组处理，变换为对数域后，将离散余弦变换应用于语音信号，得到MFCC系数。
基于预设语音识别模型对所述语音特征进行识别，得到语音识别结果，并控制所述机器人根据所述语音识别结果执行业务办理动作；其中，所述预设语音识别模型为完成训练的自然语音处理模型。自然语音处理模型可以具体为Seq2Seq模型，包括编码器和带有注意力机制的解码器，训练过程可以包括：
在解码每个词语的时候，注意力机制会动态计算每个输入隐状态的权重，并通过加权线性组合得到当前的注意力向量。为了更好的训练Seq2Seq语音识别模型，引入增强学习策略，将最小词错率当作模型训练的奖励函数，更新模型参数。另外由于语音的输入和输出有着单调性，并不存在机器翻译的调序问题，所以使用单调注意力策略，同时采用与CTC(Connectionist Temporal Classification)联合训练以及联合解码，可大幅提升Seq2Seq模型性能。
语音识别解码可以采用Viterbi算法，本质上是一种动态规划算法，能够得到全局最优解。
语音识别结果可包括业务办理关键字，通过业务办理关键字进而确定目标客户需要办理的业务。
本发明实施例提供的机器人的控制方法，通过语音交互业务办理方式，能够提高客户业务办理服务效率。
进一步地，所述根据所述语音识别结果执行业务办理动作，包括：
通过显示屏结合语音合成的方式进行业务流程显示及办理。即通过显示屏显示业务流程，通过语音合成的方式进行业务办理。
本发明实施例提供的机器人的控制方法，从视听方面同时提高客户业务办理服务质量。
进一步地，所述语音合成的方式为基于序列生成模型的语音合成方式。基于序列生成模型的语音合成方式可选为端到端的wavenet语音合成技术。
本发明实施例提供的机器人的控制方法，进一步从听觉方面提高客户业务办理服务质量。
本发明实施例的方法基于集ToF深度相机和语音交互一体化的智能业务办理机器人执行。机器人在智能迎宾过程中，利用ToF深度相机计算距离信息控制机器人机械臂的伸缩范围以及移动过程中选择避开障碍物的路径，增加了迎宾方式的灵活性；客户在使用机器人办理业务的过程中，通过语音交互减少繁杂的业务处理流程和手工操作，对识字能力较弱的客户，展示了更高的友好性。
需要说明的是，本发明实施例提供的机器人的控制方法可用于金融领域，也可用于除金融领域之外的任意技术领域，本发明实施例对机器人的控制方法的应用领域不做限定。
图3是本发明一实施例提供的机器人的控制装置的结构示意图，如图3所示，本发明实施例提供的机器人的控制装置，包括计算单元301、校正单元302、标定单元303和控制单元304，其中：
计算单元301用于计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；校正单元302用于基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；标定单元303用于根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；控制单元304用于根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
具体的，装置中的计算单元301用于计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；校正单元302用于基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；标定单元303用于根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；控制单元304用于根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
本发明实施例提供的机器人的控制装置，计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动，能够精确计算深度相机与拍摄目标之间的距离值，从而实现对机器人的移动进行精准控制。
进一步地，所述影响因子为像素距离和与所述像素距离对应的模型参数之积；所述像素距离为深度相机拍摄原始图像数据中各像素点分别与图像像素中心点之间的像素距离，相应的，所述校正单元302具体用于：
基于预设距离误差校正模型对与各像素距离分别对应的距离误差进行校正。
本发明实施例提供的机器人的控制装置，对与各像素距离分别对应的距离误差进行校正，进一步能够精确计算深度相机与拍摄目标之间的距离值，从而实现对机器人的移动进行精准控制。
进一步地，所述标定单元303具体用于：
对标定后得到的深度图进行滤波处理，得到优化深度图。
本发明实施例提供的机器人的控制装置，通过对标定后得到的深度图进行滤波处理，有助于进一步精确计算深度相机与拍摄目标之间的距离值，从而实现对机器人的移动进行精准控制。
进一步地，所述拍摄目标为目标客户；相应的，所述机器人的控制还用于：
若确定所述机器人移动至目标位置，则控制所述机器人针对所述目标客户执行预设迎宾处理动作。
本发明实施例提供的机器人的控制装置，能够减少服务人员的迎宾接待工作量，还能够提高客户体验。
进一步地，所述机器人的控制装置还用于：
响应所述目标客户触发的业务办理请求和业务办理方式，提取所述业务办理请求中的语音特征；所述业务办理方式包括语音交互业务办理方式；
基于预设语音识别模型对所述语音特征进行识别，得到语音识别结果，并控制所述机器人根据所述语音识别结果执行业务办理动作；其中，所述预设语音识别模型为完成训练的自然语音处理模型。
本发明实施例提供的机器人的控制装置，通过语音交互业务办理方式，能够提高客户业务办理服务效率。
进一步地，所述机器人的控制还具体用于：
通过显示屏结合语音合成的方式进行业务流程显示及办理。
本发明实施例提供的机器人的控制装置，从视听方面同时提高客户业务办理服务质量。
进一步地，所述语音合成的方式为基于序列生成模型的语音合成方式。
本发明实施例提供的机器人的控制装置，进一步从听觉方面提高客户业务办理服务质量
本发明实施例提供机器人的控制装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图4为本发明实施例提供的电子设备实体结构示意图，如图4所示，所述电子设备包括：处理器(processor)401、存储器(memory)402和总线403；
其中，所述处理器401、存储器402通过总线403完成相互间的通信；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：
计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；
基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；
根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；
根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；
基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；
根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；
根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：
计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；
基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；
根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；
根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种机器人的控制方法，其特征在于，包括：
计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；
基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；
根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；
根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
2.根据权利要求1所述的机器人的控制方法，其特征在于，所述影响因子为像素距离和与所述像素距离对应的模型参数之积；所述像素距离为深度相机拍摄原始图像数据中各像素点分别与图像像素中心点之间的像素距离，相应的，所述基于预设距离误差校正模型对所述距离误差进行校正，包括：
基于预设距离误差校正模型对与各像素距离分别对应的距离误差进行校正。
3.根据权利要求1所述的机器人的控制方法，其特征在于，所述对标定后得到的深度图进行图像处理，得到优化深度图，包括：
对标定后得到的深度图进行滤波处理，得到优化深度图。
4.根据权利要求1所述的机器人的控制方法，其特征在于，所述拍摄目标为目标客户；相应的，在所述根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动的步骤之后，所述机器人的控制方法还包括：
若确定所述机器人移动至目标位置，则控制所述机器人针对所述目标客户执行预设迎宾处理动作。
5.根据权利要求4所述的机器人的控制方法，其特征在于，在所述控制所述机器人针对所述目标客户执行预设迎宾处理动作的步骤之后，所述机器人的控制方法还包括：
响应所述目标客户触发的业务办理请求和业务办理方式，提取所述业务办理请求中的语音特征；所述业务办理方式包括语音交互业务办理方式；
基于预设语音识别模型对所述语音特征进行识别，得到语音识别结果，并控制所述机器人根据所述语音识别结果执行业务办理动作；其中，所述预设语音识别模型为完成训练的自然语音处理模型。
6.根据权利要求5所述的机器人的控制方法，其特征在于，所述根据所述语音识别结果执行业务办理动作，包括：
通过显示屏结合语音合成的方式进行业务流程显示及办理。
7.根据权利要求6所述的机器人的控制方法，其特征在于，所述语音合成的方式为基于序列生成模型的语音合成方式。
8.一种机器人的控制装置，其特征在于，包括：
计算单元，用于计算深度相机与拍摄目标之间的距离误差；所述距离误差为所述深度相机拍摄原始图像数据的距离测量值与距离真实值之间的差值；
校正单元，用于基于预设距离误差校正模型对所述距离误差进行校正，输出距离误差校正结果；所述预设距离误差校正模型为包括反映不同像素点差异的影响因子的谐波误差计算模型；
标定单元，用于根据所述距离误差校正结果对所述原始图像数据进行深度误差标定，并对标定后得到的深度图进行图像处理，得到优化深度图；
控制单元，用于根据所述优化深度图计算所述深度相机与所述拍摄目标之间的距离值，并根据所述距离值控制承载所述深度相机的机器人向所述拍摄目标进行移动。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202210262799.6A 2022-03-17 2022-03-17 一种机器人的控制方法及装置 Pending CN114648565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210262799.6A CN114648565A (zh) 2022-03-17 2022-03-17 一种机器人的控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210262799.6A CN114648565A (zh) 2022-03-17 2022-03-17 一种机器人的控制方法及装置

Publications (1)

Publication Number Publication Date
CN114648565A true CN114648565A (zh) 2022-06-21

Family

ID=81994336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210262799.6A Pending CN114648565A (zh) 2022-03-17 2022-03-17 一种机器人的控制方法及装置

Country Status (1)

Country Link
CN (1) CN114648565A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311372A (zh) * 2022-10-12 2022-11-08 荣耀终端有限公司 一种相机误差校正方法及相关装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311372A (zh) * 2022-10-12 2022-11-08 荣耀终端有限公司 一种相机误差校正方法及相关装置

Similar Documents

Publication Publication Date Title
US10605902B2 (en) Motion compensation method and apparatus applicable to laser point cloud data
EP3665676B1 (en) Speaking classification using audio-visual data
CN111933110B (zh) 视频生成方法、生成模型训练方法、装置、介质及设备
KR20200049502A (ko) 상이한 fov를 갖는 카메라들을 이용한 시차 추정 시스템 및 방법
CN109741388B (zh) 用于生成双目深度估计模型的方法和装置
US11854566B2 (en) Wearable system speech processing
WO2023165093A1 (zh) 视觉惯性里程计模型的训练方法、位姿估计方法、装置、电子设备、计算机可读存储介质及程序产品
CN114648565A (zh) 一种机器人的控制方法及装置
CN112241978A (zh) 一种数据处理的方法和装置
CN112381868A (zh) 图像深度估计方法和装置、可读存储介质、电子设备
CN114531546A (zh) 镜头调整方法及装置、存储介质及电子设备
CN111179328A (zh) 数据同步标定方法、装置、可读存储介质及电子设备
CN113311905A (zh) 一种数据处理系统
US11741671B2 (en) Three-dimensional scene recreation using depth fusion
CN117541655B (zh) 融合视觉语义消除radar建图z轴累积误差的方法
CN111351497B (zh) 一种车辆的定位方法、装置、地图的构建方法和装置
JP2005141655A (ja) ３次元モデリング装置及び３次元モデリング方法
CN116152321A (zh) 模型训练方法及装置、图像处理方法及装置
CN113011245B (zh) 基于超声波感知与知识蒸馏的唇语识别系统及方法
CN111866493B (zh) 基于头戴显示设备的图像校正方法、装置及设备
CN112880675B (zh) 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
CN113965550A (zh) 智能交互式远程辅助视频系统
CN115249215A (zh) 图像处理方法、装置、电子设备以及可读存储介质
CN116107220B (zh) Smith预估器的位置控制器优化方法、装置
CN112344922B (zh) 单目视觉里程计定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination