CN111435418B - 机器人个性化物体识别方法、装置、存储介质及机器人 - Google Patents

机器人个性化物体识别方法、装置、存储介质及机器人 Download PDF

Info

Publication number
CN111435418B
CN111435418B CN201811602318.1A CN201811602318A CN111435418B CN 111435418 B CN111435418 B CN 111435418B CN 201811602318 A CN201811602318 A CN 201811602318A CN 111435418 B CN111435418 B CN 111435418B
Authority
CN
China
Prior art keywords
deep learning
learning model
robot
training
personalized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811602318.1A
Other languages
English (en)
Other versions
CN111435418A (zh
Inventor
熊友军
李清凤
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN201811602318.1A priority Critical patent/CN111435418B/zh
Publication of CN111435418A publication Critical patent/CN111435418A/zh
Application granted granted Critical
Publication of CN111435418B publication Critical patent/CN111435418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种机器人个性化物体识别方法,包括:在接收到学习指令时,采集与个性化目标物体相关的视频数据;获取用户为所述视频数据设置的物体标签;利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型;当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体,以提高机器人的物体识别能力,使得机器人可具备个性化的物体识别功能,能够准确地识别个性化物体,提高了机器人的智能性和类人性,提升了用户的使用体验。本发明还提供一种机器人个性化物体识别装置、计算机可读存储介质及机器人。

Description

机器人个性化物体识别方法、装置、存储介质及机器人
技术领域
本发明涉及机器人技术领域,尤其涉及一种机器人个性化物体识别方法、装置、计算机可读存储介质及机器人。
背景技术
随着机器人技术的不断发展和升级,机器人的应用功能得到了快速扩展或者提高,从而使得机器人越来越多的被应用于人们的日常生活中,如通过机器人进行物体识别。
但现有机器人在进行物体识别时,通常是对物体类别进行判定,即通过收集互联网上的大量数据建立数据库来帮助机器人识别出待识别物体的类别,是粗粒度的物体识别,非个性化的物体识别,存在用户的特定物体无法被个性化识别的问题,影响机器人的智能性和类人性,造成用户使用体验较差。
发明内容
本发明实施例提供了一种机器人个性化物体识别方法、装置、计算机可读存储介质及机器人,能够准确识别个性化物体,使得机器人具备个性化的物体识别功能,提高了机器人的智能性和类人性,提升了用户的使用体验。
本发明实施例的第一方面,提供了一种机器人个性化物体识别方法,包括:
在接收到学习指令时,采集与个性化目标物体相关的视频数据;
获取用户为所述视频数据设置的物体标签;
利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型;
当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体。
进一步地,所述利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,包括:
将所述视频数据和所述物体标签上传至指定服务器,以使得所述指定服务器利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,并反馈训练完成的深度学习模型。
优选地,所述利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,包括:
从所述视频数据的视频帧中截取出从不同角度表征所述个性化目标物体的第一图片,并将所述物体标签设置为所述第一图片的标准识别结果;
将所述第一图片输入至初始的深度学习模型中,得到所述初始的深度学习模型输出的训练识别结果;
计算所述训练识别结果与所述标准识别结果之间的误差;
若所述误差不满足预设条件,则调整所述深度学习模型的模型参数,并将模型参数调整后的深度学习模型作为初始的深度学习模型,返回执行将所述第一图片输入至初始的深度学习模型中,得到所述初始的深度学习模型输出的训练识别结果的步骤以及后续步骤;
若所述误差满足所述预设条件,则确定所述深度学习模型训练完成,得到训练完成的深度学习模型。
可选地,所述当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体,包括:
当接收到物体识别指示时,获取所述个性化目标物体的第二图片;
将所述第二图片输入至所述深度学习模型中,得到所述深度学习模型输出的识别结果。
进一步地,在得到所述深度学习模型输出的识别结果之后,包括:
将所述识别结果转换成对应的语音信息,并播放所述语音信息。
优选地,所述获取所述个性化目标物体的第二图片,包括:
启动机器人的摄像装置,通过所述摄像装置获取所述个性化目标物体的第二图片。
本发明实施例的第二方面,提供了一种机器人个性化物体识别装置,包括:
视频采集模块,用于在接收到学习指令时,采集与个性化目标物体相关的视频数据;
标签获取模块,用于获取用户为所述视频数据设置的物体标签;
模型训练模块,用于利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型;
物体识别模块,用于当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体。
本发明实施例的第三方面,提供了一种机器人,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如前述第一方面所述机器人个性化物体识别方法的步骤。
本发明实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如前述第一方面所述机器人个性化物体识别方法的步骤。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,在接收到学习指令时,可采集与个性化目标物体相关的视频数据,并获取用户为所述视频数据设置的物体标签,然后利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,因而,当接收到物体识别指示时,则可利用所述深度学习模型识别所述个性化目标物体,提高了机器人的物体识别能力,使得机器人可具备个性化的物体识别功能,能够准确地识别个性化物体,提高了机器人的智能性和类人性,提升了用户的使用体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种机器人个性化物体识别方法的一个实施例流程图;
图2为本发明实施例中一种机器人个性化物体识别方法在一个应用场景下的流程示意图;
图3为本发明实施例中一种机器人个性化物体识别方法在一个应用场景下训练深度学习模型的流程示意图;
图4为本发明实施例中一种机器人个性化物体识别装置的一个实施例结构图;
图5为本发明一实施例提供的一种机器人的示意图。
具体实施方式
本发明实施例提供了一种机器人个性化物体识别方法、装置、计算机可读存储介质及机器人,用于准确识别个性化物体,使得机器人具备个性化的物体识别功能,提高了机器人的智能性和类人性,提升了用户的使用体验。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例提供了一种机器人个性化物体识别方法,所述机器人个性化物体识别方法,包括:
步骤S101、在接收到学习指令时,采集与个性化目标物体相关的视频数据;
本发明实施例中,机器人具备基本的物体识别功能,而对于机器人无法识别的个性化物体,则可以进行学习训练,使得机器人学会对该个性化物体的识别。具体地,当存在机器人无法识别的个性化目标物体时,用户则可以向机器人发出学习指令,如用户可以向机器人发送语音指令,以通过语音指令来告知机器人需要进行所述个性化目标物体的学习,机器人在接收到用户所发送的学习指令后,即可启动自身的摄像头等摄像装置,以通过摄像头等摄像装置来对所述个性化目标物体进行视频拍摄,采集得到与所述个性化目标物体相关的视频数据。在此,在机器人对所述个性化目标物体进行视频拍摄时,机器人可自动旋转摄像头等摄像装置,以从不同角度对所述个性化目标物体进行视频拍摄,从而可采集到所述个性化目标物体不同角度的视频数据,其中,所采集的视频数据可以为10s的小样本视频数据。
步骤S102、获取用户为所述视频数据设置的物体标签;
本发明实施例中,所述视频数据的物体标签即为所述个性化目标物体的物体标签。可以理解的是,在用户需要机器人对所述个性化目标物体进行学习时,用户还可以为所述个性化目标物体设置相对应的物体标签,以告知机器人所述个性化目标物体所对应的标准识别结果。具体地,用户可通过语音告知机器人所述个性化目标物体是何人的何物品等等,机器人在获取到用户为所述个性化目标物体设置的物体标签后,如在获取到用户为所述个性化目标物体设置的“小明的杯子”的物体标签,机器人即可自动将“小明的杯子”的物体标签与机器人所采集到的与所述个性化目标物体相关的视频数据相关联,以得到所述视频数据的物体标签。在此,可以由用户自行设置个性化的标签内容,本发明实施例对物体标签的类型、内容等不做任何限制,使得机器人可具备个性化的识别功能,提高机器人的类人性和智能性。
本发明实施例中,机器人在采集到与所述个性化目标物体相关的视频数据后,机器人也可首先发出语音请求,以请求用户为所述个性化目标物体设置所对应的物体标签,如机器人在采集到所述个性化目标物体的视频数据后,可通过麦克风等语音播放装置播放“请告知我它的名字”等语音请求,用户则可根据机器人所发出的语音请求来对所述个性化目标物体进行物体标签的设置,机器人则可获取用户所设置的物体标签,并将所获取的物体标签与所采集到的视频数据相关联,即将其作为所述视频数据的物体标签。
步骤S103、利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型;
可以理解的是,本发明实施例中,在获取到用户为所述个性化目标物体所设置的物体标签后,机器人则可利用所述视频数据和所述物体标签进行深度学习模型的训练,以得到训练完成的深度学习模型,所述训练完成的深度学习模型则可识别出所述个性化目标物体。其中,所述深度学习模型的训练过程将在后续内容中进行详细描述。
步骤S104、当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体。
可以理解的是,本发明实施例中,在利用所述视频数据和所述物体标签完成深度学习模型的训练后,所得到的深度学习模型不仅具备了其原有的识别功能,还具备了识别所述个性化目标物体的功能,因而,当机器人后续再次接收到物体识别指令时,则可利用训练完成的所述深度学习模型来进行物体识别,如当用户再次进行所述个性化目标物体的识别时,机器人即可利用训练完成的所述深度学习模型识别出所述个性化目标物体,并向用户返回识别结果,如向用户返回“小明的杯子”的识别结果等等。
可选地,本发明实施例中,所述当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体,可以包括:
步骤a、当接收到物体识别指示时,获取所述个性化目标物体的第二图片;
步骤b、将所述第二图片输入至所述深度学习模型中,得到所述深度学习模型输出的识别结果。
对于上述步骤a和步骤b,可以理解的是,在完成机器人内深度学习模型的训练后,当用户需要再次识别所述个性化目标物体时,用户则可向机器人发送物体识别指令时,如可向机器人发送语音指令来进行所述个性化目标物体的识别,机器人在接收到所述语音识别指令后,即可首先获取所述个性化目标物体的图片,即上述所述的第二图片,并将所述第二图片输入至所述深度学习模型中,得到所述深度学习模型输出的识别结果,以识别出所述个性化目标物体。在此,所述第二图片可以为用户所提供的待识别图片,当然也可以为机器人自行拍摄的图片。本发明实施例中,所述第二图片,优选地为机器人自行拍摄的图片,即当机器人接收到用户发送的物体识别指令后,机器人即可启动机器人的摄像头等摄像装置,以通过摄像头等摄像装置拍摄所述个性化目标物体的第二图片。
进一步地,本发明实施例中,在得到所述深度学习模型输出的识别结果之后,还可以包括:将所述识别结果转换成对应的语音信息,并播放所述语音信息。
需要说明的是,所述深度学习模型输出的识别结果往往为文本信息的识别结果,因而,在得到所述深度学习模型输出的识别结果后,则可首先通过语音合成技术将所述识别结果转换成相应的语音信息,并可通过麦克风等语音播放装置播放所述语音信息,例如,在得到“小明的杯子”的文本信息的识别结果之后,可通过语音合成技术将“小明的杯子”的文本信息转换成对应的语音信息,并通过机器人中的麦克风等语音播放装置向用户播放“小明的杯子”的语音信息。
进一步地,如图2所示,在一个应用场景中,本发明实施例提供的一种机器人个性化物体识别方法,可以包括:步骤S201、步骤S202、步骤S203、步骤S204及步骤S205,其中,步骤S201、在接收到学习指令时,采集与个性化目标物体相关的视频数据与上述步骤S101相似;步骤S202、获取用户为所述视频数据设置的物体标签与上述步骤S102相似;步骤S205、当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体与上述步骤S104相似,为简明起见,在此不再赘述。
步骤S203、将所述视频数据和所述物体标签上传至指定服务器,以使得所述指定服务器利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,并反馈训练完成的深度学习模型。
步骤S204、接收所述指定服务器反馈的训练完成的深度学习模型。
需要说明的是,本场景中的机器人个性化物体识别方法与前述所述的机器人个性化物体识别方法的主要区别在于:本场景中,机器人个性化物体识别方法中的深度学习模型是在指定服务器等后台中进行在线训练的,而训练完成后,再将其反馈给机器人,以通过指定服务器等后台来完成深度学习模型的在线训练,可提高深度学习模型训练的稳定性,确保深度学习模型的训练效果,并可降低对机器人的配置要求,降低机器人的制造成本。
即本场景中,当机器人采集到与所述个性化目标物体相关的视频数据和获取到用户为所述视频数据所设置的物体标签后,机器人即可将所述视频数据和所述物体标签上传至指定服务器等后台中,指定服务器等后台在接收到所述视频数据和所述物体标签后,则可利用所接收到的所述视频数据和所述物体标签进行深度学习模型的在线训练,得到训练完成的深度学习模型,并将所得到训练完成的深度学习模型反馈给机器人,如训练完成后生成个性化物体识别功能的SDK升级包,所述升级包中优化了机器人的物体识别功能,即所述升级包中包含了训练完成的深度学习模型,生成升级包后,则可将所生成的升级包发送给机器人,机器人则可通过热更新的方式进行升级,从而优化机器人的物体识别功能,使得机器人具备识别所述个性化目标物体的能力。
优选地,如图3所示,本发明实施例中,所述利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,可以包括:
步骤S301、从所述视频数据的视频帧中截取出从不同角度表征所述个性化目标物体的第一图片,并将所述物体标签设置为所述第一图片的标准识别结果;
步骤S302、将所述第一图片输入至初始的深度学习模型中,得到所述初始的深度学习模型输出的训练识别结果;
步骤S303、计算所述训练识别结果与所述标准识别结果之间的误差;
步骤S304、判断所述误差是否满足预设条件;
步骤S305、若所述误差满足所述预设条件,则确定所述深度学习模型训练完成,得到训练完成的深度学习模型;
步骤S306、若所述误差不满足预设条件,则调整所述深度学习模型的模型参数,并将模型参数调整后的深度学习模型作为初始的深度学习模型,返回执行将所述第一图片输入至初始的深度学习模型中,得到所述初始的深度学习模型输出的训练识别结果的步骤以及后续步骤。
对于上述步骤S301,可以理解的是,在进行深度学习模型的训练之前,考虑到相邻序列帧的相似性极高,为了尽可能获得个性化目标物体不同角度的图片,机器人在采集到与所述个性化目标物体相关的视频数据后,后台可设置间隔取帧策略,截取出用于训练的样本图片,以从所述视频数据的视频帧中截取出所述个性化目标物体的正面视图、左侧视图、右侧视图、后视图、俯视图及仰视图等等,并预先将所述正面视图、所述左侧视图、所述右侧视图、所述后视图、所述俯视图及所述仰视图的标准识别结果均设置为所述个性化目标物体的物体标签。
对于上述步骤S302,可以理解的是,在得到所述个性化目标物体不同角度的第一图片后,即可将所述第一图片分别输入至初始的深度学习模型中,所述初始的深度学习模型可以为机器人具备基本物体识别功能所对应的深度学习模型,以得到所述初始的深度学习模型输出的训练识别结果,由于初始时深度学习模型尚未训练完成,不具备识别所述个性化目标物体的能力,因此,此时其输出的训练识别结果与设置的标准识别结果之间会存在一定的偏差、误差。
对于上述步骤S303和步骤S304,在得到训练识别结果之后,可以计算所述训练识别结果与所设置的标准识别结果之间的误差,并判断所述误差是否满足预设条件,如判断误差是否小于5%。在此,所述预设条件可以在训练具体的深度学习模型时确定,例如设定预设条件为误差小于特定阈值,该特定阈值可以是一个百分比数值,其中,特定阈值越小,则最后训练完成得到的深度学习模型越稳定,识别精确度越高。
对于上述步骤S305,可以理解的是,当所述训练识别结果与所述标准识别结果之间的误差满足预设条件时,如所述训练识别结果与所述标准识别结果之间的误差小于5%时,则可确定所述深度学习模型训练完成,并将此时所得到的误差满足预设条件的深度学习模型作为训练完成的深度学习模型。
对于上述步骤S306,当所述训练识别结果与所述标准识别结果之间的误差不满足预设条件时,如所述训练识别结果与所述标准识别结果之间的误差为10%时,则调整所述深度学习模型的模型参数,并将模型参数调整后的深度学习模型作为初始的深度学习模型,然后重新进行所述第一图片的训练,以通过反复调整深度学习模型的模型参数,并进行所述第一图片的多次训练,来使得后续训练输出的训练识别结果与标准识别结果之间的误差最小化,直到最终的训练识别结果与标准识别结果之间的误差满足预设条件。
本发明实施例中,在接收到学习指令时,可采集与个性化目标物体相关的视频数据,并获取用户为所述视频数据设置的物体标签,然后利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,因而,当接收到物体识别指示时,则可利用所述深度学习模型识别所述个性化目标物体,提高机器人的物体识别能力,使得机器人可具备个性化的物体识别功能,能够准确地识别个性化物体,提高了机器人的智能性和类人性,提升了用户的使用体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上面主要描述了一种机器人个性化物体识别方法,下面将对一种机器人个性化物体识别装置进行详细描述。
图4示出了本发明实施例中一种机器人个性化物体识别装置的一个实施例结构图。如图4所示,所述机器人个性化物体识别装置,包括:
视频采集模块401,用于在接收到学习指令时,采集与个性化目标物体相关的视频数据;
标签获取模块402,用于获取用户为所述视频数据设置的物体标签;
模型训练模块403,用于利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型;
物体识别模块404,用于当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体。
进一步地,所述模型训练模块403,还用于将所述视频数据和所述物体标签上传至指定服务器,以使得所述指定服务器利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,并反馈训练完成的深度学习模型。
优选地,所述模型训练模块403,包括:
第一图片截取单元,用于从所述视频数据的视频帧中截取出从不同角度表征所述个性化目标物体的第一图片,并将所述物体标签设置为所述第一图片的标准识别结果;
第一图片训练单元,用于将所述第一图片输入至初始的深度学习模型中,得到所述初始的深度学习模型输出的训练识别结果;
误差计算单元,用于计算所述训练识别结果与所述标准识别结果之间的误差;
模型参数调整单元,用于若所述误差不满足预设条件,则调整所述深度学习模型的模型参数,并将模型参数调整后的深度学习模型作为初始的深度学习模型,返回执行将所述第一图片输入至初始的深度学习模型中,得到所述初始的深度学习模型输出的训练识别结果的步骤以及后续步骤;
训练完成确定单元,用于若所述误差满足所述预设条件,则确定所述深度学习模型训练完成,得到训练完成的深度学习模型。
可选地,所述物体识别模块404,包括:
第二图片获取单元,用于当接收到物体识别指示时,获取所述个性化目标物体的第二图片;
物体识别单元,用于将所述第二图片输入至所述深度学习模型中,得到所述深度学习模型输出的识别结果。
进一步地,所述机器人个性化物体识别装置,还包括:
语音播放模块,用于将所述识别结果转换成对应的语音信息,并播放所述语音信息。
优选地,所述第二图片获取单元,还用于启动机器人的摄像装置,通过所述摄像装置获取所述个性化目标物体的第二图片。
图5是本发明一实施例提供的机器人的示意图。如图5所示,该实施例的机器人5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52,例如机器人个性化物体识别程序。所述处理器50执行所述计算机程序52时实现上述各个机器人个性化物体识别方法实施例中的步骤,例如图1所示的步骤S101至步骤S104。或者,所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能,例如图4所示的模块401至模块404的功能。
示例性的,所述计算机程序52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述机器人5中的执行过程。例如,所述计算机程序52可以被分割成视频采集模块、标签获取模块、模型训练模块、物体识别模块,各模块具体功能如下:
视频采集模块,用于在接收到学习指令时,采集与个性化目标物体相关的视频数据;
标签获取模块,用于获取用户为所述视频数据设置的物体标签;
模型训练模块,用于利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型;
物体识别模块,用于当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体。
所述机器人可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图5仅仅是机器人5的示例,并不构成对机器人5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述机器人5还可以包括输入输出设备、网络接入设备、总线等。
所述处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述机器人5的内部存储单元,例如机器人5的硬盘或内存。所述存储器51也可以是所述机器人5的外部存储设备,例如所述机器人5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述机器人5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述机器人5所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种机器人个性化物体识别方法,其特征在于,包括:
在接收到学习指令时,采集与个性化目标物体相关的视频数据;
获取用户为所述视频数据设置的物体标签;
利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型;
当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体;
所述利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,包括:
将所述视频数据和所述物体标签上传至指定服务器,以使得所述指定服务器利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,并反馈训练完成的深度学习模型;
其中,得到训练完成的深度学习模型,并反馈训练完成的深度学习模型,包括:
训练完成后生成个性化物体识别功能的SDK升级包,所述升级包中包含训练完成的深度学习模型;
将所生成的升级包发送至机器人,以使机器人通过热更新的方式进行升级。
2.根据权利要求1所述的机器人个性化物体识别方法,其特征在于,所述利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,包括:
从所述视频数据的视频帧中截取出从不同角度表征所述个性化目标物体的第一图片,并将所述物体标签设置为所述第一图片的标准识别结果;
将所述第一图片输入至初始的深度学习模型中,得到所述初始的深度学习模型输出的训练识别结果;
计算所述训练识别结果与所述标准识别结果之间的误差;
若所述误差不满足预设条件,则调整所述深度学习模型的模型参数,并将模型参数调整后的深度学习模型作为初始的深度学习模型,返回执行将所述第一图片输入至初始的深度学习模型中,得到所述初始的深度学习模型输出的训练识别结果的步骤以及后续步骤;
若所述误差满足所述预设条件,则确定所述深度学习模型训练完成,得到训练完成的深度学习模型。
3.根据权利要求1至2中任一项所述的机器人个性化物体识别方法,其特征在于,所述当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体,包括:
当接收到物体识别指示时,获取所述个性化目标物体的第二图片;
将所述第二图片输入至所述深度学习模型中,得到所述深度学习模型输出的识别结果。
4.根据权利要求3所述的机器人个性化物体识别方法,其特征在于,在得到所述深度学习模型输出的识别结果之后,包括:
将所述识别结果转换成对应的语音信息,并播放所述语音信息。
5.根据权利要求3所述的机器人个性化物体识别方法,其特征在于,所述获取所述个性化目标物体的第二图片,包括:
启动机器人的摄像装置,通过所述摄像装置获取所述个性化目标物体的第二图片。
6.一种机器人个性化物体识别装置,其特征在于,包括:
视频采集模块,用于在接收到学习指令时,采集与个性化目标物体相关的视频数据;
标签获取模块,用于获取用户为所述视频数据设置的物体标签;
模型训练模块,用于利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型;
物体识别模块,用于当接收到物体识别指示时,利用所述深度学习模型识别所述个性化目标物体;
所述模型训练模块,还用于将所述视频数据和所述物体标签上传至指定服务器,以使得所述指定服务器利用所述视频数据和所述物体标签进行深度学习模型的训练,得到训练完成的深度学习模型,并反馈训练完成的深度学习模型;
其中,得到训练完成的深度学习模型,并反馈训练完成的深度学习模型,包括:
训练完成后生成个性化物体识别功能的SDK升级包,所述升级包中包含训练完成的深度学习模型;
将所生成的升级包发送至机器人,以使机器人通过热更新的方式进行升级。
7.一种机器人,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述机器人个性化物体识别方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述机器人个性化物体识别方法的步骤。
CN201811602318.1A 2018-12-26 2018-12-26 机器人个性化物体识别方法、装置、存储介质及机器人 Active CN111435418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811602318.1A CN111435418B (zh) 2018-12-26 2018-12-26 机器人个性化物体识别方法、装置、存储介质及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811602318.1A CN111435418B (zh) 2018-12-26 2018-12-26 机器人个性化物体识别方法、装置、存储介质及机器人

Publications (2)

Publication Number Publication Date
CN111435418A CN111435418A (zh) 2020-07-21
CN111435418B true CN111435418B (zh) 2024-01-02

Family

ID=71579840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811602318.1A Active CN111435418B (zh) 2018-12-26 2018-12-26 机器人个性化物体识别方法、装置、存储介质及机器人

Country Status (1)

Country Link
CN (1) CN111435418B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202404622U (zh) * 2011-12-28 2012-08-29 南京稻盛弘网络科技有限公司 射频视频双识别定位装置
CN103455997A (zh) * 2012-06-04 2013-12-18 深圳大学 一种遗弃物检测方法及系统
CN106027953A (zh) * 2015-03-30 2016-10-12 国际商业机器公司 用于区分视觉上相同的对象的方法和系统
CN106845411A (zh) * 2017-01-19 2017-06-13 清华大学 一种基于深度学习和概率图模型的视频描述生成方法
CN107977668A (zh) * 2017-07-28 2018-05-01 北京物灵智能科技有限公司 一种机器人图像识别方法及系统
CN108520219A (zh) * 2018-03-30 2018-09-11 台州智必安科技有限责任公司 一种卷积神经网络特征融合的多尺度快速人脸检测方法
CN108932711A (zh) * 2017-05-22 2018-12-04 通用电气公司 图像分析神经网络系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083378B2 (en) * 2015-12-28 2018-09-25 Qualcomm Incorporated Automatic detection of objects in video images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202404622U (zh) * 2011-12-28 2012-08-29 南京稻盛弘网络科技有限公司 射频视频双识别定位装置
CN103455997A (zh) * 2012-06-04 2013-12-18 深圳大学 一种遗弃物检测方法及系统
CN106027953A (zh) * 2015-03-30 2016-10-12 国际商业机器公司 用于区分视觉上相同的对象的方法和系统
CN106845411A (zh) * 2017-01-19 2017-06-13 清华大学 一种基于深度学习和概率图模型的视频描述生成方法
CN108932711A (zh) * 2017-05-22 2018-12-04 通用电气公司 图像分析神经网络系统
CN107977668A (zh) * 2017-07-28 2018-05-01 北京物灵智能科技有限公司 一种机器人图像识别方法及系统
CN108520219A (zh) * 2018-03-30 2018-09-11 台州智必安科技有限责任公司 一种卷积神经网络特征融合的多尺度快速人脸检测方法

Also Published As

Publication number Publication date
CN111435418A (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
US11321583B2 (en) Image annotating method and electronic device
CN108830235B (zh) 用于生成信息的方法和装置
CN109961780B (zh) 一种人机交互方法、装置、服务器和存储介质
CN107730457B (zh) 一种图像补全方法、装置、电子设备及存储介质
CN109784304B (zh) 用于标注牙齿图像的方法和装置
US20230093746A1 (en) Video loop recognition
CN113011403B (zh) 手势识别方法、系统、介质及设备
CN110610698B (zh) 一种语音标注方法及装置
CN112287911B (zh) 数据标注方法、装置、设备及存储介质
US11636779B2 (en) Method, apparatus and terminal device for constructing parts together
CN110415318B (zh) 图像处理方法和装置
CN108875506B (zh) 人脸形状点跟踪方法、装置和系统及存储介质
CN113326821A (zh) 一种视频帧图像的人脸驱动方法及装置
CN110941992A (zh) 微笑表情检测方法、装置、计算机设备及存储介质
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
CN116546304A (zh) 一种参数配置方法、装置、设备、存储介质及产品
CN111062374A (zh) 身份证信息的识别方法、装置、系统、设备及可读介质
KR20210008075A (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
CN110414322B (zh) 提取图片的方法、装置、设备及存储介质
CN111435418B (zh) 机器人个性化物体识别方法、装置、存储介质及机器人
CN109034085B (zh) 用于生成信息的方法和装置
CN113343857B (zh) 标注方法、装置、存储介质及电子装置
CN113724176B (zh) 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN114037889A (zh) 一种图像识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant