CN110488874A - 一种教育辅助机器人及其控制方法 - Google Patents

一种教育辅助机器人及其控制方法 Download PDF

Info

Publication number
CN110488874A
CN110488874A CN201910810451.4A CN201910810451A CN110488874A CN 110488874 A CN110488874 A CN 110488874A CN 201910810451 A CN201910810451 A CN 201910810451A CN 110488874 A CN110488874 A CN 110488874A
Authority
CN
China
Prior art keywords
image
target
face
student
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910810451.4A
Other languages
English (en)
Inventor
秦传波
余振辉
曾军英
王璠
区颖红
吴文骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201910810451.4A priority Critical patent/CN110488874A/zh
Publication of CN110488874A publication Critical patent/CN110488874A/zh
Priority to US16/806,717 priority patent/US20210060787A1/en
Priority to PCT/CN2020/078280 priority patent/WO2021036223A1/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种教育辅助机器人及其控制方法，执行以下步骤：从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随；能从图像中自动辨别出目标人物的角色，并对应不同的目标人物，作出不同的动作，包括考勤和目标跟随，进而能配置更多不同的响应功能，减轻教师工作负担。

Description

一种教育辅助机器人及其控制方法
技术领域
本发明涉及自动机器人领域，特别是一种教育辅助机器人及其控制方法。
背景技术
现在，一个教师管理多个班级或者多个课程，工作繁重。为减轻教师的工作压力，提高教师的工作效率；提供一种具有智能化的教育辅助机器人，为教师分担工作是必须的。但机器人需要人为控制，则还需要花费人手，浪费人力。另外，若机器人无法辨别出各种角色，即教师、学生及其他人员，则无法对应不同的角色作出不同的响应。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种教育辅助机器人及其控制方法，能分辨出目标并实现目标的自动跟随。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，一种教育辅助机器人的控制方法，其特征在于，包括以下步骤：
从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；
从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随。
上述教育辅助机器人的控制方法至少具有以下的有益效果：实现从拍摄的图像中，辨别出不同目标的角色，对应不同角色作出不同的动作，对学生进行考勤，对教师进行目标跟随；进而在对教师跟随后，根据教师的进一步指令实现更多的协作功能，从而起到辅助教师工作的目的。
根据本发明的第一方面，所述从拍摄的图像中捕抓并识别学生的人脸，对学生进行考勤包括以下步骤：
接收输入的学生相片建立学生签到表；
通过双目摄像头拍摄实时的图像；
通过深度人脸识别算法从拍摄的图像中捕抓并识别学生人脸；
将识别得到的学生人脸与所述学生签到表的学生相片匹配完成考勤。
根据本发明的第一方面，所述通过深度人脸识别算法从拍摄的图像中捕抓并识别学生人脸包括以下步骤：
采用LBP直方图对图像纹理化并提取人脸特征；
利用所述人脸特征通过SVR处理得到二维对齐的二维人脸；
基于所述二维人脸的关键点对人脸狄罗尼三角化并在人脸轮廓边缘处添加三角形；
将三角化的人脸转换为正面朝前的三维人脸；
将所述三维人脸经过人脸表示、归一化和分类处理，得到学生人脸识别结果。
根据本发明的第一方面，所述从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随包括以下步骤：
构建二维地图；
通过深度人脸识别算法从双目摄像头拍摄的图像中捕抓教师人脸并确认目标；
根据双目摄像头连续拍摄的图像，由目标在图像前一帧所在位置推断出目标在图像后一帧的位置，创建目标的运动轨迹；
根据目标的运动轨迹在所述二维地图上进行局部路径规划以及全局路径规划。
根据本发明的第一方面，所述构建二维地图包括以下步骤：
获取机器人的运动姿态和周边图像并从所述周边图像提取地标信息；
根据机器人的运动姿态和所述地标信息生成二维地图。
根据本发明的第一方面，所述根据双目摄像头连续拍摄的图像，由目标在图像前一帧所在位置推断出目标在图像后一帧的位置，创建目标的运动轨迹包括以下步骤：
在目标在图像前一帧所在位置的包围框内均匀产生多个样本点；从图像前一帧向后一帧正向跟踪多个样本点，然后从图像后一帧向前一帧反向跟踪多个样本点，据此计算多个样本点的FB误差；
从多个样本点中选择FB误差小的一半作为最佳追踪点；
根据所述最佳追踪点在后一帧中相对前一帧的坐标变化计算出目标在图像后一帧所在位置的包围框的位置和大小；
重复从目标在图像前一帧所在位置的包围框得到目标在图像后一帧所在位置的包围框的步骤，创建目标的运动轨迹。
根据本发明的第一方面，所述根据双目摄像头连续拍摄的图像，由目标在图像前一帧所在位置推断出目标在图像后一帧的位置，创建目标的运动轨迹还包括以下步骤：
通过三个级联的图像元方差分类器、随机蕨分类器和最近邻分类器对包围框内的图像样本分类为正样本和负样本；
通过P-N学习对正样本和负样本进行纠正；
在经过纠正的正样本中产生多个样本点。
根据本发明的第一方面，所述局部路径规划具体包括以下步骤：
通过激光传感器检测与障碍物的距离和通过双目摄像头的图像分析得到障碍物的形状；
通过动态窗口法根据障碍物的距离与障碍物的形状确认行进速度和行进方向；以及
所述全局路径规划具体包括以下步骤：
在所述二维地图定义多个节点；
通过查找确认与当前节点直接连接且与当前节点的行进代价最小的目标节点直至最终节点为目标节点，得到最优全局路径。
根据本发明的第一方面，一种教育辅助机器人的控制方法，还包括以下步骤：
连接课程表库，所述课程表库包括课程和与所述课程对应的上课地点；
从所述课程表库查询相应教师的课程，参照在所述二维地图上规划的路径自动行进至课程对应的上课地点。
本发明的第二方面，一种教育辅助机器人，应用如本发明第一方面所述的控制方法，其特征在于，包括环境信息采集模块、人脸信息采集模块、运动模块、处理器和存储器；所述存储器存有控制指令，所述处理器执行所述控制指令并控制所述环境信息采集模块、所述人脸信息采集模块和所述运动模块执行以下步骤：
从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；
从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随。
上述教育辅助机器人至少具有以下的有益效果：实现从人脸信息采集模块拍摄的图像中，辨别出不同目标的角色，对应不同角色作出不同的动作，对学生进行考勤，或根据环境信息采集模块采集的环境信息控制运动模块运动，实现对教师进行目标跟随；进而在对教师跟随后，能根据教师的进一步指令实现更多的协作功能，从而起到辅助教师工作的目的。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明实施例一种教育辅助机器人的控制方法的步骤图；
图2是步骤S100的具体步骤图；
图3是步骤S200的具体步骤图；
图4是步骤S230的具体步骤图；
图5是步骤S230的另一具体步骤图；
图6是本发明实施例一种教育辅助机器人的控制方法的另一步骤图；
图7是本发明实施例一种教育辅助机器人的结构图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，本发明的一个实施例，提供了一种教育辅助机器人的控制方法，其特征在于，包括以下步骤：
步骤S100、从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；
步骤S200、从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随。
参照图2，进一步，步骤S100包括以下步骤：
步骤S110、接收输入的学生相片建立学生签到表，学生相片带有相应学生的姓名标签；
步骤S120、通过双目摄像头拍摄实时的图像；
步骤S130、通过深度人脸识别算法从拍摄的图像中捕抓并识别学生人脸；
步骤S140、将识别得到的学生人脸与学生签到表的学生相片匹配完成考勤。
在该实施例中，学生走到该教育辅助机器人前，并将人脸对准双目摄像头；该教育辅助机器人从图像识别出学生人脸并匹配学生签到表的学生相片，将签到的学生的姓名标签从学生签到表排除；考勤完成后，将未签到的学生的姓名标签以表格形式显示在显示模块上。
进一步，步骤130包括以下步骤：
步骤131、采用LBP直方图对图像纹理化并提取人脸特征，人脸特征为定位在人脸位置的六个基准点，六个基准点包括眼睛位置的两个点、鼻子位置的一个点和嘴巴位置的三个点；
步骤132、利用人脸特征通过SVR处理得到二维对齐的二维人脸；
步骤133、基于二维人脸的关键点对人脸狄罗尼三角化并在人脸轮廓边缘处添加三角形；
步骤134、将三角化的人脸转换为正面朝前的三维人脸；
步骤135、将三维人脸经过人脸表示、归一化和分类处理，得到学生人脸识别结果。其中，人脸表示由一个CNN网络完成，CNN网络的结构如下：第一层为共享卷积层，第二层为max池化层，第三层为共享卷积层，第四至六层均为不共享卷积层，第七层为全连接层，第八层为softmax分类层。
参照图3，进一步，步骤S200包括以下步骤：
步骤S210、构建二维地图；
步骤S220、通过深度人脸识别算法从双目摄像头拍摄的图像中捕抓教师人脸并确认目标，其中通过深度人脸识别算法捕抓、识别教师人脸的方法与捕抓、识别学生人脸的方法相同；
步骤S230、根据双目摄像头连续拍摄的图像，由目标在图像前一帧所在位置推断出目标在图像后一帧的位置，创建目标的运动轨迹；
步骤S240、根据目标的运动轨迹在二维地图上进行局部路径规划以及全局路径规划。
进一步，步骤S210包括以下步骤：
步骤S211、获取机器人的运动姿态和周边图像并从周边图像提取地标信息；
步骤S212、根据机器人的运动姿态和地标信息生成二维地图。
具体地，机器人的运动姿态包括位置信息和航向角。机器人利用GPS卫星定位获取机器人的位置信息，利用角速度计计算出机器人的航向角。周边图像由机器人的双目摄像头拍摄机器人四周的图像信息得到。进而，地标信息是周边图像中具有明显标志性的物体，例如立柱、划线或建筑标志等，用坐标(x，y)表示。获取得到所有地标信息后，基于机器人自身的位置信息和地标信息闭环检测得到二维地图。
参照图4，进一步，步骤S230包括以下步骤：
步骤S231、在目标在图像前一帧所在位置的包围框内均匀产生多个样本点；
步骤S232、从图像前一帧向后一帧正向跟踪多个样本点，然后从图像后一帧向前一帧反向跟踪多个样本点，据此计算多个样本点的FB误差；其中，一个样本点在前一帧的初始位置x(t)开始追踪产生后一帧的位置x(t+p)，再从位置x(t+p)反向追踪产生前一帧的预测位置x`(t)，初始位置和预测位置之间的欧氏距离就是该样本点的FB误差；
步骤S233、从多个样本点中选择FB误差小的一半作为最佳追踪点；
步骤S234、根据最佳追踪点在后一帧中相对前一帧的坐标变化计算出目标在图像后一帧所在位置的包围框的位置和大小；
步骤S235、重复上述从目标在图像前一帧所在位置的包围框得到目标在图像后一帧所在位置的包围框的步骤，创建目标的运动轨迹。
参照图5，进一步，步骤S230还包括以下步骤：
步骤S201、通过三个级联的图像元方差分类器、随机蕨分类器和最近邻分类器对包围框内的图像样本分类为正样本和负样本；
步骤S202、通过P-N学习对正样本和负样本进行纠正；
步骤S203、在经过纠正的正样本中产生多个样本点。
在该实施例中，图像元方差分类器、随机蕨分类器和最近邻分类器分别计算图像样本的像素灰度值的方差、判断准则和相对相似性。P-N学习设有将误分为负样本的正样本纠正的P纠正器和将误分为正样本的负样本纠正的N纠正器。P纠正器的作用是寻找图像样本在时间上的结构性，保证目标在连续帧上出现的位置能构成连续的轨迹；N纠正器的作用是寻找图像样本在空间上的结构性，将原始的图像样本和经P纠正器纠正的图像样本比较，选择出一个具有最可信的位置且保证目标只出现在一个位置的正样本。在经过纠正的正样本中产生多个样本点，然后继续进行上述的创建目标的运动轨迹的步骤。
进一步，局部路径规划具体包括以下步骤：
通过激光传感器检测与障碍物的距离和通过双目摄像头的图像分析得到障碍物的形状；
通过动态窗口法根据障碍物的距离与障碍物的形状确认行进速度和行进方向。
动态窗口法的原理为：机器人从当前点通过一定的速度和方向到达目的点，在(v，w)空间中采样多组轨迹，并使用评价函数对多组轨迹进行评价并选取最优的轨迹对应的(v，w)。其中，v为速度大小，用于确定行进速度；w为角速度大小，用于确定行进方向。
全局路径规划具体包括以下步骤：
在二维地图定义多个节点；
通过查找确认与当前节点直接连接且与当前节点的行进代价最小的目标节点直至最终节点为目标节点，得到最优全局路径。在该实施例中，使用A*算法查找行进代价最小的目标节点。
参照图6，进一步，一种教育辅助机器人的控制方法，还包括以下步骤：
步骤S310、连接课程表库，课程表库包括课程和与该课程对应的上课地点；
步骤S320、从课程表库查询相应教师的课程，参照在二维地图上规划的路径自动行进至课程对应的上课地点。
在该实施例中，确认自动寻迹上课地点功能并输入教师的名称，机器人连接课程表库，查找该教师对应的课程表，得到时间最临近的一节课程及该课程对应的上课地点。参照在二维地图上规划的路径自动行进至课程对应的上课地点。课程表中还包含该课程的学生考勤表，到达上课地点后，对学生进行考勤；当教师到达，自动确认教师并进行目标跟随。
参照图6和图7，本发明的另一个实施例，提供了一种教育辅助机器人，应用如上述的控制方法，其特征在于，包括环境信息采集模块100、人脸信息采集模块200、运动模块300、处理器400和存储器500；存储器500存有控制指令，处理器400执行控制指令并控制环境信息采集模块100、人脸信息采集模块200和运动模块300执行以下步骤：
步骤S100，从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；
步骤S200，从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随；
以及步骤S310和步骤S320，连接课程表库，课程表库包括课程和与课程对应的上课地点,从课程表库查询相应教师的课程，参照在二维地图上规划的路径自动行进至课程对应的上课地点。
具体地，环境信息采集模块100包括激光传感器和双目摄像头，人脸信息采集模块200包括双目摄像头，运动模块300包括四个由电机独立驱动的运动轮；另外，该教育辅助机器人还包括触摸显示屏，显示各种信息，以及便于使用者对教育辅助机器人进行命令操作。
在该实施例中，能自动规划路线并行进至目标地点；实现从人脸信息采集模块200拍摄的图像中，辨别出不同目标的角色，对应不同角色作出不同的动作，对学生进行考勤，或根据环境信息采集模块100采集的环境信息控制运动模块300运动，实现对教师进行目标跟随；进而在对教师跟随后，能根据教师的进一步指令实现更多的协作功能，例如提供课程查询功能等；从而起到辅助教师工作的目的。
本发明的另一个实施例，提供了一种存储介质，存储有可执行指令，可执行指令能使与该存储介质连接的处理器执行上述的控制方法，控制机器人运动。
以上，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.一种教育辅助机器人的控制方法，其特征在于，包括以下步骤：
从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；
从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随。
2.根据权利要求1所述的一种教育辅助机器人的控制方法，其特征在于，所述从拍摄的图像中捕抓并识别学生的人脸，对学生进行考勤包括以下步骤：
接收输入的学生相片建立学生签到表；
通过双目摄像头拍摄实时的图像；
通过深度人脸识别算法从拍摄的图像中捕抓并识别学生人脸；
将识别得到的学生人脸与所述学生签到表的学生相片匹配完成考勤。
3.根据权利要求2所述的一种教育辅助机器人的控制方法，其特征在于，所述通过深度人脸识别算法从拍摄的图像中捕抓并识别学生人脸包括以下步骤：
采用LBP直方图对图像纹理化并提取人脸特征；
利用所述人脸特征通过SVR处理得到二维对齐的二维人脸；
基于所述二维人脸的关键点对人脸狄罗尼三角化并在人脸轮廓边缘处添加三角形；
将三角化的人脸对齐为正面朝前的三维人脸；
将所述三维人脸经过人脸表示、归一化和分类处理，得到学生人脸识别结果。
4.根据权利要求1所述的一种教育辅助机器人的控制方法，其特征在于，所述从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随包括以下步骤：
构建二维地图；
通过深度人脸识别算法从双目摄像头拍摄的图像中捕抓教师人脸并确认目标；
根据双目摄像头连续拍摄的图像，由目标在图像前一帧所在位置推断出目标在图像后一帧的位置，创建目标的运动轨迹；
根据目标的运动轨迹在所述二维地图上进行局部路径规划以及全局路径规划。
5.根据权利要求4所述的一种教育辅助机器人的控制方法，其特征在于，所述构建二维地图包括以下步骤：
获取机器人的运动姿态和周边图像并从所述周边图像提取地标信息；
根据机器人的运动姿态和所述地标信息生成二维地图。
6.根据权利要求4所述的一种教育辅助机器人的控制方法，其特征在于，所述根据双目摄像头连续拍摄的图像，由目标在图像前一帧所在位置推断出目标在图像后一帧的位置，创建目标的运动轨迹包括以下步骤：
在目标在图像前一帧所在位置的包围框内均匀产生多个样本点；
从图像前一帧向后一帧正向跟踪多个样本点，然后从图像后一帧向前一帧反向跟踪多个样本点，据此计算多个样本点的FB误差；
从多个样本点中选择FB误差小的一半作为最佳追踪点；
根据所述最佳追踪点在后一帧中相对前一帧的坐标变化计算出目标在图像后一帧所在位置的包围框的位置和大小；
重复从目标在图像前一帧所在位置的包围框得到目标在图像后一帧所在位置的包围框的步骤，创建目标的运动轨迹。
7.根据权利要求6所述的一种教育辅助机器人的控制方法，其特征在于，所述根据双目摄像头连续拍摄的图像，由目标在图像前一帧所在位置推断出目标在图像后一帧的位置，创建目标的运动轨迹还包括以下步骤：
通过三个级联的图像元方差分类器、随机蕨分类器和最近邻分类器对包围框内的图像样本分类为正样本和负样本；
通过P-N学习对正样本和负样本进行纠正；
在经过纠正的正样本中产生多个样本点。
8.根据权利要求4所述的一种教育辅助机器人的控制方法，其特征在于，所述局部路径规划具体包括以下步骤：
通过激光传感器检测与障碍物的距离和通过双目摄像头的图像分析得到障碍物的形状；
通过动态窗口法根据障碍物的距离与障碍物的形状确认行进速度和行进方向；以及
所述全局路径规划具体包括以下步骤：
在所述二维地图定义多个节点；
通过查找确认与当前节点直接连接且与当前节点的行进代价最小的目标节点直至最终节点为目标节点，得到最优全局路径。
9.根据权利要求4所述的一种教育辅助机器人的控制方法，其特征在于，还包括以下步骤：
连接课程表库，所述课程表库包括课程和与所述课程对应的上课地点；
从所述课程表库查询相应教师的课程，参照在所述二维地图上规划的路径自动行进至课程对应的上课地点。
10.一种教育辅助机器人，应用如权利要求1-9任一项所述的控制方法，其特征在于，包括环境信息采集模块、人脸信息采集模块、运动模块、处理器和存储器；所述存储器存有控制指令，所述处理器执行所述控制指令并控制所述环境信息采集模块、所述人脸信息采集模块和所述运动模块执行以下步骤：
从拍摄的图像中捕抓并识别学生人脸，对学生进行考勤；
从拍摄的图像中捕抓教师人脸并确认目标，对教师进行目标跟随。
CN201910810451.4A 2019-08-29 2019-08-29 一种教育辅助机器人及其控制方法 Pending CN110488874A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910810451.4A CN110488874A (zh) 2019-08-29 2019-08-29 一种教育辅助机器人及其控制方法
US16/806,717 US20210060787A1 (en) 2019-08-29 2020-03-02 Education assisting robot and control method thereof
PCT/CN2020/078280 WO2021036223A1 (zh) 2019-08-29 2020-03-06 一种教育辅助机器人及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910810451.4A CN110488874A (zh) 2019-08-29 2019-08-29 一种教育辅助机器人及其控制方法

Publications (1)

Publication Number Publication Date
CN110488874A true CN110488874A (zh) 2019-11-22

Family

ID=68555129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910810451.4A Pending CN110488874A (zh) 2019-08-29 2019-08-29 一种教育辅助机器人及其控制方法

Country Status (3)

Country Link
US (1) US20210060787A1 (zh)
CN (1) CN110488874A (zh)
WO (1) WO2021036223A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112274363A (zh) * 2020-11-04 2021-01-29 厦门狄耐克智能科技股份有限公司 一种能够自动识别自动跟随的移动查房车
WO2021036223A1 (zh) * 2019-08-29 2021-03-04 五邑大学 一种教育辅助机器人及其控制方法
CN116993785A (zh) * 2023-08-31 2023-11-03 东之乔科技有限公司 目标对象视觉跟踪方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797192B2 (en) 2021-04-21 2023-10-24 Micron Technology, Inc. Data transmission management
KR102431122B1 (ko) * 2021-12-30 2022-08-10 주식회사 버넥트 맵 타겟 추적 방법 및 그 시스템
CN114666639B (zh) * 2022-03-18 2023-11-03 海信集团控股股份有限公司 视频播放方法及显示设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425795A (zh) * 2015-11-26 2016-03-23 纳恩博（北京）科技有限公司 规划最优跟随路径的方法及装置
CN105874474A (zh) * 2013-11-04 2016-08-17 脸谱公司 用于面部表示的系统和方法
CN107239763A (zh) * 2017-06-06 2017-10-10 合肥创旗信息科技有限公司 基于人脸识别的课堂考勤系统
CN107608345A (zh) * 2017-08-26 2018-01-19 深圳力子机器人有限公司 一种机器人及其跟随方法和系统
CN108182649A (zh) * 2017-12-26 2018-06-19 重庆大争科技有限公司 用于教学质量评估的智能机器人
US20180181137A1 (en) * 2016-12-23 2018-06-28 Korea Institute Of Science And Technology Moving and searching method of mobile robot for following human
CN109003346A (zh) * 2018-07-13 2018-12-14 河海大学 一种基于人脸识别技术的校园考勤方法及其系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336948A (zh) * 2013-06-24 2013-10-02 深圳锐取信息技术股份有限公司 一种基于人脸识别的视频跟踪方法
CN105957173A (zh) * 2016-04-28 2016-09-21 山东科技职业学院 一种课堂考勤系统
CN106204373A (zh) * 2016-07-01 2016-12-07 北京建筑大学 教学签到方法及装置、教学跟踪管理系统及方法
CN110488874A (zh) * 2019-08-29 2019-11-22 五邑大学 一种教育辅助机器人及其控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105874474A (zh) * 2013-11-04 2016-08-17 脸谱公司 用于面部表示的系统和方法
CN105425795A (zh) * 2015-11-26 2016-03-23 纳恩博（北京）科技有限公司 规划最优跟随路径的方法及装置
US20180181137A1 (en) * 2016-12-23 2018-06-28 Korea Institute Of Science And Technology Moving and searching method of mobile robot for following human
CN107239763A (zh) * 2017-06-06 2017-10-10 合肥创旗信息科技有限公司 基于人脸识别的课堂考勤系统
CN107608345A (zh) * 2017-08-26 2018-01-19 深圳力子机器人有限公司 一种机器人及其跟随方法和系统
CN108182649A (zh) * 2017-12-26 2018-06-19 重庆大争科技有限公司 用于教学质量评估的智能机器人
CN109003346A (zh) * 2018-07-13 2018-12-14 河海大学 一种基于人脸识别技术的校园考勤方法及其系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙炜等: ""基于支持向量机优化的行人跟踪学习检测方法"，孙炜等，湖南大学学报（自然科学版），第43卷第10期，第102-109页", 《湖南大学学报》 *
陈宗海: "《系统仿真技术及其应用 第16卷》", 31 August 2015, 中国科学技术大学出版社 *
陈慧岩: "《智能车辆理论与应用》", 31 July 2018, 北京理工大学出版社 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036223A1 (zh) * 2019-08-29 2021-03-04 五邑大学 一种教育辅助机器人及其控制方法
CN112274363A (zh) * 2020-11-04 2021-01-29 厦门狄耐克智能科技股份有限公司 一种能够自动识别自动跟随的移动查房车
CN116993785A (zh) * 2023-08-31 2023-11-03 东之乔科技有限公司 目标对象视觉跟踪方法、装置、电子设备及存储介质
CN116993785B (zh) * 2023-08-31 2024-02-02 东之乔科技有限公司 目标对象视觉跟踪方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021036223A1 (zh) 2021-03-04
US20210060787A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
CN110488874A (zh) 一种教育辅助机器人及其控制方法
CN110285813B (zh) 一种室内移动机器人人机共融导航装置及方法
Naseer et al. Robust visual localization across seasons
CN110389348B (zh) 基于激光雷达与双目相机的定位与导航方法及装置
Duh et al. V-eye: A vision-based navigation system for the visually impaired
US10696300B2 (en) Vehicle tracking
KR102091580B1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
CN106840148A (zh) 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
CN110263607B (zh) 一种用于无人驾驶的道路级全局环境地图生成方法
CN106780631A (zh) 一种基于深度学习的机器人闭环检测方法
CN104517289A (zh) 一种基于混合摄像机的室内场景定位方法
CN116630394B (zh) 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN110533716A (zh) 一种基于3d约束的语义slam系统及方法
CN110320919A (zh) 一种未知地理环境中的巡回机器人路径优化方法
CN112101160A (zh) 一种面向自动驾驶场景的双目语义slam方法
Aryal Object detection, classification, and tracking for autonomous vehicle
Zhang et al. Toward Coordination Control of Multiple Fish-Like Robots: Real-Time Vision-Based Pose Estimation and Tracking via Deep Neural Networks.
CN114998276A (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
Wen et al. CAE-RLSM: Consistent and efficient redundant line segment merging for online feature map building
Mao et al. Obstacle recognition and avoidance for UAVs under resource-constrained environments
Jakob et al. Concept for transfer of driver assistance algorithms for blind and visually impaired people
Chougula et al. Road segmentation for autonomous vehicle: A review
Kumar Motion trajectory based human face and hands tracking for sign language recognition
Saito et al. Pre-driving needless system for autonomous mobile robots navigation in real world robot challenge 2013
Li et al. Traffic police gesture recognition for autonomous driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122