CN111736596A - 有手势控制功能的车辆、车辆的手势控制方法和存储介质 - Google Patents

有手势控制功能的车辆、车辆的手势控制方法和存储介质 Download PDF

Info

Publication number
CN111736596A
CN111736596A CN202010466952.8A CN202010466952A CN111736596A CN 111736596 A CN111736596 A CN 111736596A CN 202010466952 A CN202010466952 A CN 202010466952A CN 111736596 A CN111736596 A CN 111736596A
Authority
CN
China
Prior art keywords
module
vehicle
control module
image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010466952.8A
Other languages
English (en)
Inventor
黄昌正
周言明
陈曦
黄庆麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huanjing Technology Co ltd
Dongguan Yilian Interation Information Technology Co ltd
Original Assignee
Guangzhou Huanjing Technology Co ltd
Dongguan Yilian Interation Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huanjing Technology Co ltd, Dongguan Yilian Interation Information Technology Co ltd filed Critical Guangzhou Huanjing Technology Co ltd
Priority to CN202010466952.8A priority Critical patent/CN111736596A/zh
Publication of CN111736596A publication Critical patent/CN111736596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Mechanical Engineering (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Acoustics & Sound (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种有手势控制功能的车辆、车辆的手势控制方法和存储介质。本发明车辆包括车身、人脸跟踪模块、手势识别模块、驱动模块和控制模块，人脸跟踪模块用于跟踪人脸，手势识别模块用于进行手势识别，驱动模块用于驱动车身进行运动，控制模块用于根据手势识别结果控制驱动模块。本发明通过识别使用人员做出的手势，根据手势识别结果来控制和驱动车辆，使得使用人员能够以裸手做出手势来控制车辆，具有较好的便捷性，也避免了高故障率。人脸跟踪模块可以对使用人员进行跟踪，手势识别模块的更广的视野能够更容易地捕捉到使用人员的手势，从而适合复杂的使用环境。本发明广泛应用于自动控制技术领域。

Description

有手势控制功能的车辆、车辆的手势控制方法和存储介质
技术领域
本发明涉及自动控制技术领域，尤其是一种有手势控制功能的车辆、车辆的手势控制方法和存储介质。
背景技术
遥控车辆能够广泛应用于仓储运输以及机器人作业等领域。现有遥控车辆普遍是基于惯性传感技术，需要操作人员佩戴安装有惯性传感器的可穿戴智能设备，操作人员做出各种手势，可穿戴智能设备测量人手运动的加速度和角度等信息，转化为对车辆的控制指令来控制车辆。由于需要佩戴可穿戴智能设备，现有技术有较高的使用成本，同时因硬件复杂度较高而存在较高的故障率。
发明内容
针对上述至少一个技术问题，本发明的目的在于提供一种有手势控制功能的车辆、车辆的手势控制方法和存储介质。
一方面，本发明实施例包括一种有手势控制功能的车辆，包括：
车身；
人脸跟踪模块，安装在所述车身上，用于识别出视野中的人脸，跟踪人脸使得人脸保持在视野内；
手势识别模块，安装在所述车身上，具有广角视野，用于跟随所述人脸跟踪模块的跟踪及进行手势识别；
驱动模块，用于驱动所述车身进行运动；
控制模块，用于获取手势识别结果，根据所述手势识别结果控制所述驱动模块。
进一步地，所述人脸跟踪模块包括红外摄像头，所述手势识别模块包括双目鱼眼镜头，所述红外摄像头和所述双目鱼眼镜头安装在同一云台稳定器上，所述云台稳定器安装在所述车身上。
进一步地，所述识别出视野中的人脸，跟踪人脸使得人脸保持在视野内，包括：
所述红外摄像头对视野进行拍摄以获得第一图像；
将所述第一图像发送到所述控制模块；
所述控制模块执行OpenCV TLD跟踪算法，识别人脸在所述第一图像的当前帧中的位置，预测人脸在所述第一图像的下一帧中的位置；
所述控制模块根据人脸在所述第一图像的当前帧中的位置以及在下一帧中的位置，确定所述云台稳定器的动作方向；
所述控制模块根据所确定的所述动作方向，控制所述云台稳定器转动或不转动。
进一步地，所述跟随所述人脸跟踪模块的跟踪及进行手势识别，包括：
所述云台稳定器带动所述手势识别模块与所述人脸跟踪模块同步地转动或不转动；
所述双目鱼眼镜头对视野进行拍摄以获得第二图像；
将所述第二图像发送到所述控制模块；
所述控制模块使用双目立体匹配算法，将所述第二图像的二维坐标转换成为抛物面上的三维坐标；
所述控制模块根据所述三维坐标确定深度信息；
所述控制模块使用经过训练的人工智能模型确定所述第二图像中的手掌图像；
所述控制模块根据所述手掌图像的深度信息确定三维手势图像；
所述控制模块根据所述三维手势图像确定手势识别结果。
进一步地，所述根据所述三维坐标确定深度信息，包括：
使用公式
Figure BDA0002512968410000021
dx＝dz cotβ和
Figure BDA0002512968410000022
计算所述深度信息；其中，(x1,y1,z1)为所述三维坐标，(dx,dy,dz)为所述深度信息，α和β为中间结果。
进一步地，所述驱动模块包括：
第一麦克纳姆轮，设置于所述车身的第一位置；
第二麦克纳姆轮，设置于所述车身的第二位置；
第三麦克纳姆轮，设置于所述车身的第三位置；
第四麦克纳姆轮，设置于所述车身的第四位置；
第一驱动电机，用于驱动所述第一麦克纳姆轮；
第二驱动电机，用于驱动所述第二麦克纳姆轮；
第三驱动电机，用于驱动所述第三麦克纳姆轮；
第四驱动电机，用于驱动所述第四麦克纳姆轮。
进一步地，所述车辆还包括：
测距模块，安装在所述车身上，与所述控制模块连接，用于获取所述车身与障碍物之间的距离并发送到所述控制模块；所述控制模块将所述车身与障碍物之间的距离与预设的安全距离进行比较。
进一步地，所述车辆还包括：
警报模块，安装在所述车身上，与所述控制模块连接，用于获取警报信号进行警报；所述警报信号由所述控制模块确定所述车身与障碍物之间的距离小于预设的安全距离的情况下发出。
另一方面，本发明实施例还包括一种车辆的手势控制方法，包括：
识别出视野中的人脸，跟踪人脸使得人脸保持在视野内；
跟随对人脸的跟踪，进行手势识别；
获取手势识别结果，根据所述手势识别结果控制车身进行运动。
另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行实施例中的车辆的手势控制方法。
本发明的有益效果是：通过手势识别模块来识别使用人员做出的手势，根据手势识别结果来控制和驱动车辆，避免了现有技术中依赖佩戴可穿戴智能设备来进行控制，使得使用人员能够以裸手做出手势来控制车辆，具有较好的便捷性，也避免了使用复杂的硬件导致的高故障率。另一方面，使用人脸跟踪模块来跟踪使用人员的人脸，人脸跟踪模块可以连带手势识别模块对使用人员进行跟踪，手势识别模块的更广的视野能够更容易地捕捉到使用人员的手势，即使因为使用人员与车辆之间的相对位置发生变动，也能够保持较高的手势识别正确率，从而适合复杂的使用环境。
附图说明
图1为本发明实施例中车辆的结构第一示意图；
图2为本发明实施例中车辆的结构第二示意图。
具体实施方式
参照图1和图2，本发明的实施例中所记载的有手势控制功能的车辆，包括车身100、人脸跟踪模块、手势识别模块、驱动模块400和控制模块101。
本发明的实施例中，车身100的形状如图1所示，车身100上设有载物平台，可以供承载货物或者乘员。车身100外部采用封闭的盒装结构，以保护内部电路和各元器件。车身100采用硬度高的材质制造，能承受载物平台及其上方物件的重量。
本发明的实施例中，使用红外摄像头200作为人脸跟踪模块，使用双目鱼眼镜头300作为手势识别模块。参照图1，红外摄像头200和双目鱼眼镜头300被安装在同一云台稳定器500上，云台稳定器500安装固定在车身100上。云台稳定器500能够保持红外摄像头200和双目鱼眼镜头300的稳定，云台稳定器500自身可以转动，带动红外摄像头200和双目鱼眼镜头300转动以改变红外摄像头200和双目鱼眼镜头300的拍摄范围。
红外摄像头200具有一定的视野。本发明的实施例中，红外摄像头200负责拍摄其视野范围内的第一图像，将第一图像发送到控制模块101中处理，从而识别第一图像中的人脸。具体为，首先在控制模块101中录入使用者的人脸信息，使用者可以是仓储工作人员等需要对车辆进行手势控制的人员。开始使用后，红外摄像头200开始拍摄，本发明的实施例中，红外摄像头200拍摄所得的图像为第一图像，红外摄像头200不断将拍摄得到的第一图像发送到控制模块101，控制模块101执行人脸识别算法，检测第一图像中是否存在使用者的人脸。当使用者人脸出现在第一图像中时，控制模块101执行OpenCV TLD跟踪算法，其输出结果包括人脸在第一图像的当前帧中的位置，以及预测的人脸在第一图像的下一帧中的位置，根据这两个位置，控制模块101可以确定云台稳定器500的动作方向和动作幅度，例如控制模块101可以确定云台稳定器500的动作使得云台稳定器500带动红外摄像头200动作后，预测的人脸在第一图像的下一帧中出现的位置移动到人脸在第一图像的当前帧中的位置，如果预测的人脸在第一图像的下一帧中出现的位置与人脸在第一图像的当前帧中的位置重合，那么控制模块101就控制云台稳定器500不进行动作，从而实现了对人脸的跟踪。
在不存在遮挡的情况下，人脸跟踪模块会保持对人脸的稳定跟踪，人脸跟踪模块面对的方向也始终朝着人体正前方。当存在遮挡时，人脸跟踪模块可能会丢失对人脸目标的识别与跟踪，控制模块101判断为跟踪失败。此时，图像处理模块可以运行分类器程序对多帧第一图像所形成的视频序列中大量的特征值进行检测归类，找出其中最有可能出现人脸目标的区域，然后综合跟踪部分共同输出决定下一帧中人脸目标的方位，如果前面跟踪部分失败，检测成功，则检测部分就会重新初始化跟踪部分，在下一帧的时候，跟踪器重新跟踪成功目标。如果跟踪器和检测器都失败，则摄像机会保持原来的方向不动，直到使用者重新出现在镜头中。
在控制模块101的计算机资源充足的情况下，控制模块101可以运行具有深度学习和训练功能的学习模块。也可以在服务器中运行具有深度学习和训练功能的学习模块，控制模块101与服务器之间建立连接，实现控制模块101与服务器之间的数据传输。人脸跟踪模块的跟踪结果与控制模块101的检测结果会输入到学习模块进行深度学习和训练，训练的结果又会自动优化检测过程，在长时间的使用中会保持高度的稳定性。
本发明的实施例中，使用红外摄像头200来进行人脸的检测与跟踪，因此，即使在室内、仓库等亮度不够的环境中，也可以进行人脸跟踪。
本发明的实施例中，手势识别模块中的双目鱼眼镜头300具有180°的广角视野。双目鱼眼镜头300的拍摄范围被调节为能够将红外摄像头200的拍摄范围包含在内。由于双目鱼眼镜头300与红外摄像头200安装在同一云台稳定器500上，因此红外摄像头200、控制模块101和云台稳定器500配合进行人脸跟踪时，双目鱼眼镜头300也被带动，使得双目鱼眼镜头300也能够跟踪人脸。由于双目鱼眼镜头300的视野更广，因此双目鱼眼镜头300还能够拍摄到使用者的手部。
本发明的实施例中，双目鱼眼镜头300拍摄到的图像为第二图像，第二图像上的各像素点的坐标可以表示为(x0,y0)。双目鱼眼镜头300将第二图像发送给控制模块101。双目鱼眼镜头300的表面形状是一个抛物面，双目鱼眼镜头300所拍摄的第二图像在平面上，控制模块101执行双目立体匹配算法，将第二图像的二维坐标(x0,y0)转换成为抛物面上的三维坐标(x1,y1,z1)。控制模块101使用公式
Figure BDA0002512968410000051
dx＝dz cotβ和
Figure BDA0002512968410000052
计算深度信息。其中，α和β是计算过程中的中间结果，(dx,dy,dz)是计算得到的深度信息。
本发明的实施例中，在控制模块101的计算机资源充足的情况下，控制模块101可以运行经过训练的卷积神经网络等人工智能模型，也可以在服务器中运行经过训练的卷积神经网络等人工智能模型，控制模块101与服务器之间建立连接，实现控制模块101与服务器之间的数据传输。对人工智能模型的训练过程，其训练方向是使得人工智能模型可以识别出第二图像中包含的手掌图像。控制模块101将第二图像输入到经过训练的人工智能模型进行处理，人工智能模型的输出结果可以显示手掌图像在第二图像中的位置。
控制模块101根据确定的手掌图像在第二图像中的位置，结合计算得到的深度信息(dx,dy,dz)，可以确定手掌图像上各像素点的深度信息，从而确定三维手势图像，根据三维手势图像可以确定手势识别结果，手势识别结果可以表示使用者做出的手势类型。根据手势识别结果，控制模块101查找对应的控制指令，控制驱动模块400以驱动车身100进行运动。参照图2，本发明的实施例中，驱动模块400包括四个麦克纳姆轮701和四个驱动电机702。具体地，驱动模块400包括设于车身100左前端的第一麦克纳姆轮、设于车身100右前端的第二麦克纳姆轮、设于车身100左后端的第三麦克纳姆轮和设于车身100右后端的第四麦克纳姆轮，以及用于驱动第一麦克纳姆轮的第一驱动电机、用于驱动第二麦克纳姆轮的第二驱动电机、用于驱动第三麦克纳姆轮的第三驱动电机和用于驱动第四麦克纳姆轮的第四驱动电机。麦克纳姆轮可以实现全方向移动，能大幅提高车辆的运动能力。
本发明的实施例中，控制模块101根据手势识别结果控制驱动电机的工作状态，以及各个驱动电机的工作状态的组合驱动车身的运动方向的情况如表1所示。
表1
Figure BDA0002512968410000061
Figure BDA0002512968410000071
参照图2，本发明的实施例中，车辆还包括测距模块600和警报模块。本发明的实施例中，可以使用超声波探头作为测距模块600，使用LED警示灯800和喇叭900作为警报模块。超声波探头分为超声波发射孔以及超声波接收孔，超声波发射孔负责朝着车头前方发射超声波，而超声波接收孔则负责将接收遇到障碍物而返回的超声波，并将声波转化为电信号。控制模块101可以根据超声波探头反馈回来的电信号获得车身100与障碍物之间的距离，将车身100与障碍物之间的距离与预设的安全距离进行比较，如果车身100与障碍物之间的距离小于安全距离，控制模块101发出警报信号，使得LED警示灯800发出红色光、喇叭900发声；如果车身100与障碍物之间的距离大于或者等于安全距离，控制模块101发出普通信号，使得LED警示灯800发出绿色光、喇叭900不发声。
本发明的实施例中，通过手势识别模块来识别使用人员做出的手势，根据手势识别结果来控制和驱动车辆，避免了现有技术中依赖佩戴可穿戴智能设备来进行控制，使得使用人员能够以裸手做出手势来控制车辆，具有较好的便捷性，也避免了使用复杂的硬件导致的高故障率。另一方面，使用人脸跟踪模块来跟踪使用人员的人脸，人脸跟踪模块可以连带手势识别模块对使用人员进行跟踪，手势识别模块的更广的视野能够更容易地捕捉到使用人员的手势，即使因为使用人员与车辆之间的相对位置发生变动，也能够保持较高的手势识别正确率，从而适合复杂的使用环境。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向目标终端的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的目标终端，包括显示器上产生的物理和有形目标终端的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种有手势控制功能的车辆，其特征在于，包括：
车身；
人脸跟踪模块，安装在所述车身上，用于识别出视野中的人脸，跟踪人脸使得人脸保持在视野内；
手势识别模块，安装在所述车身上，具有广角视野，用于跟随所述人脸跟踪模块的跟踪及进行手势识别；
驱动模块，用于驱动所述车身进行运动；
控制模块，用于获取手势识别结果，根据所述手势识别结果控制所述驱动模块。
2.根据权利要求1所述的车辆，其特征在于，所述人脸跟踪模块包括红外摄像头，所述手势识别模块包括双目鱼眼镜头，所述红外摄像头和所述双目鱼眼镜头安装在同一云台稳定器上，所述云台稳定器安装在所述车身上。
3.根据权利要求2所述的车辆，其特征在于，所述识别出视野中的人脸，跟踪人脸使得人脸保持在视野内，包括：
所述红外摄像头对视野进行拍摄以获得第一图像；
将所述第一图像发送到所述控制模块；
所述控制模块执行OpenCV TLD跟踪算法，识别人脸在所述第一图像的当前帧中的位置，预测人脸在所述第一图像的下一帧中的位置；
所述控制模块根据人脸在所述第一图像的当前帧中的位置以及在下一帧中的位置，确定所述云台稳定器的动作方向；
所述控制模块根据所确定的所述动作方向，控制所述云台稳定器转动或不转动。
4.根据权利要求2或3所述的车辆，其特征在于，所述跟随所述人脸跟踪模块的跟踪及进行手势识别，包括：
所述云台稳定器带动所述手势识别模块与所述人脸跟踪模块同步地转动或不转动；
所述双目鱼眼镜头对视野进行拍摄以获得第二图像；
将所述第二图像发送到所述控制模块；
所述控制模块使用双目立体匹配算法，将所述第二图像的二维坐标转换成为抛物面上的三维坐标；
所述控制模块根据所述三维坐标确定深度信息；
所述控制模块使用经过训练的人工智能模型确定所述第二图像中的手掌图像；
所述控制模块根据所述手掌图像的深度信息确定三维手势图像；
所述控制模块根据所述三维手势图像确定手势识别结果。
5.根据权利要求4所述的车辆，其特征在于，所述根据所述三维坐标确定深度信息，包括：
使用公式
Figure FDA0002512968400000021
dx＝dz cotβ和
Figure FDA0002512968400000022
计算所述深度信息；其中，(x1,y1,z1)为所述三维坐标，(dx,dy,dz)为所述深度信息，α和β为中间结果。
6.根据权利要求1所述的车辆，其特征在于，所述驱动模块包括：
第一麦克纳姆轮，设置于所述车身的第一位置；
第二麦克纳姆轮，设置于所述车身的第二位置；
第三麦克纳姆轮，设置于所述车身的第三位置；
第四麦克纳姆轮，设置于所述车身的第四位置；
第一驱动电机，用于驱动所述第一麦克纳姆轮；
第二驱动电机，用于驱动所述第二麦克纳姆轮；
第三驱动电机，用于驱动所述第三麦克纳姆轮；
第四驱动电机，用于驱动所述第四麦克纳姆轮。
7.根据权利要求1所述的车辆，其特征在于，所述车辆还包括：
测距模块，安装在所述车身上，与所述控制模块连接，用于获取所述车身与障碍物之间的距离并发送到所述控制模块；所述控制模块将所述车身与障碍物之间的距离与预设的安全距离进行比较。
8.根据权利要求7所述的车辆，其特征在于，所述车辆还包括：
警报模块，安装在所述车身上，与所述控制模块连接，用于获取警报信号进行警报；所述警报信号由所述控制模块确定所述车身与障碍物之间的距离小于预设的安全距离的情况下发出。
9.一种车辆的手势控制方法，其特征在于，包括：
识别出视野中的人脸，跟踪人脸使得人脸保持在视野内；
跟随对人脸的跟踪，进行手势识别；
获取手势识别结果，根据所述手势识别结果控制车身进行运动。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求9所述方法。
CN202010466952.8A 2020-05-28 2020-05-28 有手势控制功能的车辆、车辆的手势控制方法和存储介质 Pending CN111736596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010466952.8A CN111736596A (zh) 2020-05-28 2020-05-28 有手势控制功能的车辆、车辆的手势控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010466952.8A CN111736596A (zh) 2020-05-28 2020-05-28 有手势控制功能的车辆、车辆的手势控制方法和存储介质

Publications (1)

Publication Number Publication Date
CN111736596A true CN111736596A (zh) 2020-10-02

Family

ID=72647935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010466952.8A Pending CN111736596A (zh) 2020-05-28 2020-05-28 有手势控制功能的车辆、车辆的手势控制方法和存储介质

Country Status (1)

Country Link
CN (1) CN111736596A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112596375A (zh) * 2020-12-11 2021-04-02 太原科技大学 一种用于目标跟踪的全向移动平台系统及控制方法
CN113772599A (zh) * 2021-09-15 2021-12-10 湖南星邦智能装备股份有限公司 一种剪叉式高空作业平台及其控制系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103818343A (zh) * 2012-11-19 2014-05-28 大连天地伟业数码科技有限公司 一种基于人脸识别的汽车驾驶系统
CN106855742A (zh) * 2015-12-08 2017-06-16 深圳市几米软件有限公司 基于手势识别实现安全操作的智能车载系统及控制方法
CN108944685A (zh) * 2018-09-06 2018-12-07 烟台市安特洛普网络科技有限公司 智能车载交互系统
CN109559416A (zh) * 2019-01-14 2019-04-02 上海理工大学 一种基于人脸识别及手势识别的车锁控制系统
CN109878441A (zh) * 2019-03-21 2019-06-14 百度在线网络技术（北京）有限公司 车辆控制方法和装置
CN110659543A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 基于手势识别的车辆控制方法、系统及车辆
CN110816470A (zh) * 2019-11-18 2020-02-21 上海擎感智能科技有限公司 基于车载终端的用户授权添加方法、系统、介质及车载终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103818343A (zh) * 2012-11-19 2014-05-28 大连天地伟业数码科技有限公司 一种基于人脸识别的汽车驾驶系统
CN106855742A (zh) * 2015-12-08 2017-06-16 深圳市几米软件有限公司 基于手势识别实现安全操作的智能车载系统及控制方法
CN110659543A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 基于手势识别的车辆控制方法、系统及车辆
CN108944685A (zh) * 2018-09-06 2018-12-07 烟台市安特洛普网络科技有限公司 智能车载交互系统
CN109559416A (zh) * 2019-01-14 2019-04-02 上海理工大学 一种基于人脸识别及手势识别的车锁控制系统
CN109878441A (zh) * 2019-03-21 2019-06-14 百度在线网络技术（北京）有限公司 车辆控制方法和装置
CN110816470A (zh) * 2019-11-18 2020-02-21 上海擎感智能科技有限公司 基于车载终端的用户授权添加方法、系统、介质及车载终端

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘蕾等: "鱼眼相机导引下的双目跟踪系统", 《激光与红外》 *
张诚等: "利用鱼眼照片恢复景物的深度信息", 《工程图学学报》 *
段凯强等: "视觉感知技术在人机交互小车控制中的应用研究", 《电子世界》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112596375A (zh) * 2020-12-11 2021-04-02 太原科技大学 一种用于目标跟踪的全向移动平台系统及控制方法
CN112596375B (zh) * 2020-12-11 2024-04-26 太原科技大学 一种用于目标跟踪的全向移动平台系统及控制方法
CN113772599A (zh) * 2021-09-15 2021-12-10 湖南星邦智能装备股份有限公司 一种剪叉式高空作业平台及其控制系统及方法
WO2023040080A1 (zh) * 2021-09-15 2023-03-23 湖南星邦智能装备股份有限公司 一种剪叉式高空作业平台及其控制系统及方法

Similar Documents

Publication Publication Date Title
US10657409B2 (en) Methods and apparatus for tracking objects using saliency
CN109890573B (zh) 移动机器人的控制方法、装置、移动机器人及存储介质
EP3131311B1 (en) Monitoring
CN106575437B (zh) 信息处理装置、信息处理方法以及程序
US8214082B2 (en) Nursing system
García et al. Directional people counter based on head tracking
US9400503B2 (en) Mobile human interface robot
US8854594B2 (en) System and method for tracking
CA3073920C (en) Collision detection, estimation, and avoidance
US20130338525A1 (en) Mobile Human Interface Robot
US20060187305A1 (en) Digital processing of video images
EP3252714A1 (en) Camera selection in positional tracking
CN111360818A (zh) 一种通过视觉定位的机械臂控制系统
WO2011146259A2 (en) Mobile human interface robot
JP2008200770A (ja) ロボットおよびその制御方法
US11221671B2 (en) Opengaze: gaze-tracking in the wild
JP5001930B2 (ja) 動作認識装置及び方法
CN108304828B (zh) 一种三维活体人脸识别装置及方法
KR20060066975A (ko) 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기
Pundlik et al. Collision detection for visually impaired from a body-mounted camera
CN111736596A (zh) 有手势控制功能的车辆、车辆的手势控制方法和存储介质
Herghelegiu et al. Negative obstacle detection for wearable assistive devices for visually impaired
CN111086451A (zh) 一种平视显示系统、显示方法和汽车
CN113557713A (zh) 情景感知监测
CN114800615A (zh) 基于多源感知的机器人实时调度系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201002

RJ01 Rejection of invention patent application after publication