CN111506067A - 智能模型车 - Google Patents
智能模型车 Download PDFInfo
- Publication number
- CN111506067A CN111506067A CN202010311236.2A CN202010311236A CN111506067A CN 111506067 A CN111506067 A CN 111506067A CN 202010311236 A CN202010311236 A CN 202010311236A CN 111506067 A CN111506067 A CN 111506067A
- Authority
- CN
- China
- Prior art keywords
- module
- vehicle body
- control
- road condition
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 240000007651 Rubus glaucus Species 0.000 claims abstract description 47
- 235000011034 Rubus glaucus Nutrition 0.000 claims abstract description 47
- 235000009122 Rubus idaeus Nutrition 0.000 claims abstract description 47
- 238000004891 communication Methods 0.000 claims abstract description 31
- 238000010801 machine learning Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 229910000838 Al alloy Inorganic materials 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H17/00—Toy vehicles, e.g. with self-drive; ; Cranes, winches or the like; Accessories therefor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H17/00—Toy vehicles, e.g. with self-drive; ; Cranes, winches or the like; Accessories therefor
- A63H17/26—Details; Accessories
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Acoustics & Sound (AREA)
- Automation & Control Theory (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种智能模型车,其特征在于,包括:车本体;移动模块,设置在车本体上,用于驱动车本体进行移动;摄像模块,设置在车本体上并正对车本体的前方,用于采集车本体前方的第一路况图像;树莓派服务器,用于采集第二路况图像并对第二路况图像进行机器学习识别,进一步生成用于控制车本体移动的控制指令数据,语音识别模块,用于接收使用者的语音指令并生成相应的控制指令数据;无线通讯模块,用于接收使用者通过遥控器发送的控制指令数据;以及单片机,设置在车本体上,其中,单片机包括任务信息存储部、串口中断部、中断信号暂存部、执行控制部、检索判定部、控制指令获取部、图像获取部、路况图像暂存部以及路径分析生成部。
Description
技术领域
本发明涉及一种智能模型车。
背景技术
对于目前的一些小型智能模型车,出于竞赛或是智能研究等目的,会要求这些智能模型车具有车载级要求,即、具备图像识别与道路寻迹等多种自主判断功能。目前市场上的小型智能模型车,如要实现避障,语音控制,人工遥控,红外传感器道路线循迹等常规功能,控制器一般选用51系列单片机。如需加载30万像素以内的摄像头进行简单图像采集、处理,一般选用STM32系列单片机,如需稳定性更高,则选用飞思卡尔32位系列单片机。
这些市面上能现实图像识别、机器深度学习的智能模型车,主流方式需要在Linux下加载openCV图像处理函数库,利用TesronFlow 算法系统来实现。这就需要高性能的图像处理服务器来实现。目前能实现该功能的市面上最廉价的服务器是树莓派,价格在250元左右,但它性能有限,采集30万像素的图像,加载openCV对其处理,利用TesronFlow系统来识别若干简单图形已到它的算力极限。如再实现基于摄像头视觉系统的道路循迹,电机控制,避障,语音控制,其它元器件I/O口控制等额外功能,其性能已不能支持。
如调上服务器配置,一般要选用价格在500-1000元的飞思卡尔工控板如i.MX6,或者800-1500元左右的英伟达服务器,如英伟达的JETSON NANO。这种价格较为昂贵的树莓派服务器无疑会使得小型模型车的整体成本大幅升高。
发明内容
为解决上述问题,提供一种在树莓派基础上再加一块低成本的飞思卡尔MK60DN512Z单片机最小核心板,从而通过树莓派进行图像识别并通过单片机控制小车运行,保证在低成本的控制模块下也能良好地实现基于图像识别自动行驶的智能模型车,本发明采用了如下技术方案:
本发明提供了一种智能模型车,其特征在于,包括:车本体;移动模块,设置在车本体上,用于驱动车本体进行移动;摄像模块,设置在车本体上并正对车本体的前方,用于进行实时拍摄从而采集车本体前方的第一路况图像;树莓派服务器,设置在车本体上并具有一个正对车本体前方的摄像单元,用于通过摄像单元采集车本体前方的第二路况图像,并基于TesronFlow对该第二路况图像进行机器学习识别,进一步生成用于控制车本体移动的控制指令数据,语音识别模块,用于接收使用者的语音指令并生成相应用于控制车本体移动的控制指令数据;无线通讯模块,用于接收使用者通过遥控器发送的用于控制车本体移动的控制指令数据;以及单片机,设置在车本体上,分别与移动模块、摄像模块、树莓派服务器、语音识别模块以及无线通讯模块相连接,其中,单片机包括任务信息存储部、串口中断部、中断信号暂存部、执行控制部、检索判定部、控制指令获取部、图像获取部、路况图像暂存部以及路径分析生成部,任务信息存储部存储有分别与树莓派服务器、语音识别模块与无线通信模块相对应的任务识别信息以及表示执行任务的处理优先级的优先级信息,串口中断部包含分别与各个任务识别信息相对应的多个串口单元,串口单元分别用于接收无线通信模块、语音识别模块与树莓派服务器发送的中断触发信号并由中断信号暂存部将该中断触发信号与相应的任务识别信息进行对应暂存,执行控制部控制检索判定部对中断信号暂存部进行检索并在检索到中断触发信号时,基于所有被检索到的中断触发信号以及被存储的优先级信息判定出优先级最高的任务识别信息作为当前任务识别信息从而完成任务判定处理,一旦检索判定部判定出的当前任务识别信息对应树莓派服务器的执行任务,执行控制部就控制控制指令获取部从树莓派服务器中获取控制指令数据,并基于该控制指令数据控制移动模块进行移动,一旦检索判定部判定出的当前任务识别信息对应语音识别模块的执行任务,执行控制部就控制控制指令获取部从语音识别模块中获取控制指令数据,并基于该控制指令数据控制移动模块进行移动,一旦检索判定部判定出的当前任务识别信息对应无线通讯模块的执行任务,执行控制部就控制控制指令获取部从无线通讯模块中获取控制指令数据,并基于该控制指令数据控制移动模块进行移动,当检索判定部没有在中断信号暂存部中检索到中断触发信号时,执行控制部就控制图像获取部从摄像模块获取到最新采集的第一路况图像并作为当前路况图像暂存至路况图像暂存部中,并控制路径分析生成部基于被暂存的当前路况图像分析移动路径并生成相应的控制指令数据,进一步基于该控制指令数据控制移动模块进行移动。一旦结束移动,执行控制部就再次控制检索判定部进行任务判定处理。
本发明提供的智能模型车,还可以具有这样的技术特征,其中,第一路况图像由多个像素行组成,图像获取部在获取第一路况图像并作为当前路况图像对路况图像暂存部进行更新时,依次采集每一行的像素行并对路况图像暂存部中原先暂存的当前路况图像的相应像素行进行更新直到所有的像素行都完成更新。
本发明提供的智能模型车,还可以具有这样的技术特征,还包括:超声波测距模块,设置在车本体的前方并与单片机相连接,用于检测智能模型车与前方障碍物之间的检测距离,其中,单片机还包括避障判定部,在执行控制部控制移动模块进行移动时,还控制避障判定部获取检测距离并基于该检测距离判断是否进行避障移动,避障判定部包括避障控制信息存储单元以及障碍发生判定单元,避障控制信息存储有用于控制车本体绕开障碍物的避障控制信息,障碍发生判定单元用于判定检测距离是否小于预定距离,一旦障碍发生判定单元判定距离小于预定距离,执行控制部就基于被存储的避障控制信息控制移动模块进行避障移动。
本发明提供的智能模型车,还可以具有这样的技术特征,其中,树莓派服务器基于TesronFlow识别出第二路况图像中的交通标志以及交通信号,并基于交通标志以及交通信号生成相应的控制指令数据,交通信号为红灯信号、绿灯信号、转向灯信号中的任意一种。
本发明提供的智能模型车,还可以具有这样的技术特征,其中,执行任务分别为对应树莓派服务器的交通控制任务、对应语音识别模块的语音控制任务以及对应无线通信模块的远程控制任务,远程控制任务的优先级信息为优先级最高的第一优先级,语音控制任务的优先级信息为第二优先级,交通控制任务的优先级信息为第三优先级。
本发明提供的智能模型车,还可以具有这样的技术特征,其中,移动模块包括双路电机驱动器以及四个分别用于驱动相应车轮的直流电机,双路电机驱动单元基于移动控制信息分别向各个直流电机输出相应的控制电压从而进行移动。
发明作用与效果
根据本发明的智能模型车,由于通过树莓派服务器采集图像并进行机器学习识别,因此可以实现对道路中各类交通信号标志(例如红绿灯等)进行有效识别并生成相应的控制指令数据。进一步,在单片机中通过中断信号暂存部对串口中断部接收到的中断触发信息进行暂存,并通过检索判定部对中断触发信号以及相应的任务识别信息和优先级信息进行检索判定,使得执行控制部能够根据中断触发信号以及相应的优先级从无线通讯模块、语音识别模块以及树莓派服务器中获取控制指令数据,进一步基于该控制指令数据控制移动模块进行移动,因此,实现了让单片机仅采用单线程就能够完成小车的移动控制,并且在没有中断触发信号时,单片机还可以能够基于摄像模块获取的第一路况图像进行简单的路径分析,使得小车的移动控制不会因为树莓派服务器的处理速度不足而中断。通过本发明的智能模型车,使得智能模型车能够在选用了处理能力较差的控制芯片与微型服务器从而降低成本的同时,也能够保证小车可以有效地进行基于图像识别的自动行驶等丰富的功能。
附图说明
图1是本发明实施例中智能模型车的结构示意图;
图2是本发明实施例中单片机的结构框图;以及
图3是本发明实施例中智能模型车的整体控制流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下结合实施例及附图对本发明的智能模型车作具体阐述。
<实施例>
图1是本发明实施例中智能模型车的结构示意图。
如图1所示,智能模型车100包括车本体101、摄像模块102、超声波测距模块103、显示模块104、移动模块105、电源模块106、无线通讯模块107、语音识别模块108、树莓派服务器109以及单片机110。
车本体101为一个铝合金底盘,用于对智能模型车100的各个构成部件进行固定。在本发明其他方案中,车本体101还可以包括车体外壳等部件,从而对智能模型车100的各个构成部件进行封装。
摄像模块102设置在车本体101上并正对车本体101的前方(即智能模型车100前进的方向),用于进行拍摄从而得到智能模型车前方的第一路况图像。本实施例中,摄像模块102选用OV7725型号 RGB565彩色COMS摄像头,该摄像头安装铝合金底盘的中心线上,靠前端,镜头向下倾斜,调整完毕后固定不能动。
超声波测距模块103设置在车本体101的前方,用于感应智能模型车100与前方障碍物之间的距离作为检测距离。本实施例中,超声波测距模块103选用HC-SR04超声波测距模块。
显示模块104设置在车本体101上,用于显示摄像模块102拍摄到的第一路况图像。本实施例中,显示模块为一个TFT屏。
移动模块105用于驱动智能模型车100进行移动,该移动模块105包括双路电机驱动器50以及四个分别用于驱动相应车轮的直流电机。
本实施例中,双路电机驱动器51采用IRLR7943双路电机驱动模块,能够进行双路控制。当智能模型车100需要转向时,双路电机驱动器51就对位于智能模型车100两侧的直流单元进行差速控制,其中,左前电机51、左后电机52为一路,右前电机53、右后电机54 为一路。IRLR7943双路电机驱动模块的输出电压视控制模块107对其PWM控制参数的设置而定量变化。
电源模块106设置在车本体101上,用于提供电源。本实施例中,电源模块106为3节18650电池组,能够提供12V直流电源。
本实施例中,如图1所示,电源模块106与双路电机驱动器51 (IRLR7943双路电机驱动模块)直连,并间接通过直流可调降压模块与控制模块107电连接,直流可调降压模块将电源模块106输出的 12V直流电源降为7.5V。
无线通讯模块107设置在车本体101上,用于接收用户通过遥控器发送的控制指令数据。本实施例中,无线通讯模块107选用 NRF24L01无线通讯收发器。
语音识别模块108设置在车本体101上,用于采集用户的语音并对该语音进行识别生成相应的控制指令数据。语音识别模块108为 LD3320语音识别控制模块。
树莓派服务器109设置在车本体101上,具有一个正对车本体前方的摄像单元91。本实施例中,树莓派服务器109为Pi 3B+型树莓派,摄像单元91为树莓派专用的500万像素摄像头。
本实施例中,摄像单元91会采集车本体101前方的图像作为第二路况图像,随后树莓派服务器109基于TesronFlow进行机器学习识别图形,将最后决策数据串口输入给单片机110。
本实施例中,树莓派服务器109主要基于第二路况图像完成该图像中的交通标志(例如)以及交通信号(例如红灯信号、绿灯信号、转向灯信号等)的识别,并基于识别到的标志以及信号相应地生成控制指令数据。
本实施例中,控制指令数据为让单片机110对移动模块105进行相应控制使得智能模型车100做出相应的移动动作的指令数据,可以是例如前进、左右转、后退、停止等指令以及各个指令的持续时间等数据。
单片机110设置在车本体101上,用于进行分析处理并对摄像模块102、超声波测距模块103、显示模块104、移动模块105的工作进行控制。
本实施例中,控制模块107采用飞思卡尔MK60DN512Z单片机最小核心板(以下简称K60单片机),该K60单片机安装在一个接口扩展板上。
本实施例中,当无线通讯模块107、语音识别模块108、树莓派服务器109产生控制指令数据时,会发送一个串口中断信号给单片机 110,单片机110会根据该串口中断信号获取相应的控制指令数据。
图3是本发明实施例中单片机的结构框图。
如图3所示,单片机110包括任务信息存储部11、串口中断部 12、中断信号暂存部13、执行控制部14、检索判定部15、控制指令获取部16、图像获取部17、路况图像暂存部18、路径分析生成部19、避障判定部20以及用于控制上述各部的总控制部21。
其中,总控制部21中存储有用于对控制模块107的各个构成部件的工作进行控制的计算机程序。
任务信息存储部11存储有分别与树莓派服务器、语音识别模块与无线通信模块相对应的任务识别信息以及表示执行任务的处理优先级的优先级信息。
本实施例中,执行任务分别为对应无线通信模块107的远程控制任务、对应语音识别模块108的语音控制任务以及对应树莓派服务器 109的交通控制任务,执行控制部14能够基于这些执行任务控制相应的部件进行工作。其中,远程控制任务的优先级信息为优先级最高的第一优先级,语音控制任务的优先级信息为第二优先级,交通控制任务的优先级信息为优先级最低的第三优先级。
串口中断部12包含分别与各个任务识别信息相对应的多个串口单元。
本实施例中,单片机110通过串口单元分别与无线通讯模块107、语音识别模块108以及树莓派服务器109相连接,每当无线通讯模块 107、语音识别模块108、树莓派服务器109接收到(生成)控制指令数据时,就会通过串口单元向单片机110发送一个中断触发信号。
中断信号暂存部13用于对串口中断部12接收到的中断触发信号进行暂存。
执行控制部14用于对控制模块107中涉及功能执行的部件工作进行控制,具体对检索判定部15、控制指令获取部16、图像获取部 17、路况图像暂存部18、路径分析生成部19以及避障判定部20的工作进行控制。
检索判定部15用于对中断信号暂存部13进行检索并在检索到中断触发信号时,基于所有被检索到的中断触发信号以及在功能信息存储部81中存储的优先级信息与任务识别信息,判定出优先级最高的任务识别信息作为当前任务识别信息,从而完成一次任务判断处理。
一旦检索判定部15判定出当前任务识别信息,执行控制部14就基于该当前任务识别信息控制控制指令获取部16相应地从无线通讯模块107、语音识别模块108或树莓派服务器109中获取控制指令数据,并基于该控制指令数据控制移动模块105进行移动。
本实施例中,由于任务识别信息与串口单元相对应,因此控制指令获取部16可以基于与当前任务识别信息对应的串口单元相应地获取控制指令数据。
若检索判定部15没有在中断信号暂存部中检索到中断触发信号时,执行控制部14就控制图像获取部17从摄像模块102获取到最新采集的第一路况图像并作为当前路况图像暂存至路况图像暂存部18 中,并控制路径分析生成部19基于被暂存的当前路况图像分析移动路径并生成相应的控制指令数据,进一步基于该控制指令数据控制移动模块105进行移动。
本实施例中,路况图像暂存部18中仅存储有一个当前第一路况图像,在图像获取部17获取第一路况图像时,会依次采集每一行的像素行(第一路况图像由多个像素行构成),并逐行对路况图像暂存部18中原先暂存的当前第一路况图像的相应像素行进行更新直到所有的像素行都完成更新。
本实施例中,路径分析生成部19仅用于根据移动道路上的路线标识(例如道路左右的边界线),分析智能模型车的移动路线并生成相应的控制指令数据。
在执行控制部14控制移动模块105进行移动后,还控制避障判定部20获取超声波测距模块103检测到的检测距离并基于该检测距离判断是否进行避障移动。
本实施例中,避障判定部20包括避障控制信息存储单元以及障碍发生判定单元。其中,避障控制信息存储单元存储有用于控制智能模型车100绕开障碍物的避障控制信息。
当执行控制部14控制避障判定部20判断是否进行避障移动时,障碍发生判定单元就判定超声波测距模块103检测到的距离是否小于预定距离。本实施例中,预定距离优选为5cm。
进一步,一旦障碍发生判定单元判定距离小于预定距离,执行控制部14就控制移动模块105基于被存储的避障控制信息进行避障移动。若障碍发生判定单元判定距离不小于预定距离,执行控制部74 就不对移动模块105进行额外控制从而让移动模块105继续按原先方案进行移动。
当执行控制部14控制移动模块105完成了一次移动(即控制指令数据被执行完毕),执行控制部14就会控制检索判定部15再次进行任务判断处理。
图3是本发明实施例中智能模型车的整体控制流程图,
如图3所示,当智能模型车100被启动后,会同时启动树莓派服务器109以及单片机110,其中,树莓派服务器109在启动后会开始如下步骤:
步骤T1,通过摄像单元91采集车本体101前方的图像作为第二路况图像,然后进入步骤T2;
步骤T2,树莓派服务器109基于TesronFlow对步骤S1-1采集的第二路况图像进行机器学习识别从而生成控制指令数据,然后发送一个中断触发信号给单片机110并进入步骤S8。
本实施例中,在上述过程中,树莓派服务器109在发送中断触发信号后并等待单片机110获取控制指令数据时、以及单片机110获取到控制指令数据后,都会不断循环执行步骤T1至步骤T2并对暂存的控制指令数据进行更新。
与此同时,单片机110会开始如下步骤:
步骤S1,初始化单片机110的时钟频率,总线时钟频率为180MHz,然后进入步骤S2;
步骤S2,将摄像模块102(即摄像头)、超声波测距模块103、显示模块104(即TFT屏)、移动模块105(即电机)、无线通讯模块107 以及语音识别模块108进行初始化,然后进入步骤S3;
步骤S3,将控制模块107中分别对应无线通讯模块107、语音识别模块108、树莓派服务器109的三个串口单元(即UART 0号、 UART 1号和UART 2号收发串口)初始化,然后进入步骤S4;
步骤S4,执行控制部74控制检索判定部15用于对中断信号暂存部73进行检索并判定是否存在中断触发信号,若存在中断触发信号则进入步骤S5,若不存在则进入步骤S9;
步骤S5,检索判定部15在检索到中断触发信号时基于所有被检索到的中断触发信号以及在任务信息存储部11中存储的优先级信息与任务识别信息,判定出优先级最高的任务识别信息作为当前任务识别信息,若当前任务识别信息对应无线通讯模块107则进入步骤S6,若当前任务识别信息对应语音识别模块108则进入步骤S7,若当前执行功能名称对应树莓派服务器109则进入步骤S8;
步骤S6,执行控制部74控制指令获取部16通过UART 0号串口从无线通讯模块107中获取控制指令数据,并进入步骤S11;
步骤S7,执行控制部74控制指令获取部16通过UART 1号串口从语音识别模块108中获取控制指令数据,并进入步骤S11;
步骤S8,执行控制部74控制指令获取部16通过UART 2号串口从树莓派服务器109中获取控制指令数据,并进入步骤S11;
步骤S9,执行控制部74控制图像获取部17从摄像模块102获取到最新采集的第一路况图像并作为当前第一路况图像对路况图像暂存部18进行更新,然后进入步骤S10;
步骤S10,执行控制部74控制路径分析生成部19基于路况图像暂存部18中暂存的当前第一路况图像,分析智能模型车100的移动路径并生成相应的控制指令数据,然后进入步骤S11;
步骤S11,执行控制部74基于控制指令数据控制移动模块105 进行移动,然后进入步骤S12。
步骤S12,避障判定部20判定超声波测距模块103检测到的距离是否小于预定距离,并在判定距离小于预定距离时由执行控制部74 控制移动模块105进行避障移动,然后进入步骤S13;
步骤S13,执行控制部74将路况图像暂存部18中暂存的当前第一路况图像发送给显示模块104进行显示,然后进入步骤S4。
上述过程在智能模型车100启动时不断循环执行,直到智能模型车100被关闭后进入结束状态。
实施例作用与效果
根据本实施例提供的智能模型车,由于通过树莓派服务器采集图像并进行机器学习识别,因此可以实现对道路中各类交通信号标志 (例如红绿灯等)进行有效识别并生成相应的控制指令数据。进一步,在单片机中通过中断信号暂存部对串口中断部接收到的中断触发信息进行暂存,并通过检索判定部对中断触发信号以及相应的任务识别信息和优先级信息进行检索判定,使得执行控制部能够根据中断触发信号以及相应的优先级从无线通讯模块、语音识别模块以及树莓派服务器中获取控制指令数据,进一步基于该控制指令数据控制移动模块进行移动,因此,实现了让单片机仅采用单线程就能够完成小车的移动控制,并且在没有中断触发信号时,单片机还可以能够基于摄像模块获取的第一路况图像进行简单的路径分析,使得小车的移动控制不会因为树莓派服务器的处理速度不足而中断。通过本发明的智能模型车,使得智能模型车能够在选用了处理能力较差的控制芯片与微型服务器从而降低成本的同时,也能够保证小车可以有效地进行基于图像识别的自动行驶等丰富的功能。
另外,实施例中,由于第一路况图像由多个像素行组成,并且图像获取部会对路况图像暂存部中的当前路况图像进行逐行更新,因此能够以极低的计算资源完成对第一路况图像的获取,保证处理能力较差的单片机也能够完成路径分析。
实施例中,由于具有超声波测距模块,因此执行控制部在根据控制指令数据控制小车移动后,还可以再控制避障判定部基于超声波测距模块检测到的检测距离判断是否需要进行避障移动,使得小车能够智能地规避道路上的障碍物。另外,在实际应用中,还由于单片机每一次循环所耗费的时间都很短(一般在10毫秒左右),因此执行控制部每一次获取到控制指令数据并控制小车进行移动的相应距离也不会很长(一般不会超过1毫米),因此即使单片机单线程地在控制小车移动后再进行避障检测,也不会导致小车发生碰撞,实现了通过处理能力较差的控制芯片实现避障控制的功能。
上述实施例仅用于举例说明本发明的具体实施方式,而本发明不限于上述实施例的描述范围。
Claims (6)
1.一种智能模型车,其特征在于,包括:
车本体;
移动模块,设置在所述车本体上,用于驱动所述车本体进行移动;
摄像模块,设置在所述车本体上并正对所述车本体的前方,用于进行实时拍摄从而采集所述车本体前方的第一路况图像;
树莓派服务器,设置在所述车本体上并具有一个正对所述车本体前方的摄像单元,用于通过所述摄像单元采集所述车本体前方的第二路况图像,并基于TesronFlow对该第二路况图像进行机器学习识别,进一步生成用于控制所述车本体移动的控制指令数据,
语音识别模块,用于接收所述使用者的语音指令并生成相应用于控制所述车本体移动的控制指令数据;
无线通讯模块,用于接收使用者通过遥控器发送的用于控制所述车本体移动的控制指令数据;以及
单片机,设置在所述车本体上,分别与所述移动模块、所述摄像模块、所述树莓派服务器、所述语音识别模块以及所述无线通讯模块相连接,
其中,所述单片机包括任务信息存储部、串口中断部、中断信号暂存部、执行控制部、检索判定部、控制指令获取部、图像获取部、路况图像暂存部以及路径分析生成部,
所述任务信息存储部存储有分别与所述树莓派服务器、所述语音识别模块与所述无线通信模块相对应的任务识别信息以及表示所述执行任务的处理优先级的优先级信息,
所述串口中断部包含分别与各个所述任务识别信息相对应的多个串口单元,
所述串口单元分别用于接收所述无线通信模块、所述语音识别模块与所述树莓派服务器发送的中断触发信号并由所述中断信号暂存部将该中断触发信号与相应的所述任务识别信息进行对应暂存,
所述执行控制部控制所述检索判定部对所述中断信号暂存部进行检索并在检索到所述中断触发信号时,基于所有被检索到的所述中断触发信号以及被存储的所述优先级信息判定出优先级最高的所述任务识别信息作为当前任务识别信息从而完成任务判定处理,
一旦所述检索判定部判定出的所述当前任务识别信息对应所述树莓派服务器的所述执行任务,所述执行控制部就控制所述控制指令获取部从所述树莓派服务器中获取所述控制指令数据,并基于该控制指令数据控制所述移动模块进行所述移动,
一旦所述检索判定部判定出的所述当前任务识别信息对应所述语音识别模块的所述执行任务,所述执行控制部就控制所述控制指令获取部从所述语音识别模块中获取所述控制指令数据,并基于该控制指令数据控制所述移动模块进行所述移动,
一旦所述检索判定部判定出的所述当前任务识别信息对应所述无线通讯模块的所述执行任务,所述执行控制部就控制所述控制指令获取部从所述无线通讯模块中获取所述控制指令数据,并基于该控制指令数据控制所述移动模块进行所述移动,
当所述检索判定部没有在所述中断信号暂存部中检索到所述中断触发信号时,所述执行控制部就控制所述图像获取部从所述摄像模块获取到最新采集的第一路况图像并作为当前路况图像暂存至所述路况图像暂存部中,并控制所述路径分析生成部基于被暂存的所述当前路况图像分析移动路径并生成相应的控制指令数据,进一步基于该控制指令数据控制所述移动模块进行所述移动。
一旦结束所述移动,所述执行控制部就再次控制所述检索判定部进行所述任务判定处理。
2.根据权利要求1所述的智能模型车,其特征在于:
其中,所述第一路况图像由多个像素行组成,
所述图像获取部在获取所述第一路况图像并作为当前路况图像对路况图像暂存部进行更新时,依次采集每一行的所述像素行并对所述路况图像暂存部中原先暂存的所述当前路况图像的相应像素行进行更新直到所有的所述像素行都完成更新。
3.根据权利要求1所述的智能模型车,其特征在于,还包括:
超声波测距模块,设置在所述车本体的前方并与所述单片机相连接,用于检测所述智能模型车与前方障碍物之间的检测距离,
其中,所述单片机还包括避障判定部,
在所述执行控制部控制所述移动模块进行所述移动后,还控制所述避障判定部获取所述检测距离并基于该检测距离判断是否进行避障移动,
所述避障判定部包括避障控制信息存储单元以及障碍发生判定单元,
所述避障控制信息存储有用于控制所述车本体绕开所述障碍物的避障控制信息,
所述障碍发生判定单元用于判定所述检测距离是否小于预定距离,
一旦所述障碍发生判定单元判定所述距离小于预定距离,所述执行控制部就基于被存储的所述避障控制信息控制所述移动模块进行所述避障移动。
4.根据权利要求1所述的智能模型车,其特征在于:
其中,所述树莓派服务器基于所述TesronFlow识别出所述第二路况图像中的交通标志以及交通信号,并基于所述交通标志以及所述交通信号生成相应的所述控制指令数据,
所述交通信号为红灯信号、绿灯信号、转向灯信号中的任意一种。
5.根据权利要求1所述的智能模型车,其特征在于:
其中,所述执行任务分别为对应所述树莓派服务器的交通控制任务、对应所述语音识别模块的语音控制任务以及对应所述无线通信模块的远程控制任务,
所述远程控制任务的优先级信息为优先级最高的第一优先级,
所述语音控制任务的优先级信息为第二优先级,
所述交通控制任务的优先级信息为第三优先级。
6.根据权利要求1所述的智能模型车,其特征在于:
其中,所述移动模块包括双路电机驱动器以及四个分别用于驱动相应车轮的直流电机,
所述双路电机驱动单元基于所述移动控制信息分别向各个所述直流电机输出相应的控制电压从而进行所述移动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010311236.2A CN111506067A (zh) | 2020-04-20 | 2020-04-20 | 智能模型车 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010311236.2A CN111506067A (zh) | 2020-04-20 | 2020-04-20 | 智能模型车 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111506067A true CN111506067A (zh) | 2020-08-07 |
Family
ID=71864044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010311236.2A Pending CN111506067A (zh) | 2020-04-20 | 2020-04-20 | 智能模型车 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111506067A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112255630A (zh) * | 2020-11-06 | 2021-01-22 | 上海电子信息职业技术学院 | 多功能模型车 |
CN115016497A (zh) * | 2022-07-04 | 2022-09-06 | 北京九星智元科技有限公司 | 一种智能小车控制系统及控制方法 |
CN115384657A (zh) * | 2022-09-16 | 2022-11-25 | 中国民航大学 | 一种基于激光定位的智能机器人 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007295045A (ja) * | 2006-04-20 | 2007-11-08 | Matsushita Electric Ind Co Ltd | Avシステム、音声制御装置、音声映像制御装置および音声制御方法 |
CN102693193A (zh) * | 2012-04-26 | 2012-09-26 | 重庆重邮信科通信技术有限公司 | 中断辅助处理装置、实时系统及中断处理方法 |
CN103064377A (zh) * | 2012-12-20 | 2013-04-24 | 南京航空航天大学 | 一种3g警用移动机器人双余度控制系统 |
CN104021106A (zh) * | 2014-06-19 | 2014-09-03 | 哈尔滨工业大学 | 基于fpga的dsp中断扩展逻辑系统及中断扩展方法 |
CN106389078A (zh) * | 2016-11-24 | 2017-02-15 | 贵州大学 | 一种智能导盲眼镜系统及其导盲方法 |
CN107242964A (zh) * | 2017-07-21 | 2017-10-13 | 西安电子科技大学 | 基于深度学习的导盲系统及工作方法 |
CN108408009A (zh) * | 2018-05-13 | 2018-08-17 | 上海海洋大学 | 一种基于树莓派Raspberry Pi控制器的智能水下航行器 |
CN109514566A (zh) * | 2018-11-07 | 2019-03-26 | 杭州电子科技大学 | 一种基于树莓派的智能监控机器人 |
CN109709963A (zh) * | 2018-12-29 | 2019-05-03 | 百度在线网络技术(北京)有限公司 | 无人驾驶控制器及无人驾驶车辆 |
CN109901595A (zh) * | 2019-04-16 | 2019-06-18 | 山东大学 | 一种基于单目摄像头和树莓派的自动驾驶系统及方法 |
CN110471411A (zh) * | 2019-07-26 | 2019-11-19 | 华为技术有限公司 | 自动驾驶方法和自动驾驶装置 |
CN110598637A (zh) * | 2019-09-12 | 2019-12-20 | 齐鲁工业大学 | 一种基于视觉及深度学习的无人驾驶系统及方法 |
-
2020
- 2020-04-20 CN CN202010311236.2A patent/CN111506067A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007295045A (ja) * | 2006-04-20 | 2007-11-08 | Matsushita Electric Ind Co Ltd | Avシステム、音声制御装置、音声映像制御装置および音声制御方法 |
CN102693193A (zh) * | 2012-04-26 | 2012-09-26 | 重庆重邮信科通信技术有限公司 | 中断辅助处理装置、实时系统及中断处理方法 |
CN103064377A (zh) * | 2012-12-20 | 2013-04-24 | 南京航空航天大学 | 一种3g警用移动机器人双余度控制系统 |
CN104021106A (zh) * | 2014-06-19 | 2014-09-03 | 哈尔滨工业大学 | 基于fpga的dsp中断扩展逻辑系统及中断扩展方法 |
CN106389078A (zh) * | 2016-11-24 | 2017-02-15 | 贵州大学 | 一种智能导盲眼镜系统及其导盲方法 |
CN107242964A (zh) * | 2017-07-21 | 2017-10-13 | 西安电子科技大学 | 基于深度学习的导盲系统及工作方法 |
CN108408009A (zh) * | 2018-05-13 | 2018-08-17 | 上海海洋大学 | 一种基于树莓派Raspberry Pi控制器的智能水下航行器 |
CN109514566A (zh) * | 2018-11-07 | 2019-03-26 | 杭州电子科技大学 | 一种基于树莓派的智能监控机器人 |
CN109709963A (zh) * | 2018-12-29 | 2019-05-03 | 百度在线网络技术(北京)有限公司 | 无人驾驶控制器及无人驾驶车辆 |
CN109901595A (zh) * | 2019-04-16 | 2019-06-18 | 山东大学 | 一种基于单目摄像头和树莓派的自动驾驶系统及方法 |
CN110471411A (zh) * | 2019-07-26 | 2019-11-19 | 华为技术有限公司 | 自动驾驶方法和自动驾驶装置 |
CN110598637A (zh) * | 2019-09-12 | 2019-12-20 | 齐鲁工业大学 | 一种基于视觉及深度学习的无人驾驶系统及方法 |
Non-Patent Citations (3)
Title |
---|
SHINDE P A,ET AL.: "Advanced vehicle monitoring and tracking system based on raspberry Pi", 《2015 IEEE 9TH ISCO》 * |
张怡等: "基于STM32的智能坦克车系统研究", 《电子设计工程》 * |
熊旋锦等: "基于深度学习的交通标志识别智能车的设计与实现", 《自动化与仪表》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112255630A (zh) * | 2020-11-06 | 2021-01-22 | 上海电子信息职业技术学院 | 多功能模型车 |
CN115016497A (zh) * | 2022-07-04 | 2022-09-06 | 北京九星智元科技有限公司 | 一种智能小车控制系统及控制方法 |
CN115384657A (zh) * | 2022-09-16 | 2022-11-25 | 中国民航大学 | 一种基于激光定位的智能机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111506067A (zh) | 智能模型车 | |
JP7334213B2 (ja) | 自動駐車方法、自動駐車装置、電子機器、記憶媒体及びコンピュータプログラム | |
KR102043060B1 (ko) | 자율 주행 장치 및 이를 구비한 차량 | |
CN105691299B (zh) | 车辆驾驶辅助装置及车辆 | |
US9919611B2 (en) | Vehicle charge assistance device and vehicle including the same | |
US11250279B2 (en) | Generative adversarial network models for small roadway object detection | |
CN113212498A (zh) | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 | |
CN113561963A (zh) | 一种泊车方法、装置及车辆 | |
CN113228135A (zh) | 一种盲区图像获取方法及相关终端装置 | |
CN112224198A (zh) | 车位泊出方法、装置、车辆及存储介质 | |
US20220335728A1 (en) | Electronic device, method, and computer readable storage medium for detection of vehicle appearance | |
KR20160148394A (ko) | 자율 주행 차량 | |
CN214201769U (zh) | 多功能模型车 | |
JP7433146B2 (ja) | 物体検出方法及び物体検出装置 | |
US11809187B2 (en) | Mobile object, control method of mobile object, control device and program | |
KR20160148395A (ko) | 자율 주행 차량 | |
CN109697876B (zh) | 用于提供车辆信息的方法、装置、设备和存储介质 | |
CN111359232B (zh) | 一种智能模型车 | |
CN111216636A (zh) | 行驶控制装置、控制方法以及存储程序的存储介质 | |
KR101872477B1 (ko) | 차량 | |
CN115179863A (zh) | 移动体的控制装置及控制方法、存储介质以及车辆 | |
US11043126B2 (en) | Vehicle, vehicle control method, and vehicle control program | |
CN112255630A (zh) | 多功能模型车 | |
CN113135179A (zh) | 泊车检测方法、装置、设备、系统及存储介质 | |
KR20160131580A (ko) | 어라운드 뷰 제공장치 및 이를 구비한 차량 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200807 |
|
RJ01 | Rejection of invention patent application after publication |