CN108107897B - 实时传感器控制方法及装置 - Google Patents

实时传感器控制方法及装置 Download PDF

Info

Publication number
CN108107897B
CN108107897B CN201810025963.5A CN201810025963A CN108107897B CN 108107897 B CN108107897 B CN 108107897B CN 201810025963 A CN201810025963 A CN 201810025963A CN 108107897 B CN108107897 B CN 108107897B
Authority
CN
China
Prior art keywords
angle
sensor
current position
determining
vision sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810025963.5A
Other languages
English (en)
Other versions
CN108107897A (zh
Inventor
蔡少骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uisee Technologies Beijing Co Ltd
Original Assignee
Uisee Technologies Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uisee Technologies Beijing Co Ltd filed Critical Uisee Technologies Beijing Co Ltd
Priority to CN201810025963.5A priority Critical patent/CN108107897B/zh
Publication of CN108107897A publication Critical patent/CN108107897A/zh
Application granted granted Critical
Publication of CN108107897B publication Critical patent/CN108107897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种实时传感器控制方法及装置。属于增强感知定位技术领域。该方法应用于智能设备,所述智能设备上设置有视觉传感器,所述方法包括:获取所述视觉传感器在路网中的当前位置;确定所述视觉传感器在所述当前位置的旋转方式以便控制所述视觉传感器的旋转。进一步的,本公开还提供了一种自动驾驶控制方法、视觉传感器及智能设备、电子设备和计算机可读存储介质。

Description

实时传感器控制方法及装置
技术领域
本公开涉及增强感知定位技术领域,具体而言,涉及一种实时传感器控制方法、自动驾驶控制方法、实时传感器控制装置、视觉传感器、智能设备、电子设备和计算机可读存储介质。
背景技术
现有的视觉地图定位方法中,由于受限于相机的视野,导致在线定位的时候由于相机观测到的地图点过少,或者质量较低,从而导致定位质量差或者失败。
因此,需要一种新的实时传感器控制方法、自动驾驶控制方法、实时传感器控制装置、视觉传感器、智能设备、电子设备和计算机可读存储介质。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种实时传感器控制方法、自动驾驶控制方法、实时传感器控制装置、视觉传感器、智能设备、电子设备和计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本公开的其他特性和优点将通过下面的详细描述变得清晰,或者部分地通过本公开的实践而习得。
根据本公开实施例的第一方面,提供一种实时传感器控制方法,应用于智能设备,所述智能设备上设置有视觉传感器,所述方法包括:获取所述视觉传感器在路网中的当前位置;确定所述视觉传感器在所述当前位置的旋转方式以便控制所述视觉传感器的旋转。
在本公开的一种示例性实施例中,所述方法还包括:根据所述旋转方式控制所述视觉传感器的旋转。
在本公开的一种示例性实施例中,所述获取所述视觉传感器在路网中的当前位置,包括:根据预置的特征点地图和所述视觉传感器采集的当前图像中的特征点之间的对应关系,获得所述视觉传感器的当前位姿;根据所述路网和所述当前位姿,获得所述视觉传感器的所述当前位置。
在本公开的一种示例性实施例中,所述确定所述视觉传感器在所述当前位置的旋转方式,包括:确定所述视觉传感器在所述当前位置的最优视野角度;通过所述最优视野角度确定所述视觉传感器的旋转方式。
在本公开的一种示例性实施例中,所述确定所述视觉传感器在所述当前位置的最优视野角度,包括:根据所述视觉传感器的所述当前位置以及路网信息,确定所述视觉传感器的最优视野角度;和/或根据所述智能设备在所述当前位置的横向控制量,确定所述视觉传感器的最优视野角度。
在本公开的一种示例性实施例中,所述确定所述视觉传感器在所述当前位置的最优视野角度,包括:根据所述当前位置、预置的特征点地图以及所述视觉传感器的当前位姿,遍历模拟所述视觉传感器在所述当前位置的各个角度下能够获得的特征点;计算各个角度下的特征点总得分;确定满足预设条件的特征点总得分对应的角度为所述最优视野角度。
在本公开的一种示例性实施例中,所述计算各个角度下的特征点总得分,包括:获得各个角度下的各个特征点得分;统计各个角度下的各个特征点得分获得各个角度下的特征点总得分。
在本公开的一种示例性实施例中,所述获得各个角度下的各个特征点得分,包括:统计各个角度下的特征点数量;计算各个角度下的每一个特征点的显著性得分;根据所述特征点数量和所述显著性得分获得各个角度下对应的特征点得分。
在本公开的一种示例性实施例中,所述特征点的显著性得分是由以下至少一个获得:所述特征点的特征响应值,所述特征点的三维空间位置和所述视觉传感器之间的距离,所述特征点的三维空间位置和所述视觉传感器之间的视角。
在本公开的一种示例性实施例中,所述视觉传感器包括一个或者多个相机。
根据本公开实施例的第二方面,提供一种自动驾驶控制方法,包括如上述发明实施例中任意一项所述的实时传感器控制方法。
根据本公开实施例的第三方面,提供一种实时传感器控制装置,包括:当前位置获取模块,用于获取视觉传感器在路网中的当前位置;旋转方式确定模块,用于确定所述视觉传感器在所述当前位置的旋转方式以便控制所述视觉传感器的旋转。
在本公开的一种示例性实施例中,所述实时传感器控制装置还包括:旋转控制模块,用于根据所述旋转方式控制所述视觉传感器的旋转。
根据本公开实施例的第四方面,提供一种视觉传感器,所述视觉传感器根据上述发明实施例中所述的实时传感器控制方法控制其旋转。
在本公开的一种示例性实施例中,所述视觉传感器包括单目、双目、多目相机中的任意一种。
根据本公开实施例的第五方面,提供一种智能设备,所述智能设备上设置有如上述发明实施例中所述的视觉传感器。
在本公开的一种示例性实施例中,所述智能设备包括智能驾驶车辆。
在本公开的一种示例性实施例中,所述视觉传感器设置于所述智能智能驾驶车辆的车顶正中央上方,且朝向后方。
根据本公开实施例的第六方面,提供一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述发明实施例中任一所述的实时传感器控制方法。
根据本公开实施例的第七方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述发明实施例中任一所述的实时传感器控制方法。
本公开的一种实施例中的技术方案可以实现通过旋转视觉传感器获取基于当前位置的最优视野角度,从而能够实时的获得足够特征点数量以及特征点质量较高的图像,以利于后续视觉地图的建立。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中一种实时传感器控制方法的流程图。
图2示出本公开示例性实施例中另一种实时传感器控制方法的流程图。
图3示出本公开示例性实施例中一种实时传感器控制装置的框图。
图4示出本公开示例性实施例中一种电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出本公开示例性实施例中一种实时传感器控制方法的流程图。该传感器控制方法可以应用于智能设备,所述智能设备上设置有视觉传感器。
本发明实施例中,所述视觉传感器包括但不限于具有探测识别功能的摄像头和没有探测识别功能的摄像头。前者的模块内部自带软件,对图像中的目标进行提取和处理,获得目标的位置和移动信息。例如,带目标识别功能的广角摄像头是具有探测识别功能的视觉传感器中的一种。没有探测识别功能的摄像头,只会记录和传输拍摄所得的图像用于后续处理。
在示例性实施例中,所述视觉传感器可以包括一个或者多个相机。但本公开并不限定于此。
在示例性实施例中,所述相机可以是单目、双目或者多目相机。但本公开并不限定于此,只要是具有有限感知角度的传感器都可以应用于本公开。
其中,当所述智能设备为智能驾驶车辆时,本发明实施例中的所述视觉传感器为车载摄像头,所述车载摄像头可以为单目摄像头、双目摄像头或更多摄像头的组合,单个摄像头可采用常规镜头、广角镜头、长焦镜头或变焦镜头等,摄像头传感器可为CCD(Charge-coupled Device,电耦合元件)或CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)等传感器,摄像头类型可为多色摄像头(比如RGB彩色摄像头)或单色摄像头(比如黑白摄像头、红外摄像头、R/G/B单色摄像头)等,在此摄像头的具体形式不作为对本发明实施方式的限制。
在示例性实施例中,所述智能设备例如可以是无人机、扫地机器人、智能驾驶车辆等。需要说明的是,本公开的方案可以应用在任何自主运动平台上。
其中,智能驾驶车辆在行驶过程中可以通过各种相机进行建图和定位。本发明实施例中的所述智能设备为智能驾驶车辆时,可以在该智能驾驶车辆上,前方和后方同时设置相机,让前方的相机保持不变,后方的相机是一个可旋转相机。
如图1所示,所述方法可以包括以下步骤。
在步骤S110中,获取所述视觉传感器在路网中的当前位置。
在示例性实施例中,所述获取所述视觉传感器在路网中的当前位置,可以包括:根据预置的特征点地图和所述视觉传感器采集的当前图像中的特征点之间的对应关系,获得所述视觉传感器的当前位姿;根据所述路网和所述当前位姿,获得所述视觉传感器的所述当前位置。
本发明实施例中,所述路网就是地图,包括路的转弯角度等路况信息和/或车转弯角度等车的运行状况。
在步骤S120中,确定所述视觉传感器在所述当前位置的旋转方式以便控制所述视觉传感器的旋转。
在示例性实施例中,所述方法还可以包括:根据所述旋转方式控制所述视觉传感器的旋转。
在示例性实施例中,所述确定所述视觉传感器在所述当前位置的旋转方式,可以包括:确定所述视觉传感器在所述当前位置的最优视野角度;通过所述最优视野角度确定所述视觉传感器的旋转方式。
需要说明的是,在具体的一个当前位置而言,当可旋转的视觉传感器正对着行驶的道路即为最优视野。其中,所述智能设备的行驶速度、何处转弯、转弯量大小、行驶路线、视觉传感器的旋转速度等信息均是已知的,由智能设备的控制系统预先设置好的。
在示例性实施例中,所述确定所述视觉传感器在所述当前位置的最优视野角度,可以包括:根据所述视觉传感器的所述当前位置以及路网信息,确定所述视觉传感器的最优视野角度;和/或根据所述智能设备在所述当前位置的横向控制量(也可以称之为转弯控制量),确定所述视觉传感器的最优视野角度。
在一实施例中,可以根据视觉传感器例如相机在路网中的当前位置,并结合路网信息(这里的路网是指预先制定好的车辆行驶的路径,路径由一系列节点构成,每个节点基本信息为经纬度坐标,额外还可以包括换道信息等),对相机角度进行判断,在哪种角度下相机获得的视野范围最优,从而确定相机的旋转角度。可选的,每个路网节点对应的最优相机旋转角度可以离线计算出来,使得相机在该节点获得最优视野角度。最优视野角度可以综合考虑相机在该视野角度下观测到道路图像的特征点数量和质量。
在另一实施例中,智能设备例如智能驾驶车辆在行驶过程中会不断的产生驾驶决策,从而产生车辆拐弯的控制量,称之为横向控制量,相机角度的旋转角度可以根据该智能驾驶车辆的转弯控制量来决定。
在又一实施例中,可以根据视觉传感器在路网中的当前位置,同时结合路网信息和该智能驾驶车辆的横向控制量一起确定所述视觉传感器的最优视野角度。
在示例性实施例中,所述确定所述视觉传感器在所述当前位置的最优视野角度,可以包括:根据所述当前位置、预置的特征点地图以及所述视觉传感器的当前位姿,遍历模拟所述视觉传感器在所述当前位置的各个角度下能够获得的特征点;计算各个角度下的特征点总得分;确定满足预设条件的特征点总得分对应的角度为所述最优视野角度。
本发明实施例中,在当前路网位置,由于特征点地图已经预先建好,并且已知相机的当前位姿和视野角度,因此可以在计算机中遍历模拟旋转相机在各个角度下能够获得的特征点,如果在某个角度下使得相机能够获得的特征点总分最高,且最低值不低于某个阈值,由此判断当前角度为最优视野角度,相应的获得相机的最优旋转角度。
需要说明的是,本发明实施例中,图像的特征点可以理解为图像中比较显著的点,如轮廓点,较暗区域中的亮点,较亮区域中的暗点等。地图点基本等同于特征点,为图像中纹理较为显著的区域,例如边缘点或角点。但是地图点一般还包含特征点在三维空间中的坐标。
本发明实施例中,所述特征点采用任何特征描述子均可,不限于ORB,例如SIFT,SURF。但是ORB较好的平衡了实时性和准确性,因此实用价值很高。可以通过卷积神经网络识别并选择采集到的图像的特征点。
在示例性实施例中,所述计算各个角度下的特征点总得分,可以包括:获得各个角度下的各个特征点得分;统计各个角度下的各个特征点得分获得各个角度下的特征点总得分。
在示例性实施例中,所述获得各个角度下的各个特征点得分,可以包括:统计各个角度下的特征点数量;计算各个角度下的每一个特征点的显著性得分;根据所述特征点数量和所述显著性得分获得各个角度下对应的特征点得分。
在示例性实施例中,所述特征点的显著性得分是由以下至少一个获得:所述特征点的特征响应值,所述特征点的三维空间位置和所述视觉传感器之间的距离,所述特征点的三维空间位置和所述视觉传感器之间的视角。
其中,特征点总得分可以根据以下两点进行计算:当前帧里的特征点的总数;当前帧每一个特征点的显著性得分。特征点的显著性得分可以由特征点本身的特征响应值、和距离的远近、视角等几个因素共同决定。
本发明实施例中,计算所述特征点的特征响应值,可以通过计算当前像素与其周围像素的差,差值越大则认为越显著。但本公开并不限定于此。
下面以所述智能设备为智能驾驶车辆、所述视觉传感器为设置在该智能驾驶车辆上的相机为例进行举例说明。
该智能驾驶车辆包括车本体和安装于车本体内部的智能驾驶系统,所述车本体包括车行驶系统;所述智能驾驶系统包括多个感知定位系统和控制系统,所述控制系统的输入端与感知定位系统相连,输出端与车行驶系统相连。所述感知定位系统设置在智能驾驶车辆本体上,用于采集智能驾驶车辆的位置、周围路况环境等信息,并将采集到的信息输入到控制系统,控制系统进行信息处理并输出控制信息到车上的车辆行驶系统,智能驾驶车辆执行相应的自动行驶任务。
可选地,上述的控制系统或控制器可以采用现有技术中的车用ECU(ElectronicControl Unit,电子控制单元),也可以采用GPU(Graphics Processing Unit,图形处理器)或FPGA(Field-Programmable Gate Array,即现场可编程门阵列)等其他计算单元。
现有技术中,不管是单目摄像头还是双目深度摄像头,都需要在固定安装摄像头并确定俯仰角、焦距等摄像头技术参数后对摄像头进行各种标定,并生成对应的标定参数,以在后续的行驶过程中通过标定参数还原图像中的道路和车辆的真正物理关系。但是,由于摄像头安装位置和角度固定,摄像头的视角有限,导致在实际应用中大多只能处理道路在车辆正前方的情况,当车辆在曲率较大的弯道上行驶时,摄像头将会失去检测目标,从而不能知道车辆跟随道路中心行驶。
图2示出本公开示例性实施例中另一种传感器控制方法的流程图。
如图2所示,该传感器控制方法可以包括以下步骤。
在步骤S210中,根据预置的特征点地图和所述视觉传感器采集的当前图像中的特征点之间的对应关系,获得所述视觉传感器的当前位姿。
本发明实施例中,首先获取自主定位信息。根据预先建好的特征点地图(这里指的就是视觉地图,可以通过SLAM(simultaneous localization and mapping,即时定位与地图构建,或并发建图与定位)的方式建立),和当前图像中的特征点(指图像中纹理较为显著的位置,例如边缘,角点灯,一般可以通过特征提取算法进行提取)对应关系,获得相机(这里及下文中的相机均是指可旋转相机)的位姿。
本发明实施例中,位姿是指相机在世界坐标系的6自由度表示,包括位置(x,y,z)和角度(yaw,pitch,roll)。
在步骤S220中,根据所述路网和所述当前位姿,获得所述视觉传感器的所述当前位置。
接着,获得相机在路网中的当前位置。根据预先建好的路网,和相机的定位位姿,获得相机处于路网中的节点位置作为其当前位置。这里的节点位置是节点在世界坐标系下的坐标,根据之前计算出的相机位姿,可以找出离相机最近的路网节点。
这里的路网指预先制定好的车辆行驶的路径,路径由一系列节点构成,每个节点基本信息为经纬度坐标,额外还包括换道信息等。
需要说明的是,本发明实施例中的智能驾驶是一个广泛概念,可以包括人机共驾,指在某些路段上由人驾驶而在某些路段上由汽车自动驾驶,需要人驾驶的情况越少则自动驾驶的程度越高。也可以包括不需要司机,完全由汽车来实现驾驶出行。高精度地图是实现智能驾驶大规模部署的必要技术之一。即使对高度自动驾驶,高精度地图也是不可或缺的技术。由于高精度地图包含了丰富的道路交通信息元素,跟普通的导航电子地图相比,高精度地图不仅能提供高精度的地理位置坐标,还能描述准确的道路形状、车道的数目、各车道的坡度、曲率、航向、侧倾等。这些丰富的信息和相关定位技术的结合可以确保智能驾驶的安全性和良好的乘坐体验。
在步骤S230中,确定所述视觉传感器在所述当前位置的最优视野角度。
本发明实施例中,可以根据相机的当前位置,计算出相机最优的角度变化,使得相机的视野尽可能覆盖更多高质量的特征点,从而达到提高定位鲁棒性的效果。
其中,最优视野综合考虑相机在该视角下观测到的特征点数量和质量。由于相机底部云台的旋转需要一定的时间,因此这里定义一种最优的旋转,使得相机未来一段时间内包含的特征点的总分平均数最高,且最低值不能低于某个阈值。其中,这里每一帧观测到的特征点得分可以由如下两点计算:当前帧里的特征点的个数;当前帧每一个特征点的显著性得分。
具体的,特征点的显著性得分可以由特征点本身的特征响应值(即特征是否显著)、和距离的远近(这里的距离是特征点的三维空间位置和相机的距离)、视角(是特征点三维位置与相机光心的连线和相机光轴的夹角)几个因素共同决定(例如通过加权平均决定)。最优视野可以根据特征点总得分获得。
需要说明的是,上述获得相机的最优视野的过程中,需要考虑到智能驾驶车辆当前位置的坡度、曲率等,以及该智能驾驶车辆的行驶方向、车速、车的角度、车和相机之间的角度等等,以及相机当前位置的位姿,这些信息均可以从路网节点得到。另一方面,当通过云台旋转来实现相机的旋转时,这里假定云台的旋转速率是不予考虑的。
在步骤S240中,通过所述最优视野角度确定所述视觉传感器的旋转方式。
进一步的,为了防止云台和/或相机频繁移动,影响云台使用寿命和相机检测的稳定性,在本发明的实施例中,相机的最优视野是一个具有一定宽度的范围区域。理想情况下,车道线的中心线与图像/视野范围的中心线重合当然是最有利于车辆控制的方式,但这会给系统控制带来极大的压力,因此并不强制要求两中心重合,只要车道线的中心线位于图像/视野范围的中心线附近的一定区域内即可接受。故在本发明的实施例中,设置有一中心区域的范围阈值,在车道线中心线与图像/视野范围的中心线的距离和/或角度的偏差在该范围阈值内时,即认为车道线的中心线位于图像/视野范围的中心区域,此时无需进行或可以结束对相机位置和/或角度的调整;仅当车道线中心线与图像/视野范围的中心线的距离或角度的偏差超出该范围阈值时,才开始执行相机的调整操作。
在步骤S250中,根据所述视觉传感器的旋转方式控制所述视觉传感器的旋转。
可选地,所述相机设置在智能驾驶车辆的顶部、尾部、内后视镜处、外后视镜处或任意可能的安装位置,以使所述相机的视野范围内至少包括部分道路情况。本发明实施例中的相机可自动调整其角度,可选地,通过可受程序控制的驱动部件,比如电动马达等来自动调整所述相机的角度。在本发明的一个实施例中,所述相机安装在云台上,所述云台可微调所述相机的旋转调整所述相机的角度。
本发明实施例中,其中所述相机安装在云台上,所述相机用于实时采集当前视野范围内的图像,所述相机与存储器及一个或多个处理器通信连接,所述存储器存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器能够实现本发明实施例中所述的实时传感器控制方法;所述云台与所述一个或多个处理器耦接,根据旋转控制信号驱动调整所述相机的角度。
在本发明的一个实施例中,所述相机为防抖摄像头。在本发明的另一个实施例中,所述云台设有稳定器,可保持所述摄像头在车辆行驶和/或调整过程中的稳定性,比如可减震和/或可保持所述摄像头的动态平衡。此外,对于具有变焦能力的摄像头,还可通过对摄像头焦距/放大倍数的调整,使得车道线的中心线位于摄像头视野范围的中心区域。
在一些实施例中,可进行在线计算与离线计算的结合。例如,在针对固定路网的情况,可以在路网中指定好(自动计算或人工计算)在每个节点相机的最优角度,在后续过程中,可直接根据计算好的角度去旋转相机。
本发明实施方式提供的实时传感器控制方法,通过控制相机的旋转角度,从而保证相机实时的处于最优的视野,从而提高定位的质量和成功率。
进一步的,本公开实施方式还提供一种自动驾驶控制方法,包括如上述发明实施例中任意一项所述的实时传感器控制方法。
智能驾驶车辆在行驶过程中可以通过各种相机进行建图和定位。本发明提供一种智能驾驶车辆,在该智能驾驶车辆上,前方和后方同时拥有相机,前方的相机保持不变,后方的相机是一个可旋转相机。在此技术上,本发明实施方式提供一种通过利用旋转相机的方法使得智能驾驶车辆在行驶过程中可以实时的保持最优视野,从而获得更好的定位效果。
图3示出本公开示例性实施例中一种实时传感器控制装置的框图。
如图3所示,该实时传感器控制装置100可以包括当前位置获取模块110以及旋转方式确定模块120。
其中,当前位置获取模块110可以用于获取视觉传感器在路网中的当前位置。
在示例性实施例中,所述视觉传感器可以包括一个或者多个相机。
在示例性实施例中,当前位置获取模块110可以包括当前位姿确定单元和当前位置获取单元。其中,所述当前位姿确定单元可以用于根据预置的特征点地图和所述视觉传感器采集的当前图像中的特征点之间的对应关系,获得所述视觉传感器的当前位姿。所述当前位置获取单元可以用于根据所述路网和所述当前位姿,获得所述视觉传感器的所述当前位置。
旋转方式确定模块120可以用于确定所述视觉传感器在所述当前位置的旋转方式以便控制所述视觉传感器的旋转。
在示例性实施例中,所述实时的传感器控制装置100还可以包括:旋转控制模块,用于根据所述旋转方式控制所述视觉传感器的旋转。
在示例性实施例中,旋转方式确定模块120可以包括最优视野确定子模块和旋转方式确定子模块。其中,所述最优视野确定子模块可以用于确定所述视觉传感器在所述当前位置的最优视野角度。所述旋转方式确定子模块可以用于通过所述最优视野角度确定所述视觉传感器的旋转方式。
在示例性实施例中,所述最优视野确定子模块可以包括第一最优视野确定单元和/或第二最优视野确定单元。其中,所述第一最优视野确定单元可以用于根据所述视觉传感器的所述当前位置以及路网信息,确定所述视觉传感器的最优视野角度。所述第二最优视野确定单元可以用于根据所述智能设备在所述当前位置的横向控制量,确定所述视觉传感器的最优视野角度。
在示例性实施例中,所述最优视野确定子模块可以包括特征点获得单元、特征点总得分计算单元以及最优视野确定单元。其中,所述特征点获得单元可以用于根据所述当前位置、预置的特征点地图以及所述视觉传感器的当前位姿,遍历模拟所述视觉传感器在所述当前位置的各个角度下能够获得的特征点。所述特征点总得分计算单元可以用于计算各个角度下的特征点总得分。所述最优视野确定单元可以用于确定满足预设条件的特征点总得分对应的角度为所述最优视野角度。
在示例性实施例中,所述特征点总得分计算单元可以包括特征点得分计算子单元和特征点总得分计算子单元。其中,所述特征点得分计算子单元可以用于获得各个角度下的各个特征点得分。所述特征点总得分计算子单元可以用于统计各个角度下的各个特征点得分获得各个角度下的特征点总得分。
在示例性实施例中,所述特征点得分计算子单元可以进一步用于统计各个角度下的特征点数量;计算各个角度下的每一个特征点的显著性得分;根据所述特征点数量和所述显著性得分获得各个角度下对应的特征点得分。
示例性实施例中,所述特征点的显著性得分是由以下至少一个获得:所述特征点的特征响应值,所述特征点的三维空间位置和所述视觉传感器之间的距离,所述特征点的三维空间位置和所述视觉传感器之间的视角。
进一步的,本发明实施方式还提供一种视觉传感器,所述视觉传感器根据上述发明实施例中所述的实时传感器控制方法控制其旋转。
在示例性实施例中,所述视觉传感器包括单目、双目、多目相机中的任意一种。
进一步的,本发明实施方式还提供一种智能设备,所述智能设备上设置有如上述发明实施例中所述的视觉传感器。
智能驾驶等技术正成为研发热点,智能汽车要想实现自动驾驶,需要为其构建计算机能够使用的视觉地图。
本发明实施例中的视觉地图不同于提交本申请时个人用户常用的sogo地图、百度地图、Google地图等,是给智能驾驶车辆使用的。Sogo地图、百度地图、Google地图等是给人使用的,而这类我们所说的视觉地图是给智能驾驶的计算机识别的,它具有抽象和结构化的内容,方便计算机从中提取所需要的信息。
智能驾驶车辆是指如下车辆:能够与外部通信、根据用户用车任务自己进行路径规划或者接受外部的路径规划,基本无需驾驶员而自主驾驶,可以包含无人驾驶汽车(完全自主)、辅助驾驶汽车(较少时间需要驾驶员介入)、驾驶辅助汽车(多数时间为驾驶员驾驶)。智能驾驶车辆要根据路径规划依据视觉地图进行行驶。
在示例性实施例中,所述智能设备包括智能驾驶车辆。
需要说明的是,本文中的“智能驾驶”应该做广义理解,包括根本不存在司机的驾驶情况,也涵盖自动驾驶为主但司机偶尔出面控制的情况。
智能驾驶车辆的状态信息包括智能驾驶车辆的位置、速度、剩余里程数、智能驾驶车辆上传感器的状态等等。
需要说明的是,有些软件功能-例如,智能驾驶车辆的路径规划功能-可以在车载软件模块上实现,也可以在分控平台上实现,或者由车载软件模块和分控平台两者之间协作实现。
在示例性实施例中,所述视觉传感器可以设置于所智能驾驶车辆的车顶正中央上方,且朝向后方。但本公开并不限定于此,所述视觉传感器也可以是其他位置。可选的,该智能驾驶车辆的车顶上还可以设置一个不转动的相机不转动,朝向道路的前方,可以用于避障等功能,维持智能驾驶车辆的基本用途,解决盲区问题。
本发明实施例中,还可以预先对所述智能驾驶车辆和所述视觉传感器进行标定获得标定参数,所述标定参数包括但不限于:车高、车长、车宽、视觉传感器距地面高度、视觉传感器距车顶高度、视觉传感器与车头距离、视觉传感器与车尾距离、视觉传感器与左右两侧车体(车门、A柱等)距离、视觉传感器主光轴水平偏转角度(相对车头方向)和视觉传感器主光轴俯仰角度等信息中的一个或多个。在标定时,一般通过在地面和/或车体上设置明显标志物来辅助视觉传感器识别,同时通过直接测量关键数据,将测量数据与视觉传感器识别情况关联以获取各物理量在视觉传感器图像中的表示。
通过系统标定,本发明实施例可利用有限次的测量标定来预先建立较为完整的、针对不同变化姿态的、系统化的标定参数数据,从而为后续车辆运动过程中的动态标定提供数据支持。
现有技术中,假设智能驾驶车辆在园区内跑,此时这个园区内的地图信息和相机当前本身的位置都是已知的,当路旁边是墙,车转弯时,相机对着墙拍摄时,获得的图像的特征点很少甚至可能是空白照片。而通过本公开的可旋转相机可以获取基于当前位置的实时的最优视野范围。
图4示出本公开示例性实施例中一种电子设备的框图。
下面参照图4来描述根据本发明的这种实施方式的电子设备200。图4显示的电子设备200仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于:至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元210执行,使得所述处理单元210执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元210可以执行如图1中所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202,还可以进一步包括只读存储单元(ROM)2203。
所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204,这样的程序模块2205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述实时传感器控制方法。
进一步的,本公开实施方式还提供了一种计算机可读介质。描述了根据本发明的实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该计算机可读介质实现如下功能:获取所述视觉传感器在路网中的当前位置;确定所述视觉传感器在所述当前位置的旋转方式以便控制所述视觉传感器的旋转。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块/子模块/单元/子单元可以合并为一个模块/子模块/单元/子单元,也可以进一步拆分成多个模块/子模块/单元/子单元。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。

Claims (7)

1.一种实时传感器控制方法,其特征在于,应用于智能设备,所述智能设备上设置有视觉传感器,所述方法包括:
获取所述视觉传感器在路网中的当前位置;
确定所述视觉传感器在所述当前位置的旋转方式以便控制所述视觉传感器的旋转;
其中,所述确定所述视觉传感器在所述当前位置的旋转方式,包括:
确定所述视觉传感器在所述当前位置的最优视野角度;
通过所述最优视野角度确定所述视觉传感器的旋转方式;
其中,所述确定所述视觉传感器在所述当前位置的最优视野角度,包括:
根据所述当前位置、预置的特征点地图以及所述视觉传感器的当前位姿,遍历模拟所述视觉传感器在所述当前位置的各个角度下能够获得的特征点;
计算各个角度下的特征点总得分;
确定满足预设条件的特征点总得分对应的角度为所述最优视野角度;
其中,计算各个角度下的特征点总得分,包括:
获得各个角度下的各个特征点得分;
统计各个角度下的各个特征点得分获得各个角度下的特征点总得分;
其中,获得各个角度下的各个特征点得分,包括:
统计各个角度下的特征点数量;
计算各个角度下的每一个特征点的显著性得分;
根据所述特征点数量和所述显著性得分获得各个角度下对应的特征点得分。
2.一种自动驾驶控制方法,其特征在于,包括如权利要求1所述的实时传感器控制方法。
3.一种实时传感器控制装置,其特征在于,包括:
当前位置获取模块,用于获取视觉传感器在路网中的当前位置;
旋转方式确定模块,用于确定所述视觉传感器在所述当前位置的旋转方式以便控制所述视觉传感器的旋转;
其中,所述旋转方式确定模块包括:
最优视野确定子模块,用于确定所述视觉传感器在所述当前位置的最优视野角度;以及
旋转方式确定子模块,用于通过所述最优视野角度确定所述视觉传感器的旋转方式;
其中,所述最优视野确定子模块包括:
特征点获得单元,用于根据所述当前位置、预置的特征点地图以及所述视觉传感器的当前位姿,遍历模拟所述视觉传感器在所述当前位置的各个角度下能够获得的特征点;
特征点总得分计算单元,用于计算各个角度下的特征点总得分;以及
最优视野确定单元,用于确定满足预设条件的特征点总得分对应的角度为所述最优视野角度;
其中,所述特征点总得分计算单元包括:
特征点得分计算子单元,用于获得各个角度下的各个特征点得分;以及
特征点总得分计算子单元,用于统计各个角度下的各个特征点得分获得各个角度下的特征点总得分;
其中,所述特征点得分计算子单元还用于统计各个角度下的特征点数量;计算各个角度下的每一个特征点的显著性得分;根据所述特征点数量和所述显著性得分获得各个角度下对应的特征点得分。
4.一种视觉传感器,其特征在于,所述视觉传感器根据权利要求1所述的方法控制其旋转。
5.一种智能设备,其特征在于,所述智能设备上设置有如权利要求4所述的视觉传感器。
6.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1所述的方法。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1所述的方法。
CN201810025963.5A 2018-01-11 2018-01-11 实时传感器控制方法及装置 Active CN108107897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810025963.5A CN108107897B (zh) 2018-01-11 2018-01-11 实时传感器控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810025963.5A CN108107897B (zh) 2018-01-11 2018-01-11 实时传感器控制方法及装置

Publications (2)

Publication Number Publication Date
CN108107897A CN108107897A (zh) 2018-06-01
CN108107897B true CN108107897B (zh) 2021-04-16

Family

ID=62219338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810025963.5A Active CN108107897B (zh) 2018-01-11 2018-01-11 实时传感器控制方法及装置

Country Status (1)

Country Link
CN (1) CN108107897B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213154A (zh) * 2018-08-10 2019-01-15 远形时空科技(北京)有限公司 一种基于Slam定位方法、装置、电子设备及计算机存储介质
CN109764838B (zh) * 2018-12-13 2021-11-23 阿波罗智能技术(北京)有限公司 确定自动驾驶系统的安装位的方法、装置及设备
US10728461B1 (en) * 2019-01-31 2020-07-28 StradVision, Inc. Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
CN109901581A (zh) * 2019-03-15 2019-06-18 智久(厦门)机器人科技有限公司上海分公司 一种agv车自旋角的标定方法及自旋运动控制方法
CN114670862A (zh) * 2020-12-24 2022-06-28 九号智能(常州)科技有限公司 自平衡电动代步车的自动驾驶方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105210113A (zh) * 2013-04-30 2015-12-30 高通股份有限公司 具有一般和全景相机移动的单眼视觉slam
CN106767812A (zh) * 2016-11-25 2017-05-31 梁海燕 一种基于语义信息提取的室内语义地图更新方法与系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130066184A (ko) * 2011-12-12 2013-06-20 현대모비스 주식회사 레이더 센서를 이용한 카메라 각도 자동 조절 장치 및 방법
CN103901901B (zh) * 2014-03-21 2018-02-06 小米科技有限责任公司 一种视频终端的屏幕旋转方法及装置
CN106295651B (zh) * 2016-07-25 2019-11-05 浙江零跑科技有限公司 一种基于双俯视相机与后轴转向的车辆路径跟随方法
CN106909877B (zh) * 2016-12-13 2020-04-14 浙江大学 一种基于点线综合特征的视觉同时建图与定位方法
CN107066507B (zh) * 2017-01-10 2019-09-17 中国人民解放军国防科学技术大学 一种基于云机器人混合云架构的语义地图构建方法
CN106740841B (zh) * 2017-02-14 2018-07-10 驭势科技(北京)有限公司 基于动态控制的车道线检测方法、装置及车载设备
CN107160395B (zh) * 2017-06-07 2020-10-16 中国人民解放军装甲兵工程学院 地图构建方法及机器人控制系统
CN107328410B (zh) * 2017-06-30 2020-07-28 百度在线网络技术(北京)有限公司 用于定位自动驾驶车辆的方法和汽车电脑
CN107255476B (zh) * 2017-07-06 2020-04-21 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105210113A (zh) * 2013-04-30 2015-12-30 高通股份有限公司 具有一般和全景相机移动的单眼视觉slam
CN106767812A (zh) * 2016-11-25 2017-05-31 梁海燕 一种基于语义信息提取的室内语义地图更新方法与系统

Also Published As

Publication number Publication date
CN108107897A (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
CN108107897B (zh) 实时传感器控制方法及装置
US20240132154A1 (en) Road profile along a predicted path
CN106740841B (zh) 基于动态控制的车道线检测方法、装置及车载设备
CN106981082B (zh) 车载摄像头标定方法、装置及车载设备
CN109631896B (zh) 一种基于车辆视觉和运动信息的停车场自主泊车定位方法
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
CN108647638B (zh) 一种车辆位置检测方法及装置
CN111986506B (zh) 基于多视觉系统的机械式停车位泊车方法
JP7301138B2 (ja) ポットホール検出システム
CN206623754U (zh) 车道线检测装置
WO2017167411A1 (en) An autonomous vehicle with improved visual detection ability
CN108470469A (zh) 道路障碍物预警方法、装置及终端
CN104751151B (zh) 一种实时多车道识别及跟踪方法
CN112912920A (zh) 用于2d卷积神经网络的点云数据转换方法和系统
CN111376895B (zh) 一种环视泊车感知方法、装置、自动泊车系统和车辆
CN108680157B (zh) 一种障碍物检测区域的规划方法、装置及终端
WO2022165614A1 (zh) 一种路径构建方法、装置、终端及存储介质
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
CN112204614B (zh) 来自非固定相机的视频中的运动分割
CN111028534A (zh) 一种泊车位检测方法及装置
CN113228135A (zh) 一种盲区图像获取方法及相关终端装置
CN108363387B (zh) 传感器控制方法及装置
CN108973858B (zh) 用于确保行驶路线安全的装置
WO2022246851A1 (zh) 基于航测数据的自动驾驶感知系统测试方法、系统及存储介质
CN118306379A (zh) 一种自动泊车的车辆定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant