CN107728646A - 对自动驾驶车辆的摄像头进行自动控制的方法和系统 - Google Patents

对自动驾驶车辆的摄像头进行自动控制的方法和系统 Download PDF

Info

Publication number
CN107728646A
CN107728646A CN201710792884.2A CN201710792884A CN107728646A CN 107728646 A CN107728646 A CN 107728646A CN 201710792884 A CN201710792884 A CN 201710792884A CN 107728646 A CN107728646 A CN 107728646A
Authority
CN
China
Prior art keywords
camera
video
vehicle
angle
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710792884.2A
Other languages
English (en)
Other versions
CN107728646B (zh
Inventor
张云飞
郁浩
闫泳杉
郑超
唐坤
姜雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710792884.2A priority Critical patent/CN107728646B/zh
Publication of CN107728646A publication Critical patent/CN107728646A/zh
Priority to PCT/CN2018/089981 priority patent/WO2019047576A1/zh
Application granted granted Critical
Publication of CN107728646B publication Critical patent/CN107728646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种实现对自动驾驶车辆的摄像头进行自动控制的系统,包括:安装于所述车辆的摄像头,用于捕捉视频;处理器,配置为处理所述视频,以确定所述摄像头的位置和/或角度的误差;驱动装置,连接到所述摄像头并根据所述误差驱动所述摄像头改变位置和/或角度。由此,解决了由于车辆长时间运动造成图像和最初标定不一致的问题。摄像头自身拍摄到的视频被用于误差的确定,并最终用于摄像头的位置和/或角度的调整,实现了真正的闭环控制。

Description

对自动驾驶车辆的摄像头进行自动控制的方法和系统
技术领域
本发明公开涉及车辆的自动驾驶,尤其涉及对自动驾驶车辆的摄像头的控制。
背景技术
自动驾驶汽车,是一种通过电脑系统实现无人驾驶的智能汽车。自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作,让电脑可以在没有任何人类主动的操作下,自动安全地操作机动车辆。
摄像头是自动驾驶的主要的传感器,其姿态对整个系统尤为重要。在车辆的自动驾驶过程中,摄像头的位置、角度会出现误差,这对自动驾驶是不利的。
尽管自动驾驶领域有着日新月异的发展,对摄像头的位姿的自动控制仍是需要我们研究和解决的一个问题。
发明内容
根据本发明的实施例,希望提供一种能够对自动驾驶车辆的摄像头进行自动控制的方法和系统,通过该方法和系统,希望使摄像头基本始终处在有利于自动驾驶的位置和姿态,以保证自动驾驶的稳定性和安全性。
根据本发明的一个方面的实施例,提供了一种实现对自动驾驶车辆的摄像头进行自动控制的系统,包括:
安装于车辆的摄像头,用于捕捉视频;
处理器,配置为处理视频,以确定摄像头的位置和/或角度的误差;
驱动装置,连接到摄像头并根据误差驱动摄像头改变位置和/或角度。
进一步地,驱动装置包括:
连接部,其配置为与摄像头连接;
通信接口,其与处理器可通信地连接,配置为接收来自处理器的表示摄像头的位置和/或角度的误差的信号;
可动部,其连接到连接部,并根据来自通信接口的信号通过连接部调节摄像头的位置和/或角度。
进一步地,可动部具有第一旋转轴、第二旋转轴,并可带动摄像头沿其中至少一个旋转轴转动。
更进一步地,可动部还具有第三旋转轴,并可带动摄像头沿第三旋转轴转动。
进一步地,处理器使用深度学习网络来处理该视频。
进一步地,处理器包括:第一单元,配置为从视频中提取至少一个时刻的图像;第二单元,配置为将图像与深度学习网络中的已有图像进行比对,得出摄像头的位置和/或角度的具有全局最优值的误差。
进一步地,处理器还包括:第三单元,配置为基于视频确定车辆控制信息。
进一步地,第三单元将车辆控制信息提供给车辆的自动驾驶系统以用于控制自动驾驶过程。
根据本发明的另一方面的实施例,提供了一种自动驾驶车辆的摄像头的驱动装置,包括:
连接部,其配置为与摄像头连接;
通信接口,其配置为接收指示摄像头的位置和/或角度的误差的信号;
可动部,其连接到连接部,并根据信号通过连接部调整摄像头的位置和/或角度。
进一步地,可动部具有第一旋转轴、第二旋转轴,并可带动所述摄像头沿其中至少一个旋转轴转动。
进一步地,可动部还具有第三旋转轴,并可带动摄像头沿第三旋转轴转动。
根据本发明的又一方面,提供了一种对自动驾驶车辆的摄像头进行自动控制的方法,包括:
a.通过车辆的摄像头捕捉视频;
b.利用计算机处理所述视频,以确定摄像头的位置和/或角度的误差;
c.由驱动装置根据该误差驱动摄像头改变位置和/或角度。
进一步地,步骤c包括:驱动装置带动摄像头沿驱动装置的至少一个旋转轴转动。
进一步地,步骤b包括:使用深度学习网络处理所述视频。
进一步地,其中使用深度学习网络处理视频的步骤包括:从视频中提取至少一个时刻的图像;和
将提取出的图像与深度学习网络中的已有图像进行比对,得出摄像头的位置和/或角度的具有全局最优值的误差。
进一步地,该方法还包括:基于视频确定车辆控制信息。
进一步地,该方法还包括:将车辆控制信息提供给该车辆的自动驾驶系统以用于控制自动驾驶过程。
根据本发明的又一方面的实施例,提供了一种车辆的自动驾驶系统,其中包括前述的实现对自动驾驶车辆的摄像头进行自动控制的系统。
与现有技术相比,本发明的实施例具有以下优点:1.通过对摄像头的位置和/或角度的自动控制,解决了由于车辆长时间运动造成图像和最初标定不一致的问题;2.摄像头自身拍摄到的视频被用于误差的确定,并最终用于摄像头的位置和/或角度的调整,实现了真正的闭环控制;3.可以根据最新的视频数据不断更新上述控制,以始终适应复杂的自动驾驶环境;4.提出的方法和系统可以适用于人工驾驶车辆与自动驾驶车辆混行的环境,以及只存在自动驾驶车辆的环境,适应性强。
附图说明
通过阅读以下参照附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1示出了根据本发明的实施例的方法与系统适用的行驶环境的示意图;
图2为根据本发明的实施例的实现对自动驾驶车辆的摄像头进行自动控制的系统的示意图;
图3为根据本发明的实施例的自动驾驶车辆的摄像头的驱动装置的示意图;
图4为根据本发明的实施例的对自动驾驶车辆的摄像头进行自动控制的方法的示意性流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“计算机设备”,也称为“电脑”,是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备,其可以包括处理器与存储器,由处理器执行在存储器中预存的存续指令来执行预定处理过程,或是由ASIC、FPGA、DSP等硬件执行预定处理过程,或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。
所述计算机设备包括用户设备与网络设备。其中,所述用户设备包括但不限于电脑、智能手机、PDA等;所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中,所述计算机设备可单独运行来实现本发明,也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中,所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是,所述用户设备、网络设备和网络等仅为举例,其他现有的或今后可能出现的计算机设备或网络如可适用于本发明,也应包含在本发明保护范围以内,并以引用方式包含于此。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时,用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的,并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现,并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是,当一个单元被称为“连接”或“耦合”到另一单元时,其可以直接连接或耦合到所述另一单元,或者可以存在中间单元。与此相对,当一个单元被称为“直接连接”或“直接耦合”到另一单元时,则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”,“与...邻近”相比于“与...直接邻近”等等)。
应当理解的是,虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元,但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说,在不背离示例性实施例的范围的情况下,第一单元可以被称为第二单元,并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意组合。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是,在一些替换实现方式中,所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说,取决于所涉及的功能/动作,相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明作进一步详细描述。
图1示出了根据本发明的实施例的方法与系统适用的行驶环境的示意图。图示情景为一个十字路口处的环境1,该环境中有三辆正在行驶或等候的汽车11、12和13,正在通过人行横道的多个行人14。其中,每辆汽车上都配有一部用于自动驾驶的摄像头15。摄像头15通过拍摄视频,将道路信息提供给车载的自动驾驶系统,由自动驾驶系统根据当前的路况等信息生成控制信息,控制信息则作用于汽车的各个设备、部件以开始、继续或停止自动驾驶。中国发明专利申请201610027742.2提出了一种自动驾驶装置,在搜索到多个路径的情况下选择与自动驾驶相关的运算量低的路径。自动驾驶装置具备:位置取得部,其取得自动驾驶其他车辆和手动驾驶其他车辆的位置信息;路径搜索部,其搜索路径;运算部,其在由路径搜索部搜索到多个路径的情况下,基于自动驾驶其他车辆和手动驾驶其他车辆的位置信息,针对每个路径运算路径上的自动驾驶其他车辆的数量相对于路径上的所有其他车辆的合计数的比例;选择部,其选择由运算部运算出的自动驾驶其他车辆的比例最大的路径作为自身车辆要行驶的路径;以及控制部,其进行自身车辆的自动驾驶以使其沿着所选择的路径行驶。诸如此类的自动驾驶系统装置可以被用于本文中提及的自动驾驶。
虽然环境1中的各车辆均具有摄像头15,需要注意的是,使用本发明的方法和系统的自动驾驶车辆也可以与人工驾驶的车辆并存在一个驾驶环境中,且不会给驾驶环境带来不利的影响,相反,由于自动驾驶车辆的行为被保护、改善,其对驾驶环境往往是有利的。
图1中示出了4个方向,D1-D4。参看图1,车辆11正沿方向D2准备通过路口,车辆13沿方向D2基本已通过路口并继续行驶,车辆12的行驶方向为D4,并正在等待绿灯,多个行人14正在沿D1或D2方向通过人行横道。
车辆长时间运动可能会摄像头拍摄到的图像与最初标定不一致的问题,为了保护自动驾驶车辆本身以及环境1中的其它车辆、行人,本发明的发明人首先意识到,需要对摄像头15的位姿(也即位置和/或角度(角度也可称姿态角))进行必要的调整。具体方式将在下文结合附图进一步阐述。
图2为用来实现自动驾驶车辆的摄像头的自动控制的系统的示意图。系统2主要包括摄像头25,主要用来捕捉视频,连接到摄像头25的驱动装置26,与摄像头25和驱动装置26可通信地连接的处理器27。处理器28处理该视频并得到摄像头25的位置和/或角度的误差,将其提供给驱动装置26,后者根据该误差调整摄像头25的位置和/或角度。处理器27可操作地与存储器28通信,以进行执行其功能所需要的数据存取,处理器27和存储器28可以是车载的,这样可以使用云端处理器和存储器所可能带来的传输延迟等问题,而这些问题是自动驾驶这个对安全性要求很高的使用环境所希望尽量避免的。
摄像头25的数量可以是一个或是多个。其位置可以位于汽车的前部,以使其有利地能够基本平视汽车行驶方向的正前方。当然,使用位于车体侧方甚至后方的摄像头捕捉到的视频来执行本发明的主旨也是可行的。为利于给自动驾驶系统提供车辆控制信息,摄像头25所捕捉到的视频应可以用于识别以下内容:车辆前方的车道线、交通标线、交通标志和障碍物(行人、其他车辆等),而后摄像头(未示出)可以识别车辆后方的车道线和障碍物,它们可以共用同一处理器来进行视频的处理和各自位姿误差的确定。
可选地,中国发明专利申请公开CN103077518A中提及的标定方法也可用于生成前述误差值,本发明公开虽然倾向于上述的基于深度学习网络的实现方式,但并不局限于此。
图3为根据本发明的实施例的自动驾驶车辆的摄像头的驱动装置的示意图。可见,摄像头35拍摄视频,其所拍摄到的视频通过与处理器37之间的通信接口传送到处理器37并被处理,处理结果是一个对摄像头35的位姿有意义的误差值,该误差值通过处理器37与驱动装置36之间的通信接口362传送到驱动装置。驱动装置36通过一个连接部361机械连接到摄像头35,并通过可动部363来根据来自通信接口362的信号(误差值)来相应调整摄像头35的位置和/或角度。
参照图2,可动部可以具有第一旋转轴a、第二旋转轴b,并可带动摄像头沿其中至少一个旋转轴转动。进一步地,可动部还可以具有第三旋转轴c,并可带动摄像头沿第三旋转轴转动。应当理解,上述旋转轴的设置可以有其它变化,而不受限于上述例子。
参照图3,根据一个实施例,在(如需要)存储器的配合下,处理器37使用深度学习网络来处理摄像头35拍摄到的视频。具体地,处理器37可以实现为包括第一单元和第二单元。其中第一单元配置为从视频中提取至少一个时刻的图像,而第二单元则配置为将图像与深度学习网络中的已有图像进行比对,得出摄像头35的位置和/或角度的具有全局最优值的误差。
进一步地,处理器35还可以还包括第三单元,其配置为基于视频确定车辆控制信息,并将该车辆控制信息提供给车辆的自动驾驶系统以用于控制自动驾驶过程,包括但不限于为躲避障碍物而转向或刹车,继续行驶,转向等。
优选地,在一次调整后,摄像头35将捕捉到新的视频,并继续提供给处理器37,处理器37处理更新后的视频后,会得到新的误差值信息,这个误差值信息一般应是比之前有所改善的。在一个例子中,处理器37维护一个阈值,在调整后的误差小于该阈值时,即可考虑无需再次调整摄像头35的位姿,直至下一次被触发,例如新的视频处理后发现误差再次高于该阈值。
图4为根据本发明的实施例的对自动驾驶车辆的摄像头进行自动控制的方法的示意性流程图。该方法4包括:
步骤41:通过所述车辆的摄像头捕捉视频;
步骤42:利用计算机处理所述视频,以确定所述摄像头的位置和/或角度的误差;
步骤43:由驱动装置根据所述误差驱动所述摄像头改变位置和/或角度。
在一个优选实施例中,步骤43中,驱动装置带动摄像头沿驱动装置的至少一个旋转轴转动。
在一个优选实施例中,步骤42中,计算机(例如,处理器)使用深度学习网络处理该视频。
方法4的各个步骤特征与上文结合图1-3介绍的系统、驱动装置的特征对应,可参照该等描述理解和实现该方法。
在一个非限定性实施例中,使用深度学习网络处理该视频的步骤包括:从视频中提取至少一个时刻的图像;和将图像与深度学习网络中的已有图像进行比对,得出摄像头的位置和/或角度的具有全局最优值的误差。
可选地,该方法还包括:基于所述视频确定车辆控制信息,以及,将车辆控制信息提供给所述车辆的自动驾驶系统以用于控制自动驾驶过程。
可选地,中国发明专利申请公开CN103077518A中提及的标定方法也可用于生成前述误差值,本发明公开虽然倾向于上述的基于深度学习网络的实现方式,但并不局限于此。
优选地,在一次调整后,步骤41中,摄像头将捕捉到新的视频,并继续提供给处理器,步骤42中,处理器处理更新后的视频后,会得到新的误差值信息,这个误差值信息一般应是比之前有所改善的。在一个例子中,处理器维护一个阈值,在调整后的误差小于该阈值时,即可考虑无需再次执行步骤43来调整摄像头的位姿,直至下一次被触发,例如新的视频处理后发现误差再次高于该阈值。
本发明实施例中提及的自动驾驶系统、用于实现摄像头自动控制的系统、处理器包括但不限于计算机设备和汽车电子设备。计算机设备是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备,其可以包括处理器与存储器,由处理器执行在存储器中预存的存续指令来执行预定处理过程,或是由ASIC、FPGA、DSP等硬件执行预定处理过程,或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。服务器包括但不限于单个服务器、多个服务器组成或基于云计算的由大量计算机或服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。汽车电子设备是在汽车上使用或与汽车相关的电子设备。
需要注意的是,本发明的至少一部分可在软件和/或软件与硬件的组合体中被实施,例如,本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中,本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读介质中。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
另外,本发明的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (18)

1.一种实现对自动驾驶车辆的摄像头进行自动控制的系统,包括:
安装于所述车辆的摄像头,用于捕捉视频;
处理器,配置为处理所述视频,以确定所述摄像头的位置和/或角度的误差;
驱动装置,连接到所述摄像头并根据所述误差驱动所述摄像头改变位置和/或角度。
2.根据权利要求1所述的系统,其中,所述驱动装置包括:
连接部,其配置为与所述摄像头连接;
通信接口,其与所述处理器可通信地连接,配置为接收来自所述处理器的表示所述摄像头的位置和/或角度的误差的信号;
可动部,其连接到所述连接部,并根据所述信号通过所述连接部调节所述摄像头的位置和/或角度。
3.根据权利要求2所述的系统,其中,所述可动部具有第一旋转轴、第二旋转轴,并可带动所述摄像头沿其中至少一个旋转轴转动。
4.根据权利要求3所述的系统,其中,所述可动部还具有第三旋转轴,并可带动所述摄像头沿所述第三旋转轴转动。
5.根据权利要求1至4中任一项所述的系统,其中,所述处理器使用深度学习网络来处理所述视频。
6.根据权利要求5所述的系统,其中,所述处理器包括:
第一单元,配置为从所述视频中提取至少一个时刻的图像;
第二单元,配置为将所述图像与所述深度学习网络中的已有图像进行比对,得出所述摄像头的位置和/或角度的具有全局最优值的误差。
7.根据权利要求5所述的系统,其中,所述处理器还包括:
第三单元,配置为基于所述视频确定车辆控制信息。
8.根据权利要求7所述的系统,其中,所述第三单元将所述车辆控制信息提供给所述车辆的自动驾驶系统以用于控制自动驾驶过程。
9.一种自动驾驶车辆的摄像头的驱动装置,包括:
连接部,其配置为与所述摄像头连接;
通信接口,其配置为接收指示所述摄像头的位置和/或角度的误差的信号;
可动部,其连接到所述连接部,并根据所述信号通过所述连接部调整所述摄像头的位置和/或角度。
10.根据权利要求9所述的驱动装置,其中,所述可动部具有第一旋转轴、第二旋转轴,并可带动所述摄像头沿其中至少一个旋转轴转动。
11.根据权利要求10所述的驱动装置,其中,所述可动部还具有第三旋转轴,并可带动所述摄像头沿所述第三旋转轴转动。
12.一种对自动驾驶车辆的摄像头进行自动控制的方法,包括:
a.通过所述车辆的摄像头捕捉视频;
b.利用计算机处理所述视频,以确定所述摄像头的位置和/或角度的误差;
c.由驱动装置根据所述误差驱动所述摄像头改变位置和/或角度。
13.根据权利要求12所述的方法,其中,所述步骤c包括:
所述驱动装置带动所述摄像头沿所述驱动装置的至少一个旋转轴转动。
14.根据权利要求12或13所述的方法,其中,所述步骤b包括:
使用深度学习网络处理所述视频。
15.根据权利要求14所述的方法,其中,使用深度学习网络处理所述视频的步骤包括:
从所述视频中提取至少一个时刻的图像;和
将所述图像与所述深度学习网络中的已有图像进行比对,得出所述摄像头的位置和/或角度的具有全局最优值的误差。
16.根据权利要求15所述的方法,还包括:
基于所述视频确定车辆控制信息。
17.根据权利要求16所述的方法,还包括:
将所述车辆控制信息提供给所述车辆的自动驾驶系统以用于控制自动驾驶过程。
18.一种车辆的自动驾驶系统,其特征在于,包括如权利要求1至8中任一项所述的实现对自动驾驶车辆的摄像头进行自动控制的系统。
CN201710792884.2A 2017-09-05 2017-09-05 对自动驾驶车辆的摄像头进行自动控制的方法和系统 Active CN107728646B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710792884.2A CN107728646B (zh) 2017-09-05 2017-09-05 对自动驾驶车辆的摄像头进行自动控制的方法和系统
PCT/CN2018/089981 WO2019047576A1 (zh) 2017-09-05 2018-06-05 对自动驾驶车辆的摄像头进行自动控制的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710792884.2A CN107728646B (zh) 2017-09-05 2017-09-05 对自动驾驶车辆的摄像头进行自动控制的方法和系统

Publications (2)

Publication Number Publication Date
CN107728646A true CN107728646A (zh) 2018-02-23
CN107728646B CN107728646B (zh) 2020-11-10

Family

ID=61205690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710792884.2A Active CN107728646B (zh) 2017-09-05 2017-09-05 对自动驾驶车辆的摄像头进行自动控制的方法和系统

Country Status (2)

Country Link
CN (1) CN107728646B (zh)
WO (1) WO2019047576A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019047576A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术(北京)有限公司 对自动驾驶车辆的摄像头进行自动控制的方法和系统
CN109703465A (zh) * 2018-12-28 2019-05-03 百度在线网络技术(北京)有限公司 车载图像传感器的控制方法和装置
CN109712196A (zh) * 2018-12-17 2019-05-03 北京百度网讯科技有限公司 摄像头标定处理方法、装置、车辆控制设备及存储介质
CN110163930A (zh) * 2019-05-27 2019-08-23 北京百度网讯科技有限公司 车道线生成方法、装置、设备、系统及可读存储介质
WO2020000141A1 (en) * 2018-06-25 2020-01-02 Beijing Didi Infinity Technology And Development Co., Ltd. A high-definition map acquisition system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054008A1 (en) * 1999-03-11 2000-09-14 Intelligent Technologies International, Inc. Methods and apparatus for preventing vehicle accidents
CN102435442A (zh) * 2011-09-05 2012-05-02 北京航空航天大学 一种用于车辆道路试验的自动驾驶机器人
CN103886189A (zh) * 2014-03-07 2014-06-25 国家电网公司 用于无人机巡检的巡检结果数据处理系统及方法
CN106506956A (zh) * 2016-11-17 2017-03-15 歌尔股份有限公司 基于无人机的跟踪拍摄方法、跟踪拍摄装置及系统
CN206100235U (zh) * 2016-10-31 2017-04-12 贵州恒兴智能科技有限公司 一种摄像头

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991580A (zh) * 2015-06-18 2015-10-21 奇瑞汽车股份有限公司 无人驾驶车辆的控制系统及其控制方法
JP6623421B2 (ja) * 2015-07-22 2019-12-25 いすゞ自動車株式会社 走行制御装置および走行制御方法
US9709414B2 (en) * 2015-10-01 2017-07-18 Toyota Motor Engineering & Manufacturing North America, Inc. Personalized suggestion of automated driving features
CN106184793A (zh) * 2016-08-29 2016-12-07 上海理工大学 一种用于汽车的空中俯视影像监视系统
CN206086571U (zh) * 2016-10-12 2017-04-12 鄂尔多斯市普渡科技有限公司 一种便于调节摄像头高度的无人驾驶汽车
CN107728646B (zh) * 2017-09-05 2020-11-10 百度在线网络技术(北京)有限公司 对自动驾驶车辆的摄像头进行自动控制的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000054008A1 (en) * 1999-03-11 2000-09-14 Intelligent Technologies International, Inc. Methods and apparatus for preventing vehicle accidents
CN102435442A (zh) * 2011-09-05 2012-05-02 北京航空航天大学 一种用于车辆道路试验的自动驾驶机器人
CN103886189A (zh) * 2014-03-07 2014-06-25 国家电网公司 用于无人机巡检的巡检结果数据处理系统及方法
CN206100235U (zh) * 2016-10-31 2017-04-12 贵州恒兴智能科技有限公司 一种摄像头
CN106506956A (zh) * 2016-11-17 2017-03-15 歌尔股份有限公司 基于无人机的跟踪拍摄方法、跟踪拍摄装置及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019047576A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术(北京)有限公司 对自动驾驶车辆的摄像头进行自动控制的方法和系统
WO2020000141A1 (en) * 2018-06-25 2020-01-02 Beijing Didi Infinity Technology And Development Co., Ltd. A high-definition map acquisition system
US11061122B2 (en) 2018-06-25 2021-07-13 Beijing Didi Infinity Technology And Development Co., Ltd. High-definition map acquisition system
TWI746915B (zh) * 2018-06-25 2021-11-21 大陸商北京嘀嘀無限科技發展有限公司 高清晰度地圖獲取系統
CN109712196A (zh) * 2018-12-17 2019-05-03 北京百度网讯科技有限公司 摄像头标定处理方法、装置、车辆控制设备及存储介质
CN109712196B (zh) * 2018-12-17 2021-03-30 北京百度网讯科技有限公司 摄像头标定处理方法、装置、车辆控制设备及存储介质
US11151392B2 (en) 2018-12-17 2021-10-19 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for camera calibration processing, device for vehicle control and storage medium
CN109703465A (zh) * 2018-12-28 2019-05-03 百度在线网络技术(北京)有限公司 车载图像传感器的控制方法和装置
CN110163930A (zh) * 2019-05-27 2019-08-23 北京百度网讯科技有限公司 车道线生成方法、装置、设备、系统及可读存储介质

Also Published As

Publication number Publication date
WO2019047576A1 (zh) 2019-03-14
CN107728646B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN107728646A (zh) 对自动驾驶车辆的摄像头进行自动控制的方法和系统
JP7170619B2 (ja) 走行経路を生成するための方法及び装置
US11079897B2 (en) Two-way real-time 3D interactive operations of real-time 3D virtual objects within a real-time 3D virtual world representing the real world
CN110497901B (zh) 一种基于机器人vslam技术的泊车位自动搜索方法和系统
US10991156B2 (en) Multi-modal data fusion for enhanced 3D perception for platforms
JP2021089724A (ja) 構造的制約及び物理的制約を伴う3d自動ラベル付け
US20150197007A1 (en) Remote Vehicle Missions and Systems for Supporting Remote Vehicle Missions
CN108139756A (zh) 为自动驾驶车辆构建周围环境以制定驾驶决策的方法和系统
CN111627054B (zh) 用于预测高置信度密集点云的深度补全误差地图的方法和装置
CN112703147A (zh) 用于控制车辆的移动的系统和方法
CN109782766B (zh) 用于控制车辆行驶的方法和装置
CN110914641A (zh) 自主导航的导航信息的融合构架和分批对齐
CN107798860B (zh) 车载实时影像分享系统、方法、设备及存储介质
KR20200023702A (ko) 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
CN106918347A (zh) 具有终点处的3d鸟瞰视图的交互式3d导航系统
CN110214263A (zh) 导航系统、计算机程序产品和车载装置
WO2021202416A1 (en) Systems and methods for deriving planned paths for vehicles using path priors
CN109213144A (zh) 人机接口(hmi)架构
CN110147085A (zh) 一种自动驾驶的测试方法、测试装置及测试系统
US10025798B2 (en) Location-based image retrieval
EP2523062B1 (en) Time phased imagery for an artificial point of view
CN109376664A (zh) 机器学习训练方法、装置、服务器和介质
WO2022199195A1 (zh) 地图更新方法、系统、车载终端、服务器及存储介质
Guvenc et al. Simulation Environment for Safety Assessment of CEAV Deployment in Linden
CN112810603A (zh) 定位方法和相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant