CN102865824B - 一种计算车辆间相对距离的方法和装置 - Google Patents

一种计算车辆间相对距离的方法和装置 Download PDF

Info

Publication number
CN102865824B
CN102865824B CN201210348292.9A CN201210348292A CN102865824B CN 102865824 B CN102865824 B CN 102865824B CN 201210348292 A CN201210348292 A CN 201210348292A CN 102865824 B CN102865824 B CN 102865824B
Authority
CN
China
Prior art keywords
vehicle
center
coordinate system
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210348292.9A
Other languages
English (en)
Other versions
CN102865824A (zh
Inventor
蔡绍晓
李晨
陈筱婧
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingwei Hirain Tech Co Ltd
Original Assignee
Beijing Jingwei Hirain Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingwei Hirain Tech Co Ltd filed Critical Beijing Jingwei Hirain Tech Co Ltd
Priority to CN201210348292.9A priority Critical patent/CN102865824B/zh
Publication of CN102865824A publication Critical patent/CN102865824A/zh
Application granted granted Critical
Publication of CN102865824B publication Critical patent/CN102865824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种计算车辆间相对距离的方法及装置,包括获取主车前方车辆的视频信息;根据所述视频信息得到车灯区域,并对所述车灯区域进行分类;对所述分类后的车灯区域进行跟踪,并对属于同一车辆的车灯进行配对,跟踪同一车辆的车灯连线的中心;根据所述中心得到所述前方车辆相对于所述主车的距离。本发明的实施例能够通过视频采集以及对视频的处理,识别到车辆的车灯区域,并将车灯区域分类,对分类后的车灯区域进行针对性的计算,使得计算结果更加精确,得到精确的主车前方车辆相对于主车的距离。

Description

一种计算车辆间相对距离的方法和装置
技术领域
本发明涉及汽车技术领域,更具体的说是涉及一种计算车辆间相对距离的方法和装置。
背景技术
近年来,随着人们生活水平的不断提高及汽车工业的迅猛发展,我国汽车数量越来越多。
在夜间行车时,由于车外环境的低照度会造成驾驶员获得前方及周围的路况信息比白天少,因此大多数驾驶员会打开车辆的车灯进行照明,然而,如果主车前方车辆车灯的灯光直射,驾驶员可能会因为灯光的强光造成暂时性视力障碍,进而影响行车安全。目前,市场上出现一种驾驶员辅助装置,其可以通过获取前方车辆的车灯信息来计算前方车辆与主车的距离,进而调整主车车灯的照射角度。
但是,现有的驾驶员辅助装置能够有效的发现障碍物,提醒驾驶员进行远近光灯的切换,但是其不能精确计算主车前方车辆相对于主车的距离,进而不能精确调整车灯照射角度。因此,如何根据前方车辆的车灯信息来精确计算前方车辆与主车的距离成为本领域技术人员亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种计算车辆间相对距离的方法和装置,解决现有的驾驶员辅助装置不能精确计算主车前方车辆相对于主车距离的缺陷。
一种计算车辆间相对距离的方法,包括:
获取主车前方车辆的视频信息;
根据所述视频信息得到车灯区域,并对所述车灯区域进行分类;
对所述分类后的车灯区域进行跟踪,并对属于同一车辆的车灯进行配对,跟踪同一车辆的车灯连线的中心;
根据所述中心得到所述前方车辆相对于所述主车的距离。
优选的,在上述方法中,所述根据所述视频信息得到车灯区域,并对所述车灯区域进行分类,包括:
对所述视频信息进行单帧处理,得到单帧图像;
从所述单帧图像中提取光源区域并得到相应的区域参数;
根据所述区域参数去除伪车灯区域,得到车灯区域;
将所述车灯区域的区域参数输入分类器,所述分类器对所述车灯区域进行分类,如果判定所述车灯区域为前灯,则将所述车灯区域归入前灯集合,如果判定所述车灯区域为后灯,则将所述车灯区域归入后灯集合。
优选的,在上述方法中,所述根据所述中心得到所述前方车辆相对于所述主车的距离包括:
选定所述主车最前端在地面上的点为世界坐标系的原点,所述单帧图像中的点为图像坐标系中的坐标点;
根据所述中心在所述图像坐标系中的坐标、从预先生成的坐标查找表中查找所述中心在摄像头坐标系中的坐标,根据所述中心在所述摄像头坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt2和水平距离xtgt2
优选的,在上述方法中,所述根据所述中心得到所述前方车辆相对于所述主车的距离包括:
选定所述主车最前端在地面上的点为世界坐标系的原点;
利用公式dtgt1=(hcam-hvehicle)/tan(θtgt)-dcam计算所述同一车辆相对于所述原点的垂直距离dtgt1,其中,θtgtcam+arctan(v/Fv),θcam为图像采集器相对于水平面的俯仰角,所述图像采集器获取主车前方车辆的视频信息,hvehicle表示所述同一车辆的车灯相对于地面的高度,dcam表示所述图像采集器到所述原点的垂直距离,v表示在图像坐标系中,所述同一车辆车灯连线中心在垂直方向上相对于图像中心位置的偏移量,Fv表示所述图像采集器的垂直焦距,hcam为所述图像采集器相对于地面的高度;
利用公式xtgt1=(dtgt×u)/Fu-xcam计算所述同一车辆相对于所述原点的水平距离xtgt1,其中,u表示在所述图像坐标系中,所述同一车辆的车灯连线中心在水平方向上相对于图像中心位置的偏移量,Fu表示所述图像采集器的水平焦距,xcam表示所述图像采集器到所述原点的水平距离。
优选的,在上述方法中,所述根据所述中心得到所述前方车辆相对于所述主车的距离,包括:
所述中心在世界坐标系中的坐标为:
Y=[dtgt,xtgt]T1*Y12*Y2
其中,Y1=[dtgt1,xtgt1]T,Y2=[dtgt2,xtgt2]T,λ1和λ2表示归一化的权重因子, λ 1 = λ ~ 1 / ( λ ~ 1 + λ ~ 2 ) , λ 2 = λ ~ 2 / ( λ ~ 1 + λ ~ 2 ) , λ ~ 1 = exp ( - 0.5 * R Y - 1 * ( Y 1 - Y ^ ) 2 ) , λ ~ 2 = exp ( - 0.5 * R Y - 1 * ( Y 2 - Y ^ ) 2 ) , Y ^ = d k , x k T 表示在所述世界坐标系中,车灯连线中心经卡尔曼滤波后的预测坐标向量,RY表示量测噪声协方差矩阵,dtgt2和xtgt2为,根据所述中心在所述图像坐标系中的坐标、从预先生成的坐标查找表中查找所述中心在摄像头坐标系中的坐标,根据所述中心在所述摄像头坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt2和水平距离xtgt2
根据所述中心在所述世界坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt和水平距离xtgt
另外,本发明实施例还一种计算车辆间相对距离的装置,包括图像采集器和控制器;
图像采集器,用于获取主车前方车辆的视频信息,并将所述视频信息传输给所述控制器;
所述控制器包括车灯分类单元、跟踪单元和距离确定单元,其中,
所述车灯分类单元,用于从所述图像采集器接收所述视频信息,根据所述视频信息得到车灯区域,并对所述车灯区域进行分类,并将所述分类后的车灯区域传输给所述跟踪单元;
所述跟踪单元,用于从所述车灯分类单元接收所述分类后的车灯区域,对所述分类后的车灯区域进行跟踪,并对属于同一车辆的车灯进行配对,跟踪同一车辆的车灯连线的中心,并将所述中心的中心信息传输给所述距离确定单元;
所述距离确定单元,用于从所述跟踪单元接收所述中心信息,根据所述中心得到所述前方车辆相对于所述主车的距离。
优选的,在上述装置中,所述车灯分类单元包括视频处理模块、参数确定模块、车灯区域确定模块和车灯区域分类模块:
所述视频处理模块,用于对所述视频信息进行单帧处理,得到单帧图像,并将所述单帧图像传输给所述参数确定单元;
所述参数确定模块,用于从所述视频处理模块接收所述单帧图像,从所述单帧图像中提取光源区域并得到相应的区域参数,并将所述区域参数传输给车灯分类单元;
所述车灯区域确定模块,用于根据所述区域参数去除伪车灯区域,得到车灯区域,并将所述车灯区域传输给所述车灯区域分类模块;
所述车灯区域分类模块,用于从所述车灯区域确定模块接收所述车灯区域,并将所述车灯区域的区域参数输入分类器,所述分类器对所述车灯区域进行分类,如果判定所述车灯区域为前灯,则将所述车灯区域归入前灯集合,如果判定所述车灯区域为后灯,则将所述车灯区域归入后灯集合。
优选的,在上述装置中,所述距离确定单元包括第一原点确定模块和第一距离计算模块;
所述第一原点确定模块,用于选定所述主车最前端在地面上的点为世界坐标系的原点;
所述第一距离计算模块,用于根据所述中心在所述图像坐标系中的坐标、从预先生成的坐标查找表中查找所述中心在摄像头坐标系中的坐标,根据所述中心在所述摄像头坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt2和水平距离xtgt2
其中,所述单帧图像中的点为图像坐标系中的坐标点。
优选的,在上述装置中,所述距离确定单元包括第二原点确定模块、垂直距离计算模块和水平距离计算模块;
所述第二原点确定模块,用于选定所述主车最前端在地面上的点为世界坐标系的原点;
所述垂直距离计算模块,用于利用公式dtgt1=(hcam-hvehicle)/tan(θtgt)-dcam计算所述同一车辆相对于所述原点的垂直距离dtgt1,其中,θtgtcam+arctan(v/Fv),θcam为图像采集器相对于水平面的俯仰角,所述图像采集器获取主车前方车辆的视频信息,hvehicle表示所述同一车辆的车灯相对于地面的高度,dcam表示所述图像采集器到所述原点的垂直距离,v表示在图像坐标系中,所述同一车辆车灯连线中心在垂直方向上相对于图像中心位置的偏移量,Fv表示所述图像采集器的垂直焦距,hcam为所述图像采集器相对于地面的高度;
所述水平距离计算模块,用于利用公式xtgt1=(dtgt×u)/Fu-xcam计算所述同一车辆相对于所述原点的水平距离xtgt1,其中,u表示在所述图像坐标系中,所述同一车辆的车灯连线中心在水平方向上相对于图像中心位置的偏移量,Fu表示所述图像采集器的水平焦距,xcam表示所述图像采集器到所述原点的水平距离。
优选的,在上述装置中,所述距离确定单元还包括中心确定模块和距离计算模块;
所述中心确定模块,用于确定所述中心在所述世界坐标系中的坐标,所述中心在所述世界坐标系中的坐标为:
Y=[dtgt,xtgt]T1*Y12*Y2
其中,Y1=[dtgt1,xtgt1]T,Y2=[dtgt2,xtgt2]T,λ1和λ2表示归一化的权重因子, λ 1 = λ ~ 1 / ( λ ~ 1 + λ ~ 2 ) , λ 2 = λ ~ 2 / ( λ ~ 1 + λ ~ 2 ) , λ ~ 1 = exp ( - 0.5 * R Y - 1 * ( Y 1 - Y ^ ) 2 ) , λ ~ 2 = exp ( - 0.5 * R Y - 1 * ( Y 2 - Y ^ ) 2 ) , Y ^ = d k , x k T 表示在所述世界坐标系中,车灯连线中心经卡尔曼滤波后的预测坐标向量,RY表示量测噪声协方差矩阵,dtgt2和xtgt2为,根据所述中心在所述图像坐标系中的坐标、从预先生成的坐标查找表中查找所述中心在摄像头坐标系中的坐标,根据所述中心在所述摄像头坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt2和水平距离xtgt2
所述距离计算模块,用于根据所述中心在所述世界坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt和水平距离xtgt
上述技术方案中具有如下有益效果:
经由上述的技术方案可知,与现有技术相比,
当主车前方有车辆时,本发明的实施例能够通过视频采集以及对视频的处理,识别到车辆的车灯区域,并将车灯区域分类,对分类后的车灯区域进行针对性的计算,使得计算结果更加精确,得到精确的主车前方车辆相对于主车的距离。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的计算车辆间相对距离方法的一种流程示意图;
图2为本发明实施例提供的计算车辆间相对距离方法的场景应用侧视图;
图3为本发明实施例提供的计算车辆间相对距离方法的场景应用俯视图;
图4为本发明实施例提供的计算车辆间相对距离装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参考图1,本发明实施例示出了一种计算车辆间相对距离的流程示意图,包括:
步骤101:获取主车前方车辆的视频信息。
由图像采集器获取主车前方车辆的视频信息,图像采集器可以为摄像头,摄像头可以安装在挡风玻璃之后,车内后视镜之前的位置,其安装的角度根据摄像头输出图像的情况调节到一个合适的位置。主车前方的车辆可以是同向行驶的车辆,也可以是会车车辆,车辆可以有两辆或两辆以上,若两辆以上的车辆需互不遮挡,主车可以获取本车前方车辆的视频信息。
步骤102:根据视频信息得到车灯区域,并对车灯区域进行分类。
具体地,包括以下步骤1021-1023:
步骤1021:对视频信息进行单帧处理,得到单帧图像,从单帧图像中提取光源区域并得到相应的区域参数。
对视频信息进行单帧处理,得到单帧图像,图像中任意一像素点都有自己的灰度值,预先设定一个灰度阈值TH,遍历图像中自动需要处理的区域ROI(Region of Interest),如果某一像素点的八连通区域内的灰度值都大于等于上述灰度阈值TH,该像素点就有可能是光源区域,对该像素点做标记。以标记过的像素点为中心像素点向外围搜索,将灰度值大于等于N倍中心像素点的像素点与中心像素点归为同一光源区域,其中,N倍为预先设定的倍数,在实际应用中,N可以为0.9,需要说明的是,N还可以为其他数值,在此不做限定。记录光源区域的标号以及区域参数,区域参数可以包括像素个数、平均灰度、区域上/下/左/右边界、以及区域重心位置等参数。
进一步的,还可以将不同标号的光源区域有重叠的部分进行属性合并,得到光源区域的区域参数,该过程可以具体包括以下步骤:如果相邻光源区域边界有交叉和/或包含关系,则进行属性的合并。
步骤1022:根据区域参数去除伪车灯区域,得到车灯区域。
根据区域参数去除伪车灯区域,得到车灯区域。在得到的单帧图像中,对图像进行处理操作,去除伪车灯区域,比如前照灯在地面上的反射光对应的光源区域,图像中成像形状严重不符合前照灯形状的光源区域,过大或过小的光源区域等。
步骤1023:将车灯区域的区域参数输入分类器,分类器对车灯区域进行分类,如果判定车灯区域为前灯,则将车灯区域归入前灯集合,如果判定车灯区域为后灯,则将所述车灯区域归入后灯集合。
分类器是用支持向量机(support vector machine)对线下采集到的光源区域训练而得到的。线下采集到的光源区域是一些样本数据,支持向量机对这些样本数据进行训练,得到结果,也即分类器。分类器是根据上述样本数据而得来的,其是确定某一车灯区域所属类别,进行判断的依据。将上述车灯区域的区域参数输入分类器,分类器对车灯区域进行分类,如果判定上述车灯区域为前灯,则将车灯区域归入前灯集合,如果判定上述车灯区域为后灯,则将车灯区域归入后灯集合。上述区域参数至少包括像素个数、平均灰度、区域上/下/左/右边界、以及区域重心位置等参数。
步骤103:对分类后的车灯区域进行跟踪,并对属于同一车辆的车灯进行配对,跟踪同一车辆的车灯连线的中心。
通常的,同一车辆的车灯是相同的,比如车灯的大小,形状,颜色等属性,根据车灯的上述某些相同属性的相似程度,将任意两个车灯区域的上述属性对应相除,再将各个属性比值的结果连乘,结果值越大,说明两个车灯区域越相似,其来源于同一车辆的可能性越大。
分别在前灯集合和后灯集合中,对连续的图像帧检测到的车灯区域进行关联,并用粒子滤波的原理进行跟踪,以使连续图像帧间的同一光源能够正确对应并得到滤波后的车灯重心和运动矢量。
其包含的具体过程如下:
设计关联代价函数:S=α(xk-xk-1)2+β(yk-yk-1)2+γ(bk-bk-1)2+δ(nk-nk-1)2,连续的单帧图像间车灯区域的一一对应关系,其中:k/k-1分别表示当前帧和前一帧;x表示车灯区域的水平重心、y表示车灯区域的垂直重心、b表示车灯区域的灰度均值、n表示车灯区域的有效像素数目;α、β、γ、δ分别表示对应属性的系数,α=0.1、β=0.1、γ=0.01、δ=0.01。S表示两个车灯区域的相似度,S值越小,说明两个车灯区域越相似,也即说明两个车灯区域越可能是不同时刻的同一个光源,比较连续的单帧图像间车灯区域的相似度S,如果相似度S小于预设值,则将车灯区域的重心输入卡尔曼滤波器,跟踪并实时更新车灯区域的重心的坐标信息。
在得到滤波后的车灯重心和运动矢量之后,判断车灯区域的状态,状态包括新生、连续存在或消失,用粒子滤波的方法对新生或连续存在车灯区域的重心和运动矢量进行跟踪及实时更新,并根据跟踪到的车灯区域的重心和运动矢量信息,结合车灯区域在垂直方向上的重叠率、高度、宽度、大小、形状、颜色等属性,判断同一车灯区域集合中任意两个光源是否属于同一车辆,如果是,将该两车灯区域配对,计算该车灯连线的中心在图像上的坐标,将车灯区域的中心坐标输入卡尔曼滤波器,运用数据关联和卡尔曼滤波,实时更新车灯连线中心的跟踪结果。
步骤104:根据中心得到前方车辆相对于主车的距离。
选定主车最前端在地面上的点为世界坐标系的原点,单帧图像中的点为图像坐标系中的坐标点;根据中心在图像坐标系中的坐标、从预先生成的坐标查找表中查找中心在摄像头坐标系中的坐标,根据中心在摄像头坐标系中的坐标计算得到前方车辆相对于原点的垂直距离dtgt和水平距离xtgt
其中:
摄像头用于获取主车前方车辆的视频信息。
下面介绍三种坐标系:
摄像头坐标系:摄像头坐标系的原点为摄像头光心,x轴与y轴与图像的X,Y轴平行,z轴为摄像头光轴,它与图像平面垂直。
图像坐标系:摄像头采集的图像以标准信号的形式经高速图像采集系统转换为数字图像,并输入计算机。每幅数字图像在计算机内为M*N数组,M行N列的图像中的每一个像素的数值即是图像点的亮度(或称灰度)。在图像上定义直角坐标系u,v,每个像素的坐标(u,v)分别以该像素为单位的图像坐标系坐标。由于(u,v)只表示像素位于数组中的列数和行数,并没有用物理单位表示出该像素在图像中的位置。因此,需要再建立以物理单位(毫米)表示的图像坐标系。该坐标系以图像内某一点(摄像头光轴与图像平面的交点)为原点。X轴与Y轴分别与u,v轴平行。每个像素在X轴、Y轴方向上的物理尺寸为dX、dY,则可建立摄像头坐标系与图像坐标系两个坐标系的关系。
世界坐标系:由于摄像机可安放在环境中的任意位置,在环境中选择一个基准坐标系来描述摄像机的位置,并用它描述环境中任何物体的位置,该坐标系称为世界坐标系。
摄像头坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。
其中,上述坐标查找表的生成过程为:
图像坐标系中某点坐标为Xuv,根据摄像头坐标系与图像坐标系的相互关系,以及摄像头的参数得到Xuv在摄像头坐标系中归一化的坐标Xc1(xc1,yc1):
            Xc1=[(Xuv-cc)/fc-dr-dt 1]T=[xc1 yc1 1]T
其中,cc表示光心坐标,fc=[Fu Fv]T,dr表示径向失真,dt表示切向失真;获取在世界坐标系中前方车辆的车灯高度为hvehicle的点在摄像头坐标系中的坐标Xc,Xc=[xc1*zc,yc1*zc,zc]T,其中,zc表示与车灯高度hvehicle有关的景深;Xuv在世界坐标系的坐标为:Xw=Rc -1*Xc-Rc -1*Tc,其中,Rc表示旋转矩阵,Tc表示平移矩阵;遍历单帧图像的感兴趣区域,得到感兴趣区域中所有点对应的在世界坐标系中的坐标。
在根据中心得到前方车辆相对于主车的距离之后,利用距离计算得到主车的前照灯最佳的照射参数,调节主车的前照灯运动至照射参数的位置。需要说明的是,获取的视频信息可能为多辆车辆的视频信息,主车前方有其它车辆时,最佳的照射参数指的是:主车前照灯的照射角度完全在检测到的,与主车距离最近的车辆车灯的下方,并且主车左右两个前照灯分别向左或向右偏转使得其灯光完全不会照射到前方车辆身上的照射角度;另外,如果主车前方没有其它车辆时,主车前照灯的照射角度为远光照射状态,也就是说,当主车前方没有其它车辆时,主车前照灯的照射角度恢复为远光照射时的状态。具体的,照射参数可以包括前照灯的水平照射度数和/或俯仰照射角度。
当主车前方有两辆或两辆以上互不遮挡的车时,本申请的实施例能够通过视频采集以及对视频的处理,识别到车辆的车灯区域,并将车灯区域分类,对分类后的车灯区域进行针对性的计算,使得计算结果更加精确,得到精确的主车前方车辆相对于主车的距离,并根据主车前方车辆相对于主车的距离准确的调整前照灯的偏转角度,也即照射高度和水平偏转角度,准确的调整前照灯的偏转角度能够避免前照灯对其它车辆驾驶员造成的眩晕。此外,当车辆前方没有其它车辆时,本发明实施例提供的方案能够识别到前方没有车辆,调整前照灯的照射高度和水平偏转角度到远光照射状态,本发明的实施例提供的技术方案,不需要驾驶员手动切换远近光灯,解决了现有技术中驾驶员频繁手动切换远近光灯以适应行车的需要,操作复杂的缺陷。
在本发明的其他实施例中,能够通过几何方法根据同一车辆的车灯连线的中心得到前方车辆相对于主车的距离。
参考图2和图3,其中,在图2和图3中,1为主车,2为主车1会车的车辆(本发明实施例以会车为例,但并不局限于此),3为主车1上安装的图像采集器,4为车辆2上的前照灯。主车1和车辆2分别依照图中箭头方向行驶。
该步骤可以具体包括:
获取图像采集器相对于水平面的俯仰角θcam
获取图像采集器相对于地面的高度hcam
利用公式dtgt1=(hcam-hvehicle)/tan(θtgt)-dcam计算同一车辆(车辆2)相对于原点的垂直距离dtgt1;其中,hvehicle表示同一车辆的车灯相对于地面的高度,若车灯分类后为前灯,则hvehicle=0.6m,若车灯分类后为后灯,则hvehicle=0.8m;dcam表示图像采集器到原点的垂直距离;θtgtcam+arctan(v/Fv),其中,v表示在图像坐标系中,同一车辆车灯连线中心在垂直方向上相对于图像中心(单帧图像帧高度/2,单帧图像帧宽度/2)位置的偏移量;Fv表示图像采集器的垂直焦距。
利用公式xtgt1=(dtgt×u)/Fu-xcam计算同一车辆相对于原点的水平距离xtgt1,其中,u表示在图像坐标系中,同一车辆的车灯连线中心在水平方向上相对于图像中心位置的偏移量;Fu表示图像采集器的水平焦距;xcam表示图像采集器到原点的水平距离。
进一步的,获取俯仰角θcam以及高度hcam可以为:
获取主车的前轴轴高信息和后轴轴高信息,计算由于车辆颠簸或负载变化等原因造成的摄像头的俯仰角偏差Δθ和高度偏差Δh,结合主车在水平地面静止时标定得到的原始俯仰角θori和原始高度hori,得到摄像头相对于水平面的实时俯仰角θcam及实时高度hcam,其中,θcamori+Δθ,hcam=hori+Δh。
当主车由于负载变化,或路面颠簸,或行驶在坡路上,或加减速等引起俯仰姿态发生变化时,该方法能够通过前后轴的轴高信号及时修正摄像头的俯仰角和高度信息,调整前照灯的照射高度和偏转角度,提高驾驶员视觉舒适性并避免干扰前方驾驶员。
进一步的,在本发明的其他实施例中,根据同一车辆的车灯连线的中心得到前方车辆相对于主车的距离的步骤还可以为:
计算该分类后的车灯连线中心在世界坐标系中的坐标,该坐标为:
Y=[dtgt,xtgt]T1*Y12*Y2
其中,
Y1=[dtgt1,xtgt1]T
Y2=[dtgt2,xtgt2]T
λ1和λ2表示归一化的权重因子, λ 1 = λ ~ 1 / ( λ ~ 1 + λ ~ 2 ) , λ 2 = λ ~ 2 / ( λ ~ 1 + λ ~ 2 ) , 其中, λ ~ 1 = exp ( - 0.5 * R Y - 1 * ( Y 1 - Y ^ ) 2 ) , λ ~ 2 = exp ( - 0.5 * R Y - 1 * ( Y 2 - Y ^ ) 2 ) , Y ^ = d k , x k T 表示在世界坐标系中,车灯连线中心经卡尔曼滤波后的预测坐标向量,RY表示量测噪声协方差矩阵。
在得到车灯连线中心在世界坐标系中的坐标之后,根据中心在世界坐标系中的坐标计算得到前方车辆相对于原点的垂直距离dtgt和水平距离xtgt。本实施例中的方案是将上述实施例方案分别计算出来的距离值进行融合计算,最终的计算结果相比单独的方法而言,数值更加准确,精度更高。
与上述方法对应的,参考图4,本发明实施例还公开了一种车辆间相对距离计算装置,包括图像采集器U41和控制器U42;
图像采集器U41,用于获取主车前方车辆的视频信息,并将上述视频信息传输给控制器U42。
控制器U42包括车灯分类单元、跟踪单元和距离确定单元,其中:
车灯分类单元,用于从上述图像采集器接收上述视频信息,根据上述视频信息得到车灯区域,并对上述车灯区域进行分类,并将上述分类后的车灯区域传输给上述跟踪单元。
跟踪单元,用于从上述车灯分类单元接收上述分类后的车灯区域,对上述分类后的车灯区域进行跟踪,并对属于同一车辆的车灯进行配对,跟踪同一车辆的车灯连线的中心,并将上述中心的中心信息传输给上述距离确定单元。
距离确定单元,用于从上述跟踪单元接收上述中心信息,根据上述中心得到上述前方车辆相对于上述主车的距离。
当主车前方有两辆或两辆以上互不遮挡的车时,本申请的实施例能够通过视频采集以及对视频的处理,识别到车辆的车灯区域,并将车灯区域分类,对分类后的车灯区域进行针对性的计算,使得计算结果更加精确,得到精确的主车前方车辆相对于主车的距离,并根据主车前方车辆相对于主车的距离准确的调整前照灯的偏转角度,也即照射高度和水平偏转角度,准确的调整前照灯的偏转角度能够避免前照灯对其它车辆驾驶员造成的眩晕。此外,当车辆前方没有其它车辆时,本发明实施例提供的方案能够识别到前方没有车辆,调整前照灯的照射高度和水平偏转角度到远光照射状态,本发明的实施例提供的技术方案,不需要驾驶员手动切换远近光灯,解决了现有技术中驾驶员频繁手动切换远近光灯以适应行车的需要,操作复杂的缺陷。
进一步的,在本发明的其他实施例中,车灯分类单元包括视频处理模块、参数确定模块、车灯区域确定模块和车灯区域分类模块:
视频处理模块,用于对上述视频信息进行单帧处理,得到单帧图像,并将单帧图像传输给上述参数确定单元。
参数确定模块,用于从上述视频处理模块接收单帧图像,从上述单帧图像中提取光源区域并得到相应的区域参数,并将区域参数传输给车灯分类单元。
车灯区域确定模块,用于根据区域参数去除伪车灯区域,得到车灯区域,并将车灯区域传输给上述车灯区域分类模块。
车灯区域分类模块,用于从上述车灯区域确定模块接收车灯区域,并将车灯区域的区域参数输入分类器,分类器对车灯区域进行分类,如果判定车灯区域为前灯,则将车灯区域归入前灯集合,如果判定车灯区域为后灯,则将车灯区域归入后灯集合。
进一步的,在本发明的其他实施例中,上述距离确定单元包括第一原点确定模块和第一距离计算模块;
第一原点确定模块,用于选定主车最前端在地面上的点为世界坐标系的原点。
第一距离计算模块,用于根据上述中心在图像坐标系中的坐标、从预先生成的坐标查找表中查找上述中心在摄像头坐标系中的坐标,根据上述中心在摄像头坐标系中的坐标计算得到前方车辆相对于上述原点的垂直距离dtgt2和水平距离xtgt2。其中,单帧图像中的点为图像坐标系中的坐标点。
进一步的,在本发明的其他实施例中,上述距离确定单元包括第二原点确定模块、垂直距离计算模块和水平距离计算模块;
第二原点确定模块,用于选定主车最前端在地面上的点为世界坐标系的原点。
垂直距离计算模块,用于利用公式dtgt1=(hcam-hvehicle)/tan(θtgt)-dcam计算同一车辆相对于上述原点的垂直距离dtgt1,其中,θtgtcam+arctan(v/Fv),θcam为图像采集器相对于水平面的俯仰角,上述图像采集器获取主车前方车辆的视频信息,hvehicle表示同一车辆的车灯相对于地面的高度,dcam表示图像采集器到上述原点的垂直距离,v表示在图像坐标系中,同一车辆车灯连线中心在垂直方向上相对于图像中心位置的偏移量,Fv表示上述图像采集器的垂直焦距,hcam为上述图像采集器相对于地面的高度。
水平距离计算模块,用于利用公式xtgt1=(dtgt×u)Fu-xcam计算同一车辆相对于上述原点的水平距离xtgt1,其中,u表示在图像坐标系中,同一车辆的车灯连线中心在水平方向上相对于图像中心位置的偏移量,Fu表示图像采集器的水平焦距,xcam表示图像采集器到上述原点的水平距离。进一步的,在本发明的其他实施例中,上述距离确定单元还包括中心确定模块和距离计算模块;
中心确定模块,用于确定上述中心在世界坐标系中的坐标,上述中心在世界坐标系中的坐标为:
Y=[dtgt,xtgt]T1*Y12*Y2
其中,Y1=[dtgt1,xtgt1]T,Y2=[dtgt2,xtgt2]T,λ1和λ2表示归一化的权重因子, λ 1 = λ ~ 1 / ( λ ~ 1 + λ ~ 2 ) , λ 2 = λ ~ 2 / ( λ ~ 1 + λ ~ 2 ) , λ ~ 1 = exp ( - 0.5 * R Y - 1 * ( Y 1 - Y ^ ) 2 ) , λ ~ 2 = exp ( - 0.5 * R Y - 1 * ( Y 2 - Y ^ ) 2 ) , Y ^ = d k , x k T 表示在世界坐标系中,车灯连线中心经卡尔曼滤波后的预测坐标向量,RY表示量测噪声协方差矩阵,dtgt2和xtgt2为,根据上述中心在图像坐标系中的坐标、从预先生成的坐标查找表中查找上述中心在摄像头坐标系中的坐标,根据上述中心在摄像头坐标系中的坐标计算得到前方车辆相对于上述原点的垂直距离dtgt2和水平距离xtgt2
距离计算模块,用于根据上述中心在世界坐标系中的坐标计算得到前方车辆相对于上述原点的垂直距离dtgt和水平距离xtgt
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
最后,还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种计算车辆间相对距离的方法,其特征在于,包括:
获取主车前方车辆的视频信息;
根据所述视频信息得到车灯区域,并对所述车灯区域进行分类;
对所述分类后的车灯区域进行跟踪,并对属于同一车辆的车灯进行配对,跟踪同一车辆的车灯连线的中心;
根据所述中心得到所述前方车辆相对于所述主车的距离;
其中,所述根据所述视频信息得到车灯区域,并对所述车灯区域进行分类,包括:
对所述视频信息进行单帧处理,得到单帧图像,从所述单帧图像中提取光源区域并得到相应的区域参数;
根据所述区域参数去除伪车灯区域,得到车灯区域;
将所述车灯区域的区域参数输入分类器,所述分类器对所述车灯区域进行分类,如果判定所述车灯区域为前灯,则将所述车灯区域归入前灯集合,如果判定所述车灯区域为后灯,则将所述车灯区域归入后灯集合;
其中,所述根据所述中心得到所述前方车辆相对于所述主车的距离包括:
选定所述主车最前端在地面上的点为世界坐标系的原点;
利用公式dtgt1=(hcam-hvehicle)/tan(θtgt)-dcam计算所述同一车辆相对于所述原点的垂直距离dtgt1,其中,θtgt=θcam+arctan(v/Fv),θcam为图像采集器相对于水平面的俯仰角,所述图像采集器获取主车前方车辆的视频信息,hvehicle表示所述同一车辆的车灯相对于地面的高度,dcam表示所述图像采集器到所述原点的垂直距离,v表示在图像坐标系中,所述同一车辆车灯连线中心在垂直方向上相对于图像中心位置的偏移量,Fv表示所述图像采集器的垂直焦距,hcam为所述图像采集器相对于地面的高度;
利用公式xtgt1=(dtgt1×u)/Fu-xcam计算所述同一车辆相对于所述原点的水平距离xtgt1,其中,u表示在所述图像坐标系中,所述同一车辆的车灯连线中心在水平方向上相对于图像中心位置的偏移量,Fu表示所述图像采集器的水平焦距,xcam表示所述图像采集器到所述原点的水平距离;
其中,所述根据所述中心得到所述前方车辆相对于所述主车的距离,包括:
所述中心在世界坐标系中的坐标为:
Y=[dtgt,xtgt]T=λ1*Y12*Y2
其中,Y1=[dtgt1,xtgt1]T,Y2=[dtgt2,xtgt2]T,λ1和λ2表示归一化的权重因子, 表示在所述世界坐标系中,车灯连线中心经卡尔曼滤波后的预测坐标向量,dk表示根据所述中心经过卡尔曼滤波后在所述世界坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离,xk表示根据所述中心经过卡尔曼滤波后在所述世界坐标系中的坐标计算得到所述前方车辆相对于所述原点的水平距离,RY表示量测噪声协方差矩阵,dtgt2和xtgt2为,根据所述中心在所述图像坐标系中的坐标、从预先生成的坐标查找表中查找所述中心在摄像头坐标系中的坐标,根据所述中心在所述摄像头坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt2和水平距离xtgt2
根据所述中心在所述世界坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt和水平距离xtgt
2.根据权利要求1所述的方法,其特征在于,所述根据所述中心得到所述前方车辆相对于所述主车的距离包括:
选定所述主车最前端在地面上的点为世界坐标系的原点,所述单帧图像中的点为图像坐标系中的坐标点;
根据所述中心在所述图像坐标系中的坐标、从预先生成的坐标查找表中查找所述中心在摄像头坐标系中的坐标,根据所述中心在所述摄像头坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt2和水平距离xtgt2
3.一种计算车辆间相对距离的装置,其特征在于,包括图像采集器和控制器;
图像采集器,用于获取主车前方车辆的视频信息,并将所述视频信息传输给所述控制器;
所述控制器包括车灯分类单元、跟踪单元和距离确定单元,其中,
所述车灯分类单元,用于从所述图像采集器接收所述视频信息,根据所述视频信息得到车灯区域,并对所述车灯区域进行分类,并将所述分类后的车灯区域传输给所述跟踪单元;
所述跟踪单元,用于从所述车灯分类单元接收所述分类后的车灯区域,对所述分类后的车灯区域进行跟踪,并对属于同一车辆的车灯进行配对,跟踪同一车辆的车灯连线的中心,并将所述中心的中心信息传输给所述距离确定单元;
所述距离确定单元,用于从所述跟踪单元接收所述中心信息,根据所述中心得到所述前方车辆相对于所述主车的距离;
其中,所述车灯分类单元包括视频处理模块、参数确定模块、车灯区域确定模块和车灯区域分类模块:
所述视频处理模块,用于对所述视频信息进行单帧处理,得到单帧图像,并将所述单帧图像传输给所述参数确定单元;
所述参数确定模块,用于从所述视频处理模块接收所述单帧图像,从所述单帧图像中提取光源区域并得到相应的区域参数,并将所述区域参数传输给车灯分类单元;
所述车灯区域确定模块,用于根据所述区域参数去除伪车灯区域,得到车灯区域,并将所述车灯区域传输给所述车灯区域分类模块;
所述车灯区域分类模块,用于从所述车灯区域确定模块接收所述车灯区域,并将所述车灯区域的区域参数输入分类器,所述分类器对所述车灯区域进行分类,如果判定所述车灯区域为前灯,则将所述车灯区域归入前灯集合,如果判定所述车灯区域为后灯,则将所述车灯区域归入后灯集合;
其中,所述距离确定单元包括第二原点确定模块、垂直距离计算模块和水平距离计算模块;
所述第二原点确定模块,用于选定所述主车最前端在地面上的点为世界坐标系的原点;
所述垂直距离计算模块,用于利用公式dtgt1=(hcam-hvehicle)/tan(θtgt)-dcam计算所述同一车辆相对于所述原点的垂直距离dtgt1,其中,θtgt=θcam+arctan(v/Fv),θcam为图像采集器相对于水平面的俯仰角,所述图像采集器获取主车前方车辆的视频信息,hvehicle表示所述同一车辆的车灯相对于地面的高度,dcam表示所述图像采集器到所述原点的垂直距离,v表示在图像坐标系中,所述同一车辆车灯连线中心在垂直方向上相对于图像中心位置的偏移量,Fv表示所述图像采集器的垂直焦距,hcam为所述图像采集器相对于地面的高度;
所述水平距离计算模块,用于利用公式xtgt1=(dtgt1×u)/Fu-xcam计算所述同一车辆相对于所述原点的水平距离xtgt1,其中,u表示在所述图像坐标系中,所述同一车辆的车灯连线中心在水平方向上相对于图像中心位置的偏移量,Fu表示所述图像采集器的水平焦距,xcam表示所述图像采集器到所述原点的水平距离;
其中,所述距离确定单元还包括中心确定模块和距离计算模块;
所述中心确定模块,用于确定所述中心在所述世界坐标系中的坐标,所述中心在所述世界坐标系中的坐标为:
Y=[dtgt,xtgt]T=λ1*Y12*Y2
其中,Y1=[dtgt1,xtgt1]T,Y2=[dtgt2,xtgt2]T,λ1和λ2表示归一化的权重因子, 表示在所述世界坐标系中,车灯连线中心经卡尔曼滤波后的预测坐标向量,dk表示根据所述中心经过卡尔曼滤波后在所述世界坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离,xk表示根据所述中心经过卡尔曼滤波后在所述世界坐标系中的坐标计算得到所述前方车辆相对于所述原点的水平距离,RY表示量测噪声协方差矩阵,dtgt2和xtgt2为,根据所述中心在所述图像坐标系中的坐标、从预先生成的坐标查找表中查找所述中心在摄像头坐标系中的坐标,根据所述中心在所述摄像头坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt2和水平距离xtgt2
所述距离计算模块,用于根据所述中心在所述世界坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt和水平距离xtgt
4.根据权利要求3所述的装置,其特征在于,所述距离确定单元包括第一原点确定模块和第一距离计算模块;
所述第一原点确定模块,用于选定所述主车最前端在地面上的点为世界坐标系的原点;
所述第一距离计算模块,用于根据所述中心在所述图像坐标系中的坐标、从预先生成的坐标查找表中查找所述中心在摄像头坐标系中的坐标,根据所述中心在所述摄像头坐标系中的坐标计算得到所述前方车辆相对于所述原点的垂直距离dtgt2和水平距离xtgt2
其中,所述单帧图像中的点为图像坐标系中的坐标点。
CN201210348292.9A 2012-09-18 2012-09-18 一种计算车辆间相对距离的方法和装置 Active CN102865824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210348292.9A CN102865824B (zh) 2012-09-18 2012-09-18 一种计算车辆间相对距离的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210348292.9A CN102865824B (zh) 2012-09-18 2012-09-18 一种计算车辆间相对距离的方法和装置

Publications (2)

Publication Number Publication Date
CN102865824A CN102865824A (zh) 2013-01-09
CN102865824B true CN102865824B (zh) 2015-08-19

Family

ID=47444847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210348292.9A Active CN102865824B (zh) 2012-09-18 2012-09-18 一种计算车辆间相对距离的方法和装置

Country Status (1)

Country Link
CN (1) CN102865824B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809775A (zh) * 2016-05-06 2016-07-27 深圳芯智汇科技有限公司 行车记录仪及其提醒前车起步的方法
JPWO2018062335A1 (ja) * 2016-10-02 2019-07-25 一 笠原 位置情報特定方法、位置情報特定装置、及び、位置情報特定プログラム
JP6179654B1 (ja) * 2016-11-09 2017-08-16 トヨタ自動車株式会社 車両の制御装置
CN107796373B (zh) * 2017-10-09 2020-07-28 长安大学 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN108022404A (zh) * 2017-10-18 2018-05-11 广州市果豆科技有限责任公司 一种基于多摄像头的停车报警方法及系统
CN108538060A (zh) * 2018-04-13 2018-09-14 上海工程技术大学 一种基于车载后视摄像头的智能违章监测方法及系统
CN110329143A (zh) * 2019-07-30 2019-10-15 火丁智能照明(广东)有限公司 自动控制车前灯照射范围的方法和装置
CN113218361B (zh) * 2020-01-21 2023-02-17 上海汽车集团股份有限公司 摄像机测距方法及装置
CN112630774B (zh) * 2020-12-29 2024-07-05 北京经纬恒润科技股份有限公司 一种目标跟踪数据滤波处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3777799B2 (ja) * 1998-06-23 2006-05-24 日産自動車株式会社 車間距離制御装置
CN1904549A (zh) * 2005-07-27 2007-01-31 现代奥途纳特株式会社 通告车辆安全距离的设备和方法
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3777799B2 (ja) * 1998-06-23 2006-05-24 日産自動車株式会社 車間距離制御装置
CN1904549A (zh) * 2005-07-27 2007-01-31 现代奥途纳特株式会社 通告车辆安全距离的设备和方法
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法

Also Published As

Publication number Publication date
CN102865824A (zh) 2013-01-09

Similar Documents

Publication Publication Date Title
CN102865824B (zh) 一种计算车辆间相对距离的方法和装置
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警系统及方法
O'Malley et al. Vehicle detection at night based on tail-light detection
EP1671216B1 (en) Moving object detection using low illumination depth capable computer vision
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
CN103600707B (zh) 一种智能泊车系统的泊车位检测装置及方法
EP3480057B1 (en) Rear obstruction detection
CN104657735B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
US9384401B2 (en) Method for fog detection
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
JP2021192303A (ja) ライダー支援システム及び方法
CN102685516A (zh) 立体视觉主动安全辅助驾驶方法
JP2019029940A (ja) 付着物検出装置、および、それを備えた車両システム
WO2016125377A1 (ja) 画像処理装置、および車両システム
CN103548069B (zh) 用于识别可能的碰撞对象的方法和装置
JP4980970B2 (ja) 撮像手段の調整装置および物体検出装置
KR20170104287A (ko) 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법
CN114998452B (zh) 一种车载摄像头在线标定方法及系统
JP6355161B2 (ja) 車両用撮像装置
KR20080004833A (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
CN111414857B (zh) 一种基于视觉的多特征融合的前方车辆检测方法
JP2014016981A (ja) 移動面認識装置、移動面認識方法及び移動面認識用プログラム
US20230098440A1 (en) Imaging device, imaging system, and imaging method
US20130147983A1 (en) Apparatus and method for providing location information
JP3942289B2 (ja) 車両監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: 4 / F, building 1, No.14 Jiuxianqiao Road, Chaoyang District, Beijing 100020

Patentee after: Beijing Jingwei Hirain Technologies Co.,Inc.

Address before: 8 / F, block B, No. 11, Anxiang Beili, Chaoyang District, Beijing 100101

Patentee before: Beijing Jingwei HiRain Technologies Co.,Ltd.

CP03 Change of name, title or address