CN104299244A - 基于单目相机的障碍物检测方法及装置 - Google Patents
基于单目相机的障碍物检测方法及装置 Download PDFInfo
- Publication number
- CN104299244A CN104299244A CN201410512682.4A CN201410512682A CN104299244A CN 104299244 A CN104299244 A CN 104299244A CN 201410512682 A CN201410512682 A CN 201410512682A CN 104299244 A CN104299244 A CN 104299244A
- Authority
- CN
- China
- Prior art keywords
- point
- frame image
- subclass
- target
- alpha
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于单目相机的障碍物检测方法及装置,所述方法包括:获取单目相机拍摄的目标帧图像及其相邻帧图像;在相邻帧图像的初始特征点集合中删除不稳定特征点,以得到相邻帧图像的优选特征点集合;对目标特征点集合进行子集合划分以得到若干目标特征点子集合;对于每一个目标特征点子集合,根据其对应的地面投影点集合内的点在目标帧时刻和相邻帧时刻的距离变化值,判断该目标特征点子集合是否属于障碍物;将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标帧图像中的障碍物点集合。在本申请实施例中,可以提高障碍物点的检测准确率,以及,障碍物检测的效率。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种基于单目相机的障碍物检测方法及装置。
背景技术
随着科技的进步,在人们生活中汽车及导航的应用也越来越普及,而基于视觉的障碍物检测也在汽车辅助驾驶、机器人导航等领域有重要应用。可用于障碍物检测的传感器有单目相机、立体相机、激光、雷达或红外传感器等,其中单目相机由于安装方便、体积小、成本低等优点在障碍物检测领域具有更广阔的应用前景。
现有技术基于单目相机的障碍物检测方法有多种,例如基于外观特征的方法。基于外观特征的方法在实现时,可以利用所要检测的障碍物的纹理、颜色、边缘、对称性或形状等特征训练分类器进行检测。
但是该类方法仅仅适用于检测特定类型的障碍物,例如行人或车辆等,如需要检测多个类型的障碍物,则需要训练多个分类器,而训练多个分类器的过程繁琐复杂,使得现有技术进行障碍物检测时效率较低且容易出错。
发明内容
本申请所要解决的技术问题是提供一种基于单目相机的障碍物检测方法,用以尽量避免现有技术由于基于外观特征进行障碍物检测时需要训练多个分类器的情况,从而使得障碍物检测的过程更为简单易行,从而不仅提高障碍物检测的效率,同时也保证障碍物检测的准确率。
本申请还提供了一种基于单目相机的障碍物检测装置,用以保证上述方法在实际中的实现及应用。
为了解决上述问题,本申请公开了一种基于单目相机的障碍物检测方法,包括:
获取所述单目相机拍摄的目标帧图像及其相邻帧图像;
根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征点集合进行跟踪得到的结果,在所述相邻帧图像的初始特征点集合中删除不稳定特征点,以得到相邻帧图像的优选特征点集合;所述变换图像依据预设变换模型计算得到;
对目标特征点集合进行子集合划分以得到若干目标特征点子集合;其中,所述目标特征点集合通过将相邻帧图像的优选特征点集合在所述目标帧图像中进行跟踪而得到;
对于每一个目标特征点子集合,根据其对应的地面投影点集合内的点在目标帧时刻和相邻帧时刻的距离变化值,判断该目标特征点子集合是否属于障碍物;
将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标帧图像中的障碍物点集合。
可选的,所述根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征点集合进行跟踪得到的结果,在所述相邻帧图像的初始特征点集合中删除不稳定特征点,以得到相邻帧图像的优选特征点集合,包括:
采用预设特征点检测算法检测所述相邻帧图像中的特征点,以得到所述相邻帧图像的初始特征点集合;
根据预设变换模型计算所述相邻帧图像的变换图像;
采用预设特征点跟踪算法对所述初始特征点集合在所述变换图像中进行跟踪,以得到与所述初始特征点集合匹配的跟踪特征点集合;
判断所述初始特征点集合和跟踪特征点集合中各个特征点的差值是否大于预设差值阈值,如果是,则将对应的初始特征点在初始特征点集合中删除;
将删除之后的初始特征点集合确定为相邻帧图像的优选特征点集合。
可选的,所述对目标特征点集合进行子集合划分,具体为按照预设横向移动步长和纵向移动步长进行划分以得到若干目标特征点子集合,包括:
采用预设特征点跟踪算法将所述优选特征点集合在所述目标帧图像中进行跟踪得到目标特征点集合;
按照预设子块长和子块宽在所述目标帧图像中的任一角落划分出第一个目标特征点子集合;
将所述第一个目标特征点子集合对应的子块按照横向移动步长和/或纵向移动步长进行移动,并将每一次移动后的子块对应的像素点集合确定为目标特征点子集合,直至所述目标帧图像中的像素点全部划分完毕;其中,所述横向移动步长和纵向移动步长,分别对应小于或等于子块长和子块宽。
可选的,所述参考每一个目标特征点子集合对应的地面投影点集合内的像素点在目标帧时刻和前帧时刻的距离变化值,确定所述目标帧图像的障碍物点,包括:
确定所述目标特征点子集合中的像素点对应的地面投影点集合;
针对任一地面投影点集合,计算在目标帧时刻和前帧时刻各个地面投影点的距离变化总和的平均值;
判断所述距离变化总和的平均值是否大于预设距离变化阈值,如果是,则将该任一地面投影点集合对应的目标特征点子集合中的特征点确定为障碍物点,如果否,则继续选择下一个地面投影点集合计算距离变化总和的平均值,重复前述判断步骤,直至所有的地面投影点集合都判断完毕为止;
其中,所述平均值为:距离变化总和除以目标特征点子集合中的特征点对的数量得到的值,所述特征点对为:目标特征点子集合中的任意两个特征点构成的一个特征点对。
可选的,所述单目相机安装于目标载体上,其成像平面的像素坐标系为o_uv,则所述确定所述目标特征点子集合中的像素点对应的地面投影点集合,包括:
以所述单目相机的光心为原点建立世界坐标系O_XYZ,其中,OY轴垂直指向地面,OZ轴平行于地面且平行于所述单目相机的安装载体;
以所述单目相机的光心为原点建立相机坐标系O_X′Y′Z′,其中,OZ′轴与所述单目相机的光轴重合,OX′和OY′轴分别平行于成像平面的ou轴和ov轴;其中,相机坐标系为世界坐标系依次绕X轴、Y轴和Z轴旋转α、β和γ角度而得到;其中,α、β和γ在所述单目相机安装后由外参标定算法确定;
依据相机坐标系中的坐标与世界坐标系中的坐标之间的转换关系,以及相机坐标系中的坐标与成像平面中的坐标之间的对应关系,确定目标特征点子集合中的像素点对应的地面投影点集合,所述地面投影点集合为{(X,H,Z)},H为所述单目相机距离地面的高度;
其中,相机坐标系的坐标(X′,Y′,Z′)与世界坐标系的坐标(X,Y,Z)之间的转换关系为: 其中, sx≡sinx,cx≡cosx;
其中,相机坐标系中的坐标与成像平面中的坐标之间的对应关系为:(u,v)=F(X′,Y′,Z′),F为所述单目相机的投影模型,由所述单目相机的相机内参确定,所述相机内参由离线标定算法得到。
本申请公开了一种基于单目相机的障碍物检测装置,包括:
获取模块,用于获取所述单目相机拍摄的目标帧图像及其相邻帧图像;
预跟踪模块,用于根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征点集合进行跟踪得到的结果,在所述相邻帧图像的初始特征点集合中删除不稳定特征点,以得到相邻帧图像的优选特征点集合;所述变换图像依据预设变换模型计算得到;
子集合划分模块,用于对目标特征点集合进行子集合划分以得到若干目标特征点子集合;其中,所述目标特征点集合通过将相邻帧图像的优选特征点集合在所述目标帧图像中进行跟踪而得到;
判断模块,用于对于每一个目标特征点子集合,根据其对应的地面投影点集合内的点在目标帧时刻和相邻帧时刻的距离变化值,判断该目标特征点子集合是否属于障碍物;
确定模块,用于将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标帧图像中的障碍物点集合。
可选的,所述预跟踪模块,包括:
特征点检测子模块,用于采用预设特征点检测算法检测所述相邻帧图像中的特征点,以得到所述相邻帧图像的初始特征点集合;
计算子模块,用于根据预设变换模型计算所述相邻帧图像的变换图像;
跟踪子模块,用于采用预设特征点跟踪算法对所述初始特征点集合在所述变换图像中进行跟踪,以得到与所述初始特征点集合匹配的跟踪特征点集合;
第一判断子模块,用于判断所述初始特征点集合和跟踪特征点集合中各个特征点的差值是否大于预设差值阈值;
删除子模块,用于在所述第一判断子模块的结果为是的情况下,将对应的初始特征点在初始特征点集合中删除;
第一确定子模块,用于将删除之后的初始特征点集合确定为相邻帧图像的优选特征点集合。
可选的,所述子集合划分模块包括:
特征点跟踪子模块,用于采用预设特征点跟踪算法将所述优选特征点集合在所述目标帧图像中进行跟踪得到目标特征点集合;
第一划分子模块,用于按照预设子块长和子块宽在所述目标帧图像中的任一角落划分出第一个目标特征点子集合;
移动子模块,用于将所述第一个目标特征点子集合对应的子块按照横向移动步长和/或纵向移动步长进行移动;
第二划分子模块,用于将每一次移动后的子块对应的像素点集合确定为目标特征点子集合,直至所述目标帧图像中的像素点全部划分完毕;其中,所述横向移动步长和纵向移动步长,分别对应小于或等于子块长和子块宽。
可选的,所述判断模块包括:
第二确定子模块,用于确定所述目标特征点子集合中的像素点对应的地面投影点集合;
计算距离子模块,用于针对任一地面投影点集合,计算在目标帧时刻和前帧时刻各个地面投影点的距离变化总和的平均值;
第二判断子模块,用于判断所述距离变化总和的平均值是否大于预设距离变化阈值;
第三确定子模块,用于在所述第二判断子模块的结果为是的情况下,将该任一地面投影点集合对应的目标特征点子集合中的特征点确定为障碍物点;
触发子模块,用于在所述第二判断子模块的结果为否的情况下,则继续选择下一个地面投影点集合并触发所述计算距离子模块,直至所有的地面投影点集合都判断完毕为止;
其中,所述平均值为:距离变化总和除以目标特征点子集合中的特征点对的数量得到的值,所述特征点对为:目标特征点子集合中的任意两个特征点构成的一个特征点对。
可选的,所述第二确定子模块包括:
世界坐标系建立子模块,用于以所述单目相机的光心为原点建立世界坐标系O_XYZ,其中,OY轴垂直指向地面,OZ轴平行于地面且平行于所述单目相机的安装载体;
相机坐标系建立子模块,用于以所述单目相机的光心为原点建立相机坐标系O_X′Y′Z′,其中,OZ′轴与所述单目相机的光轴重合,OX′和OY′轴分别平行于成像平面的ou轴和ov轴;其中,相机坐标系为世界坐标系依次绕X轴、Y轴和Z轴旋转α、β和γ角度而得到;其中,α、β和γ在所述单目相机安装后由外参标定算法确定;
第四确定子模块,用于依据相机坐标系中的坐标与世界坐标系中的坐标之间的转换关系,以及相机坐标系中的坐标与成像平面中的坐标之间的对应关系,确定目标特征点子集合中的像素点对应的地面投影点集合,所述地面投影点集合为{(X,H,Z)},H为所述单目相机距离地面的高度;
其中,相机坐标系的坐标(X′,Y′,Z′)与世界坐标系的坐标(X,Y,Z)之间的转换关系为: 其中, sx≡sinx,cx≡cosx;
其中,相机坐标系中的坐标与成像平面中的坐标之间的对应关系为:(u,v)=F(X′,Y′,Z′),F为所述单目相机的投影模型,由所述单目相机的相机内参确定,所述相机内参由离线标定算法得到。
与现有技术相比,本申请包括以下优点:
在本申请实施例中,通过对相邻帧图像的变换图像进行预跟踪,可以将相邻帧图像中容易产生误匹配的特征点删除,从而得到的优选特征点集合在目标帧图像中进行跟踪时可以由于尽量避免了误匹配,而提高障碍物点的检测准确率。并且,本申请采用了针对目标帧图像中的目标特征点子集合,通过判断其地面投影点的距离变化来检测障碍物点,从而无需训练多个分类器,使得障碍物检测的过程更为简单易行,也提高了障碍物检测的效率。进一步的,本申请还可以检测任意类型的障碍物,且不需利用自车运动参数信息,不受相机类型的限制。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的基于单目相机的障碍物检测方法实施例的流程图;
图2a和图2b是本申请方法实施例中变换图像生成过程的示意图;
图3a、图3b、图3c和图3d是本申请方法实施例中基于预跟踪的稳定特征点检测及误匹配去除效果的示意图;
图4是本申请的方法实施例中对目标帧图像进行子块划分的示意图;
图5是本申请的方法实施例中单目相机的安装示意图;
图6是本申请的方法实施例中地面点在不同时刻的距离分析的示意图;
图7为本申请的方法实施例中障碍物点在不同时刻的距离分析的示意图;
图8a和图8b为本申请方法实施例中障碍物特征点检测结果的示意图;
图9为本申请的基于单目相机的障碍物检测装置实施例的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
参考图1,示出了本申请一种基于单目相机的障碍物检测方法实施例的流程图,本实施例可以包括以下步骤:
步骤101:获取所述单目相机拍摄的目标帧图像及其相邻帧图像。
本实施例在进行障碍物检测的过程中,所使用的相机可以是单目相机,首先获取到该单目相机拍摄的目标帧图像It以及该目标帧图像的相邻帧图像It-1,其中,t表示时间。
步骤102:根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征点集合进行跟踪得到的结果,在所述相邻帧图像的初始特征点集合中删除不稳定特征点,以得到相邻帧图像的优选特征点集合。
在本申请实施例中,通过在相邻帧图像It-1上进行特征点检测后,在其变换图像上进行特征点预跟踪的方式去除不稳定特征点,来避免在后续跟踪时误匹配特征点的产生。其中,变换图像依据预设变换模型计算得到。
其中,在实际应用中步骤102具体可以包括:
步骤A1:采用预设特征点检测算法检测所述相邻帧图像中的特征点,以得到所述相邻帧图像的初始特征点集合。
在本实施例中,可以采用预先设置好的特征点检测算法,例如harris角点检测算法来检测相邻帧图像It-1中的特征点,得到相邻帧图像的初始特征点集合St-1。当然,本领域技术人员也可采用其他特征点检测算法。
步骤A2:根据预设变换模型计算所述前帧图像的变换图像。
在本步骤中根据预设的变换模型来计算相邻帧图像It-1的变换图像I′t-1。在实际应用中,进行准确的障碍物点检测相应的需要准确得到,在t-1时刻相邻帧图像It-1中的特征点集合在t时刻的目标帧图像It中相对应的特征点集合。本步骤中则先计算相邻帧图像It-1对应的变换图像I′t-1,该变换图像要求尽可能和目标帧图像It相似或与关心的运动方向相关。公式一给出了一种可以参考的计算变化图像I′t-1的方法:
I′t-1(x,y)=It-1(x,y+Δy) (一)
其中,Δy为一个整数的像素坐标变化值,其取值例如可以为:Δy=5,当然,本领域技术人员也可以根据实际需求取其他值,例如,4,或者6,等等。可选的,还可以根据实际需求在一定范围内(例如4~6)遍历Δy,从而生成多幅假想的相邻帧图像I′t-1,从而进行多次预跟踪验证,得到更准确的变换图像。
参考图2a和图2b,为变换图像生成过程的示意图。在图2a中,相邻帧图像中有四个障碍物,障碍物201,障碍物202,障碍物203和障碍物204。而在图2b中,由于像素点的y坐标发生Δy的位移,因此障碍物203和204都只看到一部分,而多出了的部分无对应像素值Δy区域,则填充与图2a的相邻帧图像等亮度值的像素点。
步骤A3:采用预设特征点跟踪算法对所述初始特征点集合在所述变换图像中进行跟踪,以得到与所述初始特征点集合匹配的跟踪特征点集合。
在本步骤中,把相邻帧图像It-1中的初始特征点集合在变换图像I′t-1中进行预跟踪,具体的,可以采用例如Lucas and Kanade’s特征点跟踪方法来对初始特征点集合St-1在变换图像I′t-1中跟踪,以获得匹配的跟踪特征点集合S′t-1。
在本实施例中,根据变换模型公式(一)可知初始特征点集合St-1与跟踪特征点集合S′t-1中的特征点的对应关系,那么对于St-1中的特征点(xt-1,yt-1)和其在S′t-1中的匹配点(x′t-1,y′t-1),其对应关系如公式(二)所示:
步骤A3:判断所述初始特征点集合和跟踪特征点集合中各个特征点的差值是否大于预设差值阈值,如果是,则进入步骤A4。
在本步骤中,计算S′t-1与St-1中相互匹配的初始特征点和跟踪特征点之间的真实差异值,并判断真实差异值是否大于预设差值阈值。具体的,判断方式可以参考公式(三)所示:
其中,T1和T2可以由本领域技术人员依据实际需求自主设置,例如,将两者设置为:T1=T2=0.5。当然,T1和T2的具体数值的改变并不影响本申请的实现。
步骤A4:将对应的初始特征点在初始特征点集合中删除。
如果步骤A3中的判断结果为是,则说明对应的初始特征点为不符合预设变换模型(公式一)的特征点,从初始特征点集合St-1中删除该特征点。如果步骤A3中的判断结果为否,则无需删除对应的初始特征点,可以继续执行步骤A3判断其他初始特征点,直至初始特征点集合St-1中的特征点全部判断完毕为止。
步骤A5:将删除不合格特征点之后的初始特征点集合确定为相邻帧图像的优选特征点集合。
经过步骤A1~步骤A4,可以得到相邻帧图像It-1中不易产生误匹配的优选特征点集合St-1,而后续使用该集合在目标帧图像It中进行跟踪,可以得到较好的匹配特征点集。
参考图3a、图3b、图3c和图3d所示,图3a是由It-1和It产生的特征点匹配向量示意图,箭头方向指向目标帧图像It中匹配点为止,而虚线箭头则表示匹配错误的特征点。图3b为相邻帧图像It-1和变换图像I′t-1得到的点匹配向量示意图,箭头方向指向I′t-1中匹配点位置。图3c为根据预设变换模型(公式一)得到的相邻帧图像It-1和变换图像I′t-1之间的点匹配向量的理论值示意图。图3d为去除在变换图像中误差大的特征点,得到的目标帧图像It和相邻帧图像It-1之间的点匹配向量示意图。
接下来返回图1,进入步骤103:对目标特征点集合进行子集合划分以得到若干目标特征点子集合;其中,所述目标特征点集合通过将相邻帧图像的优选特征点集合在所述目标帧图像中进行跟踪而得到。
在本步骤中,采用预设跟踪算法,例如Lucas and Kanade’s特征点跟踪方法对特征点集合St-1在目标帧图像It中进行跟踪,获得匹配的目标特征点集合St。由于步骤102,已经对t-1时刻的特征点进行了预跟踪,去除了容易跟踪错误的特征点,因此得到的集合St与St-1之间的误匹配特征点大大减少。
具体在实现时,对目标特征点集合进行子集合划分有好多种方法,本申请中以最简单最快速的子块划分方式进行说明。其中,在进行子块划分时,本步骤可以包括:
步骤B1:采用预设特征点跟踪算法将所述优选特征点集合在所述目标帧图像中进行跟踪得到目标特征点集合。
步骤B2:按照预设子块长和子块宽在所述目标帧图像中的任一角落划分出第一个目标特征点子集合。
在获得目标特征点集合St后,对其进行子集合划分。首先,对目标帧图像It进行子块划分,子块之间可以有重叠。参考图4所示,为对目标帧图像进行子块划分的示意图。其中,每一子块的预设子块长和子块宽分别为ΔH,ΔW,子块中心的横向移动步长和纵向移动步长分别为Δn和Δm。其中,子块长、子块宽、横向移动步长和纵向移动步长的数值可以由本领域技术人员自主设置,例如,在本申请实施例中可以设置为:ΔH=ΔW=15,Δn=Δm=8。当然,具体数值的改变不影响本申请的实现。
步骤B3:将所述第一个目标特征点子集合对应的子块按照横向移动步长和/或纵向移动步长进行移动,并将每一次移动后的子块对应的像素点集合确定为目标特征点子集合,直至所述目标帧图像中的像素点全部划分完毕;其中,所述横向移动步长和纵向移动步长,分别对应小于子块长和子块宽。
具体的,可以先按照子块长和子块宽在目标帧图像的左上角划分出第一个子块,其中的像素点集合确定为第一个目标特征点子集合,然后,将第一个目标特征点子集合对应的子块按照横向移动步长和纵向移动步长分别进行移动,并将每一次移动后的子块覆盖的像素点集合确定为目标特征点子集合,直至所述目标帧图像中的像素点全部划分完毕。这样在后续的障碍物特征点检测过程中,将以每一个目标特征点子集合为单位进行判断。
其中,为了保证子块之间有重叠的情况,横向移动步长和纵向移动步长,可以分别对应小于子块长和子块宽。这就使得目标帧图像中的同一特征点可以被划分到不同的子集合中,以便可以防止因某一目标特征点子集合内障碍物特征点远远少于背景特征点,而导致障碍物检测结果的不完整。
上述子块划分方法的主要目的是将特征点进行子集合划分,以便计算特征点集合的距离变化值,实际上应用中,本领域技术人员也可以不通过子块划分的方式而是采取其他方法进行特征点子集合划分,如也可根据特征点位置,特征点光流大小、方向等进行聚类得到若干个特征点子集合。
接着进入步骤104:对于每一个目标特征点子集合,根据其对应的地面投影点集合内的像素点在目标帧时刻和相邻帧时刻的距离变化值,判断该目标特征点子集合是否属于障碍物。
接着,对于每一个目标特征点子集合,根据其对应的地面投影点集合内的像素点在目标帧时刻和相邻帧时刻的距离变化值,来判断该目标特征点子集合是否属于障碍物。具体在实施时,本步骤可以包括子步骤C1~C5:
步骤C1:确定所述目标特征点子集合中的像素点对应的地面投影点集合。
在本申请实施例中,单目相机安装于目标载体(例如车体或其他移动平台)上,参考图5所示,为单目相机的安装示意图。单目相机的成像平面的像素坐标系为o_uv,则子步骤C1又可以包括子步骤D1~D3:
步骤D1:以所述单目相机的光心为原点建立世界坐标系O_XYZ,其中,OY轴垂直指向地面,OZ轴平行于地面且平行于所述单目相机的安装载体。
以图5中的单目相机的光心为原点建立世界坐标系O_XYZ,其中OY轴垂直指向地面,OZ轴平行于地面且平行于单目相机安装的车体上。
步骤D2:以所述单目相机的光心为原点建立相机坐标系O_X′Y′Z′,其中,OZ′轴与所述单目相机的光轴重合,OX′和OY′轴分别平行于成像平面的ou轴和ov轴。
以相机光心为原点建立相机坐标系O_X′Y′Z′,其中,OZ′轴与单目相机的光轴重合,OX′和OY′轴分别平行于成像平面的ou轴和ov轴。单目相机的光心距离地面的高度为H,可以事先测量确定H的值。相机坐标系为世界坐标系依次绕X轴、Y轴和Z轴旋转α、β和γ角度而得到,其中,α、β和γ在所述单目相机安装后为固定值,可由外参标定算法确定。
步骤D3:依据相机坐标系中的坐标与世界坐标系中的坐标之间的转换关系,以及相机坐标系中的坐标与成像平面中的坐标之间的对应关系,确定目标特征点子集合中的像素点对应的地面投影点集合,所述地面投影点集合为{(X,H,Z)},H为所述单目相机距离地面的高度。
在分别建立世界坐标系和相机坐标系之后,对于空间中任意一点P,其在相机坐标系中的坐标(X′,Y′,Z′)和在世界坐标系中的坐标(X,Y,Z)存在如公式(四)所示的转化关系:
其中,R的计算方式如公式(五)所示:
其中,sx≡sinx,cx≡cosx。
此外,对于相机坐标系中可被所述单目相机拍摄到的点P(X′,Y′,Z′)来讲,在成像平面中存在唯一的一点p(u,v)与之对应,相机坐标系中的坐标(X′,Y′,Z′)与成像平面中的坐标p(u,v)之间的对应关系可以如公式(六)所示:
(u,v)=F(X′,Y′,Z′) (六)
其中,F为单目相机的投影模型,可以由单目相机的相机类型(例如,平面相机、鱼眼相机)和相机内参确定,而相机内参可以由离线标定算法得到。
对于平面相机,公式(六)可以转换为如下所示的公式(七):
其中,u0和v0为单目相机的内参,f为单目相机的焦距,dx和dy分别为像素宽和高的物理尺寸,(u0,v0)为光轴与成像平面交点的像素坐标。由几何关系可知,在图5所示的直线OP上有无数点都具有相同的成像点p(u,v),在这种情况下函数F是不可逆的。但是对于地面上的点,函数F是可逆的。这是由于在世界坐标系中地面点具有确定的Y坐标值(Y=H),因此地面点与图像点存在一一对应关系。对于目标帧图像中消失线下方内的任意特征点,由公式(四)和公式(六)可以计算其在世界坐标系中的地面投影点坐标(X,H,Z)。
而对于图像中消失线上方的特征点,由于其一定高出地面,可以确定为障碍物区域的特征点,不需要考虑,本申请中的障碍物特征点检测仅针对消失线下方的特征点进行。
步骤C2:针对任一地面投影点集合,计算在目标帧时刻和相邻帧时刻各个地面投影点的距离变化总和的平均值。
对于每个目标特征点子集合,根据目标特征点在t-1时刻和t时刻的相互距离变化值判断当前特征点子集合是否为障碍物特征点子集合。因为对于属于同一目标特征点子集合的特征点,如果其为地面特征点,那么地面投影点坐标即为其在三维空间中的真正坐标点,地面投影点间的距离在不同时刻的世界坐标系中保持不变。而如果某个目标特征点子集合中含有障碍物上的特征点,那么地面投影点间的距离在不同时刻的世界坐标系中将会发生改变,基于此可以进行障碍物特征点检测。
因此,在本步骤中计算在t-1时刻和t时刻各个地面投影点的距离变化值。具体的,对于目标帧图像It中第k个特征点子集合其对应的t-1时刻匹配特征点集为其中,nk表示点的个数。对于目标特征点子集合中任意两个特征点和可以根据公式(四)和(六)计算相应的t时刻和t-1时刻的地面投影点及
具体的,如果特征点和为地面特征点,参考图6所示,为地面点在不同时刻的距离分析的示意图,地面特征点在t时刻的距离与t-1时刻距离相等,即满足如下所示的公式:
如果特征点和其中至少有一个为障碍物点,参考图7所示,为障碍物点在不同时刻的距离分析的示意图,其t时刻的距离(即线段AtBt的长度)与t-1时刻距离(即线段At-1Bt-1的长度)不相等。
步骤C3:判断所述距离变化总和的平均值是否大于预设距离变化阈值,如果是,则进入步骤C4。如果否,则进入步骤C5。
在本步骤中,对于目标特征点子集合统计目标特征点的地面投影点在t-1时刻和t时刻的距离变化总和的平均值λk,统计方式参考如下所示的公式(九):
其中,nk≥2,而距离变化阈值T3可以由本领域技术人员依据实际需求自主设置,例如T3=0.1,当距离变化总和的平均值大于距离变化阈值即λk>T3时,则可以确定当前目标特征点子集合为障碍物特征点。其中,将距离变化总和除以目标特征点子集合中的特征点对的数量得到的值即为平均值λk,而目标特征点子集合中任意两个互不相同的特征点构成一个特征点对,将其中的特征点全部遍历之后即可得到目标特征点子集合中的特征点对的数量,即当然,T3的具体数值并不影响本申请的实现。
步骤C4:将该任一地面投影点集合对应的目标特征点子集合中的特征点确定为障碍物点。
将距离总和大于预设距离阈值的地面投影点集合对应的目标特征点子集合确定为障碍物点。
步骤C5:继续选择下一个地面投影点集合计算距离变化总和的平均值,并重复步骤C3,直至所有的地面投影点集合都判断完毕为止。
再接着对其他地面投影点集合计算距离变化总和的平均值,并判断该距离变化总和的平均值是否大于预设距离阈值,直至所有的地面投影点集合都判断完毕为止,在这种情况下,所有的障碍物点集合都已经确定完毕。
步骤105:将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标帧图像中的障碍物点集合。
通过公式(九),可以将所有检测为障碍物的目标特征点子集合的和集确定为最后的障碍物点集合。具体的,障碍物特征点检测结果可以参考图8所示。图8a为原始图像,而图8b则为障碍物特征点检测结果的示意图,其中,黑影部分表示检测到的障碍物特征点。
介绍完具体的实施例之后,接着返回图1,在步骤104之后,在不同的实施例中,还可以包括:
步骤105:输出所述目标帧图像的障碍物点集合。
在检测出目标帧图像的障碍物点集合之后,将其输出给用户。
可见,在本申请实施例中,通过对相邻帧图像的变换图像进行预跟踪,可以将相邻帧图像中容易产生误匹配的特征点删除,从而得到的优选特征点集合在目标帧图像中进行跟踪时可以由于尽量避免了误匹配,而提高障碍物点的检测准确率。并且,本申请采用了针对目标帧图像中的目标特征点子集合,通过判断其地面投影点的距离变化来检测障碍物点,从而无需训练多个分类器,使得障碍物检测的过程更为简单易行,也提高了障碍物检测的效率。进一步的,本申请还可以检测任意类型的障碍物,且不需利用自车运动参数信息,不受相机类型的限制。
对于前述的方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
与上述本申请一种基于单目相机的障碍物检测方法实施例所提供的方法相对应,参见图9,本申请还提供了一种基于单目相机的障碍物检测装置实施例,在本实施例中,该装置可以包括:
获取模块901,用于获取所述单目相机拍摄的目标帧图像及其相邻帧图像。
预跟踪模块902,用于根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征点集合进行跟踪得到的结果,在所述相邻帧图像的初始特征点集合中删除不稳定特征点,以得到相邻帧图像的优选特征点集合;所述变换图像依据预设变换模型计算得到。
其中,预跟踪模块902,具体可以包括:
特征点检测子模块,用于采用预设特征点检测算法检测所述相邻帧图像中的特征点,以得到所述相邻帧图像的初始特征点集合;计算子模块,用于根据预设变换模型计算所述前阵图像的变换图像;跟踪子模块,用于采用预设特征点跟踪算法对所述初始特征点集合在所述变换图像中进行跟踪,以得到与所述初始特征点集合匹配的跟踪特征点集合;第一判断子模块,用于判断所述初始特征点集合和跟踪特征点集合中各个特征点的差值是否大于预设差值阈值;删除子模块,用于在所述第一判断子模块的结果为是的情况下,将对应的初始特征点在初始特征点集合中删除;以及,第一确定子模块,用于将删除之后的初始特征点集合确定为相邻帧图像的优选特征点集合。
子集合划分模块903,用于对目标特征点集合按照预设子块长和子块宽进行划分以得到若干目标特征点子集合;其中,所述目标特征点集合通过将相邻帧图像的优选特征点集合在所述目标帧图像中进行跟踪而得到。
其中,子块划分模块903具体可以包括:
特征点跟踪子模块,用于采用预设特征点跟踪算法将所述优选特征点集合在所述目标帧图像中进行跟踪得到目标特征点集合;第一划分子模块,用于按照预设子块长和子块宽在所述目标帧图像中的任一角落划分出第一个目标特征点子集合;移动子模块,用于将所述第一个目标特征点子集合对应的子块按照横向移动步长和/或纵向移动步长进行移动;第二划分子模块,用于将每一次移动后的子块对应的像素点集合确定为目标特征点子集合,直至所述目标帧图像中的像素点全部划分完毕;其中,所述横向移动步长和纵向移动步长,分别对应小于或等于子块长和子块宽。
判断模块904,用于对于每一个目标特征点子集合,根据其对应的地面投影点集合内的像素点在目标帧时刻和相邻帧时刻的距离变化值,判断该目标特征点子集合是否属于障碍物。
其中,所述判断模块904具体可以包括:
第二确定子模块,用于确定所述目标特征点子集合中的像素点对应的地面投影点集合;计算距离子模块,用于针对任一地面投影点集合,计算在目标帧时刻和前帧时刻各个地面投影点的距离变化总和的平均值;第二判断子模块,用于判断所述距离变化总和的平均值是否大于预设距离变化阈值;第三确定子模块,用于在所述第二判断子模块的结果为是的情况下,将该任一地面投影点集合对应的目标特征点子集合中的特征点确定为障碍物点;以及,触发子模块,用于在所述第二判断子模块的结果为否的情况下,则继续选择下一个地面投影点集合并触发所述计算距离子模块,直至所有的地面投影点集合都判断完毕为止。
其中,所述第二确定子模块包括:
世界坐标系建立子模块,用于以所述单目相机的光心为原点建立世界坐标系O_XYZ,其中,OY轴垂直指向地面,OZ轴平行于地面且平行于所述单目相机的安装载体;相机坐标系建立子模块,用于以所述单目相机的光心为原点建立相机坐标系O_X′Y′Z′,其中,OZ′轴与所述单目相机的光轴重合,OX′和OY′轴分别平行于成像平面的ou轴和ov轴;其中,相机坐标系为世界坐标系依次绕X轴、Y轴和Z轴旋转α、β和γ角度而得到;其中,α、β和γ在所述单目相机安装后由外参标定算法确定;以及,第四确定子模块,用于依据相机坐标系中的坐标与世界坐标系中的坐标之间的转换关系,以及相机坐标系中的坐标与成像平面中的坐标之间的对应关系,确定目标特征点子集合中的像素点对应的地面投影点集合,所述地面投影点集合为{(X,H,Z)},H为所述单目相机距离地面的高度;其中,相机坐标系的坐标(X′,Y′,Z′)与世界坐标系的坐标(X,Y,Z)之间的转换关系为: 其中, sx≡sinx,cx≡cosx;其中,相机坐标系中的坐标与成像平面中的坐标之间的对应关系为:(u,v)=F(X′,Y′,Z′),F为所述单目相机的投影模型,由所述单目相机的相机内参确定,所述相机内参由离线标定算法得到。
确定模块905,用于将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标帧图像中的障碍物点集合。
可选的,在不同实施例中,该装置还可以包括:
输出模块906,用于输出所述目标帧图像的障碍物点集合。
在本装置实施例中,通过对相邻帧图像的变换图像进行预跟踪,可以将相邻帧图像中容易产生误匹配的特征点删除,从而得到的优选特征点集合在目标帧图像中进行跟踪时可以由于尽量避免了误匹配,而提高障碍物点的检测准确率。并且,本申请采用了针对目标帧图像中的目标特征点子集合,通过判断其地面投影点的距离变化来检测障碍物点,从而无需训练多个分类器,使得障碍物检测的过程更为简单易行,也提高了障碍物检测的效率。进一步的,本申请还可以检测任意类型的障碍物,且不需利用自车运动参数信息,不受相机类型的限制。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的基于单目相机的障碍物检测方法及装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于单目相机的障碍物检测方法,其特征在于,该方法包括:
获取所述单目相机拍摄的目标帧图像及其相邻帧图像;
根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征点集合进行跟踪得到的结果,在所述相邻帧图像的初始特征点集合中删除不稳定特征点,以得到相邻帧图像的优选特征点集合;所述变换图像依据预设变换模型计算得到;
对目标特征点集合进行子集合划分以得到若干目标特征点子集合;其中,所述目标特征点集合通过将相邻帧图像的优选特征点集合在所述目标帧图像中进行跟踪而得到;
对于每一个目标特征点子集合,根据其对应的地面投影点集合内的点在目标帧时刻和相邻帧时刻的距离变化值,判断该目标特征点子集合是否属于障碍物;
将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标帧图像中的障碍物点集合。
2.根据权利要求1所述的方法,其特征在于,所述根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征点集合进行跟踪得到的结果,在所述相邻帧图像的初始特征点集合中删除不稳定特征点,以得到相邻帧图像的优选特征点集合,包括:
采用预设特征点检测算法检测所述相邻帧图像中的特征点,以得到所述相邻帧图像的初始特征点集合;
根据预设变换模型计算所述相邻帧图像的变换图像;
采用预设特征点跟踪算法对所述初始特征点集合在所述变换图像中进行跟踪,以得到与所述初始特征点集合匹配的跟踪特征点集合;
判断所述初始特征点集合和跟踪特征点集合中各个特征点的差值是否大于预设差值阈值,如果是,则将对应的初始特征点在初始特征点集合中删除;
将删除之后的初始特征点集合确定为相邻帧图像的优选特征点集合。
3.根据权利要求1所述的方法,其特征在于,所述对目标特征点集合进行子集合划分,具体为按照预设横向移动步长和纵向移动步长进行划分以得到若干目标特征点子集合,包括:
采用预设特征点跟踪算法将所述优选特征点集合在所述目标帧图像中进行跟踪得到目标特征点集合;
按照预设子块长和子块宽在所述目标帧图像中的任一角落划分出第一个目标特征点子集合;
将所述第一个目标特征点子集合对应的子块按照横向移动步长和/或纵向移动步长进行移动,并将每一次移动后的子块对应的像素点集合确定为目标特征点子集合,直至所述目标帧图像中的像素点全部划分完毕;其中,所述横向移动步长和纵向移动步长,分别对应小于或等于子块长和子块宽。
4.根据权利要求1所述的方法,其特征在于,所述参考每一个目标特征点子集合对应的地面投影点集合内的像素点在目标帧时刻和前帧时刻的距离变化值,确定所述目标帧图像的障碍物点,包括:
确定所述目标特征点子集合中的像素点对应的地面投影点集合;
针对任一地面投影点集合,计算在目标帧时刻和前帧时刻各个地面投影点的距离变化总和的平均值;
判断所述距离变化总和的平均值是否大于预设距离变化阈值,如果是,则将该任一地面投影点集合对应的目标特征点子集合中的特征点确定为障碍物点,如果否,则继续选择下一个地面投影点集合计算距离变化总和的平均值,重复前述判断步骤,直至所有的地面投影点集合都判断完毕为止;
其中,所述平均值为:距离变化总和除以目标特征点子集合中的特征点对的数量得到的值,所述特征点对为:目标特征点子集合中的任意两个特征点构成的一个特征点对。
5.根据权利要求4所述的方法,其特征在于,所述单目相机安装于目标载体上,其成像平面的像素坐标系为o_uv,则所述确定所述目标特征点子集合中的像素点对应的地面投影点集合,包括:
以所述单目相机的光心为原点建立世界坐标系O_XYZ,其中,OY轴垂直指向地面,OZ轴平行于地面且平行于所述单目相机的安装载体;
以所述单目相机的光心为原点建立相机坐标系O_X′Y′Z′,其中,OZ′轴与所述单目相机的光轴重合,OX′和OY′轴分别平行于成像平面的ou轴和ov轴;其中,相机坐标系为世界坐标系依次绕X轴、Y轴和Z轴旋转α、β和γ角度而得到;其中,α、β和γ在所述单目相机安装后由外参标定算法确定;
依据相机坐标系中的坐标与世界坐标系中的坐标之间的转换关系,以及相机坐标系中的坐标与成像平面中的坐标之间的对应关系,确定目标特征点子集合中的像素点对应的地面投影点集合,所述地面投影点集合为{(X,H,Z)},H为所述单目相机距离地面的高度;
其中,相机坐标系的坐标(X′,Y′,Z′)与世界坐标系的坐标(X,Y,Z)之间的转换关系为: 其中, sx≡sinx,cx≡cosx;
其中,相机坐标系中的坐标与成像平面中的坐标之间的对应关系为:(u,v)=F(X′,Y′,Z′),F为所述单目相机的投影模型,由所述单目相机的相机内参确定,所述相机内参由离线标定算法得到。
6.一种基于单目相机的障碍物检测装置,其特征在于,包括:
获取模块,用于获取所述单目相机拍摄的目标帧图像及其相邻帧图像;
预跟踪模块,用于根据在所述相邻帧图像的变换图像上对所述相邻帧图像的初始特征点集合进行跟踪得到的结果,在所述相邻帧图像的初始特征点集合中删除不稳定特征点,以得到相邻帧图像的优选特征点集合;所述变换图像依据预设变换模型计算得到;
子集合划分模块,用于对目标特征点集合进行子集合划分以得到若干目标特征点子集合;其中,所述目标特征点集合通过将相邻帧图像的优选特征点集合在所述目标帧图像中进行跟踪而得到;
判断模块,用于对于每一个目标特征点子集合,根据其对应的地面投影点集合内的点在目标帧时刻和相邻帧时刻的距离变化值,判断该目标特征点子集合是否属于障碍物;
确定模块,用于将所有判断为属于障碍物的目标特征点子集合的和集确定为所述目标帧图像中的障碍物点集合。
7.根据权利要求6所述的装置,其特征在于,所述预跟踪模块,包括:
特征点检测子模块,用于采用预设特征点检测算法检测所述相邻帧图像中的特征点,以得到所述相邻帧图像的初始特征点集合;
计算子模块,用于根据预设变换模型计算所述相邻帧图像的变换图像;
跟踪子模块,用于采用预设特征点跟踪算法对所述初始特征点集合在所述变换图像中进行跟踪,以得到与所述初始特征点集合匹配的跟踪特征点集合;
第一判断子模块,用于判断所述初始特征点集合和跟踪特征点集合中各个特征点的差值是否大于预设差值阈值;
删除子模块,用于在所述第一判断子模块的结果为是的情况下,将对应的初始特征点在初始特征点集合中删除;
第一确定子模块,用于将删除之后的初始特征点集合确定为相邻帧图像的优选特征点集合。
8.根据权利要求6所述的装置,其特征在于,所述子集合划分模块包括:
特征点跟踪子模块,用于采用预设特征点跟踪算法将所述优选特征点集合在所述目标帧图像中进行跟踪得到目标特征点集合;
第一划分子模块,用于按照预设子块长和子块宽在所述目标帧图像中的任一角落划分出第一个目标特征点子集合;
移动子模块,用于将所述第一个目标特征点子集合对应的子块按照横向移动步长和/或纵向移动步长进行移动;
第二划分子模块,用于将每一次移动后的子块对应的像素点集合确定为目标特征点子集合,直至所述目标帧图像中的像素点全部划分完毕;其中,所述横向移动步长和纵向移动步长,分别对应小于或等于子块长和子块宽。
9.根据权利要求8所述的装置,其特征在于,所述判断模块包括:
第二确定子模块,用于确定所述目标特征点子集合中的像素点对应的地面投影点集合;
计算距离子模块,用于针对任一地面投影点集合,计算在目标帧时刻和前帧时刻各个地面投影点的距离变化总和的平均值;
第二判断子模块,用于判断所述距离变化总和的平均值是否大于预设距离变化阈值;
第三确定子模块,用于在所述第二判断子模块的结果为是的情况下,将该任一地面投影点集合对应的目标特征点子集合中的特征点确定为障碍物点;
触发子模块,用于在所述第二判断子模块的结果为否的情况下,则继续选择下一个地面投影点集合并触发所述计算距离子模块,直至所有的地面投影点集合都判断完毕为止;
其中,所述平均值为:距离变化总和除以目标特征点子集合中的特征点对的数量得到的值,所述特征点对为:目标特征点子集合中的任意两个特征点构成的一个特征点对。
10.根据权利要求9所述的装置,其特征在于,所述第二确定子模块包括:
世界坐标系建立子模块,用于以所述单目相机的光心为原点建立世界坐标系O_XYZ,其中,OY轴垂直指向地面,OZ轴平行于地面且平行于所述单目相机的安装载体;
相机坐标系建立子模块,用于以所述单目相机的光心为原点建立相机坐标系O_X′Y′Z′,其中,OZ′轴与所述单目相机的光轴重合,OX′和OY′轴分别平行于成像平面的ou轴和ov轴;其中,相机坐标系为世界坐标系依次绕X轴、Y轴和Z轴旋转α、β和γ角度而得到;其中,α、β和γ在所述单目相机安装后由外参标定算法确定;
第四确定子模块,用于依据相机坐标系中的坐标与世界坐标系中的坐标之间的转换关系,以及相机坐标系中的坐标与成像平面中的坐标之间的对应关系,确定目标特征点子集合中的像素点对应的地面投影点集合,所述地面投影点集合为{(X,H,Z)},H为所述单目相机距离地面的高度;
其中,相机坐标系的坐标(X′,Y′,Z′)与世界坐标系的坐标(X,Y,Z)之间的转换关系为: 其中, sx≡sinx,cx≡cosx;
其中,相机坐标系中的坐标与成像平面中的坐标之间的对应关系为:(u,v)=F(X′,Y′,Z′),F为所述单目相机的投影模型,由所述单目相机的相机内参确定,所述相机内参由离线标定算法得到。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410512682.4A CN104299244B (zh) | 2014-09-26 | 2014-09-26 | 基于单目相机的障碍物检测方法及装置 |
US14/673,876 US9521317B2 (en) | 2014-09-26 | 2015-03-31 | Method and apparatus for detecting obstacle based on monocular camera |
DE102015207676.8A DE102015207676B4 (de) | 2014-09-26 | 2015-04-27 | Verfahren und Vorrichtung zur Hinderniserkennung auf Basis einer monokularen Kamera |
JP2015092099A JP6031554B2 (ja) | 2014-09-26 | 2015-04-28 | 単眼カメラに基づく障害物検知方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410512682.4A CN104299244B (zh) | 2014-09-26 | 2014-09-26 | 基于单目相机的障碍物检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104299244A true CN104299244A (zh) | 2015-01-21 |
CN104299244B CN104299244B (zh) | 2017-07-25 |
Family
ID=52318966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410512682.4A Active CN104299244B (zh) | 2014-09-26 | 2014-09-26 | 基于单目相机的障碍物检测方法及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9521317B2 (zh) |
JP (1) | JP6031554B2 (zh) |
CN (1) | CN104299244B (zh) |
DE (1) | DE102015207676B4 (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106326866A (zh) * | 2016-08-25 | 2017-01-11 | 北京奇虎科技有限公司 | 车辆碰撞的预警方法及装置 |
CN106777269A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市佳都实业发展有限公司 | 用于构建动态地图的机器人及机器人构建动态地图的方法 |
CN107148639A (zh) * | 2015-09-15 | 2017-09-08 | 深圳市大疆创新科技有限公司 | 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统 |
CN107301646A (zh) * | 2017-06-27 | 2017-10-27 | 深圳市云洲创新科技有限公司 | 基于单目视觉的无人船智能避障方法和装置 |
CN109591698A (zh) * | 2017-09-30 | 2019-04-09 | 上海欧菲智能车联科技有限公司 | 盲区检测系统、盲区检测方法和车辆 |
CN109657638A (zh) * | 2018-12-28 | 2019-04-19 | 百度在线网络技术(北京)有限公司 | 障碍物定位方法、装置和终端 |
CN110197104A (zh) * | 2018-02-27 | 2019-09-03 | 杭州海康威视数字技术股份有限公司 | 基于车辆的测距方法及装置 |
CN110389583A (zh) * | 2018-04-16 | 2019-10-29 | 百度(美国)有限责任公司 | 生成自动驾驶车辆的轨迹的方法 |
CN111027381A (zh) * | 2019-11-06 | 2020-04-17 | 杭州飞步科技有限公司 | 利用单目相机识别障碍物的方法、装置、设备及存储介质 |
CN111046809A (zh) * | 2019-12-16 | 2020-04-21 | 中科院微电子研究所昆山分所 | 一种障碍物检测方法、装置、设备及计算机可读存储介质 |
CN111358361A (zh) * | 2018-12-26 | 2020-07-03 | 珠海市一微半导体有限公司 | 扫地机器人避线的控制方法、控制装置和计算机存储介质 |
US10860040B2 (en) | 2015-10-30 | 2020-12-08 | SZ DJI Technology Co., Ltd. | Systems and methods for UAV path planning and control |
CN112114664A (zh) * | 2020-08-21 | 2020-12-22 | 青岛小鸟看看科技有限公司 | 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机 |
TWI721324B (zh) * | 2018-10-10 | 2021-03-11 | 鴻海精密工業股份有限公司 | 電子裝置及立體物體的判斷方法 |
CN112507992A (zh) * | 2021-02-04 | 2021-03-16 | 腾讯科技(深圳)有限公司 | 道路图像之间的拍摄距离确定方法、装置、设备及介质 |
CN113391642A (zh) * | 2021-05-28 | 2021-09-14 | 西南交通大学 | 一种基于单目视觉的无人机自主避障方法及系统 |
US11933967B2 (en) | 2019-08-22 | 2024-03-19 | Red Creamery, LLC | Distally actuated scanning mirror |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510590A (zh) * | 2017-02-24 | 2018-09-07 | 北京图森未来科技有限公司 | 一种生成三维边界框的方法及装置 |
JP6894725B2 (ja) * | 2017-03-09 | 2021-06-30 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
JP6976733B2 (ja) * | 2017-06-14 | 2021-12-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US10671862B2 (en) | 2018-01-30 | 2020-06-02 | Wipro Limited | Method and system for detecting obstacles by autonomous vehicles in real-time |
CN108427940B (zh) * | 2018-04-04 | 2023-11-17 | 徐育 | 基于深度相机的饮水机出水智能控制装置及其控制方法 |
CN111047639B (zh) * | 2018-10-12 | 2023-08-18 | 深圳富联富桂精密工业有限公司 | 单目测距装置 |
CN111326023B (zh) * | 2018-12-13 | 2022-03-29 | 丰翼科技(深圳)有限公司 | 一种无人机航线预警方法、装置、设备及存储介质 |
CN111401114B (zh) * | 2019-02-12 | 2023-09-19 | 深圳市艾为智能有限公司 | 一种基于受限光流场横穿物体检测装置的横穿物体检测方法 |
CN110136047B (zh) * | 2019-05-22 | 2022-12-27 | 长沙莫之比智能科技有限公司 | 一种车载单目图像中静止目标三维信息获取方法 |
CN110634136B (zh) * | 2019-09-17 | 2022-09-13 | 北京华捷艾米科技有限公司 | 一种管道壁破损检测方法、装置及系统 |
CN110530273B (zh) * | 2019-09-23 | 2024-04-02 | 易思维(杭州)科技股份有限公司 | 基于结构光测量的涂胶信息检测方法 |
CN111127562B (zh) * | 2019-12-11 | 2023-03-28 | 长安大学 | 一种单目面阵相机的标定方法及自动标定系统 |
CN111368883B (zh) * | 2020-02-21 | 2024-01-19 | 浙江大华技术股份有限公司 | 基于单目摄像头的避障方法、计算装置及存储装置 |
CN111311656B (zh) * | 2020-02-21 | 2023-06-27 | 辽宁石油化工大学 | 一种适用于车载鱼眼相机的运动目标检测方法和装置 |
CN113554703B (zh) * | 2020-04-23 | 2024-03-01 | 北京京东乾石科技有限公司 | 机器人定位方法、装置、系统和计算机可读存储介质 |
CN112560769B (zh) * | 2020-12-25 | 2023-08-29 | 阿波罗智联(北京)科技有限公司 | 用于检测障碍物的方法、电子设备、路侧设备和云控平台 |
CN112711263A (zh) * | 2021-01-19 | 2021-04-27 | 未来机器人(深圳)有限公司 | 仓储自动导引车避障方法、装置、计算机设备和存储介质 |
CN112767373B (zh) * | 2021-01-27 | 2022-09-02 | 大连理工大学 | 一种基于单目相机的机器人室内复杂场景避障方法 |
CN113192130B (zh) * | 2021-05-31 | 2022-12-06 | 网易(杭州)网络有限公司 | 一种间距检测的方法和装置 |
CN113819890B (zh) * | 2021-06-04 | 2023-04-14 | 腾讯科技(深圳)有限公司 | 测距方法、装置、电子设备及存储介质 |
CN113313052B (zh) * | 2021-06-15 | 2024-05-03 | 杭州萤石软件有限公司 | 悬崖区域检测及移动机器人控制方法、装置及移动机器人 |
CN113268066B (zh) * | 2021-07-19 | 2021-11-12 | 福勤智能科技(昆山)有限公司 | 一种检测目标物的方法、装置、计算机设备及存储介质 |
CN113553958B (zh) * | 2021-07-27 | 2023-10-27 | 浙江大学 | 一种高速公路绿化带检测方法和装置 |
CN115578463B (zh) * | 2022-11-24 | 2023-04-07 | 苏州魔视智能科技有限公司 | 一种单目图像物体识别方法、装置及电子设备 |
CN116147567B (zh) * | 2023-04-20 | 2023-07-21 | 高唐县空间勘察规划有限公司 | 基于多元数据融合的国土测绘方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040178945A1 (en) * | 2001-06-23 | 2004-09-16 | Buchanan Alastair James | Object location system for a road vehicle |
CN101408978A (zh) * | 2008-11-27 | 2009-04-15 | 东软集团股份有限公司 | 一种基于单目视觉的障碍物检测方法及装置 |
CN101419667A (zh) * | 2008-12-15 | 2009-04-29 | 东软集团股份有限公司 | 识别图像中障碍物的方法和装置 |
US20100121577A1 (en) * | 2008-04-24 | 2010-05-13 | Gm Global Technology Operations, Inc. | Three-dimensional lidar-based clear path detection |
CN102508246A (zh) * | 2011-10-13 | 2012-06-20 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7248718B2 (en) * | 2004-02-19 | 2007-07-24 | Siemens Corporate Research, Inc. | System and method for detecting a passing vehicle from dynamic background using robust information fusion |
KR100630088B1 (ko) * | 2004-12-28 | 2006-09-27 | 삼성전자주식회사 | 옵티컬 플로우를 이용한 차량 감시 장치 및 방법 |
JP2007235642A (ja) * | 2006-03-02 | 2007-09-13 | Hitachi Ltd | 障害物検知システム |
JP2009129001A (ja) | 2007-11-20 | 2009-06-11 | Sanyo Electric Co Ltd | 運転支援システム、車両、立体物領域推定方法 |
CN101458814B (zh) * | 2007-12-13 | 2012-02-01 | 东软集团股份有限公司 | 一种用于从图像中分割对象感兴趣区域的方法和装置 |
US8751154B2 (en) | 2008-04-24 | 2014-06-10 | GM Global Technology Operations LLC | Enhanced clear path detection in the presence of traffic infrastructure indicator |
CN101436300B (zh) * | 2008-12-10 | 2012-10-31 | 东软集团股份有限公司 | 障碍物分割方法及装置 |
EP2541498B1 (en) * | 2011-06-30 | 2017-09-06 | Harman Becker Automotive Systems GmbH | Method of determining extrinsic parameters of a vehicle vision system and vehicle vision system |
US9349057B2 (en) * | 2011-09-12 | 2016-05-24 | Nissan Motor Co., Ltd. | Three-dimensional object detection device |
US8903127B2 (en) * | 2011-09-16 | 2014-12-02 | Harman International (China) Holdings Co., Ltd. | Egomotion estimation system and method |
US8848978B2 (en) * | 2011-09-16 | 2014-09-30 | Harman International (China) Holdings Co., Ltd. | Fast obstacle detection |
CN104509090B (zh) * | 2012-07-27 | 2016-08-24 | 歌乐牌株式会社 | 车载用图像识别装置 |
JP5944781B2 (ja) | 2012-07-31 | 2016-07-05 | 株式会社デンソーアイティーラボラトリ | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
US8831290B2 (en) * | 2012-08-01 | 2014-09-09 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining poses of vehicle-mounted cameras for in-road obstacle detection |
US9969337B2 (en) * | 2014-09-03 | 2018-05-15 | Sharp Laboratories Of America, Inc. | Methods and systems for mobile-agent navigation |
-
2014
- 2014-09-26 CN CN201410512682.4A patent/CN104299244B/zh active Active
-
2015
- 2015-03-31 US US14/673,876 patent/US9521317B2/en active Active
- 2015-04-27 DE DE102015207676.8A patent/DE102015207676B4/de active Active
- 2015-04-28 JP JP2015092099A patent/JP6031554B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040178945A1 (en) * | 2001-06-23 | 2004-09-16 | Buchanan Alastair James | Object location system for a road vehicle |
US20100121577A1 (en) * | 2008-04-24 | 2010-05-13 | Gm Global Technology Operations, Inc. | Three-dimensional lidar-based clear path detection |
CN101408978A (zh) * | 2008-11-27 | 2009-04-15 | 东软集团股份有限公司 | 一种基于单目视觉的障碍物检测方法及装置 |
CN101419667A (zh) * | 2008-12-15 | 2009-04-29 | 东软集团股份有限公司 | 识别图像中障碍物的方法和装置 |
CN102508246A (zh) * | 2011-10-13 | 2012-06-20 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107148639A (zh) * | 2015-09-15 | 2017-09-08 | 深圳市大疆创新科技有限公司 | 确定跟踪目标的位置信息的方法及装置、跟踪装置及系统 |
US11635775B2 (en) | 2015-09-15 | 2023-04-25 | SZ DJI Technology Co., Ltd. | Systems and methods for UAV interactive instructions and control |
US10976753B2 (en) | 2015-09-15 | 2021-04-13 | SZ DJI Technology Co., Ltd. | System and method for supporting smooth target following |
US10928838B2 (en) | 2015-09-15 | 2021-02-23 | SZ DJI Technology Co., Ltd. | Method and device of determining position of target, tracking device and tracking system |
US10860040B2 (en) | 2015-10-30 | 2020-12-08 | SZ DJI Technology Co., Ltd. | Systems and methods for UAV path planning and control |
CN106326866A (zh) * | 2016-08-25 | 2017-01-11 | 北京奇虎科技有限公司 | 车辆碰撞的预警方法及装置 |
CN106326866B (zh) * | 2016-08-25 | 2020-01-17 | 北京奇虎科技有限公司 | 车辆碰撞的预警方法及装置 |
CN106777269A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市佳都实业发展有限公司 | 用于构建动态地图的机器人及机器人构建动态地图的方法 |
CN107301646A (zh) * | 2017-06-27 | 2017-10-27 | 深圳市云洲创新科技有限公司 | 基于单目视觉的无人船智能避障方法和装置 |
CN107301646B (zh) * | 2017-06-27 | 2019-09-17 | 深圳市云洲创新科技有限公司 | 基于单目视觉的无人船智能避障方法和装置 |
CN109591698A (zh) * | 2017-09-30 | 2019-04-09 | 上海欧菲智能车联科技有限公司 | 盲区检测系统、盲区检测方法和车辆 |
CN110197104A (zh) * | 2018-02-27 | 2019-09-03 | 杭州海康威视数字技术股份有限公司 | 基于车辆的测距方法及装置 |
CN110389583B (zh) * | 2018-04-16 | 2022-05-27 | 百度(美国)有限责任公司 | 生成自动驾驶车辆的轨迹的方法 |
CN110389583A (zh) * | 2018-04-16 | 2019-10-29 | 百度(美国)有限责任公司 | 生成自动驾驶车辆的轨迹的方法 |
TWI721324B (zh) * | 2018-10-10 | 2021-03-11 | 鴻海精密工業股份有限公司 | 電子裝置及立體物體的判斷方法 |
US11037003B2 (en) | 2018-10-10 | 2021-06-15 | Hon Hai Precision Industry Co., Ltd. | Electronic device and method for detecting obstacle |
CN111358361A (zh) * | 2018-12-26 | 2020-07-03 | 珠海市一微半导体有限公司 | 扫地机器人避线的控制方法、控制装置和计算机存储介质 |
CN109657638A (zh) * | 2018-12-28 | 2019-04-19 | 百度在线网络技术(北京)有限公司 | 障碍物定位方法、装置和终端 |
US11933967B2 (en) | 2019-08-22 | 2024-03-19 | Red Creamery, LLC | Distally actuated scanning mirror |
CN111027381A (zh) * | 2019-11-06 | 2020-04-17 | 杭州飞步科技有限公司 | 利用单目相机识别障碍物的方法、装置、设备及存储介质 |
CN111046809A (zh) * | 2019-12-16 | 2020-04-21 | 中科院微电子研究所昆山分所 | 一种障碍物检测方法、装置、设备及计算机可读存储介质 |
CN111046809B (zh) * | 2019-12-16 | 2023-09-12 | 昆山微电子技术研究院 | 一种障碍物检测方法、装置、设备及计算机可读存储介质 |
CN112114664A (zh) * | 2020-08-21 | 2020-12-22 | 青岛小鸟看看科技有限公司 | 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机 |
CN112507992A (zh) * | 2021-02-04 | 2021-03-16 | 腾讯科技(深圳)有限公司 | 道路图像之间的拍摄距离确定方法、装置、设备及介质 |
CN113391642A (zh) * | 2021-05-28 | 2021-09-14 | 西南交通大学 | 一种基于单目视觉的无人机自主避障方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104299244B (zh) | 2017-07-25 |
DE102015207676A1 (de) | 2016-03-31 |
JP2016071846A (ja) | 2016-05-09 |
US20160093052A1 (en) | 2016-03-31 |
DE102015207676B4 (de) | 2024-07-18 |
JP6031554B2 (ja) | 2016-11-24 |
US9521317B2 (en) | 2016-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104299244A (zh) | 基于单目相机的障碍物检测方法及装置 | |
Yang et al. | Cubeslam: Monocular 3-d object slam | |
CN110084272B (zh) | 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法 | |
Broggi et al. | Obstacle detection with stereo vision for off-road vehicle navigation | |
CN110362083B (zh) | 一种基于多目标跟踪预测的时空地图下自主导航方法 | |
CN106980657A (zh) | 一种基于信息融合的车道级电子地图构建方法 | |
CN105096386A (zh) | 大范围复杂城市环境几何地图自动生成方法 | |
CN104700414A (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
CN105160702A (zh) | 基于LiDAR点云辅助的立体影像密集匹配方法及系统 | |
CN105069843A (zh) | 一种面向城市三维建模的密集点云的快速提取方法 | |
CN103065323A (zh) | 一种基于单应性变换矩阵的分段空间对准方法 | |
CN103093479A (zh) | 一种基于双目视觉的目标定位方法 | |
CN102831298B (zh) | 一种用于目标发生器的目标实时路径规划方法 | |
CN110379168A (zh) | 一种基于Mask R-CNN的交通车辆信息获取方法 | |
CN105551020A (zh) | 一种检测目标物尺寸的方法及装置 | |
CN102496181A (zh) | 面向规模化生产的真正射影像制作方法 | |
CN113914407B (zh) | 一种基于bim与机器视觉的挖掘机开挖隧道精确控制系统 | |
Hu et al. | An indoor positioning framework based on panoramic visual odometry for visually impaired people | |
CN111880191A (zh) | 基于多智能体激光雷达和视觉信息融合的地图生成方法 | |
Cao et al. | A geometry-driven car-following distance estimation algorithm robust to road slopes | |
CN118053299A (zh) | 一种基于雷视融合的地下车库盲区显示方法和系统 | |
Thomas et al. | Semantic grid-based road model estimation for autonomous driving | |
CN104156969A (zh) | 基于全景影像景深图的探面方法 | |
CN110415299B (zh) | 一种运动约束下基于设定路牌的车辆位置估计方法 | |
Barth et al. | Vehicle tracking at urban intersections using dense stereo |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211111 Address after: 201801 room 1703, No. 888, Moyu South Road, Anting Town, Jiading District, Shanghai Patentee after: Neusoft Ruichi Automotive Technology (Shanghai) Co., Ltd Address before: 110179 No. 2, Xinxiu street, Hunnan New District, Shenyang City, Liaoning Province Patentee before: Neusoft Group Co., Ltd |
|
TR01 | Transfer of patent right |