CN112507992A - 道路图像之间的拍摄距离确定方法、装置、设备及介质 - Google Patents

道路图像之间的拍摄距离确定方法、装置、设备及介质 Download PDF

Info

Publication number
CN112507992A
CN112507992A CN202110155246.6A CN202110155246A CN112507992A CN 112507992 A CN112507992 A CN 112507992A CN 202110155246 A CN202110155246 A CN 202110155246A CN 112507992 A CN112507992 A CN 112507992A
Authority
CN
China
Prior art keywords
feature point
road image
feature
determining
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110155246.6A
Other languages
English (en)
Other versions
CN112507992B (zh
Inventor
谭川奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110155246.6A priority Critical patent/CN112507992B/zh
Publication of CN112507992A publication Critical patent/CN112507992A/zh
Application granted granted Critical
Publication of CN112507992B publication Critical patent/CN112507992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例提供一种道路图像之间的拍摄距离确定方法、装置、设备及介质,涉及地图、人工智能、大数据以及云技术领域。包括:获取待处理道路图像集合,道路图像集合包括第一道路图像和第二道路图像;提取第一道路图像中的各第一特征点以及第二道路图像中的各第二特征点;确定各第一特征点和各第二特征点之间的匹配特征点对;确定匹配特征点对所包含的第一特征点的第一特征点分布特征以及匹配特征点对所包含的第二特征点的第二特征点分布特征;根据第一特征点分布特征和第二特征点分布特征确定第一道路图像和第二道路图像之间的拍摄距离,实现在车辆行驶的过程中,利用配备的行车记录仪拍摄同一目标物体并估计拍摄的两张图像之间的拍摄距离。

Description

道路图像之间的拍摄距离确定方法、装置、设备及介质
技术领域
本申请涉及地图、人工智能、大数据以及云技术领域,具体而言,本申请涉及一种道路图像之间的拍摄距离确定方法、装置、设备及介质。
背景技术
估计图像中目标物体与拍摄相机之间的距离是一个非常重要的任务,在很多基于视觉的解决方案中,比如道路自动化、高精地图、自动驾驶中都有广泛的应用,很多高级的人工智能应用都会依赖于对距离的估计。
在传统方案中,一般采用激光雷达、毫米波雷达、多摄像头等方案估计目标物体与拍摄相机之间的距离。但是,这类设备一般非常昂贵,在实际场景中,车辆一般仅配备了单个摄像头的普通行车记录仪,未配备高级传感器和采集设备。对于一些业务场景,例如与地图相关的业务场景,由于车辆中未配备高级传感器和采集设备,无法采用传统方式估计目标物体与拍摄相机之间的距离,从而无法估计在车辆行驶的过程中,相机拍摄同一目标物体时得到的两张图像之间的拍摄距离。
发明内容
本申请提供了一种在车辆行驶的过程中,利用车辆配备的行车记录仪拍摄同一目标物体得到两张图像,并估计两张图像之间的拍摄距离的道路图像之间的拍摄距离确定方法、装置、设备及介质。
一方面,提供了一种道路图像之间的拍摄距离确定方法,包括:
获取待处理道路图像集合,道路图像集合包括第一道路图像和第二道路图像;
提取第一道路图像中的各第一特征点以及第二道路图像中的各第二特征点;
确定各第一特征点和各第二特征点之间的匹配特征点对;
确定匹配特征点对所包含的第一特征点的第一特征点分布特征、以及匹配特征点对所包含的第二特征点的第二特征点分布特征;
根据第一特征点分布特征和第二特征点分布特征,确定第一道路图像和第二道路图像之间的拍摄距离。
在一种可能的实现方式中,根据第一特征点分布特征和第二特征点分布特征,确定第一道路图像和第二道路图像之间的拍摄距离,包括:
根据第一特征点分布特征、第二特征点分布特征以及匹配特征点对的点对数量,确定第一道路图像和第二道路图像之间的拍摄距离。
在一种可能的实现方式中,确定各第一特征点和各第二特征点之间的匹配特征点对,包括:
获取各第一特征点和各第二特征点中每一特征点的特征向量;
确定各第一特征点和各第二特征点中的各特征点对的特征向量之间的距离,其中,每一特征点对包括一个第一特征点和一个第二特征点;
基于距离,从各特征点对中确定出匹配特征点对。
在一种可能的实现方式中,基于距离,从各特征点对中确定出匹配特征点对,包括:
基于距离,从各特征点对中确定出各候选匹配特征点对;
基于随机采样一致性算法从各候选匹配特征点对中确定出匹配特征点对。
在一种可能的实现方式中,基于距离,从各特征点对中确定出匹配特征点对,包括:
基于距离,从各特征点对中确定出各候选匹配特征点对;
对于每个候选匹配特征点对,确定候选匹配特征点对的连线与指定方向的夹角;
基于各候选匹配特征点对对应的夹角,从各候选匹配特征点对中确定匹配特征点对。
在一种可能的实现方式中,指定方向包括第一方向或第二方向中的至少一个;
对于第一方向或第二方向,基于各候选匹配特征点对对应的夹角,从各候选匹配特征点对中确定匹配特征点对,包括:
确定各候选匹配特征点对对应的夹角所对应的角度范围;
根据各角度范围所对应的夹角的数量,确定出各角度范围中的目标角度范围;
将属于目标角度范围内的各夹角所对应的候选匹配特征点对,确定为匹配特征点对。
在一种可能的实现方式中,根据各角度范围所对应的夹角的数量,确定出各角度范围中的目标角度范围,包括:
根据各角度范围所对应的夹角的数量由大到小的顺序,将数量靠前的预设数量个角度范围确定为目标角度范围。
另一方面,提供了一种道路图像之间的拍摄距离确定装置,包括:
图像获取模块,用于获取待处理道路图像集合,道路图像集合包括第一道路图像和第二道路图像;
特征点提取模块,用于提取第一道路图像中的各第一特征点以及第二道路图像中的各第二特征点;
特征点处理模块,用于确定各第一特征点和各第二特征点之间的匹配特征点对,以及确定匹配特征点对所包含的第一特征点的第一特征点分布特征、以及匹配特征点对所包含的第二特征点的第二特征点分布特征;
拍摄距离确定模块,用于根据第一特征点分布特征和第二特征点分布特征,确定第一道路图像和第二道路图像之间的拍摄距离。
在一种可能的实现方式中,拍摄距离确定模块具体用于:
根据第一特征点分布特征、第二特征点分布特征以及匹配特征点对的点对数量,确定第一道路图像和第二道路图像之间的拍摄距离。
在一种可能的实现方式中,第一特征点分布特征包括第一凸包的面积和第一散度,第二特征点分布特征包括第二凸包的面积和第二散度,其中,第一凸包是匹配特征点对所包含的第一特征点对应的凸包,第一散度表征了匹配特征点对所包含的第一特征点与第一凸包的几何中心之间的距离,第二凸包是匹配特征点对所包含的第二特征点对应的凸包,第二散度表征了匹配特征点对所包含的第二特征点与第二凸包的几何中心之间的距离。
在一种可能的实现方式中,拍摄距离确定模块具体用于:
根据第一散度和第二散度确定散度均值;
根据第一凸包的面积、第二凸包的面积、散度均值以及匹配特征点对的点对数量,确定第一道路图像和第二道路图像之间的拍摄距离。
在一种可能的实现方式中,特征点提取模块在提取第一道路图像中的各第一特征点时,具体用于:
提取第一道路图像中的各局部特征点;
确定第一道路图像中的非感兴趣区域;
将各局部特征点中对应于非感关键区域的特征点去除,得到第一道路图像中的各第一特征点。
在一种可能的实现方式中,特征点处理模块在确定各第一特征点和各第二特征点之间的匹配特征点对时,具体用于:
获取各第一特征点和各所述第二特征点中每一特征点的特征向量;
确定各第一特征点和各第二特征点中的各特征点对的特征向量之间的距离,其中,每一特征点对包括一个第一特征点和一个第二特征点;
基于距离,从各特征点对中确定出匹配特征点对。
在一种可能的实现方式中,特征点处理模块在基于距离,从各特征点对中确定出匹配特征点对时,具体用于:
基于距离,从各特征点对中确定出各候选匹配特征点对;
基于随机采样一致性算法从各候选匹配特征点对中确定出匹配特征点对。
在一种可能的实现方式中,特征点处理模块在基于距离,从各特征点对中确定出匹配特征点对时,具体用于:
基于距离,从各特征点对中确定出各候选匹配特征点对;
对于每个候选匹配特征点对,确定候选匹配特征点对的连线与指定方向的夹角;
基于各候选匹配特征点对对应的夹角,从各候选匹配特征点对中确定匹配特征点对。
在一种可能的实现方式中,指定方向包括第一方向或第二方向中的至少一个;
对于第一方向或第二方向,特征点处理模块在基于各候选匹配特征点对对应的夹角,从各候选匹配特征点对中确定匹配特征点对时,具体用于:
确定各候选匹配特征点对对应的夹角所对应的角度范围;
根据各角度范围所对应的夹角的数量,确定出各角度范围中的目标角度范围;
将属于目标角度范围内的各夹角所对应的候选匹配特征点对,确定为匹配特征点对。
在一种可能的实现方式中,特征点处理模块在根据各角度范围所对应的夹角的数量,确定出各角度范围中的目标角度范围时,具体用于:
根据各角度范围所对应的夹角的数量由大到小的顺序,将数量靠前的预设数量个角度范围确定为目标角度范围。
在一种可能的实现方式中,各角度范围是采用以下方式确定的:
将360度划分为若干个角度范围;
特征点处理模块在确定各候选匹配特征点对对应的夹角所对应的角度范围时,具体用于:
对于任一候选匹配特征点对对应的夹角,将夹角所属的角度范围以及该角度范围的相邻角度范围,确定为夹角所对应的角度范围。
又一方面,提供了一种电子设备,该电子设备包括存储器和处理器,其中,存储器中存储有计算机程序;处理器在运行计算机程序时,执行本申请任一可选实现方式所提供的道路图像之间的拍摄距离确定方法。
又一方面,提供了一种计算机可读存储介质,存储介质中存储有计算机程序,计算机程序被处理器执行时实现本申请任一可选实现方式所提供的道路图像之间的拍摄距离确定方法。
本申请提供的技术方案带来的有益效果是:
本申请提供了一种道路图像之间的拍摄距离确定方法、装置、设备及介质,与现有技术相比,本申请可以针对道路图像集合中的第一道路图像和第二道路图像,分别提取各第一特征点和各第二特征点,并确定各第一特征点和各第二特征点之间的匹配特征点对,根据匹配特征点对所包含的第一特征点的第一特征点分布特征、以及匹配特征点对所包含的第二特征点的第二特征点分布特征,确定第一道路图像和第二道路图像之间的拍摄距离,也就是在车辆行驶的过程中相机拍摄同一目标物体的相对距离,实现了在车辆行驶的过程中,利用车辆配备的普通行车记录仪获取道路图像集合,并基于道路图像集合估计在车辆行驶的过程中,相机拍摄同一目标物体时得到的两张图像之间的拍摄距离,从而可以基于拍摄距离实现自动驾驶、或者估计目标物体与拍摄相机之间的距离等。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种道路图像对之间的拍摄距离确定方法的流程示意图;
图2A为本申请实施例提供的一种道路图像A的示意图;
图2B为本申请实施例提供的一种道路图像B的示意图;
图3为本申请实施例提供的一种提取道路图像A上的局部特征点的示意图;
图4A为本申请实施例提供的一种分割道路图像A上的非感兴趣区域的示意图;
图4B为本申请实施例提供的一种图像分割网络的结构示意图;
图5为本申请实施例提供的一种检测道路图像A上的感兴趣区域的示意图;
图6为本申请实施例提供的一种道路图像A上的各目标特征点与道路图像B上的各目标特征点进行匹配的示意图;
图7为本申请实施例提供的一种中间的特征点对集合的示意图;
图8为本申请实施例提供的一种对目标特征点对进行过滤的示意图;
图9为本申请实施例提供的一种平面偏移向量的示意图;
图10为本申请实施例提供的一种凸包的示意图;
图11为本申请实施例提供的一种道路图像之间的拍摄距离确定方法的流程示意图;
图12为本申请实施例提供的一种道路图像之间的拍摄距离确定装置的结构示意图;
图13为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
本申请实施例提供了一种道路图像之间的拍摄距离确定方法,可以在车辆行驶的过程中,利用车辆配备的普通行车记录仪获取道路图像集合,针对道路图像集合中的第一道路图像和第二道路图像,分别提取各第一特征点和各第二特征点,将各第一特征点和各第二特征点进行配对,基于配对成功的第一特征点的的第一特征点分布特征和配对成功的第二特征点的第二特征点分布特征,确定车辆行驶的过程中相机拍摄同一目标物体时得到的两张图像之间的拍摄距离,从而可以基于确定的相对距离实现自动驾驶等。
本申请所提供的各可选实施例,可以应用于人工智能技术领域,人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
其中,自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术,自定驾驶技术有着广泛的应用前景。
本申请所提供的各可选实施例所涉及到的数据,可以基于云技术实现,在方案实施时所涉及的数据处理/数据计算可以基于云计算实现。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术(Cloudtechnology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
云计算(cloud computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。
作为云计算的基础能力提供商,会建立云计算资源池(简称云平台,一般称为IaaS(Infrastructure as a Service,基础设施即服务)平台,在资源池中部署多种类型的虚拟资源,供外部客户选择使用。云计算资源池中主要包括:计算设备(为虚拟化机器,包含操作系统)、存储设备、网络设备。
按照逻辑功能划分,在IaaS(Infrastructure as a Service,基础设施即服务)层上可以部署PaaS(Platform as a Service,平台即服务)层,PaaS层之上再部署SaaS(Software as a Service,软件即服务)层,也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台,如数据库、web容器等。SaaS为各式各样的业务软件,如web门户网站、短信群发器等。一般来说,SaaS和PaaS相对于IaaS是上层。
云计算(cloud computing)指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。云计算是网格计算(Grid Computing )、分布式计算(DistributedComputing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
随着互联网、实时数据流、连接设备多样化的发展,以及搜索服务、社会网络、移动商务和开放协作等需求的推动,云计算迅速发展起来。不同于以往的并行分布式计算,云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
本申请各可选实施例还可以基于大数据实现,大数据(Big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临,大数据也吸引了越来越多的关注,大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
本申请实施例所提供的道路图像之间的拍摄距离确定方法可以适用于任何与有关确定道路图像之间的拍摄距离的应用场景,比如在计算车辆的行驶速度的场景、自动驾驶的场景等。为了更好的理解和说明本申请实施例的方案,下面首先结合一个具体的可选实施例对本申请的方案进行详细说明,该可选实施例中,不对应用场景做具体限制。
本申请实施例所提供的道路图像之间的拍摄距离确定方法,可以由电子设备执行,该电子设备可以为终端设备,也可以为服务器或者服务器集群,其中,服务器集群包括至少一个服务器,任一服务器可以为物理服务器,也可以为前述所提及的云服务器。
为便于说明,在本申请实施例中,将第一道路图像和第二道路图像视作道路图像对,详细介绍道路图像对之间的拍摄距离确定方法。为便于理解,下面将对本申请实施例中所涉及到的各术语进行的解释和说明。
单目相机:只有单一摄像头的设备,由于不具有多个摄像头,因此,无法利用多个摄像头之间的视差来估计物体的几何特性、以及物体与拍摄相机之间的距离。
道路图像:车载行车记录仪等车载设备拍摄的图像,具体见下文所提及的道路图像A和道路图像B。
道路图像对:包括两张道路图像,是相机从不同的位置对同一目标物体进行拍摄所得到的两张图像,如下文提及可以将道路图像A和道路图像B作为道路图像对。
道路图像对的实际拍摄距离:道路图像对在被拍摄时,各自的相机所处的实际位置之间的距离。由于全球定位系统(Global Positioning System,GPS)信息不够精确,且无法预先得知所有目标物体的实际位置,因此,传统方案中需要估计目标物体与拍摄相机之间的距离,从而估计道路图像对的实际拍摄距离,如下文提及拍摄道路图像A和道路图像B时,道路图像A的相机所处的实际位置与道路图像B的相机所处的实际位置之间的距离,可以作为道路图像对的实际拍摄距离。
目标检测:将图像中感兴趣的目标用一个矩形框标识出来,在道路图像中感兴趣的目标一般指道路交通要素。比如对道路图像中的路牌感兴趣,可以通过深度学习算法将这些路牌检测出来并在道路图像中用矩形框标识路牌的位置信息,具体可以见下文所提及的图5的相关说明。
关键区域分割:从图像中把感兴趣的区域和不感兴趣的区域用语义分割算法或者图像分割网络分割出来。比如将车辆、车内景、水印部分从道路图像中分离出来,并加以去除,具体可以见下文所提及的图4A、图4B的相关说明。
作为一种可选的实现方式,如图1所示,图1为本申请实施例提供的一种道路图像对之间的拍摄距离确定方法的流程示意图。该方法包括步骤S11-步骤S16,下面将分别一一详细介绍各步骤。
步骤S11,获取道路图像对。
具体地,可以通过车辆配备的单目相机(一般指行车记录仪),对当前车辆行驶的前方道路进行拍照,采用固定时间间隔或距离间隔均匀采样,得到多张道路图像,可以将相邻的道路图像作为道路图像对。
需要说明的是,相邻的道路图像可以是直接相邻的道路图像,也可以是间接相邻的道路图像。对于任一张道路图像,可以将该道路图像、以及拍摄要素与该道路图像的拍摄要素之间的差值小于或者等于预设差值的道路图像,作为道路图像对,拍摄要素可以是拍摄时刻或者拍摄位置。
例如,如图2A、图2B所示,图2A为本申请实施例提供的一种道路图像A的示意图,图2B为本申请实施例提供的一种道路图像B的示意图。其中,道路图像A的拍摄时刻与道路图像B的拍摄时间之间的差值小于预设差值0.5秒,则可以将道路图像A与道路图像B作为道路图像对。
步骤S12,对于道路图像对中的每一张道路图像,从道路图像中提取局部特征点,确定道路图像中的非感兴趣区域,并基于非感兴趣区域对局部特征点进行过滤,得到目标特征点。
具体的,对于道路图像对中的每一张道路图像,可以先从道路图像中提取局部特征点,若道路图像中某个像素点有别于周围区域的其他像素点,则该像素点可以称为局部特征点。局部特征点可以是对一块图像区域的描述,也就是说,图像中的各局部特征点可以很好的区分各图像区域。局部特征点的选择会影响着分类算法、识别算法等能否取得一个好的结果,一般来说,局部特征点应具有可区分性、准确性、有效性以及各种不变性。
本申请实施例中,可以将道路图像输入至特征点提取网络中,由特征点提取网络输出道路图像中的局部特征点和局部特征点的描述特征向量。其中,特征点提取网络的具体结构不做限定,可以为卷积神经网络,卷积神经网络可以先对道路图像进行图像特征提取,得到对应的特征图像,然后从特征图像中提取局部特征点,并得到局部特征点的描述特征向量。
可以理解的是,本申请实施例中,局部特征点为至少一个。在实际应用时,局部特征点为多个。
如图3所示,图3为本申请实施例提供的一种提取道路图像A上的局部特征点的示意图。可以将道路图像A输入至特征点提取网络,由特征点提取网络输出道路图像A中的局部特征点以及局部特征点的描述特征向量,其中,在图3所示的道路图像A中包括多个局部特征点,任一个局部特征点采用如标号31所指示的点表示,特征点提取网络可以输出每一个局部特征点的描述特征向量。
对于道路图像对中的每一张道路图像,可以将道路图像输入至图像分割网络,由图像分割网络输出道路图像中的非感兴趣区域。其中,图像分割网络的网络结构不做限定,非感兴趣区域中的具体内容不做限定。
在一种可能的实现方式中,图像分割网络可以是以DeepLabV3(一种图像语义分割网络)的网络架构为基础修改得到的网络。在实际应用时,可以将DeepLabV3中的特征提取部分进行替换,得到新的语义分割网络,作为本申请实施例中的图像分割网络,以加快图像分割速度。利用该图像分割网络对道路图像中不感兴趣的区域进行标识,也就是标识出道路图像中的非感兴趣区域。
如图4A所示,图4A为本申请实施例提供的一种分割道路图像A上的非感兴趣区域的示意图。可以将道路图像A输入至图像分割网络,由图像分割网络输出道路图像A中的非感兴趣区域,其中,在图4A所示的道路图像A中包括两个非感兴趣区域,采用如标号41所指示的黑色区域表示。
如图4B所示,图4B为本申请实施例提供的一种图像分割网络的结构示意图,该图像分割网络包括编码部分和解码部分。其中,编码部分包括一个深度卷积神经网络(DeepConvolutional Neural Networks,DCNN),图像可以输入至DCNN中,DCNN包括1*1卷积层、3*3卷积层,其膨胀系数=6、3*3卷积层,其膨胀系数=12、3*3卷积层,其膨胀系数=18、以及全局平均池化层这五个层,对这五个层中的每一层的输出结果进行合并,将合并结果经过1*1卷积层后,得到编码部分的一个输出结果,可以记为编码输出结果1,其中,DCNN网络的另一个输出结果为DCNN网络输出的低层次信息,可以记为编码输出结果2。
可以将编码输出结果1和编码输出结果2输入至解码部分中。具体的,编码输出结果1输入至解码部分后,先经过四次上采样,得到编码输出结果1对应的上采样结果;编码输出结果2输入至解码部分后,先经过1*1卷积层,得到编码输出结果2对应的卷积结果。可以将编码输出结果1对应的上采样结果与编码输出结果2对应的卷积结果进行合并,合并后依次经过3*3卷积层和四次上采样,得到解码部分的输出结果,解码部分的输出结果即为最终的图像分割结果。
作为一种可选的实现方式,非感兴趣区域可以包括但不限于车内景、水印、车辆、人物、动物、建筑物、树木等中的至少一项。
本申请实施例中,对于道路图像对中的每一张道路图像,可以基于道路图像中的非感兴趣区域,对道路图像中的局部特征点进行过滤。具体的,对于道路图像中的每一个局部特征点,如果该局部特征点在道路图像中的坐标落在道路图像中的非感兴趣区域内,则过滤掉该局部特征点;如果该局部特征点在道路图像中的坐标没有落在道路图像中的非感兴趣区域内,则保留该局部特征点。
为便于描述,在本申请实施例中,任一个保留下来的局部特征点为目标特征点。道路图像上的目标特征点可以定义为:由特征点提取网络提取出的且没有落在非感兴趣区域内的像素点。
步骤S13,对于道路图像对中的每一张道路图像,确定道路图像中的感兴趣区域,基于感兴趣区域,确定道路图像中每一个目标特征点的权重值。
本申请实施例中,对于道路图像对中的每一张道路图像,可以将道路图像输入至图像检测网络,由图像检测网络输出道路图像中的感兴趣区域,其中,图像检测网络的网络结构不做限定,感兴趣区域中的具体内容不做限定。
作为一种可选的实现方式,图像检测网络可以为 Faster R-CNN网络,感兴趣区域包括但不限于各种道路元素,道路元素可以包括但不限于道路标牌、警示牌、危险标牌、路灯、斑马线等中的至少一项。
如图5所示,图5为本申请实施例提供的一种检测道路图像A上的感兴趣区域的示意图。可以将道路图像A输入至图像检测网络,由图像检测网络输出道路图像A上的感兴趣区域,其中,图5中包括两个感兴趣区域,采用如标号51所指示的矩形框表示。
本申请实施例中,可以基于道路图像中的感兴趣区域,确定道路图像中每一个目标特征点的权重值。具体地,对于道路图像中的每一个目标特征点,如果该目标特征点在道路图像中的坐标落在道路图像中的感兴趣区域内,则该目标特征点的权重值较大;如果该目标特征点在道路图像中的坐标没有落在道路图像中的感兴趣区域内,则该目标特征点的权重值较小。
在一种可能的实现方式中,目标特征点在不同的感兴趣区域内时,目标特征点的权重值也不同,也就是说,可以预先设置每一个感兴趣区域对应的权重值区间,对于每一个感兴趣区域,可以根据对应的权重值区间确定该感兴趣区域内的各目标特征点的权重值。
例如,可以预先设置斑马线的感兴趣区域对应的权重值区间为[0.75,0.8],则斑马线的感兴趣区域内的每一个目标特征点的权重值均位于0.75~0.8之间,还可以预先设置路灯的感兴趣区域对应的权重值区间为[0.65,0.68],则路灯的感兴趣区域内的每一个目标特征点的权重值均位于0.65~0.68之间。
步骤S14,利用道路图像对中每一个目标特征点各自的权重值,将一张道路图像中的各目标特征点分别与另一张道路图像中的各目标特征点进行匹配,得到目标特征点对。
本申请实施例中,对于道路图像对中的两张道路图像,可以使用最近邻搜索算法将一张道路图像中的目标特征点与另一张道路图像中的目标特征点进行匹配,得到目标特征点对。其中,对于一张道路图像中的每一个目标特征点,可以利用该目标特征点的权重值以及描述特征向量、另一张道路图像中的各目标特征点各自对应的权重值以及描述特征向量,确定该目标特征点与另一张道路图像中的各目标特征点之间的描述特征向量距离,并从各描述特征向量距离中确定最小的描述特征向量距离,将该目标特征点、以及最小的描述特征向量距离所对应的另一张道路图像中的目标特征点,确定为目标特征点对。按照此方式,可以将一张道路图像中的目标特征点与另一张道路图像中的目标特征点进行匹配,得到多个目标特征点对。
如图6所示,图6为本申请实施例提供的一种道路图像A上的各目标特征点与道路图像B上的各目标特征点进行匹配的示意图。对于道路图像A上的每一个目标特征点,可以依据最近邻搜索算法,从道路图像B上确定与该目标特征点的描述特征向量距离最近的目标特征点,将该目标特征点与从道路图像B上确定的目标特征点作为目标特征点对。在图6中,由道路图像A上的目标特征点与道路图像B上的目标特征点所组成的目标特征点对,采用一条直线将这两个目标特征点连接,也就是说,图6中每一条直线两端的目标特征点为一个目标特征点对,如标号61所指示的两条直线,每一条直线的两端的目标特征点为一个目标特征点对。
本申请实施例中不对最近邻搜索算法进行限定,在实际应用时,可以采用任一最近邻搜索算法对目标特征点进行匹配,例如采用快速最近邻搜索算法对目标特征点进行匹配。
需要说明的是,基于道路图像中的感兴趣区域,确定道路图像中每一个目标特征点的权重值,可以使感兴趣区域内的目标特征点被赋予更高的权重值,也就是重要特征点的权重值较大,普通特征点的权重值较小。在目标特征点匹配时,利用目标特征点的权重值和描述特征向量进行匹配,可以使重要特征点大概率与重要特征点匹配成功,普通特征点大概率与普通特征点匹配成功,提高特征点匹配的准确率。
步骤S15,对目标特征点对进行过滤,得到最终的特征点对。
由于利用最近邻搜索算法匹配得到的目标特征点对会包含很多噪声,因此,匹配结果往往不可靠,对匹配结果进行相应的校正是十分必要的。本申请实施例中校正所采用的算法包括但不限于随机采样一致性算法和/或双向几何校正算法,且若采用至少两种算法进行校正时,本申请实施例并不限定算法之间的先后顺序。
作为一种可能的实现方式,可以先采用随机采样一致性算法对匹配结果进行校正,然后采用双向几何校正算法进一步进行校正。需要说明的是,这里的校正指的是过滤掉错误的目标特征点对,保留正确的目标特征点对。
具体地,本申请实施例可以采用随机采样一致性算法来对目标特征点对进行过滤。随机采样一致性算法是一种外点检测算法,也是一种不确定算法,可以从目标特征点对集合中估计出正确的目标特征点对。其中,采用最近邻搜索算法对目标特征点进行匹配后得到的各目标特征点对,可以构成目标特征点对集合,目标特征点对集合中包括误匹配的目标特征点对和正确的目标特征点对,误匹配的目标特征点对也可以称作外点。
随机采样一致性算法只能在一定的概率下产生出正确的结果,可以利用随机采样一致性算法对目标特征点对集合进行多次过滤操作,直至满足预设过滤结束条件,其中,预设过滤结束条件包括但不限于过滤操作次数大于或者等于预设次数阈值。
在每一次过滤操作时,可以利用随机采样一致性算法从目标特征点对集合中过滤掉错误的目标特征点对,并判断是否满足预设过滤结束条件。若满足预设过滤结束条件,则将剩余的目标特征点对作为中间的特征点对集合;若不满足预设过滤结束条件,则将剩余的目标特征点对作为下一次过滤操作时的目标特征点对集合。
可以理解的是,随着过滤操作次数的增加,随机采样一致性算法的准确率概率也会不断的加大。如图7所示,图7为本申请实施例提供的一种中间的特征点对集合的示意图,其中,图7是采用随机采样一致性算法,通过对图6所示的各目标特征点对进行过滤后得到的。可以通过对比图6与图7明显得出,采用随机采样一致性算法过滤掉了一部分目标特征点对,如图6中标号61所指示的目标特征点对,也就是说,将图6中标号61所指示的目标特征点对过滤掉后,可以得到图7。其中,图7中剩余的目标特征点对不够整洁。因此,随机采样一致性算法的准确度不能满足要求,在后续计算道路图像对之间的拍摄距离时会影响结果的准确率。
为了进一步提高计算道路图像对之间的拍摄距离的准确率,本申请实施例进一步采用基于桶思想的双向几何校正算法对中间的特征点对集合进行校正,以对随机采样一致性算法得到的中间的特征点对集合进行二次过滤,以在计算道路图像对之间的拍摄距离时,使得计算得到的结果准确率更高。
具体地,可以对中间的特征点对集合对进行一些策略性的过滤,比如采用聚集点约束算法和/或空间约束算法等,将中间的特征点对集合中属于错误匹配的目标特征点对过滤掉,然后利用横向几何校正算法和纵向几何校正算法对中间的特征点对集合进行进一步过滤,其中,可以先采用横向几何校正算法进行过滤,再采用纵向几何校正算法进行过滤,也可以先采用纵向几何校正算法进行过滤,再采用横向几何校正算法进行过滤。为便于说明,下面将以先采用横向几何校正算法进行过滤,再采用纵向几何校正算法进行过滤为例,进行详细说明。
本申请实施例中,可以先采用横向几何校正算法对中间的特征点对集合进行过滤,具体可以分为步骤S151-步骤S154。
步骤S151,对于道路图像对的两张道路图像,将两张道路图像进行横向平行摆放,使得中间的特征点对集合中的每个目标特征点对均有一个与正北方向的夹角。
例如,将道路图像A与道路图像B横向平行摆放,道路图像A上的目标特征点A与道路图像B上的目标特征点B可以形成一个由目标特征点A指向目标特征点B的向量,可以确定该向量与正北方向的夹角。
步骤S152,将360度分为N个角度范围,每一个角度范围对应一个桶,也就是说,每个桶对应一个角度范围,可以假设第i个桶的角度范围为[i*(360/N), (i+1)*(360/N)]。其中,N,i均为正整数,一般情况下,N大于1。
步骤S153,对于每一个目标特征点对,根据该目标特征点对对应的与正北方向的夹角,确定该目标特征点对所对应的桶。具体的,假设第j个目标特征点对对应的与正北方向的夹角属于第i个桶对应的角度范围,则该目标特征点对所对应的桶包括第i-1、i、i+1三个桶,可以将第i-1、i、i+1三个桶的计数值都加一,其中,i和j均为正整数。
步骤S154,按各个桶的计数值进行排序,按照计数值由大到小的顺序,将计数值靠前的预设数量个桶作为目标桶,可以过滤掉非目标桶对应的目标特征点对,保留目标桶对应的目标特征点对。
需要说明的是,桶的计数值可以反映桶对应的目标特征点对的夹角的数量,由于每个桶对应一个角度范围,因此,桶的计数值也可以反映桶对应的角度范围所对应的目标特征点对的夹角的数量。
本申请实施例中,针对采用横向几何校正算法进行过滤后保留下来的目标特征点对,可以采用纵向几何校正算法进行进一步过滤,其中,纵向几何校正算法与横向几何校正算法的原理相似,二者的区别仅在于:横向几何校正算法中需要将两张道路图像进行横向平行摆放,而纵向几何校正算法中需要将两张道路图像进行纵向平行摆放。纵向几何校正算法可以见有关横向几何校正算法的相关说明,在此不再赘述。
如图8所示,图8为本申请实施例提供的一种对目标特征点对进行过滤的示意图,其中,可以采用双向几何校正算法对道路图像对中的目标特征点对进行过滤,图8中标号A所指示的道路图像对表示双向几何校正前的道路图像对,标号B所指示的道路图像对表示横向几何校正后的道路图像对,标号C所指示的道路图像对表示纵向几何校正后的道路图像对。采用双向几何校正算法对道路图像对中的目标特征点对进行过滤前,道路图像对中的目标特征点对数量较多,如图8中双向几何校正前,道路图像对中的目标特征点对的数量较多。可以依次采用横向几何校正算法和纵向几何校正算法,对目标特征点对进行过滤。在采用横向几何校正算法对目标特征点对进行过滤后,从图8中明显看出,横向几何校正后,道路图像对中的目标特征点对的数量明显少于双向几何校正前,道路图像对中的目标特征点对的数量,即标号B所指示的道路图像对中的目标特征点对的数量明显少于标号A所指示的道路图像对中的目标特征点对的数量,将双向几何校正前,道路图像对中的目标特征点对中的标号81a和标号81b所指示的目标特征点对过滤掉后,得到横向几何校正后,道路图像对中的目标特征点对;在采用纵向几何校正算法对目标特征点对进一步过滤后,从图8中明显看出,纵向几何校正后,道路图像对中的目标特征点对的数量明显少于横向几何校正后,道路图像对中的目标特征点对的数量,即标号C所指示的道路图像对中的目标特征点对的数量明显少于标号B所指示的道路图像对中的目标特征点对的数量,将横向几何校正后,道路图像对中的目标特征点对中的标号82a和82b所指示的目标特征点对过滤掉后,得到纵向几何校正后,道路图像对中的目标特征点对。
本申请实施例中,采用基于桶思想的双向几何校正算法,对目标特征点对进行过滤,可以提高目标特征点对的匹配准确率,且双向几何校正算法的时间复杂度为线性阶,即O(N),因此,双向几何校正算法的时间复杂度较低,过滤效率较高。
由于计算两张道路图像之间的拍摄距离,本质上其实是估计相机的平面偏移向量,而一个平面偏移向量由两个相交的坐标轴决定,因此,本申请实施例中采用了双向几何校正来精确还原相机的偏移量。
如图9所示,图9为本申请实施例提供的一种平面偏移向量的示意图。两个相交的坐标轴分别记为x和y,平面偏移向量由x轴和y轴决定。
本申请实施例中,可以将采用双向几何校正算法进行过滤后得到的目标特征点对,作为最终的特征点对。
步骤S16,利用最终的特征点对计算道路图像对之间的拍摄距离。
本申请实施例中,可以将利用最终的特征点对来计算两张道路图片之间的拍摄距离,也就是相机拍摄两张道路图像时,相机所处的实际拍摄点之间的距离。
具体地,对于道路图像对中的每一张道路图像,利用最终的特征点对中所包含该道路图像的目标特征点,计算对应的凸包,并计算凸包的面积,其中,可以是采用道格拉斯-普克(Douglas-Peucker)算法等计算对应的凸包。
如图10所示,图10为本申请实施例提供的一种凸包的示意图。由图10可以看出共有10个点,其中,最外围的5个点可以构成一个凸多边形,剩余的5个点在该凸多边形的内部,也就是说,凸包是包围了所有点的最小凸多边形。在本申请实施例中,道路图像对应的凸包可以理解为包围最终的特征点对中所包含的该道路图像的目标特征点的最小凸多边形。
对于道路图像对中的每一张道路图像,可以计算对应的散度,其中,道路图像对应的散度可以理解为凸包中的每一个目标特征点与凸包的几何中心之间的距离方差。例如图10中的10个点与凸包的几何中心之间的距离方差为对应的散度。
一般来说,在经过双向几何校正后,两张道路图像的散度较为接近。本申请实施例中,可以根据道路图像对中每一张道路图像对应的凸包的面积、以及两张道路图像的散度均值,计算两张道路图像的拍摄距离,计算公式如下所示:
Figure 774995DEST_PATH_IMAGE001
其中,
Figure 563959DEST_PATH_IMAGE002
表示两张道路图像的拍摄距离,
Figure 259383DEST_PATH_IMAGE003
表示可以把数值缩放到一定的取值范围的函数,例如,
Figure 766587DEST_PATH_IMAGE003
可以是exp函数(也就是指数函数),以将
Figure 182656DEST_PATH_IMAGE002
的取值范围约束到大于 0,
Figure 826127DEST_PATH_IMAGE004
Figure 426873DEST_PATH_IMAGE005
分别表示道路图像对中两张道路图像各自对应的凸包的面积,
Figure 421374DEST_PATH_IMAGE006
表示最终的特征点对的数量,
Figure 765767DEST_PATH_IMAGE007
表示平方根运算符,
Figure 653958DEST_PATH_IMAGE008
表示道路图像对中两张道路图像的散度均值。
到此,可以计算出两张道路图像的拍摄距离,且由于对道路图像对中的目标特征点进行多次过滤,使得计算得到的拍摄距离是一个较为精确数值。在本申请实施例中,可以通过
Figure 425605DEST_PATH_IMAGE002
来判断两张道路图像的拍摄距离,
Figure 641822DEST_PATH_IMAGE002
的数值越接近1,表明两张道路图像的拍摄距离越近;
Figure 789907DEST_PATH_IMAGE009
的数值越远离1,表明两张道路图像的拍摄距离越远。
本申请实施例中的技术方案,可以是采用单目相机拍摄两张道路图像,按照上述方式计算两张道路图像的拍摄距离,在仅有低成本配置的基础上,依旧可以实现对两张道路图像之间实际拍摄距离的精确估计,可以应用于许多人工智能的技术领域中,比如道路生产自动化、高精地图自动化成生成、自动驾驶、激光雷达测距等技术领域。
在实际应用中,并不仅限于采用单目相机拍摄两张道路图像,也可以采用更高级的传感器来获取道路图像,比如采用激光雷达、毫米波雷达、多目高清摄像头等来获取道路图像,在本申请实施例中不做限定。
上述从具体实施例的角度详细介绍了确定道路图像对之间的拍摄距离的方式,下述将从方法步骤的角度,详细介绍道路图像之间的拍摄距离确定方法,如图11所示,图11为本申请实施例提供的一种道路图像之间的拍摄距离确定方法的流程示意图,该方法包括步骤S111-步骤S115。
步骤S111,获取待处理道路图像集合,道路图像集合包括第一道路图像和第二道路图像。
本申请实施例中,获取待处理道路图像集合的方式不做限定,例如,电子设备可以直接拍摄得到道路图像集合,电子设备也可以获取用户上传的道路图像集合。其中,道路图像集合中包括至少两张道路图像,各道路图像包含同一目标物体,道路图像集合中包含同一目标物体的任意两张道路图像可以视作一个道路图像对,也就是说,道路图像集合中的任意两张道路图像可以视作一个道路图像对。道路图像对中的其中一张道路图像为第一道路图像,道路图像对中的另一张道路图像为第二道路图像,电子设备获取待处理道路图像集合的方式与电子设备获取道路图像对的方式相类似,详细可以见前文有关步骤S11的相关说明,在此不再赘述。
需要说明的是,本申请实施例以及前文或者后文所提及的各实施例中,可以将第一道路图像和第二道路图像视作道路图像对,确定道路图像之间的拍摄距离,即为确定第一道路图像和第二道路图像之间的拍摄距离,也就是确定道路图像对之间的拍摄距离。
步骤S112,提取第一道路图像中的各第一特征点以及第二道路图像中的各第二特征点。
本申请实施例中,对于第一道路图像,可以从第一道路图像中提取第一特征点。在一种可能的实现方式中,可以将第一道路图像输入至特征点提取网络,由特征点提取网络输出第一道路图像中的局部特征点,可以将输出的局部特征点作为第一特征点,也可以对局部特征点进行过滤,将过滤后剩余的局部特征点作为第一特征点,也就是说,可以将前文所提及的目标特征点作为第一特征点。具体可以见前文有关步骤S12的相关说明,在此不再赘述。
即本申请实施例以及前文所提及的任一特征点,包括但不限于局部特征点、目标特征点,均可以作为第一特征点或者第二特征点。
作为一种可能的实现方式,步骤S112中,提取第一道路图像中的各第一特征点,具体可以包括:
提取第一道路图像中的各局部特征点;确定第一道路图像中的非感兴趣区域;将各局部特征点中对应于非感关键区域的特征点去除,得到第一道路图像中的各第一特征点。
本申请实施例中,可以对局部特征点进行过滤,将过滤后剩余的局部特征点作为第一特征点。具体的,可以利用特征点提取网络提取第一道路图像中的各局部特征点,将第一道路图像输入至图像分割网络,由图像分割网络输出第一道路图像中的非感兴趣区域。对于任一局部特征点,若局部特征点在非感兴趣区域内,则过滤掉局部特征点;若局部特征点不在非感兴趣区域内,则保留局部特征点。最后将保留下来的局部特征点作为第一道路图像中的各第一特征点,具体可以见前文有关步骤S12的相关说明,在此不再赘述。
可以理解的是,提取第二道路图像中的各第二特征点的方式与提取第一道路图像中的各第一特征点的方式类似,也就是说,步骤S112中,提取第二道路图像中的各第二特征点,具体可以包括:
提取第二道路图像中的各局部特征点;确定第二道路图像中的非感兴趣区域;将各局部特征点中对应于非感关键区域的特征点去除,得到第二道路图像中的各第二特征点。
提取第二道路图像中的各第二特征点的内容可以见有关提取第一道路图像中的各第一特征点的相关说明,在此不再赘述。
步骤S113,确定各第一特征点和各第二特征点之间的匹配特征点对。
本申请实施例中,对于每一个第一特征点,可以将该第一特征点与各第二特征点中的一个第二特征点匹配成功,组成匹配特征点对,也就是说,每一个匹配特征点对包括一个第一特征点和一个第二特征点。
本申请实施例中,可以将各第一特征点和各第二特征点进行匹配,得到多个特征点对,将得到的每一个特征点对作为匹配特征点对,也就是说,前文所提及的目标特征点对可以为匹配特征点对;还可以对得到的多个特征点对进行过滤,将过滤后的特征点对作为匹配特征点对,也就是说,前文提及的中间的特征点对集合中的特征点对、以及最终的特征点对,均可以作为匹配特征点对。
即本申请实施例以及前文所提及的任一特征点对,包括但不限于目标特征点对、中间的特征点对集合中的特征点对、最终的特征点对等,均可以作为匹配特征点对。
本申请实施例中,步骤S113中,确定各第一特征点和各第二特征点之间的匹配特征点对,具体可以包括:
获取各第一特征点和各第二特征点中每一特征点的特征向量;确定各第一特征点和各第二特征点中的各特征点对的特征向量之间的距离,其中,每一特征点对包括一个第一特征点和一个第二特征点;基于距离,从各特征点对中确定出匹配特征点对。
本申请实施例中,特征点的特征向量指的是前文所提及的局部特征点的描述特征向量,可以将道路图像输入至特征点提取网络中,由特征点提取网络输出道路图像中的特征点和特征点的特征向量。也就是说,通过特征点提取网络可以提取出各第一特征点的特征向量、以及各第二特征点的特征向量,具体可见前文有关步骤S12的相关说明,在此不再赘述。
可以确定各第一特征点和各第二特征点中的各特征点对的特征向量之间的距离,也就是,确定第一特征点与第二特征点之间的特征向量距离,并基于距离,从各特征点对中确定出匹配特征点对。
具体地,对于每一个第一特征点,可以计算第一特征点的特征向量分别与各第二特征点的特征向量之间的特征向量距离,从特征向量距离中选取最小的特征向量距离,将该第一特征点与最小的特征向量距离所对应的第二特征点,作为匹配特征点对。在实际执行时,也可以对应每一个第二特征点,计算第二特征点的特征向量分别与各第一特征点的特征向量之间的特征向量距离,从特征向量距离中选取最小的特征向量距离,将该第二特征点与最小的特征向量距离所对应的第一特征点,作为匹配特征点对。
在实际应用时,对于各第一特征点或各第二特征点中的每一个特征点,可以确定该特征点的权重值,其确定方式不做限定。
在一种可能的实现方式中,可以通过判断第一特征点在第一道路图像中的位置确定第一特征点的权重值,例如,若第一特征点位于第一道路图像的四周,则第一特征点的权重值较小,若第一特征点位于第一道路图像的中心,则第一特征点的权重值较大。
在另一种可能的实现方式中,可以确定第一道路图像中的感兴趣区域,基于第一感兴趣区域,确定各第一特征点的权重值,其中,可以采用图像检测网络确定第一道路图像中的感兴趣区域,例如,若第一特征点位于第一道路图像中的感兴趣区域内,则第一特征点的权重值较大;若第一特征点没有位于第一道路图像中的感兴趣区域内,则第一特征点的权重值较小。
在实际应用时,可以预先设置各感兴趣区域各自对应的权重值区间,通过各感兴趣区域各自对应的权重值区间,确定各第一特征点的权重值。也就是说,第一特征点在不同的感兴趣区域内时,第一特征点的权重值也不同,例如,斑马线的感兴趣区域内的第一特征点的权重值大于路灯的感兴趣区域内的第一特征点的权重值。
可以理解的是,确定第一特征点的权重值的方式和确定第二特征点的权重值的方式相类似,具体可以见前文有关步骤S13的相关说明,在此不再赘述。
本申请实施例中,在计算第一特征点的特征向量分别与各第二特征点的特征向量之间的特征向量距离时,可以基于第一特征点的特征向量及权重值、和各第二特征点的特征向量及权重值,确定各特征向量距离。
具体的,对于每一个第一特征点,可以利用第一特征点的特征向量及权重值、和各第二特征点的特征向量及各第二特征点的权重值,确定第一特征点分别与各第二特征点的特征向量距离。进一步地,从各特征向量距离中选取最小的特征向量距离,将第一特征点和最小的特征向量距离所对应的第二特征点,作为匹配特征点对,具体可以见前文有关步骤S14的相关说明,在此不再赘述。
本申请实施例,在将各第一特征点和各第二特征点进行匹配,得到多个特征点对后,可以对多个特征点对进行过滤,将过滤后的特征点对作为匹配特征点对,其中,过滤方式不做限定,包括但不限于采用最近邻搜索算法过滤、采用随机采样一致性算法过滤、采用双向几何算法过滤等中的至少一项。
作为一种可能的实现方式,基于距离,从各特征点对中确定出匹配特征点对,具体可以包括:
基于距离,从各特征点对中确定出各候选匹配特征点对;基于随机采样一致性算法从各候选匹配特征点对中确定出匹配特征点对。
本申请实施例中,可以将根据特征向量距离匹配的特征点对作为候选匹配特征点对,利用随机采样一致性算法从各候选匹配特征点对中确定出匹配特征点对,其中,可以基于随机采样一致性算法,对各候选匹配特征点对进行多次过滤,将多次过滤后剩余的候选匹配特征点对确定为匹配特征点对,具体可以见前述有关步骤S15的相关说明,在此不再赘述。
作为另一种可能的实现方式,基于距离,从各特征点对中确定出匹配特征点对,具体可以包括:
基于距离,从各特征点对中确定出各候选匹配特征点对;对于每个候选匹配特征点对,确定候选匹配特征点对的连线与指定方向的夹角;基于各候选匹配特征点对对应的夹角,从各候选匹配特征点对中确定匹配特征点对。
本申请实施例中,可以将根据特征向量距离匹配的特征点对作为候选匹配特征点对,对于每一个候选匹配特征点对,由于候选匹配特征点对包括第一道路图像上的第一特征点和第二道路图像上的第二特征点,因此,可以确定第一特征点和第二特征点的连线与指定方向的夹角。进一步地,基于各候选匹配特征点对对应的夹角,从各候选匹配特征点对中确定匹配特征点对。其中,指定方向包括但不限于正北方向、正南方向、正东方向、正西方向等,具体可以见前述有关步骤S15的相关说明,在此不再赘述。
其中,对于任一候选匹配特征点对指定方向包括第一方向或第二方向中的至少一个。
对于第一方向或第二方向,基于各候选匹配特征点对对应的夹角,从各候选匹配特征点对中确定匹配特征点对,具体可以包括:
确定各候选匹配特征点对对应的夹角所对应的角度范围;根据各角度范围所对应的夹角的数量,确定出各角度范围中的目标角度范围;将属于目标角度范围内的各夹角所对应的候选匹配特征点对,确定为匹配特征点对。
本申请实施例中,第一方向可以和第二方向垂直,例如第一方向可以为正北方向或者正南方向等,第二方向可以为正东方向或者正西方向等。
本申请实施例中,确定候选匹配特征点对的连线时,可以将第一道路图像和第二道路图像按照横向或者纵向中的至少一项摆放,从而确定候选匹配特征点对的连线。
当将第一道路图像和第二道路图像按照水平方向摆放时,本申请实施例为采用横向几何校正算法对候选匹配特征点对进行过滤;当将第一道路图像和第二道路图像按照垂直方向摆放时,本申请实施例为采用纵向几何校正算法对候选匹配特征点对进行过滤;当将第一道路图像和第二道路图像分别按照水平方向和垂直方向摆放时,本申请实施例为采用双向几何校正算法对候选匹配特征点对进行过滤,具体可以见前述有关步骤S15的相关说明,在此不再赘述。
其中,各角度范围是采用以下方式确定的:
将360度划分为若干个角度范围。
确定各候选匹配特征点对对应的夹角所对应的角度范围,具体可以包括:
对于任一候选匹配特征点对对应的夹角,将夹角所属的角度范围以及该角度范围的相邻角度范围,确定为夹角所对应的角度范围。
本申请实施例中,可以将360度均匀或者不均匀地划分为多个角度范围,对于每一个候选匹配特征点对对应的夹角,可以确定该夹角所属的角度范围,将该夹角所属的角度范围以及与该角度范围相邻的角度范围,也就是将夹角所属的角度范围以及该角度范围的相邻角度范围,确定为夹角所对应的角度范围。
例如,将360度均匀分为6个角度范围,则6个角度范围分别为(0,60]、(60,120]、(120,180]、(180,240]、(240,300]、(300,360]。若候选匹配特征点对对应的夹角为175度,则夹角所属的角度范围为(120,180],(120,180]的相邻角度范围为(60,120]、(180,240],因此,可以确定夹角所对应的角度范围为(60,120]、(120,180]、(180,240]。
根据各角度范围所对应的夹角的数量,确定出各角度范围中的目标角度范围,具体可以包括:
根据各角度范围所对应的夹角的数量由大到小的顺序,将数量靠前的预设数量个角度范围确定为目标角度范围。
本申请实施例中,可以根据各角度范围所对应的夹角的数量,按照由大到小的顺序对各角度范围进行排序,选取数量靠前的前预设数量个角度范围确定为目标角度范围,例如,选取前10个角度范围,作为目标角度范围。
进一步地,保留属于目标角度范围内的各夹角所对应的候选匹配特征点对,过滤掉其他候选匹配特征点对,最终保留的候选匹配特征点对作为匹配特征点对,具体可以见前述有关步骤S15的相关说明,在此不再赘述。
步骤S114,确定匹配特征点对所包含的第一特征点的第一特征点分布特征、以及匹配特征点对所包含的第二特征点的第二特征点分布特征。
其中,第一特征点分布特征包括第一凸包的面积和第一散度,第二特征点分布特征包括第二凸包的面积和第二散度。
其中,第一凸包是匹配特征点对所包含的第一特征点对应的凸包,第一散度表征了匹配特征点对所包含的第一特征点与第一凸包的几何中心之间的距离;第二凸包是匹配特征点对所包含的第二特征点对应的凸包,第二散度表征了匹配特征点对所包含的第二特征点与第二凸包的几何中心之间的距离。
本申请实施例中,第一凸包是包围匹配特征点对所包含的第一特征点的最小凸多边形,可以理解为由匹配特征点对所包含的第一特征点中、处于外围的第一特征点所确定的凸多边形,匹配特征点对所包含的第一特征点与第一凸包的几何中心之间的距离可以通过匹配特征点对所包含的第一特征点与第一凸包的几何中心之间的距离方差来表示。相对应的,第二凸包是包围匹配特征点对所包含的第二特征点的最小凸多边形,可以理解为由匹配特征点对所包含的第二特征点中、处于外围的第二特征点所确定的凸多边形,匹配特征点对所包含的第二特征点与第二凸包的几何中心之间的距离可以通过匹配特征点对所包含的第二特征点与第二凸包的几何中心之间的距离方差来表示,具体可以见前述有关步骤S16的相关说明,在此不再赘述。
步骤S115,根据第一特征点分布特征和第二特征点分布特征,确定第一道路图像和第二道路图像之间的拍摄距离。
在一种可能的实现方式中,根据第一特征点分布特征和第二特征点分布特征,确定第一道路图像和第二道路图像之间的拍摄距离,具体可以包括:
根据第一特征点分布特征、第二特征点分布特征以及匹配特征点对的点对数量,确定第一道路图像和第二道路图像之间的拍摄距离。
本申请实施例中,可以第一特征点分布特征包括但不限于第一凸包的面积和第一散度,第二特征点分布特征包括但不限于第二凸包的面积和第二散度,可以根据第一凸包的面积、第一散度、第二凸包的面积、第二散度以及匹配特征点对的点对数量,计算第一道路图像和第二道路图像之间的拍摄距离。
在实际应用时,步骤S15中,根据第一特征点分布特征和第二特征点分布特征,确定第一道路图像和第二道路图像之间的拍摄距离,具体可以包括:
根据第一散度和第二散度确定散度均值;根据第一凸包的面积、第二凸包的面积、散度均值以及匹配特征点对的点对数量,确定第一道路图像和第二道路图像之间的拍摄距离。
本申请实施例中,可以计算第一散度和第二散度的散度均值,根据第一凸包的面积、第二凸包的面积、散度均值以及匹配特征点对的数量,确定第一道路图像和第二道路图像之间的拍摄距离,具体计算公式如下所示:
Figure 814495DEST_PATH_IMAGE010
其中,公式的相关参数说明,以及步骤S115的相关内容,可以见前述有关步骤S16的相关说明,在此不再赘述。
本申请实施例提供了一种道路图像之间的拍摄距离确定方法,与现有技术相比,本申请实施例可以针对道路图像集合中的第一道路图像和第二道路图像,分别提取各第一特征点和各第二特征点,并确定各第一特征点和各第二特征点之间的匹配特征点对,根据匹配特征点对所包含的第一特征点的第一特征点分布特征、以及匹配特征点对所包含的第二特征点的第二特征点分布特征,确定第一道路图像和第二道路图像之间的拍摄距离,也就是在车辆行驶的过程中相机拍摄同一目标物体的相对距离,实现了在车辆行驶的过程中,利用车辆配备的普通行车记录仪获取道路图像集合,并基于道路图像集合估计在车辆行驶的过程中,相机拍摄同一目标物体时得到的两张图像之间的拍摄距离,从而可以基于拍摄距离实现自动驾驶、或者估计目标物体与拍摄相机之间的距离等。
上述从方法步骤的角度具体阐述了道路图像之间的拍摄距离确定方法,下面从虚拟模块的角度介绍道路图像之间的拍摄距离确定装置,具体如下所示:
本申请实施例提供了一种道路图像之间的拍摄距离确定装置,如图12所示,该道路图像之间的拍摄距离确定装置120可以包括:图像获取模块模块1201、特征点提取模块1202、特征点处理模块1203以及拍摄距离确定模块1204,其中,
图像获取模块1201,用于获取待处理道路图像集合,道路图像集合包括第一道路图像和第二道路图像;
特征点提取模块1202,用于提取第一道路图像中的各第一特征点以及第二道路图像中的各第二特征点;
特征点处理模块1203,用于确定各第一特征点和各第二特征点之间的匹配特征点对,以及确定匹配特征点对所包含的第一特征点的第一特征点分布特征、以及匹配特征点对所包含的第二特征点的第二特征点分布特征;
拍摄距离确定模块1204,用于根据第一特征点分布特征和第二特征点分布特征,确定第一道路图像和第二道路图像之间的拍摄距离。
在一种可能的实现方式中,拍摄距离确定模块1204具体用于:
根据第一特征点分布特征、第二特征点分布特征以及匹配特征点对的点对数量,确定第一道路图像和第二道路图像之间的拍摄距离。
在一种可能的实现方式中,第一特征点分布特征包括第一凸包的面积和第一散度,第二特征点分布特征包括第二凸包的面积和第二散度;
其中,第一凸包是匹配特征点对所包含的第一特征点对应的凸包,第一散度表征了匹配特征点对所包含的第一特征点与第一凸包的几何中心之间的距离;
第二凸包是匹配特征点对所包含的第二特征点对应的凸包,第二散度表征了匹配特征点对所包含的第二特征点与第二凸包的几何中心之间的距离。
在一种可能的实现方式中,拍摄距离确定模块1204具体用于:
根据第一散度和第二散度确定散度均值;
根据第一凸包的面积、第二凸包的面积、散度均值以及匹配特征点对的点对数量,确定第一道路图像和第二道路图像之间的拍摄距离。
在一种可能的实现方式中,特征点提取模块1202在提取第一道路图像中的各第一特征点时,具体用于:
提取第一道路图像中的各局部特征点;
确定第一道路图像中的非感兴趣区域;
将各局部特征点中对应于非感关键区域的特征点去除,得到第一道路图像中的各第一特征点。
在一种可能的实现方式中,特征点处理模块1203在确定各第一特征点和各第二特征点之间的匹配特征点对时,具体用于:
获取各第一特征点和各第二特征点中每一特征点的特征向量;
确定各第一特征点和各第二特征点中的各特征点对的特征向量之间的距离,其中,每一特征点对包括一个第一特征点和一个第二特征点;
基于距离,从各特征点对中确定出匹配特征点对。
在一种可能的实现方式中,特征点处理模块1203在基于距离,从各特征点对中确定出匹配特征点对时,具体用于:
基于距离,从各特征点对中确定出各候选匹配特征点对;
基于随机采样一致性算法从各候选匹配特征点对中确定出匹配特征点对。
在一种可能的实现方式中,特征点处理模块1203在基于距离,从各特征点对中确定出匹配特征点对时,具体用于:
基于距离,从各特征点对中确定出各候选匹配特征点对;
对于每个候选匹配特征点对,确定候选匹配特征点对的连线与指定方向的夹角;
基于各候选匹配特征点对对应的夹角,从各候选匹配特征点对中确定匹配特征点对。
在一种可能的实现方式中,指定方向包括第一方向或第二方向中的至少一个;
对于第一方向或第二方向,特征点处理模块1203在基于各候选匹配特征点对对应的夹角,从各候选匹配特征点对中确定匹配特征点对时,具体用于:
确定各候选匹配特征点对对应的夹角所对应的角度范围;
根据各角度范围所对应的夹角的数量,确定出各角度范围中的目标角度范围;
将属于目标角度范围内的各夹角所对应的候选匹配特征点对,确定为匹配特征点对。
在一种可能的实现方式中,特征点处理模块1203在根据各角度范围所对应的夹角的数量,确定出各角度范围中的目标角度范围时,具体用于:
根据各角度范围所对应的夹角的数量由大到小的顺序,将数量靠前的预设数量个角度范围确定为目标角度范围。
在一种可能的实现方式中,各角度范围是采用以下方式确定的:
将360度划分为若干个角度范围;
特征点处理模块1203在确定各候选匹配特征点对对应的夹角所对应的角度范围时,具体用于:
对于任一候选匹配特征点对对应的夹角,将夹角所属的角度范围以及该角度范围的相邻角度范围,确定为夹角所对应的角度范围。
本实施例的道路图像之间的拍摄距离确定装置可执行本申请方法实施例提供的一种道路图像之间的拍摄距离确定方法,其实现原理相类似,此处不再赘述。
道路图像之间的拍摄距离确定装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如道路图像之间的拍摄距离确定装置为一个应用软件,该装置可以用于执行本申请实施例提供的方法中的相应步骤。
在一些实施例中,本申请实施例提供的道路图像之间的拍摄距离确定装置可以采用软硬件结合的方式实现,作为示例,本申请实施例提供的道路图像之间的拍摄距离确定装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的道路图像之间的拍摄距离确定方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable GateArray)或其他电子元件。
在另一些实施例中,本申请实施例提供的道路图像之间的拍摄距离确定装置可以采用软件方式实现,存储在存储器中的道路图像之间的拍摄距离确定装置,其可以是程序和插件等形式的软件,并包括一系列的模块,包括图像获取模块模块1201、特征点提取模块1202、特征点处理模块1203以及拍摄距离确定模块1204;其中,图像获取模块模块1201、特征点提取模块1202、特征点处理模块1203以及拍摄距离确定模块1204用于实现本申请实施例提供的道路图像之间的拍摄距离确定方法。
本申请实施例提供了一种道路图像之间的拍摄距离确定装置,与现有技术相比,本申请实施例可以针对道路图像集合中的第一道路图像和第二道路图像,分别提取各第一特征点和各第二特征点,并确定各第一特征点和各第二特征点之间的匹配特征点对,根据匹配特征点对所包含的第一特征点的第一特征点分布特征、以及匹配特征点对所包含的第二特征点的第二特征点分布特征,确定第一道路图像和第二道路图像之间的拍摄距离,也就是在车辆行驶的过程中相机拍摄同一目标物体的相对距离,实现了在车辆行驶的过程中,利用车辆配备的普通行车记录仪获取道路图像集合,并基于道路图像集合估计在车辆行驶的过程中,相机拍摄同一目标物体时得到的两张图像之间的拍摄距离,从而可以基于拍摄距离实现自动驾驶、或者估计目标物体与拍摄相机之间的距离等。
上述从虚拟模块或者虚拟单元的角度介绍本申请的道路图像之间的拍摄距离确定装置,下面从实体装置的角度介绍本申请的电子设备。
本申请实施例提供了一种电子设备,如图13所示,图13所示的电子设备4000包括:处理器4001和存储器4003。其中,处理器4001和存储器4003相连,如通过总线4002相连。可选地,电子设备4000还可以包括收发器4004。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是PCI总线或EISA总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器4003用于存储执行本申请方案的计算机程序,并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的计算机程序,以实现前述任一方法实施例所示的内容。
本申请实施例提供了一种电子设备,本申请实施例中的电子设备包括存储器和处理器,其中,存储器中存储有计算机程序;处理器在运行计算机程序时,执行前述方法实施例中的相应内容。
上述从实体装置的角度介绍本申请的电子设备,下面从存储介质的角度介绍本申请的计算机可读存储介质。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述方法实施例涉及的各种可选实现方式中提供的方法。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种道路图像之间的拍摄距离确定方法,其特征在于,包括:
获取待处理道路图像集合,所述道路图像集合包括第一道路图像和第二道路图像;
提取所述第一道路图像中的各第一特征点以及所述第二道路图像中的各第二特征点;
确定所述各第一特征点和所述各第二特征点之间的匹配特征点对;
确定所述匹配特征点对所包含的第一特征点的第一特征点分布特征、以及所述匹配特征点对所包含的第二特征点的第二特征点分布特征;
根据所述第一特征点分布特征和所述第二特征点分布特征,确定所述第一道路图像和所述第二道路图像之间的拍摄距离。
2.根据权利要求1所述的方法,其特征在于,所述第一特征点分布特征包括第一凸包的面积和第一散度,所述第二特征点分布特征包括第二凸包的面积和第二散度,其中,所述第一凸包是所述匹配特征点对所包含的第一特征点对应的凸包,所述第一散度表征了所述匹配特征点对所包含的第一特征点与所述第一凸包的几何中心之间的距离,第二凸包是所述匹配特征点对所包含的第二特征点对应的凸包,所述第二散度表征了所述匹配特征点对所包含的第二特征点与所述第二凸包的几何中心之间的距离;
其中,所述根据所述第一特征点分布特征和所述第二特征点分布特征,确定所述第一道路图像和所述第二道路图像之间的拍摄距离,包括:
根据所述第一散度和所述第二散度确定散度均值;
根据所述第一凸包的面积、所述第二凸包的面积、所述散度均值以及所述匹配特征点对的点对数量,确定所述第一道路图像和所述第二道路图像之间的拍摄距离。
3.根据权利要求1或2所述的方法,其特征在于,所述提取所述第一道路图像中的各第一特征点,包括:
提取所述第一道路图像中的各局部特征点;
确定所述第一道路图像中的非感兴趣区域;
将所述各局部特征点中对应于所述非感关键区域的特征点去除,得到所述第一道路图像中的各第一特征点。
4.根据权利要求1或2所述的方法,其特征在于,所述确定所述各第一特征点和所述各第二特征点之间的匹配特征点对,包括:
获取各所述第一特征点和各所述第二特征点中每一特征点的特征向量;
确定各所述第一特征点和各所述第二特征点中的各特征点对的特征向量之间的距离,其中,每一特征点对包括一个第一特征点和一个第二特征点;
基于所述距离,从各所述特征点对中确定出匹配特征点对。
5.根据权利要求4所述的方法,其特征在于,所述基于所述距离,从各所述特征点对中确定出匹配特征点对,包括:
基于所述距离,从各所述特征点对中确定出各候选匹配特征点对;
对于每个所述候选匹配特征点对,确定所述候选匹配特征点对的连线与指定方向的夹角;
基于各所述候选匹配特征点对对应的夹角,从各所述候选匹配特征点对中确定所述匹配特征点对。
6.根据权利要求5所述的方法,其特征在于,所述指定方向包括第一方向或第二方向中的至少一个;
对于所述第一方向或所述第二方向,所述基于各所述候选匹配特征点对对应的夹角,从各所述候选匹配特征点对中确定所述匹配特征点对,包括:
确定各所述候选匹配特征点对对应的夹角所对应的角度范围;
根据各所述角度范围所对应的夹角的数量,确定出各所述角度范围中的目标角度范围;
将属于所述目标角度范围内的各夹角所对应的候选匹配特征点对,确定为所述匹配特征点对。
7.根据权利要求6所述的方法,其特征在于,所述各所述角度范围是采用以下方式确定的:
将360度划分为若干个角度范围;
所述确定各所述候选匹配特征点对对应的夹角所对应的角度范围,包括:
对于任一所述候选匹配特征点对对应的夹角,将所述夹角所属的角度范围以及该角度范围的相邻角度范围,确定为所述夹角所对应的角度范围。
8.一种道路图像之间的拍摄距离确定装置,其特征在于,包括:
图像获取模块,用于获取待处理道路图像集合,所述道路图像集合包括第一道路图像和第二道路图像;
特征点提取模块,用于提取所述第一道路图像中的各第一特征点以及所述第二道路图像中的各第二特征点;
特征点处理模块,用于确定所述各第一特征点和所述各第二特征点之间的匹配特征点对,以及确定所述匹配特征点对所包含的第一特征点的第一特征点分布特征、以及所述匹配特征点对所包含的第二特征点的第二特征点分布特征;
拍摄距离确定模块,用于根据所述第一特征点分布特征和所述第二特征点分布特征,确定所述第一道路图像和所述第二道路图像之间的拍摄距离。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,其中,所述存储器中存储有计算机程序;所述处理器在运行所述计算机程序时,执行权利要求1~7任一项所述的方法。
10.一种计算机可读存储介质,所述存储介质中存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~7任一项所述的方法。
CN202110155246.6A 2021-02-04 2021-02-04 道路图像之间的拍摄距离确定方法、装置、设备及介质 Active CN112507992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110155246.6A CN112507992B (zh) 2021-02-04 2021-02-04 道路图像之间的拍摄距离确定方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110155246.6A CN112507992B (zh) 2021-02-04 2021-02-04 道路图像之间的拍摄距离确定方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN112507992A true CN112507992A (zh) 2021-03-16
CN112507992B CN112507992B (zh) 2021-05-07

Family

ID=74952705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110155246.6A Active CN112507992B (zh) 2021-02-04 2021-02-04 道路图像之间的拍摄距离确定方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112507992B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159161A (zh) * 2021-04-16 2021-07-23 深圳市商汤科技有限公司 目标匹配方法和装置、设备及存储介质
CN116958606A (zh) * 2023-09-15 2023-10-27 腾讯科技(深圳)有限公司 一种图像匹配方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208012A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 风景匹配参考数据生成系统及位置测量系统
CN102208013A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 风景匹配参考数据生成系统和位置测量系统
CN102354449A (zh) * 2011-10-09 2012-02-15 昆山市工业技术研究院有限责任公司 基于车联网实现图像信息共享的方法、装置和系统
CN104299244A (zh) * 2014-09-26 2015-01-21 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
US9070285B1 (en) * 2011-07-25 2015-06-30 UtopiaCompression Corporation Passive camera based cloud detection and avoidance for aircraft systems
CN105205494A (zh) * 2015-08-31 2015-12-30 小米科技有限责任公司 相似图片识别方法及装置
CN108280386A (zh) * 2017-01-05 2018-07-13 浙江宇视科技有限公司 监控场景检测方法及装置
CN110657812A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆定位方法、装置及车辆
US20200219281A1 (en) * 2017-07-05 2020-07-09 Clarion Co., Ltd. Vehicle external recognition apparatus

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208012A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 风景匹配参考数据生成系统及位置测量系统
CN102208013A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 风景匹配参考数据生成系统和位置测量系统
US9070285B1 (en) * 2011-07-25 2015-06-30 UtopiaCompression Corporation Passive camera based cloud detection and avoidance for aircraft systems
CN102354449A (zh) * 2011-10-09 2012-02-15 昆山市工业技术研究院有限责任公司 基于车联网实现图像信息共享的方法、装置和系统
CN104299244A (zh) * 2014-09-26 2015-01-21 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
CN105205494A (zh) * 2015-08-31 2015-12-30 小米科技有限责任公司 相似图片识别方法及装置
CN108280386A (zh) * 2017-01-05 2018-07-13 浙江宇视科技有限公司 监控场景检测方法及装置
US20200219281A1 (en) * 2017-07-05 2020-07-09 Clarion Co., Ltd. Vehicle external recognition apparatus
CN110657812A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车辆定位方法、装置及车辆

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
傅傲林: "基于单目视觉的空间目标操控系统相对导航算法研究", 《全国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159161A (zh) * 2021-04-16 2021-07-23 深圳市商汤科技有限公司 目标匹配方法和装置、设备及存储介质
CN116958606A (zh) * 2023-09-15 2023-10-27 腾讯科技(深圳)有限公司 一种图像匹配方法及相关装置
CN116958606B (zh) * 2023-09-15 2024-05-28 腾讯科技(深圳)有限公司 一种图像匹配方法及相关装置

Also Published As

Publication number Publication date
CN112507992B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN111832655B (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
EP3274964B1 (en) Automatic connection of images using visual features
Tippetts et al. Dense disparity real-time stereo vision algorithm for resource-limited systems
CN112507992B (zh) 道路图像之间的拍摄距离确定方法、装置、设备及介质
CN112862874A (zh) 点云数据匹配方法、装置、电子设备及计算机存储介质
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN115049700A (zh) 一种目标检测方法及装置
CN111340922A (zh) 定位与地图构建的方法和电子设备
CN114648640B (zh) 一种目标物单体化方法、装置、设备及存储介质
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN116222577B (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN114066987A (zh) 一种相机位姿估计方法、装置、设备及存储介质
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN114155303B (zh) 基于双目相机的参数立体匹配方法和系统
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
US20200005536A1 (en) Computer Vision Systems and Methods for Modeling Three-Dimensional Structures Using Two-Dimensional Segments Detected in Digital Aerial images
CN112732860B (zh) 道路提取方法、装置、可读存储介质及设备
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN114556425A (zh) 定位的方法、设备、无人机和存储介质
CN112801012B (zh) 交通元素的处理方法、装置、电子设备及存储介质
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041018

Country of ref document: HK