CN112767412A - 车辆部件级分割方法、装置以及电子设备 - Google Patents
车辆部件级分割方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN112767412A CN112767412A CN202011644516.1A CN202011644516A CN112767412A CN 112767412 A CN112767412 A CN 112767412A CN 202011644516 A CN202011644516 A CN 202011644516A CN 112767412 A CN112767412 A CN 112767412A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- component
- target
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G06T3/067—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本申请提供了一种车辆部件级分割方法、装置以及电子设备,涉及图像处理技术领域,缓解了对车辆图像的分割处理精细度较低技术问题。该方法包括:获取待处理2D图像、待处理2D图像中的目标车辆上的关键点的2D坐标、目标车辆的3D模型以及关键点在3D模型上对应的3D坐标;其中,关键点是预先设定的车辆特定位置,如车前窗左上角点、左前车轮中心点等,车辆特定位置用于表示车辆部件信息;根据2D坐标、3D坐标以及预设相机内参通过PnP算法进行计算,得到目标车辆的姿态信息;基于目标车辆的姿态信息,将含有车辆部件信息的3D模型投影至待处理2D图像上,得到目标车辆的部件级分割2D图像。
Description
技术领域
本申请涉及图像处理技术领域,尤其是涉及一种车辆部件级分割方法、装置以及电子设备。
背景技术
目前,对于相机采集到的包含其他车辆的图像中,一般可以对图像中的这些车辆进行整体级分割,即分割出不同的车辆,便于对图像中的多个车辆之间进行区分。
但是,目前针对图像中的单个车辆难以进行部件级的分割,即无法区分出单个车辆上不同的部件,导致对车辆图像的分割处理精细度较低。
发明内容
本发明的目的在于提供一种车辆部件级分割方法、装置以及电子设备,以缓解对车辆图像的分割处理精细度较低技术问题。
第一方面,本申请实施例提供了一种车辆部件级分割方法,所述方法包括:
获取待处理二维(Two dimensional,2D)图像、所述待处理2D图像中的目标车辆上的关键点的2D坐标、所述目标车辆的三维(Three dimensional,3D)模型以及所述关键点在所述3D模型上对应的3D坐标;其中,所述关键点是预先设定的车辆特定位置,所述车辆特定位置用于表示车辆部件信息;
根据所述2D坐标、所述3D坐标以及预设相机内参通过多点匹配(pespective-n-point,PNP)算法进行计算,得到所述目标车辆的姿态信息;
基于所述目标车辆的姿态信息,将含有所述车辆部件信息的所述3D模型投影至所述待处理2D图像上,得到所述目标车辆的部件级分割2D图像。
在一个可能的实现中,在所述基于所述目标车辆的姿态信息,将含有所述车辆部件信息的所述3D模型投影至所述待处理2D图像上,得到所述目标车辆的部件级分割2D图像的步骤之后,还包括:
将所述部件级分割2D图像作为训练样本,对初始神经网络模型进行训练,得到车辆部件级分割模型;
其中,所述车辆部件级分割模型用于对2D图像中的车辆进行部件级分割。
在一个可能的实现中,所述待处理2D图像中的所述目标车辆的数量为多个;
所述基于所述目标车辆的姿态信息,将含有所述车辆部件信息的所述3D模型投影至所述待处理2D图像上,得到所述目标车辆的部件级分割2D图像的步骤,包括:
根据多个所述目标车辆的姿态信息,确定多个所述目标车辆距离所述待处理2D图像的图像采集相机的实际距离;
根据多个所述目标车辆对应的所述实际距离,确定多个所述目标车辆的投影先后顺序;其中,所述实际距离越大所述投影先后顺序越先;
基于多个所述目标车辆的姿态信息,按照所述投影先后顺序,将标记有所述关键点的多个所述3D模型投影至所述待处理2D图像上,得到多个所述目标车辆的部件级分割2D图像。
在一个可能的实现中,获取所述目标车辆的3D模型的步骤,包括:
获取所述目标车辆的车辆信息;
根据所述目标车辆的车辆信息从多个预设车辆3D模型中确定所述目标车辆的3D模型。
在一个可能的实现中,所述车辆信息包括下述任意一项或多项:
车辆品牌、车辆型号、车辆类型。
在一个可能的实现中,所述预设相机内参包括下述任意一项或多项:
相机的光心、焦距和畸变参数。
在一个可能的实现中,所述姿态信息包括下述任意一项或多项:
车辆的旋转角和平移向量。
第二方面,提供了一种车辆部件级分割装置,所述装置包括:
获取模块,用于获取待处理2D图像、所述待处理2D图像中的目标车辆上的关键点的2D坐标、所述目标车辆的3D模型以及所述关键点在所述3D模型上对应的3D坐标;其中,所述关键点是预先设定的车辆特定位置,所述车辆特定位置用于表示车辆部件信息;
计算模块,用于根据所述2D坐标、所述3D坐标以及预设相机内参通过PnP算法进行计算,得到所述目标车辆的姿态信息;
投影模块,用于基于所述目标车辆的姿态信息,将含有所述车辆部件信息的所述3D模型投影至所述待处理2D图像上,得到所述目标车辆的部件级分割2D图像。
第三方面,本申请实施例又提供了一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
第四方面,本申请实施例又提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
本申请实施例带来了以下有益效果:
本申请实施例提供的一种车辆部件级分割方法、装置以及电子设备,能够获取待处理2D图像、待处理2D图像中的目标车辆上的关键点的2D坐标、目标车辆的3D模型以及关键点在3D模型上对应的3D坐标;其中,关键点是预先设定的车辆特定位置,该车辆特定位置用于表示车辆部件信息;根据2D坐标、3D坐标以及预设相机内参通过PnP算法进行计算,得到目标车辆的姿态信息;基于目标车辆的姿态信息,将含有上述车辆部件信息的3D模型投影至待处理2D图像上,得到目标车辆的部件级分割2D图像。本方案中,通过根据2D坐标、3D坐标以及预设相机内参利用PnP算法进行计算,能够得到目标车辆的姿态信息,便于基于目标车辆的姿态信息将含有车辆部件信息的3D模型投影至待处理2D图像上,从而能够得到目标车辆的部件级分割2D图像,进而实现了对图像中车辆的部件级分割,从而对车辆图像的分割处理的精细度得到提高,能够获取到车辆的更多的更加精细且具体的车辆信息,也便于提取车辆的关键点。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的车辆部件级分割方法的流程示意图;
图2为本申请实施例提供的车辆部件级分割方法的另一流程示意图;
图3为本申请实施例提供的车辆部件级分割方法中,2D图像和3D模型的一个示例;
图4为本申请实施例提供的一种车辆部件级分割装置的结构示意图;
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前,无法针对图像中的单个车辆进行部件级的分割,即无法区分出单个车辆上不同的部件,导致对车辆图像的分割处理精细度较低。若采用人工分割部件,车辆部件级分割数据的人工标记成本高、时间长而且难度大。
基于此,本申请实施例提供了一种车辆部件级分割方法、装置以及电子设备,通过该方法可以缓解对车辆图像的分割处理精细度较低技术问题。
下面结合附图对本发明实施例进行进一步地介绍。
图1为本申请实施例提供的一种车辆部件级分割方法的流程示意图。如图1所示,该方法包括:
步骤S110,获取待处理2D图像、待处理2D图像中的目标车辆上的关键点的2D坐标、目标车辆的3D模型以及关键点在3D模型上对应的3D坐标。
其中,关键点是预先设定的车辆特定位置,如车前窗左上角点、左前车轮中心点等,该车辆特定位置用于表示车辆部件信息。需要说明的是,车辆3D模型可以由三角面(faces)和顶点(vertices)构成,每个面归属的车辆部位为已知的数据。
需要说明的是,车辆2D关键点坐标是图像中车辆特定位置的像素坐标(x,y)。2D关键点对应的3D坐标使以车辆中心为原点的空间坐标系的关键点坐标(x,y,z)。3D关键点坐标与2D关键点具有一一对应关系。
对于本步骤的具体执行过程,示例性的,如图2所示,获取若干种车型的3D模型,模型由三角面和顶点3D坐标构成;获取对车辆模型的三角面进行标注后的数据,即明确每个三角面归属于车辆的某一部件,并为每个三角面指定颜色;获取车辆模型特定位置的关键点3D坐标,标注图像中车辆特定位置的关键点2D坐标;建立至少6组车辆的2D-3D关键点对应关系。
步骤S120,根据2D坐标、3D坐标以及预设相机内参通过PnP算法进行计算,得到目标车辆的姿态信息。
其中,预设相机内参即为相机内部参数,预设相机内参包括下述任意一项或多项:相机的光心、焦距和畸变参数。姿态信息包括下述任意一项或多项:车辆的旋转角(旋转矩阵或旋转向量)和平移向量(位置距离)。
需要说明的是,PnP求解算法是指通过多对3D与2D匹配点,在已知或者未知相机内参的情况下,利用最小化重投影误差来求解相机外参的算法。PnP求解算法是前端位姿跟踪部分中常用的算法之一。
本步骤中,可以通过PnP算法得到图中的车辆相对于相机视角的姿态。例如,如图2所示,使用PnP算法,利用上述步骤S110中获取的2D-3D关键点坐标和相机内参矩阵,计算车辆的姿态,如旋转向量和平移向量等。
步骤S130,基于目标车辆的姿态信息,将含有车辆部件信息的3D模型投影至待处理2D图像上,得到目标车辆的部件级分割2D图像。
其中,车辆部件级分割指的是图像中的车辆的车门,车窗,车灯与车轮等部件的像素归为不同的类别。例如,如图3所示,选择上述步骤S110中的颜色,将每个三角面投影至图像上,得到车辆部件分割数据,即车辆部件分割2D图像。
本申请实施例中,标注图像中的车辆关键点后便可直接得到图像中车辆的姿态和图像对应的车辆部件分割图像通过根据2D坐标、3D坐标以及预设相机内参利用PnP算法进行计算,能够得到目标车辆的姿态信息,便于基于目标车辆的姿态信息将标记有关键点的3D模型投影至待处理2D图像上,从而能够得到目标车辆的部件级分割2D图像,进而实现了对图像中车辆的部件级分割,从而对车辆图像的分割处理的精细度得到提高,能够获取到车辆的更多的更加精细且具体的车辆信息。
下面对上述步骤进行详细介绍。
在一些实施例中,在步骤S130之后,该方法还可以包括以下步骤:
步骤a),将部件级分割2D图像作为训练样本,对初始神经网络模型进行训练,得到车辆部件级分割模型。
其中,车辆部件级分割模型用于对2D图像中的车辆进行部件级分割。本步骤中,可以将车辆部件级分割的2D图像作为训练样本训练神经网络模型,得到训练好的车辆部件级分割模型,以后的车辆部件级分割过程便可以直接使用该模型得到车辆部件级分割的2D图像。
通过使用车辆部件分割数据进行训练,能够获得用于分割车辆部件的模型,实现了通过深度学习模型得到车辆更丰富的信息。
在一些实施例中,待处理2D图像中的目标车辆的数量为多个;上述步骤S130可以包括如下步骤:
步骤b),根据多个目标车辆的姿态信息,确定多个目标车辆距离待处理2D图像的图像采集相机的实际距离;
步骤c),根据多个目标车辆对应的实际距离,确定多个目标车辆的投影先后顺序;其中,实际距离越大投影先后顺序越先;
步骤d),基于多个目标车辆的姿态信息,按照投影先后顺序,将标记有关键点的多个3D模型投影至待处理2D图像上,得到多个目标车辆的部件级分割2D图像。
例如,如图3所示,计算模型每个三角面的中心投影后的深度值,根据深度值对所有三角面排序,深度值高的面在前。然后,按照这个排序,选择上述步骤S110中的颜色,将每个三角面投影至图像上,从而能够得到更加精确的车辆部件分割图像,缓解了车辆之间前后覆盖等情况的影响。
在一些实施例中,上述步骤S110中获取目标车辆的3D模型的过程可以包括如下步骤:
步骤e),获取目标车辆的车辆信息;
步骤f),根据目标车辆的车辆信息从多个预设车辆3D模型中确定目标车辆的3D模型。
其中,车辆信息可以包括下述任意一项或多项:车辆品牌、车辆型号、车辆类型。示例性的,如图2所示,在标注图像中车辆特定位置的关键点2D坐标时还可以标注图像中车辆的类型,便于根据车辆的类型从多个预设车辆3D模型中确定出目标车辆对应的更加准确的3D模型。
图4提供了一种车辆部件级分割装置的结构示意图。如图4所示,车辆部件级分割装置400包括:
获取模块401,用于获取待处理2D图像、所述待处理2D图像中的目标车辆上的关键点的2D坐标、所述目标车辆的3D模型以及所述关键点在所述3D模型上对应的3D坐标;其中,所述关键点是预先设定的车辆特定位置,所述车辆特定位置用于表示车辆部件信息;
计算模块402,用于根据所述2D坐标、所述3D坐标以及预设相机内参通过PnP算法进行计算,得到所述目标车辆的姿态信息;
投影模块403,用于基于所述目标车辆的姿态信息,将含有所述车辆部件信息的所述3D模型投影至所述待处理2D图像上,得到所述目标车辆的部件级分割2D图像。
在一些实施例中,该装置还包括:
训练模块,用于将所述部件级分割2D图像作为训练样本,对初始神经网络模型进行训练,得到车辆部件级分割模型;
其中,所述车辆部件级分割模型用于对2D图像中的车辆进行部件级分割。
在一些实施例中,所述待处理2D图像中的所述目标车辆的数量为多个;投影模块403具体用于:
根据多个所述目标车辆的姿态信息,确定多个所述目标车辆距离所述待处理2D图像的图像采集相机的实际距离;
根据多个所述目标车辆对应的所述实际距离,确定多个所述目标车辆的投影先后顺序;其中,所述实际距离越大所述投影先后顺序越先;
基于多个所述目标车辆的姿态信息,按照所述投影先后顺序,将标记有所述关键点的多个所述3D模型投影至所述待处理2D图像上,得到多个所述目标车辆的部件级分割2D图像。
在一些实施例中,获取模块401具体用于:
获取所述目标车辆的车辆信息;
根据所述目标车辆的车辆信息从多个预设车辆3D模型中确定所述目标车辆的3D模型。
在一些实施例中,所述车辆信息包括下述任意一项或多项:
车辆品牌、车辆型号、车辆类型。
在一些实施例中,所述预设相机内参包括下述任意一项或多项:
相机的光心、焦距和畸变参数。
在一些实施例中,所述姿态信息包括下述任意一项或多项:
车辆的旋转角和平移向量。
本申请实施例提供的车辆部件级分割装置,与上述实施例提供的车辆部件级分割方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
本申请实施例提供的一种电子设备,如图5所示,电子设备500包括处理器502、存储器501,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例提供的方法的步骤。
参见图5,电子设备还包括:总线503和通信接口504,处理器502、通信接口504和存储器501通过总线503连接;处理器502用于执行存储器501中存储的可执行模块,例如计算机程序。
其中,存储器501可能包含高速随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口504(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线503可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器501用于存储程序,所述处理器502在接收到执行指令后,执行所述程序,前述本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器502中,或者由处理器502实现。
处理器502可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器502可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processing,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501,处理器502读取存储器501中的信息,结合其硬件完成上述方法的步骤。
对应于上述车辆部件级分割方法,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行上述车辆部件级分割方法的步骤。
本申请实施例所提供的车辆部件级分割装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
又例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述车辆部件级分割方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到,相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
最后说明的是,以上实施例,仅为本申请具体实施方式,用以说明本申请技术方案,而非对其限制,本申请保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细说明,本领域的普通技术人员应理解,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。所以,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种车辆部件级分割方法,其特征在于,所述方法包括:
获取待处理2D图像、所述待处理2D图像中的目标车辆上的关键点的2D坐标、所述目标车辆的3D模型以及所述关键点在所述3D模型上对应的3D坐标;其中,所述关键点是预先设定的车辆特定位置,所述车辆特定位置用于表示车辆部件信息;
根据所述2D坐标、所述3D坐标以及预设相机内参通过PnP算法进行计算,得到所述目标车辆的姿态信息;
基于所述目标车辆的姿态信息,将含有所述车辆部件信息的所述3D模型投影至所述待处理2D图像上,得到所述目标车辆的部件级分割2D图像。
2.根据权利要求1所述的车辆部件级分割方法,其特征在于,在所述基于所述目标车辆的姿态信息,将含有所述车辆部件信息的所述3D模型投影至所述待处理2D图像上,得到所述目标车辆的部件级分割2D图像的步骤之后,还包括:
将所述部件级分割2D图像作为训练样本,对初始神经网络模型进行训练,得到车辆部件级分割模型;
其中,所述车辆部件级分割模型用于对2D图像中的车辆进行部件级分割。
3.根据权利要求1所述的车辆部件级分割方法,其特征在于,所述待处理2D图像中的所述目标车辆的数量为多个;
所述基于所述目标车辆的姿态信息,将含有所述车辆部件信息的所述3D模型投影至所述待处理2D图像上,得到所述目标车辆的部件级分割2D图像的步骤,包括:
根据多个所述目标车辆的姿态信息,确定多个所述目标车辆距离所述待处理2D图像的图像采集相机的实际距离;
根据多个所述目标车辆对应的所述实际距离,确定多个所述目标车辆的投影先后顺序;其中,所述实际距离越大所述投影先后顺序越先;
基于多个所述目标车辆的姿态信息,按照所述投影先后顺序,将标记有所述关键点的多个所述3D模型投影至所述待处理2D图像上,得到多个所述目标车辆的部件级分割2D图像。
4.根据权利要求1所述的车辆部件级分割方法,其特征在于,获取所述目标车辆的3D模型的步骤,包括:
获取所述目标车辆的车辆信息;
根据所述目标车辆的车辆信息从多个预设车辆3D模型中确定所述目标车辆的3D模型。
5.根据权利要求4所述的车辆部件级分割方法,其特征在于,所述车辆信息包括下述任意一项或多项:
车辆品牌、车辆型号、车辆类型。
6.根据权利要求1所述的车辆部件级分割方法,其特征在于,所述预设相机内参包括下述任意一项或多项:
相机的光心、焦距和畸变参数。
7.根据权利要求1所述的车辆部件级分割方法,其特征在于,所述姿态信息包括下述任意一项或多项:
车辆的旋转角和平移向量。
8.一种车辆部件级分割装置,其特征在于,所述装置包括:
获取模块,用于获取待处理2D图像、所述待处理2D图像中的目标车辆上的关键点的2D坐标、所述目标车辆的3D模型以及所述关键点在所述3D模型上对应的3D坐标;其中,所述关键点是预先设定的车辆特定位置,所述车辆特定位置用于表示车辆部件信息;
计算模块,用于根据所述2D坐标、所述3D坐标以及预设相机内参通过PnP算法进行计算,得到所述目标车辆的姿态信息;
投影模块,用于基于所述目标车辆的姿态信息,将含有所述车辆部件信息的所述3D模型投影至所述待处理2D图像上,得到所述目标车辆的部件级分割2D图像。
9.一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可运行指令,所述计算机可运行指令在被处理器调用和运行时,所述计算机可运行指令促使所述处理器运行所述权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011644516.1A CN112767412B (zh) | 2020-12-31 | 2020-12-31 | 车辆部件级分割方法、装置以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011644516.1A CN112767412B (zh) | 2020-12-31 | 2020-12-31 | 车辆部件级分割方法、装置以及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767412A true CN112767412A (zh) | 2021-05-07 |
CN112767412B CN112767412B (zh) | 2024-04-12 |
Family
ID=75698772
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011644516.1A Active CN112767412B (zh) | 2020-12-31 | 2020-12-31 | 车辆部件级分割方法、装置以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767412B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114705121A (zh) * | 2022-03-29 | 2022-07-05 | 智道网联科技(北京)有限公司 | 车辆位姿测量方法、装置及电子设备、存储介质 |
CN114913330A (zh) * | 2022-07-18 | 2022-08-16 | 中科视语(北京)科技有限公司 | 点云部件分割方法、装置、电子设备与存储介质 |
CN114705121B (zh) * | 2022-03-29 | 2024-05-14 | 智道网联科技(北京)有限公司 | 车辆位姿测量方法、装置及电子设备、存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2048599A1 (en) * | 2007-10-11 | 2009-04-15 | MVTec Software GmbH | System and method for 3D object recognition |
CN101963926A (zh) * | 2009-07-23 | 2011-02-02 | 佳能株式会社 | 信息处理装置及信息处理装置的控制方法 |
CN103049340A (zh) * | 2012-10-26 | 2013-04-17 | 中山大学 | 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法 |
CN104112275A (zh) * | 2014-07-15 | 2014-10-22 | 青岛海信电器股份有限公司 | 一种图像分割方法及装置 |
CN104322052A (zh) * | 2012-05-09 | 2015-01-28 | 恩卡姆技术有限公司 | 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统 |
CN104574509A (zh) * | 2015-01-26 | 2015-04-29 | 上海交通大学 | 一种由投影重建物体三维图像的方法 |
CN104899883A (zh) * | 2015-05-29 | 2015-09-09 | 北京航空航天大学 | 一种深度图像场景的室内对象立方体检测方法 |
CN107730503A (zh) * | 2017-09-12 | 2018-02-23 | 北京航空航天大学 | 三维特征嵌入的图像对象部件级语义分割方法与装置 |
CN109377499A (zh) * | 2018-09-12 | 2019-02-22 | 中山大学 | 一种像素级物体分割方法及装置 |
CN109447121A (zh) * | 2018-09-27 | 2019-03-08 | 清华大学 | 一种视觉传感器网络多目标跟踪方法、装置及系统 |
CN109523556A (zh) * | 2018-09-30 | 2019-03-26 | 百度在线网络技术(北京)有限公司 | 车辆部件分割方法和装置 |
CN110663246A (zh) * | 2017-05-24 | 2020-01-07 | 深圳市大疆创新科技有限公司 | 用于处理图像的方法和系统 |
CN111950504A (zh) * | 2020-08-21 | 2020-11-17 | 东软睿驰汽车技术(沈阳)有限公司 | 车辆检测方法、装置以及电子设备 |
CN112150551A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 物体位姿的获取方法、装置和电子设备 |
-
2020
- 2020-12-31 CN CN202011644516.1A patent/CN112767412B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2048599A1 (en) * | 2007-10-11 | 2009-04-15 | MVTec Software GmbH | System and method for 3D object recognition |
CN101963926A (zh) * | 2009-07-23 | 2011-02-02 | 佳能株式会社 | 信息处理装置及信息处理装置的控制方法 |
CN104322052A (zh) * | 2012-05-09 | 2015-01-28 | 恩卡姆技术有限公司 | 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统 |
CN103049340A (zh) * | 2012-10-26 | 2013-04-17 | 中山大学 | 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法 |
CN104112275A (zh) * | 2014-07-15 | 2014-10-22 | 青岛海信电器股份有限公司 | 一种图像分割方法及装置 |
CN104574509A (zh) * | 2015-01-26 | 2015-04-29 | 上海交通大学 | 一种由投影重建物体三维图像的方法 |
CN104899883A (zh) * | 2015-05-29 | 2015-09-09 | 北京航空航天大学 | 一种深度图像场景的室内对象立方体检测方法 |
CN110663246A (zh) * | 2017-05-24 | 2020-01-07 | 深圳市大疆创新科技有限公司 | 用于处理图像的方法和系统 |
CN107730503A (zh) * | 2017-09-12 | 2018-02-23 | 北京航空航天大学 | 三维特征嵌入的图像对象部件级语义分割方法与装置 |
CN109377499A (zh) * | 2018-09-12 | 2019-02-22 | 中山大学 | 一种像素级物体分割方法及装置 |
CN109447121A (zh) * | 2018-09-27 | 2019-03-08 | 清华大学 | 一种视觉传感器网络多目标跟踪方法、装置及系统 |
CN109523556A (zh) * | 2018-09-30 | 2019-03-26 | 百度在线网络技术(北京)有限公司 | 车辆部件分割方法和装置 |
CN111950504A (zh) * | 2020-08-21 | 2020-11-17 | 东软睿驰汽车技术(沈阳)有限公司 | 车辆检测方法、装置以及电子设备 |
CN112150551A (zh) * | 2020-09-25 | 2020-12-29 | 北京百度网讯科技有限公司 | 物体位姿的获取方法、装置和电子设备 |
Non-Patent Citations (1)
Title |
---|
张骁: "基于3D空间多部件模型的车辆检测方法研究", 《中国优秀硕士论文全文数据库》, 15 January 2016 (2016-01-15) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114705121A (zh) * | 2022-03-29 | 2022-07-05 | 智道网联科技(北京)有限公司 | 车辆位姿测量方法、装置及电子设备、存储介质 |
CN114705121B (zh) * | 2022-03-29 | 2024-05-14 | 智道网联科技(北京)有限公司 | 车辆位姿测量方法、装置及电子设备、存储介质 |
CN114913330A (zh) * | 2022-07-18 | 2022-08-16 | 中科视语(北京)科技有限公司 | 点云部件分割方法、装置、电子设备与存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112767412B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10217007B2 (en) | Detecting method and device of obstacles based on disparity map and automobile driving assistance system | |
JP6230751B1 (ja) | 物体検出装置および物体検出方法 | |
CN107239794B (zh) | 点云数据分割方法和终端 | |
CN109658454B (zh) | 一种位姿信息确定方法、相关装置及存储介质 | |
CN111459269B (zh) | 一种增强现实显示方法、系统及计算机可读存储介质 | |
CN111681285B (zh) | 一种标定方法、装置、电子设备及存储介质 | |
CN111583381B (zh) | 游戏资源图的渲染方法、装置及电子设备 | |
CN106919883B (zh) | 一种qr码的定位方法及装置 | |
CN111382625A (zh) | 道路标识识别方法、装置及电子设备 | |
CN111928857B (zh) | 一种动态环境中实现slam定位的方法及相关装置 | |
CN108052869B (zh) | 车道线识别方法、装置及计算机可读存储介质 | |
CN108960012B (zh) | 特征点检测方法、装置及电子设备 | |
CN112149592A (zh) | 图像处理方法、装置以及计算机设备 | |
CN115526990A (zh) | 用于数字孪生的目标可视化方法、装置及电子设备 | |
CN110673607A (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
CN112767412B (zh) | 车辆部件级分割方法、装置以及电子设备 | |
CN112381876B (zh) | 一种交通标志标注方法、装置及计算机设备 | |
CN109523570B (zh) | 运动参数计算方法及装置 | |
CN113793413A (zh) | 三维重建方法、装置、电子设备及存储介质 | |
CN112837384A (zh) | 车辆标记方法、装置和电子设备 | |
CN112580516A (zh) | 一种道路场景识别方法、装置、设备及存储介质 | |
CN109816709B (zh) | 基于单目摄像头的深度估计方法、装置及设备 | |
CN113850100A (zh) | 一种校正二维码的方法和装置 | |
CN109977937B (zh) | 图像处理方法、装置及设备 | |
CN112184813B (zh) | 车辆定位方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |