CN107886039A - 泊车系统全景视图生成方法和装置 - Google Patents

泊车系统全景视图生成方法和装置 Download PDF

Info

Publication number
CN107886039A
CN107886039A CN201610874728.6A CN201610874728A CN107886039A CN 107886039 A CN107886039 A CN 107886039A CN 201610874728 A CN201610874728 A CN 201610874728A CN 107886039 A CN107886039 A CN 107886039A
Authority
CN
China
Prior art keywords
pixel
vehicle body
image
colouring information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610874728.6A
Other languages
English (en)
Inventor
周珣
臧成杰
吕天雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fafa Automobile China Co ltd
Original Assignee
Faraday Beijing Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faraday Beijing Network Technology Co Ltd filed Critical Faraday Beijing Network Technology Co Ltd
Priority to CN201610874728.6A priority Critical patent/CN107886039A/zh
Publication of CN107886039A publication Critical patent/CN107886039A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种泊车系统全景视图生成方法和装置,能够根据车身颜色与背景颜色的差异实现对车身边缘的自动检测,因此只要车辆停放区域颜色与车身颜色不同即可确定车身边缘在图像中的位置,将不同图像拼接完成之后,在得到全景视图的同时,也确定了车身在全景视图中的位置。因此,对于车辆停放环境的要求大大降低,而且在图像拼接过程中,可以不需要标定物与车身的相对位置关系,标定物的位置可以随意设置,甚至可以选择在车辆停放区域内的已有参照物代替标定物。采用上述方案,极大提高了车辆全景泊车系统的标定过程的灵活性。

Description

泊车系统全景视图生成方法和装置
技术领域
本发明涉及全景泊车中的图像处理技术,特别涉及一种泊车系统全景视图生成方法和装置。
背景技术
全景泊车系统通过车辆周围安装的广角摄像头拍摄车辆周围的环境,通过图像处理技术将多个摄像头拍摄的影像图像进行处理,最终形成一幅完全展示车辆周围环境的360度全景视图。由于摄像头以及模具不可能达到完全一致,因此装有全景泊车系统的汽车在出厂前一般需要进行标定,对各个摄像头进行校准,从而保证各个方向的图像能够正确拼接起来,组成一幅全景视图供驾驶员观看。
现有技术当中,摄像头的标定需在特定的环境下进行。在该环境下,标定物、车辆必须严格按照规定设置于特定的位置,因此标定物与车身的位置关系、标定物上的特征点与车身的距离关系都为已知。得到不同视角的图像之后对图像进行拼接,能够得到准确的全景视图,在该全景视图中中间车身部分预留空白区域供后期添加车辆三维模型使用。
这种操作方式对环境要求非常严格,一旦车辆停放位置或者标定物位置稍有偏差,就会导致标定物与车身的位置关系发生变化,得到的结果就会存在较大误差,给全景泊车系统的标定过程和全景视图的生成过程带来较大影响。
发明内容
本发明实施例要解决的技术问题是现有技术中全景泊车系统的全景视图生成过程对环境的要求较高给标定操作及全景视图的生成过程带来的影响。
为解决上述技术问题,本发明实施例提供一种泊车系统全景视图生成方法,包括如下步骤:
获取记录车辆周围不同视角环境的图像;
根据每一图像中车身颜色与停放区域颜色的差异,确定车身边缘在该图像中的位置;
拼接不同视角环境的图像得到全景视图,其中每一图像中的车身边缘连接后得到车身在所述全景视图中的位置。
可选地,上述的泊车系统全景视图生成方法,根据每一图像中车身颜色及停放区域颜色的差异,确定车身边缘在该图像中的位置的步骤中包括:
获取每一像素点的颜色信息;
将颜色信息与预存车身颜色信息的差值小于第一预设阈值的像素点划分至第一像素点集合;
将颜色信息与预存停放区域颜色信息的差值小于第二预设阈值的像素点划分至第二像素点集合;
所述第一像素点集合与所述第二像素点集合的交界位置即车身边缘在该图像中的位置。
可选地,上述的泊车系统全景视图生成方法,根据每一图像中车身颜色及停放区域颜色的差异,确定车身边缘在该图像中的位置的步骤中包括:
根据图像的视角环境预估车身边缘在图像中的第一位置;
获取每一像素点的颜色信息;
将颜色信息与预设第一种子像素点颜色信息的差值小于第三预设阈值的像素点划分至第三像素集点集合;
将颜色信息与预设第二种子像素点颜色信息的差值小于第四预设阈值的像素点划分至第四像素集点集合,所述第二种子像素点与所述第一种子像素点分布于所述第一位置的两侧;
所述第三像素点集合与所述第四像素点集合的交界位置即车身边缘在该图像中的位置。
可选地,上述的泊车系统全景视图生成方法,根据每一图像中车身颜色及停放区域颜色的差异,确定车身边缘在该图像中的位置的步骤中包括:
获取每一像素点的颜色信息;
将颜色信息与预设第三种子像素点颜色信息的差值小于第五预设阈值的像素点划分至第五像素集点集合;
所述第五像素点集合与其余像素点所在集合的交界位置即车身边缘在该图像中的位置。
可选地,上述的泊车系统全景视图生成方法,根据每一图像中车身颜色及停放区域颜色的差异,确定车身边缘在该图像中的位置的步骤中包括:
获取每一像素点的像素值;
根据每一像素点与相邻像素点的像素值之差与设定差值阈值的关系确定车身边缘在该图像中的位置。
可选地,上述的泊车系统全景视图生成方法,拼接不同视角环境的图像得到全景视图,其中每一图像中的车身边缘连接后得到车身在所述全景视图中的位置的步骤包括:
依次对相邻视角环境对应的两幅图像进行拼接;
当任意相邻视角环境对应的两幅图像中对重叠区域的记录一致时,拼接完成。
可选地,上述的泊车系统全景视图生成方法,当任意相邻视角环境对应的两幅图像中对重叠区域的记录一致时,拼接完成的步骤包括:
获取两幅图像中记录所述重叠区域内预设匹配点图像的第六像素点集合和第七像素点集合,所述预设匹配点至少为三个且不在同一直线上;
拼接两幅图像时,若所述第六像素点集合与所述第七像素点集合完全重叠,则确定两幅图像中对重叠区域的记录一致。
本发明实施例还提供一种泊车系统全景视图生成装置,包括:
图像获取模块,获取记录车辆周围不同视角环境的图像;
车身边缘确定模块,根据每一图像中车身颜色与停放区域颜色的差异,确定车身边缘在该图像中的位置;
拼接模块,拼接不同视角环境的图像得到全景视图,其中每一图像中的车身边缘连接后得到车身在所述全景视图中的位置。
可选地,上述的泊车系统全景视图生成装置,所述车身边缘确定模块具体用于:
获取每一像素点的颜色信息;
将颜色信息与预存车身颜色信息的差值小于第一预设阈值的像素点划分至第一像素点集合;
将颜色信息与预存停放区域颜色信息的差值小于第二预设阈值的像素点划分至第二像素点集合;
所述第一像素点集合与所述第二像素点集合的交界位置即车身边缘在该图像中的位置。
可选地,上述的泊车系统全景视图生成装置,所述车身边缘确定模块具体用于:
根据图像的视角环境预估车身边缘在图像中的第一位置;
获取每一像素点的颜色信息;
将颜色信息与预设第一种子像素点颜色信息的差值小于第三预设阈值的像素点划分至第三像素集点集合;
将颜色信息与预设第二种子像素点颜色信息的差值小于第四预设阈值的像素点划分至第四像素集点集合,所述第二种子像素点与所述第一种子像素点分布于所述第一位置的两侧;
所述第三像素点集合与所述第四像素点集合的交界位置即车身边缘在该图像中的位置。
可选地,上述的泊车系统全景视图生成装置,所述车身边缘确定模块具体用于:
获取每一像素点的颜色信息;
将颜色信息与预设第三种子像素点颜色信息的差值小于第五预设阈值的像素点划分至第五像素集点集合;
所述第五像素点集合与其余像素点所在集合的交界位置即车身边缘在该图像中的位置。
可选地,上述的泊车系统全景视图生成装置,所述车身边缘确定模块具体用于:
获取每一像素点的像素值;
根据每一像素点与相邻像素点的像素值之差与设定差值阈值的关系确定车身边缘在该图像中的位置。
可选地,上述的泊车系统全景视图生成装置,所述拼接模块具体用于:
依次对相邻视角环境对应的两幅图像进行拼接;
当任意相邻视角环境对应的两幅图像中对重叠区域的记录一致时,拼接完成。
可选地,上述的泊车系统全景视图生成装置,所述拼接模块中:
获取两幅图像中记录所述重叠区域内预设匹配点图像的第六像素点集合和第七像素点集合,所述预设匹配点至少为三个且不在同一直线上;
拼接两幅图像时,若所述第六像素点集合与所述第七像素点集合完全重叠,则确定两幅图像中对重叠区域的记录一致。
本发明实施例提供的泊车系统全景视图生成方法和装置,能够根据车身颜色与停放区域颜色的差异实现对车身边缘的自动检测,因此只要车辆停放区域颜色与车身颜色不同即可确定车身边缘在该图像中的位置,将不同图像拼接完成之后,在得到全景视图的同时,也确定了车身在全景视图中的位置。因此,对于车辆停放环境的要求大大降低,而且在图像拼接过程中,可以不需要标定物与车身的相对位置关系,标定物的位置可以随意设置,甚至可以选择在车辆停放区域内的已有参照物作为标定物。上述方案,极大提高了车辆全景泊车系统的标定过程的灵活性。
附图说明
图1为本发明一个实施例所述泊车系统全景视图生成方法的流程图;
图2为本发明一个实施例所述记录车辆前、后、左、右四个视角环境的图像的拼接结果示意图;
图3为本发明一个实施例所述车辆与停放区域颜色差异显示示意图;
图4为本发明一个实施例所述获取车身与停放区域颜色差异的方法流程图;
图5为本发明另一个实施例所述获取车身与停放区域颜色差异的方法流程图;
图6为本发明另一个实施例所述获取车身与停放区域颜色差异的方法流程图;
图7为本发明一个实施例所述拼接过程的方法流程图;
图8为本发明一个实施例所述泊车系统全景视图生成装置的原理框图;
图9为本发明一个实施例所述执行泊车系统全景视图生成方法的电子设备的硬件连接结构示意图。
具体实施方式
实施例1
本实施例提供一种泊车系统全景视图生成方法,如图1所示,包括如下步骤:
S101:获取记录车辆周围不同视角环境的图像;如图2所示,以四个摄像头为例,车辆周围不同视角环境的图像包括:记录车辆前视角环境的第一图像201,记录车辆右视角环境的第二图像202,记录车辆后视角环境的第三图像203,记录车辆左视角环境的第四图像204。其中,第一图像201和第二图像202具有重叠区域A,第二图像202和第三图像203具有重叠区域B,第三图像203和第四图像204具有重叠区域C,第四图像204和第一图像201具有重叠区域D。
S102:根据每一图像中车身颜色与停放区域颜色的差异,确定车身边缘在该图像中的位置。由于本步骤中需要根据车身颜色与停放区域颜色的差异来确定车身边缘,因此颜色差异越大得到的结果越准确。在选择车辆停放区域时,可根据车身颜色对停放区域进行筛选。例如车身颜色为白色时,尽量选择深颜色的停放区域,或者直接在车辆停放区域内铺上一块深颜色的背景布、刷上一层深颜色的背景漆等均可。最终实现的结果如图3所示,车辆302与停放区域301具有明显的颜色差异。另外,图中利用四条虚线将车辆周边环境划分为四个视角环境,例如,上边虚线以上为前方视角环境,右边虚线右侧为右方视角环境。由于选择的摄像头的视角较大,因此每一摄像头拍摄到的图像中,都包括部分车身以及车身之外的环境,即每一摄像头拍摄到的图像中都记录有车身颜色和停放区域背景颜色。而两种颜色交接处即为车身边缘所在位置。
S103:拼接不同视角环境的图像得到全景视图,其中每一图像中的车身边缘连接后得到车身在所述全景视图中的位置。如图2和图3所示,相邻视角环境对应的两幅图像中,均记录有重叠区域的图像信息。在拼接时,可以根据重叠区域在两幅图像中的具体位置关系,分别对两幅图像进行调整,最终保证两幅图像的显示结果与实际环境中的真实情况之间的映射比例相同,且两幅图像拼接时,重叠区域保持一致。以重叠区域A为例进行说明:
共有区域A存在于第一图像201和第二图像202中,这两幅图像进行拼接时,可选择其中一幅图像的缩放比例作为基准,使另一幅图像的缩放比例及每一像素点的像素信息与其保持一致。例如,第一图像201中记录的共有区域A按照1:20的缩放比例进行显示,如果第二图像中记录的共有区域A的缩放比例与其不同时,则无法实现两张图像的拼接操作,此时,必须调整第二图像中记录的共有区域A至1:20,方可继续拼接操作。采用相同原理,依次进行第二图像202和第三图像203的拼接,第三图像203和第四图像204的拼接,第四图像204和第一图像201的拼接,最终得到全景视图。相应地,其中每一图像中的车身边缘连接后得到车身在所述全景视图中的位置。
本实施例的上述方案,能够根据车身颜色与背景颜色的差异实现对车身边缘的自动检测,因此只要车辆停放区域颜色与车身颜色不同即可确定车身边缘在该图像中的位置,将不同图像拼接完成之后,在得到全景视图的同时,也确定了车身在全景视图中的位置。因此,对于车辆停放环境的要求大大降低,而且在图像拼接过程中,可以不需要标定物与车身的相对位置关系,因而标定物的位置也可以随意设置,甚至可以选择在车辆停放区域内的已有参照物作为标定物,极大提高了车辆全景泊车系统的标定过程的灵活性。
实施例2
本实施例在实施例1的基础上,如图4所示,S102通过以下步骤实现:
S201:获取每一像素点的颜色信息;所述颜色信息,可包括像素值、亮度值、颜色、饱和度等信息。
S202:将颜色信息与预存车身颜色信息的差值小于第一预设阈值的像素点划分至第一像素点集合;将颜色信息与预存停放区域颜色信息的差值小于第二预设阈值的像素点划分至第二像素点集合;
S203:所述第一像素点集合与所述第二像素点集合的交界位置即车身边缘在该图像中的位置。本步骤中,确定两个像素点集合后,自然就确定了车身边缘所在位置。
因为噪声或纹理等因素的影响,车身颜色和停放区域颜色并不一定完全纯净的纯色,因此针对每一图像中所有像素点进行颜色区分,根据每个像素点的颜色将其划分至表征停放区域颜色的集合中或者表征车身颜色的集合中时,像素点颜色与车身颜色或停放区域颜色误差在允许范围内即可认为属于同一颜色。
作为另一种方案,如图5所示,S102通过以下步骤实现:
S301:根据图像的视角环境预估车身边缘在图像中的第一位置,因为用于拍摄图像的摄像头的位置和角度都是已知的,只是可能在安装时会有一些偏差,因此在得到一张图像时,可以大概估计到车身边缘位置,例如可能在图片的中心位置、或者在图片的1/3高度处等。
S302:获取每一像素点的颜色信息。
S303:将颜色信息与预设第一种子像素点颜色信息的差值小于第三预设阈值的像素点划分至第三像素集点集合;将颜色信息与预设第二种子像素点颜色信息的差值小于第四预设阈值的像素点划分至第四像素集点集合,所述第二种子像素点与所述第一种子像素点分布于所述第一位置的两侧;为了确保第一种子像素点和第二种子像素点能够分别落入车身和停放区域,尽量选择与第一位置距离远的像素点,例如第一位置在图片中心位置,那么可以选择第一种子像素点在上边缘附近,第二种子像素点在下边缘附近。
S304:所述第三像素点集合与所述第四像素点集合的交界位置即车身边缘在该图像中的位置。
本实施例还提供一种实现方式,如图6所示,S102通过以下步骤实现:
S401:获取每一像素点的颜色信息。
S402:将颜色信息与预设第三种子像素点颜色信息的差值小于第五预设阈值的像素点划分至第五像素集点集合。
S403:所述第五像素点集合与其余像素点所在集合的交界位置即车身边缘在该图像中的位置。
其中,第三种子像素点可以在图像中任意位置选择,因此可能落入车身内也可能落入停放区域内。获取到的与第三种子像素点相近颜色的第五像素点集合,其可能是车身区域也可能是停放区域,但无论是哪种情况,第五像素点集合与其余像素点所在集合的交界位置就应该是车身边缘在该图像中的位置。
本实施例中还提供另一种实现方式,S102通过以下步骤实现:
获取每一像素点的像素值;根据每一像素点与相邻像素点的像素值之差与设定差值阈值的关系确定车身边缘在该图像中的位置。即直接查找像素值发生突变的位置,其一定是两种不同颜色交界的位置,即可准确确定车身边缘所在位置。
实施例3
本实施例在上述实施例的基础上,如图7所示,S103可通过以下步骤实现:
S501:依次对相邻视角环境对应的两幅图像进行拼接。
当任意相邻视角环境对应的两幅图像中对重叠区域的记录一致时,拼接完成。确定两幅图像中重叠区域是否完全一致,可对所有像素点的属性信息进行逐个比对,如位置、颜色等。也可以采用如下实现过程:
S502:获取两幅图像中记录所述重叠区域内预设匹配点图像的第六像素点集合和第七像素点集合,所述预设匹配点至少为三个且不在同一直线上;
S503:拼接两幅图像时,若所述第六像素点集合与所述第七像素点集合完全重叠,则确定两幅图像中对重叠区域的记录一致。
其中的预设匹配点可以为设置的标定物上的某一点或者某几点,也可以是环境中某一参照物上的一点或者几点,参照物例如树木、路沿、或者施划于路面上的分道线等。每一匹配点在图像中可对应若干个像素点。对第一图像201和第二图像202进行拼接时,当保证所述第六像素点集合与所述第七像素点集合完全重叠时,可确定两幅图像中对重叠区域的记录一致。采用上述步骤,无需对整个重叠区域的像素点信息进行判断,可减小数据运算量,提高处理效率。
实施例4
本实施例提供一种泊车系统全景视图生成装置,如图8所示,包括:
图像获取模块601,获取记录车辆周围不同视角环境的图像;以四个摄像头为例,车辆周围不同视角环境的图像包括:记录车辆前视角环境的第一图像,记录车辆右视角环境的第二图像,记录车辆后视角环境的第三图像,记录车辆左视角环境的第四图像。其中,第一图像和第二图像具有重叠区域,第二图像和第三图像具有重叠区域,第三图像和第四图像具有重叠区域,第四图像和第一图像具有重叠区域。
车身边缘确定模块602,根据每一图像中车身颜色与停放区域颜色的差异,确定车身边缘在该图像中的位置;由于需要根据车身颜色与停放区域颜色的差异来确定车身边缘,因此颜色差异越大得到的结果越准确。在选择车辆停放区域时,可根据车身颜色对停放区域进行筛选。例如车身颜色为白色时,尽量选择深颜色的停放区域,或者直接在车辆停放区域内铺上一块深颜色的背景布、刷上一层深颜色的背景漆等均可。由于选择的摄像头的视角较大,因此每一摄像头拍摄到的图像中,都包括部分车身以及车身之外的环境,即每一摄像头拍摄到的图像中都记录有车身颜色和停放区域颜色。而两种颜色交接处即为车身边缘所在位置。
拼接模块603,拼接不同视角环境的图像得到全景视图,其中每一图像中的车身边缘连接后得到车身在所述全景视图中的位置。相邻视角环境对应的两幅图像中,均记录有重叠区域的图像信息。在拼接时,可以根据重叠区域在两幅图像中的具体位置关系,分别对两幅图像进行调整,最终保证两幅图像的显示结果与实际环境中的真实情况之间的映射比例相同,且两幅图像拼接时,重叠区域保持一致。
上述方案,能够根据车身颜色与停放区域颜色的差异实现对车身边缘的自动检测,因此只要车辆停放区域颜色与车身颜色不同即可确定车身边缘在该图像中的位置,将不同图像拼接完成之后,在得到全景视图的同时,也确定了车身在全景视图中的位置。因此,对于车辆停放环境的要求大大降低,而且在图像拼接过程中,可以不需要标定物与车身的相对位置关系,因而标定物的位置也可以随意设置,甚至可以选择在车辆停放区域内的已有参照物代替标定物,极大提高了车辆全景泊车系统的标定过程的灵活性。
在上述方案的基础上,所述车身边缘确定模块602具体用于:
获取每一像素点的颜色信息;
将颜色信息与预存车身颜色信息的差值小于第一预设阈值的像素点划分至第一像素点集合;
将颜色信息与预存停放区域颜色信息的差值小于第二预设阈值的像素点划分至第二像素点集合;
所述第一像素点集合与所述第二像素点集合的交界位置即车身边缘在该图像中的位置。
因为噪声或纹理等因素的影响,车身颜色和停放区域颜色并不一定完全纯净的纯色,因此针对每一图像中所有像素点进行颜色区分,根据每个像素点的颜色将其划分至表征停放区域颜色的集合中或者表征车身颜色的集合中时,像素点颜色与车身颜色或停放区域颜色误差在允许范围内即可认为属于同一颜色。
作为另一种方案,所述车身边缘确定模块602具体用于:
根据图像的视角环境预估车身边缘在图像中的第一位置;因为用于拍摄图像的摄像头的位置和角度都是已知的,只是可能在安装时会有一些偏差,因此在得到一张图像时,可以大概估计到车身边缘位置,例如可能在图片的中心位置、或者在图片的1/3高度处等。
获取每一像素点的颜色信息;
将颜色信息与预设第一种子像素点颜色信息的差值小于第三预设阈值的像素点划分至第三像素集点集合;
将颜色信息与预设第二种子像素点颜色信息的差值小于第四预设阈值的像素点划分至第四像素集点集合,所述第二种子像素点与所述第一种子像素点分布于所述第一位置的两侧;为了确保第一种子像素点和第二种子像素点能够分别落入车身和停放区域,尽量选择与第一位置距离远的像素点,例如第一位置在图片中心位置,那么可以选择第一种子像素点在上边缘附近,第二种子像素点在下边缘附近。
所述第三像素点集合与所述第四像素点集合的交界位置即车身边缘在该图像中的位置。
作为另一种方案,所述车身边缘确定模块602具体用于:
获取每一像素点的颜色信息;
将颜色信息与预设第三种子像素点颜色信息的差值小于第五预设阈值的像素点划分至第五像素集点集合;
所述第五像素点集合与其余像素点所在集合的交界位置即车身边缘在该图像中的位置。
其中,第三种子像素点可以在图像中任意位置选择,因此可能落入车身内也可能落入停放区域内。获取到的与第三种子像素点相近颜色的第五像素点集合,其可能是车身区域也可能是停放区域,但无论是哪种情况,第五像素点集合与其余像素点所在集合的交界位置就应该是车身边缘在该图像中的位置。
作为另一种方案,所述车身边缘确定模块602具体用于:
获取每一像素点的像素值;根据每一像素点与相邻像素点的像素值之差与设定差值阈值的关系确定车身边缘在该图像中的位置。即直接查找像素值发生突变的位置,其一定是两种不同颜色交界的位置,即可准确确定车身边缘所在位置。
进一步地,上述各方案中,所述拼接模块603具体用于:
依次对相邻视角环境对应的两幅图像进行拼接;
当任意相邻视角环境对应的两幅图像中对重叠区域的记录一致时,拼接完成。确定两幅图像中重叠区域是否完全一致,可对所有像素点的属性信息进行逐个比对,如位置、颜色等,也可以通过如下方式实现:
获取两幅图像中记录所述重叠区域内预设匹配点图像的第六像素点集合和第七像素点集合,所述预设匹配点至少为三个且不在同一直线上;其中的预设匹配点可以为设置的标定物上的某一点或者某几点,也可以是环境中某一参照物上的一点或者几点,参照物例如树木、路沿、或者施划于路面上的分道线等。每一匹配点在图像中可对应若干个像素点。拼接两幅图像时,若所述第六像素点集合与所述第七像素点集合完全重叠,则确定两幅图像中对重叠区域的记录一致。
用上述方式,无需对整个重叠区域的像素点信息进行判断,可减小数据运算量,提高处理效率。
实施例7
本申请实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的泊车系统全景视图生成方法。
实施例8
图9是本实施例提供的执行泊车系统全景视图生成方法的电子设备的硬件结构示意图,该设备包括:
一个或多个处理器701以及存储器702,图9中以一个处理器701为例。
执行泊车系统全景视图生成方法的设备还可以包括:输入装置703和输出装置704。
处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接,图9中以通过总线连接为例。
存储器702作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的泊车系统全景视图生成方法对应的程序指令/模块(例如,附图8所示的图像获取模块601、车身边缘确定模块602、拼接模块603)。处理器701通过运行存储在存储器702中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的泊车系统全景视图生成方法。
存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据泊车系统全景视图生成装置的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至泊车系统全景视图生成装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置703可接收输入的数字或字符信息,以及产生与泊车系统全景视图生成装置的用户设置以及功能控制有关的键信号输入。输出装置704可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器702中,当被所述一个或者多个处理器701执行时,执行上述任意方法实施例中的泊车系统全景视图生成方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本发明实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种泊车系统全景视图生成方法,其特征在于,包括如下步骤:
获取记录车辆周围不同视角环境的图像;
根据每一图像中车身颜色与停放区域颜色的差异,确定车身边缘在该图像中的位置;
拼接不同视角环境的图像得到全景视图,其中每一图像中的车身边缘连接后得到车身在所述全景视图中的位置。
2.根据权利要求1所述的泊车系统全景视图生成方法,其特征在于,根据每一图像中车身颜色及停放区域颜色的差异,确定车身边缘在该图像中的位置的步骤中包括:
获取每一像素点的颜色信息;
将颜色信息与预存车身颜色信息的差值小于第一预设阈值的像素点划分至第一像素点集合;
将颜色信息与预存停放区域颜色信息的差值小于第二预设阈值的像素点划分至第二像素点集合;
所述第一像素点集合与所述第二像素点集合的交界位置即车身边缘在该图像中的位置。
3.根据权利要求1所述的泊车系统全景视图生成方法,其特征在于,根据每一图像中车身颜色及停放区域颜色的差异,确定车身边缘在该图像中的位置的步骤中包括:
根据图像的视角环境预估车身边缘在图像中的第一位置;
获取每一像素点的颜色信息;
将颜色信息与预设第一种子像素点颜色信息的差值小于第三预设阈值的像素点划分至第三像素集点集合;
将颜色信息与预设第二种子像素点颜色信息的差值小于第四预设阈值的像素点划分至第四像素集点集合,所述第二种子像素点与所述第一种子像素点分布于所述第一位置的两侧;
所述第三像素点集合与所述第四像素点集合的交界位置即车身边缘 在该图像中的位置。
4.根据权利要求1所述的泊车系统全景视图生成方法,其特征在于,根据每一图像中车身颜色及停放区域颜色的差异,确定车身边缘在该图像中的位置的步骤中包括:
获取每一像素点的颜色信息;
将颜色信息与预设第三种子像素点颜色信息的差值小于第五预设阈值的像素点划分至第五像素集点集合;
所述第五像素点集合与其余像素点所在集合的交界位置即车身边缘在该图像中的位置。
5.根据权利要求1所述的泊车系统全景视图生成方法,其特征在于,根据每一图像中车身颜色及停放区域颜色的差异,确定车身边缘在该图像中的位置的步骤中包括:
获取每一像素点的像素值;
根据每一像素点与相邻像素点的像素值之差与设定差值阈值的关系确定车身边缘在该图像中的位置。
6.根据权利要求1-5任一项所述的泊车系统全景视图生成方法,其特征在于,拼接不同视角环境的图像得到全景视图,其中每一图像中的车身边缘连接后得到车身在所述全景视图中的位置的步骤包括:
依次对相邻视角环境对应的两幅图像进行拼接;
当任意相邻视角环境对应的两幅图像中对重叠区域的记录一致时,拼接完成。
7.根据权利要求5所述的泊车系统全景视图生成方法,其特征在于,当任意相邻视角环境对应的两幅图像中对重叠区域的记录一致时,拼接完成的步骤包括:
获取两幅图像中记录所述重叠区域内预设匹配点图像的第六像素点集合和第七像素点集合,所述预设匹配点至少为三个且不在同一直线上;
拼接两幅图像时,若所述第六像素点集合与所述第七像素点集合完全重叠,则确定两幅图像中对重叠区域的记录一致。
8.一种泊车系统全景视图生成装置,其特征在于,包括:
图像获取模块,获取记录车辆周围不同视角环境的图像;
车身边缘确定模块,根据每一图像中车身颜色与停放区域颜色的差异,确定车身边缘在该图像中的位置;
拼接模块,拼接不同视角环境的图像得到全景视图,其中每一图像中的车身边缘连接后得到车身在所述全景视图中的位置。
9.根据权利要求8所述的泊车系统全景视图生成装置,其特征在于,所述车身边缘确定模块具体用于:
获取每一像素点的颜色信息;
将颜色信息与预存车身颜色信息的差值小于第一预设阈值的像素点划分至第一像素点集合;
将颜色信息与预存停放区域颜色信息的差值小于第二预设阈值的像素点划分至第二像素点集合;
所述第一像素点集合与所述第二像素点集合的交界位置即车身边缘在该图像中的位置。
10.根据权利要求8所述的泊车系统全景视图生成装置,其特征在于,所述车身边缘确定模块具体用于:
根据图像的视角环境预估车身边缘在图像中的第一位置;
获取每一像素点的颜色信息;
将颜色信息与预设第一种子像素点颜色信息的差值小于第三预设阈值的像素点划分至第三像素集点集合;
将颜色信息与预设第二种子像素点颜色信息的差值小于第四预设阈值的像素点划分至第四像素集点集合,所述第二种子像素点与所述第一种子像素点分布于所述第一位置的两侧;
所述第三像素点集合与所述第四像素点集合的交界位置即车身边缘在该图像中的位置。
11.根据权利要求8所述的泊车系统全景视图生成装置,其特征在于,所述车身边缘确定模块具体用于:
获取每一像素点的颜色信息;
将颜色信息与预设第三种子像素点颜色信息的差值小于第五预设阈 值的像素点划分至第五像素集点集合;
所述第五像素点集合与其余像素点所在集合的交界位置即车身边缘在该图像中的位置。
12.根据权利要求8所述的泊车系统全景视图生成装置,其特征在于,所述车身边缘确定模块具体用于:
获取每一像素点的像素值;
根据每一像素点与相邻像素点的像素值之差与设定差值阈值的关系确定车身边缘在该图像中的位置。
13.根据权利要求8-12任一项所述的泊车系统全景视图生成装置,其特征在于,所述拼接模块具体用于:
依次对相邻视角环境对应的两幅图像进行拼接;
当任意相邻视角环境对应的两幅图像中对重叠区域的记录一致时,拼接完成。
14.根据权利要求13所述的泊车系统全景视图生成装置,其特征在于,所述拼接模块中:
获取两幅图像中记录所述重叠区域内预设匹配点图像的第六像素点集合和第七像素点集合,所述预设匹配点至少为三个且不在同一直线上;
拼接两幅图像时,若所述第六像素点集合与所述第七像素点集合完全重叠,则确定两幅图像中对重叠区域的记录一致。
CN201610874728.6A 2016-09-30 2016-09-30 泊车系统全景视图生成方法和装置 Withdrawn CN107886039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610874728.6A CN107886039A (zh) 2016-09-30 2016-09-30 泊车系统全景视图生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610874728.6A CN107886039A (zh) 2016-09-30 2016-09-30 泊车系统全景视图生成方法和装置

Publications (1)

Publication Number Publication Date
CN107886039A true CN107886039A (zh) 2018-04-06

Family

ID=61769464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610874728.6A Withdrawn CN107886039A (zh) 2016-09-30 2016-09-30 泊车系统全景视图生成方法和装置

Country Status (1)

Country Link
CN (1) CN107886039A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118550A (zh) * 2018-07-27 2019-01-01 鹰驾科技(深圳)有限公司 汽车全景图像中车身颜色的控制方法、汽车及存储介质
CN113450257A (zh) * 2020-08-18 2021-09-28 杭州海康汽车软件有限公司 一种图像拼接瑕疵的测试方法及装置
CN113674363A (zh) * 2021-08-26 2021-11-19 龙岩学院 一种全景泊车影像拼接标定方法及其标定物
CN113781664A (zh) * 2021-11-09 2021-12-10 四川省交通勘察设计研究院有限公司 基于三维模型的vr全景图构造显示方法、系统及终端
CN114136232A (zh) * 2021-11-19 2022-03-04 中国神华能源股份有限公司哈尔乌素露天煤矿 一种物料堆积形态测量方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610401A (zh) * 2009-03-17 2009-12-23 郑仰湖 全景可视泊车系统
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统
CN102521817A (zh) * 2011-11-22 2012-06-27 广州致远电子有限公司 一种用于全景泊车系统的图像融合方法
CN103116985A (zh) * 2013-01-21 2013-05-22 信帧电子技术(北京)有限公司 一种违章停车检测方法和装置
CN103810686A (zh) * 2014-02-27 2014-05-21 苏州大学 无缝拼接全景辅助驾驶系统及方法
CN103854272A (zh) * 2012-11-28 2014-06-11 比亚迪股份有限公司 全景泊车系统自动找点匹配方法
KR20150064279A (ko) * 2013-12-02 2015-06-11 현대자동차주식회사 차량 위치 확인 시스템 및 방법
CN105046647A (zh) * 2015-06-19 2015-11-11 江苏新通达电子科技股份有限公司 全液晶仪表360°全景车用监控系统及其工作方法
CN105894511A (zh) * 2016-03-31 2016-08-24 乐视控股(北京)有限公司 标定靶设置方法、装置及停车辅助系统
CN105957010A (zh) * 2016-05-19 2016-09-21 沈祥明 一种车载图像拼接系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101610401A (zh) * 2009-03-17 2009-12-23 郑仰湖 全景可视泊车系统
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统
CN102521817A (zh) * 2011-11-22 2012-06-27 广州致远电子有限公司 一种用于全景泊车系统的图像融合方法
CN103854272A (zh) * 2012-11-28 2014-06-11 比亚迪股份有限公司 全景泊车系统自动找点匹配方法
CN103116985A (zh) * 2013-01-21 2013-05-22 信帧电子技术(北京)有限公司 一种违章停车检测方法和装置
KR20150064279A (ko) * 2013-12-02 2015-06-11 현대자동차주식회사 차량 위치 확인 시스템 및 방법
CN103810686A (zh) * 2014-02-27 2014-05-21 苏州大学 无缝拼接全景辅助驾驶系统及方法
CN105046647A (zh) * 2015-06-19 2015-11-11 江苏新通达电子科技股份有限公司 全液晶仪表360°全景车用监控系统及其工作方法
CN105894511A (zh) * 2016-03-31 2016-08-24 乐视控股(北京)有限公司 标定靶设置方法、装置及停车辅助系统
CN105957010A (zh) * 2016-05-19 2016-09-21 沈祥明 一种车载图像拼接系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118550A (zh) * 2018-07-27 2019-01-01 鹰驾科技(深圳)有限公司 汽车全景图像中车身颜色的控制方法、汽车及存储介质
CN113450257A (zh) * 2020-08-18 2021-09-28 杭州海康汽车软件有限公司 一种图像拼接瑕疵的测试方法及装置
CN113674363A (zh) * 2021-08-26 2021-11-19 龙岩学院 一种全景泊车影像拼接标定方法及其标定物
CN113674363B (zh) * 2021-08-26 2023-05-30 龙岩学院 一种全景泊车影像拼接标定方法及其标定物
CN113781664A (zh) * 2021-11-09 2021-12-10 四川省交通勘察设计研究院有限公司 基于三维模型的vr全景图构造显示方法、系统及终端
CN114136232A (zh) * 2021-11-19 2022-03-04 中国神华能源股份有限公司哈尔乌素露天煤矿 一种物料堆积形态测量方法及系统

Similar Documents

Publication Publication Date Title
CN107886039A (zh) 泊车系统全景视图生成方法和装置
US10169896B2 (en) Rebuilding images based on historical image data
US9569873B2 (en) Automated iterative image-masking based on imported depth information
KR101854554B1 (ko) 건축물 높이 산출 방법, 장치 및 저장 매체
CN104835138B (zh) 使地基图像和航拍图像对准
US11330172B2 (en) Panoramic image generating method and apparatus
CN110288527B (zh) 一种车载环视相机全景鸟瞰图生成方法
US20180060682A1 (en) Parallax minimization stitching method and apparatus using control points in overlapping region
GB2538584A (en) Image filtering based on image gradients
CN103177475A (zh) 一种街景地图展现方法及系统
CN111837158A (zh) 图像处理方法、装置、拍摄装置和可移动平台
CN109300085B (zh) 一种图像拼接方法、装置、电子设备及存储介质
US20120169759A1 (en) Method and apparatus for creating a live artistic sketch of an image
CN114881863A (zh) 一种图像拼接方法、电子设备及计算机可读存储介质
EP3098777B1 (en) Drawing apparatus, drawing method, and drawing program
CN107547789A (zh) 影像获取装置及其摄影构图的方法
CN111062863B (zh) 3d模型与经纬度坐标绑定方法、装置、设备及存储介质
CN104346804A (zh) 图像处理的方法及电子设备
CN110211190A (zh) 相机自运动参数估计模型的训练方法、装置及存储介质
CN113744361A (zh) 一种基于三目视觉的三维高精地图构建方法及装置
CN107316271A (zh) 一种全景相机的图像几何校正方法
CN114299271A (zh) 三维建模方法、三维建模装置、电子设备和可读存储介质
CN112329384A (zh) 一种文字阴影效果实现方法、装置、设备及存储介质
CN110796596A (zh) 图像拼接方法、成像装置及全景成像系统
US20240221200A1 (en) Method for identifying depths of images and related device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100026 8 floor 909, 105 building 3, Yao Yuan Road, Chaoyang District, Beijing.

Applicant after: Lexus Automobile (Beijing) Co.,Ltd.

Address before: 100026 8 floor 909, 105 building 3, Yao Yuan Road, Chaoyang District, Beijing.

Applicant before: FARADAY (BEIJING) NETWORK TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20180907

Address after: 511458 9, Nansha District Beach Road, Guangzhou, Guangdong, 9

Applicant after: Evergrande Faraday Future Smart Car (Guangdong) Co.,Ltd.

Address before: 100026 8 floor 909, 105 building 3, Yao Yuan Road, Chaoyang District, Beijing.

Applicant before: Lexus Automobile (Beijing) Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190314

Address after: 100015 Building No. 7, 74, Jiuxianqiao North Road, Chaoyang District, Beijing, 001

Applicant after: FAFA Automobile (China) Co.,Ltd.

Address before: 511458 9, Nansha District Beach Road, Guangzhou, Guangdong, 9

Applicant before: Evergrande Faraday Future Smart Car (Guangdong) Co.,Ltd.

TA01 Transfer of patent application right
WW01 Invention patent application withdrawn after publication

Application publication date: 20180406

WW01 Invention patent application withdrawn after publication