CN110826546A - Vin图像采集装置及其图像复原系统、图像复原方法 - Google Patents

Vin图像采集装置及其图像复原系统、图像复原方法 Download PDF

Info

Publication number
CN110826546A
CN110826546A CN201810923227.1A CN201810923227A CN110826546A CN 110826546 A CN110826546 A CN 110826546A CN 201810923227 A CN201810923227 A CN 201810923227A CN 110826546 A CN110826546 A CN 110826546A
Authority
CN
China
Prior art keywords
image
visible light
camera
laser
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810923227.1A
Other languages
English (en)
Inventor
刘勇
赵光明
杨景云
方人宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Progress Technology Co ltd
Original Assignee
Chengdu Progress Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Progress Technology Co ltd filed Critical Chengdu Progress Technology Co ltd
Priority to CN202010960074.5A priority Critical patent/CN112101338B/zh
Priority to CN201810923227.1A priority patent/CN110826546A/zh
Publication of CN110826546A publication Critical patent/CN110826546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种VIN图像采集装置及其图像复原系统、图像复原方法，涉及图像采集和处理技术领域。本发明通过构建包含结构激光发生器、结构激光相机和可见光相机的图像采集装置，利用细线上任意一点的空间三维坐标与结构激光图像像素坐标、可见光图像像素坐标三者之间的转换关系，获得结构激光图像中待测面的形面参数，利用形面参数对可见光图像进行几何变换和曲面展开，并最终得到包含比例尺度的复原图像。本发明获得的车辆识别代号复原图像具有已知的空间分辨率，因此可以将该复原图像打印出来与实物或纸质拓印材料进行1:1的比对。

Description

VIN图像采集装置及其图像复原系统、图像复原方法
技术领域
本发明涉及图像采集和处理技术领域，特别是一种VIN图像采集装置及其图像复原系统、图像复原方法。
背景技术
车辆识别代号，英文缩写为VIN（Vehicle Identification Number），是汽车制造商为了识别一辆车所指定的一组字码，它如同人的身份证，具有在世界范围内对一辆车的唯一识别性。根据机动车运行安全技术条件GB7258-2017的规定：“汽车、摩托车、挂车应具有唯一的车辆识别代号，其内容和构成应符合GB16735的规定；应至少有一个车辆识别代号打刻在车架（无车架的机动车为车身主要承载且不能拆卸的部件）能防止锈蚀、磨损的部位上；打刻的车辆识别代号（或产品识别代码、整车型号和出厂编码）从上（前）方应易于观察、拓印；对于汽车和挂车还应能拍照。”当每一辆新出厂的车辆被刻上车辆识别代号，此识别码将伴随着车辆的注册、保险、年检、维修与保养，直至回收或者报废而载入每辆车的辅以档案。利用车辆识别代号可方便地查找车辆的制造商、销售商及使用者。
目前，在公安部门的车辆管理系统中，车辆识别代号的信息采集一直是通过人工拓印来完成。人工拓印不仅占用人力资源，而且由于操作不便，使得车辆检验速度慢、效率低。并且，人工拓印形成的纸质材料不利于保存、使用和管理，这使得现有车辆档案的真实性判别无法实现数字化、网络化。另一方面，由于车辆识别代号是打刻在车架上的，车辆识别代号的打刻面既具有平面形态，也具有三维立体形态。在形成纸质拓印材料的过程中，车辆识别代号以及打刻面的大量立体形态与细节特征会不可避免的出现丢失，这些细节特征的丢失降低了车辆识别代号纸质材料对比的可靠性。
为了克服人工拓印方法带来的缺点，有必要设计一套VIN图像采集装置及图像复原方法，利用机器视觉检测和图像处理技术实现车辆识别代号高精度真实尺度的图像自动复原。
发明内容
本发明的发明目的在于：针对车辆识别代号拓印采集方式繁琐耗时，不利于实现车辆档案的网络化管理的问题，以及拓印形成的纸质材料细节特征大量丢失的问题，本发明提供一种VIN图像采集装置及其图像复原系统、图像复原方法。
本发明采用的技术方案如下：
根据本公开的一方面，提供了一种VIN图像采集装置，包括：
结构激光发生器，结构激光发生器发出至少两束结构激光（结构激光指的是已知空间方向的投影光线的集合，激光从激光发射器发出，经过柱面透镜后汇聚成宽度很窄的光带，称为结构激光），至少两束结构激光在包含车辆识别代号的待测面上形成至少两条细线；
图像采集组件，包括视野重叠的结构激光相机和可见光相机，结构激光相机采集待测面包含结构激光和可见光的结构激光图像，结构激光图像带有至少两条细线；可见光相机采集待测面包含可见光的可见光图像，
其中，待测面为平面或曲面。待测面为平面，则至少两束结构激光在待测面上形成至少两条直线；待测面为曲面，则至少两束结构激光在待测面上形成至少两条曲线。另外，结构激光相机和可见光相机同步采集图像，结构激光波长在可见光波长范围以外。
进一步地，VIN图像采集装置还包括用于辅助图像采集组件采集图像的补光灯组，补光灯组包括若干LED灯。
进一步地，结构激光发生器发出的至少两束结构激光分别与待测面呈预定角度，预定角度范围为0-90°。
进一步地，结构激光相机的光轴与可见光相机的光轴呈平行设置或交叉设置。
进一步地，VIN图像采集装置还包括壳体，结构激光发生器、图像采集组件和补光灯组固定在壳体内；壳体一侧外壁上设置有视窗，视窗分别与结构激光发生器、图像采集组件、补光灯组配合；壳体外壁上还连接有手柄。
根据本公开的另一方面，提供了一种图像复原系统，包括图像处理平台和如前的VIN图像采集装置。其中，图像处理平台包括：
系统参数存储模块，系统参数存储模块用于储存结构激光发生器的光平面参数、结构激光相机参数和可见光相机参数；
形面参数计算模块，形面参数计算模块从系统参数存储模块调用光平面参数和结构激光相机参数以进行细线上任意一点的空间三维坐标与结构激光图像像素坐标的转换，利用结构激光图像获取待测面的形面参数；
图像复原模块，图像复原模块从系统参数存储模块调用结构激光相机参数和可见光相机参数以细线上任意一点的空间三维坐标与可见光图像像素坐标的转换，并利用形面参数对可见光图像进行几何变换和曲面展开，得到复原图像。
进一步地，图像处理平台还包括旋转校正模块，旋转校正模块对可见光图像或复原图像进行旋转校正。
进一步地，图像处理平台还包括字符图像提取模块，字符图像提取模块对可见光图像或复原图像中包含车辆识别代号的字符区域进行定位和提取。
进一步地，图像处理平台还包括显示模块，显示模块用于预览可见光图像和显示复原图像。
根据本公开的另一方面，提供了一种标定方法，用于如前所述的VIN图像采集装置，包括：
结构激光相机自标定步骤，通过结构激光相机自标定获取结构激光相机参数，建立空间三维点坐标与结构激光相机的图像像素坐标之间的转换关系；
线结构激光平面标定步骤，利用结构激光相机参数标定线结构激光平面，获取光平面参数，建立细线上点的三维空间坐标与结构激光相机的图像像素坐标之间的转换关系；
双目立体标定步骤，对结构激光相机和可见光相机的进行立体标定，以获取优化的结构激光相机参数和可见光相机参数，建立结构激光相机的图像像素坐标与可见光相机的图像像素坐标之间的转换关系。
进一步地，结构激光相机自标定步骤包括：
激光成像步骤，结构激光相机针对不同角度和位置的二维标定板拍摄多幅包含可见光和线结构激光的标定板结构激光图像，标定板结构激光图像带有细线；
结构激光相机参数计算步骤，提取标定板结构激光图像上的角点，采用相机成像模型计算结构激光相机参数。
进一步地，线结构激光平面标定步骤包括：
光斑中心提取步骤，针对激光成像步骤中的标定板结构激光图像，提取细线上的若干光斑中心，利用结构激光相机参数获取若干光斑中心对应的空间三维坐标；
光平面参数获取步骤，通过光斑中心提取步骤获取的若干光斑中心的空间三维坐标拟合得到对应的平面，并获取光平面参数，该平面即为线结构激光所在的空间平面。
进一步地，双目立体标定步骤包括：
可见光相机自标定步骤，可见光相机与结构激光相机自标定步骤中的结构激光相机同步拍摄，针对不同角度和位置的二维标定板拍摄多幅包含可见光的标定板可见光图像；
可见光相机参数计算步骤，提取标定板可见光图像上的角点，采用相机成像模型计算可见光相机的内参数和外参数；
优化相机参数步骤，对结构激光相机和可见光相机引入相对位置和姿态不变约束，计算得出优化的可见光相机参数和结构激光相机参数。
根据本公开的另一方面，提供一种图像复原方法，用于如上所述的VIN图像采集装置，包括以下步骤：
装置标定步骤，获取结构激光相机参数、可见光相机参数和结构激光发生器的光平面参数，建立细线上任意一点的空间三维坐标、结构激光相机图像像素坐标与可见光相机图像像素坐标三者之间的转换关系；
图像采集步骤，结构激光相机采集待测面包含可见光和结构激光的结构激光图像，结构激光图像带有至少两条细线；可见光相机采集待测面包含可见光的可见光图像；
形面参数计算步骤，根据细线上任意一点的空间三维坐标与结构激光相机图像像素坐标之间的转换关系，利用结构激光图像获取待测面的形面参数；
图像复原步骤，根据待测面不同的形面类型，基于细线上任意一点的空间三维坐标与可见光图像像素坐标之间的转换关系，利用形面参数对可见光图像进行几何变换和曲面展开，以预定的空间分辨率重新采样几何变换和曲面展开后的可见光图像，得到复原图像。
进一步地，该图像复原方法还包括定位裁剪步骤，对可见光图像或复原图像进行特征提取，去除非车辆识别代号区域的特征。
进一步地，该图像复原方法还包括旋转校正步骤，对可见光图像或复原图像进行各个方向上的一维投影，以最小的散布区域方向作为旋转方向。
进一步地，形面参数计算步骤包括：
形面重建步骤，对结构激光图像进行细线光斑中心提取，利用结构激光相机参数和光平面参数，计算得到每条细线上点的三维空间坐标，由此得到结构激光图像中待测面的三维形状数据；
参数计算步骤，将待测面的形面分为平面、圆柱面和圆锥面等类型，利用三维形状数据获得形面参数。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明的标定方法通过结构激光相机自标定、线结构激光平面标定及结构激光相机与可见光相机的双目立体标定，建立了待测面细线上任意一点空间三维坐标与结构激光相机图像像素坐标、可见光相机图像像素坐标三者之间的转换关系，实现了待测面三维形状和待测面可见光图像之间的精确对准关系，为待测面图像中字符区域的真实尺度还原提供保障；
2、本发明无需人工筛选可见光图像进行图像复原，全自动完成图像复原。由于车辆识别代号的打刻范围较小，装置经过三步标定后可以做到待测面三维形面与可见光图像的精确对准，因此可见光相机和结构激光相机只需一次拍摄获取一幅可见光图像和一幅结构激光图像就可以自动完成图像复原，获得包含车辆识别代号的复原图像；
3、本发明VIN图像采集装置的可见光相机和结构激光相机采用同步采集图像的工作方式，确保图像复原的精度。由于本发明的VIN图像采集装置可手持使用，若上述两个相机采集图像的时间相差较大，手的轻微抖动都会造成可见光图像和结构激光图像无法精确对应，不符合计算要求；
4、本发明VIN图像采集装置的补光灯组具有提高图像复原精度等作用。第一，补光灯组可以为可见光相机照明，提高可见光图像中车辆识别代号打刻面特征清晰度。第二，补光灯组可以降低可见光相机和结构激光相机的自动曝光度；降低结构激光相机曝光度可以使结构激光图像上的细线中心亮度最高处更明显，增加细线中心与背景的对比度，使其宽度更小。理想状态下，一束结构激光在平面上形成的直线，其宽度可忽略不计。但在实际应用中，待测面具有一定粗糙度。由于光的漫反射，一束结构激光在平面上形成的直线周围存在光晕，使得直线宽度变宽。对于后续图像处理而言，结构激光图像中细线的宽度越小，激光线投射位置越精确，计算精度越高，才能满足图像复原的精度要求。第三，补光灯组可以辅助图像采集组件完成图像同步采集的工作。补光灯组提高环境光照度后，由于自动曝光度的降低，上述两个相机的快门速度得到提高，这为两个相机同步采集图像提供保障；
5、车辆识别代号的打刻位置可能是在平面上，也可能是在柱面或者其他曲面上，使用本发明的技术方案进行图像复原可以有效解决字符区域图像的畸变问题，真实还原字符区域图像上的车辆识别代号，精度高。由于该复原图像具有已知的空间分辨率，因此可以将该复原图像1:1比例打印出来与打刻的车辆识别代号字符或纸质拓印材料上的字符进行重叠的比对；
6、本发明获取的复原图像便于储存、查看和传输，有利于车辆信息的网络化管理，对实现车辆识别代号的自动比对具有重要意义；利用网络管理平台可以将同一号牌车辆在不同时间、地点获取的包含车辆识别代号的复原图像进行全自动重叠比对以及特征提取比对，快速核验极大地减少工作时间和成本。
附图说明
图1是本发明VIN图像采集装置的结构示意图；
图2是本发明VIN图像采集装置的内部结构示意图；
图3是本发明VIN图像采集装置的图像采集组件的一种实施方式的示意图；
图4是本发明VIN图像采集装置的图像采集组件的一种实施方式的示意图；
图5是本发明图像复原系统的一种实施方式的系统流程图；
图6是本发明图像复原系统的一种实施方式的系统流程图；
图7是本发明图像复原系统的一种实施方式的系统流程图；
图8是本发明图像复原步骤中空间平面图像复原的示意图；
图9是本发明图像复原步骤中空间柱面图像复原的示意图；
图10是本发明图像复原步骤中空间圆锥面图像复原的示意图；
图11是本发明图像复原步骤中空间球面图像复原的示意图；
附图标记：1-结构激光发生器；2-结构激光相机；3-可见光相机；4-壳体；5-手柄；6-补光灯组；l1-结构激光相机的光轴；l2-可见光相机的光轴;A,B,C,D-可见光图像上的标识点；a,b,c,d-复原图像上的标识点。
具体实施方式
下面结合附图，对本发明作详细的说明。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1和图2说明根据本公开实施例的VIN图像采集装置，包括结构激光发生器1和图像采集组件。结构激光发生器1和图像采集组件相对位置均固定。在一种实施方式中，通过人工调整的方式实现结构激光发生器1和图像采集组件相对位置的固定；在另一种实施方式中，结构激光发生器1和图像采集组件通过支撑机构固定连接。
结构激光发生器1发出三束结构激光，该结构激光波长在可见光波长范围以外。在一种实施方式中，结构激光发生器1发出三束线结构激光，并在呈平面的待测面上形成三条直线；在另一种实施方式中，结构激光发生器1发出三组点结构激光，并在呈平面的待测面上形成三组呈线性排布的点。
图像采集组件包括结构激光相机2和可见光相机3，结构激光相机2和可见光相机3的视野具有重叠区域。结构激光相机2采集待测面包含结构激光和可见光的结构激光图像，结构激光图像带有三条细线；可见光相机3采集待测面包含可见光的可见光图像。优选地，上述可见光的波长范围与结构激光波长范围不同，可见光相机采集的可见光图像未带有三条细线。
本实施例中，VIN图像采集装置还包括用于辅助图像采集组件采集图像的补光灯组6，补光灯组6包括若干LED灯。优选地，LED灯的数量为5-10个。
本实施例中，结构激光发生器1发出的三束结构激光分别与待测面呈预定角度，预定角度范围为0-90°优选为。即结构激光可以与待测面垂直，也可以与待测面呈锐角夹角，也可以与待测面平行。
本实施例中，结构激光相机2的光轴l1与可见光相机3的光轴l2呈平行设置或交叉设置。为了使结构激光相机2和可见光相机3视野重叠，结构激光相机2和可见光相机3的光轴可以采用三种设置方式：如图3所示的平行设置方式，如图4所示的交叉设置方式采集，以及异面设置方式采集。平行设置和交叉设置的方式更便于硬件结构的加工制作。优选地，可见光相机3设置在结构激光相机2和结构激光发生器1之间。结构激光发生器1发出的三束结构激光中，一束结构激光与可见光相机3的光轴l2平行或近似平行，另外两束结构激光与可见光相机3的光轴l2相交，相交的夹角范围在0-90°范围内；结构激光相机2的光轴l1与可见光相机3的光轴l2相交，相交的夹角范围在0-45°之间。上述设置方式能够确保结构激光相机2采集的结构激光图像带有三条细线。
本实施例中，为图像复原的质量，提高装置的实用性，结构激光相机2与可见光相机3同步采集图像。由于具体实施时无法达到理论上的完全同步，因此，将结构激光相机2和可见光相机3采集图像的时间差控制在0.05s以内。
本实施例中，VIN图像采集装置还包括壳体4。结构激光发生器1和图像采集组件固定在壳体内。在一种实施方式中，结构激光发生器1和图像采集组件直接固定在壳体内；在另一种实施方式中，为方便拆卸维修，结构激光发生器1和图像采集组件通过支撑机构固定在壳体内。补光灯组6也固定在壳体内。在一种实施方式中，补光灯组6均匀设置在结构激光发生器1和图像采集组件的外围；在另一种实施方式中，补光灯组6设置在结构激光发生器1和图像采集组件的一侧或两侧。优选地，补光灯组6均匀设置在结构激光发生器1和图像采集组件的外围。壳体4一侧外壁上设置有视窗。优选地，视窗包括发生器视窗、补光灯视窗和采集视窗，发生器视窗上设置有过滤杂光的滤光片，补光灯视窗上设置有磨砂透光片，采集视窗上设置有透光片。结构激光发生器1和补光灯组6透过视窗发出光线，图像采集组件透过视窗采集图像。壳体4外壁上还连接有手柄5。车辆识别代号一般打刻在车体内部，VIN图像采集装置进行图像采集时需要选择合适的距离和角度，为了便于手持和移动而设置壳体4和手柄5。
参照图4-6说明根据本公开实施例的用于VIN图像采集装置的图像复原系统。
在一种实施方式中，如图5所示，该图像复原系统包括图像处理平台和如前所述的图像采集装置，图像处理平台包括：系统参数存储模块，系统参数存储模块用于储存结构激光发生器的光平面参数、结构激光相机参数和可见光相机参数；形面参数计算模块，形面参数计算模块从系统参数存储模块调用光平面参数和结构激光相机参数以进行细线上任意一点的空间三维坐标与结构激光图像像素坐标的转换，利用结构激光图像获取待测面的形面参数；图像复原模块，图像复原模块从系统参数存储模块调用结构激光相机参数和可见光相机参数以进行细线上任意一点的空间三维坐标与可见光图像像素坐标的转换，并利用形面参数对可见光图像进行几何变换和曲面展开，得到复原图像。
在一种实施方式中，如图6所示，该图像复原系统包括图像处理平台和如前所述的图像采集装置，图像处理平台包括：系统参数存储模块，系统参数存储模块用于储存结构激光发生器的光平面参数、结构激光相机参数和可见光相机参数；旋转校正模块，旋转校正模块对可见光图像进行旋转校正；字符图像提取模块对旋转校正后的可见光图像中包含车辆识别代号的字符区域进行定位和提取；形面参数计算模块，形面参数计算模块从系统参数存储模块调用光平面参数和结构激光相机参数以进行细线上任意一点的空间三维坐标与结构激光图像像素坐标的转换，利用结构激光图像获取待测面的形面参数；图像复原模块，图像复原模块从系统参数存储模块调用结构激光相机参数和可见光相机参数以细线上任意一点的空间三维坐标与可见光图像像素坐标的转换，并利用形面参数对可见光图像进行几何变换和曲面展开，得到复原图像。
在一种实施方式中，如图7所示，该图像复原系统包括图像处理平台和如前所述的图像采集装置，图像处理平台包括：系统参数存储模块，系统参数存储模块用于储存结构激光发生器的光平面参数、结构激光相机参数和可见光相机参数；旋转校正模块，旋转校正模块对可见光图像进行旋转校正；字符图像提取模块对旋转校正后的可见光图像中包含车辆识别代号的字符区域进行定位和提取；形面参数计算模块，形面参数计算模块从系统参数存储模块调用光平面参数和结构激光相机参数以进行细线上任意一点的空间三维坐标与结构激光图像像素坐标的转换，利用结构激光图像获取待测面的形面参数；图像复原模块，图像复原模块从系统参数存储模块调用结构激光相机参数和可见光相机参数以进行细线上任意一点的空间三维坐标与可见光图像像素坐标的转换，并利用形面参数对可见光图像进行几何变换和曲面展开，得到复原图像；字符图像提取模块对复原图像中包含车辆识别代号的字符区域进行定位和提取；旋转校正模块，旋转校正模块对字符图像提取后的复原图像进行旋转校正，得到优化的复原图像。
本实施例中，该图像复原系统还包括显示模块，显示模块用于预览可见光图像和显示复原图像。显示的复原图像为单幅可见光图像复原后的复原图像或实时显示的逐帧处理的复原图像。
根据本公开实施例的标定方法，该标定方法用于如上所述的VIN图像采集装置，该标定方法包括：结构激光相机自标定步骤，通过结构激光相机自标定获取结构激光相机参数，建立空间三维点坐标与结构激光相机的图像像素坐标之间的转换关系；线结构激光平面标定步骤，利用结构激光相机参数标定线结构激光平面，获取光平面参数，建立细线上点的三维空间坐标与结构激光相机的图像像素坐标之间的转换关系；双目立体标定步骤，对结构激光相机和可见光相机的进行立体标定，以获取优化的结构激光相机参数和可见光相机参数，建立结构激光相机的图像像素坐标与可见光相机的图像像素坐标之间的转换关系。
其中，结构激光相机自标定步骤包括：
激光成像步骤，结构激光相机针对不同角度和位置的二维标定板拍摄多幅包含可见光和线结构激光的标定板结构激光图像，标定板结构激光图像带有细线；
结构激光相机参数计算步骤，提取标定板结构激光图像上的角点，采用相机成像模型计算结构激光相机参数；
其中，线结构激光平面标定步骤包括：
光斑中心提取步骤，针对激光成像步骤中的标定板结构激光图像，提取细线上的若干光斑中心，利用结构激光相机参数获取若干光斑中心对应的空间三维坐标；
光平面参数获取步骤，通过光斑中心提取步骤获取的若干光斑中心的空间三维坐标拟合得到对应的平面，并获取光平面参数，该平面即为线结构激光所在的空间平面；
其中，双目立体标定步骤包括：
可见光相机自标定步骤，可见光相机与结构激光相机自标定步骤中的结构激光相机同步拍摄，针对不同角度和位置的二维标定板拍摄多幅包含可见光的标定板可见光图像；
可见光相机参数计算步骤，提取标定板可见光图像上的角点，采用相机成像模型计算可见光相机的内参数和外参数；
优化相机参数步骤，对结构激光相机和可见光相机引入相对位置和姿态不变约束，计算得出优化的可见光相机参数和结构激光相机参数。
根据本公开实施例的图像复原方法，该方法用于如上所述的VIN图像采集装置，该图像复原方法包括以下步骤：
装置标定步骤，获取结构激光相机参数、可见光相机参数和结构激光发生器的光平面参数，建立细线上任意一点的空间三维坐标、结构激光相机图像像素坐标与可见光相机图像像素坐标三者之间的转换关系；
图像采集步骤，获取待测面包含可见光和结构激光的结构激光图像，结构激光图像带有至少两条细线，获取待测面包含可见光的可见光图像；
形面参数计算步骤，根据细线上任意一点的空间三维坐标与结构激光相机图像像素坐标之间的转换关系，利用结构激光图像获取待测面的形面参数；
图像复原步骤，根据待测面不同的形面类型，基于细线上任意一点的空间三维坐标与可见光图像像素坐标之间的转换关系，利用形面参数对可见光图像进行几何变换和曲面展开，以预定的空间分辨率重新采样几何变换和曲面展开后的可见光图像，得到复原图像。
本实施例中，该图像复原方法还包括定位裁剪步骤和旋转校正步骤，定位裁剪步骤对可见光图像或复原图像进行特征提取，去除非车辆识别代号区域的特征；旋转校正步骤对可见光图像或复原图像进行各个方向上的一维投影，以最小的散布区域方向作为旋转方向。定位裁剪步骤和旋转校正步骤作为图像复原方法的优化步骤，两者顺序可调整，且定位裁剪步骤和旋转校正步骤可以设置在图像复原步骤之前，也可以设置在图像复原步骤之后。优选地将定位裁剪步骤和旋转校正步骤设置在图像复原步骤之前，以降低图像复原步骤的计算量，提高复原图像的准确度。
本实施例中，形面参数计算步骤包括：
形面重建步骤，对结构激光图像进行细线光斑中心提取，利用结构激光相机参数和光平面参数，计算得到每条细线上点的三维空间坐标，由此得到结构激光图像中待测面的三维形状数据，该三维形状数据包括待测面的空间位置、相对距离、弧度等数据；
参数计算步骤，将待测面的形面分为平面、圆柱面、圆锥面和球面等类型，利用三维形状数据进行待测面的形面拟合，获得形面参数。其中，对于平面而言，需要获取的形面参数为平面方程；对于圆柱面而言，需要获取的形面参数为轴线方程和半径；对于圆锥面而言，需要获取的形面参数为轴线方程、高度和半径；对于球面而言，需要获取的形面参数为球心坐标和半径。
本实施例中，根据待测面形面类型的不同，图像复原步骤的具体实施方式包括但不限于空间平面图像复原、空间圆锥面图像复原、空间柱面图像复原和空间球面图像复原。
参照图7说明本实施例中空间平面图像复原步骤的具体实施方式。如图7所示，在可见光图像中，包含车辆识别代号的待测面为一个空间平面；在图像复原方法需要获得的复原图像中，待测面为一个重建平面（Z=0）；通常情况下，上述空间平面与重建平面并不重合。因此，需要对该空间平面进行旋转和平移变换，使得该空间平面变换为重建平面。
选择可见光图像上待测面的四个标识点A,B,C,D，四个标识点不共线，由四个标识点的像素坐标获得其空间三维坐标。在已知四个标识点空间三维坐标的条件下求得旋转矩阵和平移矩阵，对可见光图像进行相应的旋转和平移，使得待测面所对应的空间平面变换为重建平面，重建平面和空间平面具有相同的尺度。空间平面上的四个标识点A,B,C,D变换后为重建平面上的四个标识点a,b,c,d。然后，按照预定步长（如0.1毫米步长）对重建平面进行采样，得到复原图像。
参照图8说明本实施例中空间柱面图像复原步骤的具体实施方式。如图8所示，在可见光图像中，包含车辆识别代号的待测面为一个空间柱面，图像复原步骤需要将该空间柱面变换为一个重建平面（Z=0）。
选择可见光图像上待测面的四个标识点A,B,C,D，四个标识点不共线，由四个标识点的像素坐标获得其空间三维坐标。在已知四个标识点空间三维坐标的条件下求得旋转矩阵和平移矩阵，对可见光图像进行相应的旋转和平移，使得待测面所对应的空间柱面的轴线与预设的三维空间坐标系Z轴重合。然后，将该空间柱面轴线方向映射为重建平面的Y轴方向，可按预定的步长采样；将该空间柱面圆周方向按弧长来采样，并映射到重建平面的X轴方向，从而获得复原图像。空间柱面变换为重建平面后，空间柱面上的四个标识点A,B,C,D变换为重建平面上的四个标识点a,b,c,d。
参照图9说明本实施例中空间圆锥面图像复原步骤的具体实施方式。如图9所示，在可见光图像中，包含车辆识别代号的待测面为一个空间圆锥面，图像复原步骤需要将该空间柱面变换为一个重建平面（Z=0）。
选择可见光图像上待测面的四个标识点A,B,C,D，四个标识点不共线，由四个标识点的像素坐标获得其空间三维坐标。在已知四个标识点空间三维坐标的条件下求得旋转矩阵和平移矩阵，对可见光图像进行相应的旋转和平移，使得待测面所对应的空间圆锥面的轴线与预设的三维空间坐标系Z轴重合。将该空间圆锥面轴线方向映射为重建平面的Y轴方向，可按预定的步长采样；将该空间圆锥面圆周方向按弧长来采样，并映射到重建平面的X轴方向，从而获得复原图像。空间圆锥面变换为重建平面后，空间圆锥面上的四个标识点A,B,C,D变换为重建平面上的四个标识点a,b,c,d。
参照图10说明本实施例中空间球面图像复原步骤的具体实施方式。如图10所示，在可见光图像中，包含车辆识别代号的待测面为一个空间球面，图像复原步骤需要将该空间球面变换为一个重建平面（Z=0）。
选择可见光图像上待测面的四个标识点A,B,C,D，四个标识点不在同一圆弧曲线上，由四个标识点的像素坐标获得其空间三维坐标。在已知四个标识点空间三维坐标的条件下求得旋转矩阵和平移矩阵，对可见光图像进行相应的旋转和平移，使得待测面所对应的空间球面的球心与预设的三维空间坐标系原点重合。将该空间球面沿其经线方向按弧长采样，并映射为重建平面的Y轴方向；将该空间球面沿其纬线方向按弧长采样，并映射为重建平面的X轴方向，从而获得复原图像。空间球面变换为重建平面后，空间球面上的四个标识点A,B,C,D变换为重建平面上的四个标识点a,b,c,d。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种VIN图像采集装置，其特征在于，包括：
结构激光发生器(1)，所述结构激光发生器(1)发出至少两束结构激光，所述至少两束结构激光投射到打刻有车辆识别代号VIN的待测面上形成至少两条细线；
图像采集组件，包括结构激光相机(2)和可见光相机(3)，所述结构激光相机(2)采集待测面包含结构激光和可见光的结构激光图像，所述结构激光图像带有所述至少两条细线；所述可见光相机(3)采集待测面包含可见光的可见光图像。
2.如权利要求1所述的VIN图像采集装置，其特征在于，还包括用于辅助所述图像采集组件采集图像的补光灯组(6)，所述补光灯组(6)包括若干LED灯。
3.如权利要求1所述的VIN图像采集装置，其特征在于，所述待测面为平面或曲面，所述至少两束结构激光投射到呈平面的待测面上形成至少两条直线；所述结构激光波长在所述可见光波长范围以外；所述结构激光发生器(1)发出的至少两束结构激光分别与待测面呈预定角度，所述预定角度范围为0-90°。
4.如权利要求1所述的VIN图像采集装置，其特征在于，所述结构激光相机(2)的光轴与可见光相机(3)的光轴呈平行设置或交叉设置。
5.如权利要求1-4任一项所述的VIN图像采集装置，其特征在于，还包括壳体(4)，所述结构激光发生器(1)、图像采集组件和补光灯组(6)固定在壳体内；所述壳体(4)一侧外壁上设置有视窗，所述视窗分别与结构激光发生器(1)、图像采集组件、补光灯组(6)配合；所述壳体(4)外壁上还连接有手柄(5)。
6.一种图像复原系统，包括图像处理平台和如权利要求1-5任一项所述的VIN图像采集装置，其特征在于，所述图像处理平台包括：
系统参数存储模块，所述系统参数存储模块用于储存结构激光发生器的光平面参数、结构激光相机参数和可见光相机参数；
形面参数计算模块，所述形面参数计算模块从系统参数存储模块调用光平面参数和结构激光相机参数以进行细线上任意一点的空间三维坐标与结构激光图像像素坐标的转换，利用结构激光图像获取待测面的形面参数；
图像复原模块，所述图像复原模块从系统参数存储模块调用结构激光相机参数和可见光相机参数以进行细线上任意一点的空间三维坐标与可见光图像像素坐标的转换，并利用形面参数对可见光图像进行几何变换和曲面展开，得到复原图像。
7.如权利要求6所述的图像复原系统，其特征在于，所述图像处理平台还包括旋转校正模块，所述旋转校正模块对可见光图像或复原图像进行旋转校正。
8.如权利要求6所述的图像复原系统，其特征在于，所述图像处理平台还包括字符图像提取模块，所述字符图像提取模块对可见光图像或复原图像中包含车辆识别代号的字符区域进行定位和提取。
9.如权利要求6所述的图像复原系统，其特征在于，所述图像处理平台还包括显示模块，所述显示模块用于预览可见光图像和显示复原图像。
10.一种用于如权利要求1-4所述的VIN图像采集装置的标定方法，其特征在于，包括：
结构激光相机自标定步骤，通过结构激光相机自标定获取结构激光相机参数，建立空间三维点坐标与结构激光相机的图像像素坐标之间的转换关系；
线结构激光平面标定步骤，利用结构激光相机参数标定线结构激光平面，获取光平面参数，建立细线上点的三维空间坐标与结构激光相机的图像像素坐标之间的转换关系；
双目立体标定步骤，对结构激光相机和可见光相机的进行立体标定，以获取优化的结构激光相机参数和可见光相机参数，建立结构激光相机的图像像素坐标与可见光相机的图像像素坐标之间的转换关系。
11.如权利要求10所述的用于全自动车辆识别代号图像复原系统的标定方法，其特征在于，
所述结构激光相机自标定步骤包括：
激光成像步骤，结构激光相机针对不同角度和位置的二维标定板拍摄多幅包含可见光和线结构激光的标定板结构激光图像，标定板结构激光图像带有细线；
结构激光相机参数计算步骤，提取标定板结构激光图像上的角点，采用相机成像模型计算结构激光相机参数；
所述线结构激光平面标定步骤包括：
光斑中心提取步骤，针对激光成像步骤中的标定板结构激光图像，提取细线上的若干光斑中心，利用结构激光相机参数获取若干光斑中心对应的空间三维坐标；
光平面参数获取步骤，通过光斑中心提取步骤获取的若干光斑中心的空间三维坐标拟合得到对应的平面，并获取光平面参数，该平面即为线结构激光所在的空间平面；
所述双目立体标定步骤包括：
可见光相机自标定步骤，可见光相机与结构激光相机自标定步骤中的结构激光相机同步拍摄，针对不同角度和位置的二维标定板拍摄多幅包含可见光的标定板可见光图像；
可见光相机参数计算步骤，提取标定板可见光图像上的角点，采用相机成像模型计算可见光相机的内参数和外参数；
优化相机参数步骤，对结构激光相机和可见光相机引入相对位置和姿态不变约束，计算得出优化的可见光相机参数和结构激光相机参数。
12.一种用于如权利要求1-4任一项所述的VIN图像采集装置的图像复原方法，其特征在于，包括以下步骤：
装置标定步骤，获取结构激光相机参数、可见光相机参数和结构激光发生器的光平面参数，建立细线上任意一点的空间三维坐标、结构激光相机图像像素坐标与可见光相机图像像素坐标三者之间的转换关系；
图像采集步骤，结构激光相机采集待测面包含可见光和结构激光的结构激光图像，所述结构激光图像带有至少两条细线；可见光相机采集待测面包含可见光的可见光图像；
形面参数计算步骤，根据细线上任意一点的空间三维坐标与结构激光相机图像像素坐标之间的转换关系，利用结构激光图像获取待测面的形面参数；
图像复原步骤，根据待测面不同的形面类型，基于细线上任意一点的空间三维坐标与可见光图像像素坐标之间的转换关系，利用形面参数对可见光图像进行几何变换和曲面展开，以预定的空间分辨率重新采样几何变换和曲面展开后的可见光图像，得到复原图像。
13.如权利要求12所述的用于全自动车辆识别代号图像复原系统的图像重建方法，其特征在于，还包括定位裁剪步骤，对可见光图像或复原图像进行特征提取，去除非车辆识别代号区域的特征。
14.如权利要求12所述的用于全自动车辆识别代号图像复原系统的图像重建方法，其特征在于，还包括旋转校正步骤，对可见光图像或复原图像进行各个方向上的一维投影，以最小的散布区域方向作为旋转方向。
15.如权利要求12所述的用于全自动车辆识别代号图像复原系统的图像重建方法，其特征在于，所述形面参数计算步骤包括：
形面重建步骤，对结构激光图像进行细线光斑中心提取，利用结构激光相机参数和光平面参数，计算得到每条细线上点的三维空间坐标，由此得到结构激光图像中待测面的三维形状数据；
参数计算步骤，将待测面的形面分为平面、圆柱面和圆锥面等类型，利用三维形状数据获得形面参数。
CN201810923227.1A 2018-08-14 2018-08-14 Vin图像采集装置及其图像复原系统、图像复原方法 Pending CN110826546A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010960074.5A CN112101338B (zh) 2018-08-14 2018-08-14 一种基于vin图像采集装置的图像复原方法
CN201810923227.1A CN110826546A (zh) 2018-08-14 2018-08-14 Vin图像采集装置及其图像复原系统、图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810923227.1A CN110826546A (zh) 2018-08-14 2018-08-14 Vin图像采集装置及其图像复原系统、图像复原方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010960074.5A Division CN112101338B (zh) 2018-08-14 2018-08-14 一种基于vin图像采集装置的图像复原方法

Publications (1)

Publication Number Publication Date
CN110826546A true CN110826546A (zh) 2020-02-21

Family

ID=69547206

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010960074.5A Active CN112101338B (zh) 2018-08-14 2018-08-14 一种基于vin图像采集装置的图像复原方法
CN201810923227.1A Pending CN110826546A (zh) 2018-08-14 2018-08-14 Vin图像采集装置及其图像复原系统、图像复原方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010960074.5A Active CN112101338B (zh) 2018-08-14 2018-08-14 一种基于vin图像采集装置的图像复原方法

Country Status (1)

Country Link
CN (2) CN112101338B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111390395A (zh) * 2020-04-24 2020-07-10 安普森智能科技(江苏)有限公司 基于机械手激光打刻车辆识别代码的系统设备
CN112540422A (zh) * 2020-12-21 2021-03-23 太原理工大学 一种曲面-平面成像转换透镜
CN112907973A (zh) * 2021-01-19 2021-06-04 四川星盾科技股份有限公司 机动车打刻编码的高精度完整信息采集与真实3d形貌复原比对系统及方法
CN113178080A (zh) * 2021-04-21 2021-07-27 浙江工业大学 一种车辆vin码检测采集系统及其采集方法
CN115035529A (zh) * 2021-03-03 2022-09-09 重庆云石高科技有限公司 一种基于图像的vin等比例还原及字符识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0611952B1 (pt) * 2005-06-10 2018-07-31 Accenture Global Services Limited Método e sistema para identificar uma foto de violação que corresponde a uma entrada de transação de violação
CN102494609B (zh) * 2011-11-18 2013-09-18 李志扬 一种基于激光探针阵列的三维摄影方法及装置
CN204206308U (zh) * 2014-11-14 2015-03-11 西安铂锐智能科技有限公司 Vin码信息采集仪
US10376600B2 (en) * 2016-03-03 2019-08-13 Gholam A. Peyman Early disease detection and therapy
US10277874B2 (en) * 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
CN106287150A (zh) * 2016-08-23 2017-01-04 安徽联合安全科技有限公司 一种vin码加密拓印装置
CN107734267B (zh) * 2017-09-11 2020-06-26 Oppo广东移动通信有限公司 图像处理方法和装置
CN108050958B (zh) * 2018-01-11 2023-12-19 浙江江奥光电科技有限公司 一种基于视场匹配的单目深度相机及其对物体形貌的检测方法
CN108259722A (zh) * 2018-02-27 2018-07-06 厦门美图移动科技有限公司 成像方法、装置及电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111390395A (zh) * 2020-04-24 2020-07-10 安普森智能科技(江苏)有限公司 基于机械手激光打刻车辆识别代码的系统设备
CN112540422A (zh) * 2020-12-21 2021-03-23 太原理工大学 一种曲面-平面成像转换透镜
CN112540422B (zh) * 2020-12-21 2022-02-25 太原理工大学 一种曲面-平面成像转换透镜
CN112907973A (zh) * 2021-01-19 2021-06-04 四川星盾科技股份有限公司 机动车打刻编码的高精度完整信息采集与真实3d形貌复原比对系统及方法
CN115035529A (zh) * 2021-03-03 2022-09-09 重庆云石高科技有限公司 一种基于图像的vin等比例还原及字符识别方法
CN115035529B (zh) * 2021-03-03 2024-04-05 重庆云石高科技有限公司 一种基于图像的vin等比例还原及字符识别方法
CN113178080A (zh) * 2021-04-21 2021-07-27 浙江工业大学 一种车辆vin码检测采集系统及其采集方法
CN113178080B (zh) * 2021-04-21 2022-08-05 浙江工业大学 一种车辆vin码检测采集系统及其采集方法

Also Published As

Publication number Publication date
CN112101338A (zh) 2020-12-18
CN112101338B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112101338B (zh) 一种基于vin图像采集装置的图像复原方法
JP3624353B2 (ja) ３次元形状計測方法およびその装置
CN105550995B (zh) 隧道影像拼接方法及系统
CA2875820C (en) 3-d scanning and positioning system
CN111750806B (zh) 一种多视角三维测量系统及方法
JP6503569B2 (ja) 製品を認証するための画像分析
CN110657785B (zh) 一种高效的场景深度信息获取方法及系统
CN106500627A (zh) 含有多个不同波长激光器的三维扫描方法及扫描仪
CN110470238A (zh) 一种手持激光三维扫描仪、扫描方法及装置
CN107084671B (zh) 一种基于三线结构光的凹球直径测量系统及测量方法
KR101286096B1 (ko) 타원 시각 특성에 기반한 자동차의 휠 정렬 검사방법
CN105844197B (zh) 一种用于dpm码阅读器的双镜头图像采集与处理装置
CN111922510B (zh) 一种激光可视化加工方法及系统
CN106556357A (zh) 一种基于一维无衍射光束测量三维面形的装置及方法
CN110766748A (zh) 一种非接触式整车姿态测量方法
CN102374997A (zh) 基于视觉系统的硬币表面质量高精度检测装置
ES2436726B2 (es) Sistemas y métodos para el cálculo de la velocidad de aproximación en maniobras de reabastecimiento aéreo de combustible
CN103884294A (zh) 一种宽视场的红外光三维形貌测量的方法及其装置
CN112907973B (zh) 机动车打刻编码的高精度完整信息采集与真实3d形貌复原比对系统及方法
CN104034729A (zh) 用于电路板分选的五维成像系统及其成像方法
JP2005352835A (ja) 画像入出力装置
JP4552484B2 (ja) 画像入出力装置
Rantoson et al. Non contact 3D measurement scheme for transparent objects using UV structured light
JP2005293290A5 (zh)
CN110815216A (zh) 一种图像采集机器人的参数校准方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination