CN109429013A - 影像校正系统及影像校正方法 - Google Patents

影像校正系统及影像校正方法 Download PDF

Info

Publication number
CN109429013A
CN109429013A CN201710750051.XA CN201710750051A CN109429013A CN 109429013 A CN109429013 A CN 109429013A CN 201710750051 A CN201710750051 A CN 201710750051A CN 109429013 A CN109429013 A CN 109429013A
Authority
CN
China
Prior art keywords
image
pattern
color
camera lens
pattern unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710750051.XA
Other languages
English (en)
Inventor
叶振凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Frina Enterprise Ltd By Share Ltd
Original Assignee
Frina Enterprise Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Frina Enterprise Ltd By Share Ltd filed Critical Frina Enterprise Ltd By Share Ltd
Priority to CN201710750051.XA priority Critical patent/CN109429013A/zh
Publication of CN109429013A publication Critical patent/CN109429013A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种影像校正系统及影像校正方法，校正时使用一图案板容纳目标物于该图案板的范围内。其中，该图案板采用虚拟随机数组编码，具有多个第一图案单元及多个第二图案单元；所述第一图案单元以矩阵方式彼此相邻排列，各该第一图案单元呈现一第一颜色及一第二颜色的其中之一，且相邻的所述第一图案单元彼此颜色相异；所述第二图案单元分别设置于所述第一图案单元中。设置于该目标物上的摄影机朝向该图案板拍摄的影像，可辨识出其相对于该图案板的方位，以利于拼接为一环景影像。

Description

影像校正系统及影像校正方法
技术领域
本发明涉及一种影像校正系统及影像校正方法，特别是一种环景影像的校正系统及校正方法。
背景技术
为了让驾驶人在行车过程中更能掌握车辆的周围状况，现今的车辆已逐渐将环景影像系统(Around View Monitoring，AVM)列为标准配备。环景影像系统包含多个(例如4个以上)摄影机，通过将摄影机所撷取的影像整合后转换成一俯视的环景鸟瞰画面，以供驾驶人行车的参考。
然而，摄影机所摆设的位置及角度均不同，想要呈现较佳的环景影像质量，各个摄影机所取得影像后的校正与拼接技术便相当重要，不但在新车出厂安装环景影像系统时需要进行校正，若之后因事故碰撞或模块更新，同样也需要再予以重新校正。摄影机间的定位校正需要有共同的坐标系统，例如世界坐标系统(World Coordinates System，WCS)，才能让各个影像可以整合，故每个摄影机需要通过校正程序求取由摄影机坐标系统至世界坐标系统的转换信息，以辨识镜头的位置。若转换信息存在误差时，就会使得拼接出的环景鸟瞰影像质量不佳。为了简化校正程序及确保影像拼接结果，现有技术通常会将摄影机以彼此对称或固定位置的方式配置，例如设于一般车辆的前、后、左、右的四个位置上的摄影机，限定其必须是两两对称、或者是分别设置于特定位置上；然而，当应用于一般房车之外的目标物如卡车或飞机时，想要限制摄影机仅能对称配置，则有先天上的困难。
一种现有技术的环景影像校正方式，如图1所示，是在车辆11周围先布设一棋盘格状的图板12。车辆11上的摄影机(图未示)撷取影像后，利用各个影像中所选取的棋盘格交界的特征点进行影像校正。考虑摄影机的数量无法太多，而最终又要能拼接成环景影像，故摄影机通常采用鱼眼镜头或广角镜头，如图2所示，其中一个摄影机111的鱼眼镜头所拍摄得到的影像113将会变形，尤其在边界处的变形更为明显。而影像校正系统需将其转换为平面影像，并以特征点作为影像拼接的依据。换言之，相邻两个摄影机所撷取的影像113之间必须要有重叠的特征，以提供作为二者转换为平面影像后再进行拼接的依据。可想见地，重叠特征通常位于影像113的外围区域，但采用鱼眼镜头或广角镜头的摄影机111所转换得到的影像113，其周边区域的分辨率相对较低且变形程度大，因而特征点的判断以及后续环景影像的拼接上，具有一定难度。
也因此，现有技术的环景影像校正需仰赖大量人工的方式进行后续处理，尤其是具备相当经验的专业人力，投入相当时间参与影像校正及拼接。更详细地，在初期的棋盘格状图板布设，就需要精确的量测，故通常是以人工方式进行；而接下来的影像撷取、校正对位及拼接调整等程序，仍然需要大量的人力及时间进行判断及参数设定，来确保校正及拼接的结果。大幅依赖专业人员投入的结果造成工时过长、人力耗费、成本增加且效率低落等问题，且人力的素质与经验将直接影响校正及拼接的质量，这些因素均造成全景影像系统普及化的阻碍。
有鉴于此，发展一种可全自动且精确的环景影像校正系统及校正方法，在此产业中极具需求及发展潜力。
发明内容
本发明一主要目的在于提供一种影像校正系统及影像校正方法，可全自动地进行校正并产生正确的环景影像，能大幅减少人力的投入，且能获得更为精准及强健的结果。
承上，本发明采用具有虚拟随机数组(Pseudo Random Array，PRA)编码的图案板，其上具有相当数量且准确的校正特征，包含棋盘格状的多个第一图案单元作为背景、以及分别设置于所述第一图案单元中的多个第二图案单元作为特征点，可以保证任一方位或姿态的摄影机所拍摄到的局部图案都是唯一的，不仅能够决定摄影机的校正数据，还能提供多个确认的证据，在求取影像的空间转换信息时(例如，计算Homography matrix)能获得更为精准及强健的结果，让摄影机的校正结果更具正确性。
因为本发明的图案板具有虚拟随机数组(PRA)编码，因此各镜头所撷取的影像具有其唯一性，故目标物设置于图案板上的位置及角度不受限制，摄影机的的摆设也不需限制其对称配置或特定位置，从影像上均能辨识出其位置及方位，且相邻的摄影机所拍摄的影像，也不需具有重叠的区域，当然也不再需要校正重叠区域的特征点。此外，本发明的技术不限于前述例示的平面影像，也可以以更多的镜头分别配置在目标物的前、后、左、右、上、下等，最终可拼接出球形的环景影像，应用于飞机或无人机使其具备避障能力。
本发明的校正系统及校正方法仅需利用各摄影机所拍得影像的中心高分辨率区域，即可自动且精准的取得校正特征点，并据此进行影像拼接而产生全景影像。
而校正处理程序中，目标物相对于图案板的位置不受限，其上镜头的方位也不限制，只要大致上朝向图案板而得以撷取其影像即可，目标物的宽度、长度、高度均不会有影响，系统甚至可自动通过校正图案的已知规格尺寸，自动回推摄影机的位置及对应的车辆尺寸与类别。
为达前述目的，本发明提供一种影像校正系统，用于取得一目标物周围的一环景影像，该目标物上设有至少一镜头，该影像校正系统包含：一图案板、一传输模块、一校正模块及一运算模块。该图案板可容纳该目标物于该图案板的范围内，该图案板具有多个第一图案单元及多个第二图案单元；所述第一图案单元以矩阵方式彼此相邻排列，各该第一图案单元呈现一第一颜色及一第二颜色的其中之一，且相邻的所述第一图案单元彼此颜色相异；所述第二图案单元分别设置于所述第一图案单元中。该传输模块接收所述镜头朝向该图案板拍摄的一局部影像；该校正模块与该传输模块连接，以自该局部影像中撷取并校正得到一矩阵影像；该运算模块于该矩阵影像上辨识出多个所述第一图案单元及多个所述第二图案单元，并根据所述第一图案单元及所述第二图案单元，计算出所述镜头相对于该图案板上的一方位。
该方位包含所述镜头相对于该图案板的一位置参数及一视角参数。该图案板的所述第二图案单元以一虚拟随机数组(Pseudo Random Array，PRA)编码排列，且较佳地，所述第二图案单元具有一形状特征及一颜色特征，其中该颜色特征为该第一颜色及该第二颜色的其中之一。该校正模块撷取该局部影像的中央部分并加以摊平校正，以得到该矩阵影像。
所述镜头包含多个镜头，且较佳为鱼眼镜头或广角镜头，该运算模块根据各该镜头的该方位，将各该镜头的各该局部影像，拼接成该目标物周围的该环景影像。
本发明还提供一种影像校正方法，用于取得一目标物周围的一环景影像，该影像校正方法包含下列步骤：提供一以虚拟随机数组编码制成的图案板；将该目标物设置于该图案板上，其中该目标物上设置有多个镜头；通过各该镜头取得一局部影像；自该局部影像中撷取并校正得出一矩阵影像；根据该矩阵影像，计算出各该镜头相对于该图案板上的一方位。
其中，该图案板具有多个第一图案单元及多个第二图案单元，所述第一图案单元以矩阵方式彼此相邻排列，各该第一图案单元呈现一第一颜色及一第二颜色的其中之一，且相邻的所述第一图案单元彼此颜色相异，所述第二图案单元分别设置于所述第一图案单元中；其中，该计算出各该镜头相对于该图案板上的一方位的步骤，为于该矩阵影像上辨识出多个所述第一图案单元及多个所述第二图案单元，并根据所述第一图案单元及所述第二图案单元，计算出所各该镜头相对于该图案板上的一位置参数及一视角参数。
自该局部影像中撷取并校正得出一矩阵影像的步骤，撷取该局部影像的中央部分并加以摊平校正，以得到该矩阵影像。
所述第二图案单元至少具有一形状特征及一颜色特征。其中该颜色特征为该第一颜色及该第二颜色的其中之一。
本实施例的校正方法还包含一步骤：根据各该镜头的该方位，将各该镜头的各该局部影像，拼接成该目标物周围的该环景影像。
为让上述目的、技术特征和优点能更明显易懂，下文以较佳实施例配合附图进行详细说明。
附图说明
图1为现有技术的影像校正系统的示意图；
图2为现有技术的影像校正系统的镜头所拍摄影像的示意图；
图3为本发明影像校正系统的方块图；
图4为图案板与目标物的示意图；
图5为一校正实施例的示意图；
图6为另一校正实施例的示意图；
图7为图案板的局部示意图；
图8A至图8D为图案板上各方格单元的示意图；
图9为图案板上其中一方格单元的示意图；
图10为镜头撷取一局部影像的示意图；
图11为将该局部影像撷取校正得出一矩阵影像的示意图；
图12为本发明另一实施方案的示意图；以及
图13为本发明影像校正方法的流程图。
【符号说明】
11 车辆
111 摄影机
113 影像
12 图板
3 影像校正系统
30 图案板
30a～30d 方格单元
301 第一图案单元
302 第一图案单元
303 第二图案单元
304 第二图案单元
31 传输模块
33 校正模块
35 该运算模块
50 目标物
51 镜头
61 局部影像
63 矩阵影像
S11～S16 步骤
具体实施方式
在下文中，将提供实施例以详细说明本发明的实施方案。本发明的优点以及功效将通过本发明所揭露的内容而更为显著。在此说明的附图经简化且作为举例示用。附图中所示的组件数量、形状及尺寸可依据实际情况而进行修改，且组件的配置可能更为复杂。本发明中也可进行其他方面的实践或应用，且不偏离本发明所定义的精神及范畴的条件下，可进行各种变化以及调整。
请一并参阅图3及图4，其中图3为本发明影像校正系统的方块示意图，图4为本发明影像校正系统的图案板容置一目标物的示意图。本发明的影像校正系统3包含一图案板30、一传输模块31、一校正模块33及一运算模块35。如图4所示，首先将一目标物50(本发明以车辆为例)不限方位地随意摆设于具有虚拟随机数组(Pseudo Random Array，PRA)编码的图案板30上，图案板30的大小需足以容纳该目标物50于该图案板30的范围内，而目标物50上设有至少一镜头51(于图4未示)。所述镜头51以自身的方位或姿态，朝向该图案板30拍摄得到一视野内的局部影像，并将其传送至传输模块31，而校正模块33与传输模块31连接，以对该影像进行撷取及校正，然后运算模块35依据校正后的影像，计算出所述镜头51相对于该图案板30上的一方位，详细说明如后。
以下以辨识一个5×5的位数组在虚拟随机数组(PRA)中的位置作为例示说明，其依四个方向摄影机的方位、及坐标于(13，18)的位数组(偶数列18开始)为例，请参图5。
由于虚拟随机数组(PRA)的偶数列(0，2，…，60)皆与原始的虚拟随机数列(PRS)相同，利用此特性先找出位数组隔行或隔列，其5个位皆相同的方向(即为偶数列)，来代表虚拟随机数组(PRA)的水平的方向(即i轴方向)，同时依摄影机原点位置开始，决定原始虚拟随机数列(PRS)为(01111)，而01111在原始虚拟随机数列(PRS)10000100101100111110001101110101的第13个位置(a)，故i坐标为(i＝a＝13)。由前后左右四个镜头看到的(13，18)位数组如图5所示。
接下来，取隔壁的奇数列的互补虚拟随机数列(PRS)为(10110)，而它在互补虚拟随机数列0111101101001100000111001000101的第4个位置，故互补数列被位移的次数(b＝4)。当第一列为原始虚拟随机数列(PRS)时，j轴坐标为j＝2×(a-b)mod 31＝2×(13-4)mod31＝2×9＝18。综合上述二者，即可定出此5×5位数组在整个虚拟随机数组(PRA)的位置(i，j)＝(13，18)。
另外，再以坐标于(8，31)的位数组(奇数列31开始)为例说明如下，并参图6。
由虚拟随机数组(PRA)的偶数列(0，2，…，60)皆与原始的虚拟随机数列(PRS)相同，利用此特性首先找出位数组隔行或隔列，其5个位皆相同的方向(即为偶数列)，来代表虚拟随机数组(PRA)的水平的方向(即i轴方向)，同时依摄影机原点位置开始，决定原始虚拟随机数列(PRS)的数列为(10110)，而10110在原始虚拟随机数列10000100101100111110001101110101的第8个位置(a)，故i坐标为(i＝a＝8)。由前后左右四个镜头看到的(8，31)位数组如图6所示。
取奇数列的互补虚拟随机数列(PRS)为(10001)，而它在互补虚拟随机数列0111101101001100000111001000101的第24个位置，故互补数列被位移的次数(b＝24)。当第一列不为原始虚拟随机数列(PRS)时，j轴坐标为j＝2×(a-b)mod 31+1＝2×(8-24)mod31+1＝2×(-16)mod31+1＝2×15+1＝31。综合两者，即可定出此5×5位数组在整个虚拟随机数组(PRA)的位置(i，j)＝(8，31)。
通过上述的性质，可以将虚拟随机数组(PRA)设计成定位图形。接着，只要通过摄影机撷取定位图形，并能从影像中辨识出一个m×m的位数组，便可以做摄影机定位。最直接设计定位图形的方法是将虚拟随机数组(PRA)中为”0”的位转换成黑色，”1”的位转换成白色，并配合世界坐标系统的X轴和Y轴的方向，将原本虚拟随机数组(PRA)以左上至右下的编排方式，改从左下至右上编排来产生出定位图形。
根据前述的理论，以下将进一步说明其应用于具有虚拟随机数组(PRA)编码的图案板30。图7所示为图案板30的局部，为清楚说明，定义棋盘格背景由多个第一图案单元301、302组成。所述第一图案单元301、302以矩阵方式彼此相邻排列，各该第一图案单元301、302呈现一第一颜色及一第二颜色的其中之一，在本实施例中，第一颜色及第二颜色分别指黑色及白色，且相邻的所述第一图案单元301、302的颜色彼此相异，借此，形成一黑白相间的棋盘格状的背景图案，然而可以理解地，第一颜色及第二颜色不作限制。本发明的一重要特征在于，图案板30还包含多个第二图案单元303、304，分别设置于所述第一图案单元301、302中，而较佳地，所述第二图案单元301、302以虚拟随机数组(PRA)编码排列，且至少具有一形状特征及一颜色特征。
换言之，可以视为图案板30上的每一个方格单元均是一个第一图案单元301、302内含一个第二图案单元303、304。本实施例的第一图案单元301、302为黑色或及白色的方格，而第二图案单元303、304为菱形(实际应用时可以是采用任何其他形状，例如圆形)且为黑色或白色，故排列组合后共有4种可能性，请参阅图8A至图8D。更详细地，图8A显示的方格单元30a由黑色的第一图案单元及黑色的第二图案单元组成，故视觉上方格单元30a为全黑，第8B图显示的方格单元30b由黑色的第一图案单元及白色的第二图案单元组成，第8C图显示的方格单元30c由白色的第一图案单元及黑色的第二图案单元组成，而图8D显示的方格单元30d由白色的第一图案单元及白色的第二图案单元组成，故视觉上方格单元30d为全白。
图9所示为在一较佳实施例中，每个方格单元中，第一图案单元301、302与第二图案单元303、304的配置比例。以第8C图的方格单元30c为例，第一图案单元301、302为一个基础矩形具有长(l)及宽(w)，第二图案单元303、304为一适当的菱形图案(实际应用时也可以是采用任何其他形状，例如圆形)，位于在第一图案单元301、302的中心位置，也就是第一图案单元301、302与第二图案单元303、304的中心重叠，以作为后续位置辨识之用。如图9所示第二图案单元303、304的尺寸与位置，第二图案单元303、304以中心为基准，并在长(l)方向及宽(w)方向上分别延伸l/4及w/4。
需说明的是，第二图案单元303、304可以是任意形状，例如圆形或菱形，其中，随着镜头的分辨率愈高，可以使用愈复杂的形状。当第二图案单元303、304在形状上具有更多的特征，便可以隐含更多的信息，无论在后续影像辨识或其他方位辨别等运用上，将具备更多的应用可能性。因此，第二图案单元303、304的形状及颜色在本发明中不作限制。
接下来将说明影像撷取及校正的过程。首先，考虑镜头的设置数量，前述的镜头51为多个广角镜头或鱼眼镜头。如图10所示，当镜头51为鱼眼镜头时，其朝向该图案板30拍摄得到一局部影像61，如图10所示，愈靠近周围的部分，分辨率愈低且影像的变形(distortion)愈严重。镜头51朝向图案板30拍摄取得局部影像61后，便可传送至本发明的影像校正系统3，由该传输模块31接收所述镜头51拍摄得到的局部影像61。该校正模块33与该传输模块31连接，以自该局部影像61中撷取并校正得到一矩阵影像63，如图11所示。更明确而言，校正模块33撷取该局部影像61的分辨率较高且变形较少的中央部分，并加以摊平校正，以得到该矩阵影像63。然后，该矩阵影像63传送至运算模块35，该运算模块35于该矩阵影像63上辨识出多个所述第一图案单元301、302及多个所述第二图案单元303、304，并根据所述第一图案单元301、302及所述第二图案单元303、304，计算出所述镜头51相对于该图案板30上的一方位。
因该图案板30的所述第二图案单元303、304以一虚拟随机数组(PRA)编码排列，故摊平校正后的该矩阵影像63，回到该图案板30上加以比较，可得到一个唯一的结果，因此该运算模块35可以计算出所述镜头51相对于该图案板30上的一方位，较佳包含所述镜头51相对于该图案板30的一位置参数及一视角参数。而根据这些位置参数及视角参数等方位信息，本发明的影像校正系统3可准确且快速地将将各该镜头51的各该局部影像61，拼接成该目标物50周围的环景影像。
本发明的技术重点之一在于采用含有虚拟随机数组(PRA)编码的图案板30，以下将针对该图案板30的配置，并以目标物50上设置前后左右共设置4个镜头51朝向图案板30进行说明。
本发明的图案板采用以一维的m阶虚拟随机数列(Pseudo Random Sequences，PRS)为基础，组合成大小为(2m-1)×(2m+1-1)的虚拟随机数组(PRA)二维图案，使得任一镜头51在任一位置所观察到的任一个m×m的局部二维影像，都是唯一的。也因为每个镜头51会看到独一无二的m×m局部二维影像，故该影像在整个虚拟随机数组(PRA)二维图案(即图案板30)上的方位也可以被判别出来。因此，可以通过m×m局部二维影像进行摄影机校正，同时也能转换成其在整体虚拟随机数组(PRA)上的方位。
为说明图案板30的设计程序，以下将以m＝5的虚拟随机数列(PRS)为例，说明具有虚拟随机数组(PRA)编码的图案板30的建置。通过5阶虚拟随机数列的本质多项式(primitive polynomial)：h(x)＝x5+x2+1，同时取初始数列(Ai+4，Ai+3，Ai+2，Ai+1，Ai)为00001，故获得虚拟随机数列为：a＝a0 a1 a2 … a30＝10000100101100111110001101110101，然而，没有其他任一个长度为5的数列具有同样的性质。
接着，通过上述阶数为5且长度为n＝31的虚拟随机数列(PRS)，可以建构出一个大小为n×2n＝31×62的虚拟随机数组(PRA)如下：
其中，所有的偶数列c2k(0≤k≤30)皆与原始的虚拟随机数列(a＝a0 a1 a2 …an-1)相同。c1为a的互补数列(complement series)： 接着，将c1向右做k次循环位移(circular shift right)，可得csrk(0≤k≤30)共31个虚拟随机数列(PRS)。将他们一次排入PRA5，31得到所有的奇数列为c2k+1＝csrk，以得到相对应的虚拟随机数组(PRA)的位数组。
由于一个虚拟随机数列的互补数列仍然是一个虚拟随机数列(除了111….1会被定义为000….0)，因此，在虚拟随机数组(PRA)中所有的奇数列皆为虚拟随机数列(PRS)。此外，通过程序的仿真验证，可以证实虚拟随机数组(PRA)在四个不同的视点方向，皆具有窗口特性：当一个m×m的窗口区块在一个阶数为m的虚拟随机数组(PRA)中滑动而衍生的位数组，其中每一个m×m的位数组，都只会出现一次。
回到前述目标物50的长度与宽度，设定目标物50的平面面积为L×W。再考虑一般施工场域的大小、目标物50摆设位置的可变化量，及图案板30上的有效观察区域，在目标物50前后左右四个方向各保有T公分的校正区域。为符合上述的要求，可设计图案板30尺寸为(L+2T)×(W+2T)。而针对阶数为m的虚拟随机数组(PRA)而言，图案板30中的每一个方格单元30a、30b、30c、30d的长宽分别为：
由于建构出的虚拟随机数组(PRA)可能会出现连续的位1或位0，若以全黑的基本矩形表示位1，全白的基本矩形表示位0，就会在代表PRA的校正图案中显示长条的同一颜色区域，很难进行位的辨识。为克服这种问题，本发明重新对虚拟随机数组(PRA)的各位进行图案编码。首先针对(2m-1)×(2m+1-1)大小的虚拟随机数组(PRA)建立一个由黑白相间的棋盘状背景底图，由黑白相间的基本矩形的方格单元构成。接着再依虚拟随机数组(PRA)的对应位值，将基本矩形重新制订，组合成本发明的具虚拟随机数组(PRA)编码的图案板30，如图4及图7所示。
本发明的图案板30设计至少具有下列优点：(1)图案板30包含两组相互垂直、间距固定的直线组所排列的矩阵，在影像辨识技术上相对容易被侦测出来；(2)相较于传统的人工或基础矩形的四个边角撷取及校正方法，本方法可以使用直线组计算交点，具有次像素的精准度；(3)边角的数量是冗余的，因此可以使用四个以上的校正特征点求取影像转换矩阵，提供更为精确的转换信息；(4)由于虚拟随机数组(PRA)是由虚拟随机数列(PRS)所组成，故m阶的虚拟随机数组(PRA)图案可以依初始数列与排列方式而有许多的变形，增加系统与校正图案间的配对类型，建立基础的防仿冒机制。
为了从撷取影像中找出一个m×m的区块大小来做定位，首先将霍夫转换(Houghtransform)找出的特征线做分类。从使用的定位图形来看，特征线主要是由两类直线所组成，包含：第一图案单元301、302的水平和垂直直线、以及第二图案单元303、304菱形四边所构成的直线。由于第一图案单元301、302中的水平和垂直直线的边缘点比第二图案单元303、304菱形四边所构成的边缘点还多，所以在直线侦测时会先被找出。而在稍后找出第二图案单元303、304菱形四边所构成的直线都会与第一图案单元301、302的水平和垂直直线相交，可以利用此特性将它过滤掉。最后，可以得到水平和垂直直线组成的两个特征线群组。然而，在其他实施例中，第二图案单元303、304也可以是采用其他形状，例如圆形。
接着从这两个特征线群组中，设法找出一个m×m的区块大小。虽然图案板30上的每个方格单元30a、30b、30c、30d实际上皆为相同大小，但若使用鱼眼镜头或摄影机的视点是从斜的角度观看时，原本相同的方格单元30a、30b、30c、30d，会因为透视投影的关系，造成在影像中各个方格单元30a、30b、30c、30d的像素不相同。此透视投影造成的扭曲失真(distortion)效果会随着摄影机视点越斜，让方格单元30a、30b、30c、30d大小在影像中的像素长呈现数倍的差距，如图10所示。
最后，从两个特征线群组中各选出相邻m+1条直线，来构成m×m的区块大小，接着再从区块中各个网格的中心点，取出像素颜色，并依照黑色为0、白色为1的转换方法得到一个位数组，再到虚拟随机数组(PRA)中进行比对，来得知此位数组在虚拟随机数组(PRA)的位置(xp，yp)，以及两个特征线群组所对应的水平和垂直方向。
紧接着，因为本发明的图案板30具有虚拟随机数组(PRA)编码，因此各镜头62所撷取的影像具有其唯一性，因此如图12所示，可将目标物50不限方位地随意摆设于图案板30上，仍能实施本发明。此外，各镜头62的摆设也不需限制其对称配置或特定位置，只要大致上朝向图案板30，即能从影像辨识出各镜头62的位置及方位。也当然可以在图案板30上定义任一点为原点，然后计算出所有镜头51相对于原点的坐标位置及方位。此外，本发明的技术不限于前述例示的平面影像，也可以应用于立体影像；更详细地，例如以至少6个镜头分别配置在目标物的前、后、左、右、上、下，最终可拼接出球形的环景影像，当应用于飞机或无人机时，可具备完善的的避障能力。
搭配前述的影像校正系统，本发明的另一实施例揭露一种影像校正方法，如图13所示的流程图。该影像校正方法包含下列步骤：(S11)提供一以虚拟随机数组编码制成的图案板30；(S12)将该目标物50设置于该图案板30上，其中该目标物50上设有多个镜头51；(S13)通过各该镜头51取得一局部影像61；(S14)自该局部影像61中撷取并校正得出一矩阵影像63；(S15)根据该矩阵影像63，计算出各该镜头51相对于该图案板上的一方位；(S16)根据各该镜头51的该方位，将各该镜头51的各该局部影像61拼接成该目标物50周围的该环景影像。
其中，步骤(S14)撷取该局部影像61的中央部分并加以摊平校正，以得到该矩阵影像63。
如同前述实施例，该图案板30具有多个第一图案单元301、302及多个第二图案单元303、304，所述第一图案单元301、302以矩阵方式彼此相邻排列，各该第一图案单元301、302呈现第一颜色及第二颜色的其中之一，且相邻的所述第一图案单元301、302彼此颜色相异，所述第二图案单元303、304分别设置于所述第一图案单元301、302中。其中，该计算出各该镜头51相对于该图案板30上的一方位的步骤，为于该矩阵影像63上辨识出多个所述第一图案单元301、302及多个所述第二图案单元303、304，并根据所述第一图案单元及所述第二图案单元301、302，计算出所各该镜头51相对于该图案板30上的位置参数及视角参数。所述第二图案单303、304元至少具有一形状特征及一颜色特征，其中该颜色特征为该第一颜色及该第二颜色的其中之一。
综上所述，本发明所提供的影像校正系统及影像校正方法，利用具有虚拟随机数组编码的图案板，任一方位或姿态的镜头所拍摄到的局部图案都是唯一的，因此目标物相对于图案板的摆设位置不受限，镜头的方位也不受限，各镜头只要确保大致上朝向图案板即可，不需如先前技术具有位于重叠区域的特征点。借此，能精准地进行校正并产生正确的环景影像，且能自动地进行以大幅减少人力的投入。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种影像校正系统，用于取得一目标物周围的一环景影像，该目标物上设有至少一镜头，该影像校正系统包含：
一图案板，可容纳该目标物于该图案板的范围内，该图案板具有：
多个第一图案单元，以矩阵方式彼此相邻排列，各该第一图案单元呈现一第一颜色及一第二颜色的其中之一，且相邻的所述第一图案单元彼此颜色相异；以及
多个第二图案单元，分别设置于所述第一图案单元中；
一传输模块，接收所述镜头朝向该图案板拍摄的一局部影像；
一校正模块，与该传输模块连接，以自该局部影像中撷取并校正得到一矩阵影像；
一运算模块，于该矩阵影像上辨识出多个所述第一图案单元及多个所述第二图案单元，并根据所述第一图案单元及所述第二图案单元，计算出所述镜头相对于该图案板上的一方位。
2.如权利要求1所述的影像系统，其中，该图案板的所述第二图案单元以一虚拟随机数组编码排列。
3.如权利要求2所述的影像系统，其中，该校正模块撷取该局部影像的中央部分并加以摊平校正，以得到该矩阵影像。
4.如权利要求2所述的影像系统，其中，该至少一镜头包含多个镜头，该运算模块根据各该镜头的该方位，将各该镜头的各该局部影像，拼接成该目标物周围的该环景影像。
5.如权利要求4所述的影像系统，其中，所述镜头为鱼眼镜头。
6.如权利要求2所述的影像系统，其中，所述第二图案单元具有一形状特征及一颜色特征。
7.如权利要求6所述的影像系统，其中该颜色特征为该第一颜色及该第二颜色的其中之一。
8.如权利要求2所述的影像系统，其中，该方位包含所述镜头相对于该图案板的一位置参数及一视角参数。
9.一种影像校正方法，用于取得一目标物周围的一环景影像，该影像校正方法包含下列步骤：
提供一以虚拟随机数组编码制成的图案板；
将该目标物设置于该图案板上，其中该目标物上设有多个镜头；
通过各该镜头取得一局部影像；
自该局部影像中撷取并校正得出一矩阵影像；
根据该矩阵影像，计算出各该镜头相对于该图案板上的一方位。
10.如权利要求9所述的影像校正方法，其中，该图案板具有多个第一图案单元及多个第二图案单元，所述第一图案单元以矩阵方式彼此相邻排列，各该第一图案单元呈现一第一颜色及一第二颜色的其中之一，且相邻的所述第一图案单元彼此颜色相异，所述第二图案单元分别设置于所述第一图案单元中；其中，该计算出各该镜头相对于该图案板上的一方位的步骤，为于该矩阵影像上辨识出多个所述第一图案单元及多个所述第二图案单元，并根据所述第一图案单元及所述第二图案单元，计算出所述各该镜头相对于该图案板上的一位置参数及一视角参数。
11.如权利要求10所述的影像校正方法，其中，自该局部影像中撷取并校正得出一矩阵影像的步骤，撷取该局部影像的中央部分并加以摊平校正，以得到该矩阵影像。
12.如权利要求10所述的影像校正方法，所述第二图案单元至少具有一形状特征及一颜色特征。
13.如权利要求12所述的影像校正方法，其中该颜色特征为该第一颜色及该第二颜色的其中之一。
14.如权利要求9所述的影像校正方法，更包含下列步骤：
根据各该镜头的该方位，将各该镜头的各该局部影像，拼接成该目标物周围的该环景影像。
CN201710750051.XA 2017-08-28 2017-08-28 影像校正系统及影像校正方法 Pending CN109429013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710750051.XA CN109429013A (zh) 2017-08-28 2017-08-28 影像校正系统及影像校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710750051.XA CN109429013A (zh) 2017-08-28 2017-08-28 影像校正系统及影像校正方法

Publications (1)

Publication Number Publication Date
CN109429013A true CN109429013A (zh) 2019-03-05

Family

ID=65502688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710750051.XA Pending CN109429013A (zh) 2017-08-28 2017-08-28 影像校正系统及影像校正方法

Country Status (1)

Country Link
CN (1) CN109429013A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4195665A1 (en) * 2021-12-08 2023-06-14 Harman Becker Automotive Systems GmbH Calibration arrangement and calibration method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN103905719A (zh) * 2012-12-27 2014-07-02 财团法人金属工业研究发展中心 用于校正多个影像撷取装置的校正片及其校正方法
CN103955916A (zh) * 2014-03-21 2014-07-30 贺徵廷 一种汽车全景摄像头标定方法及装置
CN104240258A (zh) * 2014-09-30 2014-12-24 苏州智华汽车电子有限公司 一种基于车联网的全景环视系统标定方法、装置及系统
CN104732542A (zh) * 2015-03-27 2015-06-24 安徽省道一电子科技有限公司 基于多摄像头自标定的全景车辆安全系统的图像处理方法
CN205375585U (zh) * 2015-12-03 2016-07-06 同致电子科技（厦门）有限公司 一种用于360°全景泊车辅助系统的标定布及标定场地
CN106331694A (zh) * 2015-06-30 2017-01-11 财团法人工业技术研究院 车用环景系统调校方法
US20170127045A1 (en) * 2015-10-28 2017-05-04 Toppano Co., Ltd. Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN106952311A (zh) * 2017-03-02 2017-07-14 山东省科学院自动化研究所 基于全景拼接数据映射表的辅助泊车系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905719A (zh) * 2012-12-27 2014-07-02 财团法人金属工业研究发展中心 用于校正多个影像撷取装置的校正片及其校正方法
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN103955916A (zh) * 2014-03-21 2014-07-30 贺徵廷 一种汽车全景摄像头标定方法及装置
CN104240258A (zh) * 2014-09-30 2014-12-24 苏州智华汽车电子有限公司 一种基于车联网的全景环视系统标定方法、装置及系统
CN104732542A (zh) * 2015-03-27 2015-06-24 安徽省道一电子科技有限公司 基于多摄像头自标定的全景车辆安全系统的图像处理方法
CN106331694A (zh) * 2015-06-30 2017-01-11 财团法人工业技术研究院 车用环景系统调校方法
US20170127045A1 (en) * 2015-10-28 2017-05-04 Toppano Co., Ltd. Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
CN205375585U (zh) * 2015-12-03 2016-07-06 同致电子科技（厦门）有限公司 一种用于360°全景泊车辅助系统的标定布及标定场地
CN106952311A (zh) * 2017-03-02 2017-07-14 山东省科学院自动化研究所 基于全景拼接数据映射表的辅助泊车系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张浩鹏等: ""摄像机标定的棋盘格模板的改进和自动识别"", 《仪器仪表学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4195665A1 (en) * 2021-12-08 2023-06-14 Harman Becker Automotive Systems GmbH Calibration arrangement and calibration method

Similar Documents

Publication Publication Date Title
CN110244282B (zh) 一种多相机系统和激光雷达联合系统及其联合标定方法
CN104916256B (zh) 拼接亮暗线修正方法
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
JP3320541B2 (ja) 隣接する複数画像より画像を形成する画像処理方法及び装置
CN110288527B (zh) 一种车载环视相机全景鸟瞰图生成方法
CN106600644B (zh) 全景摄像机的参数矫正方法及装置
CN109685913B (zh) 基于计算机视觉定位的增强现实实现方法
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
CN110111262A (zh) 一种投影仪畸变校正方法、装置和投影仪
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
CN111738923A (zh) 图像处理方法、设备及存储介质
CN101394573B (zh) 一种基于特征匹配的全景图生成方法及系统
CN106447727A (zh) 估计3d显示装置的参数的方法和使用其的3d显示装置
WO2001047285A1 (en) Method and apparatus for calibrating projector-camera system
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
CN101091137A (zh) 调整投影仪姿态的计算机实现方法和装置
CN109961485A (zh) 一种基于单目视觉进行目标定位的方法
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
JP5354252B2 (ja) 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法
WO2002035831A1 (en) System and method for camera calibration
CN106447602A (zh) 一种图像拼接方法及装置
CN103546678B (zh) 用于校正后置摄像机的图像畸变的装置和方法
CN108063940B (zh) 一种人眼跟踪裸眼3d显示系统的校正系统和方法
CN108305294B (zh) 一种带网格目标的相机图像曲面精确标定方法
CN110757462A (zh) 一种机器人手眼标定方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190305