CN107399274B - 影像叠合的方法 - Google Patents

影像叠合的方法 Download PDF

Info

Publication number
CN107399274B
CN107399274B CN201710312986.XA CN201710312986A CN107399274B CN 107399274 B CN107399274 B CN 107399274B CN 201710312986 A CN201710312986 A CN 201710312986A CN 107399274 B CN107399274 B CN 107399274B
Authority
CN
China
Prior art keywords
image
stable
color
depth
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710312986.XA
Other languages
English (en)
Other versions
CN107399274A (zh
Inventor
江进丰
徐世钧
魏宏源
李宗翰
张祖锟
潘天赐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Metal Industries Research and Development Centre
Original Assignee
Metal Industries Research and Development Centre
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metal Industries Research and Development Centre filed Critical Metal Industries Research and Development Centre
Publication of CN107399274A publication Critical patent/CN107399274A/zh
Application granted granted Critical
Publication of CN107399274B publication Critical patent/CN107399274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种影像叠合的方法，藉由叠合两个结构光摄像单元所产生的两个深度影像互相重叠的部分成为叠合影像后，显示第一影像、叠合影像及第四影像于显示单元，可弥补驾驶人员由车内往车外看时被车体遮蔽的视线范围，减少驾驶人员的死角，以提升行车安全。

Description

影像叠合的方法
技术领域
本发明是有关于一种影像叠合方法，特别是有关于依据两个结构光影像中的稳定极值区域叠合影像的影像叠合的方法。
背景技术
汽车做为日常生活中最常见的移动载具，其至少设置了左侧后照镜、右侧后照镜、正后方后照镜，用以将车辆的左后方、右后方及正后方的影像藉由后照镜的反射呈现给汽车的驾驶人员，但是由这些后照镜所能呈现给驾驶人员的视野范围有限，又因为后照镜为了给予驾驶人员更为宽广的视野势必要使用凸面镜，然而凸面镜的成像为缩小而正立的虚像，会产生近距离的物体在透过凸面镜成像时有此物体较远的错觉，会使得驾驶人员难以掌握实际与物体的距离。
且当汽车在道路行驶时，除了会受到视野范围受限及距离感有误差外，更有可能因为精神疲劳或其他用路人不守法等因素，使得驾驶人员、乘客以及行人的生命安全双双受到威胁。为了提高安全性，不少被动安全配备已为汽车出厂时的标准配备，而主动安全配备也在各大车厂的努力下被持续开发。
在现有技术中，已经具有可以实时警告使用者行车安全的警示装置，例如设置讯号发射器以及讯号接收器作为倒车雷达，在倒车时当有其他物体靠近车尾时，会以音效提醒驾驶的设备。但是对于驾驶人员而言，汽车依然存在有特定的视觉死角，因此常会在车辆上装设摄影器材作为行车辅助。
目前常见摄影器材应用于车辆行车辅助上，通常设置多个摄影器材于车辆的前后左右以拍摄车辆周围的影像，然后由显示设备同时显示多个摄影器材所拍摄的多个影像，以辅助驾驶者避免行车事故的发生。但驾驶者难以同时监看多个影像，且传统平面影像应用于行车辅助时的视觉死角仍大，因此目前亦有业者开发将设置于车辆的该些摄影器材所取得的该些影像组合为一广角影像，此是较为符合人眼视觉习惯且亦能进一步克服视觉死角的技术手段。
但，摄影器材所拍摄的影像为平面影像，驾驶人员很难依据此影像来掌握与物体之间的距离。现在有部分厂商会在影像中加入参考线以做为驾驶人员判断距离的依据，但是这样的方法仅能让驾驶人员得知物体大概的距离。
有鉴于上述问题，本发明提供一种依据两个结构光影像中重叠区域的特征值叠合影像的影像叠合的方法，除了藉由影像的叠合进一步的克服视觉死角外，同时使得驾驶人员可以依据影像中的深度值得知移动载具与物体的距离。
发明内容
本发明的目的，在于提供一种影像叠合的方法，藉由叠合两个结构光摄像单元所产生的两个深度影像装互相重叠的部分成为叠合影像后，显示第一影像、叠合影像及第四影像于显示单元，可弥补驾驶人员由车内往车外看时被车体遮蔽的视线范围，减少驾驶人员的死角，以提升行车安全。
为达上述的指称的各目的与功效，本发明的一实施例揭示一种影像叠合的方法，其步骤包含取得第一深度影像及第二深度影像，以第一算法取得第二影像中的第一稳定极值域及第三影像的第二稳定极值区域，当第一稳定极值区域及第二稳定极值区域互相匹配时，叠合该第二影像及该第三影像，产生第一叠合影像，并显示第一影像、第一叠合影像及第四影像于一显示单元。
于本发明的一实施例中，其中更包含：依据第一结构光摄像单元及第二结构光摄像单元之间的夹角将第一深度影像中与第二深度影像的重叠的部分设定为第二影像，并将第二深度影像中与第一深度影像的重叠的部分设定为第三影像。
于本发明的一实施例中，其中第一算法为最大稳定极值区域算法。
于本发明的一实施例中，其中于产生深度叠合影像之前，该方法更包含：以边缘侦测算法处理第二影像及第三影像。
于本发明的一实施例中，其中该方法更包含：取得第一色彩影像及第二色彩影像，以第二算法取得第六影像中的第一稳定色彩区域及第七影像的第二稳定色彩区域，当第一稳定色彩区域及第二稳定色彩区域互相匹配时，叠合该第六影像及该第七影像，产生第二叠合影像，并显示第五影像、第二叠合影像及第八影像于显示单元。
于本发明的一实施例中，其中更包含：依据第一摄像单元及第二摄像单元之间的夹角将第一色彩影像中与第二色彩影像的重叠的部分设定为第六影像，并将第二色彩影像中与第一色彩影像的重叠的部分设定为第七影像。
于本发明的一实施例中，其中于产生深度叠合影像之前，该方法更包含：以边缘侦测算法处理第六影像及第七影像。
于本发明的一实施例中，其中第二算法为最大稳定色彩区域算法。
附图说明
图1其为本发明的第一实施例的影像叠合的方法的流程图；
图2其为本发明的第一实施例的影像叠合的方法的摄像装置示意图；
图3其为本发明的第一实施例的影像叠合的方法的应用示意图，用以表示光平面投影于物体；
图4其为本发明的第一实施例的影像叠合的方法的光平面系包含二维点数组的示意图；
图5A其为本发明的影像叠合的方法的摄像装置装设于移动载具外侧的示意图；
图5B其为本发明的影像叠合的方法的摄像装置装设于移动载具内侧的示意图；
图5C其为本发明的第一实施例的影像叠合的方法的系统示意图；
图5D其为本发明的第一实施例的影像叠合的方法的摄像装置间夹角示意图；
图6A其为本发明的第一实施例的影像叠合的方法的第一深度影像示意图；
图6B其为本发明的第一实施例的影像叠合的方法的第二深度影像示意图；
图6C其为本发明的第一实施例的影像叠合的方法的第一深度影像的第一区域深度特征值示意图；
图6D其为本发明的第一实施例的影像叠合的方法的第二深度影像的第二区域深度特征值示意图；
图6E其为本发明的第一实施例的影像叠合的方法的影像叠合示意图；
图7其为本发明的第二实施例的影像叠合的方法的摄像装置示意图；
图8A其为本发明的第二实施例的影像叠合的方法的第一影像示意图；
图8B其为本发明的第二实施例的影像叠合的方法的第二影像示意图；
图8C其为本发明的第二实施例的影像叠合的方法的第一影像的第三区域影像特征值示意图；
图8D其为本发明的第二实施例的影像叠合的方法的第二影像的第四区域影像特征值示意图；
图8E其为本发明的第二实施例的影像叠合的方法的影像叠合示意图；
图9其为本发明的第三实施例的影像叠合的方法的流程图；
图10A其为本发明的第四实施例的影像叠合的方法的深度第一影像示意图；
图10B其为本发明的第四实施例的影像叠合的方法的深度第二影像示意图；
图10C其为本发明的第四实施例的影像叠合的方法的深度叠合影像示意图；
图11A其为本发明的第五实施例的影像叠合的方法的深度第一影像示意图；
图11B其为本发明的第五实施例的影像叠合的方法的深度第二影像示意图；
图11C其为本发明的第五实施例的影像叠合的方法的深度叠合影像示意图；以及
图12其为本发明的第六实施例的影像叠合的方法的深度叠合影像示意图。
【图号对照说明】
1 摄像装置
10 结构光投影模块
101 雷射光源单元
103 透镜组
105 光平面
30 结构光摄像单元
50 处理单元
70 电源供应单元
90 显示单元
110 摄像单元
2 物体
3 移动载具
11 第一摄像装置
111 第一结构光影像
1111 第一影像
1113 第二影像
1115 较近影像
1117 较远影像
13 第二摄像装置
131 第二结构光影像
1311 第三影像
1313 第四影像
1315 较近影像
1317 较远影像
15 夹角
5 第一叠合影像
113 第一色彩影像
1131 第五影像
1133 第六影像
133 第二色彩影像
1331 第七影像
1333 第八影像
8 第二叠合影像
A～C 第一稳定极值区域
D～F 第二稳定极值区域
AD 稳定极值区域
BE 稳定极值区域
CF 稳定极值区域
G～I 第一稳定色彩区域
J～L 第二稳定色彩区域
GJ 稳定色彩区域
HK 稳定色彩区域
IL 稳定色彩区域
具体实施方式
为了使本发明的结构特征及所达成的功效有更进一步的了解与认识，特用较佳的实施例及配合详细的说明，说明如下：
先前的技术中，设置于移动载具的多个摄影器材所取得的该些影像组合为一广角影像，此为较为符合人眼视觉习惯且亦能进一步克服视觉死角的技术手段，然而，住些摄影器材所拍摄的影像皆为平面影像，驾驶人员很难依据平面影像来掌握与物体之间的距离，因此提出一种依据两个结构光影像中重叠区域的极值区域叠合影像的影像叠合的方法，藉由结构光影像可以让驾驶人员清楚掌握移动载具与物体间的距离，同时叠合两个结构光影像所形成的广角结构光影像亦可克服驾驶移动载具时视觉的死角。
在此说明本发明的第一实施例的影像叠合的方法的流程，请参阅图1，其为本发明的第一实施例的影像叠合的方法的流程图。如图所示，本实施例的影像叠合的方法其步骤包含：
步骤S1：取得影像；
步骤S3：取得特征区域；以及
步骤S5：产生叠合影像。
接着说明为达成本发明的影像叠合的方法所需的系统，请参阅图2、图 3、图4及第五图，本发明所揭示的影像叠合的方法需使用二个摄像装置1，摄像装置1包含一结构光投影模块10、一结构光摄像单元30。上述的单元及模块皆可与一电源供应单元70电性连接而获得电力供应以进行运作。
结构光投影模块10包含一雷射光源单元101以及一透镜组103，其用以侦测移动载具周围数十公尺内的空间当中是否存在可能会影响行车安全的物体 (例如来往的行人、动物、其他移动载具，或者是固定的栅栏、灌木丛等)及移动载具与该物体的距离。本发明所使用的侦测方式是透过结构光技术，其原理是利用光源向被测物体的表面投射可控制的光点、光条或光平面，再由摄像机等传感器获得反射的图像，经几何计算就可获得物体的立体坐标。本发明在一较佳实施例中，采用不可见雷射作为光源，利用其同调性好、衰减慢、量测距离长，精准度高等特性，加上其不易受其他光源影响，因此较一般的光线投射为佳。雷射光源单元101提供的光源在透过透镜组103后发散，其在空间中即为一光平面105。如图4所示，本发明所使用的透镜组103当中可包含图案化透镜 (pattern lens)，其具有图案化的微结构而可使穿透的雷射光所形成的光平面具有图案化特征，例如在二维平面呈现光点数组。
如图3所示，若移动载具的周边存在其他物体2，则光平面105在投影于物体2的表面时，光线会被反射而以作为光图像讯息的形式被结构光摄像单元30 所接收，结构光摄像单元30为可以接收不可见雷射光的摄像单元。光图像讯息为结构光投影模块10所投影的光平面105在经过物体2本身表面的不规则性反射而形成的变形图案，结构光摄像单元30接收到此变形图案后，系统可进一步利用此变形图案取得物体2的深度值，也就是物体2与移动载具的距离，进而重建物体2的立体外观轮廓，以取得一深度影像。
如图5A及图5B所示，当使用本发明的第一实施例的影像叠合的方法时，需设置一第一摄像装置11及一第二摄像装置13于一移动载具3的外侧(图5A)或内侧(图5B)，并如图5C所示，第一摄像装置11与第二摄像装置13连接于一处理单元50，该处理单元50连接一显示单元90。第一摄像装置11与第二摄像装置13 设置于内侧时，第一摄像装置11及第二摄像装置13各自的结构光投影模块10透过移动载具3的挡风玻璃或侧窗向外投射结构光，光线会被邻近的物体反射而被结构光摄像单元30所接收，移动载具3可为小客车、大货车、公交车等。如图5D 所示，第一摄像装置11及第二摄像装置13设置时，彼此间有一夹角15，因此，第一摄像装置11所拍摄的影像与第二摄像装置13所拍摄的影像有部分重叠。
如图5C所示，上述的处理单元50为可进行算术及逻辑运算的电子组件。显示单元70可为液晶屏幕、电浆屏幕、阴极射线管屏幕或其他可以显示影像的显示单元。
以下将说明本发明的第一实施例的影像叠合的方法执行时的流程，请参阅图1、图2、图5A、图5B、图5C及图6A～图6E。当移动载具3行驶于道路上并搭载有第一摄像装置11及第二摄像装置13，且第一摄像装置11与第二摄像装置 13之间有夹角15时，本发明的影像叠合的方法的系统，将执行步骤S1至步骤S5。
于步骤S1中，取得影像，第一摄像装置11的结构光投影模块10投射结构光后，第一摄像装置11的结构光摄像单元(第一结构光摄像单元)30接收被反射的结构光产生第一深度影像111，第二摄像装置13的结构光投影模块10投射结构光后，第二摄像装置13的结构光摄像单元(第二结构光摄像单元)30接收被反射的结构光产生第二深度影像131，第一深度影像111与第二深度影像131有部份区域重迭。如图6A所示，第一深度影像111的包含第一影像1111及一第二影像 1113，如图6B所示，第二深度影像131的包含一第三影像1311及一第四影像1313。
于步骤S3中，取得特征区域，处理单元50以一最大稳定极值区域算法 (MSER，Maximally Stable Extremal Regions)(第一算法)计算第二影像1113取得多个第一稳定极值区域并计算第三影像1311取得多个第二稳定极值区域。其中，最大稳定极值区域算法是将影像转换成灰阶影像后，将0～255分别取阈值 ，将大于阈值 的点设为1，小于阈值 的点设为0，进而得出256张依据阈值 形成的二值影像，并透过比较相邻阈值 的图像区域，得出区域间的阈值 变化关系，进而取得稳定极值区域，此即为特征区域。举例而言，如图6C所示，以最大稳定极值区域算法取得第二影像1113中的第一稳定极值区域A、第一稳定极值区域B及第一稳定极值区域C。如图6D所示，以最大稳定极值区域算法取得第三影像1311 中的第二稳定极值区域D、第二稳定极值区域E及第二稳定极值区域F。
于步骤S5中，产生叠合影像，处理单元50匹配第二影像1113的第一稳定极值区域A～第一稳定极值区域C及第三影像1311的第二稳定极值区域D～第二稳定极值区域F，其处理单元50可以是使用K-维树(k-dimensional tree)、暴力法(Brute Force)、BBF(Best-Bin-First)或其他匹配算法进行匹配。当第一稳定极值区域A～第一稳定极值区域C及第二稳定极值区域D～第二稳定极值区域F 互相匹配时，叠合第二影像1113及该第三影像1311，产生第一叠合影像5。如第六C～图6E所示，第一稳定极值区域A匹配第二稳定极值区域D、第一稳定极值区域B匹配第二稳定极值区域E及第一稳定极值区域C匹配第二稳定极值区域F，因此，处理单元50叠合第二深度影像1111及第三影像1311，其中，处理单元50叠合第一稳定极值区域A及第二稳定极值区域D产生稳定极值区域AD、叠合第一稳定极值区域B及第二稳定极值区域E产生稳定极值区域BE以及叠合第一稳定极值区域C及第二稳定极值区域F产生稳定极值区域CF。
接续上述，因为第一摄像装置11包含第一结构光摄像单元且第二摄像装置13包含第二结构光摄像单元，故，处理单元30是依据第一摄像装置11及第二摄像装置13的夹角15将第一深度影像111中与第二深度影像131的重叠的部分设定为第二影像1113，并将第二深度影像131中与第一深度影像111的重叠的部分设定为第三影像1311。因此当上述的稳定极值区域叠合后，第二影像1113及第三影像1311亦互相叠合产生第一叠合影像5。
当产生第一叠合影像5后，将第一影像1111、第一叠合影像5及第四影像1313显示于显示单元90，移动载具3的驾驶人员可透过显示单元90上所显示的第一影像1111、第一叠合影像5及第四影像1313得知周围是否有物体以及物体与移动载具3的距离。本发明是采用叠合两张深度影像并将影像中重叠部分互相叠合，因此，所显示的范围较广，可弥补驾驶人员由车内往车外看时被车体遮蔽的视线范围，减少驾驶人员的视线死角，以提升行车安全。于此即完成本发明的第一实施例的影像叠合的方法。
接着说明本发明的第二实施例的影像叠合的方法，请参阅图7及图8A～图8E并搭配图1、图5A～图5C及图6A～图6E。本实施例与第一实施例的差异在于：于本实施例的摄像装置更包含一摄像单元110，摄像单元110为摄影机或是其他可以拍摄一区域后产生彩色影像的摄像设备。摄像单元110电性连接于电源供应单元70。于第一实施例中，驾驶人员可透过结构光影像得知移动载具与物体之间的距离，但结构光影像所显示的为物体的轮廓，驾驶人员不易直观的从物体的轮廓判断此物体是否会造成移动载具危险的物体，举例而言，路旁的行人和人形立牌的轮廓相似，但是人形立牌不会移动故不会对移动载具造成行车安全上的威胁，反之，行人的移动则有可能对移动载具造成行车安全上的威胁。故，于本实施例中加入的摄像单元可以取得色彩影像，驾驶人员藉由色彩影像即可清楚的得知物体为何。
于本发明的第二实施例中，于步骤S1，取得影像，第一摄像装置11的结构光摄像单元30产生第一深度影像111，第二摄像装置13的结构光摄像单元30 产生第二深度影像131。第一摄像装置11的摄像单元(第一摄像单元)110产生第一色彩影像113，第二摄像装置13的摄像单元(第二摄像单元)110产生第二色彩影像133。如图8A所示，第一色彩影像113包含一第五影像1131及一第六影像 1133，如图8B所示，第二色彩影像133包含一第七影像1331及一第八影像1333。
于本发明的第二实施例中，于步骤S3中，取得特征区域，处理单元50 以一最大稳定极值区域算法(MSER，Maximally Stable Extremal Regions)(第一算法)计算第二影像1113取得多个第一稳定极值区域并计算第三影像1131取得多个第二稳定极值区域。处理单元50以一最大稳定色彩区域算法(MSER， Maximally Stable Colour Regions)(第二算法)计算第六影像1133取得多个第一稳定色彩区域并计算第七影像1331取得多个第二稳定色彩区域。其中，最大稳定色彩区域算法是计算影像中相邻像素之间的相似性，并将相似性在阈值 内的像素合并成为图像区域，再透过不断改变阈值 ，得出图像区域间的阈值 变化关系，进而取得稳定色彩区域。故此步骤S3中，此特征区域包含稳定极值区域与稳定色彩区域。举例而言，如图8C所示，以最大稳定色彩区域算法取得第六影像1133中的第一稳定色彩区域G、第一稳定色彩区域H及第一稳定色彩区域I。如图8D所示，以最大稳定色彩区域算法取得第七影像1331中的第二稳定色彩区域J、第二稳定色彩区域K及第二稳定色彩区域L。
于本发明的第二实施例中，于步骤S5中，产生叠合影像，处理单元50 匹配第二影像1113的第一稳定极值区域A～第一稳定极值区域及第三影像1311的第二稳定极值区域D～第二稳定极值区域F后，处理单元50依据特征区域中互相匹配者叠合第二影像1113及第三影像1311产生第一叠合影像5。处理单元50匹配第六影像1133的第一稳定色彩区域G～第一稳定色彩区域I及第七影像1331的第二稳定色彩区域J～第二稳定色彩区域L后，处理单元50依据特征区域中互相匹配者叠合第六影像1133及第七影像1331产生第二叠合影像8。如第八C～图8E所示，第一稳定色彩区G匹配第二稳定色彩区J、第一稳定色彩区H匹配第二稳定色彩区K 及第一稳定色彩区I匹配第二稳定色彩区L，因此，处理单50元叠合第六影像1133 及第七影像1331时，处理单元50叠合第一稳定色彩区域G及第二稳定色彩区域J 产生稳定色彩区域GJ、叠合第一稳定色彩区域H及第二稳定色彩区域K产生稳定色彩区域HK、叠合第一稳定色彩区域I及第二稳定色彩区域L产生稳定色彩区域 IL以产生第二叠合影像8。
接续上述，因为第一摄像装置11包含第一结构光摄像单元30及第一摄像单元110且第二摄像装置13包含第二结构光摄像单元30及第二摄像单元110，故，处理单元50是依据第一摄像装置11及第二摄像装置13的夹角15将第一深度影像111中与第二深度影像131的重叠的部分设定为第二影像1113、将第二深度影像131中与第一深度影像111的重叠的部分设定为第三影像1311、将第一色彩影像113中与第二色彩影像133的重叠的部分设定为第六影像1133及将第二色彩影像133中与第一色彩影像113的重叠的部分设定为第七影像1331。
当产生第一叠合影像5及第二叠合影像8后，将第一影像1111、第一叠合影像5、第四影像1313、第五影像1131、第二叠合影像8及第八影像1333显示于显示单元90，其中第一影像1111及第五影像1131互相重合、第一叠合影像5及第二叠合影像8互相重合、第四影像1313及第八影像1333互相重合，移动载具3 的驾驶人员可透过显示单元90上所显示的影像得知周围的物体的影像并进一步地得知物体离移动载具3的距离。本发明所显示的范围较广，可弥补驾驶人员由车内往车外看时被车体遮蔽的视线范围，减少驾驶人员的视线死角，以提升行车安全。于此即完成本发明的第二实施例的影像叠合的方法。
接着说明本发明的第三实施例的影像叠合的方法，请参阅图9，其为本发明的第三实施例的像叠合的方法的流程图。本实施例与先前实施例的差异在于：于本实施例的流程中更包含步骤S4：以边缘侦测算法处理影像。本实施例其余部分与先前实施例相同，于此不再赘述。
于步骤S4中，进行边缘侦测，处理单元50以边缘侦测算法对第二影像 1113及第三影像1311或第六影像1133及第七影像1331进行边缘侦测，产生边缘侦测后的第二影像1113及边缘侦测后的第三影像1311或边缘侦测后的第六影像 1133及边缘侦测后的第七影像1331。边缘侦测算法可为Canny算法、 Canny–Deriche算法、Differential算法、Sobel算法、Prewitt算法、Roberts cross算法或其他可进行边缘侦测的算法。其目的在于使得影像叠合时能有更高的准确度。
在本实施例中，于步骤S5，处理单元50叠合边缘侦测后的第二影像1113 及边缘侦测后的第三影像1311产生第一叠合影像5，或叠合边缘侦测后的第六影像1133及边缘侦测后的第七影像1331产生第二叠合影像8。
于此即完成本发明的第三实施例的影像叠合的方法，藉由边缘侦测算法可使得在叠合产生第一叠合影像5或第二叠合影像8时有更高的准确度。
接着说明本发明的第四实施例的影像叠合的方法，请参阅第十A～十C图。处理单元50可先将第一深度影像111的较近影像1115及第二深度影像113的较近影像1315先行移除，再进一步的取得稳定极值区域与叠合第二影像1113及第三影像1311。较近影像1115与较近影像1315为较靠近移动载具3的影像，故所拍摄到的影像为移动载具3的内部或是移动载具3的车身，这部分的影像对驾驶人员来说参考价值较低，因此可以先行移除，以减少处理单元50的运算量。
于本发明的一实施例中，较近区域1115为第一结构光影像111中深度值 0公尺至0.5公尺的区域，较近区域1315为第二结构光影像113中深度值0公尺至 0.5公尺的区域。
接着说明本发明的第五实施例的影像叠合的方法，请参阅第十一A～十一C图。处理单元50可先将第一深度影像111的较远影像1117及第二深度影像113 的较远影像1317先行移除，再进一步的取得稳定极值区域与叠合第二影像1113 及第三影像1311。较远区域因为较远离移动载具3，故，此区域中的物体对移动载具3并没有立即性的影响，因此可以先行移除，以减少移动载具3的驾驶人员的负担。又或者是结构光摄像单元所拍摄到的较远影像1117与较远影像1317较为不清晰，对驾驶人员来说参考价值较低，因此可以先行移除，以减少处理单元50的运算量。
于本发明的一实施例中，较远区域1117为第一结构光影像111中深度值大于5公尺的区域，较远区域1317为第二结构光影像113中深度值大于5公尺的区域，较远区域1117及较远区域1317较佳为第一结构光影像111及第二结构光影像 113深度值大于10公尺的区域。
接着说明本发明的第六实施例的影像叠合的方法，请参阅图12并搭配图10A、图10B、图11A及图11B。处理单元50可先将第一深度影像111的较近影像 1115及较远影像1117及第二深度影像113的较近影像1315及较远影像1317先行移除，再进一步的取得稳定极值区域与叠合第二影像1113及第三影像1311。可藉此减少移动载具3的驾驶人员的负担并以减少处理单元50的运算量。
上文仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围，凡依本发明权利要求范围所述的形状、构造、特征及精神所为的均等变化与修饰，均应包括于本发明的权利要求范围内。

Claims (8)

1.一种影像叠合的方法，其特征在于，其步骤包含：
以一结构光投影模块及一第一结构光摄像单元产生一第一深度影像，该结构光投影模块及一第二结构光摄像单元产生一第二深度影像；
移除该第一深度影像的一较近影像或一较远影像，经移除一较近影像或一较远影像后的该第一深度影像包含一第一影像及一第二影像；
移除该第二深度影像的一较近影像或一较远影像，经移除一较近影像或一较远影像后的该第二深度影像包含一第三影像及一第四影像；
以一第一算法计算取得该第二影像的多个第一稳定极值区域及该第三影像的多个第二稳定极值区域；以及
当该些第一稳定极值区域及该些第二稳定极值区域互相匹配时，叠合该第二影像及该第三影像，产生一第一叠合影像，并显示该第一影像、该第一叠合影像及该第四影像于一显示单元，其中该些第一稳定极值区域及该些第二稳定极值区域互相匹配是使用K-维树、暴力法或BBF算法进行匹配；
其中该结构光投影模块包含一雷射光源单元以及一透镜组，该透镜组进一步包含一图案化透镜。
2.如权利要求1所述的影像叠合的方法，其特征在于，其中于取得该些第一稳定极值区域及该些第二稳定极值区域的步骤前，该方法更包含：
依据该第一结构光摄像单元及该第二结构光摄像单元之间的夹角将该第一深度影像中与该第二深度影像重叠的部分设定为该第二影像，并将该第二深度影像中与该第一深度影像重叠的部分设定为该第三影像。
3.如权利要求1所述的影像叠合的方法，其特征在于，其中该第一算法为最大稳定极值区域算法。
4.如权利要求1所述的影像叠合的方法，其特征在于，其中于叠合该第二影像及该第三影像，产生该第一叠合影像之前，该方法更包含：
以一边缘侦测算法处理该第二影像及该第三影像，产生边缘侦测后的该第二影像及边缘侦测后的该第三影像。
5.如权利要求1所述的影像叠合的方法，其特征在于，其中该方法更包含：
以一第一摄像单元产生一第一色彩影像，一第二摄像单元产生一第二色彩影像，其中该第一色彩影像包含一第五影像及一第六影像，该第二色彩影像包含一第七影像及一第八影像；
以一第二算法计算取得该第六影像的多个第一稳定色彩区域及该第七影像的多个第二稳定色彩区域；以及
当该些第一稳定色彩区域及该些第二稳定色彩区域互相匹配时，叠合该第六影像及该第七影像，产生一第二叠合影像，并显示该第五影像、该第二叠合影像及该第八影像于该显示单元。
6.如权利要求5所述的影像叠合的方法，其特征在于，其中于取得该些第一稳定色彩区域及该些第二稳定色彩区域的步骤前，该方法更包含：
依据该第一摄像单元及该第二摄像单元之间的夹角将该第一色彩影像中与该第二色彩影像的重叠的部分设定为该第六影像，并将该第二色彩影像中与该第一色彩影像的重叠的部分设定为该第七影像。
7.如权利要求5所述的影像叠合的方法，其特征在于，其中于叠合该第六影像及该第七影像，产生该第二叠合影像之前，该方法更包含：
以一边缘侦测算法处理该第六影像及该第七影像，产生边缘侦测后的第六影像及边缘侦测后的该第七影像。
8.如权利要求5所述的影像叠合的方法，其特征在于，其中该第二算法为最大稳定色彩区域算法。
CN201710312986.XA 2016-05-06 2017-05-05 影像叠合的方法 Active CN107399274B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105114235 2016-05-06
TW105114235A TWI618644B (zh) 2016-05-06 2016-05-06 Image overlay method

Publications (2)

Publication Number Publication Date
CN107399274A CN107399274A (zh) 2017-11-28
CN107399274B true CN107399274B (zh) 2020-12-01

Family

ID=60119216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710312986.XA Active CN107399274B (zh) 2016-05-06 2017-05-05 影像叠合的方法

Country Status (4)

Country Link
US (1) US20170323427A1 (zh)
CN (1) CN107399274B (zh)
DE (1) DE102017109751A1 (zh)
TW (1) TWI618644B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6877115B2 (ja) * 2016-09-27 2021-05-26 株式会社東海理化電機製作所 車両用視認装置
TWI672670B (zh) * 2018-03-12 2019-09-21 Acer Incorporated 影像縫合方法及應用其的電子裝置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2084491A2 (en) * 2006-11-21 2009-08-05 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
TWI342524B (en) * 2007-11-28 2011-05-21 Ind Tech Res Inst Method for constructing the image of structures
TW201105528A (en) * 2009-08-11 2011-02-16 Lan-Hsin Hao An improved driving monitor system and a monitor method of the improved driving monitor system
CN201792814U (zh) * 2010-06-09 2011-04-13 德尔福技术有限公司 全方位泊车辅助系统
US9400941B2 (en) * 2011-08-31 2016-07-26 Metaio Gmbh Method of matching image features with reference features
TWI455074B (zh) * 2011-12-27 2014-10-01 Automotive Res & Testing Ct Vehicle image display system and its correction method
TWI573097B (zh) * 2012-01-09 2017-03-01 能晶科技股份有限公司 用於行動載具之影像擷取裝置及其影像疊合方法
JP2013196492A (ja) * 2012-03-21 2013-09-30 Toyota Central R&D Labs Inc 画像重畳処理装置、方法およびプログラム
KR20140006462A (ko) * 2012-07-05 2014-01-16 현대모비스 주식회사 안전운전 지원 장치 및 방법
CN102930525B (zh) * 2012-09-14 2015-04-15 武汉大学 基于仿射不变特征与单应矩阵的线匹配方法
CN103879351B (zh) * 2012-12-20 2016-05-11 财团法人金属工业研究发展中心 车用影像监视系统
TWI586327B (zh) * 2012-12-27 2017-06-11 Metal Ind Research&Development Centre Image projection system
CN104683706A (zh) * 2013-11-28 2015-06-03 财团法人金属工业研究发展中心 影像接合方法
US9984473B2 (en) * 2014-07-09 2018-05-29 Nant Holdings Ip, Llc Feature trackability ranking, systems and methods
CN105530503A (zh) * 2014-09-30 2016-04-27 光宝科技股份有限公司 深度图建立方法与多镜头相机系统
TWM509151U (zh) * 2015-04-22 2015-09-21 Univ Southern Taiwan Sci & Tec 行車影像擷取之清潔暨影像處理裝置

Also Published As

Publication number Publication date
DE102017109751A1 (de) 2017-11-09
TWI618644B (zh) 2018-03-21
TW201739648A (zh) 2017-11-16
US20170323427A1 (en) 2017-11-09
CN107399274A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
US10899277B2 (en) Vehicular vision system with reduced distortion display
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
US11472338B2 (en) Method for displaying reduced distortion video images via a vehicular vision system
JP4899424B2 (ja) 物体検出装置
EP2544449B1 (en) Vehicle perimeter monitoring device
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
Hughes et al. Wide-angle camera technology for automotive applications: a review
US20140168415A1 (en) Vehicle vision system with micro lens array
JP4872245B2 (ja) 歩行者認識装置
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20110157184A1 (en) Image data visualization
EP2293588A1 (en) Method for using a stereovision camera arrangement
US20190135169A1 (en) Vehicle communication system using projected light
US11081008B2 (en) Vehicle vision system with cross traffic detection
WO2018074085A1 (ja) 測距装置、および、測距装置の制御方法
CN107399274B (zh) 影像叠合的方法
KR20160034681A (ko) 차량의 주변 감시 장치 및 방법
CN112888604B (zh) 后向车道检测覆盖
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法
US9773172B2 (en) Obstacle alert device
Rickesh et al. Augmented reality solution to the blind spot issue while driving vehicles
JP7371419B2 (ja) 運転支援システムおよび運転支援プログラム
WO2013062401A1 (en) A machine vision based obstacle detection system and a method thereof
JP6769187B2 (ja) 表示装置の表示方法及び表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant