CN107399274A - 影像叠合的方法 - Google Patents

影像叠合的方法 Download PDF

Info

Publication number
CN107399274A
CN107399274A CN201710312986.XA CN201710312986A CN107399274A CN 107399274 A CN107399274 A CN 107399274A CN 201710312986 A CN201710312986 A CN 201710312986A CN 107399274 A CN107399274 A CN 107399274A
Authority
CN
China
Prior art keywords
image
stable
color
lamination
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710312986.XA
Other languages
English (en)
Other versions
CN107399274B (zh
Inventor
江进丰
徐世钧
魏宏源
李宗翰
张祖锟
潘天赐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Metal Industries Research and Development Centre
Original Assignee
Metal Industries Research and Development Centre
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metal Industries Research and Development Centre filed Critical Metal Industries Research and Development Centre
Publication of CN107399274A publication Critical patent/CN107399274A/zh
Application granted granted Critical
Publication of CN107399274B publication Critical patent/CN107399274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种影像叠合的方法，藉由叠合两个结构光摄像单元所产生的两个深度影像互相重叠的部分成为叠合影像后，显示第一影像、叠合影像及第四影像于显示单元，可弥补驾驶人员由车内往车外看时被车体遮蔽的视线范围，减少驾驶人员的死角，以提升行车安全。

Description

影像叠合的方法
技术领域
本发明是有关于一种影像叠合方法，特别是有关于依据两个结构光影像中的稳定极值区域叠合影像的影像叠合的方法。
背景技术
汽车做为日常生活中最常见的移动载具，其至少设置了左侧后照镜、右侧后照镜、正后方后照镜，用以将车辆的左后方、右后方及正后方的影像藉由后照镜的反射呈现给汽车的驾驶人员，但是由这些后照镜所能呈现给驾驶人员的视野范围有限，又因为后照镜为了给予驾驶人员更为宽广的视野势必要使用凸面镜，然而凸面镜的成像为缩小而正立的虚像，会产生近距离的物体在透过凸面镜成像时有此物体较远的错觉，会使得驾驶人员难以掌握实际与物体的距离。
且当汽车在道路行驶时，除了会受到视野范围受限及距离感有误差外，更有可能因为精神疲劳或其他用路人不守法等因素，使得驾驶人员、乘客以及行人的生命安全双双受到威胁。为了提高安全性，不少被动安全配备已为汽车出厂时的标准配备，而主动安全配备也在各大车厂的努力下被持续开发。
在现有技术中，已经具有可以实时警告使用者行车安全的警示装置，例如设置讯号发射器以及讯号接收器作为倒车雷达，在倒车时当有其他物体靠近车尾时，会以音效提醒驾驶的设备。但是对于驾驶人员而言，汽车依然存在有特定的视觉死角，因此常会在车辆上装设摄影器材作为行车辅助。
目前常见摄影器材应用于车辆行车辅助上，通常设置多个摄影器材于车辆的前后左右以拍摄车辆周围的影像，然后由显示设备同时显示多个摄影器材所拍摄的多个影像，以辅助驾驶者避免行车事故的发生。但驾驶者难以同时监看多个影像，且传统平面影像应用于行车辅助时的视觉死角仍大，因此目前亦有业者开发将设置于车辆的该些摄影器材所取得的该些影像组合为一广角影像，此是较为符合人眼视觉习惯且亦能进一步克服视觉死角的技术手段。
但，摄影器材所拍摄的影像为平面影像，驾驶人员很难依据此影像来掌握与物体之间的距离。现在有部分厂商会在影像中加入参考线以做为驾驶人员判断距离的依据，但是这样的方法仅能让驾驶人员得知物体大概的距离。
有鉴于上述问题，本发明提供一种依据两个结构光影像中重叠区域的特征值叠合影像的影像叠合的方法，除了藉由影像的叠合进一步的克服视觉死角外，同时使得驾驶人员可以依据影像中的深度值得知移动载具与物体的距离。
发明内容
本发明的目的，在于提供一种影像叠合的方法，藉由叠合两个结构光摄像单元所产生的两个深度影像装互相重叠的部分成为叠合影像后，显示第一影像、叠合影像及第四影像于显示单元，可弥补驾驶人员由车内往车外看时被车体遮蔽的视线范围，减少驾驶人员的死角，以提升行车安全。
为达上述的指称的各目的与功效，本发明的一实施例揭示一种影像叠合的方法，其步骤包含取得第一深度影像及第二深度影像，以第一算法取得第二影像中的第一稳定极值域及第三影像的第二稳定极值区域，当第一稳定极值区域及第二稳定极值区域互相匹配时，叠合该第二影像及该第三影像，产生第一叠合影像，并显示第一影像、第一叠合影像及第四影像于一显示单元。
于本发明的一实施例中，其中更包含：依据第一结构光摄像单元及第二结构光摄像单元之间的夹角将第一深度影像中与第二深度影像的重叠的部分设定为第二影像，并将第二深度影像中与第一深度影像的重叠的部分设定为第三影像。
于本发明的一实施例中，其中第一算法为最大稳定极值区域算法。
于本发明的一实施例中，其中于产生深度叠合影像之前，该方法更包含：以边缘侦测算法处理第二影像及第三影像。
于本发明的一实施例中，其中该方法更包含：取得第一色彩影像及第二色彩影像，以第二算法取得第六影像中的第一稳定色彩区域及第七影像的第二稳定色彩区域，当第一稳定色彩区域及第二稳定色彩区域互相匹配时，叠合该第六影像及该第七影像，产生第二叠合影像，并显示第五影像、第二叠合影像及第八影像于显示单元。
于本发明的一实施例中，其中更包含：依据第一摄像单元及第二摄像单元之间的夹角将第一色彩影像中与第二色彩影像的重叠的部分设定为第六影像，并将第二色彩影像中与第一色彩影像的重叠的部分设定为第七影像。
于本发明的一实施例中，其中于产生深度叠合影像之前，该方法更包含：以边缘侦测算法处理第六影像及第七影像。
于本发明的一实施例中，其中第二算法为最大稳定色彩区域算法。
附图说明
图1：其为本发明的第一实施例的影像叠合的方法的流程图；
图2：其为本发明的第一实施例的影像叠合的方法的摄像装置示意图；
图3：其为本发明的第一实施例的影像叠合的方法的应用示意图，用以表示光平面投影于物体；
图4：其为本发明的第一实施例的影像叠合的方法的光平面系包含二维点数组的示意图；
图5A：其为本发明的影像叠合的方法的摄像装置装设于移动载具外侧的示意图；
图5B：其为本发明的影像叠合的方法的摄像装置装设于移动载具内侧的示意图；
图5C：其为本发明的第一实施例的影像叠合的方法的系统示意图；
图5D：其为本发明的第一实施例的影像叠合的方法的摄像装置间夹角示意图；
图6A：其为本发明的第一实施例的影像叠合的方法的第一深度影像示意图；
图6B：其为本发明的第一实施例的影像叠合的方法的第二深度影像示意图；
图6C：其为本发明的第一实施例的影像叠合的方法的第一深度影像的第一区域深度特征值示意图；
图6D：其为本发明的第一实施例的影像叠合的方法的第二深度影像的第二区域深度特征值示意图；
图6E：其为本发明的第一实施例的影像叠合的方法的影像叠合示意图；
图7：其为本发明的第二实施例的影像叠合的方法的摄像装置示意图；
图8A：其为本发明的第二实施例的影像叠合的方法的第一影像示意图；
图8B：其为本发明的第二实施例的影像叠合的方法的第二影像示意图；
图8C：其为本发明的第二实施例的影像叠合的方法的第一影像的第三区域影像特征值示意图；
图8D：其为本发明的第二实施例的影像叠合的方法的第二影像的第四区域影像特征值示意图；
图8E：其为本发明的第二实施例的影像叠合的方法的影像叠合示意图；
图9：其为本发明的第三实施例的影像叠合的方法的流程图；
图10A：其为本发明的第四实施例的影像叠合的方法的深度第一影像示意图；
图10B：其为本发明的第四实施例的影像叠合的方法的深度第二影像示意图；
图10C：其为本发明的第四实施例的影像叠合的方法的深度叠合影像示意图；
图11A：其为本发明的第五实施例的影像叠合的方法的深度第一影像示意图；
图11B：其为本发明的第五实施例的影像叠合的方法的深度第二影像示意图；
图11C：其为本发明的第五实施例的影像叠合的方法的深度叠合影像示意图；以及
图12：其为本发明的第六实施例的影像叠合的方法的深度叠合影像示意图。
【图号对照说明】
1 摄像装置
10 结构光投影模块
101 雷射光源单元
103 透镜组
105 光平面
30 结构光摄像单元
50 处理单元
70 电源供应单元
90 显示单元
110 摄像单元
2 物体
3 移动载具
11 第一摄像装置
111 第一结构光影像
1111 第一影像
1113 第二影像
1115 较近影像
1117 较远影像
13 第二摄像装置
131 第二结构光影像
1311 第三影像
1313 第四影像
1315 较近影像
1317 较远影像
15 夹角
5 第一叠合影像
113 第一色彩影像
1131 第五影像
1133 第六影像
133 第二色彩影像
1331 第七影像
1333 第八影像
8 第二叠合影像
A～C 第一稳定极值区域
D～F 第二稳定极值区域
AD 稳定极值区域
BE 稳定极值区域
CF 稳定极值区域
G～I 第一稳定色彩区域
J～L 第二稳定色彩区域
GJ 稳定色彩区域
HK 稳定色彩区域
IL 稳定色彩区域
具体实施方式
为了使本发明的结构特征及所达成的功效有更进一步的了解与认识，特用较佳的实施例及配合详细的说明，说明如下：
先前的技术中，设置于移动载具的多个摄影器材所取得的该些影像组合为一广角影像，此为较为符合人眼视觉习惯且亦能进一步克服视觉死角的技术手段，然而，住些摄影器材所拍摄的影像皆为平面影像，驾驶人员很难依据平面影像来掌握与物体之间的距离，因此提出一种依据两个结构光影像中重叠区域的极值区域叠合影像的影像叠合的方法，藉由结构光影像可以让驾驶人员清楚掌握移动载具与物体间的距离，同时叠合两个结构光影像所形成的广角结构光影像亦可克服驾驶移动载具时视觉的死角。
在此说明本发明的第一实施例的影像叠合的方法的流程，请参阅图1，其为本发明的第一实施例的影像叠合的方法的流程图。如图所示，本实施例的影像叠合的方法其步骤包含：
步骤S1：取得影像；
步骤S3：取得特征区域；以及
步骤S5：产生叠合影像。
接着说明为达成本发明的影像叠合的方法所需的系统，请参阅图2、图3、图4及第五图，本发明所揭示的影像叠合的方法需使用二个摄像装置1，摄像装置1包含一结构光投影模块10、一结构光摄像单元30。上述的单元及模块皆可与一电源供应单元70电性连接而获得电力供应以进行运作。
结构光投影模块10包含一雷射光源单元101以及一透镜组103，其用以侦测移动载具周围数十公尺内的空间当中是否存在可能会影响行车安全的物体(例如来往的行人、动物、其他移动载具，或者是固定的栅栏、灌木丛等)及移动载具与该物体的距离。本发明所使用的侦测方式是透过结构光技术，其原理是利用光源向被测物体的表面投射可控制的光点、光条或光平面，再由摄像机等传感器获得反射的图像，经几何计算就可获得物体的立体坐标。本发明在一较佳实施例中，采用不可见雷射作为光源，利用其同调性好、衰减慢、量测距离长，精准度高等特性，加上其不易受其他光源影响，因此较一般的光线投射为佳。雷射光源单元101提供的光源在透过透镜组103后发散，其在空间中即为一光平面105。如图4所示，本发明所使用的透镜组103当中可包含图案化透镜(pattern lens)，其具有图案化的微结构而可使穿透的雷射光所形成的光平面具有图案化特征，例如在二维平面呈现光点数组。
如图3所示，若移动载具的周边存在其他物体2，则光平面105在投影于物体2的表面时，光线会被反射而以作为光图像讯息的形式被结构光摄像单元30所接收，结构光摄像单元30为可以接收不可见雷射光的摄像单元。光图像讯息为结构光投影模块10所投影的光平面105在经过物体2本身表面的不规则性反射而形成的变形图案，结构光摄像单元30接收到此变形图案后，系统可进一步利用此变形图案取得物体2的深度值，也就是物体2与移动载具的距离，进而重建物体2的立体外观轮廓，以取得一深度影像。
如图5A及图5B所示，当使用本发明的第一实施例的影像叠合的方法时，需设置一第一摄像装置11及一第二摄像装置13于一移动载具3的外侧(图5A)或内侧(图5B)，并如图5C所示，第一摄像装置11与第二摄像装置13连接于一处理单元50，该处理单元50连接一显示单元90。第一摄像装置11与第二摄像装置13设置于内侧时，第一摄像装置11及第二摄像装置13各自的结构光投影模块10透过移动载具3的挡风玻璃或侧窗向外投射结构光，光线会被邻近的物体反射而被结构光摄像单元30所接收，移动载具3可为小客车、大货车、公交车等。如图5D所示，第一摄像装置11及第二摄像装置13设置时，彼此间有一夹角15，因此，第一摄像装置11所拍摄的影像与第二摄像装置13所拍摄的影像有部分重叠。
如图5C所示，上述的处理单元50为可进行算术及逻辑运算的电子组件。显示单元70可为液晶屏幕、电浆屏幕、阴极射线管屏幕或其他可以显示影像的显示单元。
以下将说明本发明的第一实施例的影像叠合的方法执行时的流程，请参阅图1、图2、图5A、图5B、图5C及图6A～图6E。当移动载具3行驶于道路上并搭载有第一摄像装置11及第二摄像装置13，且第一摄像装置11与第二摄像装置13之间有夹角15时，本发明的影像叠合的方法的系统，将执行步骤S1至步骤S5。
于步骤S1中，取得影像，第一摄像装置11的结构光投影模块10投射结构光后，第一摄像装置11的结构光摄像单元(第一结构光摄像单元)30接收被反射的结构光产生第一深度影像111，第二摄像装置13的结构光投影模块10投射结构光后，第二摄像装置13的结构光摄像单元(第二结构光摄像单元)30接收被反射的结构光产生第二深度影像131，第一深度影像111与第二深度影像131有部份区域重迭。如图6A所示，第一深度影像111的包含第一影像1111及一第二影像1113，如图6B所示，第二深度影像131的包含一第三影像1311及一第四影像1313。
于步骤S3中，取得特征区域，处理单元50以一最大稳定极值区域算法(MSER，Maximally Stable Extremal Regions)(第一算法)计算第二影像1113取得多个第一稳定极值区域并计算第三影像1311取得多个第二稳定极值区域。其中，最大稳定极值区域算法是将影像转换成灰阶影像后，将0～255分别取阀值，将大于阀值的点设为1，小于阀值的点设为0，进而得出256张依据阀值形成的二值影像，并透过比较相邻阀值的图像区域，得出区域间的阀值变化关系，进而取得稳定极值区域，此即为特征区域。举例而言，如图6C所示，以最大稳定极值区域算法取得第二影像1113中的第一稳定极值区域A、第一稳定极值区域B及第一稳定极值区域C。如图6D所示，以最大稳定极值区域算法取得第三影像1311中的第二稳定极值区域D、第二稳定极值区域E及第二稳定极值区域F。
于步骤S5中，产生叠合影像，处理单元50匹配第二影像1113的第一稳定极值区域A～第一稳定极值区域C及第三影像1311的第二稳定极值区域D～第二稳定极值区域F，其处理单元50可以是使用K-维树(k-dimensional tree)、暴力法(Brute Force)、BBF(Best-Bin-First)或其他匹配算法进行匹配。当第一稳定极值区域A～第一稳定极值区域C及第二稳定极值区域D～第二稳定极值区域F互相匹配时，叠合第二影像1113及该第三影像1311，产生第一叠合影像5。如第六C～图6E所示，第一稳定极值区域A匹配第二稳定极值区域D、第一稳定极值区域B匹配第二稳定极值区域E及第一稳定极值区域C匹配第二稳定极值区域F，因此，处理单元50叠合第二深度影像1111及第三影像1311，其中，处理单元50叠合第一稳定极值区域A及第二稳定极值区域D产生稳定极值区域AD、叠合第一稳定极值区域B及第二稳定极值区域E产生稳定极值区域BE以及叠合第一稳定极值区域C及第二稳定极值区域F产生稳定极值区域CF。
接续上述，因为第一摄像装置11包含第一结构光摄像单元且第二摄像装置13包含第二结构光摄像单元，故，处理单元30是依据第一摄像装置11及第二摄像装置13的夹角15将第一深度影像111中与第二深度影像131的重叠的部分设定为第二影像1113，并将第二深度影像131中与第一深度影像111的重叠的部分设定为第三影像1311。因此当上述的稳定极值区域叠合后，第二影像1113及第三影像1311亦互相叠合产生第一叠合影像5。
当产生第一叠合影像5后，将第一影像1111、第一叠合影像5及第四影像1313显示于显示单元90，移动载具3的驾驶人员可透过显示单元90上所显示的第一影像1111、第一叠合影像5及第四影像1313得知周围是否有物体以及物体与移动载具3的距离。本发明是采用叠合两张深度影像并将影像中重叠部分互相叠合，因此，所显示的范围较广，可弥补驾驶人员由车内往车外看时被车体遮蔽的视线范围，减少驾驶人员的视线死角，以提升行车安全。于此即完成本发明的第一实施例的影像叠合的方法。
接着说明本发明的第二实施例的影像叠合的方法，请参阅图7及图8A～图8E并搭配图1、图5A～图5C及图6A～图6E。本实施例与第一实施例的差异在于：于本实施例的摄像装置更包含一摄像单元110，摄像单元110为摄影机或是其他可以拍摄一区域后产生彩色影像的摄像设备。摄像单元110电性连接于电源供应单元70。于第一实施例中，驾驶人员可透过结构光影像得知移动载具与物体之间的距离，但结构光影像所显示的为物体的轮廓，驾驶人员不易直观的从物体的轮廓判断此物体是否会造成移动载具危险的物体，举例而言，路旁的行人和人形立牌的轮廓相似，但是人形立牌不会移动故不会对移动载具造成行车安全上的威胁，反之，行人的移动则有可能对移动载具造成行车安全上的威胁。故，于本实施例中加入的摄像单元可以取得色彩影像，驾驶人员藉由色彩影像即可清楚的得知物体为何。
于本发明的第二实施例中，于步骤S1，取得影像，第一摄像装置11的结构光摄像单元30产生第一深度影像111，第二摄像装置13的结构光摄像单元30产生第二深度影像131。第一摄像装置11的摄像单元(第一摄像单元)110产生第一色彩影像113，第二摄像装置13的摄像单元(第二摄像单元)110产生第二色彩影像133。如图8A所示，第一色彩影像113包含一第五影像1131及一第六影像1133，如图8B所示，第二色彩影像133包含一第七影像1331及一第八影像1333。
于本发明的第二实施例中，于步骤S3中，取得特征区域，处理单元50以一最大稳定极值区域算法(MSER，Maximally Stable Extremal Regions)(第一算法)计算第二影像1113取得多个第一稳定极值区域并计算第三影像1131取得多个第二稳定极值区域。处理单元50以一最大稳定色彩区域算法(MSER，Maximally Stable Colour Regions)(第二算法)计算第六影像1133取得多个第一稳定色彩区域并计算第七影像1331取得多个第二稳定色彩区域。其中，最大稳定色彩区域算法是计算影像中相邻像素之间的相似性，并将相似性在阀值内的像素合并成为图像区域，再透过不断改变阀值，得出图像区域间的阀值变化关系，进而取得稳定色彩区域。故此步骤S3中，此特征区域包含稳定极值区域与稳定色彩区域。举例而言，如图8C所示，以最大稳定色彩区域算法取得第六影像1133中的第一稳定色彩区域G、第一稳定色彩区域H及第一稳定色彩区域I。如图8D所示，以最大稳定色彩区域算法取得第七影像1331中的第二稳定色彩区域J、第二稳定色彩区域K及第二稳定色彩区域L。
于本发明的第二实施例中，于步骤S5中，产生叠合影像，处理单元50匹配第二影像1113的第一稳定极值区域A～第一稳定极值区域及第三影像1311的第二稳定极值区域D～第二稳定极值区域F后，处理单元50依据特征区域中互相匹配者叠合第二影像1113及第三影像1311产生第一叠合影像5。处理单元50匹配第六影像1133的第一稳定色彩区域G～第一稳定色彩区域I及第七影像1331的第二稳定色彩区域J～第二稳定色彩区域L后，处理单元50依据特征区域中互相匹配者叠合第六影像1133及第七影像1331产生第二叠合影像8。如第八C～图8E所示，第一稳定色彩区G匹配第二稳定色彩区J、第一稳定色彩区H匹配第二稳定色彩区K及第一稳定色彩区I匹配第二稳定色彩区L，因此，处理单50元叠合第六影像1133及第七影像1331时，处理单元50叠合第一稳定色彩区域G及第二稳定色彩区域J产生稳定色彩区域GJ、叠合第一稳定色彩区域H及第二稳定色彩区域K产生稳定色彩区域HK、叠合第一稳定色彩区域I及第二稳定色彩区域L产生稳定色彩区域IL以产生第二叠合影像8。
接续上述，因为第一摄像装置11包含第一结构光摄像单元30及第一摄像单元110且第二摄像装置13包含第二结构光摄像单元30及第二摄像单元110，故，处理单元50是依据第一摄像装置11及第二摄像装置13的夹角15将第一深度影像111中与第二深度影像131的重叠的部分设定为第二影像1113、将第二深度影像131中与第一深度影像111的重叠的部分设定为第三影像1311、将第一色彩影像113中与第二色彩影像133的重叠的部分设定为第六影像1133及将第二色彩影像133中与第一色彩影像113的重叠的部分设定为第七影像1331。
当产生第一叠合影像5及第二叠合影像8后，将第一影像1111、第一叠合影像5、第四影像1313、第五影像1131、第二叠合影像8及第八影像1333显示于显示单元90，其中第一影像1111及第五影像1131互相重合、第一叠合影像5及第二叠合影像8互相重合、第四影像1313及第八影像1333互相重合，移动载具3的驾驶人员可透过显示单元90上所显示的影像得知周围的物体的影像并进一步地得知物体离移动载具3的距离。本发明所显示的范围较广，可弥补驾驶人员由车内往车外看时被车体遮蔽的视线范围，减少驾驶人员的视线死角，以提升行车安全。于此即完成本发明的第二实施例的影像叠合的方法。
接着说明本发明的第三实施例的影像叠合的方法，请参阅图9，其为本发明的第三实施例的像叠合的方法的流程图。本实施例与先前实施例的差异在于：于本实施例的流程中更包含步骤S4：以边缘侦测算法处理影像。本实施例其余部分与先前实施例相同，于此不再赘述。
于步骤S4中，进行边缘侦测，处理单元50以边缘侦测算法对第二影像1113及第三影像1311或第六影像1133及第七影像1331进行边缘侦测，产生边缘侦测后的第二影像1113及边缘侦测后的第三影像1311或边缘侦测后的第六影像1133及边缘侦测后的第七影像1331。边缘侦测算法可为Canny算法、Canny–Deriche算法、Differential算法、Sobel算法、Prewitt算法、Roberts cross算法或其他可进行边缘侦测的算法。其目的在于使得影像叠合时能有更高的准确度。
在本实施例中，于步骤S5，处理单元50叠合边缘侦测后的第二影像1113及边缘侦测后的第三影像1311产生第一叠合影像5，或叠合边缘侦测后的第六影像1133及边缘侦测后的第七影像1331产生第二叠合影像8。
于此即完成本发明的第三实施例的影像叠合的方法，藉由边缘侦测算法可使得在叠合产生第一叠合影像5或第二叠合影像8时有更高的准确度。
接着说明本发明的第四实施例的影像叠合的方法，请参阅第十A～十C图。处理单元50可先将第一深度影像111的较近影像1115及第二深度影像113的较近影像1315先行移除，再进一步的取得稳定极值区域与叠合第二影像1113及第三影像1311。较近影像1115与较近影像1315为较靠近移动载具3的影像，故所拍摄到的影像为移动载具3的内部或是移动载具3的车身，这部分的影像对驾驶人员来说参考价值较低，因此可以先行移除，以减少处理单元50的运算量。
于本发明的一实施例中，较近区域1115为第一结构光影像111中深度值0公尺至0.5公尺的区域，较近区域1315为第二结构光影像113中深度值0公尺至0.5公尺的区域。
接着说明本发明的第五实施例的影像叠合的方法，请参阅第十一A～十一C图。处理单元50可先将第一深度影像111的较远影像1117及第二深度影像113的较远影像1317先行移除，再进一步的取得稳定极值区域与叠合第二影像1113及第三影像1311。较远区域因为较远离移动载具3，故，此区域中的物体对移动载具3并没有立即性的影响，因此可以先行移除，以减少移动载具3的驾驶人员的负担。又或者是结构光摄像单元所拍摄到的较远影像1117与较远影像1317较为不清晰，对驾驶人员来说参考价值较低，因此可以先行移除，以减少处理单元50的运算量。
于本发明的一实施例中，较远区域1117为第一结构光影像111中深度值大于5公尺的区域，较远区域1317为第二结构光影像113中深度值大于5公尺的区域，较远区域1117及较远区域1317较佳为第一结构光影像111及第二结构光影像113深度值大于10公尺的区域。
接着说明本发明的第六实施例的影像叠合的方法，请参阅图12并搭配图10A、图10B、图11A及图11B。处理单元50可先将第一深度影像111的较近影像1115及较远影像1117及第二深度影像113的较近影像1315及较远影像1317先行移除，再进一步的取得稳定极值区域与叠合第二影像1113及第三影像1311。可藉此减少移动载具3的驾驶人员的负担并以减少处理单元50的运算量。
上文仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围，凡依本发明权利要求范围所述的形状、构造、特征及精神所为的均等变化与修饰，均应包括于本发明的权利要求范围内。

Claims (8)

1.一种影像叠合的方法，其特征在于，其步骤包含：
以一第一结构光摄像单元产生一第一深度影像，一第二结构光摄像单元产生一第二深度影像，其中该第一深度影像包含一第一影像及一第二影像，该第二深度影像包含一第三影像及一第四影像；
以一第一算法计算取得该第二影像的多个第一稳定极值区域及该第三影像的多个第二稳定极值区域；以及
当该些第一稳定极值区域及该些第二稳定极值区域互相匹配时，叠合该第二影像及该第三影像，产生一第一叠合影像，并显示该第一影像、该第一叠合影像及该第四影像于一显示单元。
2.如权利要求1所述的影像叠合的方法，其特征在于，其中于取得该些第一稳定极值区域及该些第二稳定极值区域的步骤前，该方法更包含：
依据该第一结构光摄像单元及该第二结构光摄像单元之间的夹角将该第一深度影像中与该第二深度影像重叠的部分设定为该第二影像，并将该第二深度影像中与该第一深度影像重叠的部分设定为该第三影像。
3.如权利要求1所述的影像叠合的方法，其特征在于，其中该第一算法为最大稳定极值区域算法。
4.如权利要求1所述的影像叠合的方法，其特征在于，其中于叠合该第二影像及该第三影像，产生该第一叠合影像之前，该方法更包含：
以一边缘侦测算法处理该第二影像及该第三影像，产生边缘侦测后的该第二影像及边缘侦测后的该第三影像。
5.如权利要求1所述的影像叠合的方法，其特征在于，其中该方法更包含：
以一第一摄像单元产生一第一色彩影像，一第二摄像单元产生一第二色彩影像，其中该第一色彩影像包含一第五影像及一第六影像，该第二色彩影像包含一第七影像及一第八影像；
以一第二算法计算取得该第六影像的多个第一稳定色彩区域及该第七影像的多个第二稳定色彩区域；以及
当该些第一稳定色彩区域及该些第二稳定色彩区域互相匹配时，叠合该第六影像及该第七影像，产生一第二叠合影像，并显示该第五影像、该第二叠合影像及该第八影像于该显示单元。
6.如权利要求5所述的影像叠合的方法，其特征在于，其中于取得该些第一稳定色彩区域及该些第二稳定色彩区域的步骤前，该方法更包含：
依据该第一摄像单元及该第二摄像单元之间的夹角将该第一色彩影像中与该第二色彩影像的重叠的部分设定为该第六影像，并将该第二色彩影像中与该第一色彩影像的重叠的部分设定为该第七影像。
7.如权利要求5所述的影像叠合的方法，其特征在于，其中于叠合该第六影像及该第七影像，产生该第二叠合影像之前，该方法更包含：
以一边缘侦测算法处理该第六影像及该第七影像，产生边缘侦测后的第六影像及边缘侦测后的该第七影像。
8.如权利要求5所述的影像叠合的方法，其特征在于，其中该第二算法为最大稳定色彩区域算法。
CN201710312986.XA 2016-05-06 2017-05-05 影像叠合的方法 Active CN107399274B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105114235A TWI618644B (zh) 2016-05-06 2016-05-06 Image overlay method
TW105114235 2016-05-06

Publications (2)

Publication Number Publication Date
CN107399274A true CN107399274A (zh) 2017-11-28
CN107399274B CN107399274B (zh) 2020-12-01

Family

ID=60119216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710312986.XA Active CN107399274B (zh) 2016-05-06 2017-05-05 影像叠合的方法

Country Status (4)

Country Link
US (1) US20170323427A1 (zh)
CN (1) CN107399274B (zh)
DE (1) DE102017109751A1 (zh)
TW (1) TWI618644B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6877115B2 (ja) * 2016-09-27 2021-05-26 株式会社東海理化電機製作所 車両用視認装置
TWI672670B (zh) * 2018-03-12 2019-09-21 Acer Incorporated 影像縫合方法及應用其的電子裝置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
US20110304726A1 (en) * 2010-06-09 2011-12-15 Delphi Technologies, Inc. All-around parking assisting system
CN102930525A (zh) * 2012-09-14 2013-02-13 武汉大学 基于仿射不变特征与单应矩阵的线匹配方法
CN103523011A (zh) * 2012-07-05 2014-01-22 现代摩比斯株式会社 安全驾驶支持装置及方法
CN103879351A (zh) * 2012-12-20 2014-06-25 财团法人金属工业研究发展中心 车用影像监视系统
CN103959308A (zh) * 2011-08-31 2014-07-30 Metaio有限公司 以参考特征匹配图像特征的方法
CN104683706A (zh) * 2013-11-28 2015-06-03 财团法人金属工业研究发展中心 影像接合方法
US20160012597A1 (en) * 2014-07-09 2016-01-14 Nant Holdings Ip, Llc Feature trackability ranking, systems and methods
CN105530503A (zh) * 2014-09-30 2016-04-27 光宝科技股份有限公司 深度图建立方法与多镜头相机系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI342524B (en) * 2007-11-28 2011-05-21 Ind Tech Res Inst Method for constructing the image of structures
TW201105528A (en) * 2009-08-11 2011-02-16 Lan-Hsin Hao An improved driving monitor system and a monitor method of the improved driving monitor system
TWI455074B (zh) * 2011-12-27 2014-10-01 Automotive Res & Testing Ct Vehicle image display system and its correction method
TWI573097B (zh) * 2012-01-09 2017-03-01 能晶科技股份有限公司 用於行動載具之影像擷取裝置及其影像疊合方法
JP2013196492A (ja) * 2012-03-21 2013-09-30 Toyota Central R&D Labs Inc 画像重畳処理装置、方法およびプログラム
TWI586327B (zh) * 2012-12-27 2017-06-11 Metal Ind Research&Development Centre Image projection system
TWM509151U (zh) * 2015-04-22 2015-09-21 Univ Southern Taiwan Sci & Tec 行車影像擷取之清潔暨影像處理裝置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
US20110304726A1 (en) * 2010-06-09 2011-12-15 Delphi Technologies, Inc. All-around parking assisting system
CN103959308A (zh) * 2011-08-31 2014-07-30 Metaio有限公司 以参考特征匹配图像特征的方法
CN103523011A (zh) * 2012-07-05 2014-01-22 现代摩比斯株式会社 安全驾驶支持装置及方法
CN102930525A (zh) * 2012-09-14 2013-02-13 武汉大学 基于仿射不变特征与单应矩阵的线匹配方法
CN103879351A (zh) * 2012-12-20 2014-06-25 财团法人金属工业研究发展中心 车用影像监视系统
CN104683706A (zh) * 2013-11-28 2015-06-03 财团法人金属工业研究发展中心 影像接合方法
US20160012597A1 (en) * 2014-07-09 2016-01-14 Nant Holdings Ip, Llc Feature trackability ranking, systems and methods
CN105530503A (zh) * 2014-09-30 2016-04-27 光宝科技股份有限公司 深度图建立方法与多镜头相机系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PER-ERIK FORSSEN: "Maximally Stable Colour Regions for Recognition and Matching", 《2007 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Also Published As

Publication number Publication date
TW201739648A (zh) 2017-11-16
US20170323427A1 (en) 2017-11-09
TWI618644B (zh) 2018-03-21
CN107399274B (zh) 2020-12-01
DE102017109751A1 (de) 2017-11-09

Similar Documents

Publication Publication Date Title
US8041079B2 (en) Apparatus and method for detecting obstacle through stereovision
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
US20130300872A1 (en) Apparatus and method for displaying a blind spot
US20110157184A1 (en) Image data visualization
US20160005316A1 (en) Around view system and operating method thereof
US11532233B2 (en) Vehicle vision system with cross traffic detection
CN106828304A (zh) 运用结构光感测障碍的倒车警示方法
CN105574552A (zh) 一种基于单目视觉的车辆测距与碰撞预警方法
CN1878299A (zh) 图像显示装置和方法
CN104735403B (zh) 车用障碍物侦测显示系统
CN106926794B (zh) 车辆监控系统及其方法
CN107027329A (zh) 将行进工具的周围环境的局部图像拼接成一个图像
JP2009049943A (ja) 距離画像によるトップビュー表示装置
JP2007241898A (ja) 停止車両分別検出装置および車両の周辺監視装置
WO2018074085A1 (ja) 測距装置、および、測距装置の制御方法
CN109278642A (zh) 车辆倒车安全性映射
US20130107050A1 (en) Obstacle alarm device
CN107399274A (zh) 影像叠合的方法
CN102565873A (zh) 一种三维车辆底盘安全检查系统
KR102190892B1 (ko) 차량의 주변 감시 장치 및 방법
CN108099788A (zh) 三维行车影像辅助装置
CN104590115A (zh) 行车安全辅助系统和方法
CN103377372A (zh) 一种环视合成图重叠区域划分方法和环视合成图表示方法
US20240126095A1 (en) Image display device
CN206926580U (zh) 机动车后视装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant