CN106355553A - 一种360环视拼接方法及装置 - Google Patents
一种360环视拼接方法及装置 Download PDFInfo
- Publication number
- CN106355553A CN106355553A CN201610809302.2A CN201610809302A CN106355553A CN 106355553 A CN106355553 A CN 106355553A CN 201610809302 A CN201610809302 A CN 201610809302A CN 106355553 A CN106355553 A CN 106355553A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- pixel
- point
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000009467 reduction Effects 0.000 claims description 64
- 230000000007 visual effect Effects 0.000 claims description 36
- 230000004888 barrier function Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 12
- 238000005304 joining Methods 0.000 claims description 11
- 230000008901 benefit Effects 0.000 abstract description 7
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于车载电子领域，提供一种360环视拼接方法及装置，所述方法包括如下步骤：获取设置在车辆四个角内的摄像头拍摄的四个图像；将四个图像进行视频解码,将视频解码的四个图像进行畸变还原处理得到还原后的4个图像；将还原后的4个图像进行视角转化,将视角转换后的4个图像拼接成一个360环视图像；对360环视图像进行增强处理得到车辆四周无缝隙的360°全景俯视图。本发明提供的技术方案具有安全性高的优点。
Description
技术领域
本发明涉及电子车载领域，尤其涉及一种360环视拼接方法及装置。
背景技术
伴随着国民经济的快速发展和人民生活水平的提高，越来越多的家庭拥有自己的小汽车作为代步工具，如何安全便捷的泊好车成为众多驾驶者共同面对的难题。
传统的泊车系统主要通过三种手段使司机看到车后方情况，这些手段分别是后视镜、倒车雷达和倒车摄像头。然而，这三种手段都存在车侧面这个盲区。对于一些较复杂路段，司机只能看到前后方向，而车体两侧则容易被路边异物刮伤。
因此现有的车载泊车系统的安全性能低，无法做到实时360环视的效果。
发明内容
本发明的目的之一是提供一种360环视拼接方法，其主要解决现有的安全性低的缺点。
第一方面，提供一种360环视拼接方法，所述方法包括如下步骤：
获取设置在车辆四个角内的摄像头拍摄的四个图像；
将四个图像进行视频解码,将视频解码的四个图像进行畸变还原处理得到还原后的4个图像；
将还原后的4个图像进行视角转化,将视角转换后的4个图像拼接成一个360环视图像；
对360环视图像进行增强处理得到车辆四周无缝隙的360°全景俯视图。
可选的，所述将视频解码的四个图像进行畸变还原处理得到还原后的4个图像具体，包括：
获取4个图像中的像素区间【a1,b1】、【a2,b2】、【a3,b3】、【a4,b4】，对该像素区间按下述公式进行畸变还原处理：
Xn＝xn*(255-a1)/(b1-a1)；
其中，Xn为畸变还原处理后的第n点像素点的值，xn第n点的实际像素点值，a1为图像1的像素点下限值,b1图像1的像素点上限值；
Yn＝yn*(255-a2)/(b2-a2)；
其中，Yn为畸变还原处理后的第n点像素点的值，yn第n点的实际像素点值，a2为图像2的像素点下限值,b2图像2的像素点上限值；
Zn＝zn*(255-a3)/(b3-a3)；
其中，Zn为畸变还原处理后的第n点像素点的值，zn第n点的实际像素点值，a3为图像3的像素点下限值,b3图像3的像素点上限值；
Wn＝wn*(255-a4)/(b4-a4)；
其中，Wn为畸变还原处理后的第n点像素点的值，wn第n点的实际像素点值，a4为图像4的像素点下限值,b4图像4的像素点上限值。
可选的，所述将还原后的4个图像进行视角转化具体，包括：
获取还原后的4个图像的地面部分的距离，将该底面部分的距离通过透视变换成俯视视角。
可选的，所述将视角转换后的4个图像拼接成一个360环视图像具体，包括：
获取相邻两个图像，提取两个图像中的特征点；识别出两个图像中二个相同的特征点，一个图像保持不变，将另一个图像的角度旋转使得另一个图像中的二个相同的特征点中的至少一个特征点与一个图像中的同一特征点重合，然后获取一个图像二个特征点的距离L1和另一图像二个特征点的距离L2，将距离L2拉伸或缩小使L2’与L1相同，去掉一个图像和另一个图像的重叠图像后将一个图像和另一个图像叠加在一起得到拼接成的一个角的图像，同理实现其他三个角的图像，将四个角的图像叠加起来即得到360环视图像。
可选的，所述方法还包括：
获取360°环视图像障碍物的位置，依据标尺线获取障碍物的距离，当距离低于设定阈值时，提示该障碍物。
第二方面，提供一种360环视拼接装置，所述装置包括：
获取单元，用于获取设置在车辆四个角内的摄像头拍摄的四个图像；
解码单元，用于将四个图像进行视频解码；
畸变单元，用于将视频解码的四个图像进行畸变还原处理得到还原后的4个图像；
转换单元，用于将还原后的4个图像进行视角转化,
拼接单元，用于将视角转换后的4个图像拼接成一个360环视图像；
增强单元，用于对360环视图像进行增强处理得到车辆四周无缝隙的360°全景俯视图。
可选的，所述畸变单元具体，用于
获取4个图像中的像素区间【a1,b1】、【a2,b2】、【a3,b3】、【a4,b4】，对该像素区间按下述公式进行畸变还原处理：
Xn＝xn*(255-a1)/(b1-a1)；
其中，Xn为畸变还原处理后的第n点像素点的值，xn第n点的实际像素点值，a1为图像1的像素点下限值,b1图像1的像素点上限值；
Yn＝yn*(255-a2)/(b2-a2)；
其中，Yn为畸变还原处理后的第n点像素点的值，yn第n点的实际像素点值，a2为图像2的像素点下限值,b2图像2的像素点上限值；
Zn＝zn*(255-a3)/(b3-a3)；
其中，Zn为畸变还原处理后的第n点像素点的值，zn第n点的实际像素点值，a3为图像3的像素点下限值,b3图像3的像素点上限值；
Wn＝wn*(255-a4)/(b4-a4)；
其中，Wn为畸变还原处理后的第n点像素点的值，wn第n点的实际像素点值，a4为图像4的像素点下限值,b4图像4的像素点上限值。
可选的，所述转换单元具体，用于
获取还原后的4个图像的地面部分的距离，将该底面部分的距离通过透视变换成俯视视角。
可选的，所述拼接单元，具体用于
获取相邻两个图像，提取两个图像中的特征点；识别出两个图像中二个相同的特征点，一个图像保持不变，将另一个图像的角度旋转使得另一个图像中的二个相同的特征点中的至少一个特征点与一个图像中的同一特征点重合，然后获取一个图像二个特征点的距离L1和另一图像二个特征点的距离L2，将距离L2拉伸或缩小使L2’与L1相同，去掉一个图像和另一个图像的重叠图像后将一个图像和另一个图像叠加在一起得到拼接成的一个角的图像，同理实现其他三个角的图像，将四个角的图像叠加起来即得到360环视图像。
可选的，所述装置还包括：
标示单元，用于获取360°环视图像障碍物的位置，依据标尺线获取障碍物的距离，当距离低于设定阈值时，提示该障碍物。
本领域普通技术人员将了解，虽然下面的详细说明将参考图示实施例、附图进行，但本发明并不仅限于这些实施例。而是，本发明的范围是广泛的，且意在仅通过后附的权利要求限定本发明的范围。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为根据本发明一个优选实施例提供的360环视拼接方法的流程图；
图2为根据本发明另一个优选实施例提供的360环视拼接方法的流程图；
图3为根据本发明提供的360环视拼接装置的结构图；
图4为根据本发明提供的另一个360环视拼接装置的结构图；
图5为本发明提供的车载智能终端的硬件结构示意图。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明作进一步详细描述。
根据本发明的一个方面，提供了一种360环视拼接方法。其中，车载电子设备包括但不限于：车载导航系统、智能手机、平板电脑、车载笔记本电脑等智能设备。
在一个实施例中，上述360环视拼接方法可以用于智能设备中，需要说明的是，所述智能设备仅为举例，其他现有的或今后可能出现的网络设备和用户设备如果适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
请参考图1，图1为根据本发明一个优选实施例的提供的360环视拼接方法，该方法如图1所示，包括如下步骤：
步骤S101、获取设置在车辆四个角内的摄像头拍摄的四个图像；
需要说明的是上述步骤S101中的摄像头必须具有90°以上的视角，优先选的，本实施例可以选择视角达170度的广角鱼眼镜头。在这里示出和描述的所有示例中，除非另有规定，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
步骤S102、将四个图像进行视频解码；
上述步骤S102中的视频解码可以采用现有的视频解码技术方案，例如，通过ISL79985对四路摄像头信号进行NTSC或PAL视频解码，上述图像处理的方案也可以采用现有的图像处理的方案，本发明优选实施例并不局限上述图像处理的具体实现方案。
步骤S103、将视频解码的四个图像进行畸变还原处理得到还原后的4个图像；
上述图像进行畸变还原处理的方法具体可以为：
获取4个图像中的像素区间【a1,b1】、【a2,b2】、【a3,b3】、【a4,b4】，对该像素区间按下述公式进行畸变还原处理：
Xn＝xn*(255-a1)/(b1-a1)；
其中，Xn为畸变还原处理后的第n点像素点的值，xn第n点的实际像素点值，a1为图像1的像素点下限值,b1图像1的像素点上限值，同理计算出另外三幅图像的像素点的值完成畸变还原处理。
步骤S104、将还原后的4个图像进行视角转化；
上述步骤S104的实现方法具体可以为：
获取还原后的4个图像的地面部分的距离，将该底面部分的距离通过透视变换成俯视视角，上述透视变换的具体实现方法可以采用现有技术的方法，这里不在赘述。
步骤S105、将视角转换后的4个图像拼接成一个360环视图像；
上述步骤S105的实现方法具体可以为：
获取相邻两个图像，提取两个图像中的特征点(例如障碍物或标识牌等等)；识别出两个图像中二个相同的特征点，一个图像保持不变，将另一个图像的角度旋转使得另一个图像中的二个相同的特征点中的至少一个特征点与一个图像中的同一特征点重合，然后获取一个图像二个特征点的距离L1和另一图像二个特征点的距离L2，将距离L2拉伸或缩小使L2’与L1相同，去掉一个图像和另一个图像的重叠图像后将一个图像和另一个图像叠加在一起得到拼接成的一个角的图像，同理实现其他三个角的图像，将四个角的图像叠加起来即得到360环视图像。
步骤S106、对360环视图像进行增强处理得到车辆四周无缝隙的360°全景俯视图。
本发明具体实施方式提供的技术方案通过对4个摄像头的图像的叠加，使得4个摄像头的图像能够拼接成360°环视的图像，所以能够避免整个车辆的死角，从来提高了图像的精度，避免了死角，提高了车辆的安全性，所以其具有安全性高的优点。
请参考图2，图2为根据本发明另一个优选实施例的提供的360环视拼接方法，该方法如图2所示，包括如下步骤：
步骤S201、获取设置在车辆四个角内的摄像头拍摄的四个图像；
需要说明的是上述步骤S201中的摄像头必须具有90°以上的视角，优先选的，本实施例可以选择视角达170度的广角鱼眼镜头。在这里示出和描述的所有示例中，除非另有规定，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
步骤S202、将四个图像进行视频解码；
上述步骤S202中的视频解码可以采用现有的视频解码技术方案，例如，通过ISL79985对四路摄像头信号进行NTSC或PAL视频解码，上述图像处理的方案也可以采用现有的图像处理的方案，本发明优选实施例并不局限上述图像处理的具体实现方案。
步骤S203、将视频解码的四个图像进行畸变还原处理得到还原后的4个图像；
上述图像进行畸变还原处理的方法具体可以为：
获取4个图像中的像素区间【a1,b1】、【a2,b2】、【a3,b3】、【a4,b4】，对该像素区间按下述公式进行畸变还原处理：
Xn＝xn*(255-a1)/(b1-a1)；
其中，Xn为畸变还原处理后的第n点像素点的值，xn第n点的实际像素点值，a1为图像1的像素点下限值,b1图像1的像素点上限值，同理计算出另外三幅图像的像素点的值完成畸变还原处理。
步骤S204、将还原后的4个图像进行视角转化；
上述步骤S104的实现方法具体可以为：
获取还原后的4个图像的地面部分的距离，将该底面部分的距离通过透视变换成俯视视角，上述透视变换的具体实现方法可以采用现有技术的方法，这里不在赘述。
步骤S205、将视角转换后的4个图像拼接成一个360环视图像；
上述步骤S205的实现方法具体可以为：
获取相邻两个图像，提取两个图像中的特征点(例如障碍物或标识牌等等)；识别出两个图像中二个相同的特征点，一个图像保持不变，将另一个图像的角度旋转使得另一个图像中的二个相同的特征点中的至少一个特征点与一个图像中的同一特征点重合，然后获取一个图像二个特征点的距离L1和另一图像二个特征点的距离L2，将距离L2拉伸或缩小使L2’与L1相同，去掉一个图像和另一个图像的重叠图像后将一个图像和另一个图像叠加在一起得到拼接成的一个角的图像，同理实现其他三个角的图像，将四个角的图像叠加起来即得到360环视图像。
步骤S206、对360环视图像进行增强处理得到车辆四周无缝隙的360°全景俯视图。
步骤S207、获取360°环视图像障碍物的位置，依据标尺线获取障碍物的距离，当距离低于设定阈值时，提示该障碍物。
上述步骤S207的提示方式具体可以为，通过黄色突出显示来标示障碍物，当然在实际应用中，还可以采用其他的方式来标示障碍物，例如通过红色或声音方式来提示障碍物。
本发明具体实施方式提供的技术方案通过对4个摄像头的图像的叠加，使得4个摄像头的图像能够拼接成360°环视的图像，所以能够避免整个车辆的死角，从来提高了图像的精度，避免了死角，提高了车辆的安全性，所以其具有安全性高的优点。
请参考图3，图3为根据本发明一个优选实施例的提供的360环视拼接装置，该装置如图3所示，包括：
获取单元301，用于获取设置在车辆四个角内的摄像头拍摄的四个图像；
需要说明的是上述获取单元301的摄像头必须具有90°以上的视角，优先选的，本实施例可以选择视角达170度的广角鱼眼镜头。在这里示出和描述的所有示例中，除非另有规定，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
解码单元302，用于将四个图像进行视频解码；
上述获取单元301中的视频解码可以采用现有的视频解码技术方案，例如，通过ISL79985对四路摄像头信号进行NTSC或PAL视频解码，上述图像处理的方案也可以采用现有的图像处理的方案，本发明优选实施例并不局限上述图像处理的具体实现方案。
畸变单元303，用于将视频解码的四个图像进行畸变还原处理得到还原后的4个图像；
上述图像进行畸变还原处理的方法具体可以为：
获取4个图像中的像素区间【a1,b1】、【a2,b2】、【a3,b3】、【a4,b4】，对该像素区间按下述公式进行畸变还原处理：
Xn＝xn*(255-a1)/(b1-a1)；
其中，Xn为畸变还原处理后的第n点像素点的值，xn第n点的实际像素点值，a1为图像1的像素点下限值,b1图像1的像素点上限值，同理计算出另外三幅图像的像素点的值完成畸变还原处理。
转换单元304，用于将还原后的4个图像进行视角转化；
上述转换单元304的实现方法具体可以为：
获取还原后的4个图像的地面部分的距离，将该底面部分的距离通过透视变换成俯视视角，上述透视变换的具体实现方法可以采用现有技术的方法，这里不在赘述。
拼接单元305，用于将视角转换后的4个图像拼接成一个360环视图像；
上述拼接单元305的实现方法具体可以为：
获取相邻两个图像，提取两个图像中的特征点(例如障碍物或标识牌等等)；识别出两个图像中二个相同的特征点，一个图像保持不变，将另一个图像的角度旋转使得另一个图像中的二个相同的特征点中的至少一个特征点与一个图像中的同一特征点重合，然后获取一个图像二个特征点的距离L1和另一图像二个特征点的距离L2，将距离L2拉伸或缩小使L2’与L1相同，去掉一个图像和另一个图像的重叠图像后将一个图像和另一个图像叠加在一起得到拼接成的一个角的图像，同理实现其他三个角的图像，将四个角的图像叠加起来即得到360环视图像。
增强单元306，用于对360环视图像进行增强处理得到车辆四周无缝隙的360°全景俯视图。
本发明具体实施方式提供的技术方案通过对4个摄像头的图像的叠加，使得4个摄像头的图像能够拼接成360°环视的图像，所以能够避免整个车辆的死角，从来提高了图像的精度，避免了死角，提高了车辆的安全性，所以其具有安全性高的优点。
请参考图3，图3为根据本发明一个优选实施例的提供的360环视拼接装置，该装置如图3所示，包括：
获取单元301，用于获取设置在车辆四个角内的摄像头拍摄的四个图像；
需要说明的是上述获取单元301的摄像头必须具有90°以上的视角，优先选的，本实施例可以选择视角达170度的广角鱼眼镜头。在这里示出和描述的所有示例中，除非另有规定，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
解码单元302，用于将四个图像进行视频解码；
上述获取单元301中的视频解码可以采用现有的视频解码技术方案，例如，通过ISL79985对四路摄像头信号进行NTSC或PAL视频解码，上述图像处理的方案也可以采用现有的图像处理的方案，本发明优选实施例并不局限上述图像处理的具体实现方案。
畸变单元303，用于将视频解码的四个图像进行畸变还原处理得到还原后的4个图像；
上述图像进行畸变还原处理的方法具体可以为：
获取4个图像中的像素区间【a1,b1】、【a2,b2】、【a3,b3】、【a4,b4】，对该像素区间按下述公式进行畸变还原处理：
Xn＝xn*(255-a1)/(b1-a1)；
其中，Xn为畸变还原处理后的第n点像素点的值，xn第n点的实际像素点值，a1为图像1的像素点下限值,b1图像1的像素点上限值，同理计算出另外三幅图像的像素点的值完成畸变还原处理。
转换单元304，用于将还原后的4个图像进行视角转化；
上述转换单元304的实现方法具体可以为：
获取还原后的4个图像的地面部分的距离，将该底面部分的距离通过透视变换成俯视视角，上述透视变换的具体实现方法可以采用现有技术的方法，这里不在赘述。
拼接单元305，用于将视角转换后的4个图像拼接成一个360环视图像；
上述拼接单元305的实现方法具体可以为：
获取相邻两个图像，提取两个图像中的特征点(例如障碍物或标识牌等等)；识别出两个图像中二个相同的特征点，一个图像保持不变，将另一个图像的角度旋转使得另一个图像中的二个相同的特征点中的至少一个特征点与一个图像中的同一特征点重合，然后获取一个图像二个特征点的距离L1和另一图像二个特征点的距离L2，将距离L2拉伸或缩小使L2’与L1相同，去掉一个图像和另一个图像的重叠图像后将一个图像和另一个图像叠加在一起得到拼接成的一个角的图像，同理实现其他三个角的图像，将四个角的图像叠加起来即得到360环视图像。
增强单元306，用于对360环视图像进行增强处理得到车辆四周无缝隙的360°全景俯视图。
本发明具体实施方式提供的技术方案通过对4个摄像头的图像的叠加，使得4个摄像头的图像能够拼接成360°环视的图像，所以能够避免整个车辆的死角，从来提高了图像的精度，避免了死角，提高了车辆的安全性，所以其具有安全性高的优点。
标示单元401，用于获取360°环视图像障碍物的位置，依据标尺线获取障碍物的距离，当距离低于设定阈值时，提示该障碍物。
上述标示单元401的提示方式具体可以为，通过黄色突出显示来标示障碍物，当然在实际应用中，还可以采用其他的方式来标示障碍物，例如通过红色或声音方式来提示障碍物。
本发明具体实施方式提供的技术方案通过对4个摄像头的图像的叠加，使得4个摄像头的图像能够拼接成360°环视的图像，所以能够避免整个车辆的死角，从来提高了图像的精度，避免了死角，提高了车辆的安全性，所以其具有安全性高的优点。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
参见图5，本发明实施例还提供一种车载智能设备500，该车载智能设备500包括但不限于：手机、平板电脑、智能车载导航，如图5所示，该便携式电子设备包括：设备50包括处理器501、存储器502、收发器503、摄像头505和总线504。收发器503用于与外部设备之间收发数据。设备500中的处理器501的数量可以是一个或多个。本申请的一些实施例中，处理器501、存储器502和收发器503可通过总线系统或其他方式连接。设备500可以用于执行图1、如图2所示的方法。关于本实施例涉及的术语的含义以及举例，可以参考图1以及图2对应的说明。此处不再赘述。
摄像头505，用于获取车辆四个角的四个图像；
其中，存储器502中存储程序代码。处理器501用于调用存储器502中存储的程序代码，用于执行以下操作：
处理器501，用于执行上述步骤S102-步骤S106以及步骤207。
需要说明的是，这里的处理器501可以是一个处理元件，也可以是多个处理元件的统称。例如，该处理元件可以是中央处理器(Central Processing Unit，CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器(digital signalprocessor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)。
存储器503可以是一个存储装置，也可以是多个存储元件的统称，且用于存储可执行程序代码或应用程序运行装置运行所需要参数、数据等。且存储器503可以包括随机存储器(RAM)，也可以包括非易失性存储器(non-volatile memory)，例如磁盘存储器，闪存(Flash)等。
总线504可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
该用户设备还可以包括输入输出装置，连接于总线504，以通过总线与处理器501等其它部分连接。该输入输出装置可以为操作人员提供一输入界面，以便操作人员通过该输入界面选择布控项，还可以是其它接口，可通过该接口外接其它设备。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种360环视拼接方法，其特征在于，所述方法包括如下步骤：
获取设置在车辆四个角内的摄像头拍摄的四个图像；
将四个图像进行视频解码,将视频解码的四个图像进行畸变还原处理得到还原后的4个图像；
将还原后的4个图像进行视角转化,将视角转换后的4个图像拼接成一个360环视图像；
对360环视图像进行增强处理得到车辆四周无缝隙的360°全景俯视图。
2.根据权利要求1所述的方法，其特征在于，所述将视频解码的四个图像进行畸变还原处理得到还原后的4个图像具体，包括：
获取4个图像中的像素区间【a1,b1】、【a2,b2】、【a3,b3】、【a4,b4】，对该像素区间按下述公式进行畸变还原处理：
Xn＝xn*(255-a1)/(b1-a1)；
其中，Xn为畸变还原处理后的第n点像素点的值，xn第n点的实际像素点值，a1为图像1的像素点下限值,b1图像1的像素点上限值；
Yn＝yn*(255-a2)/(b2-a2)；
其中，Yn为畸变还原处理后的第n点像素点的值，yn第n点的实际像素点值，a2为图像2的像素点下限值,b2图像2的像素点上限值；
Zn＝zn*(255-a3)/(b3-a3)；
其中，Zn为畸变还原处理后的第n点像素点的值，zn第n点的实际像素点值，a3为图像3的像素点下限值,b3图像3的像素点上限值；
Wn＝wn*(255-a4)/(b4-a4)；
其中，Wn为畸变还原处理后的第n点像素点的值，wn第n点的实际像素点值，a4为图像4的像素点下限值,b4图像4的像素点上限值。
3.根据权利要求1所述的方法，其特征在于，所述将还原后的4个图像进行视角转化具体，包括：
获取还原后的4个图像的地面部分的距离，将该底面部分的距离通过透视变换成俯视视角。
4.根据权利要求1所述的方法，其特征在于，所述将视角转换后的4个图像拼接成一个360环视图像具体，包括：
获取相邻两个图像，提取两个图像中的特征点；识别出两个图像中二个相同的特征点，一个图像保持不变，将另一个图像的角度旋转使得另一个图像中的二个相同的特征点中的至少一个特征点与一个图像中的同一特征点重合，然后获取一个图像二个特征点的距离L1和另一图像二个特征点的距离L2，将距离L2拉伸或缩小使L2’与L1相同，去掉一个图像和另一个图像的重叠图像后将一个图像和另一个图像叠加在一起得到拼接成的一个角的图像，同理实现其他三个角的图像，将四个角的图像叠加起来即得到360环视图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取360°环视图像障碍物的位置，依据标尺线获取障碍物的距离，当距离低于设定阈值时，提示该障碍物。
6.一种360环视拼接装置，其特征在于，所述装置包括：
获取单元，用于获取设置在车辆四个角内的摄像头拍摄的四个图像；
解码单元，用于将四个图像进行视频解码；
畸变单元，用于将视频解码的四个图像进行畸变还原处理得到还原后的4个图像；
转换单元，用于将还原后的4个图像进行视角转化,
拼接单元，用于将视角转换后的4个图像拼接成一个360环视图像；
增强单元，用于对360环视图像进行增强处理得到车辆四周无缝隙的360°全景俯视图。
7.根据权利要求6所述的装置，其特征在于，所述畸变单元具体，用于
获取4个图像中的像素区间【a1,b1】、【a2,b2】、【a3,b3】、【a4,b4】，对该像素区间按下述公式进行畸变还原处理：
Xn＝xn*(255-a1)/(b1-a1)；
其中，Xn为畸变还原处理后的第n点像素点的值，xn第n点的实际像素点值，a1为图像1的像素点下限值,b1图像1的像素点上限值；
Yn＝yn*(255-a2)/(b2-a2)；
其中，Yn为畸变还原处理后的第n点像素点的值，yn第n点的实际像素点值，a2为图像2的像素点下限值,b2图像2的像素点上限值；
Zn＝zn*(255-a3)/(b3-a3)；
其中，Zn为畸变还原处理后的第n点像素点的值，zn第n点的实际像素点值，a3为图像3的像素点下限值,b3图像3的像素点上限值；
Wn＝wn*(255-a4)/(b4-a4)；
其中，Wn为畸变还原处理后的第n点像素点的值，wn第n点的实际像素点值，a4为图像4的像素点下限值,b4图像4的像素点上限值。
8.根据权利要求6所述的装置，其特征在于，所述转换单元具体，用于
获取还原后的4个图像的地面部分的距离，将该底面部分的距离通过透视变换成俯视视角。
9.根据权利要求6所述的装置，其特征在于，所述拼接单元，具体用于
获取相邻两个图像，提取两个图像中的特征点；识别出两个图像中二个相同的特征点，一个图像保持不变，将另一个图像的角度旋转使得另一个图像中的二个相同的特征点中的至少一个特征点与一个图像中的同一特征点重合，然后获取一个图像二个特征点的距离L1和另一图像二个特征点的距离L2，将距离L2拉伸或缩小使L2’与L1相同，去掉一个图像和另一个图像的重叠图像后将一个图像和另一个图像叠加在一起得到拼接成的一个角的图像，同理实现其他三个角的图像，将四个角的图像叠加起来即得到360环视图像。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
标示单元，用于获取360°环视图像障碍物的位置，依据标尺线获取障碍物的距离，当距离低于设定阈值时，提示该障碍物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610809302.2A CN106355553B (zh) | 2016-09-06 | 2016-09-06 | 一种360环视拼接方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610809302.2A CN106355553B (zh) | 2016-09-06 | 2016-09-06 | 一种360环视拼接方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106355553A true CN106355553A (zh) | 2017-01-25 |
| CN106355553B CN106355553B (zh) | 2019-08-27 |
Family
ID=57857838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610809302.2A Expired - Fee Related CN106355553B (zh) | 2016-09-06 | 2016-09-06 | 一种360环视拼接方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106355553B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107277445A (zh) * | 2017-06-29 | 2017-10-20 | 深圳市元征科技股份有限公司 | 一种车载设备 |
| CN108973860A (zh) * | 2018-06-27 | 2018-12-11 | 北斗星通（重庆）汽车电子有限公司 | 车载盲区探测系统 |
| CN110738599A (zh) * | 2019-10-14 | 2020-01-31 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、电子设备及存储介质 |
| CN110910311A (zh) * | 2019-10-30 | 2020-03-24 | 同济大学 | 一种基于二维码的多路环视相机自动拼接方法 |
| CN113379413A (zh) * | 2021-05-26 | 2021-09-10 | 上海祥承通讯技术有限公司 | 一种识别准确且高安全性的移动支付系统 |
| CN115578502A (zh) * | 2022-11-18 | 2023-01-06 | 杭州枕石智能科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090207045A1 (en) * | 2008-02-14 | 2009-08-20 | Mando Corporation | Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same |
| CN203435083U (zh) * | 2013-07-05 | 2014-02-12 | 深圳市航盛电子股份有限公司 | 基于车身传感器360°环视行车的辅助系统 |
| CN104512328A (zh) * | 2013-09-27 | 2015-04-15 | 比亚迪股份有限公司 | 汽车环视图像生成方法及汽车环视系统 |
| CN104851076A (zh) * | 2015-05-27 | 2015-08-19 | 武汉理工大学 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
| CN105550652A (zh) * | 2015-12-14 | 2016-05-04 | 宁波裕兰信息科技有限公司 | 一种基于四颗摄像头360度环视ldw的实现方法 |
-
2016
- 2016-09-06 CN CN201610809302.2A patent/CN106355553B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090207045A1 (en) * | 2008-02-14 | 2009-08-20 | Mando Corporation | Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same |
| CN203435083U (zh) * | 2013-07-05 | 2014-02-12 | 深圳市航盛电子股份有限公司 | 基于车身传感器360°环视行车的辅助系统 |
| CN104512328A (zh) * | 2013-09-27 | 2015-04-15 | 比亚迪股份有限公司 | 汽车环视图像生成方法及汽车环视系统 |
| CN104851076A (zh) * | 2015-05-27 | 2015-08-19 | 武汉理工大学 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
| CN105550652A (zh) * | 2015-12-14 | 2016-05-04 | 宁波裕兰信息科技有限公司 | 一种基于四颗摄像头360度环视ldw的实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| 任维: "基于车载环视系统的图像拼接技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 程德俊: "汽车全景环视系统的研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107277445A (zh) * | 2017-06-29 | 2017-10-20 | 深圳市元征科技股份有限公司 | 一种车载设备 |
| CN107277445B (zh) * | 2017-06-29 | 2020-05-12 | 深圳市元征科技股份有限公司 | 一种车载设备 |
| CN108973860A (zh) * | 2018-06-27 | 2018-12-11 | 北斗星通（重庆）汽车电子有限公司 | 车载盲区探测系统 |
| CN110738599A (zh) * | 2019-10-14 | 2020-01-31 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、电子设备及存储介质 |
| CN110910311A (zh) * | 2019-10-30 | 2020-03-24 | 同济大学 | 一种基于二维码的多路环视相机自动拼接方法 |
| CN110910311B (zh) * | 2019-10-30 | 2023-09-26 | 同济大学 | 一种基于二维码的多路环视相机自动拼接方法 |
| CN113379413A (zh) * | 2021-05-26 | 2021-09-10 | 上海祥承通讯技术有限公司 | 一种识别准确且高安全性的移动支付系统 |
| CN115578502A (zh) * | 2022-11-18 | 2023-01-06 | 杭州枕石智能科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106355553B (zh) | 2019-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106355553A (zh) | 一种360环视拼接方法及装置 | |
| US20160188992A1 (en) | Image generating device, electronic device, image generating method and recording medium | |
| JP2017220923A (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| CN109754363B (zh) | 基于鱼眼相机的环视图像合成方法和装置 | |
| EP2696573A2 (en) | Method for generating a panoramic image, user terminal device, and computer-readable recording medium | |
| JP5546321B2 (ja) | 複数カメラ画像使用車外表示装置 | |
| US20220222856A1 (en) | Fixed pattern calibration for multi-view stitching | |
| KR101705558B1 (ko) | Avm 시스템의 공차 보정 장치 및 방법 | |
| CN112862856A (zh) | 违停车辆的识别方法、装置、设备及计算机可读存储介质 | |
| Turturici et al. | Low-power DSP system for real-time correction of fish-eye cameras in automotive driver assistance applications | |
| Choi et al. | Sharpness enhancement and super-resolution of around-view monitor images | |
| US20170270371A1 (en) | Method and Apparatus for Providing Increased Obstacle Visibility | |
| JP2024041895A (ja) | モジュール式画像補間方法 | |
| JP2001076055A (ja) | 査定金額算出方法及び損害査定システム | |
| CN115965531A (zh) | 模型训练方法及图像生成方法、装置、设备和存储介质 | |
| US20230098437A1 (en) | Reference-Based Super-Resolution for Image and Video Enhancement | |
| CN109995985B (zh) | 基于机器人的全景图像拍摄方法、装置及机器人 | |
| CN115565155A (zh) | 神经网络模型的训练方法、车辆视图的生成方法和车辆 | |
| Voronin et al. | Video stabilization using space-time video completion | |
| CN113077503B (zh) | 盲区视频数据生成方法、系统、设备和计算机可读介质 | |
| CN114648468B (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| Gohil | Car license plate detection | |
| CN117036895B (zh) | 基于相机与激光雷达点云融合的多任务环境感知方法 | |
| CN113284074B (zh) | 全景图像的目标对象去除方法、装置、服务器及存储介质 | |
| US20240177324A1 (en) | System and method for dynamic redaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190827 Termination date: 20200906 |