CN112422830B - 获取车辆全景图像的方法及装置和计算机存储介质 - Google Patents
获取车辆全景图像的方法及装置和计算机存储介质 Download PDFInfo
- Publication number
- CN112422830B CN112422830B CN202011306999.4A CN202011306999A CN112422830B CN 112422830 B CN112422830 B CN 112422830B CN 202011306999 A CN202011306999 A CN 202011306999A CN 112422830 B CN112422830 B CN 112422830B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- local
- environment
- camera module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000007613 environmental effect Effects 0.000 claims abstract description 16
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims 1
- 238000009434 installation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
- B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种获取车辆全景图像的方法及装置和计算机存储介质。该方法包括车载前端摄像模组获取车辆所在环境的环境信息；车载前端摄像模组采用与环境信息相匹配的摄像模式获取车辆周边的各指定方向上的多个环境图像并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像并发送至车载全景拼接处理器；车载全景拼接处理器将每个指定方向的局部拼接图像进行全景拼接得到车辆周边环境的全景图像。车载前端摄像模组获取车辆所在环境的环境信息，采用与环境信息相匹配的摄像模式获取车辆周边的各指定方向上的多个环境图像，可以得到高质量的环境图像。全景拼接处理器只需要拼接少量的局部拼接图像即可，降低了对性能的要求。
Description
技术领域
本发明涉及车载多媒体技术领域，特别是涉及一种获取车辆全景图像的方法及装置和计算机存储介质。
背景技术
目前，车辆多媒体系统已经广泛的应用于车辆中。为了获取车辆周围360°的全景图像，往往在车辆的前后左右各安装一个摄像头来获取车辆周围的图像。然后，将各摄像头获取的图像发送至车载图像处理器进行拼接合成得到车辆周围360°的全景图像。由于车辆周围的物体和光线强度等环境因素比较多样化，仅通过提高摄像头的分辨率已经无法获取高质量的图像。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的获取车辆全景图像的方法及装置和计算机存储介质。
本发明的一个目的是要提高获取车辆周围环境的图像的质量。
本发明一个进一步的目的是降低对车载全景拼接处理器性能的要求。
特别地，本发明提供了一种获取车辆全景图像的方法，包括：
车载前端摄像模组获取车辆所在环境的环境信息；
所述车载前端摄像模组采用与所述环境信息相匹配的摄像模式获取所述车辆周边的各指定方向上的多个环境图像并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像并发送至车载全景拼接处理器；
所述车载全景拼接处理器将每个指定方向的所述局部拼接图像进行全景拼接得到所述车辆周边环境的全景图像。
可选地，所述环境信息包括环境亮度；且
所述车载前端摄像模组采用与所述环境信息相匹配的摄像模式获取所述车辆周边的各指定方向上的多个环境图像，并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像并发送至车载全景拼接处理器的方式包括：
对于每个指定方向的车载前端摄像模组，当局部拼接处理器判断出所述车辆所在环境的环境亮度大于或等于第一预设阈值时，所述车载前端摄像模组中的各摄像头分别采用广角模式和长焦模式获取所述车辆周边的指定方向上的广角图像和长焦图像；
对于每个指定方向的车载前端摄像模组，所述局部拼接处理器将指定方向上的所述广角图像和所述长焦图像合成得到指定方向上的局部拼接图像并发送至所述车载全景拼接处理器。
可选地，对于每个指定方向的车载前端摄像模组，当所述局部拼接处理器判断出所述车辆所在环境的环境亮度小于所述第一预设阈值时，所述车载前端摄像模组中的各摄像头分别采用广角模式和黑白模式获取所述车辆周边的指定方向上的广角图像和黑白图像；
对于每个指定方向的车载前端摄像模组，所述局部拼接处理器将指定方向上的所述广角图像和所述黑白图像合成得到指定方向上的局部拼接图像并发送至所述车载全景拼接处理器。
可选地，所述环境信息包括环境亮度以及车辆周边物体的数量和/或与所述车辆的距离；且
所述车载前端摄像模组采用与所述环境信息相匹配的摄像模式获取所述车辆周边的各指定方向上的多个环境图像，并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像的方式包括：
对于每个指定方向的车载前端摄像模组，当局部拼接处理器判断出所述车辆所在环境的环境亮度小于第二预设阈值，并且所述车辆周边物体的数量大于第三预设阈值和/或所述车辆周边物体与所属车辆的距离分布在预设的不同范围时，所述车载前端摄像模组中的各摄像头分别采用广角模式、黑白模式、长焦模式以及短焦模式结合的方式获取所述车辆周边的指定方向上的环境图像；
对于每个指定方向的车载前端摄像模组，局部拼接处理器将指定方向的所述环境图像拼接得到局部拼接图像并发送至车载全景拼接处理器。
可选地，所述车载前端摄像模组中的各摄像头分别采用广角模式、黑白模式、长焦模式以及短焦模式结合的方式获取所述车辆周边的指定方向上的环境图像，包括：
对于每个指定方向的车载前端摄像模组，采用所述广角模式、所述黑白模式、所述长焦模式以及所述短焦模式分别获取所述车辆周边的指定方向上的广角图像、黑白图像、长焦图像以及短焦图像；
对于每个指定方向的车载前端摄像模组，局部拼接处理器将指定方向的所述环境图像拼接得到局部拼接图像并发送至车载全景拼接处理器包括：
所述局部拼接处理器根据所述长焦图像和所述短焦图像调整景深，将指定方向上的所述广角图像、所述黑白图像、所述长焦图像以及所述短焦图像合成得到指定方向上的3D局部拼接图像并发送至车载全景拼接处理器。
可选地，所述车载前端摄像模组包括分别设置于所述车辆的前后左右方向的车载前端摄像模组和局部拼接处理器；
每一个方向的局部拼接处理器和其所在方向的车载前端摄像模组信号连接，并将该车载前端摄像模组获取的环境图像进行拼接得到局部拼接图像。
根据本发明的另一个方面，还提供了一种获取车辆全景图像的装置，包括：
车载前端摄像模组，包括多个不同摄像模式的摄像头，配置为获取车辆所在环境的环境信息，采用与所述环境信息相匹配的摄像模式的摄像头获取所述车辆周边的各指定方向上的多个环境图像并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像并发送至车载全景拼接处理器；
所述车载全景拼接处理器，配置为将每个指定方向的所述局部拼接图像进行全景拼接得到所述车辆周边环境的全景图像。
可选地，所述环境信息包括环境亮度，所述车载前端摄像模组包括广角摄像头和长焦摄像头；
对于每个指定方向的车载前端摄像模组，配置为：
当局部拼接处理器判断出所述车辆所在环境的环境亮度大于或等于第一预设阈值时，所述车载前端摄像模组中的各摄像头分别采用广角模式和长焦模式获取所述车辆周边的指定方向上的广角图像和长焦图像；
所述局部拼接处理器将指定方向上的所述广角图像和所述长焦图像合成得到指定方向上的局部拼接图像并发送至所述车载全景拼接处理器。
可选地，所述车载前端摄像模组还包括黑白摄像头；
对于每个指定方向的车载前端摄像模组，还配置为：
当所述局部拼接处理器判断出所述车辆所在环境的环境亮度小于所述第一预设阈值时，所述车载前端摄像模组中的各摄像头分别采用广角模式和黑白模式获取所述车辆周边的指定方向上的广角图像和黑白图像；
所述局部拼接处理器将指定方向上的所述广角图像和所述黑白图像合成得到指定方向上的局部拼接图像并发送至所述车载全景拼接处理器。
可选地，所述环境信息包括环境亮度以及车辆周边物体的数量和/或与所述车辆的距离；且
对于每个指定方向的车载前端摄像模组，还配置为：
当局部拼接处理器判断出所述车辆所在环境的环境亮度小于第二预设阈值，并且所述车辆周边物体的数量大于第三预设阈值和/或所述车辆周边物体与所属车辆的距离分布在预设的不同范围时，所述车载前端摄像模组中的各摄像头分别采用广角模式、黑白模式、长焦模式以及短焦模式分别获取所述车辆周边的指定方向上的广角图像、黑白图像、长焦图像以及短焦图像；
所述局部拼接处理器根据所述长焦图像和所述短焦图像调整景深，将指定方向上的所述广角图像、所述黑白图像、所述长焦图像以及所述短焦图像合成得到指定方向上的3D局部拼接图像并发送至所述车载全景拼接处理器。
可选地，所述车载前端摄像模组包括分别设置于所述车辆的前后左右方向的车载前端摄像模组和局部拼接处理器；
每一个方向的局部拼接处理器和其所在方向的车载前端摄像模组信号连接，并将该车载前端摄像模组获取的环境图像进行拼接得到局部拼接图像。
根据本发明的另一个方面，还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行根据上述任一项所述的车辆多媒体图像的获取方法。
在本发明的获取车辆全景图像的方法中，车载前端摄像模组获取车辆所在环境的环境信息，采用与环境信息相匹配的摄像模式获取车辆周边的各指定方向上的多个环境图像，可以得到高质量的环境图像。高质量的环境图像一般可以指清晰度、亮度等画质较高的环境图像。
另外，在一些现有技术中，为了获取车辆周围的全景图像，在车辆周围设置了很多个摄像头，通过各个摄像头获取环境图像并将各个环境图像发送至车载全景拼接处理器进行拼接。现有技术中的全景拼接处理器直接与各个摄像头分别连接形成大量的线束，使各个摄像头与全景拼接处理器之间的安装更加复杂。并且，全景拼接处理器直接对各个摄像头获取的大量的环境图像进行拼接的工作量大，需要占用自身很大的资源，对自身的性能提出了更高的要求。在本发明中，车载前端摄像模组分别将各指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像，全景拼接处理器只需要拼接少量的局部拼接图像即可，降低了对全景拼接处理器的性能的要求，从而可以选择更加便宜的全景拼接处理器，节约了成本。全景拼接处理器也只需要和车载前端摄像模组信号连接，相对于现有技术中与各个摄像头直接连接，减少了线束，使全景拼接处理器和车载前端摄像模组的安装更加简单，提高了效率。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本发明一个实施例的获取车辆全景图像的方法的流程图；
图2是根据本发明一个实施例的获取车辆全景图像的装置的示意性结构图；
图3是根据本发明另一个实施例的获取车辆全景图像的装置的示意性结构图；
图4是根据本发明另一个实施例的车载前端摄像模组包括的摄像头的示意性结构图。
具体实施方式
图1是根据本发明一个实施例的获取车辆全景图像的方法的流程图，参见图1。该获取方法一般性地可以包括以下步骤S102至步骤S106。
步骤S102：车载前端摄像模组获取车辆所在环境的环境信息。在本步骤中，车辆所在环境一般指车辆周围的环境，如停车场、隧道、车库以及车辆的行驶道路等，当然还可以包括其他环境，本发明实施例对此不做具体地限定。
步骤S104：车载前端摄像模组采用与环境信息相匹配的摄像模式获取车辆周边的各指定方向上的多个环境图像并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像并发送至车载全景拼接处理器。在本步骤中，各指定方向一般为车辆前、后、左、右的方向，当然，还可以包括其他方向，本发明实施例对此不做具体地限定。
步骤S106：车载全景拼接处理器将每个指定方向的局部拼接图像进行全景拼接得到车辆周边环境的全景图像。
在本实施例的获取车辆全景图像的方法中，车载前端摄像模组获取车辆所在环境的环境信息，采用与环境信息相匹配的摄像模式获取车辆周边的各指定方向上的多个环境图像，可以得到高质量的环境图像，从而得到高质量的全景图像。高质量的环境图像一般可以指清晰度、亮度等画质较高的环境图像。
另外，在一些现有技术中，为了获取车辆周围的全景图像，在车辆周围设置了很多个摄像头，通过各个摄像头获取环境图像并将各个环境图像发送至车载全景拼接处理器进行拼接。现有技术中的全景拼接处理器直接与各个摄像头分别连接形成大量的线束，使各个摄像头与全景拼接处理器之间的安装更加复杂。并且，全景拼接处理器直接对各个摄像头获取的大量的环境图像进行拼接的工作量大，需要占用自身很大的资源，对自身的性能提出了更高的要求。在本发明中，车载前端摄像模组分别将各指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像，全景拼接处理器只需要拼接少量的局部拼接图像即可，降低了对全景拼接处理器的性能的要求，从而可以选择更加便宜的全景拼接处理器，节约了成本。全景拼接处理器也只需要和车载前端摄像模组信号连接，相对于现有技术中与各个摄像头直接连接，减少了线束，使全景拼接处理器和车载前端摄像模组的安装更加简单，提高了效率。
在本发明一个实施例中，车载前端摄像模组包括分别设置于车辆的前后左右方向的车载前端摄像模组和局部拼接处理器。每一个方向的局部拼接处理器和其所在方向的车载前端摄像模组信号连接，并将该车载前端摄像模组获取的环境图像进行拼接得到局部拼接图像。
在本实施例中，车辆的前后左右各方向均设置有车载前端摄像模组和局部拼接处理器。每个方向的车载前端摄像模组均包括多个不同摄像模式的摄像头。各局部拼接处理器与车载全景拼接处理器信号连接。各局部拼接处理器将拼接后的局部拼接图像发送至车载全景拼接处理器。局部拼接处理器的型号可以根据实际需要进行选择，本发明实施例对此不做具体地限定。局部拼接处理器的成本也远远小于车载全景拼接处理器的成本，因此，增加的局部拼接处理器的成本可以忽略。
在本发明一个实施例中，当环境信息包括环境亮度时，步骤S104可以包括：
对于每个指定方向的车载前端摄像模组，当局部拼接处理器判断出车辆所在环境的环境亮度大于或等于第一预设阈值时，车载前端摄像模组中的各摄像头分别采用广角模式和长焦模式获取车辆周边的指定方向上的广角图像和长焦图像。
对于每个指定方向的车载前端摄像模组，局部拼接处理器将指定方向上的广角图像和长焦图像合成得到指定方向上的局部拼接图像并发送至车载全景拼接处理器。
在本实施例中，当车辆所在环境的环境亮度大于或等于第一预设阈值时，局部拼接处理器可以认定车辆处于一个较为明亮的环境中，如车辆在道路低速行驶或停车时的环境。此时，每个指定方向的车载前端摄像模组可以采用广角模式和长焦模式分别获取车辆周边的较远距离的图像，使用户及时了解较远距离的环境。
在本发明一个实施例中，当环境信息包括环境亮度时，步骤S104还可以包括：
对于每个指定方向的车载前端摄像模组，当局部拼接处理器判断出车辆所在环境的环境亮度小于第一预设阈值时，车载前端摄像模组中的各摄像头分别采用广角模式和黑白模式获取车辆周边的指定方向上的广角图像和黑白图像。
对于每个指定方向的车载前端摄像模组，局部拼接处理器将指定方向上的广角图像和黑白图像合成得到指定方向上的局部拼接图像并发送至车载全景拼接处理器。
在本实施例中，当车辆所在环境的环境亮度小于第一预设阈值时，局部拼接处理器可以认定车辆处于一个较暗的环境中，如隧道、地下车库等。由于光线较暗，每个指定方向的车载前端摄像模组可以采用黑白模式获取黑白图像，并通过黑白图像进行补光，局部拼接处理器将指定方向上的广角图像和黑白图像合成得到指定方向上清晰的局部拼接图像。
在本发明一个实施例中，当环境信息包括环境亮度以及车辆周边物体的数量和/或与车辆的距离时，步骤S104还可包括：
对于每个指定方向的车载前端摄像模组，当局部拼接处理器判断出车辆所在环境的环境亮度小于第二预设阈值，并且车辆周边物体的数量大于第三预设阈值和/或车辆周边物体与所属车辆的距离分布在预设的不同范围时，车载前端摄像模组中的各摄像头分别采用广角模式、黑白模式、长焦模式以及短焦模式结合的方式获取车辆周边的指定方向上的环境图像。
对于每个指定方向的车载前端摄像模组，局部拼接处理器将指定方向的环境图像拼接得到局部拼接图像并发送至车载全景拼接处理器。
具体地，车载前端摄像模组中的各摄像头分别采用广角模式、黑白模式、长焦模式以及短焦模式结合的方式获取车辆周边的指定方向上的环境图像，可包括：
对于每个指定方向的车载前端摄像模组，采用广角模式、黑白模式、长焦模式以及短焦模式分别获取车辆周边的指定方向上的广角图像、黑白图像、长焦图像以及短焦图像。
对于每个指定方向的车载前端摄像模组，局部拼接处理器将指定方向的环境图像拼接得到局部拼接图像并发送至车载全景拼接处理器可包括：
局部拼接处理器根据长焦图像和短焦图像调整景深，将指定方向上的广角图像、黑白图像、长焦图像以及短焦图像合成得到指定方向上的3D局部拼接图像并发送至车载全景拼接处理器。
在本实施例中，车辆周围的物体可以为其他车辆、人等。第二预设阈值、第三预设阈值以及预设的不同范均可以根据实际需要进行配置，本发明实施例对此不做具体地限定。例如，第三预设阈值可以为大于或等于2的任意值，预设的不同范围可以为2米、4米等。假设车辆周边的物体包括物体A和物体B，物体A与所属车辆的距离为1.5米，物体B与所属车辆的距离为3.5米，则确定物体A和物体B分布在预设的不同范围。第二预设阈值和上述的第一预设阈值可以相同，也可以不同。
当车辆所在环境的环境亮度小于第二预设阈值，局部拼接处理器可以认定车辆处于一个较暗的环境中。由于光线较暗，车载前端摄像模组中的摄像头采用黑白模式获取黑白图像，并通过黑白图像补光从而得到指定方向上清晰的局部拼接图像。并且，车辆周边物体的数量大于第三预设阈值和/或车辆周边物体与所属车辆的距离分布在预设的不同范围时，局部拼接处理器可以认定车辆周围的环境比较复杂。车载前端摄像模组中的摄像头通过长焦模式以及短焦模式得到长焦图像以及短焦图像，并由局部拼接处理器进行拼接得到指定方向上的3D的局部拼接图像进而通过3D的全景图像准确的反映车辆周围的环境，以使用户对周围的环境做出较为准确的判断。
参见图2，基于同一构思，本发明还提供了一种获取车辆全景图像的装置200。获取车辆全景图像的装置200可包括车载前端摄像模组201和车载全景拼接处理器202。车载前端摄像模组201可包括多个不同摄像模式的摄像头。车载前端摄像模组201适于获取车辆所在环境的环境信息，采用与环境信息相匹配的摄像模式的摄像头获取车辆周边的各指定方向上的多个环境图像并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像并发送至车载全景拼接处理器202。车载全景拼接处理器202适于将每个指定方向的局部拼接图像进行全景拼接得到车辆周边环境的全景图像。
在本实施例中，车辆所在环境一般指车辆周围的环境，如停车场、隧道、车库以及车辆的行驶道路等，当然还可以包括其他环境，本发明实施例对此不做具体地限定。各指定方向一般为车辆前、后、左、右的方向，当然，还可以包括其他方向，本发明实施例对此不做具体地限定。车载前端摄像模组201采用与环境信息相匹配的摄像模式的摄像头获取车辆周边的各指定方向上的多个环境图像，可以得到高质量的环境图像。
另外，在一些现有技术中，为了获取车辆周围的全景图像，在车辆周围设置了很多个摄像头，通过各个摄像头获取环境图像并将各个环境图像发送至图像车载全景拼接处理器202进行拼接。现有技术中的车载全景拼接处理器202直接与各个摄像头分别连接形成大量的线束，使各个摄像头与车载全景拼接处理器202之间的安装更加复杂。并且，车载全景拼接处理器202直接对各个摄像头获取的大量的环境图像进行拼接的工作量大，需要占用自身很大的资源，对自身的性能提出了更高的要求。在本发明中，车载前端摄像模组201分别将各指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像，车载全景拼接处理器202只需要拼接少量的局部拼接图像即可，降低了对车载全景拼接处理器202的性能的要求，从而可以选择更加便宜的车载全景拼接处理器202，节约了成本。车载全景拼接处理器202也只需要和车载前端摄像模组201信号连接，相对于现有技术中与各个摄像头直接连接，减少了线束，使车载全景拼接处理器202和车载前端摄像模组201的安装更加简单，提高了效率。
参见图2至图4，在本发明一个实施例中，车载前端摄像模组201可包括分别设置于车辆的前后左右方向的车载前端摄像模组2011和局部拼接处理器2012。每一个方向的局部拼接处理器2012和其所在方向的车载前端摄像模组2011信号连接，并将该车载前端摄像模组2011获取的环境图像进行拼接得到局部拼接图像。
在本实施例中，每个方向的车载前端摄像模组2011可以作为车载前端摄像模组201的子车载前端摄像模组，即可以将每个方向的车载前端摄像模组2011定义为车载前端摄像模组201的子车载前端摄像模组2011。每个方向的车载前端摄像模组2011可以包括多个不同摄像模式的摄像头，例如，广角摄像头2013、长焦摄像头2014、黑白摄像头2015和短焦摄像头2016等。
参见图2至图4，在本发明一个实施例中，环境信息包括环境亮度。车载前端摄像模组201可包括广角摄像头2013和长焦摄像头2014。对于每个指定方向的车载前端摄像模组2011，还适于：当局部拼接处理器2012判断出车辆所在环境的环境亮度大于或等于第一预设阈值时，车载前端摄像模组2011中的各摄像头分别采用广角模式和长焦模式获取车辆周边的指定方向上的广角图像和长焦图像。
局部拼接处理器2012将指定方向上的广角图像和长焦图像合成得到指定方向上的局部拼接图像并发送至车载全景拼接处理器202。
在本实施例中，当车辆所在环境的环境亮度大于或等于第一预设阈值时，局部拼接处理器2012可以认定车辆处于一个较为明亮的环境中，如车辆在道路低速行驶或停车时。此时，广角摄像头2013和长焦摄像头2014可以获取较远距离范围的环境图像。局部拼接处理器2012将各指定方向上的广角图像和长焦图像合成可得到各指定方向上的较远范围的局部拼接图像，使用户及时了解较远距离的环境。
继续参见图2至图4，在本发明一个实施例中，车载前端摄像模组201还包括黑白摄像头2015。
对于每个指定方向的车载前端摄像模组2011，还适于：
当局部拼接处理器2012判断出车辆所在环境的环境亮度小于第一预设阈值时，车载前端摄像模组2011中的各摄像头分别采用广角模式和黑白模式获取车辆周边的指定方向上的广角图像和黑白图像。
局部拼接处理器2012将指定方向上的广角图像和黑白图像合成得到指定方向上的局部拼接图像并发送至车载全景拼接处理器202。
在本实施例中，当车辆所在环境的环境亮度小于第一预设阈值时，局部拼接处理器2012可以认定车辆处于一个较暗的环境中，如隧道、地下车库等。由于光线较暗，广角摄像头2013和黑白摄像头2015获取车辆周边的各指定方向上的广角图像和黑白图像，并通过黑白图像进行补光。局部拼接处理器2012将各指定方向上的广角图像和黑白图像合成得到各指定方向上清晰的局部拼接图像。
在本发明一个实施例中，环境信息包括环境亮度以及车辆周边物体的数量和/或与车辆的距离。且车载前端摄像模组201可包括广角摄像头2013、长焦摄像头2014、黑白摄像头2015、以及短焦摄像头2016。
对于每个指定方向的车载前端摄像模组2011，还适于：
当局部拼接处理器2012判断出车辆所在环境的环境亮度小于第二预设阈值，并且车辆周边物体的数量大于第三预设阈值和/或车辆周边物体与所属车辆的距离分布在预设的不同范围时，车载前端摄像模组2011中的各摄像头分别采用广角模式、黑白模式、长焦模式以及短焦模式分别获取车辆周边的指定方向上的广角图像、黑白图像、长焦图像以及短焦图像。
局部拼接处理器2012根据长焦图像和短焦图像调整景深，将指定方向上的广角图像、黑白图像、长焦图像以及短焦图像合成得到指定方向上的3D局部拼接图像并发送至车载全景拼接处理器202。
在本实施例中，车辆周围的物体可以为车辆周围的其他车辆、人等。第二预设阈值、第三预设阈值以及预设的不同范均可以根据实际需要进行配置，本发明实施例对此不做具体地限定。例如，第三预设阈值可以为大于或等于2的任意值，预设的不同范围可以为2米、4米等。假设车辆周边的物体包括物体A和物体B，物体A与所属车辆的距离为1.5米，物体B与所属车辆的距离为3.5米，则确定物体A和物体B分布在预设的不同范围。第二预设阈值和上述的第一预设阈值可以相同，也可以不同。
当车辆所在环境的环境亮度小于第二预设阈值，局部拼接处理器2012可以认定车辆处于一个较暗的环境中。由于光线较暗，黑白摄像头2015获取黑白图像，并通过黑白图像补光从而得到各指定方向上清晰的环境图像。并且，车辆周边物体的数量大于第三预设阈值和/或车辆周边物体与所属车辆的距离分布在预设的不同范围时，局部拼接处理器2012可以认定车辆周围的环境比较复杂。长焦摄像头2014和短焦摄像头2016获取长焦图像以及短焦图像。局部拼接处理器2012可以通过取景深可以得到各指定方向上的3D的局部拼接图像从而比较准确的反映车辆周围的环境，以使用户对周围的环境做出较为准确的判断。
基于同一构思，本发明还提供了一种计算机存储介质。计算机存储介质存储有计算机程序代码，当计算机程序代码在计算设备上运行时，导致计算设备执行上述任一项实施例的获取车辆全景图像的方法。
上述各个实施例可以任意组合，根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：
在本实施例的获取车辆全景图像的方法中，车载前端摄像模组201获取车辆所在环境的环境信息，采用与环境信息相匹配的摄像模式获取车辆周边的各指定方向上的多个环境图像，可以得到高质量的环境图像。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (8)
1.一种获取车辆全景图像的方法，其特征在于，包括：
车载前端摄像模组获取车辆所在环境的环境信息；
所述车载前端摄像模组采用与所述环境信息相匹配的摄像模式获取所述车辆周边的各指定方向上的多个环境图像并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像并发送至车载全景拼接处理器；
所述车载全景拼接处理器将每个指定方向的所述局部拼接图像进行全景拼接得到所述车辆周边环境的全景图像；
其中，所述车载前端摄像模组包括分别设置于所述车辆的前后左右方向的车载前端摄像模组和局部拼接处理器；每个方向的车载前端摄像模组均包括多个不同摄像模式的摄像头；
每一个方向的局部拼接处理器和其所在方向的车载前端摄像模组信号连接，并将该车载前端摄像模组获取的环境图像进行拼接得到局部拼接图像；
并且，所述环境信息包括环境亮度以及车辆周边物体的数量；且
所述车载前端摄像模组采用与所述环境信息相匹配的摄像模式获取所述车辆周边的各指定方向上的多个环境图像，并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像的方式包括：
对于每个指定方向的车载前端摄像模组，当局部拼接处理器判断出所述车辆所在环境的环境亮度小于第二预设阈值，并且所述车辆周边物体的数量大于第三预设阈值时，所述车载前端摄像模组中的各摄像头分别采用广角模式、黑白模式、长焦模式以及短焦模式结合的方式获取所述车辆周边的指定方向上的环境图像；
对于每个指定方向的车载前端摄像模组，所述局部拼接处理器将指定方向的所述环境图像拼接得到局部拼接图像并发送至所述车载全景拼接处理器。
2.根据权利要求1所述的获取车辆全景图像的方法，其特征在于，所述环境信息包括环境亮度；且
所述车载前端摄像模组采用与所述环境信息相匹配的摄像模式获取所述车辆周边的各指定方向上的多个环境图像，并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像并发送至车载全景拼接处理器的方式包括：
对于每个指定方向的车载前端摄像模组，当局部拼接处理器判断出所述车辆所在环境的环境亮度大于或等于第一预设阈值时，所述车载前端摄像模组中的各摄像头分别采用广角模式和长焦模式获取所述车辆周边的指定方向上的广角图像和长焦图像；
对于每个指定方向的车载前端摄像模组，所述局部拼接处理器将指定方向上的所述广角图像和所述长焦图像合成得到指定方向上的局部拼接图像并发送至所述车载全景拼接处理器。
3.根据权利要求2所述的获取车辆全景图像的方法，其特征在于，
对于每个指定方向的车载前端摄像模组，当所述局部拼接处理器判断出所述车辆所在环境的环境亮度小于所述第一预设阈值时，所述车载前端摄像模组中的各摄像头分别采用广角模式和黑白模式获取所述车辆周边的指定方向上的广角图像和黑白图像；
对于每个指定方向的车载前端摄像模组，所述局部拼接处理器将指定方向上的所述广角图像和所述黑白图像合成得到指定方向上的局部拼接图像并发送至所述车载全景拼接处理器。
4.根据权利要求1所述的获取车辆全景图像的方法，其特征在于，
所述车载前端摄像模组中的各摄像头分别采用广角模式、黑白模式、长焦模式以及短焦模式结合的方式获取所述车辆周边的指定方向上的环境图像，包括：
对于每个指定方向的车载前端摄像模组，采用所述广角模式、所述黑白模式、所述长焦模式以及所述短焦模式分别获取所述车辆周边的指定方向上的广角图像、黑白图像、长焦图像以及短焦图像；
对于每个指定方向的车载前端摄像模组，局部拼接处理器将指定方向的所述环境图像拼接得到局部拼接图像并发送至所述车载全景拼接处理器包括：
所述局部拼接处理器根据所述长焦图像和所述短焦图像调整景深，将指定方向上的所述广角图像、所述黑白图像、所述长焦图像以及所述短焦图像合成得到指定方向上的3D局部拼接图像并发送至所述车载全景拼接处理器。
5.一种获取车辆全景图像的装置，其特征在于，包括：
车载前端摄像模组，包括多个不同摄像模式的摄像头，配置为获取车辆所在环境的环境信息，采用与所述环境信息相匹配的摄像模式的摄像头获取所述车辆周边的各指定方向上的多个环境图像并分别将每个指定方向上的多个环境图像进行拼接得到各指定方向的局部拼接图像并发送至车载全景拼接处理器；
所述车载全景拼接处理器，配置为将每个指定方向的所述局部拼接图像进行全景拼接得到所述车辆周边环境的全景图像；
其中，所述车载前端摄像模组包括分别设置于所述车辆的前后左右方向的车载前端摄像模组和局部拼接处理器；每个方向的车载前端摄像模组均包括多个不同摄像模式的摄像头；
每一个方向的局部拼接处理器和其所在方向的车载前端摄像模组信号连接，并将该车载前端摄像模组获取的环境图像进行拼接得到局部拼接图像；
所述环境信息包括环境亮度以及车辆周边物体的数量；且
对于每个指定方向的车载前端摄像模组，还配置为：
当局部拼接处理器判断出所述车辆所在环境的环境亮度小于第二预设阈值，并且所述车辆周边物体的数量大于第三预设阈值时，所述车载前端摄像模组中的各摄像头分别采用广角模式、黑白模式、长焦模式以及短焦模式分别获取所述车辆周边的指定方向上的广角图像、黑白图像、长焦图像以及短焦图像；
所述局部拼接处理器根据所述长焦图像和所述短焦图像调整景深，将指定方向上的所述广角图像、所述黑白图像、所述长焦图像以及所述短焦图像合成得到指定方向上的3D局部拼接图像并发送至所述车载全景拼接处理器。
6.根据权利要求5所述的获取车辆全景图像的装置，其特征在于，所述环境信息包括环境亮度，所述车载前端摄像模组包括广角摄像头和长焦摄像头；
对于每个指定方向的车载前端摄像模组，配置为：
当局部拼接处理器判断出所述车辆所在环境的环境亮度大于或等于第一预设阈值时，所述车载前端摄像模组中的各摄像头分别采用广角模式和长焦模式获取所述车辆周边的指定方向上的广角图像和长焦图像；
所述局部拼接处理器将指定方向上的所述广角图像和所述长焦图像合成得到指定方向上的局部拼接图像并发送至所述车载全景拼接处理器。
7.根据权利要求6所述的获取车辆全景图像的装置，其特征在于，所述车载前端摄像模组还包括黑白摄像头；
对于每个指定方向的车载前端摄像模组，还配置为：
当所述局部拼接处理器判断出所述车辆所在环境的环境亮度小于所述第一预设阈值时，所述车载前端摄像模组中的各摄像头分别采用广角模式和黑白模式获取所述车辆周边的指定方向上的广角图像和黑白图像；
所述局部拼接处理器将指定方向上的所述广角图像和所述黑白图像合成得到指定方向上的局部拼接图像并发送至所述车载全景拼接处理器。
8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行根据权利要求1-4中任一项所述的获取车辆全景图像的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011306999.4A CN112422830B (zh) | 2020-11-19 | 2020-11-19 | 获取车辆全景图像的方法及装置和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011306999.4A CN112422830B (zh) | 2020-11-19 | 2020-11-19 | 获取车辆全景图像的方法及装置和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112422830A CN112422830A (zh) | 2021-02-26 |
| CN112422830B true CN112422830B (zh) | 2022-04-19 |
Family
ID=74774669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011306999.4A Active CN112422830B (zh) | 2020-11-19 | 2020-11-19 | 获取车辆全景图像的方法及装置和计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112422830B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115214457A (zh) * | 2022-04-24 | 2022-10-21 | 广州汽车集团股份有限公司 | 车辆灯光控制方法、车辆灯光控制装置、车辆及存储介质 |
| CN114785960B (zh) * | 2022-06-16 | 2022-09-02 | 鹰驾科技（深圳）有限公司 | 一种基于无线传输技术的360度全景行车记录仪系统 |
| CN115134496B (zh) * | 2022-06-24 | 2023-07-14 | 重庆长安汽车股份有限公司 | 一种智能驾驶控制方法、系统、车辆、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103863192A (zh) * | 2014-04-03 | 2014-06-18 | 深圳市德赛微电子技术有限公司 | 一种车载全景成像辅助方法及其系统 |
| CN105128743A (zh) * | 2015-09-07 | 2015-12-09 | 深圳市灵动飞扬科技有限公司 | 车辆全景显示方法及系统 |
| CN108621948A (zh) * | 2018-06-26 | 2018-10-09 | 杭州车厘子智能科技有限公司 | 车辆全景环视系统及全景环视图像生成方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176347B (zh) * | 2011-12-22 | 2016-07-27 | 百度在线网络技术（北京）有限公司 | 全景图拍摄方法及拍摄装置和电子设备 |
| US9076269B2 (en) * | 2012-01-31 | 2015-07-07 | Sony Corporation | Method and electronic device for creating a combined image |
| CN105007414B (zh) * | 2015-06-30 | 2017-11-24 | 广东欧珀移动通信有限公司 | 一种基于环境因素启动广角摄像头的方法及终端 |
| KR102446442B1 (ko) * | 2015-11-24 | 2022-09-23 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 동작 방법 |
| CN108629732B (zh) * | 2017-03-15 | 2021-05-14 | 比亚迪股份有限公司 | 车辆环视全景图像生成方法、装置和车辆 |
| CN109274939A (zh) * | 2018-09-29 | 2019-01-25 | 成都臻识科技发展有限公司 | 一种基于三摄像头模组的停车场出入口监控方法及系统 |
| CN109166078A (zh) * | 2018-10-22 | 2019-01-08 | 广州微牌智能科技有限公司 | 环视图拼接方法、装置、环视系统、设备和存储介质 |
-
2020
- 2020-11-19 CN CN202011306999.4A patent/CN112422830B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103863192A (zh) * | 2014-04-03 | 2014-06-18 | 深圳市德赛微电子技术有限公司 | 一种车载全景成像辅助方法及其系统 |
| CN105128743A (zh) * | 2015-09-07 | 2015-12-09 | 深圳市灵动飞扬科技有限公司 | 车辆全景显示方法及系统 |
| CN108621948A (zh) * | 2018-06-26 | 2018-10-09 | 杭州车厘子智能科技有限公司 | 车辆全景环视系统及全景环视图像生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112422830A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112422830B (zh) | 获取车辆全景图像的方法及装置和计算机存储介质 | |
| CN110381255B (zh) | 应用360全景环视技术的车载视频监控系统及方法 | |
| US8553081B2 (en) | Apparatus and method for displaying an image of vehicle surroundings | |
| CN109492566B (zh) | 车道位置信息获取方法、装置及存储介质 | |
| CN102714712A (zh) | 图像处理设备、图像处理系统和图像处理方法 | |
| WO2020117285A9 (en) | A multicamera system for autonamous driving vehicles | |
| CN113192182A (zh) | 一种基于多传感器的实景重建方法及系统 | |
| CN113492829B (zh) | 数据处理的方法和装置 | |
| CN107871346B (zh) | 行车记录仪 | |
| CN112215747A (zh) | 无车底盲区的车载全景图的生成方法、装置及存储介质 | |
| WO2018134897A1 (ja) | 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法 | |
| CN110717945B (zh) | 一种视觉标定方法、车机及汽车 | |
| CN210223049U (zh) | 一种全景一体化车型识别器 | |
| JP2019001325A (ja) | 車載用撮像装置 | |
| CN108534747B (zh) | 车载摄像头视野比例计算方法、系统及计算机可读载体 | |
| CN214959899U (zh) | 一种适用于大型车辆的车载全景拼接系统 | |
| CN211062091U (zh) | 一种具有夜视功能的行车记录仪 | |
| JP2020010123A (ja) | 車載撮影装置、撮影システム及び撮影方法 | |
| CN111754390A (zh) | 环视图显示方法、装置、计算机设备和存储介质 | |
| CN105451000A (zh) | 一种基于单目后视摄像头的车载全景环视系统及方法 | |
| CN205854037U (zh) | 一种嵌有摄像装置的挡风玻璃 | |
| CN115426440B (zh) | 车辆环视系统的实现方法、装置、设备及计算机存储介质 | |
| CN218839318U (zh) | 一种装载机360度全景多界面可视系统 | |
| CN214475170U (zh) | 图像处理设备及车辆 | |
| US20210263315A1 (en) | Wifi enabled head up display (hud) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220318 Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province Applicant after: Yikatong (Hubei) Technology Co.,Ltd. Address before: No.c101, chuanggu start up area, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic Development Zone, Hubei Province Applicant before: HUBEI ECARX TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |