CN113674138A - 图像处理方法、装置及系统 - Google Patents
图像处理方法、装置及系统 Download PDFInfo
- Publication number
- CN113674138A CN113674138A CN202010407408.6A CN202010407408A CN113674138A CN 113674138 A CN113674138 A CN 113674138A CN 202010407408 A CN202010407408 A CN 202010407408A CN 113674138 A CN113674138 A CN 113674138A
- Authority
- CN
- China
- Prior art keywords
- image
- fisheye
- vehicle
- unfolded
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 127
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims description 94
- 238000013507 mapping Methods 0.000 claims description 45
- 238000010586 diagram Methods 0.000 claims description 38
- 241000226585 Antennaria plantaginifolia Species 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 abstract description 19
- 230000002349 favourable effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 15
- 238000012544 monitoring process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种图像处理方法、装置及系统，该方法包括：获取鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像，所述鱼眼图像为设置在车辆上的鱼眼摄像装置拍摄得到的图像；根据所述第一展开图像获取第二展开图像，其中，所述第二展开图像为所述第一展开图像的部分；对所述第二展开图像进行视野开阔处理，生成局部特写图像；显示所述局部特写图像。本发明实施例提供的图像处理方法、装置及系统，能实现在视野范围较大的情况下向用户展示畸变较小且较为清晰的局部特写图像，有利于用户通过局部特写图像对车辆周身环境的观察和把控。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及系统。
背景技术
随着图像和计算机视觉技术的快速发展，越来越多的图像和计算机视觉技术被应用到车辆的驾驶系统中。
车辆的驾驶系统中包括多个设置于车身不同位置的鱼眼摄像头，通过各鱼眼摄像头采集到的视频图像，可以提供全景图像和局部图像来展示给驾驶员，以便驾驶员及时获取车身周围的环境信息。其中，局部图像为一个鱼眼摄像头采集到的视频图像，而全景图像为车身周围环境的图像。当驾驶员需要查看某一特定位置的图像时，现有的方案首先判断该特定位置是否位于某一个鱼眼摄像头的拍摄画面中畸变较小的范围内，若是，则直接调取对应的鱼眼摄像头的监控画面进行观看，否则，在全景图像中提取与该特定位置相适配的局部图像进行放大后展示给驾驶员进行观看，同时，驾驶员也可以根据各鱼眼摄像头的标识，选取任意一个鱼眼摄像头的监控画面进行观看。
现有方案对特定位置的高清图像直接显示，对于鱼眼图像，畸变较大，视觉效果差，而直接在全景图上提取局部图像并进行放大的方式，会降低图像的清晰度。
发明内容
本发明实施例提供一种图像处理方法、装置及系统，以解决现有技术对特定位置的高清图像直接显示，对于鱼眼图像，畸变较大，视觉效果差，而在全景图上提取局部图像放大显示会降低图像清晰度的问题。
第一方面，本发明实施例提供一种图像处理方法，包括：
获取鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像，所述鱼眼图像为设置在车辆上的鱼眼摄像装置拍摄得到的图像；
根据所述第一展开图像获取第二展开图像，其中，所述第二展开图像为所述第一展开图像的部分；
对所述第二展开图像进行视野开阔处理，生成局部特写图像，所述视野开阔处理为增加桶形畸变处理或枕形畸变校正处理；
显示所述局部特写图像。
在一种可能的实现方式中，所述获取鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像，包括：
获取所述鱼眼图像上的像素点与所述第一展开图像上的像素点的第一映射关系；
根据所述鱼眼图像和所述第一映射关系，生成所述第一展开图像。
在一种可能的实现方式中，所述获取所述鱼眼图像上的像素点与所述第一展开图像上的像素点的第一映射关系，包括：
根据所述鱼眼图像上的预设区域的中心像素点和所述鱼眼摄像装置的焦点，确定所述鱼眼图像在世界坐标系下的虚拟姿态；
确定所述鱼眼摄像装置在所述世界坐标系下的姿态；
根据所述虚拟姿态和所述鱼眼摄像装置在所述世界坐标系下的姿态，获取所述鱼眼图像的PTZ展开图欧拉角；
根据所述PTZ展开图欧拉角和所述鱼眼图像的半径，获取所述第一映射关系。
在一种可能的实现方式中，所述根据所述第一展开图像获取第二展开图像，包括：
根据所述鱼眼图像上的预设区域、所述第一展开图像以及所述第一映射关系，获取所述第二展开图像。
在一种可能的实现方式中，当所述视野开阔处理为所述枕形畸变校正处理时，所述对所述第二展开图像进行视野开阔处理，生成局部特写图像，包括：
根据畸变系数、以及所述第二展开图像上的任意像素点与中心像素点之间的距离，获取所述第二展开图像上的像素点与所述局部特征图像上的像素点的第二映射关系；
根据所述第二展开图像和所述第二映射关系，生成所述局部特写图像。
在一种可能的实现方式中，所述车辆上设置有多个鱼眼摄像装置；所述显示所述局部特写图像，包括：
根据用户输入的触控指令触控的鱼眼摄像装置标识，确定选中的鱼眼摄像装置，并显示所述选中的鱼眼摄像装置对应的局部特写图像；或者，
根据车辆的运行信息，确定选中的鱼眼摄像装置，并显示所述选中的鱼眼摄像装置对应的局部特写图像。
在一种可能的实现方式中，所述车辆的运行信息包括所述车辆的行驶速度和方向盘转角；根据车辆的运行信息，确定选中的鱼眼摄像装置，并显示所述选中的鱼眼摄像装置对应的局部特写图像，包括：
在所述车辆的行驶速度小于或等于预设速度时，根据所述车辆的方向盘转角，在所述多个鱼眼摄像装置中确定所述选中的鱼眼摄像装置；
显示所述选中的鱼眼摄像装置对应的局部特写图像。
在一种可能的实现方式中，所述多个鱼眼摄像装置包括设置于所述车辆左方的鱼眼摄像装置、设置于所述车辆右方的鱼眼摄像装置、设置于所述车辆前方的鱼眼摄像装置和设置于所述车辆后方的鱼眼摄像装置；根据所述车辆的方向盘转角，在所述多个鱼眼摄像装置中确定所述选中的鱼眼摄像装置，包括：
在所述方向盘转角大于或等于预设角度时，将设置于所述车辆左方的鱼眼摄像装置或设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
在所述方向盘转角小于预设角度时，将设置于所述车辆前方的鱼眼摄像装置或设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置。
在一种可能的实现方式中，在所述方向盘转角大于或等于预设角度时，所述将设置于所述车辆左方的鱼眼摄像装置或设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置，包括：
若所述方向盘向左转，则将设置于所述车辆左方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
否则，将设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
在所述方向盘转角小于预设角度时，所述将设置于所述车辆前方的鱼眼摄像装置或设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置，包括：
若所述车辆为倒车行驶状态，则将设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
否则，将设置于所述车辆前方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置。
第二方面，本发明实施例提供一种图像处理装置，包括：
获取模块，用于获取鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像，所述鱼眼图像为设置在车辆上的鱼眼摄像装置拍摄得到的图像；
第一处理模块，用于根据所述第一展开图像获取第二展开图像，其中，所述第二展开图像为所述第一展开图像的部分；
第二处理模块，对所述第二展开图像进行视野开阔处理，生成局部特写图像，所述视野开阔处理为增加桶形畸变处理或枕形畸变校正处理；
显示模块，用于显示所述局部特写图像。
在一种可能的实现方式中，所述获取模块具体用于：
获取所述鱼眼图像上的像素点与所述第一展开图像上的像素点的第一映射关系；
根据所述鱼眼图像和所述第一映射关系，生成所述第一展开图像。
在一种可能的实现方式中，所述获取模块具体用于：
根据所述鱼眼图像上的预设区域的中心像素点和所述鱼眼摄像装置的焦点，确定所述鱼眼图像在世界坐标系下的虚拟姿态；
确定所述鱼眼摄像装置在所述世界坐标系下的姿态；
根据所述虚拟姿态和所述鱼眼摄像装置在所述世界坐标系下的姿态，获取所述鱼眼图像的PTZ展开图欧拉角；
根据所述PTZ展开图欧拉角和所述鱼眼图像的半径，获取所述第一映射关系。
在一种可能的实现方式中，所述第一处理模块具体用于：
根据所述鱼眼图像上的预设区域、所述第一展开图像以及所述第一映射关系，获取所述第二展开图像。
在一种可能的实现方式中，当所述视野开阔处理为所述枕形畸变校正处理时，所述第二处理模块具体用于：
根据畸变系数、以及所述第二展开图像上的任意像素点与中心像素点之间的距离，获取所述第二展开图像上的像素点与所述局部特征图像上的像素点的第二映射关系；
根据所述第二展开图像和所述第二映射关系，生成所述局部特写图像。
在一种可能的实现方式中，所述车辆上设置有多个鱼眼摄像装置；所述显示模块具体用于：
根据用户输入的触控指令触控的鱼眼摄像装置标识，确定选中的鱼眼摄像装置，并显示所述选中的鱼眼摄像装置对应的局部特写图像；或者，
根据车辆的运行信息，确定选中的鱼眼摄像装置，并显示所述选中的鱼眼摄像装置对应的局部特写图像。
在一种可能的实现方式中，所述车辆的运行信息包括所述车辆的行驶速度和方向盘转角；所述显示模块具体用于：
在所述车辆的行驶速度小于或等于预设速度时，根据所述车辆的方向盘转角，在所述多个鱼眼摄像装置中确定所述选中的鱼眼摄像装置；
显示所述选中的鱼眼摄像装置对应的局部特写图像。
在一种可能的实现方式中，所述多个鱼眼摄像装置包括设置于所述车辆左方的鱼眼摄像装置、设置于所述车辆右方的鱼眼摄像装置、设置于所述车辆前方的鱼眼摄像装置和设置于所述车辆后方的鱼眼摄像装置；所述显示模块具体用于：
在所述方向盘转角大于或等于预设角度时，将设置于所述车辆左方的鱼眼摄像装置或设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
在所述方向盘转角小于预设角度时，将设置于所述车辆前方的鱼眼摄像装置或设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置。
在一种可能的实现方式中，在所述方向盘转角大于或等于预设角度时，所述显示模块具体用于：
若所述方向盘向左转，则将设置于所述车辆左方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
否则，将设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
在所述方向盘转角小于预设角度时，所述显示模块具体用于：
若所述车辆为倒车行驶状态，则将设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
否则，将设置于所述车辆前方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置。
第三方面，本发明实施例提供一种图像处理系统，包括：鱼眼摄像头、处理器和显示器，其中：
所述鱼眼摄像头用于采集鱼眼图像，并向所述处理器发送所述鱼眼图像；
所述处理器用于：
获取所述鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像；
根据所述第一展开图像获取第二展开图像，其中，所述第二展开图像为所述第一展开图像的部分；
对所述第二展开图像进行视野开阔处理，生成局部特写图像，所述视野开阔处理为增加桶形畸变处理或枕形畸变校正处理；
所述显示器用于显示所述局部特写图像。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的图像处理方法。
本发明实施例提供的图像处理方法、装置及系统，针对目前直接采用鱼眼图像作为特写图进行显示导致图像畸变较大的问题，首先获取鱼眼图像，并对该鱼眼图像进行展开处理，生成第一展开图像，该鱼眼图像为设置在车辆上的鱼眼摄像装置拍摄得到的图像。然后，根据该第一展开图像获取第二展开图像，得到的第二展开图像为第一展开图像的部分。最后，对第二展开图像进行视野开阔处理，生成并显示局部特写图像，视野开阔处理可以为增加桶形畸变处理或者枕形畸变校正处理。本发明实施例提供的方案，在得到第二展开图像后，为减小图像视野范围变小的问题，进一步对第二展开图像进行视野开阔处理，扩大其视野范围，从而使得得到的局部特写图像的畸变较小的同时，视野范围保持较大的水平，且无需对图像进行放大显示，能够保持较好的图像清晰度，有利于用户通过局部特写图像对车辆周身环境的观察和把控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理方法的应用场景示意图；
图2为本发明实施例提供的图像处理方法的流程示意图；
图3为本发明实施例提供的车载环视系统的结构示意图；
图4为本发明实施例提供的一种视频采集单元的示意图；
图5为本发明实施例提供的鱼眼图像展开处理的流程示意图；
图6为本发明实施例提供的鱼眼图像示意图；
图7为本发明实施例提供的世界坐标系与相机坐标系示意图；
图8为本发明实施例提供的鱼眼图像与实际展开图像的变换关系示意图；
图9a为本发明实施例提供的正常物体示意图；
图9b为本发明实施例提供的枕形畸变示意图；
图9c为本发明实施例提供的桶形畸变示意图；
图10为本发明实施例提供的手动选择鱼眼摄像装置的示意图；
图11为本发明实施例提供的自动选择鱼眼摄像装置的示意图；
图12为本发明实施例提供的局部特写图自动选择的流程示意图；
图13为本发明实施例提供的图像处理装置的结构示意图；
图14为本发明实施例提供的图像处理系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先对本申请中涉及到的术语进行解释，以便更好的理解本申请的方案。
桶形畸变：远离光轴区域的放大率比光轴附近的低，在像平面内出现图中所示的外凸情景，称为桶形畸变。鱼眼镜头为典型的桶形畸变镜头。增加桶形畸变可以增大视场。
枕形畸变：又称鞍形畸变，由镜头引起的画面向中间“收缩”的现象，去除枕形畸变，相对原图就是增加桶形畸变。
pitch：相机安装俯仰角；
yaw：相机安装偏航角；
roll：相机安装滚转角；
俯仰角、偏航角和滚转角原是用于描述飞机或导弹在空间飞行的姿态的，在本申请中，用于描述相机的姿态。当世界坐标系绕Zw轴旋转roll，绕Yw轴旋转yaw，绕Xw轴旋转pitch后，最终可以得到相机坐标系(Xc，Yc，Zc)。
图1为本发明实施例提供的图像处理方法的应用场景示意图，如图1所示，包括鱼眼摄像装置11、服务器12和显示器13，其中，鱼眼摄像装置11和服务器12之间通过有线或无线网络连接，服务器12和显示器13之间也通过有线或无线网络连接。
鱼眼摄像装置11可以安装于需要对周围环境进行监控的装置上，例如，在车辆上，为了获悉车辆周围的交通状况，可将鱼眼摄像装置11安装于车辆的不同部位。鱼眼摄像装置11可以为一个或多个，鱼眼摄像装置11通常包括至少一个鱼眼镜头，鱼眼镜头是一种超广角镜头，具有较宽的视场角，能够捕捉到较大范围内的事物，但同时也会产生较大的桶形畸变。
不同于普通摄像装置，鱼眼摄像装置11的视场角较大，所以相比于普通摄像装置，只需要安装有限数量的鱼眼摄像装置即可满足要求。例如，对于一辆车，可分别在车辆的前、后、左、右四个方向各安装一个鱼眼摄像装置11即可获取到车辆周围360度的画面，这是普通摄像装置很难做到的。鱼眼摄像装置11采集到的鱼眼图像后，将其发送给服务器12，同时服务器12对鱼眼图像进行处理，得到该鱼眼图像对应的局部特写图像，并将局部特写图像发送给显示器13进行显示。
在显示器13上，既可以显示局部特写图像，也可以显示鱼眼摄像装置11采集到的鱼眼图像，同时当鱼眼摄像装置11有多个时，显示器13也可显示多个鱼眼摄像装置11采集到的多个鱼眼图像拼接而成的全景图像，展示给用户，便于用户对各个方向的景物有全局的把控。
下面以具体的实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例提供的图像处理方法的流程示意图，如图2所示，包括：
S21，获取鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像，所述鱼眼图像为设置在车辆上的鱼眼摄像装置拍摄得到的图像。
鱼眼图像为鱼眼摄像装置拍摄得到的图像，例如可以通过设置的鱼眼摄像头来进行拍摄，得到鱼眼图像。鱼眼摄像头属于超广角镜头的一种，其镜头的焦距较短，视场角较大。
由于鱼眼摄像头拍摄的视场角较大，因此鱼眼摄像头拍摄的视角范围较大，例如可以达到180度。但同时，鱼眼摄像头的视场角较大是通过缩短鱼眼摄像头的焦距来实现的，焦距越短，因光学原理产生的畸变也越强。鱼眼摄像头拍摄的鱼眼图像的畸变为桶形畸变。
为了在保证视角范围较大的情形下，减小显示图像的畸变，本发明实施例中，首先对鱼眼图像进行展开处理，生成第一展开图像，其中，展开处理的方式包括但不限于经度展开处理、纬度展开处理、经纬展开处理、180度展开处理或PTZ展开处理，等等。例如，经纬展开处理是按照鱼眼图像的球面贴图的方式将图像以球面形式展开，180度展开处理是将鱼眼图像看做一个标准圆形，然后通过对鱼眼图像边缘弧形区域的拟合来对图像进行展开等等。本发明实施例对鱼眼图像的展开处理的具体方式不作限定。
S22，根据所述第一展开图像获取第二展开图像，其中，所述第二展开图像为所述第一展开图像的部分。
通常，用户感兴趣的观察区域只是鱼眼图像中的某一部分，因此，可以在得到第一展开图像后，会根据第一展开图像生成第二展开图像，第二展开图像是第一展开图像的一部分，然后对第二展开图像进行后续的处理，第二展开图像对应于鱼眼图像中的预设区域。
S23，对所述第二展开图像进行视野开阔处理，生成局部特写图像，所述视野开阔处理为增加桶形畸变处理或枕形畸变校正处理。
当对鱼眼图像进行展开处理得到第一展开图像，并根据第一展开图像得到第二展开图像后，第二展开图像的畸变较小，但是同时视野范围也较小，导致部分信息丢失。因此，在得到第二展开图像后，还会对第二展开图像进行视野开阔处理，来增加第二展开图像的视野范围。
本发明实施例中，视野开阔处理可以为增加桶形畸变处理，也可以为枕形畸变校正处理。对第二展开图像进行增加桶形畸变处理，会使得第二展开图像的边缘区域压缩率增大，对第二展开图像进行枕形畸变校正处理，会使得第二展开图像的边缘区域小的压缩率变大，两种处理是等效的，均可以达到视野开阔的效果。
通过对第二展开图像进行视野开阔处理，得到的局部特写图像的视野范围有相应的增大，且得到的局部特写图像对应于原鱼眼图像的一部分，有利于用户进行观察。通过上述处理中，对鱼眼图像的展开处理，避免了直接将鱼眼图像作为特写图导致的图像畸变过大的问题，同时通过对第二展开图像的视野开阔处理，也避免了将第二展开图像作为特写图导致的视野范围过小的问题。
S24，显示所述局部特写图像。
在生成局部特写图像后，可设置显示器显示局部特写图像。若车辆上仅安装了一个鱼眼摄像装置，则可以在显示器上显示该鱼眼摄像装置拍摄的鱼眼图像进行处理后得到的局部特写图像。若车辆上安装了多个鱼眼摄像装置，则可以根据用户的指令或者车辆的行驶状态等来确定显示哪个鱼眼摄像装置拍摄的鱼眼图像进行处理后得到的局部特写图像。
本发明实施例提供的图像处理方法，针对目前直接采用鱼眼图像作为特写图进行显示导致图像畸变较大的问题，首先获取鱼眼图像，并对该鱼眼图像进行展开处理，生成第一展开图像，该鱼眼图像为设置在车辆上的鱼眼摄像装置拍摄得到的图像。然后，根据该第一展开图像获取第二展开图像，得到的第二展开图像为第一展开图像的部分。最后，对第二展开图像进行视野开阔处理，生成并显示局部特写图像，视野开阔处理可以为增加桶形畸变处理或者枕形畸变校正处理。本发明实施例提供的方案，在得到第二展开图像后，为减小图像视野范围变小的问题，进一步对第二展开图像进行视野开阔处理，扩大其视野范围，从而使得得到的局部特写图像的畸变较小的同时，视野范围保持较大的水平，且无需对图像进行放大显示，能够保持较好的图像清晰度，有利于用户通过局部特写图像对车辆周身环境的观察和把控。
下面结合图3，并采用具体的实施例，对本申请的方案进行详细说明。
图3为本发明实施例提供的车载环视系统的结构示意图，如图3所示，包括视频采集单元31、数据传输单元32、数据处理单元33和视频显示单元34。
视频采集单元31包括多个安装于车身的鱼眼摄像头，每个鱼眼摄像头的监控范围各不相同，同时每个鱼眼摄像头的视场角也可根据实际需要进行调整。图4为本发明实施例提供的一种视频采集单元的示意图，如图4所示，包括位于车身前方的第一鱼眼摄像头41、位于车身后方的第二鱼眼摄像头42、位于车身左方的第三鱼眼摄像头43和位于车身右方的第四鱼眼摄像头44，每个摄像头都有其对应的监控范围。在图4中，各个鱼眼摄像头的视场角可以调至180左右，从而对车身进行环视。可以理解的是，图4中鱼眼摄像头的个数和设置位置仅仅是一种举例，并不构成对鱼眼摄像头的数量和设置位置的限制，用户可以根据实际需要添加或减少鱼眼摄像头的数量，也可调整鱼眼摄像头的位置。
本发明实施例中的鱼眼图像可以是视频采集单元31中的任意一个鱼眼摄像头采集得到的图像，视频采集单元31可以将采集到的鱼眼图像发送到数据传输单元32，数据传输单元32可以直接将鱼眼图像发送到视频显示单元34进行显示，也可以先将鱼眼图像发送到数据处理单元33进行处理后再进行显示。其中，数据处理单元33对鱼眼图像的处理可以包括两种，一种是对多个鱼眼摄像头采集到的鱼眼图像画面进行拼接，得到全景图像，并通过数据传输单元32将全景图像发送至视频显示单元34进行显示。另一种是对其中的一幅鱼眼图像进行处理，得到对应的局部特写图像，并通过数据传输单元32将局部特写图像发送至视频显示单元34进行显示。
需要说明的是，鱼眼摄像头采集的可以是监控视频，监控视频可以直接发送至视频显示单元34进行显示，也可以将监控视频转换为一帧一帧的鱼眼图像，并依次发送至视频显示单元34进行显示。当每一帧鱼眼图像之间相隔的时间较小时，在视频显示单元34上展示出的是动态的视频效果。对于局部特写图像，是将监控视频转为一帧一帧的鱼眼图像，并对鱼眼图像进行处理得到的，在视频显示单元34上依次显示每一帧局部特写图像时，呈现出动态的视频效果。
视频显示单元34具体可以为一个或多个显示器，在显示器上，用户可以选择单独显示全景图像、鱼眼图像或局部特写图像其中的一幅图像，或三幅图像中的任意两幅图像，或三幅图像。
当车辆上安装有多个鱼眼摄像头时，每个鱼眼摄像头均会采集对应的鱼眼图像，然后由数据处理单元33对每个鱼眼图像进行处理，得到对应的局部特写图像。每个鱼眼图像在进行处理后得到对应的局部特写图像。
针对每个鱼眼图像，数据处理单元33均可以进行上述处理，从而得到多个局部特写图像。然后，用户可以根据需要，选择其中的一幅或多幅局部特写图像进行显示。
下面将具体介绍鱼眼图像的处理过程。首先结合图5对鱼眼图像的展开处理进行说明。
图5为本发明实施例提供的鱼眼图像展开处理的流程示意图，如图5所示，包括：
S51，获取所述鱼眼图像上的像素点与所述第一展开图像上的像素点的第一映射关系；
S52，根据所述鱼眼图像和所述第一映射关系，生成所述第一展开图像。
通过鱼眼摄像装置采集到的鱼眼图像，除了画面中心的景物保持不变，其他区域的景物都会发生相应的变化。而在一些场景中，既要求摄像装置能够观察到较大的范围，又要求采集到的图像便于观察。例如在车辆行驶中，驾驶员希望能够观察到车辆各个部位的景物，具有超大广角的鱼眼镜头能够满足要求，但是由于鱼眼镜头拍摄的画面桶形畸变过大，会使得边缘区域的很多景物的相对位置发生变化，这是不利于驾驶员进行安全行驶的。
因此，在接收到鱼眼图像后，会对鱼眼图像进行展开处理，生成第一展开图像。具体的，可以通过某一种鱼眼展开的方式，获取鱼眼图像上的像素点与第一展开图像上的像素点的第一映射关系，然后基于鱼眼图像和第一映射关系，即可得到第一展开图像。鱼眼展开处理的方式例如可以为经度展开处理、纬度展开处理、经纬展开处理、180度展开处理或PTZ展开处理，等等。
下面以PTZ展开处理为例对鱼眼图像的展开处理进行详细说明。
在图2示例的实施例中，描述了得到第一展开图像后，需要根据第一展开图像获取第二展开图像，且第二展开图像为第一展开图像的部分，后续的视野开阔处理是针对第二展开图像进行的，而第二展开图像对应于原鱼眼图像的预设区域。在获取第一映射关系时，首先需要根据鱼眼图像上的预设区域的中心像素点和鱼眼摄像装置的焦点，确定鱼眼图像在世界坐标系下的虚拟姿态，以及确定鱼眼摄像装置在世界坐标系下的姿态。
世界坐标系相当于一个参考坐标系，当世界坐标系以及鱼眼摄像装置确定后，鱼眼摄像装置在世界坐标系下的姿态是确定的。通过获取鱼眼图像在世界坐标系下的虚拟姿态和鱼眼摄像装置在世界坐标系下的姿态，能够获知虚拟相机在实际相机坐标系下的姿态。
下面结合图6对本发明实施例中鱼眼图像的虚拟姿态的获取进行说明。
图6为本发明实施例提供的鱼眼图像示意图，如图6所示，鱼眼摄像头拍摄得到的图像为以O点为圆心的图像，点O’为该鱼眼摄像头的焦点。O点为该鱼眼图像的中心点，该鱼眼图像的姿态与点O和点O’的连线相关。
预设区域为鱼眼图像中的某个区域，若预设区域的中心也为鱼眼图像的中心O点，则此时鱼眼图像在世界坐标系下的虚拟姿态与鱼眼摄像装置在世界坐标系下的姿态相同。若若预设区域的中心不是鱼眼图像的中心O点，则此时鱼眼图像在世界坐标系下的虚拟姿态与鱼眼摄像装置在世界坐标系下的姿态不同。
以图6中为例，将该鱼眼图像划分为四个区域，分别是区域61、区域62、区域63和区域64。在区域61中，点A为区域61的中心点，若区域61为预设区域，则此时鱼眼图像在世界坐标系下的虚拟姿态与点A和O’的连线决定。
在一些实施例中，鱼眼图像的预设区域可能是规则的形状，也可能是不规则的形状，因此针对鱼眼图像上的预设区域，可以预先指定该预设区域的中心点，从而可以根据预设区域的中心点确定鱼眼图像在世界坐标系下的虚拟姿态。本发明实施例中的中心点并不严格表示图形的几何中心点等特定含义。
可以理解的是，在对鱼眼图像进行划分时，可以将其划分为数量不同区域的子鱼眼图像。由于不同的区域的形状不一定完全规则，每个区域的子鱼眼图像并不一定存在几何中心点，因此此时的子鱼眼图像的中心点可以预先指定，只要几乎处于子鱼眼图像的区域中心即可，对中心点的取定并不严格限制。中心点的确定只是为了得到鱼眼图像的虚拟姿态。
在一些实施例中，也可以预先将鱼眼图像划分为多个预设区域，每个预设区域都会对应于一幅局部特写图像，然后由用户进行触控点击，选择其中的一幅或多幅进行显示。在另一些实施例中，每幅鱼眼图像中也可以仅包括一个预设区域，通过该预设区域可对鱼眼图像进行展开，生成第一展开图像，并进而生成第二展开图像，最后得到局部特写图像进行显示。
相机姿态(pitch，yaw，roll)为相机在世界坐标系下的姿态。图7为本发明实施例提供的世界坐标系与相机坐标系示意图，如图7所示，世界坐标系绕Zw轴旋转roll，绕Yw轴旋转yaw，绕Xw旋转pitch最终转到相机坐标系(Xc,Yc,Zc)。
在得到鱼眼图像在世界坐标系下的虚拟姿态(pitch1,yaw1,roll1)，和鱼眼摄像装置在世界坐标系下的姿态(pitch0,yaw0,roll0)后，根据虚拟姿态和鱼眼摄像装置在世界坐标系下的姿态，可以获取PTZ展开图欧拉角。然后，根据PTZ展开图欧拉角和鱼眼图像的半径，获取第一映射关系。
其中PTZ展开图欧拉角满足：
(Δpitch，Δyaw，Δroll)为虚拟相机在实际相机(即鱼眼摄像装置)坐标系下的姿态。
利用PTZ展开图欧拉角可得到旋转矩阵R，实现虚拟相机展开图到实际相机展开图变换：
其中，(x,y)为虚拟相机图像平面上的像素点，即第一展开图像上的像素点，(X,Y)为实际相机展开图上的像素点，R为根据PTZ展开图欧拉角得到的旋转矩阵。
图8为本发明实施例提供的鱼眼图像与实际展开图像的变换关系示意图，如图8所示，地面圆O为鱼眼图平面，半球O为假设鱼眼镜头，Plane为实际相机展开图平面。对于Plane平面上任意点P与球心O的连线与球O交点Q在鱼眼图像平面的投影为P'。实际相机展开图与鱼眼图像上的像素点对应关系为P与P'的对应关系。
利用ΔQOP'～ΔPOO1相似，OP'//PO1，计算P'坐标。
假设球O半径为r，那么：
OQ＝r (4)
P'坐标为：
结合式(2)(6)，得到鱼眼图像上的像素点与第一展开图像上的像素点的第一映射关系：
其中，P’(X',Y',1)为鱼眼图像上的任意像素点，p(x,y,1)为第一展开图像上与P’点对应的像素点，R为根据PTZ展开图欧拉角得到的欧拉矩阵，r为鱼眼图像的半径，
其他展开方式与此类似，此处不再赘述。
在对鱼眼图像进行鱼眼展开处理，生成第一展开图像后，可根据鱼眼图像上的预设区域、第一展开图像以及第一映射关系，获取第二展开图像，然后对对第二展开图像进行视野开阔处理，生成局部特写图像。
本发明实施例中，视野开阔处理可以为增加桶形畸变处理，也可以为枕形畸变校正处理。首先结合附图对图像的两种畸变方式进行介绍。
图9a为本发明实施例提供的正常物体示意图，图9b为本发明实施例提供的枕形畸变示意图，图9c为本发明实施例提供的桶形畸变示意图，其中图9b和图9c中拍摄的是针对图9a中的物体产生畸变后得到的图像，如图9b所示，枕形畸变是由镜头引起的画面向中间“收缩”的现象，大小一致的正方形网格，经过枕形畸变得到的网格图像，中间网格小，边缘网格大，说明边缘部分的压缩率小于中间区域，因此枕形畸变图像的视野小于原图。如图9c所示，桶形畸变是由镜头中透镜物理性能以及镜片组结构引起的成像画面呈桶形膨胀状的失真现象，鱼眼镜头即为一种典型的桶形畸变。经过桶形畸变得到的网格图像，中间网格大，边缘网格小，说明边缘部分压缩率大于中间区域，桶形图像视野大于原图。
为增大展开图像视野，需要对第二展开图像进行视野开阔处理，例如可以是增加桶形畸变处理或者枕形畸变校正处理，两种处理方式是等效的，实际中选择其中一种处理方式即可。当视野开阔处理为枕形畸变校正处理时，可以通过如下方式对第二展开图像进行视野开阔处理，生成局部特写图像：
根据畸变系数、以及第二展开图像上的任意像素点与中心像素点之间的距离，获取第二展开图像上的像素点与局部特写图像上的像素点的第二映射关系，该方案采用的是“畸变程度与像素点到主点距离成比例”的原理。
具体的，假设枕形畸变校正后的局部特写图像的分辨率为w*h，其中心像素点为
针对局部特写图像上的任意像素点(u,v)，对应枕形畸变校正前的第二展开图像上的像素点(u',v')，且像素点(u,v)与像素点(u',v')之间的第二映射关系为：
(u',v')为第二展开图像中的任意像素点，(u,v)为局部特写图像上与像素点(u',v')对应的像素点，w*h为局部特写图像的分辨率，du＝u-w/2，dv＝v-h/2，k0≥0，k1≥0，k0和k1均为畸变系数，k0为横向畸变系数，k1为纵向畸变系数。
在得到第二映射关系后，根据第二展开图像和第二映射关系，即可生成对应的局部特写图像。在上述实施例中，通过对鱼眼图像的展开处理，避免了鱼眼图像直接显示时畸变较大的问题，通过视野开阔处理也避免了直接显示第二展开图像导致视野范围较小的问题，能够在保证视野范围较大的前提下显示较为清晰和畸变较小的图像，便于用户观察。
在车载环视系统中，一个鱼眼摄像头很难对车辆的四周进行环视监控，因此通常在车身上会放置多个鱼眼摄像头，用户可以根据实际需要来选择显示哪一个鱼眼摄像头对应的鱼眼图像的画面，其中，用户的选择包括手动选择和自动选择两种。
例如，可以根据用户输入的触控指令来显示某个待显示图像，也可以根据车辆的运行信息，显示某个待显示图像。
当通过用户输入的触控指令显示某个待显示图像时，可根据触控指令选中的鱼眼摄像装置标识，在多个鱼眼摄像装置拍摄得到的图像中确定该鱼眼图像，并显示该鱼眼图像对应的局部特写图像。
具体的，用户可以自主选择要观看的鱼眼摄像头的监控画面。对于每一个鱼眼摄像头，都有对应的标识，首先显示多个鱼眼摄像装置的标识，用户通过多个鱼眼摄像装置的标识选择其中一个鱼眼摄像装置作为选中的鱼眼摄像装置，并根据选中操作，显示选中的鱼眼摄像装置对应的鱼眼图像或者对应的局部特写图像。图10为本发明实施例提供的手动选择鱼眼摄像装置的示意图，如图10所示，包括显示屏101和位于显示屏101上的鱼眼摄像装置标识102，其中图10中包括四个鱼眼摄像装置，对应的四个鱼眼摄像装置标识分别为第一标识、第二标识、第三标识和第四标识。其中，第一标识对应第一鱼眼摄像头，第二标识对应第二鱼眼摄像头，第三标识对应第三鱼眼摄像头，第四标识对应第四鱼眼摄像头。若用户希望看其中一个鱼眼摄像头采集的图像，可以进行选中操作。例如，若显示屏能感应指令，可直接点击鱼眼摄像装置对应的区域进行选中，也可在设置相应的按钮来进行选中，具体方式此处不作特别限定。
在确定了选中的鱼眼摄像装置后，即可显示对应的局部特写图像。例如在图10中，若用户点击第一标识，则第一鱼眼摄像头为选中的鱼眼摄像装置，显示器上可显示第一鱼眼摄像头拍摄的鱼眼图像进行处理后得到的局部特写图像。
上述方式为用户进行手动方式确定选中的鱼眼摄像装置的步骤，除手动方式外，还可通过自动方式获取，下面对自动获取方式进行说明。
自动获取方式需要提前在车载环视系统或处理器中设置怎样的情况进行怎样对应的选中操作。本发明实施例中，对于鱼眼图像的自动选取，是由车辆的运行信息决定的，车辆的运行信息包括车辆的行驶速度和和方向盘转角。
图11为本发明实施例提供的自动选择鱼眼摄像装置的示意图，如图11所示，一种可能的实现方式是，可以根据车辆的运行信息确定选中的鱼眼摄像装置，并显示选中的鱼眼摄像装置对应的局部特写图像。例如，处理器通过车身CAN网络报文信息，实时获取车辆的方向盘转角和车速信息，并根据车辆的方向盘转角和车速信息来自动选择对应的视图。
具体的，车辆的运行信息可以包括车辆的行驶速度和方向盘转角。在车辆的行驶速度小于或等于预设速度时，根据车辆的方向盘转角，可以在多个鱼眼摄像装置中确定选中的鱼眼摄像装置，然后显示选中的鱼眼摄像装置对应的局部特写图像。
在车辆上，多个鱼眼摄像装置包括设置于车辆左方的鱼眼摄像装置、设置于车辆右方的鱼眼摄像装置、设置于车辆前方的鱼眼摄像装置和设置于车辆后方的鱼眼摄像装置。
当车辆的行驶速度大于预设速度时，不显示任何局部特写图像。当车辆的行驶速度小于或等于预设速度时，可根据车辆的方向盘转角在多个鱼眼摄像装置中确定选中的鱼眼摄像装置，然后显示选中的鱼眼摄像装置对应的局部特写图像。
具体的，在方向盘转角大于或等于预设角度时，将设置于车辆左方的鱼眼摄像装置或设置于车辆右方的鱼眼摄像装置确定为选中的鱼眼摄像装置。
例如，若方向盘向左转，则将设置于车辆左方的鱼眼摄像装置确定为选中的鱼眼摄像装置；
否则，将设置于车辆右方的鱼眼摄像装置确定为确定为选中的鱼眼摄像装置。
在方向盘转角小于预设角度时，将设置于车辆前方的鱼眼摄像装置或设置于车辆后方的鱼眼摄像装置确定为确定为选中的鱼眼摄像装置。
例如，若车辆为倒车行驶状态，则将设置于车辆后方的鱼眼摄像装置确定为确定为选中的鱼眼摄像装置；
否则，将设置于车辆前方的鱼眼摄像装置确定为确定为选中的鱼眼摄像装置。
然后，显示选中的鱼眼摄像装置拍摄的鱼眼图像进行处理后得到的局部特写图像。
图12为本发明实施例提供的局部特写图自动选择的流程示意图，如图12所示，包括：
S1201，获取方向盘转角和车速信息。
车辆的方向盘转角和车速信息均为车辆的运行信息，其中方向盘转角包括方向盘转角的方向(例如左转还是右转)以及方向盘转角的角度(例如10度、15度等等)。车速信息包括车辆行驶速度大小(例如40km/h、60km/h等等)，还包括车辆行驶方向，此处的车辆行驶方向只需要获知车辆是顺车行驶还是倒车行驶即可。
S1202，判断车速是否高于15km/h，若是，执行S1203，若否，执行S1204。
S1203，关闭显示器，不显示图像。
当车辆行驶速度高于一定值，例如15km/h时，不显示任何局部特写图像。
S1204，判断车辆的方向盘转角是否超过15度，若超过，执行S1205，若未超过，执行S1208。
当车辆的行驶速度低于15km/h时，需要根据方向盘转角进一步选中鱼眼摄像装置。
S1205，判断方向盘是否向左转，若是，执行S1206，若否，执行S1207。
S1206，显示左关键视图。
在车速低于15km/h时，方向盘向左转角超过15度时，选择安装于车辆左边的鱼眼摄像装置为选中的鱼眼摄像装置，并显示对应的局部特写图像。
S1207，显示右关键视图。
在车辆车速低于15km/h时，方向盘向右转角超过15度时，选择安装于车辆右边的鱼眼摄像装置为选中的鱼眼摄像装置，并显示对应的局部特写图像。
S1208，判断车辆是否为倒车行驶，若是，执行S1209，若否，执行S1210。
S1209，显示后关键视图。
在车辆后向行驶且车速低于15km/h时，方向盘左右转角在15度以内时，选择安装于车辆后方的鱼眼摄像装置为选中的鱼眼摄像装置，并显示对应的局部特写图像。
S1210，显示前关键视图。
在车辆前向行驶且车速低于15km/h时，方向盘左右转角在15度以内时，选择安装于车辆前方的鱼眼摄像装置为选中的鱼眼摄像装置，并显示对应的局部特写图像。
其中，上述实施例中的15km/h和15度仅仅为一种可能的取值，实际的取值不仅限于此，且根据运行信息确定选中的鱼眼摄像装置的方式不仅限于上述举例中的两种。
本发明实施例提供的图像处理方法，针对目前直接采用鱼眼图像作为特写图进行显示导致图像畸变较大的问题，首先获取鱼眼图像，并对该鱼眼图像进行展开处理，生成第一展开图像，该鱼眼图像为设置在车辆上的鱼眼摄像装置拍摄得到的图像。然后，根据该第一展开图像获取第二展开图像，得到的第二展开图像为第一展开图像的部分。最后，对第二展开图像进行视野开阔处理，生成并显示局部特写图像。本发明实施例提供的方案，在得到第二展开图像后，为减小图像视野范围变小的问题，进一步对第二展开图像进行视野开阔处理，扩大其视野范围，从而使得得到的局部特写图像的畸变较小的同时，视野范围保持较大的水平，有利于用户通过局部特写图像对车辆周身环境的观察和把控。同时，可以通过车辆的实际行驶状态或者用户的指令，触发不同鱼眼摄像装置对应的局部特写图的显示，可以在行驶过程中更好的实现与用户的交互，提升用户体验。
图13为本发明实施例提供的图像处理装置的结构示意图，如图13所示，包括接收模块131、第一处理模块132、第二处理模块133和显示模块134，其中：
获取模块131用于获取鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像，所述鱼眼图像为设置在车辆上的鱼眼摄像装置拍摄得到的图像；
第一处理模块132用于根据所述第一展开图像获取第二展开图像，其中，所述第二展开图像为所述第一展开图像的部分；
第二处理模块133对所述第二展开图像进行视野开阔处理，生成局部特写图像，所述视野开阔处理为增加桶形畸变处理或枕形畸变校正处理；
显示模块134用于显示所述局部特写图像。
在一种可能的实现方式中，所述获取模块131具体用于：
获取所述鱼眼图像上的像素点与所述第一展开图像上的像素点的第一映射关系；
根据所述鱼眼图像和所述第一映射关系，生成所述第一展开图像。
在一种可能的实现方式中，所述获取模块131具体用于：
根据所述鱼眼图像上的预设区域的中心像素点和所述鱼眼摄像装置的焦点，确定所述鱼眼图像在所述世界坐标系下的虚拟姿态；
确定所述鱼眼摄像装置在所述世界坐标系下的姿态；
根据所述虚拟姿态和所述鱼眼摄像装置在所述世界坐标系下的姿态，获取所述鱼眼图像的PTZ展开图欧拉角；
根据所述PTZ展开图欧拉角和所述鱼眼图像的半径，获取所述第一映射关系。
在一种可能的实现方式中，所述第一处理模块132具体用于：
根据所述鱼眼图像上的预设区域、所述第一展开图像以及所述第一映射关系，获取所述第二展开图像。
在一种可能的实现方式中，当所述视野开阔处理为所述枕形畸变校正处理时，所述第二处理模块133具体用于：
根据畸变系数、以及所述第二展开图像上的任意像素点与中心像素点之间的距离，获取所述第二展开图像上的像素点与所述局部特征图像上的像素点的第二映射关系；
根据所述第二展开图像和所述第二映射关系，生成所述局部特写图像。
在一种可能的实现方式中，所述车辆上设置有多个鱼眼摄像装置；所述显示模块134具体用于：
根据用户输入的触控指令触控的鱼眼摄像装置标识，确定选中的鱼眼摄像装置，并显示所述选中的鱼眼摄像装置对应的局部特写图像；或者，
根据车辆的运行信息，确定选中的鱼眼摄像装置，并显示所述选中的鱼眼摄像装置对应的局部特写图像。
在一种可能的实现方式中，所述车辆的运行信息包括所述车辆的行驶速度和方向盘转角；所述显示模块134具体用于：
在所述车辆的行驶速度小于或等于预设速度时，根据所述车辆的方向盘转角，在所述多个鱼眼摄像装置中确定所述选中的鱼眼摄像装置；
显示所述选中的鱼眼摄像装置对应的局部特写图像。
在一种可能的实现方式中，所述多个鱼眼摄像装置包括设置于所述车辆左方的鱼眼摄像装置、设置于所述车辆右方的鱼眼摄像装置、设置于所述车辆前方的鱼眼摄像装置和设置于所述车辆后方的鱼眼摄像装置；所述显示模块134具体用于：
在所述方向盘转角大于或等于预设角度时，将设置于所述车辆左方的鱼眼摄像装置或设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
在所述方向盘转角小于预设角度时，将设置于所述车辆前方的鱼眼摄像装置或设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置。
在一种可能的实现方式中，在所述方向盘转角大于或等于预设角度时，所述显示模块134具体用于：
若所述方向盘向左转，则将设置于所述车辆左方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
否则，将设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
在所述方向盘转角小于预设角度时，所述显示模块134具体用于：
若所述车辆为倒车行驶状态，则将设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
否则，将设置于所述车辆前方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置。
本发明实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图14为本发明实施例提供的图像处理系统的结构示意图，如图14所示，包括鱼眼摄像头141、处理器142和显示器143，其中：
鱼眼摄像头141用于采集鱼眼图像，并向所述处理器142发送所述鱼眼图像；
处理器142用于：
获取所述鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像；
根据所述第一展开图像获取第二展开图像，其中，所述第二展开图像为所述第一展开图像的部分；
对所述第二展开图像进行视野开阔处理，生成局部特写图像，所述视野开阔处理为增加桶形畸变处理或枕形畸变校正处理；
显示器143用于显示所述局部特写图像。
在一种可能的实现方式中，所述处理器142具体用于：
获取所述鱼眼图像上的像素点与所述第一展开图像上的像素点的第一映射关系；
根据所述鱼眼图像和所述第一映射关系，生成所述第一展开图像。
在一种可能的实现方式中，所述处理器142具体用于：
根据所述鱼眼图像上的预设区域的中心像素点和所述鱼眼摄像装置的焦点，确定所述鱼眼图像在所述世界坐标系下的虚拟姿态；
确定所述鱼眼摄像装置在所述世界坐标系下的姿态；
根据所述虚拟姿态和所述鱼眼摄像装置在所述世界坐标系下的姿态，获取所述鱼眼图像的PTZ展开图欧拉角；
根据所述PTZ展开图欧拉角和所述鱼眼图像的半径，获取所述第一映射关系。
在一种可能的实现方式中，所述处理器142具体用于：
根据所述鱼眼图像上的预设区域、所述第一展开图像以及所述第一映射关系，获取所述第二展开图像。
在一种可能的实现方式中，当所述视野开阔处理为所述枕形畸变校正处理时，所述处理器142具体用于：
根据畸变系数、以及所述第二展开图像上的任意像素点与中心像素点之间的距离，获取所述第二展开图像上的像素点与所述局部特征图像上的像素点的第二映射关系；
根据所述第二展开图像和所述第二映射关系，生成所述局部特写图像。
在一种可能的实现方式中，所述车辆上设置有多个鱼眼摄像装置；所述处理器142具体用于：
根据用户输入的触控指令触控的鱼眼摄像装置标识，确定选中的鱼眼摄像装置；或者，
根据车辆的运行信息，确定选中的鱼眼摄像装置；
所述显示器143具体用于显示所述选中的鱼眼摄像装置对应的局部特写图像。
在一种可能的实现方式中，所述车辆的运行信息包括所述车辆的行驶速度和方向盘转角；所述处理器142具体用于：
在所述车辆的行驶速度小于或等于预设速度时，根据所述车辆的方向盘转角，在所述多个鱼眼摄像装置中确定所述选中的鱼眼摄像装置。
在一种可能的实现方式中，所述多个鱼眼摄像装置包括设置于所述车辆左方的鱼眼摄像装置、设置于所述车辆右方的鱼眼摄像装置、设置于所述车辆前方的鱼眼摄像装置和设置于所述车辆后方的鱼眼摄像装置；所述处理器142具体用于：
在所述方向盘转角大于或等于预设角度时，将设置于所述车辆左方的鱼眼摄像装置或设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
在所述方向盘转角小于预设角度时，将设置于所述车辆前方的鱼眼摄像装置或设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置。
在一种可能的实现方式中，在所述方向盘转角大于或等于预设角度时，所述处理器142具体用于：
若所述方向盘向左转，则将设置于所述车辆左方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
否则，将设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
在所述方向盘转角小于预设角度时，所述处理器142具体用于：
若所述车辆为倒车行驶状态，则将设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
否则，将设置于所述车辆前方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置。
在上述图14所示的实施例中，应理解，处理器142可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的图像处理方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
获取鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像，所述鱼眼图像为设置在车辆上的鱼眼摄像装置拍摄得到的图像；
根据所述第一展开图像获取第二展开图像，其中，所述第二展开图像为所述第一展开图像的部分；
对所述第二展开图像进行视野开阔处理，生成局部特写图像，所述视野开阔处理为增加桶形畸变处理或枕形畸变校正处理；
显示所述局部特写图像。
2.根据权利要求1所述的方法，其特征在于，所述获取鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像，包括：
获取所述鱼眼图像上的像素点与所述第一展开图像上的像素点的第一映射关系；
根据所述鱼眼图像和所述第一映射关系，生成所述第一展开图像。
3.根据权利要求2所述的方法，其特征在于，所述获取所述鱼眼图像上的像素点与所述第一展开图像上的像素点的第一映射关系，包括：
根据所述鱼眼图像上的预设区域的中心像素点和所述鱼眼摄像装置的焦点，确定所述鱼眼图像在世界坐标系下的虚拟姿态；
确定所述鱼眼摄像装置在所述世界坐标系下的姿态；
根据所述虚拟姿态和所述鱼眼摄像装置在所述世界坐标系下的姿态，获取所述鱼眼图像的PTZ展开图欧拉角；
根据所述PTZ展开图欧拉角和所述鱼眼图像的半径，获取所述第一映射关系。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一展开图像获取第二展开图像，包括：
根据所述鱼眼图像上的预设区域、所述第一展开图像以及所述第一映射关系，获取所述第二展开图像。
5.根据权利要求2所述的方法，其特征在于，当所述视野开阔处理为所述枕形畸变校正处理时，所述对所述第二展开图像进行视野开阔处理，生成局部特写图像，包括：
根据畸变系数、以及所述第二展开图像上的任意像素点与中心像素点之间的距离，获取所述第二展开图像上的像素点与所述局部特写图像上的像素点的第二映射关系；
根据所述第二展开图像和所述第二映射关系，生成所述局部特写图像。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述车辆上设置有多个鱼眼摄像装置；所述显示所述局部特写图像，包括：
根据用户输入的触控指令触控的鱼眼摄像装置标识，确定选中的鱼眼摄像装置，并显示所述选中的鱼眼摄像装置对应的局部特写图像；或者，
根据车辆的运行信息，确定选中的鱼眼摄像装置，并显示所述选中的鱼眼摄像装置对应的局部特写图像。
7.根据权利要求6所述的方法，其特征在于，所述车辆的运行信息包括所述车辆的行驶速度和方向盘转角；根据车辆的运行信息，确定选中的鱼眼摄像装置，并显示所述选中的鱼眼摄像装置对应的局部特写图像，包括：
在所述车辆的行驶速度小于或等于预设速度时，根据所述车辆的方向盘转角，在所述多个鱼眼摄像装置中确定所述选中的鱼眼摄像装置；
显示所述选中的鱼眼摄像装置对应的局部特写图像。
8.根据权利要求7所述的方法，其特征在于，所述多个鱼眼摄像装置包括设置于所述车辆左方的鱼眼摄像装置、设置于所述车辆右方的鱼眼摄像装置、设置于所述车辆前方的鱼眼摄像装置和设置于所述车辆后方的鱼眼摄像装置；根据所述车辆的方向盘转角，在所述多个鱼眼摄像装置中确定所述选中的鱼眼摄像装置，包括：
在所述方向盘转角大于或等于预设角度时，将设置于所述车辆左方的鱼眼摄像装置或设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
在所述方向盘转角小于预设角度时，将设置于所述车辆前方的鱼眼摄像装置或设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置。
9.根据权利要求8所述的方法，其特征在于，在所述方向盘转角大于或等于预设角度时，所述将设置于所述车辆左方的鱼眼摄像装置或设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置，包括：
若所述方向盘向左转，则将设置于所述车辆左方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
否则，将设置于所述车辆右方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
在所述方向盘转角小于预设角度时，所述将设置于所述车辆前方的鱼眼摄像装置或设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置，包括：
若所述车辆为倒车行驶状态，则将设置于所述车辆后方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置；
否则，将设置于所述车辆前方的鱼眼摄像装置确定为所述选中的鱼眼摄像装置。
10.一种图像处理装置，其特征在于，包括：
获取模块，用于获取鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像，所述鱼眼图像为设置在车辆上的鱼眼摄像装置拍摄得到的图像；
第一处理模块，用于根据所述第一展开图像获取第二展开图像，其中，所述第二展开图像为所述第一展开图像的部分；
第二处理模块，对所述第二展开图像进行视野开阔处理，生成局部特写图像，所述视野开阔处理为增加桶形畸变处理或枕形畸变校正处理；
显示模块，用于显示所述局部特写图像。
11.一种图像处理系统，其特征在于，包括：鱼眼摄像头、处理器和显示器，其中：
所述鱼眼摄像头用于采集鱼眼图像，并向所述处理器发送所述鱼眼图像；
所述处理器用于：
获取所述鱼眼图像，并对所述鱼眼图像进行展开处理，生成第一展开图像；
根据所述第一展开图像获取第二展开图像，其中，所述第二展开图像为所述第一展开图像的部分；
对所述第二展开图像进行视野开阔处理，生成局部特写图像，所述视野开阔处理为增加桶形畸变处理或枕形畸变校正处理；
所述显示器用于显示所述局部特写图像。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至9任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010407408.6A CN113674138B (zh) | 2020-05-14 | 2020-05-14 | 图像处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010407408.6A CN113674138B (zh) | 2020-05-14 | 2020-05-14 | 图像处理方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113674138A true CN113674138A (zh) | 2021-11-19 |
| CN113674138B CN113674138B (zh) | 2023-09-01 |
Family
ID=78537250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010407408.6A Active CN113674138B (zh) | 2020-05-14 | 2020-05-14 | 图像处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674138B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115134533A (zh) * | 2022-08-30 | 2022-09-30 | 宁波均联智行科技股份有限公司 | 自动调用车载图像采集装置的拍摄方法及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120081678A1 (en) * | 2010-09-30 | 2012-04-05 | Sanyo Electric Co., Ltd. | Projection display apparatus and image adjustment method |
| CN102774380A (zh) * | 2011-05-12 | 2012-11-14 | 无锡维森智能传感技术有限公司 | 一种判断车辆行驶状态的方法 |
| CN102780871A (zh) * | 2011-05-11 | 2012-11-14 | 张茂军 | 一种用于模拟视频监视器的全景展开系统及全景展开方法 |
| CN104243776A (zh) * | 2013-06-18 | 2014-12-24 | 华硕电脑股份有限公司 | 影像处理方法 |
| CN105335927A (zh) * | 2015-11-23 | 2016-02-17 | 上海汽车集团股份有限公司 | 鱼眼图像处理方法、装置及车辆 |
| CN105516661A (zh) * | 2015-12-10 | 2016-04-20 | 吴健辉 | 鱼眼相机与ptz相机相结合的主从目标监控系统及方法 |
| CN107993276A (zh) * | 2016-10-25 | 2018-05-04 | 杭州海康威视数字技术股份有限公司 | 一种全景图像的生成方法及装置 |
-
2020
- 2020-05-14 CN CN202010407408.6A patent/CN113674138B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120081678A1 (en) * | 2010-09-30 | 2012-04-05 | Sanyo Electric Co., Ltd. | Projection display apparatus and image adjustment method |
| CN102780871A (zh) * | 2011-05-11 | 2012-11-14 | 张茂军 | 一种用于模拟视频监视器的全景展开系统及全景展开方法 |
| CN102774380A (zh) * | 2011-05-12 | 2012-11-14 | 无锡维森智能传感技术有限公司 | 一种判断车辆行驶状态的方法 |
| CN104243776A (zh) * | 2013-06-18 | 2014-12-24 | 华硕电脑股份有限公司 | 影像处理方法 |
| CN105335927A (zh) * | 2015-11-23 | 2016-02-17 | 上海汽车集团股份有限公司 | 鱼眼图像处理方法、装置及车辆 |
| CN105516661A (zh) * | 2015-12-10 | 2016-04-20 | 吴健辉 | 鱼眼相机与ptz相机相结合的主从目标监控系统及方法 |
| CN107993276A (zh) * | 2016-10-25 | 2018-05-04 | 杭州海康威视数字技术股份有限公司 | 一种全景图像的生成方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 贺云飞: "基于DSP的全景视觉辅助驾驶系统的研究", 中国优秀硕士学位论文全文数据库信息科技辑, pages 15 - 16 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115134533A (zh) * | 2022-08-30 | 2022-09-30 | 宁波均联智行科技股份有限公司 | 自动调用车载图像采集装置的拍摄方法及设备 |
| CN115134533B (zh) * | 2022-08-30 | 2022-11-18 | 宁波均联智行科技股份有限公司 | 自动调用车载图像采集装置的拍摄方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674138B (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11659282B2 (en) | Image processing system and image processing method | |
| WO2021227359A1 (zh) | 一种无人机投影方法、装置、设备及存储介质 | |
| US10434877B2 (en) | Driver-assistance method and a driver-assistance apparatus | |
| US9858639B2 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
| JP5739584B2 (ja) | 車両周辺視角化のための３次元映像合成装置およびその方法 | |
| CN101689292B (zh) | Banana多媒体数字信号编解码器 | |
| US8736680B1 (en) | Method and system for split-screen video display | |
| US9094540B2 (en) | Displacing image on imager in multi-lens cameras | |
| WO2017020150A1 (zh) | 一种图像处理方法、装置及摄像机 | |
| JP7000050B2 (ja) | 撮像制御装置及びその制御方法 | |
| CN106296589B (zh) | 全景图像的处理方法及装置 | |
| WO2020207108A1 (zh) | 图像处理方法、装置和系统，以及机器人 | |
| CN113518996A (zh) | 从多视图视觉数据进行损坏检测 | |
| KR101916419B1 (ko) | 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법 | |
| US20090059018A1 (en) | Navigation assisted mosaic photography | |
| CN113674138B (zh) | 图像处理方法、装置及系统 | |
| WO2022017528A1 (zh) | 车载avm的显示方法、系统、电子设备及存储介质 | |
| KR102235951B1 (ko) | 차량용 영상 생성 장치 및 방법 | |
| KR20190026507A (ko) | 차량용 영상 생성 장치 및 방법 | |
| Popovic et al. | Design and implementation of real-time multi-sensor vision systems | |
| JP3446277B2 (ja) | 車両用周囲状況表示装置 | |
| JPWO2007108081A1 (ja) | 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 | |
| JP6893322B2 (ja) | 画像生成システム、画像表示システム、画像生成方法、画像生成プログラム、及び移動体 | |
| CN114022562A (zh) | 一种保持行人完整性的全景视频拼接方法和装置 | |
| CN111541850A (zh) | 一种全景电子云台矫正方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |