CN113261274A - 一种图像处理方法及相关终端装置 - Google Patents

一种图像处理方法及相关终端装置 Download PDF

Info

Publication number
CN113261274A
CN113261274A CN202180001570.0A CN202180001570A CN113261274A CN 113261274 A CN113261274 A CN 113261274A CN 202180001570 A CN202180001570 A CN 202180001570A CN 113261274 A CN113261274 A CN 113261274A
Authority
CN
China
Prior art keywords
cameras
camera
image
vehicle
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180001570.0A
Other languages
English (en)
Other versions
CN113261274B (zh
Inventor
王笑悦
张峻豪
黄为
徐文康
陈晓丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN113261274A publication Critical patent/CN113261274A/zh
Application granted granted Critical
Publication of CN113261274B publication Critical patent/CN113261274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法及相关终端装置，其中，一种图像处理方法，可包括：确定目标终端上的M个摄像头的位姿改变量，M为大于1的整数；根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。实施本申请实施例，可以精准拼接出终端周边的环境图像，保证终端的行车安全。

Description

一种图像处理方法及相关终端装置
技术领域
本申请涉及终端技术领域，尤其涉及一种图像处理方法及相关终端装置。
背景技术
随着电子技术、计算机技术、传感器技术和新材料等的发展，终端在移动时的安全和体验越来越被大家所重视。与其他众多传感器相比，摄像机系统可以通过视觉信息，为用户提供提供更直观和准确的终端在移动过程中的周边环境信息，并可以通过视角的变换将原来的图像变为鸟瞰图，看到终端周边的环境信息。例如：在智能车辆领域，全景环视系统在汽车周围安装具有较大视场的广角摄像头，在同一时刻可以采集车辆周围360度的环境图片，通过投影视角变换，拼接得到车身周围360度无死角的周边环境图像(如：俯视图、侧视图、全景图等)，并显示在屏幕上，让驾驶员可以清楚观察车辆周围是否存在障碍物及其距离和方向，辅助驾驶员安全驾驶，消除驾驶盲区，提高驾驶安全性和驾驶乐趣。在未来驾驶场景下，通过环视系统的俯视图像还可以进行障碍物检测，可以防止发生碰撞危险。
现阶段基于环视标定的方法，可以实现360度环视图像拼接，但是在实际终端行驶途中，因为终端上负载的载重改变、路面情况、转弯离心力等原因，图像不能很好的进行拼接，会导致拼接完成的周边环境图像出现图像错位、断裂、大幅度鬼影等现象，导致图像不易辨识，降低行驶体验的同时也可能造成行驶安全隐患。
因此如何避免拼接图像时出现图像错位、断裂、大幅度鬼影等现象，精准拼接出终端周边的环境图像，是亟待解决的问题。
发明内容
本申请实施例提供一种图像处理方法及相关终端装置，可以精准拼接出终端周边的环境图像，保证终端的行驶安全。
本申请提供的图像处理方法可以由电子装置等执行。电子装置是指能够被抽象为计算机系统，其中，支持图像处理功能的电子装置，也可称为图像处理装置。图像处理装置可以是该电子装置的整机，也可以是该电子装置中的部分器件，例如：图像处理功能相关的芯片，如系统芯片或图像芯片。其中，系统芯片也称为片上系统，或称为SoC芯片。具体地，图像处理装置可以是诸如智能车辆中车载电脑、车机等这样的终端装置，也可以是能够被设置在智能终端的计算机系统或环视系统中的系统芯片或图像处理芯片。
第一方面，本申请实施例提供了一种图像处理方法，可包括：
确定目标终端上的M个摄像头的位姿改变量，M为大于1的整数；根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。
现有技术中，在拼接终端周边的环境图像时，若终端在移动时处于转弯或路面不平的情况下，此时会导致终端视觉系统中摄像头对应的相机外参相对于终端所处的坐标系有所改变，进而导致环境图像的拼接处会产生明显的差异。因此，针对在终端上变负载、动态路线下行驶转弯、路面不平颠簸、在路肩上停车等情况下，终端上视觉系统拼接鸟瞰图和其他视角图像时出现图像错位、断裂、鬼影等现象。本申请实施例，在终端移动过程中，通过确定所述目标终端上摄像头的位姿改变量，重新更新摄像头的相机参数；根据该更新后的相机参数拼接获取终端周边的环境图像，其中，该终端周边的环境图像对应的视角超过预设视角阈值。这种依据目标终端上摄像头的位姿，对相机参数进行修正，减小拼缝误差的图像处理方法，可以优化环视拼接效果。例如，当终端为车辆时，摄像头可以为车载摄像头，车辆可根据拼接后的图像移动，避开路面不平颠簸的情况，提高驾驶员的驾驶体验。同时如果后续基于终端周边的环境图像进行障碍物检测时，还可以提高检测准确度，防止发生碰撞危险，提高行驶安全性。
在一种可能实现的方式中，所述确定所述目标终端上的M个摄像头的位姿改变量，包括：根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。实施本申请实施例，在图像差异不超过预设阈值时，最后获得的目标图像存在图像错位、断裂、大幅度鬼影等现象的几率大大降低，不需要重复更新相机参数。而在图像差异超过预设阈值时，才会确定M个摄像头各自的位姿改变量，以更新相机参数，减少获得的目标图像存在图像错位、断裂、大幅度鬼影等现象，不仅提高了行驶安全，也大大节省了计算资源。
在一种可能实现的方式中，所述图像差异包括像素值差异；所述根据所述M个摄像头分别拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，包括：获取所述M个摄像头分别拍摄的所述多个重叠区域的图像的像素值；根据所述图像的像素值，计算所述多个重叠区域分别对应的像素值差异。实施本申请实施例，根据像素值确定图像差异，可以高效分辨多个重叠区域对应图像差异，大大的提高了拼接目标图像的效率。
在一种可能实现的方式中，所述位姿改变量包括位置改变量和角度改变量中的一个或多个；所述确定所述目标终端上的M个摄像头各自的位姿改变量，包括：获取所述目标终端的姿态改变量，所述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；根据所述终端与地面之间夹角改变量，确定所述地面与所述M个摄像头的相对位置关系；根据所述终端高度改变量和所述相对位置关系，确定所述M个摄像头各自的所述位置改变量和所述角度改变量中的一个或多个。实施本申请实施例，由于M个摄像头都是安装在终端上的，所以当终端的姿态发生变化时，会导致M个摄像头各自的位姿也随之发生变化。因此，可以根据终端的姿态变化量确定目标终端上的M个摄像头各自的位姿改变量。
在一种可能实现的方式中，所述相机参数包括相机内参和相机外参中的一个或多个，所述相机内参包括所述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，所述相机外参包括所述摄像头坐标系与所述世界坐标系之间的关系；所述根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，包括：根据所述M个摄像头的位姿改变量，计算所述M个摄像头各自对应的相机调整参数；基于所述M个摄像头对应的相机调整参数，调整并获取对应摄像头的相机内参和相机外参中的一个或多个。实施本申请实施例，通过获取相机调整参数以更新对应摄像头的相机参数，可以高效精准的拼接目标图像，减少拼接图像时出现图像错位、断裂、大幅度鬼影等现象，保障终端行驶安全。
在一种可能实现的方式中，所述确定目标终端上的M个摄像头的位姿改变量，包括：判断所述目标终端的姿态是否发生变化；在所述目标终端的姿态发生变化时，确定所述目标终端上的M个摄像头的位姿改变量。实施本申请实施例，由于M个摄像头都是安装在终端上的，所以当终端的姿态发生变化时，会导致M个摄像头各自的位姿也随之发生变化。因此，可以通过判断终端的姿态是否发生变化，再确定目标终端上的M个摄像头各自的位姿改变量，大大的提高了拼接目标图像的效率。
在一种可能实现的方式中，所述M个摄像头中任意一个摄像头的摄像覆盖区域与所述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。实施本申请实施例，多个有重叠拍摄区域的摄像头拍摄的图像，可以精准拼接出终端的周边环境图像，以保证终端的安全行驶。
在一种可能实现的方式中，所述M个摄像头为四个鱼眼摄像头，其中，所述四个鱼眼摄像头分别用于拍摄所述目标终端的终端前图像、终端后图像、终端左图像以及终端右图像。实施本申请实施例，四个鱼眼摄像头可以完整的拍摄出终端周边360度的景象，以便获得目标终端的全景图和鸟瞰图，辅助终端安全驾驶。
在一种可能实现的方式中，所述目标终端为车辆。实施本申请实施例依据目标车辆上摄像头的位姿，对相机参数进行修正，减小拼缝误差的图像处理方法，可以优化环视拼接效果。车辆可根据拼接后的图像移动，避开路面不平颠簸的情况，提高驾驶员的驾驶体验。同时如果后续基于车辆周边的环境图像进行障碍物检测时，还可以提高检测准确度，防止发生碰撞危险，提高行车安全性。
第二方面，本申请实施例提供了一种图像处理装置，可包括：
确定单元，用于确定目标终端上的M个摄像头各自的位姿改变量，M为大于1的整数；
更新单元，用于根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；
图像单元，用于基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。
在一种可能实现的方式中，所述确定单元，具体用于：根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。
在一种可能实现的方式中，所述图像差异包括像素值差异；所述确定单元，具体用于：获取所述M个摄像头分别拍摄的所述多个重叠区域的图像的像素值；根据所述图像的像素值，计算所述多个重叠区域分别对应的像素值差异。
在一种可能实现的方式中，所述位姿改变量包括位置改变量和角度改变量中的一个或多个；所述确定单元，具体用于：获取所述目标终端的姿态改变量，所述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；根据所述终端与地面之间夹角改变量，确定所述地面与所述M个摄像头的相对位置关系；根据所述终端高度改变量和所述相对位置关系，确定所述M个摄像头各自的所述位置改变量和所述角度改变量中的一个或多个。
在一种可能实现的方式中，所述相机参数包括相机内参和相机外参中的一个或多个，所述相机内参包括所述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，所述相机外参包括所述摄像头坐标系与所述世界坐标系之间的关系；所述更新单元，具体用于：根据所述M个摄像头的位姿改变量，计算所述M个摄像头各自对应的相机调整参数；基于所述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。
在一种可能实现的方式中，所述确定单元，具体用于：判断所述目标终端的姿态是否发生变化；在所述目标终端的姿态发生变化时，确定所述目标终端上的M个摄像头的位姿改变量。
在一种可能实现的方式中，所述M个摄像头中任意一个摄像头的摄像覆盖区域与所述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。
在一种可能实现的方式中，所述M个摄像头为四个鱼眼摄像头，其中，所述四个鱼眼摄像头分别用于拍摄所述目标终端的终端前图像、终端后图像、终端左图像以及终端右图像。
第三方面，本申请实施例提供了一种电子装置，可包括处理器和存储器，其中，所述存储器用于存储图像处理程序代码，所述处理器用于调用所述图像处理程序代码来执行：
确定目标终端上的M个摄像头各自的位姿改变量，M为大于1的整数；根据所述M个摄像头各自的位姿改变量，分别确定所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像；将所述目标图像发送至所述目标终端。
在一种可能实现的方式中，其特征在于，所述处理器用于调用所述图像处理程序代码来具体执行：根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。
在一种可能实现的方式中，所述图像差异包括像素值差异；所述处理器用于调用所述图像处理程序代码来具体执行：获取所述M个摄像头分别拍摄的所述多个重叠区域的图像的像素值；根据所述图像的像素值，计算所述多个重叠区域分别对应的像素值差异。
在一种可能实现的方式中，所述位姿改变量包括位置改变量和角度改变量中的一个或多个；所述处理器用于调用所述图像处理程序代码来具体执行：获取所述目标终端的姿态改变量，所述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；根据所述终端与地面之间夹角改变量，确定所述地面与所述M个摄像头的相对位置关系；根据所述终端高度改变量和所述相对位置关系，确定所述M个摄像头各自的所述位置改变量和所述角度改变量中的一个或多个。
在一种可能实现的方式中，所述相机参数包括相机内参和相机外参中的一个或多个，所述相机内参包括所述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，所述相机外参包括所述摄像头坐标系与所述世界坐标系之间的关系；所述处理器用于调用所述图像处理程序代码来具体执行：根据所述M个摄像头的位姿改变量，计算所述M个摄像头各自对应的相机调整参数；基于所述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。
在一种可能实现的方式中，所述处理器用于调用所述图像处理程序代码来具体执行：判断所述目标终端的姿态是否发生变化；在所述目标终端的姿态发生变化时，确定所述目标终端上的M个摄像头的位姿改变量。
在一种可能实现的方式中，所述M个摄像头中任意一个摄像头的摄像覆盖区域与所述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。
在一种可能实现的方式中，所述M个摄像头为四个鱼眼摄像头，其中，所述四个鱼眼摄像头分别用于拍摄所述目标终端的终端前图像、终端后图像、终端左图像以及终端右图像。
第四方面，本申请实施例提供了一种装置，可包括处理器，所述处理器用于：
确定目标终端上的M个摄像头的位姿改变量，M为大于1的整数；根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。
在一种可能实现的方式中，所述处理器具体用于：根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。
在一种可能实现的方式中，所述图像差异包括像素值差异；所述处理器具体用于：获取所述M个摄像头分别拍摄的所述多个重叠区域的图像的像素值；根据所述图像的像素值，计算所述多个重叠区域分别对应的像素值差异。
在一种可能实现的方式中，所述位姿改变量包括位置改变量和/或欧拉角改变量；所述处理器具体用于：获取所述目标终端的姿态改变量，所述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；根据所述终端与地面之间夹角改变量，确定所述地面与所述M个摄像头的相对位置关系；根据所述终端高度改变量和所述相对位置关系，确定所述M个摄像头各自的所述位置改变量和所述角度改变量中的一个或多个。
在一种可能实现的方式中，所述相机参数包括相机内参和相机外参中的一个或多个，所述相机内参包括所述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，所述相机外参包括所述摄像头坐标系与所述世界坐标系之间的关系；所述处理器具体用于：根据所述M个摄像头的位姿改变量，计算所述M个摄像头各自对应的相机调整参数；基于所述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。
在一种可能实现的方式中，所述处理器具体用于：判断所述目标终端的姿态是否发生变化；在所述目标终端的姿态发生变化时，确定所述目标终端上的M个摄像头的位姿改变量。
在一种可能实现的方式中，所述M个摄像头中任意一个摄像头的摄像覆盖区域与所述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。
在一种可能实现的方式中，所述M个摄像头为四个鱼眼摄像头，其中，所述四个鱼眼摄像头分别用于拍摄所述目标终端的终端前图像、终端后图像、终端左图像以及终端右图像。
第五方面，本申请实施例提供一种计算机存储介质，用于储存为上述第一方面提供的一种图像处理方法所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
第六方面，本申请实施例提供了一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行上述第一方面中的图像处理方法所执行的流程。
第七方面，本申请实施例提供了一种智能车辆，包括图像处理系统，其中，所述图像处理系统用于执行第一方面提供的盲区图像获取方法中相应的功能。
第八方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持电子装置实现上述第一方面中所涉及的功能，例如，生成或处理上述图像处理方法中所涉及的信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存数据发送装置必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
现有技术中，在拼接终端周边的环境图像时，若终端在移动时处于转弯或路面不平的情况下，此时会导致终端视觉系统中摄像头对应的相机外参相对于终端所处的坐标系有所改变，进而导致环境图像的拼接处会产生明显的差异。因此，针对在终端上变负载、动态路线下行驶转弯、路面不平颠簸、在路肩上停车等情况下，终端上视觉系统拼接鸟瞰图和其他视角图像时出现图像错位、断裂、鬼影等现象。本申请实施例，在终端移动过程中，通过确定所述目标终端上摄像头的位姿改变量，重新更新摄像头的相机参数；根据该更新后的相机参数拼接获取终端周边的环境图像，其中，该终端周边的环境图像对应的视角超过预设视角阈值。这种依据目标终端上摄像头的位姿，对相机参数进行修正，减小拼缝误差的图像处理方法，可以优化环视拼接效果。例如，当终端为车辆时，车辆可根据拼接后的图像移动，避开路面不平颠簸的情况，提高驾驶员的驾驶体验。同时如果后续基于终端周边的环境图像进行障碍物检测时，还可以提高检测准确度，防止发生碰撞危险，提高行驶安全性。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是本申请实施例提供的一种智能车辆001的功能框图；
图2是本申请实施例提供的一种图像处理系统中计算装置结构示意图；
图3是本申请实施例提供的一种图像处理方法的流程示意图；
图4是本申请实施例提供的一种车载摄像头的拍摄重叠区域示意图；
图5是本申请实施例提供的一种车辆车姿变化前的示意图；
图6是本申请实施例提供的一种车辆车姿变化后的示意图；
图7是本申请实施例提供的一种车辆车姿变化前后的简化示意图；
图8是本申请实施例提供的另一种车辆车姿变化前的示意图；
图9是本申请实施例提供的另一种车辆车姿变化后的示意图；
图10是本申请实施例提供的另一种车辆车姿变化前后的简化示意图；
图11是本申请实施例提供的一种图像处理系统架构示意图；
图12是本申请实施例提供的一种目标车辆在一种应用场景下的场景示意图；
图13是本申请实施例提供的一种目标车辆在图12所示应用场景下的车载摄像头的位姿改变示意图；
图14是本申请实施例提供的一种目标车辆A在图12所示应用场下的泊车车载屏幕示意图；
图15是本申请实施例提供的另一种目标车辆在另一种应用场景下的场景示意图；
图16是本申请实施例提供的一种目标车辆在图15所示应用场下的泊车车载屏幕示意图；
图17是本申请实施例提供的一种图像处理装置的结构示意图；
图18是本申请实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例进行描述。
首先，需要说明的是，本申请实施例所涉及的终端、智能终端、目标终端、终端装置等，可以包括但不限于：车辆、可移动的机器人(如扫地机器人、运输机器人等)、船、飞机、无人机、可移动的终端装置等等。
为了便于理解本申请实施例，下面先以智能车辆为例，对本申请实施例所基于的其中一种安装有图像处理系统的终端装置进行描述。
请参见图1，图1是本申请实施例提供的一种智能车辆001的功能框图。
在一个实施例中，可以将智能车辆001配置为完全或部分地自动驾驶模式。例如，智能车辆001可以在处于自动驾驶模式中的同时控制自身，并且可通过人为操作来确定车辆及其周边环境的当前状态，确定周边环境中的至少一个其他车辆的可能行为，并确定该其他车辆执行可能行为的可能性相对应的置信水平，基于所确定的信息来控制智能车辆001。
智能车辆001可包括各种子系统，例如行进系统202、传感器系统204、控制系统206、一个或多个外围装置208以及电源210、计算机系统212和用户接口216。可选地，智能车辆001可包括更多或更少的子系统，并且每个子系统可包括多个元件。另外，智能车辆001的每个子系统和元件可以通过有线或者无线互连。
行进系统202可包括为智能车辆001提供动力运动的组件。在一个实施例中，行进系统202可包括引擎218、能量源219、传动装置220和车轮/轮胎221。
引擎218可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎218将能量源219转换成机械能量。
能量源219的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源219也可以为智能车辆001的其他系统提供能量。
传动装置220可以将来自引擎218的机械动力传送到车轮221。传动装置220可包括变速箱、差速器和驱动轴。在一个实施例中，传动装置220还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮221的一个或多个轴。
传感器系统204可包括感测关于智能车辆001周边的环境的信息的若干个传感器。例如，传感器系统204可包括定位系统222(定位系统可以是全球定位(global positioningsystem，GPS)系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertialmeasurement unit，IMU)224、雷达226、激光测距仪228以及相机230。传感器系统204还可包括被监视智能车辆001的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主智能车辆001的安全操作的关键功能。
例如：在本申请实施例中，可以通过传感器系统204获得智能车辆的车姿信息和/或智能车辆上多个车载摄像头(相当于图1所示的相机230)的位姿信息。以使处理器213可以基于该车姿信息和/或位姿信息调整车载摄像头的相机参数(相机内参和相机外参中的一个或多个)，以使的智能车辆在变负载、急转弯、上下坡、行驶在颠簸的道路等的行驶状况下，避免生成的车辆周边环境图像出现图像错位、断裂、大幅度鬼影等现象。
例如：定位系统222可用于估计智能车辆001的地理位置。如：在本申请实施例中确定智能车辆在世界坐标系中的坐标。进而，根据不同时刻的坐标，判断智能车辆在不同时刻所处的位置信息。
IMU 224用于基于惯性加速度来感测智能车辆001的位置和朝向变化。在一个实施例中，IMU 224可以是加速度计和陀螺仪的组合。例如：IMU 224可以用于测量智能车辆001在不同时刻所处的姿态信息。
例如：智能车辆通过车载组合定位系统或GPS+IMU等传感器可以确定出多个车载摄像拍摄相同地点的图像差异，进而判断是否需要对车载摄像头的相机参数进行修正优化，以保证智能车辆的车姿发生变化时，不会影响其车载摄像头的拍摄状态，以及，不会影响其车辆周边的环境图像的生成效果。
在本申请实施例中，传感器系统204还可以包括轴高传感器(chassis heightsensor，CHS)，轴高传感器是智能车辆上用于测量车身前后或车身左右悬架姿态变化的部件。其中，智能车辆可以通过轴高传感器检测出车身前后或车身左右的姿态变化，以方便获得智能车辆的车姿信息。
可选的，传感器系统204还可以直接获得智能车辆上多个车载摄像头(如：M个车载摄像头)的位姿信息，如：位置信息，角度信息等等。
雷达226可利用无线电信号来感测智能车辆001的周边环境内的物体。在一些实施例中，除了感测物体以外，雷达226还可用于感测物体的速度和/或前进方向。
激光测距仪228可利用激光来感测智能车辆001所位于的环境中的物体。在一些实施例中，激光测距仪228可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
相机230可用于捕捉智能车辆001的周边环境的多个图像。相机230可以是静态相机或视频相机。相机230还可以构成360环视监控(around view monitor，AVM)系统，用于监测智能车辆周边的障碍物、道路情况等。其中，相机230可以包括多个不同或相同规格的车载摄像头，如：广角摄像头，长焦摄像头，鱼眼摄像头，标准摄像头，变焦摄像头等等。
例如：在本申请实施例中，相机230可以包括多个鱼眼摄像头和/或广角摄像头，用于拍摄智能车辆的周边环境，以拼接生成目标车辆对应的鸟瞰图，以辅助驾驶员更好地实现驾驶、泊车、会车等驾驶操作。如，当相机230包括四个鱼眼摄像头时，该四个鱼眼摄像头可以分别用于拍摄智能车辆的车前图像、车后图像、车左图像以及车右图像。然后，根据该四个鱼眼摄像头基于智能车辆的车姿调整好的相机参数，在世界坐标系下，转换其四个鱼眼摄像头拍摄的图像，获得智能车辆的周边环境图像。
控制系统206为控制智能车辆001及其组件的操作。控制系统206可包括各种元件，其中包括转向系统232、油门234、制动单元236、传感器融合算法238、计算机视觉系统240、路线控制系统242以及障碍物避免系统244。
转向系统232可操作来调整智能车辆001的前进方向。例如：在一个实施例中可以为方向盘系统。
油门234用于控制引擎218的操作速度并进而控制智能车辆001的速度。
制动单元236用于控制智能车辆001减速。制动单元236可使用摩擦力来减慢车轮221。在其他实施例中，制动单元236可将车轮221的动能转换为电流。制动单元236也可采取其他形式来减慢车轮221转速从而控制智能车辆001的速度。
计算机视觉系统240可以操作来处理和分析由相机230捕捉的图像以便识别智能车辆001周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统240可使用物体识别算法、运动中恢复结构(structure frommotion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统240还可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。
例如：在本申请实施例中，计算机视觉系统240还可以基于智能车辆上的多个车载摄像头的相机参数，将多个车载摄像头分别拍摄的图像转换为世界坐标系中的图像，并获得智能车辆在世界坐标系中对应的周边环境图像。即，基于多个车载摄像头分别基于车姿信息调整后的相机参数，获得世界坐标系与周边环境图像对应的图像坐标系之间的坐标映射关系；再根据该坐标映射关系，拼接多个车载摄像头分别获取到的图像，获得智能车辆在世界坐标系下对应的周边环境图像。
路线控制系统242用于确定智能车辆001的行驶路线。在一些实施例中，路线控制系统242可结合来自传感器238、GPS 222和一个或多个预定地图的数据以为智能车辆001确定行驶路线。
障碍物避免系统244用于识别、评估和避免或者以其他方式越过智能车辆001的环境中的潜在障碍物。
当然，在一个实例中，控制系统206可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
智能车辆001通过外围装置208与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围装置208可包括无线通信系统246、车载电脑248、麦克风250和/或扬声器252。
在一些实施例中，外围装置208提供智能车辆001的用户与用户接口216交互的手段。例如，车载电脑248可向智能车辆001的用户提供信息。用户接口216还可操作车载电脑248来接收用户的输入。车载电脑248可以通过触摸屏、语音输入等进行操作。在其他情况中，外围装置208可提供用于智能车辆001与位于车内的其它装置通信的手段。
麦克风250可从智能车辆001的用户接收音频(例如，语音命令或其他音频输入)。麦克风250还可以采集智能车辆001内各类装置工作时的噪音。
扬声器252可向智能车辆001输出各种需要的声波信号。
无线通信系统246可以直接地或者经由通信网络来与一个或多个装置无线通信。例如，无线通信系统246可使用3G蜂窝通信，例如：码分多址(code division multipleaccess，CDMA)、演变数据优化(evolution-data optimized，EVDO)、全球移动通讯系统(global system for mobile communications，GSM)/通用分组无线服务(general packetradio service，GPRS)，或者蜂窝通信，例如长期演进(long time evolution，LTE)。或者5G蜂窝通信。无线通信系统246可利用WiFi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统246可利用红外链路、蓝牙或Zig Bee与装置直接通信。其他无线协议，例如：各种车辆通信系统，例如，无线通信系统246可包括一个或多个专用短程通信(dedicated short range communications，DSRC)装置，这些装置可包括车辆和/或路边台站之间的公共和/或私有数据通信。例如：在本申请实施例中，相机230采集到的图像信息可以通过无线通信系统发送至处理器213和计算机视觉系统240中的一个或多个。
电源210可向智能车辆001的各种组件提供电力。在一个实施例中，电源210可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为智能车辆001的各种组件提供电力。在一些实施例中，电源210和能量源219可一起实现，例如一些全电动车中那样。
智能车辆001的部分或所有功能受计算机系统212控制。计算机系统212可包括至少一个处理器213，处理器213执行存储在例如存储器214这样的非暂态计算机可读介质中的指令215。计算机系统212还可以是采用分布式方式控制智能车辆001的个体组件或子系统的多个计算装置。
处理器213可以是任何常规的处理器，诸如商业可获得的中央处理单元(centralprocessing unit，CPU)。替选地，该处理器可以是诸如应用集成电路(applicationspecific integrated circuit，ASIC)或其它基于硬件的处理器的专用装置。尽管图1功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件，但是本领域的普通技术人员应该理解该处理器、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中，处理器213可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
在本申请实施例中，处理器213可以控制相关的传感器或者计算机视觉系统240，实现在智能车辆001的行驶过程中，根据多个车载摄像头各自的位姿改变量，分别确定多个车载摄像头的相机参数，其中，该相机参数包括对应的车载摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于M个车载摄像头的相机参数，将所述M个车载摄像头分别拍摄的图像转换为世界坐标系中的图像，并获得智能车辆在世界坐标系中对应的鸟瞰图。其中，该策略的具体实现，以及，在行驶过程中，处理器213根据多个车载摄像头的位姿确定每个车载摄像头的相机参数的具体实现方式，可参考后续方法实施例的相关描述，在此暂不赘述。
需要说明的是，本申请实施例相关的鸟瞰图获取方法，还可以通过上述计算机视觉系统240实现部分或全部功能。
在一些实施例中，存储器214可包含指令215(例如，程序逻辑)，指令215可被处理器213执行来执行智能车辆001的各种功能，包括以上描述的那些功能。存储器214也可包含额外的指令，包括向推进系统202、传感器系统204、控制系统206和外围装置208中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令215以外，存储器214在本申请实施例中还可存储数据，例如：智能车辆中多个车载摄像头拍摄的图像，智能车辆中每个车载摄像头的相机参数、智能车辆的车姿信息以及多个车载摄像头各自的位姿信息等其它这样的车辆数据。这种信息可在智能车辆001在智能车辆的周边环境图像获取期间被智能车辆001、计算机系统212和/或计算机视觉系统240使用。
用户接口216，用于向智能车辆001的用户提供信息或从其接收信息。可选地，用户接口216可包括在外围装置208的集合内的一个或多个输入/输出装置，例如无线通信系统246、车载电脑248、麦克风250和扬声器252。
计算机系统212可基于从各种子系统(例如，行进系统202、传感器系统204和控制系统206)以及从用户接口216接收的输入来控制智能车辆001的功能。例如，计算机系统212可利用来自控制系统206的输入以便控制转向单元232来避免由传感器系统204和障碍物避免系统244检测到的障碍物。在一些实施例中，计算机系统212可操作来对智能车辆001及其子系统的许多方面提供控制。
可选地，上述这些组件中的一个或多个可与智能车辆001分开安装或关联。例如，存储器214可以部分或完全地与智能车辆001分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本申请实施例的限制。
在道路行进的智能车辆，如上面的智能车辆001，可以识别其周围环境内的物体以确定对智能车辆的当前速度等进行调整。所述物体可以是其它车辆、交通控制装置、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶汽车所要调整的速度。
可选地，智能车辆001或者与智能车辆001相关联的计算装置(如图1的计算机系统212、计算机视觉系统240、存储器214)可以基于所识别的物体的特性和周围环境的状态(例如，停车场内的静态或动态物体等等)来预测所述识别的物体的行为。
可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。智能车辆001能够基于预测的所述识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)什么稳定状态。在这个过程中，也可以考虑其它因素来确定智能车辆001的速度，诸如，智能车辆001在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整智能车辆001的速度的指令之外，计算装置还可以提供修改智能车辆001的转向角的指令(即，车姿的相关指令)，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如，道路上的相邻车道中的轿车)的安全横向和纵向距离。
上述智能车辆001可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、游乐场车辆、施工装置、电车、高尔夫球车、火车、和手推车等存在有车载摄像头的各式交通工具或可移动的终端装置，本申请实施例不做特别的限定。
可以理解的是，图1中的智能车辆功能图只是本申请实施例中的一种示例性的实施方式，本申请实施例中的智能车辆包括但不仅限于以上结构。
其次，请参考附图2，图2是本申请实施例提供的一种图像处理系统中计算装置结构示意图，应用于上述图1中，相当于图1所示的计算机系统212，可以包括处理器203，处理器203和系统总线205耦合。处理器203可以是一个或者多个处理器，其中每个处理器都可以包括一个或多个处理器核，相当于上述图1所示的处理器213。存储器235可以存储相关数据信息，存储器235和系统总线205耦合，相当于上述图1所示的存储器214。显示适配器(videoadapter)207，显示适配器207可以驱动显示器209，显示器209和系统总线205耦合。系统总线205通过总线桥201和输入输出(input/output，I/O)总线213耦合。I/O接口215和I/O总线耦合。I/O接口215和多种I/O装置进行通信，比如输入装置217(如：键盘，鼠标，触摸屏等)，多媒体盘(media tray)221,(例如，只读光盘(compact disc read-only memory，CD-ROM)，多媒体接口等)。收发器223(可以发送和/或接受无线电通信信号)，摄像头255(可以捕捉景田和动态数字视频图像)和外部通用外行总线(universal serial bus，USB)接口225。其中，可选地，和I/O接口215相连接的接口可以是USB接口。
其中，处理器203可以是任何传统处理器，包括精简指令集计算(reducedinstruction set computing，RISC)处理器、复杂指令集计算(complex instruction setcomputer，CISC)处理器或上述的组合。可选地，处理器可以是诸如专用集成电路ASIC的专用装置。可选地，处理器203可以是神经网络处理器或者是神经网络处理器和上述传统处理器的组合。例如：处理器203可以在目标车辆行驶过程中，确定上述目标车辆上的M个车载摄像头的位姿改变量，M为大于1的整数；根据上述M个车载摄像头的位姿改变量，更新上述M个车载摄像头的相机参数，上述相机参数包括对应的车载摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于更新后的上述M个车载摄像头的相机参数，拼接上述M个车载摄像头拍摄的图像，获得并输出上述世界坐标系对应的视角超过预设视角阈值的目标图像。其中，此处涉及的目标车辆可以是本申请实施例中提及的智能车辆001。
计算机系统212可以通过网络接口229和软件部署服务器(deploying server)249通信。网络接口229是硬件网络接口，比如，网卡。网络227可以是外部网络，比如因特网，也可以是内部网络，比如以太网或者虚拟私人网络(virtual private network，VPN)。可选地，网络227还可以是无线网络，比如WiFi网络，蜂窝网络等。
收发器223(可以发送和/或接受无线电通信信号)，可以通过不限于第二代(2thgeneration，2G)移动通信网络、第三代(3th generation，3G)移动通信网络、第四代(4thgeneration，4G)移动通信网络、第五代(5th generation，5G)移动通信网络等各种无线通信方式，也可以是专用短程通信技术(dedicated short range communications，DSRC)，或者长时间演进-车辆(long term evolution-vehicle，LTE-V)等技术，其主要功能是接收外部装置发送的信息数据，并将该车辆在目标路段行驶时信息数据发送回给外部装置进行存储分析。
硬盘驱动接口231和系统总线205耦合。硬件驱动接口231和硬盘驱动器233相连接。系统内存235和系统总线205耦合。运行在系统内存235的数据可以包括计算机系统212的操作系统OS 237和应用程序243。
存储器235和系统总线205耦合。例如，本申请中存储器235可以用于将噪音信号和第二噪音信号按照一定格式存储在存储器中。
操作系统包括壳shell 239和内核(kernel)241。shell 239是介于使用者和操作系统之内核间的一个接口。shell是操作系统最外面的一层。shell管理使用者与操作系统之间的交互：等待使用者的输入；向操作系统解释使用者的输入；并且处理各种各样的操作系统的输出结果。
内核241由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互，操作系统内核通常运行进程，并提供进程间的通信，提供CPU时间片管理、中断、内存管理、I/O管理等等。
应用程序243包括控制图像处理相关的程序，比如，管理传感器系统获取车姿信息和/或车载摄像头的位姿信息程序，控制传感器系统、相机与处理器或计算机视觉系统之间交互的程序，控制处理器或计算机视觉系统计算相机参数的程序。应用程序243也存在于软件部署服务器249的系统上。在一个实施例中，在需要执行噪音控制相关程序247时，计算机系统212可以从软件部署服务器249下载应用程序243。例如：应用程序243可以使得处理器根据传感器系统反馈的车姿信息和/或车载摄像头的位姿信息，计算车载摄像头的相机参数，以使车载摄像头拍摄的图像基于调整后的相机参数，按照世界坐标系的映射关系，转换并拼接成智能车辆的周边环境图像。极大的消除了现有技术中，由于智能车辆负载变化，车姿变化而导致的拼接图像时出现图像错位、断裂、大幅度鬼影等现象，有效的提高了拼接出车辆的周边环境图像的准确性。
传感器253和计算机系统212关联。传感器253用于探测计算机系统212周围的环境。举例来说，传感器253可以探测动物，汽车，障碍物和人行横道等，进一步传感器还可以探测上述动物，汽车，障碍物和人行横道等物体周围的环境，比如：动物周围的环境，例如，动物周围出现的其他动物，天气条件，周围环境的光亮度等。可选地，如果计算机系统212位于汽车空调噪声控制系统的汽车上，传感器可以是摄像头，红外线感应器，化学检测器等。还可以相当于上述图1所示的传感器系统204，或者用于获取上述图1所示的传感器系统204获取到的信息。
可以理解的是，图2中的图像处理装置结构只是本申请实施例中的一种示例性的实施方式，本申请实施例中的应用于智能车辆的图像处理装置结构包括但不仅限于以上结构。
基于图1提供的智能车辆架构，以及图2提供的图像处理装置的结构，结合本申请中提供的图像处理方法，对本申请中提出的技术问题进行具体分析和解决。
参见图3，图3是本申请实施例提供的一种图像处理方法的流程示意图，该方法可应用于智能终端，如上述图1中上述的智能车辆中，其中的智能车辆001可以用于支持并执行图3中所示的方法流程步骤S301-步骤S303，下面将结合附图3进行描述。该方法可以包括以下步骤S301-步骤S303。
步骤S301：确定目标终端上的M个摄像头的位姿改变量。
具体地，该确定步骤可以在终端装置发生移动或者位置改变时执行的，例如摄像头所在的车辆行驶过程中、机器人运动过程中、轮船行驶过程中、探测车行驶过程中等，确定目标终端上的M个摄像头的位姿改变量，M为大于1的整数。例如：在目标车辆行驶过程中，图像处理装置可以确定目标车辆上的M个车载摄像头各自的位姿改变量。图像处理装置可以根据车辆上的传感器系统直接确定M个车载摄像头各自的位姿改变量，也可以根据车辆上的传感器系统确定车辆的车姿变化，以及M个车载摄像头在车辆上的位置，推断出M个车载摄像头各自的位姿改变量。可以理解的是，可以根据车辆上的传感器系统确定M个车载摄像头各自的位姿改变量，以修正拼接鸟瞰图时的相机参数。由于M个车载摄像头都是安装在车辆上的，所以当车辆的车姿发生变化时，会导致M个车载摄像头各自的位姿也随之发生变化。因此，可以根据车辆的车姿变化量确定目标车辆上的M个车载摄像头各自的位姿改变量。还可以理解的是，本申请实施例涉及的M个车载摄像头可以是目标车辆中的部分或全部车载摄像头，相当于上述图1所示的相机230。
可选的，确定目标终端上的M个摄像头的位姿改变量，包括：根据上述M个摄像头在多个重叠区域分别拍摄的图像，计算该多个重叠区域分别对应的图像差异，其中，重叠区域为上述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；在上述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定上述M个摄像头各自的位姿改变量。其中，当任意两个摄像头在同一时刻拍摄的同一区域的图像出现过大的差异时，在拼接车辆周边环境图像时会很容易出现鬼影、裂缝等影响视觉效果。因此，若确定重叠区域的图像差异超过预设阈值，则需要图像处理装置根据M个摄像头各自的位姿改变量，调整各自的相机参数，以便生成准确的终端周边环境图像，如，鸟瞰图，保证终端的移动行驶安全。需要说明的是，预设阈值可以根据判断图像差异的标准灵活设置。例如：若判断图像差异的标准是像素值时，预设阈值可以指示一个像素值的差值，以便判断多张图像的像素值差异。
但是，可以理解的是，若不存在图像差异，或者存在图像差异但差异不大时，图像处理装置根据此时拍摄的图像结生成终端周边环境图像时，不会影响最终的视觉效果，则可以再进一步的根据终端上的摄像头各自的改变量，直接根据原来的相机参数确定当前的相机参数，以获取终端周边环境图像。因此，若上述多个重叠区域中每一个重叠区域对应的图像差异均不超过预设阈值，即，不存在一个重叠区域对应的图像差异超过预设阈值。则直接根据M个车载摄像头各自当前的相机参数，拼接M个车载摄像头拍摄的图像，获得并输出世界坐标系对应的视角超过预设视角阈值的目标图像。例如：当重叠区域对应的图像存在图像差异但差异不大时，根据M个车载摄像头各自当前的相机参数，确定M个车载摄像头拍摄的图像中每个像素点的像素坐标系与世界坐标系的对应关系，将多张图像中在世界坐标系下重叠区域对应像素点拼接起来，获得并输出世界坐标系对应的视角超过预设视角阈值的目标图像。
可选的，上述图像差异包括像素值差异；上述根据上述M个摄像头分别拍摄的在多个重叠区域的图像，计算上述多个重叠区域分别对应的图像差异，包括：获取上述M个摄像头分别拍摄的上述多个重叠区域的图像的像素值；根据上述图像的像素值，计算上述多个重叠区域分别对应的像素值差异。即，获取上述M个摄像头分别拍摄的在多个重叠区域的图像中每张图像的像素值；根据上述每张图像的像素值，计算上述多个重叠区域中每一个重叠区域分别对应的多张图像之间的像素值差异。其中，图像差异可以根据拍摄重叠区域图片的像素值进行判断，若同一个重叠区域的多张图片之间的像素值差距过大，则可以认为图像差异超过预设阈值。例如，重叠区域甲对应有摄像头A拍摄的第一图像部分区域和摄像头B拍摄的第二图像部分区域。则，该重叠区域甲对应的像素值差异为第一图像和第二图像经原标定参数关系计算后对应甲区域相同位置之间的像素值差之和。即累加第一图像中每一个像素点与第二图像中对应像素点的像素值的差。需要说明的是，用于累加差异的像素均为第一图像和第二图像中拍摄重叠区域甲的图像，此对应关系由离线标定的相机参数决定。
可选的，上述终端上的M个摄像头中任意一个摄像头的摄像覆盖区域与该M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。可以理解的是，在同一拍摄时刻，该M个摄像头中的每一个摄像头拍摄的图像对应的摄像覆盖区域，与该M个摄像头中的其中至少一个摄像头拍摄的图像对应的摄像覆盖区域之间存在有重合区域，即重叠区域。例如：请参考附图4，图4是本申请实施例提供的一种目标车辆上摄像头的拍摄重叠区域示意图。如图4所示，目标车辆上有四个摄像头01，每个摄像头01的总摄像覆盖区域大于了360度，且每个摄像头01的摄像覆盖区域与相邻的两个摄像头01摄像覆盖区域存在重叠区域。这种多个摄像头拍摄的图像，可以精准拼接出车辆的周边环境图像。需要说明的是，图4中摄像头的摄像覆盖区域以及摄像头数量和位置，只是示例性的一种方式，本申请对其并不做具体的限制。例如：当目标终端为车辆时，本申请实施例中摄像头还可以安装在车顶、甚至是车底。当目标终端为机器人时，本申请实施例中摄像头还可以根据机器人的形状大小，移动的状态选择安装在机器人的头顶、手部或腿部。还需要说明的是，该重叠区域只是摄像头拍摄的图像对应的摄像覆盖区域中的部分或全部区域。
可选的，M个摄像头是目标终端上的部分或全部摄像头，且在同一时刻，上述M个摄像头的总摄像覆盖区域可以大于或等于360度。例如：当最后生成的目标图像为鸟瞰图时，M个摄像头的总摄像覆盖区域可以等于360度；当最后生成的目标图像为全景图时，M个摄像头的总摄像覆盖区域可以大于360度。本申请实施例，对此不作具体限定。又例如，当最后生成的目标图像为目标车辆一边的侧视图时(如，车尾区域的图像)，M个摄像头的总摄像覆盖区域甚至还可以小于360度。
可选的，M个摄像头为四个鱼眼摄像头，其中，上述四个鱼眼摄像头分别用于拍摄上述目标终端的终端前图像、终端后图像、终端左图像以及终端右图像。鱼眼摄像头是一种极端的超广角镜头，其水平视角甚至可以接近或超过180度，因此，可以很好的覆盖到终端周边的视野，以便生成鸟瞰图。例如，上述四个鱼眼摄像头分别用于拍摄上述目标车辆的车前图像、车后图像、车左图像以及车右图像。可以理解的，该鱼眼摄像头还可以是其他类型的广角摄像头，以便精准拼接出车辆的鸟瞰图。
可选的，该目标终端可以为多个车辆中的任意一个车辆。该图像处理方法还可以应用在车队行驶场景中，例如：在车队泊车、会车时，通过更新后的相机参数，获取图像以拼接鸟瞰图，以保证车队的安全驾驶。因此，该目标车辆可以为多个车辆中的任意一个。
可选的，确定目标终端上的M个车载摄像头各自的位姿改变量，包括：判断目标终端的姿态是否发生变化；在目标终端的姿态发生变化时，确定上述目标终端上的M个摄像头的位姿改变量。可以理解的是，例如，在目标终端为车辆时，可以判断目标车辆的车姿是否发生变化；在目标车辆的车姿发生变化时，确定上述目标车辆上的M个车载摄像头的位姿改变量。在目标车辆行驶过程中，图像处理装置首先可以判断目标车辆的车姿是否发生变化。例如：可以通过上述图1所示的传感器系统204中的相关传感器判断目标车辆的车姿是否发生变化。该传感器可以是轴高传感器、车载组合定位系统、惯性导航系统等其中，本申请实施例提及的目标车辆相当于图1所示的智能车辆。智能车辆在行驶过程中有可能会遇见转弯、路面不平、上坡、下坡等形式状况，智能车辆会主动调整或被动改变当前的行驶姿态，以便安全的通过不同驾驶路段。但在此时，由于智能车辆的车姿变化，会导致智能车辆上的车载摄像头的位置和拍摄角度会发生改变，进而造成最后拼接的车辆周边环境图像，发生错位、鬼影等现象。因此，本申请实施例可以根据判断目标车辆的车姿是否发生变化，确定目标车辆上的M个车载摄像头的位姿发生了变化，从而再确定目标车辆上的M个车载摄像头的位姿改变量。
需要说明的是，当目标终端相对于地面高度发生变化，与地面之间的夹角发生变化都可以认为是状态发生变化。例如：当智能车辆的负载增加时，智能车辆相对于地面高度会降低，因此，可以认为是车姿发生变化；当智能车辆上坡时，智能车辆的前轮在坡上，后轮还在地面，此时智能车辆会出现倾斜，即相对于地面高度会变化的同时，与地面的夹角也会发生变化，因此，可以认为该终端是姿态发生了变化。
可选的，位姿改变量包括位置改变量和角度改变量中的一个或多个；上述确定上述目标终端上的M个摄像头各自的位姿改变量，包括：获取上述目标终端的车姿改变量，上述车姿改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；根据上述终端与地面之间夹角改变量，确定上述地面与上述M个摄像头的相对位置关系；根据上述终端高度改变量和上述相对位置关系，确定上述M个摄像头各自的上述位置改变量和上述角度改变量中的一个或多个。可以理解的是，当车姿发生变化时，由于摄像头被固定在终端上，所以，摄像头相对于地面的位置也发生了变化。需要说明的是，位姿改变量的中角度改变量在计算摄像头中的相机参数时，可以具体体现在欧拉角的改变量、旋转矩阵的改变量等等，本申请对此不作具体的限定。
其中，以智能车辆为例，本申请实施例提供了根据智能车辆的车姿改变量获取车载摄像头的位姿改变量的具体计算方式，请参考下述情况一到情况三的相关描述。
情况一：当车身前后轴在轴高发生改变时。
例如：车头一侧相对于地面的位置发生改变时，车载摄像头位姿变化相对于世界坐标系(或出厂标定车辆时的坐标系)的改变情况，请参考附图5至附图7，图5是本申请实施例提供的一种车辆车姿变化前的示意图，图6是本申请实施例提供的一种车辆车姿变化后的示意图，图7是本申请实施例提供的一种车辆车姿变化前后的简化示意图。如图5和图6所示，车辆在经过一段颠簸路段时地面，当车前轮遇见障碍物，但车后轮还在地面上时，车辆就会由原来与地面平行的姿态，转变为与地面呈现夹角的姿态。此时，如图7所示，车头相较于原来车头的位置提高了Δh1，即，此时前后轮高度改变量为Δh1；同时，随着车头的抬高，安装在车辆上的车载摄像头也随之抬高，而且，由于车载摄像头安装在车身上的位置已知，如：当相机距离车尾距离为l1，车身宽度为l时，夹角(即，车载摄像头改变的欧拉角)为
Figure BDA0003126421190000161
车载摄像头高度改变量为：Δz1＝l1*sin(Δpitch)，车载摄像头水平位置改变量为：Δy＝l1(1-l1*cos(Δpitch))，其中，*为乘。
情况二：当车身左右轴在轴高发生改变时。
例如：车左一侧相对于地面的位置发生改变时，车载摄像头位姿变化相对于世界坐标系(或出厂离线标定时的坐标系)的改变情况，请参考附图8至附图10，图8是本申请实施例提供的另一种车辆车姿变化前的示意图，图9是本申请实施例提供的另一种车辆车姿变化后的示意图，图10是本申请实施例提供的另一种车辆车姿变化前后的简化示意图。如图8和图9所示，车辆在经过一段颠簸路段时地面，当车前轮遇见障碍物，但车后轮还在地面上时，车辆就会由原来与地面平行的姿态，转变为与地面呈现夹角的姿态。此时，如图10所示，车左一侧相较于原来车左的位置提高了Δh2，即，此时左右轮高度改变量为Δh2；同时，随着车头的抬高，安装在车辆上的车载摄像头也随之抬高，而且，由于车载摄像头安装在车身上的位置已知，如：当相机距离车尾距离为w1，车身宽度为w时，夹角(即，车载摄像头改变的欧拉角)为
Figure BDA0003126421190000162
车载摄像头高度改变量为：Δz2＝w1*sin(Δroll)，车载摄像头水平位置改变量为：Δy＝w1(1-w1*cos(Δroll))，其中，*为乘。
情况三：当车身底盘坐标系与地面坐标系不平行的情况时。
例如：当车身处于停靠或横跨路肩等情况时，车整体相对于地面的位置发生改变时，需要对地面进行位置进行修正，保证车载360环视系统的拼接效果和呈现效果。例如，可以判断车辆所处地面情况，等效于地面以θ倾角抬高，最终建立地面z坐标与x，y的一一映射关系，即：z′＝H(x′,y′,θ)，该表达式即为改变后的z′与改变后的x′,y′之间的映射关系。
需要说明的是，情况一、情况二和情况三的坐标变化，位置改变量等，均是在世界坐标系(或出厂离线标定时的坐标系)下的变化。情况一、情况二和情况三可以分别或组合发生，本申请实施例对其不做具体的限定。
还需要说明的是，情况一、情况二和情况三中涉及到的关于根据车姿变化量计算摄像头的位姿变化量的计算方式只是示例性的举例，本申请实施例对涉及的计算方式，也不做具体的限定。例如，可以根据智能终端上的传感器系统(如上述智能车辆的传感器系统204)，直接获取摄像头的位姿变化量。
步骤S302：根据M个摄像头的位姿改变量，更新M个摄像头的相机参数。
具体地，图像处理装置可以根据上述M个摄像头的位姿改变量，更新上述M个摄像头的相机参数，上述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系。需要说明的是，在目标终端(如：车辆)出厂时，需要先标定目标终端上的相机参数，以保证车辆在水平行驶时，图像的正常显示。而图像处理装置可以在目标终端移动或改变位置时，实时根据每个摄像头的位姿改变量，调整对应的相机参数，以免拼接图像时出现图像错位、断裂、大幅度鬼影等现象，根据调整后的相机参数，可以适应各种路况、负载等行驶状况，进而精准拼接出目标终端周边环境图像，保证目标终端的行驶安全。还需要说明的是，若M个摄像头中有部分或全部的摄像头对应的位姿改变量为0或者位姿改变量没有超过预设阈值时，相机参数可以维持原来的相机参数进行图像拼接时，即可认为，根据M个摄像头的位姿改变量，将M个车载摄像头原来的相机参数，更新为M个车载摄像头当前的相机参数进行图像拼接，用以获得目标图像。
可选的，上述相机参数包括相机内参和相机外参中的一个或多个，上述相机内参包括上述车载摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，上述相机外参包括上述摄像头坐标系与上述世界坐标系之间的关系；上述根据上述M个摄像头各自的位姿改变量，分别确定上述M个摄像头的相机参数，包括：根据上述M个摄像头各自的位姿改变量，分别计算上述M个摄像头各自对应的相机调整参数；基于上述M个摄像头各自对应的相机调整参数，调整并获取对应摄像头的相机内参和相机外参中的一个或多个。其中，在根据摄像头的位姿改变量，调整对应的相机参数时，可以先根据该位姿改变量确定相机调整参数，该相机调整参数是用于调整相机参数的。需要说明的是，相机参数包括相机内参和相机外参，但更新相机参数时该相机调整参数可以只更新相机内参或相机外参，或同时更新相机内参和相机外参，本申请对此不做具体的限定。例如：在其中一种可选的方式中，可以根据M个摄像头各自的位姿改变量，调整M个摄像头各自的相机外参和相机内参，将调整后的相机外参和相机内参更新为相机参数。
又例如：在其中一种可选的方式中，即，在只调整相机外参时，将调整后的相机外参，以及没有调整的原来的相机内参，一起更新为当前的相机参数。根据M个摄像头各自的位姿改变量，分别确定M个摄像头的相机参数，可以根据M个摄像头各自的位姿改变量，调整M个摄像头各自的相机外参，可以参考下述公式1-公式6，其中，公式2和6分别是调整后的相机外参。
Figure BDA0003126421190000181
其中，M个摄像头中第i个摄像头的相机深度zi乘以像素坐标
Figure BDA0003126421190000182
等于第i个摄像头的相机内参乘以第i个摄像头的相机外参乘以世界坐标，即，公式1包括像素坐标系与世界坐标系之间的映射关系。
R′3×3＝R′z×R′y×R′x公式2
Figure BDA0003126421190000183
Figure BDA0003126421190000184
Figure BDA0003126421190000185
Figure BDA0003126421190000186
其中，公式1中fx，fy，u0，v0为预先设置或离线标定的摄像头的相机内参，其中，相机内参指的是相机坐标系到像素坐标系的映射关系；[x，y，z，roll，pitch，yaw]为预先设置或离线标定的摄像头的相机外参，其中，相机外参指的是相机坐标系到世界坐标系的映射关系。需要说明的是，x，y，z，分别为摄像头在世界坐标系下对应的X轴、Y轴、Z轴的坐标。Pitch为俯仰角，yaw为偏航角，roll为翻滚角。R′3×3，T′3×1为根据摄像头的位姿改变量，确定后的相机外参。需要说明的是，相机标定过程中对相机外参的标定及表现形式可能有多种方式，本方案中给出的是根据欧拉角获得旋转矩阵，实际获得旋转矩阵的表现形式可能有多种，包括四元数、轴角等不做限定，可以相互转换，均表达相机坐标系与世界坐标系的相对旋转关系。Δroll，Δpitch，Δx，Δy，Δz为上述计算中给出的3种情况同时出现时，叠加下最终改变的欧拉角改变量和位置改变量，其中，若不发生变化，则该改变量为0。x′w，y′w，z′w为世界坐标系(或出厂离线标定时的坐标系)下地面的位置，为了方便计算，一般均设置为0。
需要说明的是，公式1和公式2中×为乘。
还需要说明的是，由于车辆围绕Y轴旋转时，即，车辆水平左转或右转，不会对拼接的鸟瞰图产生影响，因此，本申请实施例暂不对相机参数，仅因偏航角的改变量而做响应的调整。
可选的，根据M个摄像头各自的位姿改变量，分别确定M个摄像头的相机参数，包括：若M个摄像头各自的位姿改变量中存在至少一个摄像头的位姿改变量超过预设改变量阈值，则分别确定M个摄像头各自的相机参数。当改变量超过一定阈值时，才重新确定相机参数，可以在不影响鸟瞰图获取效果的情况下，节省计算资源，保证目标终端的行驶安全。
步骤S303：基于更新后的M个摄像头的相机参数，拼接M个摄像头拍摄的图像，获得并输出上述世界坐标系对应的视角超过预设视角阈值的目标图像。
具体地，于更新后的M个摄像头的相机参数，拼接M个摄像头拍摄的图像，获得并输出上述世界坐标系对应的视角超过预设视角阈值的目标图像。例如：可以基于M个摄像头的相机参数，将M个摄像头分别拍摄的图像转换为世界坐标系中的图像，获得目标车辆在世界坐标系中对应的鸟瞰图。其中，根据上述公式1将M个摄像头中每个摄像头拍摄的图像转换至同一个世界坐标系(或出厂离线标定时的坐标系)中的图像，即，按照世界坐标系中的坐标关系，建立每张图像中像素坐标与世界坐标系中的坐标建立一一对应的坐标关系，以便将M个摄像头分别拍摄的图像，一一按照该坐标关系转换为与世界坐标对应的图像。可以理解的是，目标图像的视角超过预设视角阈值，即，该目标图像可以是由两个摄像头拍摄的图像拼接起来的周边环境示意图(如：目标车辆一侧的示意图)，且该两个摄像机对应的拍摄区域之间有重合的区域。即需要说明的是，本申请可以拼接M个摄像头中部分或全部摄像头拍摄的图像，以获得目标图像。
可选的，基于所述多个摄像头分别调整后的相机参数，获得世界坐标系与所述鸟瞰图对应的图像坐标系之间的坐标映射关系；根据所述坐标映射关系，拼接所述多个摄像头分别获取到的图像，获得所述目标图像。
可以理解的是，在实际行驶中，由于车辆负载改变、动态场景下目标终端位姿不断发生改变，导致环视摄像头的位置相对于地面的位置发生改变，导致现有拼接出的全景环视鸟瞰图图像出现拼接误差，视觉上发生图像错位、模糊，融合时出现鬼影。因此，本申请实施例在目标终端移动过程中，判断所述目标终端的状态是否发生变化；若所述目标终端的姿态发生变化，分别确定所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；根据该相机参数图像处理装置拼接时当汽车转弯或路面不平时，拼接处会产生明显的差异，此时环视相机外参相对于车辆坐标系有所改变。利用多种传感器的数据(轴高传感器/IMU/终端上组合定位系统)，对外参进行修正，减小拼缝误差，优化环视拼接效果，提高行驶体验。同时如果后续基于鸟瞰图进行障碍物检测，提高检测准确度，防止发生碰撞危险，提高行驶安全性。
还可以理解的是，本申请提供的图像处理方法还可以由电子装置，图像处理装置等执行。电子装置是指能够被抽象为计算机系统，支持图像处理功能的电子装置，也可称为图像处理装置。图像处理装置可以是该电子装置的整机，也可以是该电子装置中的部分器件，例如：图像处理功能相关的芯片，如系统芯片或图像芯片。其中，系统芯片也称为片上系统，或称为SoC芯片。具体地，图像处理装置可以是诸如智能车辆、智能车辆中车载电脑这样的装置，也可以是能够被设置在智能终端的计算机系统或环视系统中的系统芯片或图像芯片。另外，本申请实施例只是示例性的以智能终端中的图像处理装置为例说明该图像处理方法，本申请实施例在此不做具体的限定。
另外，结合本申请中提供的图像处理方法，请参考附图11，图11是本申请实施例提供的一种图像处理系统架构示意图。如图11所示，该图像处理系架构包括传感器模块(相当于上述图1所示的传感器系统204)、数据输入模块、图像处理模块(相当于上述图1所示的计算机视觉系统)，还可以包括显示模块。其中，
传感器模块，相当于上述图1所示的传感器系统204，用于采集智能终端的周边环境的图像信息、智能终端的位置信息、姿态信息等。其中，上述传感器模块包括：摄像头、轴高传感器、惯性导航系统、GPS组合定位系统。可以理解的，该传感器模块内相关组件的作用可对应参考上述图1所示的智能车辆架构中传感器系统的相关描述，本申请实施例在此不再赘述。
数据输入模块，用于将传感器模块获取到的数据，发送至图像处理模块中。
图像处理模块，相当于上述图1所示的计算机视觉系统，如：CPU或GPU计算单元，用于根据数据输入模块发送的触感器模块获取的数据(如，摄像头的位置信息、角度信息等)，更新摄像头的相机参数，以便生成智能终端的周边环境图像。其中，该图像处理模块可以包括：传感器数据计算模块，用于根据传感器数据计算摄像头的位姿改变量；映射修正模块，用于根据摄像头的位姿改变量更新相机参数。
图像生成模块，用于根据更新后的相机参数，拼接并输出智能终端大视角的周边环境图像。
显示模块，可以用于显示智能终端大视角的周边环境图像。
基于上述图1提供的智能车辆架构，以及图2提供的图像处理装置的结构，结合本申请中图11提供的图像处理系统架构。以目标终端为车辆举例，请参见图12，图12是本申请实施例提供的一种目标车辆在一种应用场景下的场景示意图，可以对应参考上述图3上述的图像处理的方法实施例的相关描述。
应用场景一：如图12所示，在当目标车辆A在路边临时停车时，由于停车位置在路肩上方，与地面较高。当目标车辆A需要驶出时，在前轮已经行驶在路面，而后轮的位置还在路肩上方的泊车区域时，由于泊车区域与地面有高度差，因此，目标车辆A上的车载摄像头的位姿会发生改变，进而，可能会导致其环视系统拼接的鸟瞰图。尤其是车位周围空间较窄时，若因为拼接的鸟瞰图无法保证目标车辆A正常按照行驶路径行驶时，可能会造成目标车辆A的可控性较低，驾驶员的操作难度较大，乘客体验较差。因此，根据本申请实施例的图像处理方法，鸟瞰图的拼接过程可以实施如下步骤：
S1、在目标车辆A行驶过程中，判断目标车辆的车姿是否发生变化。
S2、若目标车辆A的车姿发生变化，确定目标车辆上的多个车载摄像头各自的位姿改变量。请参见图13，图13是本申请实施例提供的一种目标车辆在图12所示应用场景下的车载摄像头的位姿改变示意图。可以理解的是，目标车辆A上的车载摄像头可以有多个，图13所示的车载摄像头的位姿改变示意图，只是其中示例性所示的一个，并不代表全部情况。
S3、根据多个车载摄像头各自的位姿改变量，分别更新该多个车载摄像头各自的相机参数。
S4、基于上述多个车载摄像头的相机参数，将上述多个车载摄像头分别拍摄的图像转换为世界坐标系中的图像，并获得目标车辆A在上述世界坐标系中对应的鸟瞰图。
S5、在车载显示屏中显示鸟瞰图。
请参见图14，图14是本申请实施例提供的一种目标车辆A在图12所示应用场下的泊车车载屏幕示意图，如图14所示，该车载屏幕中显示的是目标车辆驶出泊车位置时的鸟瞰图，可以用于观察侧后方来车，以便目标车辆A按照既定路线驶出泊车位置。可以理解的是，在该应用场景下，还可以通过如图14所示的三个车载摄像头，直接拼接目标车辆A一侧的侧视图，用于观察侧后方来车，以便目标车辆A按照既定路线驶出泊车位置。
基于上述图1提供的智能车辆架构，以及图2提供的图像处理装置的结构，结合本申请中图11提供的图像处理系统架构。以目标终端为车队中的一辆车辆举例，请参见图15，图15是本申请实施例提供的另一种目标车辆在另一种应用场景下的场景示意图，可以对应参考上述图3上述的图像处理的方法实施例的相关描述。
应用场景二：如图15所示，在当目标车辆A、目标车辆B、目标车辆C组成的车队行驶过程时，可能由于道路周边装置没有监控摄像头或者无法获取路边监控摄像头的图像信息，用户无法获得该车队在该道路上的完整的图像信息。若车队中有车辆发生行驶故障，距离该车辆较远的车辆可能无法及时得知，从而错失对故障车辆及时施救的机会。若按照现有技术，由于车姿变化时，或产生拼接错位的问题，有可能会误报车辆故障信息或者无法拼接车队对应的鸟瞰图。因此，根据本申请实施例的图像处理方法，在应用场景二的情况下，车队鸟瞰图的拼接过程可以实施如下步骤S1-S5，其中：
S1、在目标车辆A、目标车辆B、目标车辆C行驶过程中，确定所有目标车辆上的多个车载摄像头各自的位姿改变量。
S2、根据所有目标车辆中每一个目标车辆上的多个车载摄像头各自的位姿改变量，分别更新该目标车辆上的多个车载摄像头各自的相机参数。
S3、根据每一个目标车辆上多个车载摄像头各自的更新后的相机参数，获取该目标车辆对应的周边环境图像。
S4、基于每个目标车辆分别对应的周边环境图像，获取多个目标车共同对应的鸟瞰图，以保障车队正常行驶。其中，在不同的目标车辆对应的周边环境图像拼接时，可以选择不同目标车辆上车载摄像头共同的拍摄区域为参考点或建立坐标关系，以在同一个世界坐标系下获得该车队对应的鸟瞰图。
S5、输出该鸟瞰图至每个目标车辆，以使在每个目标车辆的显示屏中分别显示上述鸟瞰图。
请参见图16，图16是本申请实施例提供的一种目标车辆在图15所示应用场下的泊车车载屏幕示意图，如图16所示，该车载屏幕中显示的是多辆车辆在通过没有摄像头的路段时，整个车队的鸟瞰图。
需要说明的是，应用场景一与应用场景二只是本申请实施例提供的两种示例性场景，该图像处理方法还可以应用在其他车辆行驶场景中，例如：在车辆泊车、会车时，通过更新后的相机参数，获取图像以拼接鸟瞰图，以保证车辆的安全驾驶。
综上所述，本申请实施例在车辆行驶过程中，判断所述目标车辆的车姿是否发生变化；若所述目标车辆的车姿发生变化，分别确定所述M个车载摄像头的相机参数，所述相机参数包括对应的车载摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；根据该相机参数图像处理装置拼接时当汽车转弯或路面不平时，拼接处会产生明显的差异，此时环视相机外参相对于车辆坐标系有所改变。利用多种传感器的数据(轴高传感器/IMU/车载组合定位系统)，对外参进行修正，减小拼缝误差，优化环视拼接效果，提高驾驶体验。同时如果后续基于鸟瞰图进行障碍物检测，提高检测准确度，防止发生碰撞危险，提高驾驶安全性。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的相关装置。
请参见图17，图17是本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置10可以包括确定单元101、更新单元102和图像单元103，其中，各个单元的详细描述如下。
确定单元101，用于确定目标终端上的M个摄像头各自的位姿改变量，M为大于1的整数；
更新单元102，用于根据上述M个摄像头的位姿改变量，更新上述M个摄像头的相机参数，上述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；
图像单元103，用于基于更新后的上述M个摄像头的相机参数，拼接上述M个摄像头拍摄的图像，获得上述世界坐标系对应的视角超过预设视角阈值的目标图像。
在一种可能实现的方式中，上述确定单元101，具体用于：根据上述M个摄像头拍摄的在多个重叠区域的图像，计算上述多个重叠区域分别对应的图像差异，其中，上述重叠区域为上述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；在上述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定上述M个摄像头的位姿改变量。
在一种可能实现的方式中，上述图像差异包括像素值差异；上述确定单元101，具体用于：获取上述M个摄像头分别拍摄的上述多个重叠区域的图像的像素值；根据上述图像的像素值，计算上述多个重叠区域分别对应的像素值差异。
在一种可能实现的方式中，上述位姿改变量包括位置改变量和角度改变量中的一个或多个；上述确定单元101，具体用于：获取上述目标终端的姿态改变量，上述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；根据上述终端与地面之间夹角改变量，确定上述地面与上述M个摄像头的相对位置关系；根据上述终端高度改变量和上述相对位置关系，确定上述M个摄像头各自的上述位置改变量和上述角度改变量中的一个或多个。
在一种可能实现的方式中，上述相机参数包括相机内参和相机外参中的一个或多个，上述相机内参包括上述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，上述相机外参包括上述摄像头坐标系与上述世界坐标系之间的关系；上述更新单元102，具体用于：根据上述M个摄像头的位姿改变量，计算上述M个摄像头各自对应的相机调整参数；基于上述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。
在一种可能实现的方式中，上述确定单元101，具体用于：判断上述目标终端的姿态是否发生变化；在上述目标终端的姿态发生变化时，确定上述目标终端上的M个摄像头的位姿改变量。
在一种可能实现的方式中，上述M个摄像头中任意一个摄像头的摄像覆盖区域与上述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。
在一种可能实现的方式中，上述M个摄像头为四个鱼眼摄像头，其中，上述四个鱼眼摄像头分别用于拍摄上述目标终端的车前图像、车后图像、车左图像以及车右图像。需要说明的是，上述多个单元的划分仅是一种根据功能进行的逻辑划分，不作为对图像处理装置10具体的结构的限定。在具体实现中，其中部分功能模块可能被细分为更多细小的功能模块，部分功能模块也可能组合成一个功能模块，但无论这些功能模块是进行了细分还是组合，装置10在对图像处理的过程中所执行的大致流程是相同的。通常，每个单元都对应有各自的程序代码(或者说程序指令)，这些单元各自对应的程序代码在相关硬件装置上运行时，使得该单元执行相应的流程从而实现相应功能。另外，每个单元的功能还可以通过相关的硬件实现。例如：确定单元101和更新单元102的相关功能可以通过模拟电路或者数字电路实现，其中，数字电路可以为数字信号处理器(Digital Signal Processor，DSP)，或者数字集成电路芯片(field programmable gate array，FPGA)；图像单元103的相关功能可以通过带有通信接口或收发功能的图形处理器(graphics processing unit，GPU)或处理器CPU等装置实现。
还需要说明的是，本申请实施例中所描述的图像处理装置10中各功能单元的功能，还可对应参见上述图3中所述的方法实施例中步骤S301-步骤S303的相关描述，例如：确定单元101可对应参见上述图3中所述的方法实施例中步骤S301，更新单元102可对应参见上述图3中所述的方法实施例中步骤S302，图像单元103可对应参见上述图3中所述的方法实施例中步骤S303，此处不再赘述。
如图18所示，图18是本申请实施例提供的另一种图像处理装置的结构示意图，该装置20包括至少一个处理器201，至少一个存储器202、至少一个通信接口203。此外，该装置还可以包括天线等通用部件，在此不再详述。
处理器201可以是通用中央处理器CPU，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
通信接口203，用于与其他装置或通信网络通信，如以太网，无线接入网，核心网，无线局域网(wireless local area networks，WLAN)等。
存储器202可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储装置，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储装置，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储装置、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器202用于存储执行以上方案的应用程序代码，并由处理器201来控制执行。所述处理器201用于执行所述存储器202中存储的应用程序代码。
存储器202存储的代码可执行以上图3提供的图像处理方法，比如确定目标终端上的M个摄像头各自的位姿改变量，M为大于1的整数；根据上述M个摄像头各自的位姿改变量，分别确定上述M个摄像头的相机参数，上述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于更新后的上述M个摄像头的相机参数，拼接上述M个摄像头拍摄的图像，获得上述世界坐标系对应的视角超过预设视角阈值的目标图像；将上述目标图像发送至上述目标终端。
需要说明的是，本申请实施例中所描述的图像处理装置20中各功能单元的功能可参见上述图3中所述的方法实施例中的步骤S301-步骤S303相关描述，此处不再赘述。
本申请实施例还提供了一种电子装置，可应用于上述应用场景一和上述应用场景二，该电子装置中包括处理器和存储器，其中，上述存储器用于存储图像处理程序代码，上述处理器用于调用上述图像处理程序代码来执行：
确定目标终端上的M个摄像头各自的位姿改变量，M为大于1的整数；根据上述M个摄像头各自的位姿改变量，分别确定上述M个摄像头的相机参数，上述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于更新后的上述M个摄像头的相机参数，拼接上述M个摄像头拍摄的图像，获得上述世界坐标系对应的视角超过预设视角阈值的目标图像；将上述目标图像发送至上述目标终端。
在一种可能实现的方式中，其特征在于，上述处理器用于调用上述图像处理程序代码来具体执行：根据上述M个摄像头拍摄的在多个重叠区域的图像，计算上述多个重叠区域分别对应的图像差异，其中，上述重叠区域为上述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；在上述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定上述M个摄像头的位姿改变量。
在一种可能实现的方式中，上述图像差异包括像素值差异；上述处理器用于调用上述图像处理程序代码来具体执行：获取上述M个摄像头分别拍摄的上述多个重叠区域的图像的像素值；根据上述图像的像素值，计算上述多个重叠区域分别对应的像素值差异。
在一种可能实现的方式中，上述位姿改变量包括位置改变量和角度改变量中的一个或多个；上述处理器用于调用上述图像处理程序代码来具体执行：获取上述目标终端的姿态改变量，上述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；根据上述终端与地面之间夹角改变量，确定上述地面与上述M个摄像头的相对位置关系；根据上述终端高度改变量和上述相对位置关系，确定上述M个摄像头各自的上述位置改变量和上述角度改变量中的一个或多个。
在一种可能实现的方式中，上述相机参数包括相机内参和相机外参中的一个或多个，上述相机内参包括上述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，上述相机外参包括上述摄像头坐标系与上述世界坐标系之间的关系；上述处理器用于调用上述图像处理程序代码来具体执行：根据上述M个摄像头的位姿改变量，计算上述M个摄像头各自对应的相机调整参数；基于上述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。
在一种可能实现的方式中，上述处理器用于调用上述图像处理程序代码来具体执行：判断上述目标终端的姿态是否发生变化；在上述目标终端的姿态发生变化时，确定上述目标终端上的M个摄像头的位姿改变量。
在一种可能实现的方式中，上述M个摄像头中任意一个摄像头的摄像覆盖区域与上述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。
在一种可能实现的方式中，上述M个摄像头为四个鱼眼摄像头，其中，上述四个鱼眼摄像头分别用于拍摄上述目标终端的车前图像、车后图像、车左图像以及车右图像。
需要说明的是，本申请实施例所提及的电子装置可以是云端的一个服务器、一个处理装置等，也可以是与智能终端存在通信连接的一个图像处理装置，本申请对此不做具体的限定。
还需要说明的是，本申请实施例中所描述的电子装置中相关的功能可参见上述图8中上述的方法实施例中的步骤S301-步骤S308以及其他实施例的相关描述，此处不再赘述。
本申请实施例还提供了一种装置，上述装置包括处理器，上述处理器用于：
确定上述目标终端上的M个摄像头的位姿改变量，M为大于1的整数；根据上述M个摄像头的位姿改变量，更新上述M个摄像头的相机参数，上述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；基于更新后的上述M个摄像头的相机参数，拼接上述M个摄像头拍摄的图像，获得上述世界坐标系对应的视角超过预设视角阈值的目标图像。
在一种可能实现的方式中，上述处理器具体用于：根据上述M个摄像头拍摄的在多个重叠区域的图像，计算上述多个重叠区域分别对应的图像差异，其中，上述重叠区域为上述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；在上述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定上述M个摄像头的位姿改变量。
在一种可能实现的方式中，上述图像差异包括像素值差异；上述处理器具体用于：获取上述M个摄像头分别拍摄的上述多个重叠区域的图像的像素值；根据上述图像的像素值，计算上述多个重叠区域分别对应的像素值差异。
在一种可能实现的方式中，上述位姿改变量包括位置改变量和/或欧拉角改变量；上述处理器具体用于：获取上述目标终端的姿态改变量，上述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；根据上述终端与地面之间夹角改变量，确定上述地面与上述M个摄像头的相对位置关系；根据上述终端高度改变量和上述相对位置关系，确定上述M个摄像头各自的上述位置改变量和上述角度改变量中的一个或多个。
在一种可能实现的方式中，上述相机参数包括相机内参和相机外参中的一个或多个，上述相机内参包括上述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，上述相机外参包括上述摄像头坐标系与上述世界坐标系之间的关系；上述处理器具体用于：根据上述M个摄像头的位姿改变量，计算上述M个摄像头各自对应的相机调整参数；基于上述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。
在一种可能实现的方式中，上述处理器具体用于：判断上述目标终端的姿态是否发生变化；在上述目标终端的姿态发生变化时，确定上述目标终端上的M个摄像头的位姿改变量。
在一种可能实现的方式中，上述M个摄像头中任意一个摄像头的摄像覆盖区域与上述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。
在一种可能实现的方式中，上述M个摄像头为四个鱼眼摄像头，其中，上述四个鱼眼摄像头分别用于拍摄上述目标终端的车前图像、车后图像、车左图像以及车右图像。
需要说明的是，本申请实施例所提及的装置可以是一个芯片、一个控制装置或者一个处理模块等用于对终端周边的环境图像进行图像处理，本申请对装置的具体形式不做具体的限定。
还需要说明的是，本申请实施例中所描述的装置中相关的功能可参见上述图8中上述的方法实施例中的步骤S301-步骤S304以及其他实施例的相关描述，此处不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
还需要说明的是，本申请的说明书和权利要求书及所述附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如：包含了一系列步骤或单元的过程、方法、系统、产品或装置没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或装置固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算装置上运行的应用和计算装置都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如，通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以为个人计算机、服务端或者网络装置等，具体可以是计算机装置中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中，而前述的存储介质可包括：U盘、移动硬盘、磁碟、光盘、只读存储器(Read-Only Memory，缩写：ROM)或者随机存取存储器(Random Access Memory，缩写：RAM)等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (30)

1.一种图像处理方法，其特征在于，包括：
确定目标终端上的M个摄像头的位姿改变量，M为大于1的整数；
根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；
基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。
2.根据权利要求1所述方法，其特征在于，所述确定目标终端上的M个摄像头的位姿改变量，包括：
根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；
在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。
3.根据权利要求2所述方法，其特征在于，所述图像差异包括像素值差异；所述根据所述M个摄像头分别拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，包括：
获取所述M个摄像头分别拍摄的所述多个重叠区域的图像的像素值；
根据所述图像的像素值，计算所述多个重叠区域分别对应的像素值差异。
4.根据权利要求1-3所述任意一项方法，其特征在于，所述位姿改变量包括位置改变量和角度改变量中的一个或多个；所述确定所述目标终端上的M个摄像头各自的位姿改变量，包括：
获取所述目标终端的姿态改变量，所述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；
根据所述终端与地面之间夹角改变量，确定所述地面与所述M个摄像头的相对位置关系；
根据所述终端高度改变量和所述相对位置关系，确定所述M个摄像头各自的所述位置改变量和所述角度改变量中的一个或多个。
5.根据权利要求1-4所述任意一项方法，其特征在于，所述相机参数包括相机内参和相机外参中的一个或多个，所述相机内参包括所述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，所述相机外参包括所述摄像头坐标系与所述世界坐标系之间的关系；
所述根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，包括：
根据所述M个摄像头的位姿改变量，计算所述M个摄像头各自对应的相机调整参数；
基于所述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。
6.根据权利要求1-5所述任意一项方法，其特征在于，所述确定所述目标终端上的M个摄像头的位姿改变量，包括：
判断所述目标终端的姿态是否发生变化；
在所述目标终端的姿态发生变化时，确定所述目标终端上的M个摄像头的位姿改变量。
7.根据权利要求1-6所述任意一项方法，其特征在于，所述M个摄像头中任意一个摄像头的摄像覆盖区域与所述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。
8.根据权利要求1-7所述任意一项方法，其特征在于，所述M个摄像头为四个鱼眼摄像头，其中，所述四个鱼眼摄像头分别用于拍摄所述目标终端的终端前图像、终端后图像、终端左图像以及终端右图像。
9.一种图像处理装置，其特征在于，包括：
确定单元，用于在目标终端行驶过程中，确定所述目标终端上的M个摄像头各自的位姿改变量，M为大于1的整数；
更新单元，用于根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；
图像单元，用于基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。
10.根据权利要求9所述装置，其特征在于，所述确定单元，具体用于：
根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；
在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。
11.根据权利要求10所述装置，其特征在于，所述图像差异包括像素值差异；所述确定单元，具体用于：
获取所述M个摄像头分别拍摄的所述多个重叠区域的图像的像素值；
根据所述图像的像素值，计算所述多个重叠区域分别对应的像素值差异。
12.根据权利要求9-11所述任意一项装置，其特征在于，所述位姿改变量包括位置改变量和角度改变量中的一个或多个；所述确定单元，具体用于：
获取所述目标终端的姿态改变量，所述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；
根据所述终端与地面之间夹角改变量，确定所述地面与所述M个摄像头的相对位置关系；
根据所述终端高度改变量和所述相对位置关系，确定所述M个摄像头各自的所述位置改变量和所述角度改变量中的一个或多个。
13.根据权利要求9-12所述任意一项装置，其特征在于，所述相机参数包括相机内参和相机外参中的一个或多个，所述相机内参包括所述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，所述相机外参包括所述摄像头坐标系与所述世界坐标系之间的关系；
所述更新单元，具体用于：根据所述M个摄像头的位姿改变量，计算所述M个摄像头各自对应的相机调整参数；基于所述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。
14.根据权利要求9-13所述任意一项装置，其特征在于，所述确定单元，具体用于：
判断所述目标终端的姿态是否发生变化；
在所述目标终端的姿态发生变化时，确定所述目标终端上的M个摄像头的位姿改变量。
15.根据权利要求9-14所述任意一项装置，其特征在于，所述M个摄像头中任意一个摄像头的摄像覆盖区域与所述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。
16.根据权利要求9-15所述任意一项装置，其特征在于，所述M个摄像头为四个鱼眼摄像头，其中，所述四个鱼眼摄像头分别用于拍摄所述目标终端的车前图像、车后图像、车左图像以及车右图像。
17.一种电子装置，其特征在于，包括处理器和存储器，其中，所述存储器用于存储图像处理程序代码，所述处理器用于调用所述图像处理程序代码来执行：
在目标终端行驶过程中，确定所述目标终端上的M个摄像头各自的位姿改变量，M为大于1的整数；
根据所述M个摄像头各自的位姿改变量，分别确定所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；
基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像；
将所述目标图像发送至所述目标终端。
18.根据权利要求17所述电子装置，其特征在于，所述处理器用于调用所述图像处理程序代码来具体执行：
根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；
在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。
19.一种装置，其特征在于，所述装置包括处理器，所述处理器用于：
确定目标终端上的M个摄像头的位姿改变量，M为大于1的整数；
根据所述M个摄像头的位姿改变量，更新所述M个摄像头的相机参数，所述相机参数包括对应的摄像头所拍摄的图像的坐标系与世界坐标系之间的映射关系；
基于更新后的所述M个摄像头的相机参数，拼接所述M个摄像头拍摄的图像，获得所述世界坐标系对应的视角超过预设视角阈值的目标图像。
20.根据权利要求19所述装置，其特征在于，所述处理器具体用于：
根据所述M个摄像头拍摄的在多个重叠区域的图像，计算所述多个重叠区域分别对应的图像差异，其中，所述重叠区域为所述M个摄像头在同一时刻拍摄的图像对应的摄像覆盖区域之间重合区域；
在所述多个重叠区域中存在至少一个重叠区域对应的图像差异超过预设阈值时，确定所述M个摄像头的位姿改变量。
21.根据权利要求20所述装置，其特征在于，所述图像差异包括像素值差异；所述处理器具体用于：
获取所述M个摄像头分别拍摄的所述多个重叠区域的图像的像素值；
根据所述图像的像素值，计算所述多个重叠区域分别对应的像素值差异。
22.根据权利要求19-21所述任意一项装置，其特征在于，所述位姿改变量包括位置改变量和/或欧拉角改变量；所述处理器具体用于：
获取所述目标终端的姿态改变量，所述姿态改变量包括终端高度改变量和终端与地面之间夹角改变量中的一个或多个；
根据所述终端与地面之间夹角改变量，确定所述地面与所述M个摄像头的相对位置关系；
根据所述终端高度改变量和所述相对位置关系，确定所述M个摄像头各自的所述位置改变量和所述角度改变量中的一个或多个。
23.根据权利要求19-22所述任意一项装置，其特征在于，所述相机参数包括相机内参和相机外参中的一个或多个，所述相机内参包括所述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，所述相机外参包括所述摄像头坐标系与所述世界坐标系之间的关系；
所述处理器具体用于：根据所述M个摄像头的位姿改变量，计算所述M个摄像头各自对应的相机调整参数；
基于所述M个摄像头对应的相机调整参数，调整对应摄像头的相机内参和相机外参中的一个或多个。
24.根据权利要求19-23所述任意一项装置，其特征在于，所述处理器具体用于：
判断所述目标终端的姿态是否发生变化；
在所述目标终端的姿态发生变化时，确定所述目标终端上的M个摄像头的位姿改变量。
25.根据权利要求19-24所述任意一项装置，其特征在于，所述M个摄像头中任意一个摄像头的摄像覆盖区域与所述M个摄像头中至少一个摄像头的摄像覆盖区域之间存在有重叠区域。
26.根据权利要求19-25所述任意一项装置，其特征在于，所述M个摄像头为四个鱼眼摄像头，其中，所述四个鱼眼摄像头分别用于拍摄所述目标终端的终端前图像、终端后图像、终端左图像以及终端右图像。
27.一种智能车辆，其特征在于，包括处理器、存储器以及通信接口，其中，所述存储器用于存储信息发送图像处理程序代码，所述处理器用于调用所述图像处理程序代码来执行权利要求1-8任一项所述的方法。
28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述权利要求1-8任意一项所述的方法。
29.一种计算机程序，其特征在于，所述计算机程序包括指令，当所述计算机程序被计算机执行时，使得所述计算机执行如权利要求1-8中任意一项所述的方法。
30.一种图像处理系统，其特征在于，包括处理器和存储器，所述处理器用于执行上述权利要求1-8任意一项所述的方法。
CN202180001570.0A 2021-03-29 2021-03-29 一种图像处理方法及相关终端装置 Active CN113261274B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/083515 WO2022204855A1 (zh) 2021-03-29 2021-03-29 一种图像处理方法及相关终端装置

Publications (2)

Publication Number Publication Date
CN113261274A true CN113261274A (zh) 2021-08-13
CN113261274B CN113261274B (zh) 2022-10-18

Family

ID=77180573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180001570.0A Active CN113261274B (zh) 2021-03-29 2021-03-29 一种图像处理方法及相关终端装置

Country Status (2)

Country Link
CN (1) CN113261274B (zh)
WO (1) WO2022204855A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205531A (zh) * 2021-12-23 2022-03-18 北京罗克维尔斯科技有限公司 一种车辆智能拍照方法、设备、装置及存储介质
CN114274948A (zh) * 2021-12-15 2022-04-05 武汉光庭信息技术股份有限公司 一种基于360度全景的自动泊车方法及装置
CN114449167A (zh) * 2022-01-15 2022-05-06 重庆长安汽车股份有限公司 基于体态识别的汽车拍照方法、系统、车辆及存储介质
CN116029900A (zh) * 2022-12-30 2023-04-28 小米汽车科技有限公司 图像处理方法、装置、存储介质以及车辆
CN116129049A (zh) * 2023-02-02 2023-05-16 阿里巴巴（中国）有限公司 图像处理方法、设备、存储介质及程序产品
CN114205531B (zh) * 2021-12-23 2024-06-04 北京罗克维尔斯科技有限公司 一种车辆智能拍照方法、设备、装置及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423863B (zh) * 2022-11-04 2023-03-24 深圳市其域创新科技有限公司 相机位姿估计方法、装置及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150329048A1 (en) * 2014-05-16 2015-11-19 GM Global Technology Operations LLC Surround-view camera system (vpm) online calibration
US20180292201A1 (en) * 2015-10-20 2018-10-11 Clarion Co., Ltd. Calibration apparatus, calibration method, and calibration program
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及系统
US20190362160A1 (en) * 2016-09-15 2019-11-28 Denso Corporation Attitude estimation device
CN110634163A (zh) * 2019-09-29 2019-12-31 上海闻泰信息技术有限公司 终端摄像头参数校准方法、装置、设备和存储介质
CN111640062A (zh) * 2020-05-15 2020-09-08 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法
CN112184545A (zh) * 2019-07-05 2021-01-05 杭州海康威视数字技术股份有限公司 车载环视图生成方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482626B2 (en) * 2018-01-08 2019-11-19 Mediatek Inc. Around view monitoring systems for vehicle and calibration methods for calibrating image capture devices of an around view monitoring system using the same
CN111489288B (zh) * 2019-01-28 2023-04-07 北京魔门塔科技有限公司 一种图像的拼接方法和装置
US11158056B2 (en) * 2019-06-26 2021-10-26 Intel Corporation Surround camera system with seamless stitching for arbitrary viewpoint selection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150329048A1 (en) * 2014-05-16 2015-11-19 GM Global Technology Operations LLC Surround-view camera system (vpm) online calibration
US20180292201A1 (en) * 2015-10-20 2018-10-11 Clarion Co., Ltd. Calibration apparatus, calibration method, and calibration program
US20190362160A1 (en) * 2016-09-15 2019-11-28 Denso Corporation Attitude estimation device
CN108805801A (zh) * 2018-05-24 2018-11-13 北京华捷艾米科技有限公司 一种全景图像校正方法及系统
CN112184545A (zh) * 2019-07-05 2021-01-05 杭州海康威视数字技术股份有限公司 车载环视图生成方法、装置及系统
CN110634163A (zh) * 2019-09-29 2019-12-31 上海闻泰信息技术有限公司 终端摄像头参数校准方法、装置、设备和存储介质
CN111640062A (zh) * 2020-05-15 2020-09-08 上海赫千电子科技有限公司 一种车载环视图像的自动拼接方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114274948A (zh) * 2021-12-15 2022-04-05 武汉光庭信息技术股份有限公司 一种基于360度全景的自动泊车方法及装置
CN114205531A (zh) * 2021-12-23 2022-03-18 北京罗克维尔斯科技有限公司 一种车辆智能拍照方法、设备、装置及存储介质
CN114205531B (zh) * 2021-12-23 2024-06-04 北京罗克维尔斯科技有限公司 一种车辆智能拍照方法、设备、装置及存储介质
CN114449167A (zh) * 2022-01-15 2022-05-06 重庆长安汽车股份有限公司 基于体态识别的汽车拍照方法、系统、车辆及存储介质
CN114449167B (zh) * 2022-01-15 2023-06-06 重庆长安汽车股份有限公司 基于体态识别的汽车拍照方法、系统、车辆及存储介质
CN116029900A (zh) * 2022-12-30 2023-04-28 小米汽车科技有限公司 图像处理方法、装置、存储介质以及车辆
CN116129049A (zh) * 2023-02-02 2023-05-16 阿里巴巴（中国）有限公司 图像处理方法、设备、存储介质及程序产品

Also Published As

Publication number Publication date
WO2022204855A1 (zh) 2022-10-06
CN113261274B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN113261274B (zh) 一种图像处理方法及相关终端装置
CN110550029A (zh) 障碍物避让方法及装置
CN110789533B (zh) 一种数据呈现的方法及终端设备
CN112639883A (zh) 一种相对位姿标定方法及相关装置
CN113228135B (zh) 一种盲区图像获取方法及相关终端装置
WO2021036592A1 (zh) 后视镜自适应调节方法及装置
CN112512887A (zh) 一种行驶决策选择方法以及装置
US20230048680A1 (en) Method and apparatus for passing through barrier gate crossbar by vehicle
CN112810603B (zh) 定位方法和相关产品
CN113859265B (zh) 一种驾驶过程中的提醒方法及设备
WO2024093768A1 (zh) 一种车辆告警方法以及相关设备
WO2022061702A1 (zh) 驾驶提醒的方法、装置及系统
CN114445490A (zh) 一种位姿确定方法及其相关设备
CN115221151A (zh) 车辆数据的传输方法、装置、车辆、存储介质及芯片
CN114981138A (zh) 车辆可行驶区域的检测方法以及检测装置
CN112639910B (zh) 交通元素的观测方法和装置
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN115115707B (zh) 车辆落水检测方法、车辆、计算机可读存储介质及芯片
CN114616153B (zh) 防碰撞的方法和控制装置
WO2022127502A1 (zh) 控制方法和装置
CN115139946B (zh) 车辆落水检测方法、车辆、计算机可读存储介质及芯片
WO2024108380A1 (zh) 自动泊车方法及装置
CN114822216B (zh) 生成车位地图的方法、装置、车辆、存储介质及芯片
CN111775962B (zh) 自动行驶策略的确定方法及装置
CN111845786B (zh) 自动行驶策略的确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant