CN113228135B - 一种盲区图像获取方法及相关终端装置 - Google Patents

一种盲区图像获取方法及相关终端装置 Download PDF

Info

Publication number
CN113228135B
CN113228135B CN202180001469.5A CN202180001469A CN113228135B CN 113228135 B CN113228135 B CN 113228135B CN 202180001469 A CN202180001469 A CN 202180001469A CN 113228135 B CN113228135 B CN 113228135B
Authority
CN
China
Prior art keywords
target
image
frame
blind area
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180001469.5A
Other languages
English (en)
Other versions
CN113228135A (zh
Inventor
王笑悦
张峻豪
黄为
张宇腾
彭惠东
陈晓丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN113228135A publication Critical patent/CN113228135A/zh
Application granted granted Critical
Publication of CN113228135B publication Critical patent/CN113228135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本申请实施例公开了一种盲区图像获取方法及相关终端装置。其中，一种盲区图像获取方法，包括：确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系；确定障碍物与目标终端之间的目标距离；若所述目标距离小于或等于预设距离阈值，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域的填充像素点；基于所述多个目标点对应的填充像素点输出所述盲区图像。实施本申请实施例，可以获得终端底部的盲区区域的图像。

Description

一种盲区图像获取方法及相关终端装置
技术领域
本申请涉及终端技术领域，尤其涉及一种盲区图像获取方法及相关终端装置。
背景技术
随着电子技术、计算机技术、传感器技术和新材料等的发展，终端的行驶安全和体验越来越被厂商和用户所重视。与其他众多传感器相比，终端上的摄像机系统可以通过视觉信息，为终端行驶过程中提供更广阔的视角，为用户提供更直观和准确的终端周边环境信息。例如：当终端为车辆时，可以通过对同一时刻环视摄像头采集车身四周图像影像进行处理，获得车身周边环境情况，但是车底盲区在现有普通车载全景环视系统中是不可见的。当车辆行驶在一些路况崎岖、地面不平、存在积水、石子等障碍物的场景时，车底容易发生剐蹭、石子被轮胎挤压袭击底盘等情况。如果仅仅在终端的底部盲区安装摄像头，往往会因为不同的路况，造成摄像头损坏、摄像头视野受阻等，从而导致无法采集终端行驶底部盲区的视觉信息。
因此，如何有效的获取终端底部的盲区图像，是亟待解决的问题。
发明内容
本申请实施例提供一种盲区图像获取方法及相关终端装置，可以精准获得终端底部的盲区区域的图像。
本申请提供的盲区图像获取方法可以由电子装置，盲区图像获取装置等执行。电子装置是指能够被抽象为计算机系统，支持处理图像功能的电子装置，也可称为图像处理装置。盲区图像获取装置可以是该电子装置的整机，也可以是该电子装置中的部分器件，例如：支持图像处理功能、支持盲区图像获取功能相关的芯片，如系统芯片或图像芯片。其中，系统芯片也称为片上系统，或称为SoC芯片。具体地，盲区图像获取装置可以是诸如智能车辆中车载电脑这样的相关装置，也可以是能够被设置在智能终端的计算机系统或图像处理系统中的系统芯片或图像获取芯片。
第一方面，本申请实施例提供了一种盲区图像获取方法，可包括：
确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
确定障碍物与所述目标终端之间的目标距离；
在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
基于所述多个目标点对应的填充像素点输出所述盲区图像。
通过第一方面提供的方法，在障碍物与所述目标终端之间的目标距离小于或等于预设距离阈值时，通过从多帧行驶图像中选取拍摄时间最近的像素点作为盲区区域内目标点的填充像素点，获得盲区图像。这种选择最近拍摄时间的像素点作为盲区区域内目标点的填充像素点，可以最大限度的保证获得的盲区区域的盲区图像清晰度较高，而且降低了障碍物遮挡的概率。因此，采用某种特定的方法对车底盲区进行填充，可以让驾驶员多方位观察汽车所在位置，防止轮胎磨损、底盘剐蹭受损，以便用户可以更好地观察终端周围、轮胎及终端底部信息，辅助停止行驶，最大限度避免终端损失事故发生，大大的提升了驾驶体验和行驶安全性。
在一种可能实现的方式中，所述多帧历史行驶图像为m帧历史行驶图像；所述在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中的每个目标点的填充像素点，包括：在所述目标距离小于或等于预设距离阈值时，将所述m帧历史行驶图像按照拍摄时间排序，m为大于1的整数；根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从第x帧历史行驶图像中获取目标像素点集合，作为所述多个目标点对应的填充像素点集合，其中，所述目标像素点集合包括所述多个目标点对应的填充像素点，所述第x帧历史行驶图像为所述m帧历史行驶图像中包括所述目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，x＝1、2、3…m。实施本申请实施例，按照时间排序后，选择拍摄时间最近的图像对盲区区域进行填充，可以有效的避免帧数时延导致的障碍物遮挡等问题，而且获得最终的盲区区域图像的画质比较清晰，提高了终端底部盲区的显示效果。
在一种可能实现的方式中，所述方法还包括：在所述目标像素点集合为部分目标点对应的填充像素点集合时，依次从第x+1帧历史行驶图像中获取目标像素点集合，作为剩余部分目标点对应的填充像素点集合，直至所述盲区区域中所述多个目标点填充完毕。实施本申请实施例，按照时间排序后，从多帧历史行驶图像中选择拍摄时间最近一帧历史行驶图像对盲区区域进行填充，可以有效的避免帧数时延导致的障碍物遮挡等问题，而且获得最终的盲区区域图像的画质比较清晰，提高了终端底部盲区的显示效果。
在一种可能实现的方式中，所述目标点分为第一类目标点和第二类目标点，所述目标像素点集合为所述第x帧历史行驶图像中以所述第一类目标点对应的填充像素点和所述第二类目标点对应的填充像素点为端点的线段上的所有像素点集合，其中，所述第一类目标点和所述第二类目标点分别为所述盲区区域不同的边界上的目标点，且在所述盲区区域中，所述第一类目标点和所述第二类目标点一一对应并呈轴对称分布。实施本申请实施例，只计算部分位置是否在历史帧行驶图像像素范围之内，以条状填充盲区位置。大大减少了在实际应用中的计算量，提高了盲区图像获取效率，减少了延时时间。
在一种可能实现的方式中，所述方法还包括：在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内所述多个目标点中每个目标点的填充像素点；其中，在所述第x+1帧历史行驶图像中包括与所述第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点。实施本申请实施例，这种针对前一帧与后一帧历史行驶图像之间重合的盲区区域，选择较大面积的历史行驶图像对重合的盲区区域进行填充，可以尽可能的减少盲区图像的拼接次数和拼接数量，可以有效的避免了多图拼接引起的图像错位、亮度不一致的问题，提高了终端底部盲区的展示效果。
在一种可能实现的方式中，所述确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系之前，还包括：通过多目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像。实施本申请实施例，这种可以通过多目摄像头获取行驶图像，极大地提高了获取盲区图像的清晰度，提高了驾驶的安全性。需要说明的是，摄像头的安装位置可以根据终端的行驶需求，安装在目标终端的前进方向上。
在一种可能实现的方式中，所述确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系之前，还包括：通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像。实施本申请实施例，这种可以通过单目摄像头获取行驶图像，极大地缓解了盲区图像获取方法对硬件的要求，降低了普及难度，提高了驾驶的安全性。需要说明的是，摄像头的安装位置可以根据行车需求，安装在目标终端的前进方向上。
在一种可能实现的方式中，所述确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系之前，还包括：通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；获取所述目标终端的速度信息；基于所述速度信息，获取相邻帧行驶图像之间的距离信息；基于所述距离信息，确定所述单目摄像头的深度估计的尺寸值，所述尺寸值用于指示在深度估计时单位长度的大小；所述确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，包括：基于所述尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。实施本申请实施例，在通过单目摄像头获取多帧行驶图像时，为了确定相机的深度估计尺寸值，还需要获取目标终端的速度信号，速度信号用来进行初始化深度估计尺寸值。因此，只需要开始时刻数据且不需要高精度，每时刻的速度数据。这种方式不会过分依赖速度信息的获取，在堵车等驾驶场景下，依旧可以实现盲区图像的获取，最大概率的保证了终端在速度失效的应用场景下，依旧可以保持盲区图像的正常获取，以保持终端的安全行驶，降低行车的安全隐患。
在一种可能实现的方式中，所述确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，包括：对所述当前帧行驶图像与所述多帧历史行驶图像进行图像特征检测，获取所述当前帧行驶图像与所述多帧历史行驶图像之间的图像特征点，所述图像特征点为所述当前帧行驶图像与所述多帧历史行驶图像之间的共视点；基于所述图像特征点和尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。实施本申请实施例，通过多帧行驶图像之间的特征点确定多帧行驶图像之间的位姿关系，可以提高位姿关系确定的准确率，从而提高盲区图像的获取效率。
第二方面，本申请实施例提供了一种盲区图像获取装置，包括：
第一确定单元，用于确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
第二确定单元，用于确定障碍物与所述目标终端之间的目标距离；
第一获取单元，用于在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
输出单元，用于基于所述多个目标点对应的填充像素点输出所述盲区图像。
在一种可能实现的方式中，所述多帧历史行驶图像为m帧历史行驶图像，所述第一获取单元，具体用于：在所述目标距离小于或等于预设距离阈值时，将所述m帧历史行驶图像按照拍摄时间排序，m为大于1的整数；根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从第x帧历史行驶图像中获取目标像素点集合，作为所述多个目标点对应的填充像素点集合，其中，所述目标像素点集合包括所述多个目标点对应的填充像素点，所述第x帧历史行驶图像为所述m帧历史行驶图像中包括所述目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，x＝1、2、3…m。
在一种可能实现的方式中，所述第一获取单元，还具体用于：在所述目标像素点集合为部分目标点对应的填充像素点集合时，依次从第x+1帧历史行驶图像中获取目标像素点集合，作为剩余部分目标点对应的填充像素点集合，直至所述盲区区域中所述多个目标点填充完毕。
在一种可能实现的方式中，所述目标点分为第一类目标点和第二类目标点，所述目标像素点集合为所述第x帧历史行驶图像中以所述第一类目标点对应的填充像素点和所述第二类目标点对应的填充像素点为端点的线段上的所有像素点集合，其中，所述第一类目标点和所述第二类目标点分别为所述盲区区域不同的边界上的目标点，且在所述盲区区域中，所述第一类目标点和所述第二类目标点一一对应并呈轴对称分布。
在一种可能实现的方式中，所述第一获取单元，还用于：在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域的填充像素点；其中，在所述第x+1帧历史行驶图像中包括与所述第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点。
在一种可能实现的方式中，所述装置还包括：第二获取单元，用于确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系之前，通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；或者，通过多目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像。
在一种可能实现的方式中，所述装置还包括：第三获取单元，用于确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系之前，通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；获取所述目标终端的速度信息；基于所述速度信息，获取相邻帧行驶图像之间的距离信息；基于所述距离信息，确定所述单目摄像头的深度估计的尺寸值，所述尺寸值用于指示在深度估计时单位长度的大小；所述第一确定单元，具体用于：基于所述尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
在一种可能实现的方式中，所述第一确定单元，具体用于：对所述当前帧行驶图像与所述多帧历史行驶图像进行图像特征检测，获取所述当前帧行驶图像与所述多帧历史行驶图像之间的图像特征点，所述图像特征点为所述当前帧行驶图像与所述多帧历史行驶图像之间的共视点；基于所述图像特征点和尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
第三方面，本申请实施例提供了一种装置，可包括处理器，所述处理器用于：
确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
确定障碍物与所述目标终端之间的目标距离；
在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
基于所述多个目标点对应的填充像素点输出所述盲区图像。
在一种可能实现的方式中，所述多帧历史行驶图像为m帧历史行驶图像；所述处理器，具体用于：在所述目标距离小于或等于预设距离阈值时，将所述m帧历史行驶图像按照拍摄时间排序，m为大于1的整数；根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从第x帧历史行驶图像中获取目标像素点集合，作为所述多个目标点对应的填充像素点集合，其中，所述目标像素点集合包括所述多个目标点对应的填充像素点，所述第x帧历史行驶图像为所述m帧历史行驶图像中包括所述目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，x＝1、2、3…m。
在一种可能实现的方式中，所述处理器还用于：在所述目标像素点集合为部分目标点对应的填充像素点集合时，依次从第x+1帧历史行驶图像中获取目标像素点集合，作为剩余部分目标点对应的填充像素点集合，直至所述盲区区域中所述多个目标点填充完毕。
在一种可能实现的方式中，所述目标点分为第一类目标点和第二类目标点，所述目标像素点集合为所述第x帧历史行驶图像中以所述第一类目标点对应的填充像素点和所述第二类目标点对应的填充像素点为端点的线段上的所有像素点集合，其中，所述第一类目标点和所述第二类目标点分别为所述盲区区域不同的边界上的目标点，且在所述盲区区域中，所述第一类目标点和所述第二类目标点一一对应并呈轴对称分布。
在一种可能实现的方式中，所述处理器还用于：
在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内所述多个目标点中每个目标点的填充像素点；其中，在所述第x+1帧历史行驶图像中包括与所述第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点。
在一种可能实现的方式中，所述处理器还用于：确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系之前通过多目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像。
在一种可能实现的方式中，所述处理器还用于：确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系之前，通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；获取所述目标终端的速度信息；基于所述速度信息，获取相邻帧行驶图像之间的距离信息；基于所述距离信息，确定所述单目摄像头的深度估计的尺寸值，所述尺寸值用于指示在深度估计时单位长度的大小；所述处理器具体用于：基于所述尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
在一种可能实现的方式中，所述处理器具体用于：对所述当前帧行驶图像与所述多帧历史行驶图像进行图像特征检测，获取所述当前帧行驶图像与所述多帧历史行驶图像之间的图像特征点，所述图像特征点为所述当前帧行驶图像与所述多帧历史行驶图像之间的共视点；基于所述图像特征点和尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
第四方面，本申请实施例提供了一种电子装置，可包括处理器和存储器，其中，所述存储器用于存储盲区图像获取程序代码，所述处理器用于调用所述盲区图像获取程序代码来执行：
确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
确定障碍物与所述目标终端之间的目标距离；
在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
基于所述多个目标点对应的填充像素点输出所述盲区图像。
在一种可能实现的方式中，所述多帧历史行驶图像为m帧历史行驶图像；所述处理器还用于调用所述盲区图像获取程序代码来执行：在所述目标距离小于或等于预设距离阈值时，将所述m帧历史行驶图像按照拍摄时间排序，m为大于1的整数；根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从第x帧历史行驶图像中获取目标像素点集合，作为所述多个目标点对应的填充像素点集合，其中，所述目标像素点集合包括所述多个目标点对应的填充像素点，所述第x帧历史行驶图像为所述m帧历史行驶图像中包括所述目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，x＝1、2、3…m。
在一种可能实现的方式中，所述处理器还用于调用所述盲区图像获取程序代码来执行：在所述目标像素点集合为部分目标点对应的填充像素点集合时，依次从第x+1帧历史行驶图像中获取目标像素点集合，作为剩余部分目标点对应的填充像素点集合，直至所述盲区区域中所述多个目标点填充完毕。
在一种可能实现的方式中，所述目标点分为第一类目标点和第二类目标点，所述目标像素点集合为所述第x帧历史行驶图像中以所述第一类目标点对应的填充像素点和所述第二类目标点对应的填充像素点为端点的线段上的所有像素点集合，其中，所述第一类目标点和所述第二类目标点分别为所述盲区区域不同的边界上的目标点，且在所述盲区区域中，所述第一类目标点和所述第二类目标点一一对应并呈轴对称分布。
在一种可能实现的方式中，所述处理器还用于调用所述盲区图像获取程序代码来执行：在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内所述多个目标点中每个目标点的填充像素点；其中，在所述第x+1帧历史行驶图像中包括与所述第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点。
在一种可能实现的方式中，所述处理器还用于调用所述盲区图像获取程序代码来执行：确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系，通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；或者，通过多目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像。
在一种可能实现的方式中，所述处理器还用于调用所述盲区图像获取程序代码来执行：确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系之前，通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；获取所述目标终端的速度信息；基于所述速度信息，获取相邻帧行驶图像之间的距离信息；基于所述距离信息，确定所述单目摄像头的深度估计的尺寸值，所述尺寸值用于指示在深度估计时单位长度的大小；所述处理器具体用于调用所述盲区图像获取程序代码来执行：基于所述尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
在一种可能实现的方式中，所述处理器具体用于调用所述盲区图像获取程序代码来执行：对所述当前帧行驶图像与所述多帧历史行驶图像进行图像特征检测，获取所述当前帧行驶图像与所述多帧历史行驶图像之间的图像特征点，所述图像特征点为所述当前帧行驶图像与所述多帧历史行驶图像之间的共视点；基于所述图像特征点和尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
第五方面，本申请实施例提供一种计算机存储介质，用于储存为上述第一方面提供的一种盲区图像获取方法所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
第六方面，本申请实施例提供了一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行上述第一方面中的盲区图像获取方法所执行的流程。
第七方面，本申请实施例提供了一种智能车辆，包括图像处理系统，其中，所述图像处理系统用于执行第一方面提供的盲区图像获取方法中相应的功能。
第八方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持电子装置实现上述第一方面中所涉及的功能，例如，生成或处理上述盲区图像获取方法中所涉及的信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存数据发送装置必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
通过本申请实施例，在障碍物与所述目标终端之间的目标距离小于或等于预设距离阈值时，通过从多帧行驶图像中选取拍摄时间最近的像素点作为盲区区域内目标点的填充像素点，获得盲区图像。这种选择最近拍摄时间的像素点作为盲区区域内目标点的填充像素点，可以最大限度的保证获得的盲区区域的盲区图像清晰度较高，而且降低了障碍物遮挡的概率。因此，采用某种特定的方法对车底盲区进行填充，可以让驾驶员多方位观察汽车所在位置，防止轮胎磨损、底盘剐蹭受损，以便用户可以更好地观察终端周围、轮胎及终端底部信息，辅助停止行驶，最大限度避免终端损失事故发生，大大的提升了驾驶体验和行驶安全性。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是本申请实施例提供的一种智能车辆001的功能框图。
图2是本申请实施例提供的一种智能车辆中计算装置结构示意图。
图3是本申请实施例提供的一种盲区图像获取系统架构示意图。
图4是本申请实施例提供的一种盲区图像获取方法的流程示意图。
图5是本申请实施例提供的一种确定多帧行驶图像之间位姿关系的流程示意图。
图6是本申请实施例提供的一种车辆在行驶时的场景示意图。
图7是本申请实施例提供的一种目标点和填充像素点示意图。
图8是本申请实施例提供的一种盲区填充示意图。
图9是本申请实施例提供的另一种盲区填充示意图。
图10是本申请实施例提供的多种第一类目标点和第二类目标点的分布示意图。
图11是本申请实施例提供的多种盲区区域示意图。
图12是本申请实施例提供的一种目标车辆在一种应用场景下的场景示意图。
图13是本申请实施例提供的一种应用场景下盲区图像获取方法流程示意图。
图14是本申请实施例提供的一种一帧历史行驶图像可以提供盲区图像示意图。
图15是本申请实施例提供的一种多帧历史行驶图像可以提供盲区图像示意图。
图16是本申请实施例提供的一种盲区图像获取装置的结构示意图。
图17是本申请实施例提供的另一种盲区图像获取装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例进行描述。
首先，需要说明的是，本申请实施例所涉及的终端、智能终端、目标终端、终端装置等，可以包括但不限于：车辆、可移动的机器人、可移动的终端装置等等。
为了便于理解本申请实施例，下面先以智能车辆为例，对本申请实施例所基于的其中一种安装有盲区图像获取系统的终端装置进行描述。
请参见图1，图1是本申请实施例提供的一种智能车辆001的功能框图。
在一个实施例中，可以将智能车辆001配置为完全或部分地自动驾驶模式。例如，智能车辆001可以在处于自动驾驶模式中的同时控制自身，并且可通过人为操作来确定车辆及其周边环境的当前状态，确定周边环境中的至少一个其他车辆的可能行为，并确定该其他车辆执行可能行为的可能性相对应的置信水平，基于所确定的信息来控制智能车辆001。在智能车辆001处于自动驾驶模式中时，可以将智能车辆001置为在没有和人交互的情况下操作。
智能车辆001可包括各种子系统，例如行进系统202、传感器系统204、控制系统206、一个或多个外围装置208以及电源210、计算机系统212和用户接口216。可选地，智能车辆001可包括更多或更少的子系统，并且每个子系统可包括多个元件。另外，智能车辆001的每个子系统和元件可以通过有线或者无线互连。
行进系统202可包括为智能车辆001提供动力运动的组件。在一个实施例中，行进系统202可包括引擎218、能量源219、传动装置220和车轮/轮胎221。
引擎218可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎218将能量源219转换成机械能量。
能量源219的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源219也可以为智能车辆001的其他系统提供能量。
传动装置220可以将来自引擎218的机械动力传送到车轮221。传动装置220可包括变速箱、差速器和驱动轴。在一个实施例中，传动装置220还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮221的一个或多个轴。
传感器系统204可包括感测关于智能车辆001周边的环境的信息的若干个传感器。例如，传感器系统204可包括定位系统222(定位系统可以是全球定位(global positioningsystem，GPS)系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertialmeasurement unit，IMU)224、雷达226、激光测距仪228以及相机230。传感器系统204还可包括被监视智能车辆001的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主智能车辆001的安全操作的关键功能。
定位系统222可用于估计智能车辆001的地理位置。
IMU 224用于基于惯性加速度来感测智能车辆001的位置和朝向变化。在一个实施例中，IMU 224可以是加速度计和陀螺仪的组合。例如：IMU 224可以用于测量智能车辆001的曲率。
雷达226可利用无线电信号来感测智能车辆001的周边环境内的物体。在一些实施例中，除了感测物体以外，雷达226还可用于感测物体的速度和/或前进方向。
例如：在本申请实施例中，雷达226可以用于检测智能车辆001前进方向上的障碍物。例如：静态或动态的障碍物。还可以用于获取障碍物的位置信息、速度信息、移动方向信息等等，以辅助智能车辆001的安全行驶，以及完善周边环境的视觉效果。
激光测距仪228可利用激光来感测智能车辆001所位于的环境中的物体。在一些实施例中，激光测距仪228可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
例如：在本申请实施例中，激光测距仪228可辅助雷达226可以用于检测智能车辆001前进方向上的障碍物，获取障碍物的位置与智能车辆001之间的距离信息等等，以辅助智能车辆001的安全行驶，以及完善周边环境的视觉效果。
相机230可用于捕捉智能车辆001的周边环境的多个图像。相机230可以是静态相机或视频相机。相机230还可以构成360环视监控(around view monitor，AVM)系统，用于监测智能车辆周边的障碍物、道路情况等。其中，相机230可以包括多个不同或相同规格的车载摄像头，如：广角摄像头，长焦摄像头，鱼眼摄像头，标准摄像头，变焦摄像头等等。其中，根据具体的应用，相机230还可以分为单目摄像机和多目摄像机，分别应用于不同的驾驶场景。
例如：在本申请实施例中，相机230可以包括一个鱼眼摄像头、广角摄像头等等各种类型的单目摄像头，用于拍摄智能车辆前进方向上的周边环境，然后通过获取车辆的速度信息确定该相机230的深度估计的尺寸值，进而确定多帧行驶图像间的位姿关系；最后根据该多帧行驶图像间的位姿关系以拼接生成车辆对应盲区的图像，以辅助驾驶员更好地实现驾驶、泊车、会车等驾驶操作。又例如，当相机230包括一个双目摄像头时，可以通过不同目的摄像头拍摄的行驶图像确定该相机230的深度估计的尺寸值，从而确定多帧行驶图像间的位姿关系；最后根据该多帧行驶图像间的位姿关系以拼接生成车辆对应盲区的图像，以辅助驾驶员更好地驾驶车辆。如：利用双目相机同一时刻两张图像进行特征检测和匹配，根据匹配结果和双目相机安装时标定出的基线距离，直接计算图像深度，得到特征点的空间三维坐标。
控制系统206为控制智能车辆001及其组件的操作。控制系统206可包括各种元件，其中包括转向系统232、油门234、制动单元236、传感器融合算法238、计算机视觉系统240、路线控制系统242以及障碍物避免系统244。
转向系统232可操作来调整智能车辆001的前进方向。例如在一个实施例中可以为方向盘系统。
油门234用于控制引擎218的操作速度并进而控制智能车辆001的速度。
制动单元236用于控制智能车辆001减速。制动单元236可使用摩擦力来减慢车轮221。在其他实施例中，制动单元236可将车轮221的动能转换为电流。制动单元236也可采取其他形式来减慢车轮221转速从而控制智能车辆001的速度。
计算机视觉系统240可以操作来处理和分析由相机230捕捉的图像以便识别智能车辆001周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统240可使用物体识别算法、运动中恢复结构(structure frommotion，SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统240可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。
例如：计算机视觉系统240可以基于智能车辆上的多个车载摄像头的相机参数，将多个车载摄像头分别拍摄的图像转换为世界坐标系中的图像，并获得智能车辆在世界坐标系中对应的行驶图像。
例如：在本申请实施例中，计算机视觉系统240还可以根据障碍物与智能车辆001之间的距离，分别对应按照不同的策略获取盲区图像的填充像素点。例如，根据当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系和当前帧行驶图像对应的盲区位置信息，获取当前帧图像对应车辆盲区区域的盲区图像。其中，该盲区图像获取方法可以有效避免了帧数时延导致的障碍物遮挡等问题，还可以有效的避免了多图拼接引起的图像错位、亮度不一致的问题，提高了车底盲区的显示效果。需要说明的是，关于该盲区图像获取方法的具体实施方式，可以对应参考下述方法实施例的相关描述，本申请实施例，在此暂不叙述。
路线控制系统242用于确定智能车辆001的行驶路线。在一些实施例中，路线控制系统242可结合来自传感器238、GPS 222和一个或多个预定地图的数据以为智能车辆001确定行驶路线。
障碍物避免系统244用于识别、评估和避免或者以其他方式越过智能车辆001的环境中的潜在障碍物。
当然，在一个实例中，控制系统206可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
智能车辆001通过外围装置208与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围装置208可包括无线通信系统246、车载电脑248、麦克风250和/或扬声器252。
在一些实施例中，外围装置208提供智能车辆001的用户与用户接口216交互的手段。例如，车载电脑248可向智能车辆001的用户提供信息。用户接口216还可操作车载电脑248来接收用户的输入。车载电脑248可以通过触摸屏进行操作。在其他情况中，外围装置208可提供用于智能车辆001与位于车内的其它装置通信的手段。
麦克风250可从智能车辆001的用户接收音频(例如，语音命令或其他音频输入)。麦克风250还可以采集智能车辆001内各类装置工作时的噪音。
扬声器252可向智能车辆001输出各种需要的声波信号。例如，扬声器252可以是一种将电信号转换为声信号的电声换能器。
无线通信系统246可以直接地或者经由通信网络来与一个或多个装置无线通信。例如，无线通信系统246可使用3G蜂窝通信，例如码分多址(code division multipleaccess，CDMA)、演变数据优化(evolution-data optimized，EVDO)、全球移动通讯系统(global system for mobile communications，GSM)/通用分组无线服务(general packetradio service，GPRS)，或者蜂窝通信，例如长期演进(long time evolution，LTE)。或者5G蜂窝通信。无线通信系统246可利用WiFi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统246可利用红外链路、蓝牙或Zig Bee与装置直接通信。其他无线协议，例如：各种车辆通信系统，例如，无线通信系统246可包括一个或多个专用短程通信(dedicated short range communications，DSRC)装置，这些装置可包括车辆和/或路边台站之间的公共和/或私有数据通信。例如：在本申请实施例中，麦克风250采集到的噪音信号可以通过无线通信系统发送至处理器213中。
电源210可向智能车辆001的各种组件提供电力。在一个实施例中，电源210可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为智能车辆001的各种组件提供电力。在一些实施例中，电源210和能量源219可一起实现，例如一些全电动车中那样。
智能车辆001的部分或所有功能受计算机系统212控制。计算机系统212可包括至少一个处理器213，处理器213执行存储在例如存储器214这样的非暂态计算机可读介质中的指令215。计算机系统212还可以是采用分布式方式控制智能车辆001的个体组件或子系统的多个计算装置。
处理器213可以是任何常规的处理器，诸如商业可获得的中央处理单元(centralprocessing unit，CPU)。替选地，该处理器可以是诸如应用集成电路(applicationspecific integrated circuit，ASIC)或其它基于硬件的处理器的专用装置。尽管图1功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件，但是本领域的普通技术人员应该理解该处理器、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中，处理器213可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
在本申请实施例中，处理器213用于确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系；确定障碍物与所述目标车辆之间的目标距离；根据位姿关系和当前帧行驶图像对应盲区区域的盲区位置信息，从多帧历史行驶图像中获取盲区区域内多个目标点中每个目标点的填充像素点；其中，在目标距离小于或等于预设距离阈值时，填充像素点为多帧历史行驶图像中目标点对应的拍摄时间最近的像素点；在目标距离大于预设距离阈值时，第x+1帧历史行驶图像中包括与第x帧历史行驶图像中相同目标点的像素点，相同目标点对应的填充像素点为第x+1帧历史行驶图像与第x帧历史行驶图像中对应目标点的数量多的一帧历史行驶图像中相同目标点对应的像素点；输出所述盲区图像。该填充像素点获取策略的具体实现方式，以及，处理器213确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系的具体计算方式，可参考后续系统和方法实施例的相关描述，在此暂不赘述。
在一些实施例中，存储器214可包含指令215(例如，程序逻辑)，指令215可被处理器213执行来执行智能车辆001的各种功能，包括以上描述的那些功能。存储器214也可包含额外的指令，包括向推进系统202、传感器系统204、控制系统206和外围装置208中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令215以外，存储器214在本申请实施例中还可存储数据，例如：智能车辆中多个车载摄像头拍摄的多帧行驶图像，智能车辆中每个车载摄像头的相机参数、智能车辆的盲区位置信息、盲区形状信息等等以及其它这样的车辆数据。这种信息可在智能车辆001在汽车盲区图像获取的操作期间被智能车辆001和/或计算机系统212使用。
用户接口216，用于向智能车辆001的用户提供信息或从其接收信息。可选地，用户接口216可包括在外围装置208的集合内的一个或多个输入/输出装置，例如无线通信系统246、车载电脑248、麦克风250和扬声器252。
计算机系统212可基于从各种子系统(例如，行进系统202、传感器系统204和控制系统206)以及从用户接口216接收的输入来控制智能车辆001的功能。例如，计算机系统212可利用来自控制系统206的输入以便控制转向单元232来避免由传感器系统204和障碍物避免系统244检测到的障碍物。在一些实施例中，计算机系统212可操作来对智能车辆001及其子系统的许多方面提供控制。
可选地，上述这些组件中的一个或多个可与智能车辆001分开安装或关联。例如，存储器214可以部分或完全地与智能车辆001分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本申请实施例的限制。
在道路行进的自动驾驶汽车，如上面的智能车辆001，可以识别智能车辆前进方向上的障碍物距该智能车辆的距离大小，其距离大小可以确定对当前盲区图像获取的策略进行选择。
可选地，智能车辆001或者与智能车辆001相关联的计算装置(如图1的计算机系统212、计算机视觉系统240、存储器214)可以基于所识别的物体的特性和周围环境的状态(例如，停车场内的静态或动态物体等等)来预测所述识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。智能车辆001能够基于预测的所述识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)什么稳定状态。在这个过程中，也可以考虑其它因素来确定智能车辆001的速度，诸如，智能车辆001在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外，计算装置还可以提供修改智能车辆001的转向角的指令，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如，道路上的相邻车道中的轿车)的安全横向和纵向距离。
上述智能车辆001可以为轿车、卡车、摩托车、公共汽车、娱乐车、游乐场车辆、施工装置、电车、高尔夫球车、火车、和手推车等拥有车载摄像头的各式车辆，本申请实施例不做特别的限定。
可以理解的是，图1中的智能车辆功能图只是本申请实施例中的一种示例性的实施方式，本申请实施例中的智能车辆包括但不仅限于以上结构。
请参考附图2，图2是本申请实施例提供的一种智能车辆中计算装置结构示意图，应用于上述图1中，相当于图1所示的计算机系统212，可以包括处理器203，处理器203和系统总线205耦合。处理器203可以是一个或者多个处理器，其中每个处理器都可以包括一个或多个处理器核，相当于上述图1所示的处理器213。存储器235可以存储相关数据信息，存储器235和系统总线205耦合，相当于上述图1所示的存储器214。显示适配器(videoadapter)207，显示适配器207可以驱动显示器209，显示器209和系统总线205耦合。系统总线205通过总线桥201和输入输出(input/output，I/O)总线213耦合。I/O接口215和I/O总线耦合。I/O接口215和多种I/O装置进行通信，比如输入装置217(如：键盘，鼠标，触摸屏等)，多媒体盘(media tray)221,(例如，只读光盘(compact disc read-only memory，CD-ROM)，多媒体接口等)。收发器223(可以发送和/或接受无线电通信信号)，摄像头255(可以捕捉景田和动态数字视频图像)和外部通用外行总线(universal serial bus，USB)接口225。其中，可选地，和I/O接口215相连接的接口可以是USB接口。
其中，处理器203可以是任何传统处理器，包括精简指令集计算(reducedinstruction set computing，RISC)处理器、复杂指令集计算(complex instruction setcomputer，CISC)处理器或上述的组合。可选地，处理器可以是诸如专用集成电路ASIC的专用装置。可选地，处理器203可以是神经网络处理器或者是神经网络处理器和上述传统处理器的组合。例如：处理器203可以确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系；确定障碍物与所述目标车辆之间的目标距离；根据位姿关系和当前帧行驶图像对应盲区区域的盲区位置信息，从多帧历史行驶图像中获取盲区区域内多个目标点中每个目标点的填充像素点；其中，在目标距离小于或等于预设距离阈值时，填充像素点为多帧历史行驶图像中目标点对应的拍摄时间最近的像素点；在目标距离大于预设距离阈值时，第x+1帧历史行驶图像中包括与第x帧历史行驶图像中相同目标点的像素点，相同目标点对应的填充像素点为第x+1帧历史行驶图像与第x帧历史行驶图像中对应目标点的数量多的一帧历史行驶图像中相同目标点对应的像素点；输出所述盲区图像。
计算机系统212可以通过网络接口229和软件部署服务器(deploying server)249通信。网络接口229是硬件网络接口，比如，网卡。网络227可以是外部网络，比如因特网，也可以是内部网络，比如以太网或者虚拟私人网络(virtual private network，VPN)。可选地，网络227还可以是无线网络，比如WiFi网络，蜂窝网络等。
收发器223(可以发送和/或接受无线电通信信号)，可以通过不限于第二代(2thgeneration，2G)移动通信网络、第三代(3th generation，3G)移动通信网络、第四代(4thgeneration，4G)移动通信网络、第五代(5th generation，5G)移动通信网络等各种无线通信方式，也可以是专用短程通信技术(dedicated short range communications，DSRC)，或者长时间演进-车辆(long term evolution-vehicle，LTE-V)等技术，其主要功能是接收外部装置发送的信息数据，并将该车辆在目标路段行驶时信息数据发送回给外部装置进行存储分析。
硬盘驱动接口231和系统总线205耦合。硬件驱动接口231和硬盘驱动器233相连接。系统内存235和系统总线205耦合。运行在系统内存235的数据可以包括计算机系统212的操作系统OS 237和应用程序243。
存储器235和系统总线205耦合。
操作系统包括壳shell 239和内核(kernel)241。shell 239是介于使用者和操作系统之内核间的一个接口。shell是操作系统最外面的一层。shell管理使用者与操作系统之间的交互：等待使用者的输入；向操作系统解释使用者的输入；并且处理各种各样的操作系统的输出结果。
内核241由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互，操作系统内核通常运行进程，并提供进程间的通信，提供CPU时间片管理、中断、内存管理、I/O管理等等。
应用程序243包括控制盲区图像获取相关的程序，比如，管理车载摄像头获取行驶图像的程序，计算多帧行驶图像之间位姿关系的程序，从多帧行驶图像中筛选出部分或全部行驶图像以获取车辆盲区区域的盲区图像的程序等等。应用程序243也存在于软件部署服务器249的系统上。在一个实施例中，在需要执行盲区图像获取的相关程序247时，计算机系统212可以从软件部署服务器249下载应用程序243。例如：应用程序243选择多帧行驶图像填充当前帧行驶图像的盲区区域的图像，避免了使用单张行驶图像盲区区域填充不完全的现象。同时在选择填充像素点时，根据障碍物与在智能车辆之间的目标距离；若目标距离小于或等于预设距离阈值，选择拍摄时间最近的像素点为填充像素点，有效避免了帧数时延导致的障碍物遮挡等问题，同时由于选择的填充图像为拍摄时间最近的一帧行驶图像，其最终获得的盲区区域的清晰度也最好。若目标距离大于预设距离阈值，选择对应目标点多的历史帧行驶图像中的像素点为填充像素点，有效的避免了多图拼接引起的图像错位、亮度不一致的问题，提高了车底盲区的显示效果。两种不同情况下的选择的填充像素点不同，大大提高了获得完整、清晰、准确的盲区图像的概率，保障了智能车辆的行车安全。而且，采用某种特定的方法对盲区进行填充，可以让驾驶员多方位观察汽车所在位置，防止轮胎磨损、底盘剐蹭受损，也以便驾驶员更好地观察车周、轮胎及车底信息，辅助泊车，最大限度避免车辆损失事故发生，提升驾驶体验和驾驶安全性。
传感器253和计算机系统212关联。传感器253用于探测计算机系统212周围的环境。举例来说，传感器253可以探测动物，汽车，障碍物和人行横道等，进一步传感器还可以探测上述动物，汽车，障碍物和人行横道等物体周围的环境，比如：动物周围的环境，例如，动物周围出现的其他动物，天气条件，周围环境的光亮度等。可选地，如果计算机系统212位于盲区图像获取系统的汽车上，传感器可以是摄像头，红外线感应器，化学检测器等。
可以理解的是，图2中的盲区图像获取装置结构只是本申请实施例中的一种示例性的实施方式，本申请实施例中的应用于智能车辆的盲区图像获取装置结构包括但不仅限于以上结构。
另外，结合本申请中提供的盲区图像获取方法，请参考附图3，图3是本申请实施例提供的一种盲区图像获取系统架构示意图。如图3所示，该盲区图像获取系统架构包括数据加载模块(相当于上述图1所示的传感器系统204)、图像处理模块、动态选帧模块，还可以包括拼接及优化模块、显示模块。其中，图像处理模块和动态选帧模块均相当于上述图1所示的计算机视觉系统。
数据加载模块，相当于上述图1所示的传感器系统204。可以用于获得障碍物与智能终端之间的距离信息；还可以用于获得当前帧行驶图像与一帧或多帧历史行驶图像；还可以用于获取智能终端的速度信息等。例如，可以负责获取同时刻的终端上环视系统的多路鱼眼摄像头图像数据，并从车辆总线上获得速度数据，在有其他传感器的条件下，获取其他提供终端状态或速度信息传感器数据，比如组合定位系统、加装的双目摄像头。可以理解的，当终端装置为车辆时，该传感器模块内相关组件的作用可对应参考上述图1所示的智能车辆架构中传感器系统204的相关描述，本申请实施例在此不再赘述。
图像处理模块，相当于上述图1所示的计算机视觉系统或者上述图1所示的计算机系统212。该图像处理模块可以用于确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系。例如：负责对多帧前视或后视鱼眼图像(可以由智能终端的前进方向确定)或加装的双目摄像头进行计算，通过对不同图像间特征进行检测和匹配，计算不同帧图像间的相对位姿关系。
动态选帧模块，相当于上述图1所示的计算机视觉系统或者上述图1所示的计算机系统212。动态选帧模块可以用于从一帧或多帧历史行驶图像筛选出可以填充盲区区域图像的行驶图像，其中具体的筛选方式可以对应参考下述方法实施例的相关描述，本申请实施例对此暂不叙述。例如：负责针对已知相对位姿关系的多帧图像和当前盲区位置，首先按时间顺序排列多帧图像，并通过快速边缘判断获取已经排好序的不同帧图像针对当前盲区的区域动态拼接范围，从而筛选出目标帧图像以拼接盲区图像。
拼接及优化模块，用于根据筛选后的目标帧图像，拼接、优化并输出智能终端当前帧行驶图像对应的盲区图像。例如：负责对不同帧图像对应此刻的拼接范围进行计算，完成盲区区域图像的生成和拼接，并对多帧图像的亮度进行归一化调整，生成亮度比较均一的完整的盲区区域图像。
显示模块，可以负责显示智能终端底部盲区区域的图像。
以智能车辆为例，基于图1提供的智能车辆架构，图2提供的盲区图像获取装置的结构，以及图3提供的盲区图像获取系统架构，结合本申请中提供的盲区图像获取方法，对本申请中提出的技术问题进行具体分析和解决。
参见图4，图4是本申请实施例提供的一种盲区图像获取方法的流程示意图，该盲区图像获取方法可应用于上述图1中上述的智能车辆中，其中的智能车辆001可以用于支持并执行图4中所示的方法流程步骤S301-步骤S306，下面将结合附图4进行描述。该方法可以包括以下步骤S301-步骤S306。
步骤S301：获取当前帧行驶图像与多帧历史行驶图像。
具体地，盲区图像获取装置获取当前帧行驶图像与多帧历史行驶图像，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端(如：车辆等)前进方向上的周边环境图像。可以理解的是，多帧历史行驶图像也可以称为历史帧行驶图像。其中，多帧行驶图像可以通过终端上的摄像头获得。例如：当目标终端为智能车辆时，在目标车辆前行的情况下，获取的前方的环境图像为目标车辆的行驶图像；当目标车辆倒车时，获取的后方的环境图像为目标车辆的行驶图像。又例如：当目标车辆行驶时，可以获取的车辆的鸟瞰图为目标车辆的行驶图像。
需要说明的是，环境图像是指终端在行驶时包括行驶的路面、周边障碍物等等包含周边行驶环境的图像。还需要说明的是，本申请实施例提及的目标车辆、智能车辆等相关描述相当于上述图1所示的智能车辆。
可选的，通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；或者，通过多目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像。例如：可以通过智能车辆的行车记录仪，获取目标车辆前进方向上的行驶图像。又例如：可以通过智能车辆的双目摄像头，获取目标车辆前进方向上的行驶图像。这种既可以通过单目摄像头获取行驶图像又可以通过多目摄像头获取行驶图像，极大地缓解了盲区图像获取方法对硬件的要求，降低了普及难度，提高了驾驶的安全性。需要说明的是，摄像头的安装位置可以根据行车需求，安装在目标终端的前进方向上。
步骤S302：确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系。
具体地，盲区图像获取装置确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像。需要说明的是，该位姿关系是指当前帧行驶图像与多帧历史行驶图像中每一帧历史行驶图像之间的位姿关系，也可以是指拍摄当前帧行驶图像时目标终端与拍摄历史行驶图像时目标终端之间的位姿关系。其中，根据该位姿关系可以确定拍摄当前帧行驶图像时目标终端对应盲区位置在之前拍摄的历史行驶图像中的位置。而且，该位姿关系包括了旋转信息(如：旋转角度)和平移信息(如：平移距离)。
可选的，对所述当前帧行驶图像与所述多帧历史行驶图像进行图像特征检测，获取所述当前帧行驶图像与所述多帧历史行驶图像之间的图像特征点，所述图像特征点为所述当前帧行驶图像与所述多帧历史行驶图像之间的共视点；基于所述图像特征点和尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。需要说明的是，尺寸值用于指示在深度估计时行驶图像单位像素长度的大小。特征点可以是行驶图像中的共视点，即，当前帧图像与历史行驶图像中均包括的目标对象对应的像素点。而且该特征点，一般具有尺寸不变性，旋转不变性。例如：目标对象一般可以选择如路边的标识、红路灯、树木、路障等等，进而选择其对应的像素点作为图像的特征点。还需要说明的是，在急转弯、大转弯的行驶场景下，若确定当前帧行驶图像A与拍摄时间距当前帧行驶图像较远的历史行驶图像B的之间的位姿关系时，可以先确定当前帧行驶图像A与历史行驶图像C之间的第一位姿关系；在确定历史行驶图像C与历史行驶图像B之间的第二位姿关系；最后根据第一位姿关系和第二位姿关系确定当前帧行驶图像A与历史行驶图像B之间的位姿关系；其中，历史行驶图像C的拍摄时间在当前时间与拍摄历史行驶图像B时间点之间。
请参考附图5，图5是本申请实施例提供的一种确定多帧行驶图像之间位姿关系的流程示意图。如图5所示：第一步：图像特征检测；该图像特征检测是对行驶图像中的特征检测，识别图像中包括的路面特征，环境特征，障碍物特征等等，以方便选取上述特征的特征点。第二步：图像特征点匹配；图像特征点匹配是将不同行驶图像间相同的特征点匹配对应起来，以便确定行驶图像间的位姿关系。第三步：深度估计；是对物体到车载摄像头之间距离估计，以便确定拍摄完后，行驶图像上相机坐标系下每单位像素点对应世界坐标系下的尺寸大小。第四步，像素点和世界点匹配位姿估计；即将每个行驶图像中像素点与世界坐标系中的点匹配起来，以确定两个不同拍摄时间拍摄的相同的世界点(世界坐标系中的点)之间位姿关系，进而确定其对应像素点之间的位姿关系。第五步：重投影误差优化；对比多帧行驶图像之间的位姿关系，优化结果，减小误差，最后输出位姿关系。这种通过多帧行驶图像之间的特征点确定多帧行驶图像之间的位姿关系，可以提高位姿关系确定的准确率，从而提高盲区图像的获取效率。
例如：在确定位姿关系之前，还可以利用事先标定好的相机外参及相机模组厂商给的相机内参，对终端上的环视系统行驶图像进行畸变矫正，获取畸变矫正后的图像，并对中心区域进行剪裁，获取图像质量较优的部分。其中，上述相机内参包括上述摄像头所拍摄的图像的坐标系与摄像头坐标系之间的关系，上述相机外参包括上述摄像头坐标系与上述世界坐标系之间的关系。将畸变矫正及剪裁后的图像序列(图像序列包括当前帧行驶图像与一帧或多帧历史行驶图像)上进行图像特征检测，针对检测到的图像特征，在图像序列上进行匹配，通过匹配得到一系列行驶图像上同一特征点的对应关系。利用三角化和多点投影关系算法，获得图片序列间相对位姿关系，并利用相机投影模型进行优化。其中，当目标终端为车辆，获取行驶图像的车载摄像头为单目车载摄像头时，位姿关系中位姿的尺度由汽车CAN总线提供的速度信号进行初始化。这种通过多帧行驶图像确定位姿关系的方式会更加准确，提高了确定行驶图像中盲区位置的准确度。
可选的，若通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；则确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系之前，所述方法还包括：获取所述目标终端的速度信息；基于所述速度信息，获取相邻帧行驶图像之间的距离信息；基于所述距离信息，确定所述单目摄像头的深度估计的尺寸值，所述尺寸值用于指示在深度估计时单位长度的大小；所述确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系，包括：基于所述尺寸值，确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系。在通过单目摄像头获取多帧行驶图像时，为了确定相机的深度估计尺寸值，还需要获取目标终端的速度信号，如，可以通过传感器系统或者车辆的控制器局域网络(controller area network，CAN)获取目标车辆的速度信号，其中，速度信号只用来进行初始化深度估计尺寸值，因此，只需要开始时刻数据且不需要高精度，每时刻的速度数据。这种方式不会过分依赖速度信息的获取，在堵车、速度缓慢前行等行驶场景下，依旧可以实现盲区图像的获取，最大概率的保证了终端在速度失效的应用场景下，依旧可以保持盲区图像的正常获取，以保持车辆的安全行驶，降低行车的安全隐患。
步骤S303：确定障碍物与目标终端之间的目标距离。
具体地，盲区图像获取装置确定障碍物与所述目标终端之间的目标距离。可以理解的是，障碍物可以是目标终端前进方向上的障碍物。以智能车辆为例，请参考附图6，图6是本申请实施例提供的一种车辆在行驶时的场景示意图。如图6所示：目标车辆A和目标车辆B行驶在马路上，其中，目标车辆A行驶在目标车辆B的前方，左右两边的道路上均有树木。对于目标车辆A，其前进方向上并没有障碍物(静态或动态)，既可以理解为障碍物与目标车辆之间的目标距离为最大值，且大于预设阈值。对于目标车辆B，由于目标车辆A在目标车辆B的前方行驶，则障碍物与目标车辆B之间的目标距离为目标车辆A和目标车辆B之间的距离，目标车辆A为目标车辆B前进方向上的障碍物(动态)。
需要说明的是，步骤S303与步骤S301和步骤S302的执行顺序本申请实施例不做具体的限定。例如：本申请实施例还可以先确定障碍物与目标终端之间的目标距离，再确定多帧行驶图像之间的位姿关系。
步骤S304：在目标距离小于或等于预设距离阈值时，根据位姿关系和当前帧行驶图像对应盲区区域的盲区位置信息，从多帧历史行驶图像中获取盲区区域内多个目标点中每个目标点的填充像素点。
具体地，盲区图像获取装置在确定障碍物与目标终端之间的目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点。其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点。盲区区域包括多个目标点，针对盲区区域内所述多个目标点中的每个目标点，从所述多帧历史行驶图像中选择拍摄时间最近的像素点作为所述目标点的所述填充像素点。需要说明的是，请参考附图7，图7是本申请实施例提供的一种目标点和填充像素点示意图。如图7所示，盲区区域包括多个目标点，每个目标点可以对应行驶图像中的某一个像素点，获取到行驶图像中目标点对应的像素点为该像素点的填充像素点后，输出所有目标点对应的填充像素点可以获得盲区图像。
还需要说明的是，盲区图像获取装置在确定在距目标终端的预设范围内存在障碍物时，从所述多帧历史行驶图像中选择所述目标点对应的拍摄时间最近的像素点为盲区区域的填充像素点，以获取盲区区域的盲区图像。其中，针对所述多个目标点中的每个目标点，从所述多帧历史行驶图像中选择拍摄时间最近的像素点作为所述目标点的所述填充像素点。即，可以理解为当多帧历史行驶图像均包括相同像素点的像素值时，选择拍摄时间距所述当前时间最近的一帧历史行驶图像提供所述像素点的像素值。这种选择拍摄时间最近的像素点对盲区区域内的目标点进行填充，可以有效的避免帧数时延导致的障碍物遮挡等问题，而且获得最终的盲区区域图像的画质比较清晰，提高了终端底部盲区的显示效果。另外，预设距离阈值的大小可以基于目标终端盲区大小确定，在障碍物与目标终端的距离超过盲区的大小时，则障碍物对盲区的遮挡概率较小；在障碍物与目标终端的距离小于盲区的大小时，则障碍物对盲区的遮挡概率较大，因此，在实际驾驶过程中，预设距离阈值的大小可以基于目标终端盲区大小确定。
可选的，所述多帧历史行驶图像为m帧历史行驶图像；所述在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中的每个目标点的填充像素点，包括：在所述目标距离小于或等于预设距离阈值时，将所述m帧历史行驶图像按照拍摄时间排序，m为大于1的整数；根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从第x帧历史行驶图像中获取目标像素点集合，作为所述多个目标点对应的填充像素点集合，其中，所述目标像素点集合包括所述多个目标点对应的填充像素点，所述第x帧历史行驶图像为所述m帧历史行驶图像中包括所述目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，x＝1、2、3…m。可以理解的是：目标像素点集合包括第x帧历史行驶图像中与目标点对应的填充像素点。将所述多帧历史行驶图像按照拍摄时间排序；根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从排序后的所述多帧历史行驶图像中确定包含与目标点对应像素点的、拍摄时间最近的一帧行驶图像；获取所述该行驶图像中像素点集合，填充至所述盲区区域。需要说明的所示，本申请实施例是将填充像素点的像素值填充至目标点处以获得盲区区域的图像。
可选的，所述方法还包括：在所述目标像素点集合为部分目标点对应的填充像素点集合时，依次从第x+1帧历史行驶图像中获取目标像素点集合，作为剩余部分目标点对应的填充像素点集合，直至所述盲区区域中所述多个目标点填充完毕。若将上述行驶图像中的目标像素点集合无法完全填充当前帧行驶图像对应的盲区区域，即，所述盲区区域中存在未填充的区域，则需要获取所述盲区区域中当前未填充的区域，并将所述未填充的区域对应的位置信息更新为盲区位置信息；根据所述位姿关系和所述更新后的盲区位置信息，从所述第x+1帧历史行驶图像中确定目标像素点集合，填充至所述盲区区域中未填充的区域；依次遍历所述第x+1帧历史行驶图像后的所述多帧历史行驶图像，获取目标像素点集合，直至所述盲区区域填充完毕，获得所述盲区图像。
例如：针对当前帧盲区，历史帧为按时间顺序排序的，历史帧第x帧和第x+1帧均能提供部分盲区区域，其中，有重叠区域及各自单独覆盖区域。针对盲区开始以左右边缘端点计算当前历史帧可以提供的区域(目标像素点集合)。判断可以第x帧可以提供的最大盲区范围后，更新盲区区域范围并继续下一帧图像寻找可以提供的区域(目标像素点集合)，直至盲区全部填充。这种选择拍摄时间最近的图像对盲区区域进行填充，可以有效的避免帧数时延导致的障碍物遮挡等问题，而且获得最终的盲区区域图像的画质比较清晰，提高了车底盲区的显示效果。
又例如：请参考附图8，图8是本申请实施例提供的一种盲区填充示意图。如图8所示：第一帧历史行驶图像、第二帧历史行驶图像和第三帧历史行驶图像，以及第四帧历史行驶图像，上述多帧历史行驶图像均可以提供部分或全部盲区图像，即，可以提供部分或全部盲区区域内目标点对应的填充像素点，如：分别为A、B、C、D四个部分。其中，第一帧至第四帧历史行驶图像按照拍摄时间由晚到早排序，即，拍摄第一帧历史行驶图像的时间要晚于第二帧历史行驶图像。在多帧历史行驶图像均存在有与同一个目标点对应的像素点时，按照拍摄时间，选取距当前时间最近的一帧历史行驶图像提供该目标点对应的像素点为填充像素点，获取该填充像素点的像素值。如图7所示：在拼接过程，按照拍摄时间，盲区区域的图像由第一帧历史行驶图像提供的A区域内的填充像素点、第二帧历史行驶图像提供的B区域除去与A区域重合区域的剩余部分区域内的填充像素点和第三帧历史行驶图像提供的C区域除去与B区域重合区域的剩余部分区域内的填充像素点填充完成。同时，由于前三帧历史行驶图像中的盲区图像可以填充完全全部盲区区域，所以由于前三帧历史行驶图像可以提供全部盲区区域的图像，且拍摄时间距当前时间更近，因此，第四帧历史行驶图像即使可以提供全部盲区区域的像素点，也需要舍弃。
步骤S305：在目标距离大于预设距离阈值时，根据位姿关系和当前帧行驶图像对应盲区区域的盲区位置信息，从多帧历史行驶图像中获取盲区区域内多个目标点中每个目标点的填充像素点。
具体地，盲区图像获取装置在确定障碍物与目标终端之间的目标距离大于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域的填充像素点；其中，在所述第x+1帧历史行驶图像中包括与所述第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点。即，在第x+1帧历史行驶图像中对应所述目标点的数量大于第x帧历史行驶图像中对应所述目标点的数量，且第x+1帧历史行驶图像中包括的与所述第x帧历史行驶图像中相同目标点对应的像素点时，针对所述相同目标点，从所述多帧历史行驶图像中选择第x+1帧历史行驶图像相同目标点对应的像素点集合作为所述相同目标点对应的所述填充像素点集合。另外，针对所述第x+1帧历史行驶图像与所述第x帧历史行驶图像不相同的目标点，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中获取不相同的目标点对应的填充像素点填充至盲区区域。
例如：针对当前帧盲区，历史帧为按时间顺序排序的，历史帧x和x+1均能提供部分盲区区域，其中有重叠区域(第二像素点集合对应的目标点区域)及各自单独覆盖区域(第一像素点集合对应的目标点区域)。针对盲区开始以左右边缘端点计算当前历史帧可以提供的区域。当后序历史帧覆盖范围包括前序历史帧区域部分及全部范围时，修改前序历史帧区域范围为后续历史帧不包括的范围。最终，实现全部区域的终端底部盲区填充。当后序帧提供的范围足够大时，该方案可能从后序某一帧中填充全部终端底部盲区。其中，所述第一像索点策合为拍摄时间最近的与所述目标点对应的像紊点，所述第二像索点集合包抬所述第x+1帧历史行半图像中包指的与所述第x幀历史行驶图像中相同目标点对应的像索点。
需要说明的是，盲区图像获取装置在确定在距目标终端的预设范围内存在障碍物时，从所述多帧历史行驶图像的每相邻两帧历史行驶图像中选择所述目标点对应的像素点多的一帧行驶图像提供相同目标点的填充像素点，以获取盲区区域的盲区图像。其中，当多帧历史行驶图像包括相同目标点的填充像素点时，选择多帧历史行驶图像中包含填充像素点数量多的一帧行驶图像提供所述像素点。这种选择较大面积的图像对盲区区域进行填充，可以尽可能的减少盲区图像的拼接次数和拼接数量，可以有效的避免了多图拼接引起的图像错位、亮度不一致的问题，提高了车底盲区的展示效果。
例如：请参考附图9，图9是本申请实施例提供的另一种盲区填充示意图。如图9所示：第一帧历史行驶图像、第二帧历史行驶图像和第三帧历史行驶图像，以及第四帧历史行驶图像，上述多帧历史行驶图像均可以提供部分或全部盲区图像，即，可以提供部分或全部盲区区域内目标点对应的填充像素点，如：分别为A、B、C、D四个部分。其中，第一帧至第四帧历史行驶图像按照拍摄时间由晚到早排序，即，拍摄第一帧历史行驶图像的时间要晚于第二帧历史行驶图像。在多帧历史行驶图像均可提供同一个目标点的填充像素点时，按照所能够提供盲区的面积，选取提供盲区的面积更大的一帧历史行驶图像提供该目标点的填充像素点。
如图9所示：在拼接过程，按照拍摄时间，开始从第一帧历史行驶图像遍历，确认第一帧历史行驶图像中A区域对应的像素点为盲区区域的目标点对应的填充像素点，同时获取A区域的位置信息和面积信息。此时，盲区区域的图像由第一帧历史行驶图像提供的A区域内的填充像素点。
在确定第一帧历史行驶图像只是部分盲区区域后，开始遍历第一帧历史行驶图像后的第二帧历史行驶图像；确认第二帧历史行驶图像中B区域对应的像素点为盲区区域的目标点对应的填充像素点，同时获取B区域的位置信息和面积信息，对比A区域与B区域的位置和面积，确定B区域所能够提供盲区区域的面积更大，则进一步判断A区域与B区域是否可以提供相同像素点的像素值(即，A区域与B区域是否存在重叠区域，或者第二帧历史行驶图像是否包含第二像素点集合)，发现B区域可以提供与A区域相同像素点的像素值，即B区域与A区域之间存在的重叠区域为A区域。因此，此时，盲区区域的图像由第二帧历史行驶图像提供的第一像素点集合(B区域单独所提供的填充像素点)和第二像素点集合(A区域内的填充像素点)。即，填充B区域单独所提供的盲区区域、舍弃A区域所提供的盲区区域，将B区域所提供的盲区区域图像填充至当前帧行驶图像对应的盲区区域中。
确定第一帧历史行驶图像和第二帧历史行驶图像当前提供的盲区区域只是部分盲区区域后，开始遍历第二帧历史行驶图像后的第三帧历史行驶图像；确认第三帧历史行驶图像中C区域图像对应的像素点为盲区区域的部分目标点对应的填充像素点，同时获取C区域的位置信息和面积信息，对比C区域与B区域的位置和面积，确定第三帧历史行驶图像中C区域所能够提供盲区区域的面积更大，发现C区域可以提供与B区域相同像素点的像素值，且同时C区域与B区域分别也存在单独的盲区区域。因此，此时，盲区区域的图像由第二帧历史行驶图像提供的第一像素点集合(B区域相较于C区域单独所提供的填充像素点)和第三帧历史行驶图像提供的第一像素点集合(C区域相较于B区域单独所提供的填充像素点)与第二像素点集合(C区域可以提供与B区域相同像素点)。即，对比C区域与B区域后，保留B区域所单独提供的部分盲区区域、舍弃B区域中与C区域重合的重叠区域，将与C区域拼接。将B区域除去与C区域重合的部分区域所提供的盲区区域图像与C区域所提供的盲区区域图像填充至当前帧行驶图像对应的盲区区域中。
确定第二帧历史行驶图像和第三帧历史行驶图像所提供的盲区区域图像可以完全覆盖全部盲区区域，则盲区区域的图像由第二帧历史行驶图像提供的B区域除去与C区域重合区域的剩余部分区域和第三帧历史行驶图像提供的C区域拼接完成。另外，由于前三帧历史行驶图像中的盲区图像可以填充完全全部盲区区域，所以第四帧历史行驶图像即使可以提供全部盲区的图像，也需要舍弃。
还需要说明的是，第x帧历史行驶图像中对应所述目标点的数量相当于第x帧历史行驶图像中像素点与盲区区域内目标点的对应数量；也可以理解为，第x帧历史行驶图像中所对应盲区区域的面积大小。同理，可以确定第x+1帧历史行驶图像中对应所述目标点的数量。另外，第x+1帧历史行驶图像的第一像素点集合，相当于拍摄时间距离当前时间最近的、与目标点对应的像素点集合，相当于第一次获取到的像素点集合；第x+1帧历史行驶图像的第二像素点集合，相当于与第x帧历史行驶图像中相同目标点对应的像素点集合，相当于与第x帧历史行驶图像相同的像素点集合，也相当于，第x+1帧历史行驶图像中与第x帧历史行驶图像对应的相同的盲区区域。
例如：将所述多帧历史行驶图像按照拍摄时间排序；根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从排序后的所述多帧历史行驶图像中确定包含所述目标像素点的行驶图像；确定该历史行驶图像中所述目标像素点集合对应的第一盲区区域；若该第一盲区区域为部分盲区区域，则遍历该历史行驶图像排序后的历史行驶图像，确定排序后的历史行驶图像包含的第二盲区区域；对比所述第一盲区区域和所述第二盲区区域的位置和覆盖面积大小；若所述第一盲区区域与所述第二盲区区域之间存在重叠区域，且小于所述第二盲区区域，则所述重叠区域由所述第二盲区区域对应的像素点填充；若所述第一盲区区域与所述第二盲区区域之间存在重叠区域，且第一盲区区域大于或等于所述第二盲区区域，则所述重叠区域由第一盲区区域对应的像素点填充，直至填充完毕。另外，若所述第一盲区区域与所述第二盲区区域之间不存在重叠区域，则将所述第一盲区区域与所述第二盲区区域依次填充至所述盲区区域。
可选的，在所述第x+1帧历史行驶图像中对应所述目标点的数量小于或等于所述第x帧历史行驶图像中对应所述目标点的数量，且第x+1帧历史行驶图像中包括的与所述第x帧历史行驶图像中相同目标点对应的像素点时，针对所述相同目标点，从所述多帧历史行驶图像中选择第x帧历史行驶图像相同目标点对应的像素点集合作为所述相同目标点对应的所述填充像素点集合。在后序历史行驶图像中，若没有单独的盲区填充区域时，即，第x+1帧历史行驶图像中对应所述目标点的数量小于或等于所述第x帧历史行驶图像中对应所述目标点的数量，则以第x帧历史行驶图像中的第一像素点集合作为所述目标点的所述填充像素点。这样既可以保证最终获得的盲区图像的清晰度，又可以减少拼接次数。
可选的，目标点分为第一类目标点和第二类目标点，所述目标像素点集合为所述多帧历史行驶图像中以所述第一类目标点对应的填充像素点和所述第二类目标点对应的填充像素点为端点的线段上的所有像素点集合，其中，第一类目标点和第二类目标点分别位于所述盲区区域不同的边界上，且在所述盲区区域中，所述第一类目标点和所述第二类目标点一一对应并呈轴对称分布。这种只计算如左右端边缘两个位置是否在历史帧行驶图像像素范围之内，以条状填充盲区位置。大大减少了在实际应用中的计算量，提高了盲区图像获取效率，减少了延时时间。需要说明的是。本申请实施例中所涉及的盲区图形获取方法可以先确定第一类目标点和第二类目标点分别对应的填充像素点，以减少在实际应用中的计算量。
可以理解的是，盲区的形状大小与目标终端的形状和大小有关。在行驶过程中，以目标终端的前进方向为正方向，以过盲区的中线为轴，第一类目标点和第二类目标点可以成左右对称分布，分别对应所述盲区边界的左边界和右边界。例如：请参考附图10，图10是本申请实施例提供的多种第一类目标点和第二类目标点的分布示意图。例如：如图10中(1)所示：盲区区域的形状为矩形，第一类目标点和第二类目标点可以分别对应矩形的左右两边上的点。其中，再确认行驶图像的目标像素点集合时，是以所述第一类目标点和对应的所述第二类目标点为端点的线段上的所有像素点集合，若仅有左端点(第一类目标点)，没有与之对应的右端点(第二类目标点)的情况下(如图10中(1)所示)，则可以认为该行驶图像不包括目标像素点集合，也不包括目标像素点。因此，确定该行驶图像不包括未填充盲区的目标像素点集合。又例如：如图10中(2)所示：盲区区域的形状为三角形，过该三角形的中点，以终端的前进方向为正方向，第一类目标点和第二类目标点分别对应三角形区域的其左右两边的边界。其中，再确认行驶图像的目标像素点集合时，是以所述第一类目标点和对应的所述第二类目标点为端点的线段上的所有像素点集合，因此，如图10中(2)所示，该行驶图像对应的三角形盲区区域为包括目标像素点集合和非目标像素点集合。其中，由于非目标像素点集合对应的仅有左端点(第一类目标点)，没有与之对应的右端点(第二类目标点)的情况下，则可以认为该非目标像素点集合所对应的像素点不满足需求。上述只获取第一类目标点和对应第二类目标点同时存在的像素点集合，使得最后拼接填充的盲区图像是由条状区域组合成的，降低了盲区在多帧行驶图像中对应像素点集合是不规则形状下的拼接难度，同时在第一类目标点和对应第二类目标点同时存在下，获取与第一类目标点和对应第二类目标点所在相同线段上的像素点，大大减少了在实际应用中的计算量，提高了盲区图像获取效率，减少了延时时间。
需要说明的是，由于终端形状的不同，盲区区域的形状也不相同，因此本申请对盲区的形状并不作具体的限定。例如：请参考附图11，图11是本申请实施例提供的多种盲区区域示意图。如图11所示，当盲区区域的形状为圆形、椭圆形或不规则形状时，以目标终端的前进方向为正方向，尽可能的将该盲区区域平分周长相等的为左右两部分，一部分的边界为第一类像素点对应的边界，另一部分边界为第二类像素点对应的边界。其中，该边界的划分，本申请实施例并不作具体的限定。
步骤S306：基于多个目标点对应的填充像素点输出盲区图像。
具体地，盲区图像获取装置基于多个目标点对应的填充像素点输出盲区图像。例如：盲区图像获取装置可以分别输出当前帧行驶图像和盲区图像，还可以将盲区图像填充至当前帧行驶图像的对应位置，输出一张显示盲区区域的行驶图像。
实施本申请实施例，选择多帧行驶图像填充当前帧行驶图像的盲区区域的图像，避免了使用单张行驶图像盲区区域图像填充不完全的现象。同时在选择填充像素点时，根据障碍物与在智能车辆之间的目标距离；若目标距离小于或等于预设距离阈值，选择拍摄时间最近的像素点为填充像素点，有效避免了帧数时延导致的障碍物遮挡等问题，同时由于选择的填充图像为拍摄时间最近的一帧行驶图像，其最终获得的盲区区域的清晰度也最好。若目标距离大于预设距离阈值，选择对应目标点多的历史帧行驶图像中的像素点为填充像素点，有效的避免了多图拼接引起的图像错位、亮度不一致的问题，提高了车底盲区的显示效果。两种不同情况下的填充策略，大大提高了获得完整、清晰、准确的盲区图像的概率，保障了智能终端的行驶安全。而且，采用某种特定的方法对盲区进行填充，可以让驾驶员多方位观察汽车所在位置，防止轮胎磨损、底盘剐蹭受损，也以便用户更好地观察车周、轮胎及车底信息，辅助泊车，最大限度避免终端损失事故发生，提升驾驶体验和驾驶安全性。
可以理解的是，本申请提供的盲区图像获取方法还可以由电子装置，盲区图像获取装置等执行。电子装置是指能够被抽象为计算机系统，支持处理图像功能的电子装置，也可称为图像处理装置。盲区图像获取装置可以是该电子装置的整机，也可以是该电子装置中的部分器件，例如：支持图像处理功能、支持盲区图像获取功能相关的芯片，如系统芯片或图像芯片。其中，系统芯片也称为片上系统，或称为SoC芯片。具体地，盲区图像获取装置可以是诸如智能车辆中车载电脑这样的相关装置，也可以是能够被设置在智能终端的计算机系统或图像处理系统中的系统芯片或图像获取芯片。
另外，本申请实施例只是示例性的以智能车辆中的盲区图像获取装置为例说明该盲区图像获取方法，本申请实施例对终端装置的种类，在此不做具体的限定。例如：终端装置还可以为探测车、探索机器人等。
基于图1提供的智能车辆架构，图2提供的盲区图像获取装置的结构，以及图3提供的盲区图像获取系统架构，结合本申请中提供的盲区图像获取方法。以智能车辆为例，请参见图12，图12是本申请实施例提供的一种目标车辆在一种应用场景下的场景示意图，可以对应参考上述图4上述的图像处理的方法实施例的相关描述。
应用场景：如图12所示，在当目标车辆A行驶道路上时，会经常出现堵车的状况，在堵车时，由于车辆与车辆之间的距离小于预设距离，而且速度较低，经常会出现急刹车的情况。如果按照现有的盲区图像获取方式，很容易会出现盲区缺失或者盲区填充错误的情况。因此，根据本申请实施例的盲区图像获取方法，该目标车辆A此时可以选择多帧历史行驶图像中目标点对应的拍摄时间最近的像素点填充盲区区域，获得较为清晰的盲区图像。请参考附图13，图13是本申请实施例提供的一种应用场景下盲区图像获取方法流程示意图。如图13所示：该盲区图像获取过程可以实施如下步骤：
确定与前方障碍物之间的距离，根据该距离选择拍摄时间最近的像素点填充盲区图像。
第一步：输入多帧行驶图像及其与当前帧行驶图像间位姿关系。
第二步：确定障碍物与目标车辆之间的目标距离。
第三步：以当前帧开始倒叙遍历图像，利用图像间位姿关系，从当前底盘前端为前边缘，计算底盘左右侧边缘是否存在图像中。
第四步：找到最先出现底盘区域的帧，并遍历底盘左右边缘计算该帧可以提供的最长底盘尺寸。
第五步：当任意边缘不在该帧时，记录该帧所存在的底盘区域，判断是否超过底盘区域。以当前底盘位置为前边缘按倒叙继续遍历下一帧。
第六步：输出每张图像对应的底盘区域。
针对第三步：
按时序范围，图像编号记为第r帧图像(frameId＝r，r＝0、1、2、…)，例如：当前帧为frameId＝0，历史行驶图像为frameId＝1，2，…。根据标定关系，在当前帧中，车底盲区范围为(x,y,w,h)。设其他帧行驶图像frameId＝r与当前帧行驶图像frameId＝0的相对位置关系为Mr[4*4]，其中，
Figure BDA0003108051790000241
盲区位置在其他帧图像上的像素位置计算公式如下：
Figure BDA0003108051790000242
其中，fx、fy、u0、v0为相机内参，其中，相机内参指的是相机坐标系到像素坐标系的映射关系，可以由相机厂商得到；R3×3,T3×1为相机外参，其中，相机外参指的是相机坐标系到世界坐标系的映射关系，由事先标定获得；Rr3×3、Tr3×1为第r帧历史行驶图像及其与当前帧行驶图像间位姿关系；±xblind，yblind为事先由标定及车身尺寸得到的行驶图像中左右盲区边缘位置和上盲区边缘位置，zground为地面，默认为零。
u,v表示行驶图像中与盲区区域内目标点对应的像素点的位置，图像高度(imageheight)、图像宽度(image width)表示行驶图像的尺寸，当+u,v和-u，v均在行驶图像中时，其中，行驶图像的单位像素长度为每像素米(meter per pixel)。即：u,v满足如下条件时：
v≥0&&v<ImageHeight
u≥0&&u<ImageWidth
认为此时该第frameId＝r帧历史行驶图像可以提供至少(+u,v)到(-u，v)像素米长的盲区范围。继续按上述公式与u,v间隔MeterPerPixel计算，记录frameId＝r帧历史行驶图像能提供的最大长度，得到frameId＝r帧历史行驶图像对应frameId＝0的盲区范围。当第frameId＝r帧历史行驶图像提供的盲区范围小于全部盲区时，按上述方式再次计算frameId＝r+1帧历史行驶图像，直至盲区范围全部得到填充。
针对第四步：可分为两种情况，其中：
情况一：一帧历史行驶图像可以提供全部盲区区域的目标点对应的填充像素点。
请参考附图14，图14是本申请实施例提供的一种一帧历史行驶图像可以提供盲区图像示意图。如图14所示，按遍历顺序计算历史行驶图像上当前图像盲区，前面若干张历史行驶图像不提供盲区，第一张出现盲区图像的历史行驶图像即可提供全部图像盲区。此时按照时间顺序，前若干张历史行驶图像计算的像素位置u,v不满足上述公式。最先出现的第x帧历史行驶图像，不仅像素位置在图像范围之内，而且长度上按每像素米(meter perpixel)的增加，全部满足要求。此时，算法选择全部盲区图像由最先出现的第x帧历史行驶图像提供。该图像为能提供当前盲区范围且距离当前图像最近的图像，图像分辨率最好。而且，由于时间上也是距离当前状态最近的，所以可能被障碍物遮挡的概率也是最小的。
情况二：多帧历史行驶图像提供全部盲区区域的目标点对应的填充像素点。
请参考附图15，图15是本申请实施例提供的一种多帧历史行驶图像可以提供盲区图像示意图。如图15所示，按遍历顺序计算历史行驶图像上当前帧行驶图像盲区，前面若干张历史行驶图像不提供盲区，第一张出现盲区图像的历史行驶图像，但不存在全部盲区范围，第二帧历史行驶图像不仅存在新增的全部的盲区范围，而且包含部分甚至全部的第一张历史行驶图像存在的盲区范围。此时按照时间顺序，前若干张历史行驶图像计算的像素位置u,v不满足上述公式。最先出现的第x帧历史行驶图像，盲区初始位置计算出的像素位置在图像范围之内，当长度上按每像素米的增加，增加到某长度，图像不再存在盲区。图像前一采样时刻第x+1帧历史行驶图像,在第x帧历史行驶图像不存在的盲区区域的位置计算出的像素位置在图像范围之内，按每像素米增加，可以提供全部盲区范围。同时，对于第x帧历史行驶图像可以提供的盲区范围，第x+1帧历史行驶图像存在一部分甚至全部。此时，对于全部盲区范围，算法选择由第x帧历史行驶图像提供它存在的最大盲区范围，第x+1帧历史行驶图像提供由第x帧历史行驶图像不存在的外边缘至全部盲区范围。此时，盲区由第x帧历史行驶图像和第x+1帧历史行驶图像拼接组成，整体图像分辨率最佳。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的相关装置。
请参见图16，图16是本申请实施例提供的一种盲区图像获取装置的结构示意图，该盲区图像获取装置10可以包括第一确定单元101、第二确定单元102、第一获取单元103和输出单元104，还可以包括：其中，各个单元的详细描述如下。
第一确定单元101，用于确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
第二确定单元102，用于确定障碍物与所述目标终端之间的目标距离；
第一获取单元103，用于在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
输出单元104，用于基于所述多个目标点对应的填充像素点输出所述盲区图像。
在一种可能实现的方式中，所述多帧历史行驶图像为m帧历史行驶图像，所述第一获取单元103，具体用于：在所述目标距离小于或等于预设距离阈值时，将所述m帧历史行驶图像按照拍摄时间排序，m为大于1的整数；根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从第x帧历史行驶图像中获取目标像素点集合，作为所述多个目标点对应的填充像素点集合，其中，所述目标像素点集合包括所述多个目标点对应的填充像素点，所述第x帧历史行驶图像为所述m帧历史行驶图像中包括所述目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，x＝1、2、3…m。
在一种可能实现的方式中，所述第一获取单元103，还具体用于：在所述目标像素点集合为部分目标点对应的填充像素点集合时，依次从第x+1帧历史行驶图像中获取目标像素点集合，作为剩余部分目标点对应的填充像素点集合，直至所述盲区区域中所述多个目标点填充完毕。
在一种可能实现的方式中，所述目标点分为第一类目标点和第二类目标点，所述目标像素点集合为所述第x帧历史行驶图像中以所述第一类目标点对应的填充像素点和所述第二类目标点对应的填充像素点为端点的线段上的所有像素点集合，其中，所述第一类目标点和所述第二类目标点分别为所述盲区区域不同的边界上的目标点，且在所述盲区区域中，所述第一类目标点和所述第二类目标点一一对应并呈轴对称分布。
在一种可能实现的方式中，所述第一获取单元103，还用于：在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域的填充像素点；其中，在所述第x+1帧历史行驶图像中包括与所述第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点。
在一种可能实现的方式中，所述装置还包括：第二获取单元105，用于确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系之前，通过多目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像。
在一种可能实现的方式中，所述装置还包括：第三获取单元106，用于确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系之前，通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；获取所述目标终端的速度信息；基于所述速度信息，获取相邻帧行驶图像之间的距离信息；基于所述距离信息，确定所述单目摄像头的深度估计的尺寸值，所述尺寸值用于指示在深度估计时单位长度的大小；所述第一确定单元101，具体用于：基于所述尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
在一种可能实现的方式中，所述第一确定单元101，具体用于：对所述当前帧行驶图像与所述多帧历史行驶图像进行图像特征检测，获取所述当前帧行驶图像与所述多帧历史行驶图像之间的图像特征点，所述图像特征点为所述当前帧行驶图像与所述多帧历史行驶图像之间的共视点；基于所述图像特征点和尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
需要说明的是，上述多个单元的划分仅是一种根据功能进行的逻辑划分，不作为对盲区图像获取装置10具体的结构的限定。在具体实现中，其中部分功能模块可能被细分为更多细小的功能模块，部分功能模块也可能组合成一个功能模块，但无论这些功能模块是进行了细分还是组合，装置10在对盲区图像获取的过程中所执行的大致流程是相同的。通常，每个单元都对应有各自的程序代码(或者说程序指令)，这些单元各自对应的程序代码在相关硬件装置上运行时，使得该单元执行相应的流程从而实现相应功能。另外，每个单元的功能还可以通过相关的硬件实现。例如：第一确定单元101、第二确定单元102和第一获取单元103等的相关功能可以通过模拟电路或者数字电路实现，其中，数字电路可以为数字信号处理器(Digital Signal Processor，DSP)，或者数字集成电路芯片(fieldprogrammable gate array，FPGA)；输出单元104的相关功能可以通过带有通信接口或收发功能的图形处理器(graphics processing unit，GPU)或处理器CPU等装置实现。
还需要说明的是，本申请实施例中所描述的盲区图像获取装置10中各功能单元的功能可参见上述图4中所述的盲区图像获取方法实施例中步骤S301-步骤S306的相关描述，例如：第一确定单元101可对应参见上述图4中所述的方法实施例中步骤S301-步骤S302、第二确定单元102可对应参见上述图4中所述的方法实施例中步骤S303、第一获取单元103可对应参见上述图4中所述的方法实施例中步骤S304-步骤S305，输出单元104可对应参见上述图4中所述的方法实施例中步骤S306，此处不再赘述。
如图17所示，图17是本申请实施例提供的另一种盲区图像获取装置的结构示意图，该装置20包括至少一个处理器201，至少一个存储器202、至少一个通信接口203。此外，该装置还可以包括天线等通用部件，在此不再详述。
处理器201可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
通信接口203，用于与其他装置或通信网络通信，如以太网，无线接入网(RAN)，核心网，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器202可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储装置，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储装置，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储装置、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器202用于存储执行以上方案的应用程序代码，并由处理器201来控制执行。所述处理器201用于执行所述存储器202中存储的应用程序代码。
存储器202存储的代码可执行以上图3提供的反射率估计方法，比如确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系；确定障碍物与所述目标终端之间的目标距离；若所述目标距离小于或等于预设距离阈值，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域的填充像素点；基于所述多个目标点对应的填充像素点输出所述盲区图像。
需要说明的是，本申请实施例中所描述的盲区图像获取装置20中各功能单元的功能可参见上述图4中所述的方法实施例中的步骤S301-步骤S306相关描述，此处不再赘述。
本申请实施例还提供了一种装置，上述装置包括处理器，上述处理器用于：
确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
确定障碍物与所述目标终端之间的目标距离；
在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
基于所述多个目标点对应的填充像素点输出所述盲区图像。
在一种可能实现的方式中，所述多帧历史行驶图像为m帧历史行驶图像；所述处理器，具体用于：在所述目标距离小于或等于预设距离阈值时，将所述m帧历史行驶图像按照拍摄时间排序，m为大于1的整数；根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从第x帧历史行驶图像中获取目标像素点集合，作为所述多个目标点对应的填充像素点集合，其中，所述目标像素点集合包括所述多个目标点对应的填充像素点，所述第x帧历史行驶图像为所述m帧历史行驶图像中包括所述目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，x＝1、2、3…m。
在一种可能实现的方式中，所述处理器还用于：在所述目标像素点集合为部分目标点对应的填充像素点集合时，依次从第x+1帧历史行驶图像中获取目标像素点集合，作为剩余部分目标点对应的填充像素点集合，直至所述盲区区域中所述多个目标点填充完毕。
在一种可能实现的方式中，所述目标点分为第一类目标点和第二类目标点，所述目标像素点集合为所述第x帧历史行驶图像中以所述第一类目标点对应的填充像素点和所述第二类目标点对应的填充像素点为端点的线段上的所有像素点集合，其中，所述第一类目标点和所述第二类目标点分别为所述盲区区域不同的边界上的目标点，且在所述盲区区域中，所述第一类目标点和所述第二类目标点一一对应并呈轴对称分布。
在一种可能实现的方式中，所述处理器还用于：在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内所述多个目标点中每个目标点的填充像素点；其中，在所述第x+1帧历史行驶图像中包括与所述第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点。
在一种可能实现的方式中，所述处理器还用于：确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系之前，通过多目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像。
在一种可能实现的方式中，所述处理器还用于：确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系之前，通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；获取所述目标终端的速度信息；基于所述速度信息，获取相邻帧行驶图像之间的距离信息；基于所述距离信息，确定所述单目摄像头的深度估计的尺寸值，所述尺寸值用于指示在深度估计时单位长度的大小；所述处理器具体用于：基于所述尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
在一种可能实现的方式中，所述处理器具体用于：对所述当前帧行驶图像与所述多帧历史行驶图像进行图像特征检测，获取所述当前帧行驶图像与所述多帧历史行驶图像之间的图像特征点，所述图像特征点为所述当前帧行驶图像与所述多帧历史行驶图像之间的共视点；基于所述图像特征点和尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
需要说明的是，本申请实施例所提及的装置可以是一个芯片、一个控制装置或者一个处理模块等用于对终端周边的环境图像进行图像处理获得盲区图像，本申请对装置的具体形式不做具体的限定。
还需要说明的是，本申请实施例中所描述的装置中相关的功能可参见上述图4中上述的方法实施例中的步骤S301-步骤S306以及其他实施例的相关描述，此处不再赘述。
本申请实施例还提供了一种电子装置，可应用于上述应用场景，该电子装置中包括处理器和存储器，其中，上述存储器用于存储图像处理程序代码，上述处理器用于调用上述图像处理程序代码来执行：
确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
确定障碍物与所述目标终端之间的目标距离；
在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
基于所述多个目标点对应的填充像素点输出所述盲区图像。
在一种可能实现的方式中，所述多帧历史行驶图像为m帧历史行驶图像，所述处理器具体用于调用所述盲区图像获取程序代码来执行：在所述目标距离小于或等于预设距离阈值时，将所述m帧历史行驶图像按照拍摄时间排序，m为大于1的整数；根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从第x帧历史行驶图像中获取目标像素点集合，作为所述多个目标点对应的填充像素点集合，其中，所述目标像素点集合包括所述多个目标点对应的填充像素点，所述第x帧历史行驶图像为所述m帧历史行驶图像中包括所述目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，x＝1、2、3…m。
在一种可能实现的方式中，，所述处理器还用于调用所述盲区图像获取程序代码来执行：在所述目标像素点集合为部分目标点对应的填充像素点集合时，依次从第x+1帧历史行驶图像中获取目标像素点集合，作为剩余部分目标点对应的填充像素点集合，直至所述盲区区域中所述多个目标点填充完毕。
在一种可能实现的方式中，所述目标点分为第一类目标点和第二类目标点，所述目标像素点集合为所述第x帧历史行驶图像中以所述第一类目标点对应的填充像素点和所述第二类目标点对应的填充像素点为端点的线段上的所有像素点集合，其中，所述第一类目标点和所述第二类目标点分别为所述盲区区域不同的边界上的目标点，且在所述盲区区域中，所述第一类目标点和所述第二类目标点一一对应并呈轴对称分布。
在一种可能实现的方式中，所述处理器还用于调用所述盲区图像获取程序代码来执行：在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内所述多个目标点中每个目标点的填充像素点；其中，在所述第x+1帧历史行驶图像中包括与所述第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点。
在一种可能实现的方式中，所述处理器还用于调用所述盲区图像获取程序代码来执行：确定当前帧行驶图像与一帧或多帧历史行驶图像之间的位姿关系，通过多目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像。
在一种可能实现的方式中，所述处理器还用于调用所述盲区图像获取程序代码来执行：确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系之前，通过单目摄像头，获取所述当前帧行驶图像与所述多帧历史行驶图像；获取所述目标终端的速度信息；基于所述速度信息，获取相邻帧行驶图像之间的距离信息；基于所述距离信息，确定所述单目摄像头的深度估计的尺寸值，所述尺寸值用于指示在深度估计时单位长度的大小；所述处理器具体用于调用所述盲区图像获取程序代码来执行：基于所述尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
在一种可能实现的方式中，所述处理器具体用于调用所述盲区图像获取程序代码来执行：对所述当前帧行驶图像与所述多帧历史行驶图像进行图像特征检测，获取所述当前帧行驶图像与所述多帧历史行驶图像之间的图像特征点，所述图像特征点为所述当前帧行驶图像与所述多帧历史行驶图像之间的共视点；基于所述图像特征点和尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
需要说明的是，本申请实施例所提及的电子装置可以是云端的一个服务器、一个处理装置等，也可以是与智能终端存在通信连接的一个盲区图像获取装置，本申请对此不做具体的限定。
还需要说明的是，本申请实施例中所描述的电子装置中相关的功能可参见上述图4中上述的方法实施例中的步骤S301-步骤S306以及其他实施例的相关描述，此处不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
还需要说明的是，本申请的说明书和权利要求书及所述附图中的术语“第一”和“第二”、等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或装置没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或装置固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算装置上运行的应用和计算装置都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如，通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以为个人计算机、服务端或者网络装置等，具体可以是计算机装置中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中，而前述的存储介质可包括：U盘、移动硬盘、磁碟、光盘、只读存储器(Read-Only Memory，缩写：ROM)或者随机存取存储器(Random Access Memory，缩写：RAM)等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (21)

1.一种盲区图像获取方法，其特征在于，包括：
通过单目摄像头，获取当前帧行驶图像与多帧历史行驶图像；
确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
确定障碍物与所述目标终端之间的目标距离；
在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
基于所述多个目标点对应的填充像素点输出所述盲区图像。
2.根据权利要求1所述方法，其特征在于，所述多帧历史行驶图像为m帧历史行驶图像，所述在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中的每个目标点的填充像素点，包括：
在所述目标距离小于或等于预设距离阈值时，将所述m帧历史行驶图像按照拍摄时间排序，m为大于1的整数；
根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从第x帧历史行驶图像中获取目标像素点集合，作为所述多个目标点对应的填充像素点集合，其中，所述目标像素点集合包括所述多个目标点对应的填充像素点，所述第x帧历史行驶图像为所述m帧历史行驶图像中包括所述目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，x=1、2、3…m。
3.根据权利要求2所述方法，其特征在于，所述方法还包括：
在所述目标像素点集合为部分目标点对应的填充像素点集合时，依次从第x +1帧历史行驶图像中获取目标像素点集合，作为剩余部分目标点对应的填充像素点集合，直至所述盲区区域中所述多个目标点填充完毕。
4.根据权利要求3所述方法，其特征在于，所述目标点分为第一类目标点和第二类目标点，所述目标像素点集合为所述第x帧历史行驶图像中以所述第一类目标点对应的填充像素点和所述第二类目标点对应的填充像素点为端点的线段上的所有像素点集合，其中，所述第一类目标点和所述第二类目标点分别为所述盲区区域不同的边界上的目标点，且在所述盲区区域中，所述第一类目标点和所述第二类目标点一一对应并呈轴对称分布。
5.根据权利要求2所述方法，其特征在于，所述方法还包括：
在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内所述多个目标点中每个目标点的填充像素点；
其中，在第x+1帧历史行驶图像中包括与所述第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点。
6.根据权利要求1-5任意一项所述方法，其特征在于，所述确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系之前，还包括：
获取所述目标终端的速度信息；
基于所述速度信息，获取相邻帧行驶图像之间的距离信息；
基于所述距离信息，确定所述单目摄像头的深度估计的尺寸值，所述尺寸值用于指示在深度估计时单位长度的大小；
所述确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，包括：
基于所述尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
7.根据权利要求6所述方法，其特征在于，所述确定当前帧行驶图像与多帧历史行驶图像之间的位姿关系，包括：
对所述当前帧行驶图像与所述多帧历史行驶图像进行图像特征检测，获取所述当前帧行驶图像与所述多帧历史行驶图像之间的图像特征点，所述图像特征点为所述当前帧行驶图像与所述多帧历史行驶图像之间的共视点；
基于所述图像特征点和尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
8.一种盲区图像获取装置，其特征在于，包括：
第一确定单元，用于通过单目摄像头，获取当前帧行驶图像与多帧历史行驶图像；确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
第二确定单元，用于确定障碍物与所述目标终端之间的目标距离；
第一获取单元，用于在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
输出单元，用于基于所述多个目标点对应的填充像素点输出所述盲区图像。
9.根据权利要求8所述装置，其特征在于，所述多帧历史行驶图像为m帧历史行驶图像，所述第一获取单元，具体用于：
在所述目标距离小于或等于预设距离阈值时，将所述m帧历史行驶图像按照拍摄时间排序，m为大于1的整数；
根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从第x帧历史行驶图像中获取目标像素点集合，作为所述多个目标点对应的填充像素点集合，其中，所述目标像素点集合包括所述多个目标点对应的填充像素点，所述第x帧历史行驶图像为所述m帧历史行驶图像中包括所述目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，x=1、2、3…m。
10.根据权利要求9所述装置，其特征在于，所述第一获取单元，还具体用于：
在所述目标像素点集合为部分目标点对应的填充像素点集合时，依次从第x +1帧历史行驶图像中获取目标像素点集合，作为剩余部分目标点对应的填充像素点集合，直至所述盲区区域中所述多个目标点填充完毕。
11.根据权利要求10所述装置，其特征在于，所述目标点分为第一类目标点和第二类目标点，所述目标像素点集合为所述第x帧历史行驶图像中以所述第一类目标点对应的填充像素点和所述第二类目标点对应的填充像素点为端点的线段上的所有像素点集合，其中，所述第一类目标点和所述第二类目标点分别为所述盲区区域不同的边界上的目标点，且在所述盲区区域中，所述第一类目标点和所述第二类目标点一一对应并呈轴对称分布。
12.根据权利要求11所述装置，其特征在于，所述第一获取单元，还用于：
在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域的填充像素点；
其中，在第x+1帧历史行驶图像中包括与所述第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点。
13.根据权利要求8-12任意一项所述装置，其特征在于，所述装置还包括：
第三获取单元，用于获取所述目标终端的速度信息；
基于所述速度信息，获取相邻帧行驶图像之间的距离信息；
基于所述距离信息，确定所述单目摄像头的深度估计的尺寸值，所述尺寸值用于指示在深度估计时单位长度的大小；
所述第一确定单元，具体用于：
基于所述尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
14.根据权利要求13所述装置，其特征在于，所述第一确定单元，具体用于：
对所述当前帧行驶图像与所述多帧历史行驶图像进行图像特征检测，获取所述当前帧行驶图像与所述多帧历史行驶图像之间的图像特征点，所述图像特征点为所述当前帧行驶图像与所述多帧历史行驶图像之间的共视点；
基于所述图像特征点和尺寸值，确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系。
15.一种盲区图像处理装置，其特征在于，所述装置包括处理器，所述处理器用于：
通过单目摄像头，获取当前帧行驶图像与多帧历史行驶图像；
确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
确定障碍物与所述目标终端之间的目标距离；
在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
基于所述多个目标点对应的填充像素点输出所述盲区图像。
16.根据权利要求15所述装置，其特征在于，所述多帧历史行驶图像为m帧历史行驶图像，所述处理器具体用于：
在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域的填充像素点；
其中，在第x+1帧历史行驶图像中包括与第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点；
所述第x帧历史行驶图像为所述m帧历史行驶图像中包括目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，所述目标像素点集合包括所述多个目标点对应的填充像素点，m为大于1的整数，x=1、2、3…m。
17.一种电子装置，其特征在于，包括处理器和存储器，其中，所述存储器用于存储盲区图像获取程序代码，所述处理器用于调用所述盲区图像获取程序代码来执行：
通过单目摄像头，获取当前帧行驶图像与多帧历史行驶图像；
确定所述当前帧行驶图像与所述多帧历史行驶图像之间的位姿关系，其中，所述当前帧行驶图像为当前时间拍摄的行驶图像，所述多帧历史行驶图像为在所述当前时间之前拍摄的行驶图像，所述行驶图像为目标终端前进方向上的周边环境图像；
确定障碍物与所述目标终端之间的目标距离；
在所述目标距离小于或等于预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域内多个目标点中每个目标点的填充像素点；其中，所述填充像素点为所述多帧历史行驶图像中所述目标点对应的拍摄时间最近的像素点；
基于所述多个目标点对应的填充像素点输出所述盲区图像。
18.根据权利要求17所述电子装置，其特征在于，所述多帧历史行驶图像为m帧历史行驶图像，所述处理器用于调用所述盲区图像获取程序代码来具体执行：
在所述目标距离大于所述预设距离阈值时，根据所述位姿关系和所述当前帧行驶图像对应盲区区域的盲区位置信息，从所述多帧历史行驶图像中获取所述盲区区域的填充像素点；
其中，在第x+1帧历史行驶图像中包括与第x帧历史行驶图像中相同目标点的像素点时，所述相同目标点对应的填充像素点为所述第x+1帧历史行驶图像与所述第x帧历史行驶图像中对应所述目标点的数量多的一帧历史行驶图像中所述相同目标点对应的像素点；
所述第x帧历史行驶图像为所述m帧历史行驶图像中包括目标像素点集合的，且拍摄时间距当前时间最近的一帧历史行驶图像，所述目标像素点集合包括所述多个目标点对应的填充像素点，m为大于1的整数，x=1、2、3…m。
19.一种智能车辆，其特征在于，包括处理器、存储器以及通信接口，其中，所述存储器用于存储信息发送盲区图像获取程序代码，所述处理器用于调用所述盲区图像获取程序代码来执行权利要求1-7任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述权利要求1-7任意一项所述的方法。
21.一种盲区图像获取系统，其特征在于，包括处理器和存储器，所述处理器用于执行上述权利要求1-7任意一项所述的方法。
CN202180001469.5A 2021-03-29 2021-03-29 一种盲区图像获取方法及相关终端装置 Active CN113228135B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/083514 WO2022204854A1 (zh) 2021-03-29 2021-03-29 一种盲区图像获取方法及相关终端装置

Publications (2)

Publication Number Publication Date
CN113228135A CN113228135A (zh) 2021-08-06
CN113228135B true CN113228135B (zh) 2022-08-26

Family

ID=77081268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180001469.5A Active CN113228135B (zh) 2021-03-29 2021-03-29 一种盲区图像获取方法及相关终端装置

Country Status (2)

Country Link
CN (1) CN113228135B (zh)
WO (1) WO2022204854A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116184992A (zh) * 2021-11-29 2023-05-30 上海商汤临港智能科技有限公司 车辆控制方法、装置、电子设备及存储介质
CN114245006B (zh) * 2021-11-30 2023-05-23 联想(北京)有限公司 一种处理方法、装置及系统
CN114582165A (zh) * 2022-03-02 2022-06-03 浙江海康智联科技有限公司 一种基于v2x协作式变道安全辅助预警方法及系统
CN115861080B (zh) * 2023-02-24 2023-05-23 杭州枕石智能科技有限公司 环视透明车底图像的拼接方法和终端设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1291668B1 (en) * 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置
CN104661014B (zh) * 2015-01-29 2016-09-28 四川虹微技术有限公司 时空结合的空洞填充方法
EP3107063A1 (en) * 2015-06-16 2016-12-21 Continental Automotive GmbH Method for processing camera images
US9902322B2 (en) * 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System
JP2018117320A (ja) * 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
GB2559759B (en) * 2017-02-16 2020-07-29 Jaguar Land Rover Ltd Apparatus and method for displaying information
CN107274342A (zh) * 2017-05-22 2017-10-20 纵目科技（上海）股份有限公司 一种车底盲区填充方法及系统、存储介质、终端设备
CN108909625B (zh) * 2018-06-22 2021-09-17 河海大学常州校区 基于全景环视系统的车底地面显示方法
CN110936893B (zh) * 2018-09-21 2021-12-14 驭势科技（北京）有限公司 一种盲区障碍物处理方法、装置、车载设备及存储介质
CN111160070A (zh) * 2018-11-07 2020-05-15 广州汽车集团股份有限公司 车辆全景图像盲区消除方法、装置、存储介质及终端设备
US10812699B1 (en) * 2019-05-08 2020-10-20 Lenovo (Singapore) Pte. Ltd. Device having a camera overlaid by display and method for implementing the same
CN112216097A (zh) * 2019-07-09 2021-01-12 华为技术有限公司 一种检测车辆的盲区的方法及装置
CN112215747A (zh) * 2019-07-12 2021-01-12 杭州海康威视数字技术股份有限公司 无车底盲区的车载全景图的生成方法、装置及存储介质
CN111959397B (zh) * 2020-08-24 2023-03-31 北京茵沃汽车科技有限公司 在全景影像中显示车底图像的方法、系统、装置及介质

Also Published As

Publication number Publication date
WO2022204854A1 (zh) 2022-10-06
CN113228135A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113228135B (zh) 一种盲区图像获取方法及相关终端装置
CN110789533B (zh) 一种数据呈现的方法及终端设备
CN113261274B (zh) 一种图像处理方法及相关终端装置
CN112512887B (zh) 一种行驶决策选择方法以及装置
CN113631452B (zh) 一种变道区域获取方法以及装置
CN115042821B (zh) 车辆控制方法、装置、车辆及存储介质
EP4307251A1 (en) Mapping method, vehicle, computer readable storage medium, and chip
CN114842075B (zh) 数据标注方法、装置、存储介质及车辆
CN112810603B (zh) 定位方法和相关产品
CN114531913A (zh) 车道线检测方法、相关设备及计算机可读存储介质
CN115100630B (zh) 障碍物检测方法、装置、车辆、介质及芯片
CN114445490A (zh) 一种位姿确定方法及其相关设备
CN114842455B (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
CN115205311B (zh) 图像处理方法、装置、车辆、介质及芯片
WO2021159397A1 (zh) 车辆可行驶区域的检测方法以及检测装置
CN113022573B (zh) 道路结构检测方法及装置
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN111845786B (zh) 自动行驶策略的确定方法及装置
CN115082573B (zh) 参数标定方法、装置、车辆及存储介质
CN111775962B (zh) 自动行驶策略的确定方法及装置
CN115115707B (zh) 车辆落水检测方法、车辆、计算机可读存储介质及芯片
CN113793523B (zh) 一种指挥交通的方法、装置、车载设备及车辆
CN114822216B (zh) 生成车位地图的方法、装置、车辆、存储介质及芯片
CN115214629A (zh) 自动泊车方法、装置、存储介质、车辆及芯片
CN117953435A (zh) 车辆动静识别方法、装置、芯片及自动驾驶车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant