CN113379705B - 图像处理方法、装置、计算机设备及存储介质 - Google Patents
图像处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113379705B CN113379705B CN202110642867.7A CN202110642867A CN113379705B CN 113379705 B CN113379705 B CN 113379705B CN 202110642867 A CN202110642867 A CN 202110642867A CN 113379705 B CN113379705 B CN 113379705B
- Authority
- CN
- China
- Prior art keywords
- image
- variance
- vehicle
- threshold
- time period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种图像处理方法、装置、计算机设备及存储介质,属于计算机技术领域。本申请通过对车载摄像头拍摄所得的单帧或多帧的第一图像融合,得到第二图像,并基于第二图像中各个像素点的饱和度的方差,可确定车载摄像头在拍摄该单帧或多帧第一图像的目标时间段内是否被遮挡,能够及时检测出车载摄像头是否存在被遮挡的情况,且能够对第一图像进行批量检测,以识别出车载摄像头被遮挡的目标时间段,相较于仅单帧图像检测来说降低了随机误差,且提高了图像处理效率。
Description
技术领域
本申请涉及计算机技术领域,特别涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术和移动通信技术的发展,自动驾驶车辆作为一项新兴逐渐引起广泛关注。自动驾驶车辆又称无人驾驶车辆、轮式移动机器人,是一种由计算机设备控制以进行无人驾驶的智能车辆。
自动驾驶车辆可以基于自动驾驶系统来智能控制车辆行驶,摄像头(即相机)是自动驾驶系统的一种重要的传感器,对于障碍物检测功能起着决定性的作用。然而自动驾驶系统面对的应用场景往往比较复杂,摄像头有可能会被挡风玻璃遮挡、或者由于起雾被雾气遮挡等,在摄像头被遮挡时,自动驾驶系统难以实现正常的障碍物检测功能。因此,亟需一种能够准确识别出车载摄像头是否被遮挡的方法。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质,能够准确识别出车载摄像头是否被遮挡。该技术方案如下:
一方面,提供了一种图像处理方法,该方法包括:
对至少一个第一图像的灰度图像进行融合,得到第二图像,所述第一图像为车载终端的摄像头拍摄得到的图像;
响应于所述第二图像符合第一目标条件,获取所述第二图像中各个像素点的饱和度的方差;
响应于所述方差小于方差阈值,确定所述摄像头在目标时间段内处于被遮挡状态,所述目标时间段为拍摄所述至少一个第一图像的时间段。
在一种可能实施方式中,所述响应于所述第二图像符合第一目标条件,获取所述第二图像中各个像素点的饱和度的方差包括:
响应于所述至少一个第一图像的数量大于或等于数量阈值,确定所述第二图像符合所述第一目标条件,执行获取所述方差的步骤。
在一种可能实施方式中,所述获取所述第二图像中各个像素点的饱和度的方差包括:
将所述第二图像转换至色度-亮度-饱和度HLS色彩空间;
基于所述第二图像中各个像素点在饱和度空间下所取的像素值,获取所述方差。
在一种可能实施方式中,所述对至少一个第一图像的灰度图像进行融合,得到第二图像包括:
将所述至少一个第一图像的灰度图像中对应位置像素点的像素值进行按元素相加,得到所述第二图像。
在一种可能实施方式中,所述对至少一个第一图像的灰度图像进行融合,得到第二图像之前,所述方法还包括:
对所述至少一个第一图像进行尺寸变换,以使尺寸变换后的所述至少一个第一图像的尺寸相同;
对尺寸变换后的所述至少一个第一图像进行灰度处理,得到所述至少一个第一图像的灰度图像。
在一种可能实施方式中,所述获取所述第二图像中各个像素点的饱和度的方差之后,所述方法还包括:
响应于所述方差大于或等于所述方差阈值,对所述第二图像进行分块处理,得到至少一个图像块;
获取所述至少一个图像块各自的亮度平均值;
对所述至少一个图像块进行边缘检测,得到所述至少一个图像块各自包含的边缘点数量;
响应于所述亮度平均值和所述边缘点数量符合第二目标条件,确定所述摄像头在所述目标时间段内处于被遮挡状态。
在一种可能实施方式中,所述第二目标条件为:所述至少一个图像块中任一图像块的亮度平均值小于亮度阈值,且所述任一图像块包含的边缘点数量小于边缘点阈值。
在一种可能实施方式中,所述第二目标条件为:所述至少一个图像块中,亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值的图像块的数量大于或等于目标数量。
一方面,提供了一种图像处理装置,该装置包括:
融合模块,用于对至少一个第一图像的灰度图像进行融合,得到第二图像,所述第一图像为车载终端的摄像头拍摄得到的图像;
第一获取模块,用于响应于所述第二图像符合第一目标条件,获取所述第二图像中各个像素点的饱和度的方差;
确定模块,用于响应于所述方差小于方差阈值,确定所述摄像头在目标时间段内处于被遮挡状态,所述目标时间段为拍摄所述至少一个第一图像的时间段。
在一种可能实施方式中,所述第一获取模块用于:
响应于所述至少一个第一图像的数量大于或等于数量阈值,确定所述第二图像符合所述第一目标条件,执行获取所述方差的步骤。
在一种可能实施方式中,所述第一获取模块用于:
将所述第二图像转换至色度-亮度-饱和度HLS色彩空间;
基于所述第二图像中各个像素点在饱和度空间下所取的像素值,获取所述方差。
在一种可能实施方式中,所述融合模块用于:
将所述至少一个第一图像的灰度图像中对应位置像素点的像素值进行按元素相加,得到所述第二图像。
在一种可能实施方式中,所述装置还包括:
尺寸变换模块,用于对所述至少一个第一图像进行尺寸变换,以使尺寸变换后的所述至少一个第一图像的尺寸相同;
灰度处理模块,用于对尺寸变换后的所述至少一个第一图像进行灰度处理,得到所述至少一个第一图像的灰度图像。
在一种可能实施方式中,所述装置还包括:
分块处理模块,用于响应于所述方差大于或等于所述方差阈值,对所述第二图像进行分块处理,得到至少一个图像块;
第二获取模块,用于获取所述至少一个图像块各自的亮度平均值;
边缘检测模块,用于对所述至少一个图像块进行边缘检测,得到所述至少一个图像块各自包含的边缘点数量;
所述确定模块,还用于响应于所述亮度平均值和所述边缘点数量符合第二目标条件,确定所述摄像头在所述目标时间段内处于被遮挡状态。
在一种可能实施方式中,所述第二目标条件为:所述至少一个图像块中任一图像块的亮度平均值小于亮度阈值,且所述任一图像块包含的边缘点数量小于边缘点阈值。
在一种可能实施方式中,所述第二目标条件为:所述至少一个图像块中,亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值的图像块的数量大于或等于目标数量。
一方面,提供了一种计算机设备,该计算机设备包括一个或多个处理器和一个或多个存储器,该一个或多个存储器中存储有至少一条计算机程序,该至少一条计算机程序由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的图像处理方法。
一方面,提供了一种存储介质,该存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行以实现如上述任一种可能实现方式的图像处理方法。
一方面,提供一种计算机程序产品或计算机程序,所述计算机程序产品或所述计算机程序包括一条或多条程序代码,所述一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码,所述一个或多个处理器执行所述一条或多条程序代码,使得计算机设备能够执行上述任一种可能实施方式的图像处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过对车载摄像头拍摄所得的单帧或多帧的第一图像融合,得到第二图像,并基于第二图像中各个像素点的饱和度的方差,可确定车载摄像头在拍摄该单帧或多帧第一图像的目标时间段内是否被遮挡,能够及时检测出车载摄像头是否存在被遮挡的情况,且能够对第一图像进行批量检测,以识别出车载摄像头被遮挡的目标时间段,相较于仅单帧图像检测来说降低了随机误差,且提高了图像处理效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还能够根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法的实施环境示意图;
图2是本申请实施例提供的一种图像处理方法的流程图;
图3是本申请实施例提供的一种图像处理方法的流程图;
图4是本申请实施例提供的一种HLS色彩空间的原理性示意图;
图5是本申请实施例提供的一种图像处理方法的原理性流程图;
图6是本申请实施例提供的一种图像处理装置的结构示意图;
图7是本申请实施例提供的一种计算机设备的结构示意图;
图8是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个,“多个”的含义是指两个或两个以上,例如,多个第一位置是指两个或两个以上的第一位置。
以下,对本申请实施例涉及的术语进行解释说明:
无人车:全称为无人驾驶汽车,也称为自动驾驶汽车、轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目的。无人车是通过车载传感系统感知道路环境,自动规划行车路线并控制车辆到达预定目标的智能汽车。无人车利用车载传感器来感知车辆周围环境,并根据感知所获得的道路、车辆位置和障碍物信息,控制车辆的转向和速度,从而使车辆能够安全、可靠地在道路上行驶。无人车集自动控制、体系结构、人工智能、视觉计算等众多前沿技术于一体,是计算机科学、模式识别和智能控制技术高度发展的产物,也是衡量一个国家科研实力和工业水平的一个重要标志,在国防和国民经济领域具有广阔的应用前景。
自动驾驶系统:自动驾驶系统采用先进的通信、计算机、网络和控制技术,对车辆实现实时、连续控制。采用现代通信手段,直接面对车辆,可实现车地间的双向数据通信,传输速率快,信息量大,后续追踪车辆和控制中心可以及时获知前行车辆的确切位置,使得运行管理更加灵活,控制更为有效,更加适应车辆自动驾驶的需求。
自动驾驶系统是一个汇集众多高新技术的综合系统,作为关键环节的环境信息获取和智能决策控制依赖于传感器技术、图像识别技术、电子与计算机技术与控制技术等一系列高新技术的创新和突破。无人驾驶汽车要想取得长足的发展,有赖于多方面技术的突破和创新。
自动驾驶系统相关的关键技术,包括环境感知、逻辑推理和决策、运动控制、处理器性能等。随着机器视觉(如3D摄像头技术)、模式识别软件(如光学字符识别程序)和光达系统(已结合全球定位技术和空间数据)的进步,车载计算机可以通过将机器视觉、感应器数据和空间数据相结合来控制汽车的行驶。
本申请实施例涉及到一种图像处理方法,能够基于车载终端的摄像头拍摄的单帧或多帧图像,以检测车载终端的摄像头是否被遮挡,使得在挡风玻璃遮挡、天气起雾遮挡等情况发生时,能够及时检测出来摄像头被遮挡,避免影响到自动驾驶系统的障碍物检测功能,以提高自动驾驶系统的安全性。
图1是本申请实施例提供的一种图像处理方法的实施环境示意图。参见图1,在该实施环境中包括车载终端101和服务器102。
车载终端101用于控制车辆的行驶路线及行驶参数,车载终端101与车辆绑定,该车辆包括传统汽车、智能汽车、无人车、电动车、自行车、摩托车等交通工具,该车辆可由驾驶员手动驾驶,也可由自动驾驶系统驱动以实现无人驾驶。可选地,该车辆上还安装有车载传感器、定位组件、(车载)摄像头、控制器、数据处理器等功能模块,上述功能模块能够借助车联网、5G(5th Generation Mobile Networks,第五代移动通信技术)和V2X(Vehicle ToX,车用无线通信技术)等现代移动通信与网络技术,实现交通参与物彼此间的互换与共享,从而具备在复杂环境下的传感感知、决策规划、控制执行等功能。
在一个示例性场景中,以无人车为例,无人车的车载终端上配置有自动驾驶系统,并通过自动驾驶系统与服务器102建立连接,以通过服务器102访问车联网所提供的所有车辆动态信息。
其中,车联网即车辆物联网,是以行驶中的车辆为信息感知对象,借助新一代信息通信技术,实现车与车、人、路、服务平台等对象之间的网络连接,能够提升车辆整体的智能驾驶水平,为用户提供安全、舒适、智能、高效的驾驶感受与交通服务,同时提高交通运行效率,提高社会交通服务的智能化水平。可选地,车载终端101通过无线通信技术,对服务器102提供的信息网络平台中的所有车辆动态信息进行有效利用,在车辆运行中提供不同的功能服务。车联网通常表现出以下几点特征:车联网能够为车与车之间的间距提供保障,降低车辆发生碰撞事故的几率;车联网可以帮助车主实时导航,并通过与其它车辆和网络系统的通信,提高交通运行的效率。
车载终端101与服务器102能够通过有线或无线通信方式进行直接或间接地连接,例如,车载终端101与服务器102通过车辆网进行无线连接,本申请实施例对此不作具体限定。
服务器102用于向接入信息网络(即车联网)平台的车载终端提供车辆动态信息。服务器102可以包括一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。可选地,服务器102承担主要计算工作,车载终端101承担次要计算工作;服务器102承担次要计算工作,车载终端101承担主要计算工作;或者,车载终端101和服务器102两者之间采用分布式计算架构进行协同计算。
可选地,车载终端101泛指多个车载终端中的一个,车载终端101上配置有自动驾驶系统,该自动驾驶系统能够基于服务器102提供的车辆动态信息,来规划车辆的行驶路线及行驶参数。
车载终端101的类型包括但不限于:车载控制台、智能手机、平板电脑、智能手表、智能音箱、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机或者台式计算机中的至少一种。
本领域技术人员可以知晓,车载终端101的数量可以更多或更少。比如,车载终端101可以仅为一个,或者车载终端101为几十个或几百个,或者更多数量,本申请实施例对车载终端101的数量和设备类型不进行具体限定。
图2是本申请实施例提供的一种图像处理方法的流程图。参见图2,该实施例应用于计算机设备,该计算机设备可以是上述车载终端,也可以是上述服务器。在本申请实施例中,以该计算机设备为车载终端为例进行说明,该实施例包括下述步骤:
201、车载终端对至少一个第一图像的灰度图像进行融合,得到第二图像,该第一图像为车载终端的摄像头拍摄得到的图像。
202、车载终端响应于该第二图像符合第一目标条件,获取该第二图像中各个像素点的饱和度的方差。
203、车载终端响应于该方差小于方差阈值,确定该摄像头在目标时间段内处于被遮挡状态,该目标时间段为拍摄该至少一个第一图像的时间段。
本申请实施例提供的方法,通过对车载摄像头拍摄所得的单帧或多帧的第一图像融合,得到第二图像,并基于第二图像中各个像素点的饱和度的方差,可确定车载摄像头在拍摄该单帧或多帧第一图像的目标时间段内是否被遮挡,能够及时检测出车载摄像头是否存在被遮挡的情况,且能够对第一图像进行批量检测,以识别出车载摄像头被遮挡的目标时间段,相较于仅单帧图像检测来说降低了随机误差,且提高了图像处理效率。
在一种可能实施方式中,响应于该第二图像符合第一目标条件,获取该第二图像中各个像素点的饱和度的方差包括:
响应于该至少一个第一图像的数量大于或等于数量阈值,确定该第二图像符合该第一目标条件,执行获取该方差的步骤。
在一种可能实施方式中,获取该第二图像中各个像素点的饱和度的方差包括:
将该第二图像转换至色度-亮度-饱和度HLS色彩空间;
基于该第二图像中各个像素点在饱和度空间下所取的像素值,获取该方差。
在一种可能实施方式中,对至少一个第一图像的灰度图像进行融合,得到第二图像包括:
将该至少一个第一图像的灰度图像中对应位置像素点的像素值进行按元素相加,得到该第二图像。
在一种可能实施方式中,对至少一个第一图像的灰度图像进行融合,得到第二图像之前,该方法还包括:
对该至少一个第一图像进行尺寸变换,以使尺寸变换后的该至少一个第一图像的尺寸相同;
对尺寸变换后的该至少一个第一图像进行灰度处理,得到该至少一个第一图像的灰度图像。
在一种可能实施方式中,获取该第二图像中各个像素点的饱和度的方差之后,该方法还包括:
响应于该方差大于或等于该方差阈值,对该第二图像进行分块处理,得到至少一个图像块;
获取该至少一个图像块各自的亮度平均值;
对该至少一个图像块进行边缘检测,得到该至少一个图像块各自包含的边缘点数量;
响应于该亮度平均值和该边缘点数量符合第二目标条件,确定该摄像头在该目标时间段内处于被遮挡状态。
在一种可能实施方式中,该第二目标条件为:该至少一个图像块中任一图像块的亮度平均值小于亮度阈值,且该任一图像块包含的边缘点数量小于边缘点阈值。
在一种可能实施方式中,该第二目标条件为:该至少一个图像块中,亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值的图像块的数量大于或等于目标数量。
上述所有可选技术方案,能够采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图3是本申请实施例提供的一种图像处理方法的流程图。参见图3,该实施例应用于计算机设备,该计算机设备可以是上述车载终端,也可以是上述服务器。在本申请实施例中,以该计算机设备为车载终端为例进行说明,该实施例包括下述步骤:
301、车载终端获取摄像头拍摄得到的至少一个第一图像。
其中,该第一图像为车载终端的摄像头拍摄得到的图像。
其中,该车载终端用于控制车辆的行驶路线及行驶参数,车载终端与车辆绑定,该车辆包括传统汽车、智能汽车、无人车、电动车、自行车、摩托车等交通工具,该车辆可由驾驶员手动驾驶,也可由自动驾驶系统驱动以实现无人驾驶。
在一些实施例中,车辆上安装有一个或多个(车载)摄像头,在行车过程中实时调用该一个或多个摄像头以拍摄或录制该第一图像,可选地,该一个或多个摄像头连续拍摄得到该至少一个第一图像,或者,该一个或多个摄像头在行车过程中实时录制视频流,将该视频流中的至少一个视频帧确定为该至少一个第一图像,本申请实施例不对该第一图像的获取方式进行具体限定。
可选地,该至少一个第一图像可以是同一个摄像头采集的连续的至少一帧图像,例如,摄像头A采集的连续4帧图像,或者,该至少一个第一图像还可以是同一个摄像头采集的每间隔预设数量选取的至少一帧图像,例如,摄像头A采集的连续图像帧中,每间隔2帧选取1个第一图像,共选取了4个第一图像,也即是说,本申请实施例不对该至少一个第一图像的采集时刻是否连续进行具体限定。
需要说明的是,当车辆上安装有多个摄像头时,每个摄像头拍摄或录制的图像均可以称为第一图像,但在上述步骤301中涉及到的该至少一个第一图像来源于同一个摄像头,但该同一个摄像头可以是车辆上已安装的任一摄像头。这是因为只有当这些第一图像来源于同一个摄像头时,来方便进行后续融合得到第二图像,并以第二图像的遮挡检测结果,代替整个摄像头在目标时间段内的遮挡检测结果。
302、车载终端对该至少一个第一图像进行尺寸变换,以使尺寸变换后的该至少一个第一图像的尺寸相同。
可选地,如果该至少一个第一图像的尺寸相同,车载终端可以对该至少一个第一图像进行同等比例的尺寸缩小或尺寸放大,以保证尺寸变换后的该至少一个第一图像的尺寸仍然相同,便于后续的图像融合工作,例如,将各个第一图像均缩放至320×180,或者,也可以缩放至其他尺寸,本申请实施例对此不进行具体限定。
可选地,如果该至少一个第一图像的尺寸不相同,车载终端可以设定将所有的第一图像均缩放至目标尺寸,以保证尺寸变换后的各个第一图像均相同且等于目标尺寸,便于后续的图像融合工作,将各个第一图像均缩放至320×180,或者,也可以缩放至其他尺寸,本申请实施例对此不进行具体限定。
可选地,车载终端在进行尺寸变换时,除了直接进行尺寸缩小或者尺寸放大之外,还可以通过上采样、降采样、卷积、反卷积、池化、反池化等操作来实现尺寸变换,本申请实施例不对尺寸变换的方式进行具体限定。
303、车载终端对尺寸变换后的该至少一个第一图像进行灰度处理,得到该至少一个第一图像的灰度图像。
可选地,对于尺寸变换后的任一第一图像,车载终端可以获取尺寸变换后的该任一第一图像的色彩矩阵,该色彩矩阵中的每个元素用于表示一个像素点的色彩值,而每个像素点的色彩值是由红、绿、蓝三个颜色变量表示的,因此每个像素点的色彩值可以表示为(R,G,B)三元组。在灰度处理时,对该色彩矩阵中的每个像素点,通过对该(R,G,B)三元组的数值进行灰度化,使得灰度化后的R=G=B,也即保证灰度化后的红、绿、蓝三个颜色变量的取值相等,此时三者均相等的这个值,称为每个像素点的灰度值。对该色彩矩阵中的每个像素点均执行上述灰度处理操作,即可得到尺寸变换后的该任一第一图像的灰度图像,对尺寸变换后的每个第一图像均执行上述灰度处理操作,即可得到该至少一个第一图像的灰度图像。
在一些实施例中,在进行灰度处理时,对色彩矩阵中的每个像素点,可以令灰度值等于灰度化之前的色彩变量R、G、B三者的算术平均值,换言之,灰度值=(R+G+B)/3。
在一些实施例中,在进行灰度处理时,对色彩矩阵中的每个像素点,可以令灰度值等于灰度化之前的色彩变量R、G、B三者的加权平均值,R、G、B三者的权重比例可由技术人员进行配置,但需要保证三者的权重比例之和为1,本申请实施例对此不进行具体限定。例如,色彩变量R的权重比例为0.3,色彩变量G的权重比例为0.59,色彩变量B的权重比例为0.11,那么灰度值=R*0.3+G*0.59+B*0.11。
304、车载终端对至少一个第一图像的灰度图像进行融合,得到第二图像。
在一些实施例中,车载终端在对该至少一个第一图像的灰度图像进行融合时,可以将该至少一个第一图像的灰度图像中对应位置像素点的像素值进行按元素相加,得到该第二图像。在上述过程中,由于尺寸变换后的各个第一图像的尺寸相同,因此各个第一图像的灰度图像也尺寸相同,因此任一第一图像的灰度图像中的任一像素点,都能在其他第一图像的灰度图像中找对相同位置的像素点,因此在融合时,只需要将各个第一图像的灰度图像中,位置相同的像素点的像素值相加,即可得到第二图像中位置相同的像素点的像素值,对每个位置的像素点均执行上述操作,能够得到该第二图像。
在上述过程中,通过对各个像素点的像素值进行按元素相加,相当于对各个第一图像的灰度图像进行按元素相加,使得第二图像融合了各个第一图像的灰度图像的灰度值,相当于第二图像是由各个第一图像的灰度图像“叠加”所得的,使得各个第一图像的灰度图像能够充分融合。
在一些实施例中,除了按元素相加之外,还可以对各个第一图像的灰度图像中对应位置像素点的像素值进行按元素相乘,得到该第二图像,同样能够使得各个第一图像的灰度图像能够充分融合。
305、车载终端响应于该至少一个第一图像的数量大于或等于数量阈值,确定该第二图像符合第一目标条件。
其中,该数量阈值可以是任一大于或等于1的整数,该数量阈值可以由技术人员设定为一个预设数值,例如技术人员设定该数量阈值为3,或者,该数量阈值还可以根据车辆上安装的摄像头的数量自适应调整,例如,假设车载终端检测到车辆上安装有5个摄像头,那么将该数量阈值调整为5,本申请实施例不对该数量阈值的取值进行具体限定。
在上述过程中,示出了车载终端对摄像头拍摄的第一图像进行批处理,如果批处理的第一图像的数量大于或等于数量阈值时,确定该第二图像符合第一目标条件,执行下述步骤306,否则,可以扩大批处理的规模,也即继续向第二图像中叠加新的第一图像的灰度图像,直到第一图像的数量大于或等于该数量阈值。
在一些实施例中,车载终端可以设定每次对第一图像的批处理规模大于或等于该数量阈值,例如当数量阈值为4时,可以设定每次对第一图像的批处理规模为4,或者设定每次对第一图像的批处理规模为5,保证每次批处理时得到的第二图像均能够符合该第一目标条件,本申请实施例对此不进行具体限定。
在一些实施例中,车载终端也可以采取迭代的方式来检测第二图像是否符合第一目标条件,比如,每获取到一个第一图像时,对该第一图像进行尺寸变换,得到尺寸变换后的第一图像,对尺寸变换后的第一图像进行灰度处理,得到第一图像的灰度图像,将该第一图像的灰度图像叠加至缓存的第二图像中,得到新的第二图像,其中,该缓存的第二图像是指在该第一图像之前的其他第一图像的灰度图像所融合得到的图像。接着,对于新的第二图像,判断新的第二图像是经过了几轮迭代所得的图像,新的第二图像的迭代次数也即代表了融合成该新的第二图像的各个第一图像的数量,如果该迭代次数大于或等于该数量阈值,确定该新的第二图像符合该第一目标条件,否则,如果该迭代次数小于该数量阈值,对下一个第一图像执行尺寸变换、灰度处理及叠加至当前的第二图像的步骤,这里不做赘述。
需要说明的是,缓存的第二图像有可能为空,这是由于如果该第一图像之前的上一张第一图像在叠加了第二图像后恰好符合第一目标条件,那么第二图像会被清空,因此,如果缓存的第二图像为空,此时可以直接将当前的第一图像的灰度图像置为缓存的第二图像,并执行后续的迭代过程,直到新的第二图像符合第一目标条件。
306、车载终端响应于该第二图像符合第一目标条件,获取该第二图像中各个像素点的饱和度的方差。
在一些实施例中,车载终端在获取该方差时,可以将该第二图像转换至色度-亮度-饱和度HLS色彩空间;基于该第二图像中各个像素点在饱和度空间下所取的像素值,获取该方差。
图4是本申请实施例提供的一种HLS色彩空间的原理性示意图,请参考图4,在HLS色彩空间中,H(Hue)分量表示色度/色相/色调,L(Lightness)分量表示亮度,S(Saturation)分量表示饱和度即色彩纯净度。在图4中,圆柱体的横截面可以看做是一个极坐标系,H用极坐标的极角表示,S用极坐标的极轴长度表示,L用圆柱中轴的高度表示。
其中,H即色相分量用角度度量,取值范围为0~360°,表示色彩信息,即所处的光谱颜色的位置。在颜色圆环上所有的颜色都是光谱上的颜色,从红色开始按逆时针方向旋转,H=0表示红色,H=120表示绿色,H=240表示蓝色等。
在传统的RGB(红绿蓝)色彩空间中,颜色由三个值共同决定,比如黄色为即(255,255,0);在HLS色彩空间中,黄色只由一个值决定,H=60即可。
其中,S即饱和度分量用水平方向的极轴长度度量,饱和度表示颜色接近光谱色的程度。取值范围为0~100%,值越大,颜色越饱和。换言之,饱和度越高,说明颜色越深,越接近光谱色;饱和度越低,说明颜色越浅,越接近白色。饱和度为0表示纯白色。
其中,L即亮度分量用竖直方向的轴高度度量,取值范围是0~100%,L=100时表示白色,L=0时表示黑色。
在一些实施例中,将第二图像转换至HLS色彩空间之后,对于第二图像中的每个像素点,可以读取该像素点在HLS色彩空间下的S即饱和度分量的取值,也即得到了第二图像中各个像素点在饱和度空间下所取的像素值,接着获取第二图像中各个像素点在饱和度空间下的平均像素值,利用各个像素值减去该平均像素值得到各个差值,将各个差值的平方和除以第二图像的总像素点个数,得到该方差。
在上述过程中,通过将第二图像转换到HLS色彩空间,能够更加易于提取出每个像素点各自对应的饱和度分量的取值,而由于当第二图像中存在较大面积的遮挡物时,通常会遮住摄像头的光线,因此使得第二图像整体的饱和度偏低,也即导致所求的方差很小。因此,通过在HLS色彩空间下计算该方差,能够简便、快速地识别出第二图像中存在较大面积的遮挡物的情况,也即能够在消耗较小计算资源的前提下,方便地识别出摄像头被较大的遮挡物遮盖的情况,相当于利用该方差对第二图像进行了粗略识别,如果该方差小于方差阈值,执行下述步骤307,否则,如果该方差大于或等于该方差阈值,执行下述步骤308。
在一些实施例中,除了将该第二图像转换至HLS色彩空间,并在HLS色彩空间下求解该方差之外,还可以将该第二图像转换至色度-饱和度-明度HSV色彩空间,基于该第二图像中各个像素点在饱和度空间下所取的像素值,获取该方差。其中,与HLS色彩空间下的L分量表示亮度的不同之处在于,HSV色彩空间下的V分量是指明度,明度V=100时表示光谱色,明度V=0时表示黑色。
307、车载终端响应于该方差小于方差阈值,确定该摄像头在目标时间段内处于被遮挡状态,该目标时间段为拍摄该至少一个第一图像的时间段。
其中,该方差可以是任一大于或等于0的数值。
在一些实施例中,如果该方差小于该方差阈值,从该至少一个第一图像的拍摄时刻中,确定最小拍摄时刻和最大拍摄时刻,将该最小拍摄时刻和该最大拍摄时刻之间的时间段确定为该目标时间段。
可选地,将该至少一个第一图像的拍摄时刻按照从小到大的顺序进行排序,将排序位于首位的拍摄时刻和排序位于末位的拍摄时刻所确定的时间段,获取为该目标时间段。其中,拍摄时刻越小是指拍摄时刻越早、距离当前时刻越远,拍摄时刻越大是指拍摄时刻越晚、距离当前时刻越近。
308、车载终端响应于该方差大于或等于该方差阈值,对该第二图像进行分块处理,得到至少一个图像块。
在一些实施例中,响应于该方差大于或等于该方差阈值,可以对该第二图像进行分块处理,也即将该第二图像划分成至少一个图像块。可选地,各个图像块的大小可以是相等的,也可以是不相等的,本申请实施例对图像块的大小是否相等不进行具体限定。
在一些实施例中,在进行图像分块时,可以将该第二图像纵向切分成至少一个竖直的图像块,但这些竖直的图像块的宽度可以是相同的或者不同的,本申请实施例对此不进行具体限定。
在上述过程中,由于第二图像是多张第一图像的灰度图像所融合得到的图像,而第一图像又都是车载的摄像头拍摄的,由于视角原因,通常第一图像的上半部分都是车辆或者交通灯,而下半部分都是路面,由于路面本身的亮度通常都较暗且边缘点数量较少,因此如果横向切分成至少一个水平的图像块,会导致路面所在的图像块丢失了很多细节信息,因此通过对第二图像进行纵向分块,能够保证各个图像块中保留较多的细节信息,有利于提高后续遮挡检测的准确程度。
309、车载终端获取该至少一个图像块各自的亮度平均值。
在一些实施例中,对每个图像块,车载终端获取该图像块中每个像素点的亮度值,将各个像素点的亮度值求平均值,即使用该图像块中所有像素点的亮度值之和除以该图像块中像素点个数,得到该图像块的亮度平均值,重复执行上述步骤即可得到各个图像块的亮度平均值。
在一些实施例中,在获取每个图像块中每个像素点的亮度值时,由于在上述步骤306中已将第二图像转换到HLS色彩空间,因此对于每个图像块的每个像素点,可以直接读取该像素点在亮度空间下所取的像素值(也即L分量的取值),从而得到各个像素点的亮度值。
310、车载终端对该至少一个图像块进行边缘检测,得到该至少一个图像块各自包含的边缘点数量。
在一些实施例中,车载终端对每个图像块,使用OpenCV库中原生的Canny(坎尼)算子来提取本图像块中包含的边缘点数量,能够提高边缘点数量的提取速度,并保证边缘点数量的提取准确度。
在一些实施例中,除了Canny算子之外,还可以采用Sobel(索贝尔)算子、Laplace(拉普拉斯)算子、Roberts(罗伯特)算子、Krisch(基尔希)算子、Prewitt(普鲁伊特)算子等,本申请实施例不对边缘检测采取的算法进行具体限定。
311、车载终端响应于该亮度平均值和该边缘点数量符合第二目标条件,确定该摄像头在该目标时间段内处于被遮挡状态。
在一些实施例中,该第二目标条件为:该至少一个图像块中任一图像块的亮度平均值小于亮度阈值,且该任一图像块包含的边缘点数量小于边缘点阈值。在这种情况下,车载终端遍历每个图像块,如果存在任一个图像块的亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值,确定该亮度平均值和该边缘点数量符合第二目标条件,响应于该亮度平均值和该边缘点数量符合第二目标条件,确定该摄像头在该目标时间段内处于被遮挡状态。其中,该亮度阈值是任一大于或等于0且小于或等于100的数值,该边缘点阈值是任一大于或等于1的整数。
在一些实施例中,该第二目标条件为:该至少一个图像块中,亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值的图像块的数量大于或等于目标数量。在这种情况下,车载终端遍历每个图像块,确定每个图像块是否满足:亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值,并统计满足上述情况的图像块的数量,如果满足上述情况的图像块的数量大于或等于目标数量,确定该亮度平均值和该边缘点数量符合第二目标条件,响应于该亮度平均值和该边缘点数量符合第二目标条件,确定该摄像头在该目标时间段内处于被遮挡状态。其中,该亮度阈值是任一大于或等于0且小于或等于100的数值,该边缘点阈值是任一大于或等于1的整数,该目标数量是任一大于或等于1的整数。
在一些实施例中,第二目标条件为:该至少一个图像块中,亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值的图像块在该至少一个图像块中所占的比例超过比例阈值。在这种情况下,车载终端遍历每个图像块,确定每个图像块是否满足:亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值,并统计满足上述情况的图像块的数量,获取满足上述情况的图像块的数量与该至少一个图像块的总数量之间的比值,如果该比值超过比例阈值,确定该亮度平均值和该边缘点数量符合第二目标条件,响应于该亮度平均值和该边缘点数量符合第二目标条件,确定该摄像头在该目标时间段内处于被遮挡状态。其中,该亮度阈值是任一大于或等于0且小于或等于100的数值,该边缘点阈值是任一大于或等于1的整数,该比例阈值是任一大于或等于0且小于或等于100%的数值。
在本申请实施例中,仅示出了三种可能的第二目标条件的示例,并介绍了检测是否符合第二目标条件的操作,但第二目标条件还可以设定为其他的内容,本申请实施例不对第二目标条件的内容进行具体限定。
在上述步骤308-311中,对于方差大于或等于方差阈值的情况,通过图像分块,并对每个图像块提取亮度平均值和边缘点数量,能够对第二图像分块进行局部遮挡物的检测,也即是说,通过计算饱和度空间下的方差,能够在消耗较小计算资源的情况下,粗略地识别出来体积较大的遮挡物,而对于不存在较大遮挡物的情况,通过分块进行局部的检测,能够精细地识别出来体积较小的遮挡物,从而能够对摄像头是否被遮挡的情况进行两层准确度更高的判断,且粗筛过程无需提取亮度平均值和边缘点数量,能够大大节约计算资源。
图5是本申请实施例提供的一种图像处理方法的原理性流程图,如图5所示,以当前帧图像(任一第一图像)为例,说明如何在迭代过程中完成摄像头的遮挡检测过程。对于当前帧图像,通过图像预处理操作,也即对当前帧图像进行尺寸变换,然后再进行灰度处理,得到当前帧图像的灰度图像;接着,将该灰度图像与缓存的待检测图像进行叠加,得到新的待检测图像,其中,该缓存的待检测图像是指前N帧图像的灰度图像融合得到的第二图像,N≥0,而图像叠加过程也即是:将当前帧图像的灰度图像与前N帧图像的灰度图像融合得到的第二图像再次进行融合,得到新的第二图像;判断新的待检测图像的叠加数目是否达到阈值,也即判断新的第二图像是否已融合的第一图像的数量大于或等于数量阈值;如果是,将新的待检测图像转换到HLS色彩空间,计算新的待检测图像在饱和度空间下的方差;如果方差小于方差阈值,确定新的待检测图像所覆盖的目标时间段内摄像头处于被遮挡状态,退出流程;如果方差大于或等于方差阈值,分块计算亮度空间平均值,也即是说对新的待检测图像进行图像分块,并计算每个图像块的亮度平均值;接着分块使用Canny算子提取边缘点,也即是说对每个图像块使用Canny算子获取边缘点数量;判断亮度平均值和边缘点数量是否符合第二目标条件;如果符合第二目标条件,确定摄像头在该目标时间段内处于被遮挡状态,如果不符合第二目标条件,确定摄像头在该目标时间段内无遮挡,退出流程。
上述所有可选技术方案,能够采用任意结合形成本公开的可选实施例,在此不再一一赘述。
本申请实施例提供的方法,通过对车载摄像头拍摄所得的单帧或多帧的第一图像融合,得到第二图像,并基于第二图像中各个像素点的饱和度的方差,可确定车载摄像头在拍摄该单帧或多帧第一图像的目标时间段内是否被遮挡,能够及时检测出车载摄像头是否存在被遮挡的情况,且能够对第一图像进行批量检测,以识别出车载摄像头被遮挡的目标时间段,相较于仅单帧图像检测来说降低了随机误差,且提高了图像处理效率。
图6是本申请实施例提供的一种图像处理装置的结构示意图,请参考图6,该装置包括:
融合模块601,用于对至少一个第一图像的灰度图像进行融合,得到第二图像,该第一图像为车载终端的摄像头拍摄得到的图像;
第一获取模块602,用于响应于该第二图像符合第一目标条件,获取该第二图像中各个像素点的饱和度的方差;
确定模块603,用于响应于该方差小于方差阈值,确定该摄像头在目标时间段内处于被遮挡状态,该目标时间段为拍摄该至少一个第一图像的时间段。
本申请实施例提供的装置,通过对车载摄像头拍摄所得的单帧或多帧的第一图像融合,得到第二图像,并基于第二图像中各个像素点的饱和度的方差,可确定车载摄像头在拍摄该单帧或多帧第一图像的目标时间段内是否被遮挡,能够及时检测出车载摄像头是否存在被遮挡的情况,且能够对第一图像进行批量检测,以识别出车载摄像头被遮挡的目标时间段,相较于仅单帧图像检测来说降低了随机误差,且提高了图像处理效率。
在一种可能实施方式中,该第一获取模块602用于:
响应于该至少一个第一图像的数量大于或等于数量阈值,确定该第二图像符合该第一目标条件,执行获取该方差的步骤。
在一种可能实施方式中,该第一获取模块602用于:
将该第二图像转换至色度-亮度-饱和度HLS色彩空间;
基于该第二图像中各个像素点在饱和度空间下所取的像素值,获取该方差。
在一种可能实施方式中,该融合模块601用于:
将该至少一个第一图像的灰度图像中对应位置像素点的像素值进行按元素相加,得到该第二图像。
在一种可能实施方式中,基于图6的装置组成,该装置还包括:
尺寸变换模块,用于对该至少一个第一图像进行尺寸变换,以使尺寸变换后的该至少一个第一图像的尺寸相同;
灰度处理模块,用于对尺寸变换后的该至少一个第一图像进行灰度处理,得到该至少一个第一图像的灰度图像。
在一种可能实施方式中,基于图6的装置组成,该装置还包括:
分块处理模块,用于响应于该方差大于或等于该方差阈值,对该第二图像进行分块处理,得到至少一个图像块;
第二获取模块,用于获取该至少一个图像块各自的亮度平均值;
边缘检测模块,用于对该至少一个图像块进行边缘检测,得到该至少一个图像块各自包含的边缘点数量;
该确定模块603,还用于响应于该亮度平均值和该边缘点数量符合第二目标条件,确定该摄像头在该目标时间段内处于被遮挡状态。
在一种可能实施方式中,该第二目标条件为:该至少一个图像块中任一图像块的亮度平均值小于亮度阈值,且该任一图像块包含的边缘点数量小于边缘点阈值。
在一种可能实施方式中,该第二目标条件为:该至少一个图像块中,亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值的图像块的数量大于或等于目标数量。
上述所有可选技术方案,能够采用任意结合形成本公开的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的图像处理装置在处理图像时,仅以上述各功能模块的划分进行举例说明,实际应用中,能够根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其具体实现过程详见图像处理方法实施例,这里不再赘述。
图7是本申请实施例提供的一种计算机设备的结构示意图,请参考图7,以计算机设备为终端701为例进行说明,终端701获取到车载摄像头拍摄的至少一个第一图像之后,执行本申请实施例提供的图像处理方法,以检测车载摄像头是否在目标时间段内被遮挡。
可选地,该终端700的设备类型包括:车载终端、智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端700包括有:处理器701和存储器702。
可选地,处理器701包括一个或多个处理核心,比如4核心处理器、8核心处理器等。可选地,处理器701采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。在一些实施例中,处理器701包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器701集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器701还包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
在一些实施例中,存储器702包括一个或多个计算机可读存储介质,可选地,该计算机可读存储介质是非暂态的。可选地,存储器702还包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器702中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器701所执行以实现本申请中各个实施例提供的图像处理方法。
在一些实施例中,终端700还可选包括有:外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间能够通过总线或信号线相连。各个外围设备能够通过总线、信号线或电路板与外围设备接口703相连。具体地,外围设备包括:射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中,处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上;在一些其他实施例中,处理器701、存储器702和外围设备接口703中的任意一个或两个在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路704包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。可选地,射频电路704通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路704还包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏705用于显示UI(User Interface,用户界面)。可选地,该UI包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时,显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号能够作为控制信号输入至处理器701进行处理。可选地,显示屏705还用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏705为一个,设置终端700的前面板;在另一些实施例中,显示屏705为至少两个,分别设置在终端700的不同表面或呈折叠设计;在再一些实施例中,显示屏705是柔性显示屏,设置在终端700的弯曲表面上或折叠面上。甚至,可选地,显示屏705设置成非矩形的不规则图形,也即异形屏。可选地,显示屏705采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地,摄像头组件706包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件706还包括闪光灯。可选地,闪光灯是单色温闪光灯,或者是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,用于不同色温下的光线补偿。
在一些实施例中,音频电路707包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器701进行处理,或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的,麦克风为多个,分别设置在终端700的不同部位。可选地,麦克风是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。可选地,扬声器是传统的薄膜扬声器,或者是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅能够将电信号转换为人类可听见的声波,也能够将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路707还包括耳机插孔。
定位组件708用于定位终端700的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。可选地,定位组件708是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为终端700中的各个组件进行供电。可选地,电源709是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时,该可充电电池支持有线充电或无线充电。该可充电电池还用于支持快充技术。
在一些实施例中,终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于:加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
在一些实施例中,加速度传感器711检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器711用于检测重力加速度在三个坐标轴上的分量。可选地,处理器701根据加速度传感器711采集的重力加速度信号,控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还用于游戏或者用户的运动数据的采集。
在一些实施例中,陀螺仪传感器712检测终端700的机体方向及转动角度,陀螺仪传感器712与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据,实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
可选地,压力传感器713设置在终端700的侧边框和/或显示屏705的下层。当压力传感器713设置在终端700的侧边框时,能够检测用户对终端700的握持信号,由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时,由处理器701根据用户对显示屏705的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹,由处理器701根据指纹传感器714采集到的指纹识别用户的身份,或者,由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器701授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。可选地,指纹传感器714被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时,指纹传感器714能够与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中,处理器701根据光学传感器715采集的环境光强度,控制显示屏705的显示亮度。具体地,当环境光强度较高时,调高显示屏705的显示亮度;当环境光强度较低时,调低显示屏705的显示亮度。在另一个实施例中,处理器701还根据光学传感器715采集的环境光强度,动态调整摄像头组件706的拍摄参数。
接近传感器716,也称距离传感器,通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中,当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时,由处理器701控制显示屏705从亮屏状态切换为息屏状态;当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时,由处理器701控制显示屏705从息屏状态切换为亮屏状态。
本领域技术人员能够理解,图7中示出的结构并不构成对终端700的限定,能够包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图8是本申请实施例提供的一种计算机设备的结构示意图,该计算机设备可以是服务器,也即车载摄像头拍摄得到至少一个第一图像之后,通过车载终端将该至少一个第一图像发送至服务器,由服务器执行本申请实施例提供的图像处理方法,以检测车载摄像头是否在目标时间段内被遮挡。
该计算机设备800可因配置或性能不同而产生比较大的差异,该计算机设备800包括一个或一个以上处理器(Central Processing Units,CPU)801和一个或一个以上的存储器802,其中,该存储器802中存储有至少一条计算机程序,该至少一条计算机程序由该一个或一个以上处理器801加载并执行以实现上述各个实施例提供的图像处理方法。可选地,该计算机设备800还具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该计算机设备800还包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括至少一条计算机程序的存储器,上述至少一条计算机程序可由终端中的处理器执行以完成上述各个实施例中的图像处理方法。例如,该计算机可读存储介质包括ROM(Read-Only Memory,只读存储器)、RAM(Random-Access Memory,随机存取存储器)、CD-ROM(Compact Disc Read-OnlyMemory,只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,包括一条或多条程序代码,该一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码,该一个或多个处理器执行该一条或多条程序代码,使得计算机设备能够执行以完成上述实施例中的图像处理方法。
本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成,也能够通过程序来指令相关的硬件完成,可选地,该程序存储于一种计算机可读存储介质中,可选地,上述提到的存储介质是只读存储器、磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (18)
1.一种图像处理方法,其特征在于,所述方法包括:
对至少一个第一图像的灰度图像进行融合,得到第二图像,所述第一图像为车载终端的摄像头拍摄得到的图像;
响应于所述第二图像符合第一目标条件,获取所述第二图像中各个像素点的饱和度的方差;
响应于所述方差小于方差阈值,从所述至少一个第一图像的拍摄时刻中,确定最小拍摄时刻和最大拍摄时刻,将所述最小拍摄时刻和所述最大拍摄时刻之间的时间段确定为目标时间段,确定所述摄像头在所述目标时间段内处于被遮挡状态,所述目标时间段为拍摄所述至少一个第一图像的时间段。
2.根据权利要求1所述的方法,其特征在于,所述响应于所述第二图像符合第一目标条件,获取所述第二图像中各个像素点的饱和度的方差包括:
响应于所述至少一个第一图像的数量大于或等于数量阈值,确定所述第二图像符合所述第一目标条件,执行获取所述方差的步骤。
3.根据权利要求1或2所述的方法,其特征在于,所述获取所述第二图像中各个像素点的饱和度的方差包括:
将所述第二图像转换至色度-亮度-饱和度HLS色彩空间;
基于所述第二图像中各个像素点在饱和度空间下所取的像素值,获取所述方差。
4.根据权利要求1所述的方法,其特征在于,所述对至少一个第一图像的灰度图像进行融合,得到第二图像包括:
将所述至少一个第一图像的灰度图像中对应位置像素点的像素值进行按元素相加,得到所述第二图像。
5.根据权利要求1所述的方法,其特征在于,所述对至少一个第一图像的灰度图像进行融合,得到第二图像之前,所述方法还包括:
对所述至少一个第一图像进行尺寸变换,以使尺寸变换后的所述至少一个第一图像的尺寸相同;
对尺寸变换后的所述至少一个第一图像进行灰度处理,得到所述至少一个第一图像的灰度图像。
6.根据权利要求1所述的方法,其特征在于,所述获取所述第二图像中各个像素点的饱和度的方差之后,所述方法还包括:
响应于所述方差大于或等于所述方差阈值,对所述第二图像进行分块处理,得到至少一个图像块;
获取所述至少一个图像块各自的亮度平均值;
对所述至少一个图像块进行边缘检测,得到所述至少一个图像块各自包含的边缘点数量;
响应于所述亮度平均值和所述边缘点数量符合第二目标条件,确定所述摄像头在所述目标时间段内处于被遮挡状态。
7.根据权利要求6所述的方法,其特征在于,所述第二目标条件为:所述至少一个图像块中任一图像块的亮度平均值小于亮度阈值,且所述任一图像块包含的边缘点数量小于边缘点阈值。
8.根据权利要求6所述的方法,其特征在于,所述第二目标条件为:所述至少一个图像块中,亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值的图像块的数量大于或等于目标数量。
9.一种图像处理装置,其特征在于,所述装置包括:
融合模块,用于对至少一个第一图像的灰度图像进行融合,得到第二图像,所述第一图像为车载终端的摄像头拍摄得到的图像;
第一获取模块,用于响应于所述第二图像符合第一目标条件,获取所述第二图像中各个像素点的饱和度的方差;
确定模块,用于响应于所述方差小于方差阈值,从所述至少一个第一图像的拍摄时刻中,确定最小拍摄时刻和最大拍摄时刻,将所述最小拍摄时刻和所述最大拍摄时刻之间的时间段确定为目标时间段,确定所述摄像头在所述目标时间段内处于被遮挡状态,所述目标时间段为拍摄所述至少一个第一图像的时间段。
10.根据权利要求9所述的装置,其特征在于,所述第一获取模块用于:
响应于所述至少一个第一图像的数量大于或等于数量阈值,确定所述第二图像符合所述第一目标条件,执行获取所述方差的步骤。
11.根据权利要求9或10所述的装置,其特征在于,所述第一获取模块用于:
将所述第二图像转换至色度-亮度-饱和度HLS色彩空间;
基于所述第二图像中各个像素点在饱和度空间下所取的像素值,获取所述方差。
12.根据权利要求9所述的装置,其特征在于,所述融合模块用于:
将所述至少一个第一图像的灰度图像中对应位置像素点的像素值进行按元素相加,得到所述第二图像。
13.根据权利要求9所述的装置,其特征在于,所述装置还包括:
尺寸变换模块,用于对所述至少一个第一图像进行尺寸变换,以使尺寸变换后的所述至少一个第一图像的尺寸相同;
灰度处理模块,用于对尺寸变换后的所述至少一个第一图像进行灰度处理,得到所述至少一个第一图像的灰度图像。
14.根据权利要求9所述的装置,其特征在于,所述装置还包括:
分块处理模块,用于响应于所述方差大于或等于所述方差阈值,对所述第二图像进行分块处理,得到至少一个图像块;
第二获取模块,用于获取所述至少一个图像块各自的亮度平均值;
边缘检测模块,用于对所述至少一个图像块进行边缘检测,得到所述至少一个图像块各自包含的边缘点数量;
所述确定模块,还用于响应于所述亮度平均值和所述边缘点数量符合第二目标条件,确定所述摄像头在所述目标时间段内处于被遮挡状态。
15.根据权利要求14所述的装置,其特征在于,所述第二目标条件为:所述至少一个图像块中任一图像块的亮度平均值小于亮度阈值,且所述任一图像块包含的边缘点数量小于边缘点阈值。
16.根据权利要求14所述的装置,其特征在于,所述第二目标条件为:所述至少一个图像块中,亮度平均值小于亮度阈值且边缘点数量小于边缘点阈值的图像块的数量大于或等于目标数量。
17.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求8任一项所述的图像处理方法。
18.一种存储介质,其特征在于,所述存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求8任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110642867.7A CN113379705B (zh) | 2021-06-09 | 2021-06-09 | 图像处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110642867.7A CN113379705B (zh) | 2021-06-09 | 2021-06-09 | 图像处理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113379705A CN113379705A (zh) | 2021-09-10 |
CN113379705B true CN113379705B (zh) | 2022-11-15 |
Family
ID=77573167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110642867.7A Active CN113379705B (zh) | 2021-06-09 | 2021-06-09 | 图像处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113379705B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114187498A (zh) * | 2021-12-08 | 2022-03-15 | 上海商汤智能科技有限公司 | 遮挡检测方法及装置、电子设备和存储介质 |
CN117649477B (zh) * | 2024-01-30 | 2024-06-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备以及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105469430A (zh) * | 2015-12-10 | 2016-04-06 | 中国石油大学(华东) | 一种大场景中的小目标抗遮挡跟踪方法 |
CN112116551A (zh) * | 2019-06-20 | 2020-12-22 | 腾讯科技(深圳)有限公司 | 一种摄像头遮挡检测方法、装置、电子设备和存储介质 |
-
2021
- 2021-06-09 CN CN202110642867.7A patent/CN113379705B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113379705A (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070056B (zh) | 图像处理方法、装置、存储介质及设备 | |
CN111126182B (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
CN108594997B (zh) | 手势骨架构建方法、装置、设备及存储介质 | |
CN110490179B (zh) | 车牌识别方法、装置及存储介质 | |
CN113379705B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN113205515B (zh) | 目标检测方法、装置、及计算机存储介质 | |
CN111104893B (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
CN110991457B (zh) | 二维码处理方法、装置、电子设备及存储介质 | |
CN110991491A (zh) | 图像标注方法、装置、设备及存储介质 | |
CN113378705B (zh) | 车道线检测方法、装置、设备及存储介质 | |
CN114820633A (zh) | 语义分割方法、语义分割模型的训练方法、装置及设备 | |
CN114332821A (zh) | 决策信息获取方法、装置、终端及存储介质 | |
CN111325701B (zh) | 图像处理方法、装置及存储介质 | |
CN111127541B (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
CN111582184B (zh) | 页面检测方法、装置、设备及存储介质 | |
CN111179628B (zh) | 自动驾驶车辆的定位方法、装置、电子设备及存储介质 | |
CN111538009B (zh) | 雷达点的标记方法和装置 | |
CN111444749B (zh) | 路面导向标志的识别方法、装置及存储介质 | |
CN110163862B (zh) | 图像语义分割方法、装置及计算机设备 | |
CN116853240A (zh) | 障碍物的预警方法、装置、设备及存储介质 | |
CN111147738A (zh) | 警用车载全景慧眼系统、装置、电子设备及介质 | |
CN115965936A (zh) | 边缘位置标注方法及设备 | |
CN114387312A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111563402B (zh) | 车牌识别方法、装置、终端及存储介质 | |
CN110728275B (zh) | 车牌识别方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |