CN114648569A - 一种障碍物检测方法、装置、电子设备及存储介质 - Google Patents
一种障碍物检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114648569A CN114648569A CN202011519610.4A CN202011519610A CN114648569A CN 114648569 A CN114648569 A CN 114648569A CN 202011519610 A CN202011519610 A CN 202011519610A CN 114648569 A CN114648569 A CN 114648569A
- Authority
- CN
- China
- Prior art keywords
- image
- obstacle
- determining
- angle
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供的一种障碍物检测方法、装置、电子设备及存储介质,通过获取检测区域的第一图像,在确定检测区域存在障碍物的情况下,从第一图像中提取障碍物对应的第二图像,根据第二图像在第一图像中的位置信息确定障碍物的特征信息。本方案根据障碍物对应的图像可以确定障碍物自身的特征信息,而障碍物的特征信息可以体现障碍物的特征,进而根据获取的特征信息即可对障碍物进行区分,解决了目前无法对障碍物进行区分的技术问题。
Description
技术领域
本申请涉及障碍物检测领域,尤其涉及一种障碍物检测方法、装置、电子设备及存储介质。
背景技术
在空调器运行过程中,对障碍物进行检测,有助于根据障碍物对空调器的出风模式进行调整,以实现更优的制冷或制热效果。
障碍物种类不同,其对空调器出风的影响不同,因此为了达到更好的出风效果,针对不同种类的障碍物应采用不同的出风调节策略。但是,目前空调器在进行障碍物检测时,通常是采用热释电方式或微波雷达方式检测障碍物的位置,而根据障碍物的位置是无法对障碍物进行区分的,因此现在急需一种新的障碍物检测方法,以便对障碍物进行区分。
发明内容
为了解决无法对障碍物进行区分的技术问题,本申请提供了一种障碍物检测方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种障碍物检测方法,包括:
获取检测区域的第一图像;
在确定所述检测区域内有障碍物的情况下,从所述第一图像中提取所述障碍物对应的第二图像;
根据所述第二图像在所述第一图像中的位置信息,确定所述障碍物的特征信息。
作为一种可能的实现方式,所述特征信息包括所述障碍物与所述第一图像的对应的图像采集设备之间的地面投影距离,所述根据所述第二图像在所述第一图像中的位置信息确定所述障碍物的特征信息,包括:
确定所述第二图像的下边缘与所述第一图像的下边缘之间相差的第一像素行数;
根据所述第一像素行数、所述第一图像的像素总行数以及所述第一图像对应的图像采集设备的可视俯仰角,确定所述障碍物的下边缘与所述图像采集设备的成相框下边缘之间的第一夹角;
根据所述图像采集设备与安装面之间的夹角以及所述图像采集设备的可视俯仰角,确定所述图像采集设备的成相框下边缘与所述安装面之间的第二夹角;
基于所述第一交角、第二夹角以及所述图像采集设备与地面之间的距离,确定所述障碍物与所述图像采集设备之间的地面投影距离。
作为一种可能的实现方式,基于所述第一交角、第二夹角以及所述图像采集设备与地面之间的距离,按照下式确定所述障碍物与所述图像采集设备之间的地面投影距离:
d1=h*tan(δ+ε)
δ=(π/2–(β/2+α))
ε=β*(L1/Row)
其中d1表示障碍物与所述图像采集设备之间的地面投影距离,h表示所述图像采集设备与地面之间的距离,δ表示第二夹角,β表示所述图像采集设备的可视俯仰角,α表示所述图像采集设备与安装面之间的夹角,ε表示第一夹角,L1表示第一像素行数,Row表示所述第一图像的像素总行数。
作为一种可能的实现方式,所述特征信息还包括所述障碍物的高度,所述根据所述第二图像在所述第一图像中的位置信息确定所述障碍物的特征信息,包括:
确定所述第二图像的像素总行数;
根据所述第二图像的像素总行数、所述第一图像的像素总行数以及所述图像采集设备的可视俯仰角,确定所述障碍物的纵向占比角度;
根据所述第一夹角、第二夹角、所述纵向占比角度和所述图像采集设备与地面之间的距离,确定所述障碍物的上边缘与所述图像采集设备之间的地面投影距离;
根据所述第一夹角、第二夹角、所述障碍物的上边缘与所述图像采集设备之间的地面投影距离以及所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的高度。
作为一种可能的实现方式,根据所述第一夹角、第二夹角、所述障碍物的上边缘与所述图像采集设备之间的地面投影距离以及所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的高度,包括:
h2=(d2-d1)/tan(δ+ε+ε2)
ε2=β*(L2/Row)
d2=h*tan(δ+ε+ε2)
其中,h2表示所述障碍物的高度,d2表示所述障碍物的上边缘与所述图像采集设备之间的地面投影距离,ε2表示所述纵向占比角度,L2表示所述第二图像的像素总行数。
作为一种可能的实现方式,所述特征信息还包括所述障碍物的宽度,所述根据所述第二图像在所述第一图像中的位置信息确定所述障碍物的特征信息,包括:
确定所述第二图像的像素总列数;
根据所述第二图像的像素总列数、所述第一图像的像素总列数以及所述图像采集设备的可视水平角,确定所述障碍物的横向占比角度;
根据所述横向占比角度和所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的宽度。
作为一种可能的实现方式,根据所述横向占比角度和所述障碍物与所述图像采集设备之间的地面投影距离,按照下式,确定所述障碍物的宽度:
W=2*d1*tan(θ/2)
θ=ρ*(L3/Column)
其中,W表示所述障碍物的宽度,θ表示所述横向占比角度,ρ表示所述图像采集设备的水平可视角,L3表示所述第二图像的像素总列数,Column表示所述第一图像的像素总列数。
作为一种可能的实现方式,所述方法还包括:
根据所述障碍物的宽度和高度,确定所述障碍物的宽高比;
确定所述障碍物是否移动;
确定所述障碍物的表面温度;
若所述宽高比小于预设的第一阈值、所述障碍物移动且所述表面温度属于预设温度区间,则确定所述障碍物的种类为人,否则确定所述障碍物的种类为非人的物体。
作为一种可能的实现方式,所述方法还包括:
若确定所述障碍物的种类为非人的物体,则确定所述第二图像的形状是否为预设形状;
若确定所述第二图像的形状为预设形状,则根据预设的物体宽高比与物体种类的对应关系,确定与所述障碍物的宽高比对应的目标种类,并确定所述目标种类为所述障碍物的种类。
作为一种可能的实现方式,所述方法还包括:
将所述特征信息输入预先训练好的物体分类模型,使得所述物体分类模型输出所述障碍物的种类。
第二方面,本申请实施例还提供了一种障碍物检测装置,包括:
获取模块,用于获取检测区域的第一图像;
提取模块,用于在确定所述检测区域内有障碍物的情况下,从所述第一图像中提取所述障碍物对应的第二图像;
确定模块,用于根据所述第二图像在所述第一图像中的位置信息,确定所述障碍物的特征信息。
第三方面,本申请实施例还提供了一种电子设备,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的数据处理程序,以实现第一方面所述障碍物检测方法。
第四方面,本申请实施例还提供了一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面所述障碍物检测方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本发明实施例提供的一种障碍物检测方法,通过获取检测区域的第一图像,在检测区域存在障碍物的情况下,确定从第一图像中提取障碍物对应的第二图像,根据第二图像在第一图像中的位置信息确定障碍物的特征信息。本方案根据障碍物对应的图像可以确定障碍物自身的特征信息,而障碍物的特征信息可以体现障碍物的特征,进而根据获取的特征信息即可对障碍物进行区分,解决了目前无法对障碍物进行区分的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种障碍物检测方法的流程图;
图2为本申请实施例提供的一种障碍物与图像采集设备之间距离的方法流程图;
图3为本申请实施例提供的一种第一图像的;
图4为本申请实施例提供的一种成像原理图;
图5为本申请实施例提供的一种确定障碍物高度的方法流程图;
图6为本申请实施例提供的一种确定障碍物宽度的方法流程图;
图7为本申请实施例提供的另一种障碍物检测方法的流程图;
图8为本申请实施例提供的一种确定检测区域是否有障碍物的流程图;
图9为本申请实施例提供的一种障碍物检测装置的框图;
图10为本申请实施例提供的一种电子设备的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请提供了一种障碍物检测方法的流程图,该方法可以应用于空调器等设备,如图1所示,该方法可以包括如下步骤:
S11.获取检测区域的第一图像。
作为一个实施例,第一图像是通过图像采集设备采集的检测区域的图像,其中图像采集设备可以是光学摄像头或红外阵列传感器等。
检测区域可以为根据实际需求设定的区域,例如将该障碍物检测方法应用于空调器,则检测区域可以为空调器的送风区域。
S12.在确定所述检测区域内有障碍物的情况下,从所述第一图像中提取所述障碍物对应的第二图像。
作为一个可选的实现方式,若检测区域的第一图像是温度分布图像,则可以根据第一图像中像素点对应的温度值来确定检测区域是否存在障碍物,至于是如何根据像素点的温度值确定检测区域是否有障碍物的在下文中进行描述,此处先不赘述。
作为另一个可选的实现方式,若第一图像时光学摄像头采集的图像,则可以利用现有的图像识别技术来确定检测区域中是否存在障碍物。
作为一个实施例,在确定检测区域存在障碍物后,可以采用图像分割技术从第一图像中提取障碍物对应的第二图像,具体的可以包括如下步骤:
步骤1:将所述第一图像转换为灰度图。
步骤2:确定所述灰度图对应的直方图。
步骤3:对直方图进行平滑处理并分析,通过双峰法或中值法找到谷底温度分界点,获得分割阈值z。
一个好的分割阈值应该对应着直方图中两个峰之间的最小值,例如若第一图像为温度分布图,如果温度分布图中的温度较为集中,例如,主要集中在22℃到40℃之间,不太好分析,则可以在步骤3之前,将灰度图进行0到255等级的灰度均衡化,来提高对比度,再通过步骤3对均衡化的温度分布直方图进行平滑处理并分析,通过双峰法找到分界点阀值z。
步骤4:对灰度图按分割阈值z进行二值化,从而得到障碍物的形状图。
作为一个可选的实现方式,可以直接将得到的形状图作为障碍物对应的第二图像。
作为另一个可选的实现方式,可以将形状图对应的区域作为目标区域,提取第一图像中与目标区域对应的图像作为障碍物对应的第二图像。
S13.根据所述第二图像在所述第一图像中的位置信息,确定所述障碍物的特征信息。
作为一个实施例,障碍物的特征信息可以包括下述特征中的一种或几种:障碍物与第一图像对应的图像采集设备之间的地面投影距离、障碍物的高度、障碍物的宽度等。
作为一个实施例,若所述特征信息包括所述障碍物与所述第一图像对应的图像采集设备之间的地面投影距离,则如图2所示,根据所述第二图像在所述第一图像中的位置信息确定所述障碍物的特征信息,可以包括:
S21.确定所述第二图像的下边缘与所述第一图像的下边缘之间相差的第一像素行数。
其中,第二图像的下边缘为第二图像中距离第一图像的下边缘最近的边缘。
像素行数可以理解为是纵向像素点个数,第一像素行数指的就是第二图像下边缘与第一图像下边缘之间纵向相差的像素点个数。为便于理解,对第一像素行数进行如下解释:以第二图像下边缘中的任一像素点为第一像素点,过第一像素点画一条垂直与第一图像下边缘的垂直线,将该垂直线与第一图像下边缘的交点对应的像素点作为第二像素点,在所述垂直线中,第一像素点和第二像素点之间的像素点个数即为第二图像下边缘与第一图像下边缘之间纵向相差的像素点个数也就是第一像素行数,上述描述只是为了便于对第一像素行数的理解,并不构成对确定第一像素行数的方式的限定。
例如图3所示,图3为第一图像的示意图,其中深色区域表示第二图像,L1就表示第一像素行数。
S22.根据所述第一像素行数、所述第一图像的像素总行数以及所述第一图像对应的图像采集设备的可视俯仰角,确定所述障碍物的下边缘与所述图像采集设备的成相框下边缘之间的第一夹角。
图像的像素总行数和像素总列数可以根据图像的分辨率确定,图像的像素总行数即为图像的纵向分辨率,图像的像素总列数即为图像的横向分辨率,例如,若图像的分辨率为800*600,则该图像的像素总行数即为600,像素总列数即为800。基于此,第一图像的像素总行数即为第一图像的纵向分辨率。而第一图像的分辨率为第一图像的属性值,可以直接获取。
图像采集设备的可视俯仰角为图像采集设备自身的参数,可以预先存储在预设位置,然后在执行S22时从预设位置中直接获取,或者还可以在执行S22时进行联网,然后基于图像采集设备的型号去网上搜索图像采集设备的视场角,视场角包括可视俯仰角和可视水平角。
作为一个实施例,可以按下式计算第一夹角:
ε=β*(L1/Row)
其中,ε表示第一夹角,β表示所述图像采集设备的可视俯仰角,L1表示第一像素行数,Row表示第一图像的像素总行数。
S23.根据所述图像采集设备与安装面之间的夹角以及所述图像采集设备的可视俯仰角,确定所述图像采集设备的成相框下边缘与所述安装面之间的第二夹角。
作为一个实施例,安装面即为图像采集设备所安装在的平面,而图像采集设备与安装面之间的夹角,是在进行图像采集设备安装时,根据实际需求设定的,具体的,在图像采集设备安装完成后,可以将图像采集设备与安装面之间的夹角存储至预设位置,在执行S23时,直接从预设位置中获取图像采集设备与安装面之间的夹角即可。
作为一个实施例,可以按下式计算第二夹角:
δ=(π/2–(β/2+α))
其中,δ表示第二夹角,α表示所述图像采集设备与安装面之间的夹角,具体的可参见图4。
S24.基于所述第一交角、第二夹角以及所述图像采集设备与地面之间的距离,确定所述障碍物与所述图像采集设备之间的地面投影距离。
其中图像采集设备与地面之间的距离即为图像采集设备的安装高度,其也是根据实际需求设定的,具体的,可以在图像采集设备安装完成后,将图像采集设备的安装高度存储至预设位置,在执行S24时,直接从预设位置中获取图像采集设备的安装高度即可。
作为一个实施例,可以按照下式确定所述障碍物与所述图像采集设备之间的地面投影距离:
d1=h*tan(δ+ε)
其中,d1表示障碍物与所述图像采集设备之间的地面投影距离,h表示所述图像采集设备与地面之间的距离,h的值为设定值,根据图像采集设备的安装位置确定,具体的,可参见图4。
作为一个实施例,若所述特征信息包括所述障碍物的高度,如图5所示,所述根据所述第二图像在所述第一图像中的位置信息确定所述障碍物的特征信息可以包括如下步骤:
S51.确定所述第二图像的像素总行数。
其中,第二图像的像素总行数即为第二图像的纵向分辨率,例如若第二图像的分辨率为600*200,则第二图像的像素总行数即为200。例如图4所示,L2表示第二图像的像素总行数。
S52.根据所述第二图像的像素总行数、所述第一图像的像素总行数以及所述图像采集设备的可视俯仰角,确定所述障碍物的纵向占比角度。
如图4所示,ε2表示障碍物的纵向占比角度。
作为一个实施例,纵向占比角度可以按照下式计算:
ε2=β*(L2/Row)
S53.根据所述第一夹角、第二夹角、所述纵向占比角度和所述图像采集设备与地面之间的距离,确定所述障碍物的上边缘与所述图像采集设备之间的地面投影距离。
参见图4,d2表示所述障碍物的上边缘与所述图像采集设备之间的地面投影距离。
作为一个实施例,可以按照下式计算障碍物的上边缘与所述图像采集设备之间的地面投影距离:
d2=h*tan(δ+ε+ε2)。
S54.根据所述第一夹角、第二夹角、所述障碍物的上边缘与所述图像采集设备之间的地面投影距离以及所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的高度。
作为一个实施例,可以按照下式计算障碍物的高度,包括:
h2=(d2-d1)/tan(δ+ε+ε2)
其中,h2表示所述障碍物的高度。
作为一种可能的实现方式,若所述特征信息包括所述障碍物的宽度,参见图6,所述根据所述第二图像在所述第一图像中的位置信息确定所述障碍物的特征信息可以包括如下步骤:
S61.确定所述第二图像的像素总列数。
其中第二图像的像素总列数,即为第二图像的横向分辨率,例如若第二图像的分辨率为600*200,则第二图像的像素总列数为600。例如图4所示,L3标识第三像素点个数。
S62.根据所述第二图像的像素总列数、所述第一图像的像素总列数以及所述图像的采集设备的可视水平角,确定所述障碍物的横向占比角度。
可参见图4,θ表示障碍物的横向占比角度。
作为一个实施例,可以按照下式计算障碍物的横向占比角度:
θ=ρ*(L3/Column)
其中,θ表示所述横向占比角度,ρ表示所述图像采集设备的水平可视角,L3表示所述第二图像的像素总列数,Column表示所述第一图像的像素总列数,
S63.根据所述横向占比角度和所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的宽度。
作为一个实施例,可以按照下式计算障碍物的宽度:
W=2*d1*tan(θ/2)
其中,W表示所述障碍物的宽度。
本发明实施例提供的一种障碍物检测方法,通过获取检测区域的第一图像,在检测区域存在障碍物的情况下,确定从第一图像中提取障碍物对应的第二图像,根据第二图像在第一图像中的位置信息确定障碍物的特征信息。本方案根据障碍物对应的图像可以确定障碍物自身的特征信息,而障碍物的特征信息可以体现障碍物的特征,进而根据获取的特征信息即可对障碍物进行区分,解决了目前无法对障碍物进行区分的技术问题。
图7为本发明实施例提供的另一种障碍物检测方法的流程图,如图7所示,该方法可以包括如下步骤:
S71.获取检测区域的第一图像。
S72.在确定所述检测区域内有障碍物的情况下,从所述第一图像中提取所述障碍物对应的第二图像。
S73.根据所述第二图像在所述第一图像中的位置信息,确定所述障碍物的特征信息。
步骤S71-S73可以参见S11-S13的描述,此处不再赘述。
S74.根据所述特征信息确定所述障碍物的种类。
作为一个可选的实现方式,如第一图像为温度分布图像,且特征信息包括障碍物的宽度和高度,则可以采用下述方式确定障碍物的种类:
根据所述障碍物的宽度和高度,确定所述障碍物的宽高比,检测所述障碍物是否移动,并确定所述障碍物的表面温度,若所述宽高比小于预设的第一阈值、所述障碍物移动且所述表面温度属于预设温度区间,则确定所述障碍物的种类为人,否则确定所述障碍物的种类为非人的物体。
其中第一阈值和预设温度区间均是预先设定的。具体的,在设定第一阈值时,可以采集多个人的高度和宽度,然后计算每个人的宽高比,之后在计算多个人的宽高比的平均值,最终确定计算得到的宽高比的平均值为第一阈值,例如第一阈值可以为0.4。在设定预设温度区间时,可以采集多个人的体温值,然后根据多个体温值设定一个合适的温度区间,将该温度区间作为预设温度区间。
作为一个实施例,可以采用下述方式检测所述障碍物是否移动:
连续获取多张检测区域的第一图像,并提取每张第一图像中障碍物对应的第二图像,从而得到多张第二图像,针对每一张第二图像,确定其在对应的第一图像中的位置,若多张第二图像在其对应的第一图像中的位置均相同,则确定障碍物不移动,否则确定障碍物移动。
其中连续获取多张检测区域的第一图像可以为在图像采集设备位置不变的情况下,在第一预设时长内每隔第二预设时长采集一次检测区域的图像,其中第一预设时长和第二预设时长可以根据实际需求设定,但是第一预设时长要大于第二预设时长,例如,第一预设时长可以为1分钟,第二预设时长可以为10秒。
因为图像采集设备的位置不变,所以图像采集区域不变的,若采集的第一图像中第二图像的位置发生了变化,则说明障碍物的位置发生了变化,也就可以确定障碍物移动了。
作为一个实施例,可以采用下述方式确定障碍物的表面温度:
第一图像是温度分布图像,所以第二图像中各像素点都有对应的温度值,计算第二图像中所有像素点的温度平均值,将计算得到的温度平均值作为障碍物的表面温度。
进一步的,在确定出障碍物的种类为非人的物体后,还可以通过下述方式确定障碍物的种类:
确定所述第二图像的形状是否为预设形状,若确定所述第二图像的形状为预设形状,则根据预设的物体宽高比与物体种类的对应关系,确定与所述障碍物的宽高比对应的目标种类,并确定所述目标种类为所述障碍物的种类。
作为一个实施例,预设形状可以为实心的矩形,在确定第二图像为预设形状时,可以初步确定障碍物为沙发、柜子等规则物体,然后再根据障碍物的宽高比进一步确定障碍物的具体种类,例如若宽高比属于第一区间则确定障碍物是沙发,若宽高比属于第二区域则确定障碍物是柜子,其中第一区间可以为[2,4],第二区域可以为[0.2,1],上述两个区间只是示例性的,具体的可根据实际需求设定。
若第二图像不是预设形状,则此时可以确定障碍物为形状不规则的物体,例如茶几或椅子等物体。
作为另一个可选的实现方式,可以采用下述方式确定障碍物的种类:
将所述特征信息输入预先训练好的物体分类模型,使得所述物体分类模型输出所述障碍物的种类。
其中特征信息可以包括障碍物的高度和宽度。
作为一个实施例,可以采用下述方式训练物体分类模型:
采集多个已知种类的障碍物的高度和宽度,将同一个障碍物的高度和宽度作为一个样本数据,对每个样本数据添加种类标签,然后利用多个有标签的样本数据,采用KNN(K邻近值聚类算法)或SVM(支持向量机)训练分类模型,将训练得到的分类模型作为训练好的物体分类模型。
本实施例提供的一种障碍物检测方法,根据障碍物的特征信息对障碍物进行分类,可以根据障碍物的种类对障碍物进行区分。
在将本发明提供的障碍物检测方法应用于空调器时,障碍物的特征信息还可以包括障碍物与图像采集设备之间的距离。
作为一个可选的实现方式,可以直接将障碍物与图像采集设备之间的地面投影距离作为障碍物与图像采集设备之间的距离。
作为另一个可选的实现方式,若第一图像为温度分布图,图像采集设备设置在空调器的出风口附近,则可以根据障碍物的表面温度和空调器的出风温度计算障碍物与图像采集设备之间的距离值,将第二图像中像素点的温度平均值作为障碍物的表面温度,具体的,可以采用下式计算障碍物与图像采集设备之间的距离值:
其中,d0表示障碍物与图像采集设备之间的距离值,T出表示空调器的出风口温度,T表表示障碍物的表面温度,k表示温度衰减速率,为定值。
作为又一个可选的实现方式,可以分别采用上述两种方式计算障碍物与图像采集设备之间的距离值,然后基于下述公式再进行计算,将下述公式的计算结果作为最终的障碍物与图像采集设备之间的距离值:
d=K*d1+(1-K)*d0
其中,K为根据实际需求预设的权重值,d1为障碍物与图像采集设备之间的地面投影距离。
此种方式,综合两种计算结果,使得最终得到的距离值更准确。
上面是对本发明实施例提供的障碍物检测方法的整体进行的说明,下面结合附图8,对在第一图像为温度分布图像的情况下,确定检测区域内是否有障碍物的方式进行描述。
如图8所述,确定检测区域内是否有障碍物包括如下步骤:
S81.将第一图像划分为第一子图像和第二子图像。
作为一个实施例,预先设置图像划分规则,按照设置的图像划分规则对第一图像划分,从而得到第一子图像和第二子图像,图像划分规则可以为根据实际需求或经验设定的,比如预设的图像划分规则可以为:将红外阵列传感器采集的第一图像,在图像纵向像素的一半(即2/Row)处进行划分,得到上半部分图像和下半部分图像,将上半部分图像作为第一子图像,将下半部分图像作为第二子图像。
S82.确定第一子图像中所有像素点的温度平均值,作为第一温度。
S83.确定第二子图像中所有像素点的温度平均值,作为第二温度。
S84.确定第一温度和第二温度之间的温度差值。
S85.确定所述第一图像中各像素点对应的温度方差。
S86.判断所述温度差值是否小于第一温度差值,且所述温度方差是否小于第一阈值,若所述温度差值小于第一温度差值,且温度方差小于第一阈值,则执行S811,否则执行S88。
其中,第一温度差值和第一阈值均是根据实际需求设定的值。
S87.确定所述温度分布图中的最大温度值。
S88.确定所述最大温度值与所述空调器的出风口温度的比值。
S89.判断所述比值是否小于第一预设比值,且所述温度差值是否小于第二温度差值,若所述比值小于第一预设比值,且所述温度差值小于第二温度差值,则执行S811,否则执行S810。
其中第一预设比值和第二温度差值为根据实际需求设定的值,其中第二温度差值大于或等于第一温度差值。
S810.确定所述检测区域内有障碍物。
S811.确定所述检测区域内没有障碍物。
下面结合将本方案应用于空调器上这一应用场景,对S82-S811进行统一说明:
作为一个实施例,以检测区域为空调器在制热运行时的送风范围为例,在空调器制热时,空调器通过下出风口出风,如果下出风口前方,也就是送风范围内无障碍物,出风路径没有被阻挡,热风向前运动然后上浮扩散到整个房间,则房间整体温度会较为均匀,在通过红外阵列传感器采集到的第一图像中就不会出现明显的温度差别,第一子图像对应的第一温度和第二子图像对应的第二温度就会比较接近,温度差值不会大于第一温度差值,且各像素点的温度方差也不会大于第一阈值。
如果温度差值大于第一温度差值,或各像素点的温度方差大于第一阈值,则说明当前可能存在障碍物。为了进一步保证最终检测结果的准确性,在温度差值大于第一温度差值,或各像素点的温度方差大于第一阈值时可以再换一种方法进行障碍物检测,即执行步骤S87-S89的方法。
因为如果制热时送风范围内有障碍物遮挡,出风路径被阻挡,会使得下出风口吹出的热风直接吹在障碍物上,并且由于障碍物的阻挡使得热风无法顺利扩散至整个房间,从而导致障碍物附近的温度会明显高于其他区域的温度,当然障碍物表面的温度升高的最大温度也不会超过出风口的温度,故可以根据温度分布图像中的最大温度值与出风口温度(也可以是出风口的出风温度)的比值来确定是否存在障碍物,如果最大温度值与出风口温度比值大于第一预设比值,且第一温度与第二温度的温度差值大于第二温度差值则认为有障碍物。
通过上述两种方法的结合来检测障碍物,保证了检测结果的准确性,当然,上述两种方法也可以单独使用,例如通过S81-S86进行障碍物检测,当通过S86确定温度差值不小于第一温度差值,或所述温度方差不小于第一阈值时,确定送风范围内存在障碍物,或者通过S81-S84以及S87-S89来进行障碍物检测,当通过S89确定最大温度值与空调器的出风口温度的比值大于第一预设比值,且第一温度与第二温度的温度差值大于第二温度差值时,确定送风范围内有障碍物。
本发明实施例还提供障碍物检测装置的实施例,该装置可以应用于空调器,如图9所示,该装置可以包括:
检测模块901,用于获取检测区域的第一图像;
提取模块902,用于在确定所述检测区域内有障碍物的情况下,从所述第一图像中提取所述障碍物对应的第二图像;
确定模块903,根据所述第二图像在所述第一图像中的位置信息,确定所述障碍物的特征信息。
作为一种可能的实现方式,所述特征信息包括所述障碍物与所述第一图像的对应的图像采集设备之间的地面投影距离,所述确定模块903具体用于:
确定所述第二图像的下边缘与所述第一图像的下边缘之间相差的第一像素行数;
根据所述第一像素行数、所述第一图像的像素总行数以及所述第一图像对应的图像采集设备的可视俯仰角,确定所述障碍物的下边缘与所述图像采集设备的成相框下边缘之间的第一夹角;
根据所述图像采集设备与安装面之间的夹角以及所述图像采集设备的可视俯仰角,确定所述图像采集设备的成相框下边缘与所述安装面之间的第二夹角;
基于所述第一交角、第二夹角以及所述图像采集设备与地面之间的距离,确定所述障碍物与所述图像采集设备之间的地面投影距离。
作为一种可能的实现方式,基于所述第一交角、第二夹角以及所述图像采集设备与地面之间的距离,按照下式确定所述障碍物与所述图像采集设备之间的地面投影距离:
d1=h*tan(δ+ε)
δ=(π/2–(β/2+α))
ε=β*(L1/Row)
其中d1表示障碍物与所述图像采集设备之间的地面投影距离,h表示所述图像采集设备与地面之间的距离,δ表示第二夹角,β表示所述图像采集设备的可视俯仰角,α表示所述图像采集设备与安装面之间的夹角,ε表示第一夹角,L1表示第一像素行数,Row表示所述第一图像的像素总行数。
作为一种可能的实现方式,所述特征信息还包括所述障碍物的高度,所述确定模块903具体用于:
确定所述第二图像的像素总行数;
根据所述第二图像的像素总行数、所述第一图像的像素总行数以及所述图像采集设备的可视俯仰角,确定所述障碍物的纵向占比角度;
根据所述第一夹角、第二夹角、所述纵向占比角度和所述图像采集设备与地面之间的距离,确定所述障碍物的上边缘与所述图像采集设备之间的地面投影距离;
根据所述第一夹角、第二夹角、所述障碍物的上边缘与所述图像采集设备之间的地面投影距离以及所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的高度。
作为一种可能的实现方式,根据所述第一夹角、第二夹角、所述障碍物的上边缘与所述图像采集设备之间的地面投影距离以及所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的高度,包括:
h2=(d2-d1)/tan(δ+ε+ε2)
ε2=β*(L2/Row)
d2=h*tan(δ+ε+ε2)
其中,h2表示所述障碍物的高度,d2表示所述障碍物的上边缘与所述图像采集设备之间的地面投影距离,ε2表示所述纵向占比角度,L2表示所述第二图像的像素总行数。
作为一种可能的实现方式,所述特征信息还包括所述障碍物的宽度,所述确定模块903具体用于:
确定所述第二图像的像素总列数;
根据所述第二图像的像素总列数、所述第一图像的像素总列数以及所述图像采集设备的可视水平角,确定所述障碍物的横向占比角度;
根据所述横向占比角度和所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的宽度。
作为一种可能的实现方式,根据所述横向占比角度和所述障碍物与所述图像采集设备之间的地面投影距离,按照下式,确定所述障碍物的宽度:
W=2*d1*tan(θ/2)
θ=ρ*(L3/Column)
其中,W表示所述障碍物的宽度,θ表示所述横向占比角度,ρ表示所述图像采集设备的水平可视角,L3表示所述第二图像的像素总列数,Column表示所述第一图像的像素总列数。
作为一种可能的实现方式,所述装置还包括分类模块(图9中未示出),具体用于:
根据所述障碍物的宽度和高度,确定所述障碍物的宽高比;
确定所述障碍物是否移动;
确定所述障碍物的表面温度;
若所述宽高比小于预设的第一阈值、所述障碍物移动且所述表面温度属于预设温度区间,则确定所述障碍物的种类为人,否则确定所述障碍物的种类为非人的物体。
作为一种可能的实现方式,所述分类模块还用于:
若确定所述障碍物的种类为非人的物体,则确定所述第二图像的形状是否为预设形状;
若确定所述第二图像的形状为预设形状,则根据预设的物体宽高比与物体种类的对应关系,确定与所述障碍物的宽高比对应的目标种类,并确定所述目标种类为所述障碍物的种类。
作为一种可能的实现方式,分类模块具体用于:
将所述特征信息输入预先训练好的物体分类模型,使得所述物体分类模型输出所述障碍物的种类。
在本申请另一实施例中,还提供了一种电子设备,如图10所示,包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信;
存储器1003,用于存放计算机程序;
处理器1001,用于执行存储器1003上所存放的程序时,实现如下步骤:
获取检测区域的第一图像;
在确定所述检测区域内有障碍物的情况下,从所述第一图像中提取所述障碍物对应的第二图像;
根据所述第二图像在所述第一图像中的位置信息,确定所述障碍物的特征信息。
上述电子设备提到的通信总线1004可以是外设部件互连标准(PeripheralComponent Interconnect,简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture,简称EISA)总线等。该通信总线1004可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口1002用于上述电子设备与其他设备之间的通信。
存储器1003可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器1001可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请另一实施例中,还提供了一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,实现上述任一所述的障碍物检测方法的步骤。
本发明实施例在具体实现时,可以参阅上述各个实施例,具有相应的技术效果。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (13)
1.一种障碍物检测方法,其特征在于,包括:
获取检测区域的第一图像;
在确定所述检测区域内有障碍物的情况下,从所述第一图像中提取所述障碍物对应的第二图像;
根据所述第二图像在所述第一图像中的位置信息,确定所述障碍物的特征信息。
2.根据权利要求1所述的方法,其特征在于,所述特征信息包括所述障碍物与所述第一图像的对应的图像采集设备之间的地面投影距离,所述根据所述第二图像在所述第一图像中的位置信息确定所述障碍物的特征信息,包括:
确定所述第二图像的下边缘与所述第一图像的下边缘之间相差的第一像素行数;
根据所述第一像素行数、所述第一图像的像素总行数以及所述第一图像对应的图像采集设备的可视俯仰角,确定所述障碍物的下边缘与所述图像采集设备的成相框下边缘之间的第一夹角;
根据所述图像采集设备与安装面之间的夹角以及所述图像采集设备的可视俯仰角,确定所述图像采集设备的成相框下边缘与所述安装面之间的第二夹角;
基于所述第一交角、第二夹角以及所述图像采集设备与地面之间的距离,确定所述障碍物与所述图像采集设备之间的地面投影距离。
3.根据权利要求2所述的方法,其特征在于,基于所述第一交角、第二夹角以及所述图像采集设备与地面之间的距离,按照下式确定所述障碍物与所述图像采集设备之间的地面投影距离:
d1=h*tan(δ+ε)
δ=(π/2–(β/2+α))
ε=β*(L1/Row)
其中d1表示障碍物与所述图像采集设备之间的地面投影距离,h表示所述图像采集设备与地面之间的距离,δ表示第二夹角,β表示所述图像采集设备的可视俯仰角,α表示所述图像采集设备与安装面之间的夹角,ε表示第一夹角,L1表示第一像素行数,Row表示所述第一图像的像素总行数。
4.根据权利要求2所述的方法,其特征在于,所述特征信息还包括所述障碍物的高度,所述根据所述第二图像在所述第一图像中的位置信息确定所述障碍物的特征信息,包括:
确定所述第二图像的像素总行数;
根据所述第二图像的像素总行数、所述第一图像的像素总行数以及所述图像采集设备的可视俯仰角,确定所述障碍物的纵向占比角度;
根据所述第一夹角、第二夹角、所述纵向占比角度和所述图像采集设备与地面之间的距离,确定所述障碍物的上边缘与所述图像采集设备之间的地面投影距离;
根据所述第一夹角、第二夹角、所述障碍物的上边缘与所述图像采集设备之间的地面投影距离以及所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的高度。
5.根据权利要求4所述的方法,其特征在于,根据所述第一夹角、第二夹角、所述障碍物的上边缘与所述图像采集设备之间的地面投影距离以及所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的高度,包括:
h2=(d2-d1)/tan(δ+ε+ε2)
ε2=β*(L2/Row)
d2=h*tan(δ+ε+ε2)
其中,h2表示所述障碍物的高度,d2表示所述障碍物的上边缘与所述图像采集设备之间的地面投影距离,ε2表示所述纵向占比角度,L2表示所述第二图像的像素总行数。
6.根据权利要求4所述的方法,其特征在于,所述特征信息还包括所述障碍物的宽度,所述根据所述第二图像在所述第一图像中的位置信息确定所述障碍物的特征信息,包括:
确定所述第二图像的像素总列数;
根据所述第二图像的像素总列数、所述第一图像的像素总列数以及所述图像采集设备的可视水平角,确定所述障碍物的横向占比角度;
根据所述横向占比角度和所述障碍物与所述图像采集设备之间的地面投影距离,确定所述障碍物的宽度。
7.根据权利要求6所述的方法,其特征在于,根据所述横向占比角度和所述障碍物与所述图像采集设备之间的地面投影距离,按照下式,确定所述障碍物的宽度:
W=2*d1*tan(θ/2)
θ=ρ*(L3/Column)
其中,W表示所述障碍物的宽度,θ表示所述横向占比角度,ρ表示所述图像采集设备的水平可视角,L3表示所述第二图像的像素总列数,Column表示所述第一图像的像素总列数。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
根据所述障碍物的宽度和高度,确定所述障碍物的宽高比;
确定所述障碍物是否移动;
确定所述障碍物的表面温度;
若所述宽高比小于预设的第一阈值、所述障碍物移动且所述表面温度属于预设温度区间,则确定所述障碍物的种类为人,否则确定所述障碍物的种类为非人的物体。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
若确定所述障碍物的种类为非人的物体,则确定所述第二图像的形状是否为预设形状;
若确定所述第二图像的形状为预设形状,则根据预设的物体宽高比与物体种类的对应关系,确定与所述障碍物的宽高比对应的目标种类,并确定所述目标种类为所述障碍物的种类。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述特征信息输入预先训练好的物体分类模型,使得所述物体分类模型输出所述障碍物的种类。
11.一种障碍物检测装置,其特征在于,包括:
获取模块,用于获取检测区域的第一图像;
提取模块,用于在确定所述检测区域内有障碍物的情况下,从所述第一图像中提取所述障碍物对应的第二图像;
确定模块,用于根据所述第二图像在所述第一图像中的位置信息,确定所述障碍物的特征信息。
12.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的数据处理程序,以实现权利要求1-10任一所述障碍物检测方法。
13.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1-10任一所述障碍物检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011519610.4A CN114648569A (zh) | 2020-12-21 | 2020-12-21 | 一种障碍物检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011519610.4A CN114648569A (zh) | 2020-12-21 | 2020-12-21 | 一种障碍物检测方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114648569A true CN114648569A (zh) | 2022-06-21 |
Family
ID=81991604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011519610.4A Pending CN114648569A (zh) | 2020-12-21 | 2020-12-21 | 一种障碍物检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114648569A (zh) |
-
2020
- 2020-12-21 CN CN202011519610.4A patent/CN114648569A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9619708B2 (en) | Method of detecting a main subject in an image | |
Bibi et al. | Automatic parking space detection system | |
US9741130B2 (en) | Method and apparatus for detecting object | |
WO2018018788A1 (zh) | 一种基于图像识别的计量表抄表装置及其方法 | |
US6816184B1 (en) | Method and apparatus for mapping a location from a video image to a map | |
US9996752B2 (en) | Method, system and apparatus for processing an image | |
US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
US10255507B2 (en) | Detection of an object in a distorted image | |
KR101697161B1 (ko) | 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법 | |
RU2395787C2 (ru) | Способ обнаружения объектов | |
US20200250803A1 (en) | Method for detecting and tracking target object, target object tracking apparatus, and computer-program product | |
CN109413411B (zh) | 一种监控线路的黑屏识别方法、装置及服务器 | |
US20140270479A1 (en) | Systems and methods for parameter estimation of images | |
JP2008286725A (ja) | 人物検出装置および方法 | |
US10762372B2 (en) | Image processing apparatus and control method therefor | |
CN108961262B (zh) | 一种复杂场景下的条码定位方法 | |
CN112665149B (zh) | 一种空调器控制方法、装置、空调器及存储介质 | |
CN113111722A (zh) | 基于改进Mask R-CNN的自动驾驶目标识别方法 | |
CN103065163A (zh) | 一种基于静态图片的快速目标检测识别系统及方法 | |
US9727780B2 (en) | Pedestrian detecting system | |
US8331667B2 (en) | Image forming system, apparatus and method of discriminative color features extraction thereof | |
JP5679760B2 (ja) | 侵入物体検出装置 | |
US20220366570A1 (en) | Object tracking device and object tracking method | |
CN114648569A (zh) | 一种障碍物检测方法、装置、电子设备及存储介质 | |
Anagnostopoulos et al. | Using sliding concentric windows for license plate segmentation and processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |