CN114820791A - 障碍物检测方法、装置、系统及非易失性存储介质 - Google Patents
障碍物检测方法、装置、系统及非易失性存储介质 Download PDFInfo
- Publication number
- CN114820791A CN114820791A CN202210447009.1A CN202210447009A CN114820791A CN 114820791 A CN114820791 A CN 114820791A CN 202210447009 A CN202210447009 A CN 202210447009A CN 114820791 A CN114820791 A CN 114820791A
- Authority
- CN
- China
- Prior art keywords
- pixel point
- determining
- projection
- reflection
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/12—Simultaneous equations, e.g. systems of linear equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- General Engineering & Computer Science (AREA)
- Operations Research (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种障碍物检测方法、装置、系统及非易失性存储介质。其中,该方法包括:确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系;在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意反射像素点对应的投影像素点;依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点;确定第二目标像素点和第三目标像素点之间的距离;在距离不小于预设距离阈值的情况下,确定第二目标像素点对应的子目标区域为障碍物区域。
Description
技术领域
本发明涉及测量技术领域,具体而言,涉及一种障碍物检测方法、装置、系统及非易失性存储介质。
背景技术
现有的方法在检测一个平面上是否存在障碍物时,通常采用的方法是通过面tof等三维传感器检测距离来确定是否存在障碍物,但是采用这种方法的精度较低,且成本较高。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种障碍物检测方法、装置、系统及非易失性存储介质,以至少解决由于现有技术中通过三维传感器检测距离来确定是否存在障碍物造成的精度低且成本高的技术问题。
根据本发明实施例的一个方面,提供了一种障碍物检测方法,包括:确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系,其中,反射图片为目标区域基于投影图片反射的图片;在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意反射像素点对应的投影像素点;依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点,其中,第一目标像素点为反射像素点或投影像素点;确定第二目标像素点和第三目标像素点之间的距离;在距离不小于预设距离阈值的情况下,确定第二目标像素点对应的子目标区域为障碍物区域,其中,子目标区域位于目标区域中。
可选地,反射像素点的相位包括水平相位和竖直相位,其中,依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系包括:确定投影图片的水平方向像素点的第一数量,以及竖直方向像素点的第二数量;依据第一数量和水平相位,确定与反射像素点对应的投影像素点的投影横坐标值表达式,其中,投影像素点的投影横坐标值为投影像素点在投影坐标系中的坐标的横坐标值,投影坐标系为依据投影图片创建的坐标系;依据第二数量和竖直相位,确定与反射像素点对应的投影像素点的投影纵坐标值表达式,其中,投影像素点的投影纵坐标值为投影像素点在投影坐标系中的坐标的纵坐标值;确定投影横坐标值表达式和投影纵坐标值表达式为对应关系。
可选地,确定反射图片中的反射像素点的相位包括:确定反射像素点对应的水平方向灰度值,以及竖直方向灰度值;确定反射图片的总数量;依据反射图片的总数量,水平方向灰度值确定反射像素点的水平相位,以及,依据反射图片的总数量,竖直方向灰度值确定反射像素点的竖直相位。
可选地,依据基准平面和对应关系确定单应矩阵包括:在基准平面中确定多个基准投影像素点,并确定多个基准投影像素点中的每个基准投影像素点在投影坐标系中的坐标值;依据对应关系,确定每个基准投影像素点对应的基准反射像素点在反射坐标系中的坐标值,其中,反射坐标系为依据反射图片创建的坐标系;依据每个基准投影像素点在投影坐标系中的投影坐标值,以及每个基准投影像素点对应的基准反射像素点在反射坐标系中的反射坐标值,确定单应矩阵。
可选地,确定第二目标像素点和第三目标像素点之间的距离包括:确定第二目标像素点在目标坐标系中的第一坐标值,以及第三目标像素点在目标坐标系中的第二坐标值,其中,在第二目标像素点和第三目标像素点为投影像素点的情况下,目标坐标系为投影坐标系,在第二目标像素点和第三目标像素点为反射像素点的情况下,目标坐标系为反射坐标系;依据第一坐标值和第二坐标值,确定第二目标像素点和第三目标像素点之间的距离。
可选地,在目标区域中确定基准平面包括:在目标区域中确定待定平面区域;将待定平面区域均分为多个子区域;确定多个子区域中每个子区域对应的子单应矩阵;确定多个子单应矩阵中任意两个子单应矩阵之间的接近程度,并在任意两个子单应矩阵之间的接近程度均满足要求时,确定待定平面区域为基准平面;以及,在存在某两个子单应矩阵之间的接近程度不满足要求时,在目标区域中重新选取待定平面区域并重复判定过程。
可选地,确定多个子单应矩阵中任意两个子单应矩阵之间的接近程度包括:在任意两个子单应矩阵中,计算任意一个子单应矩阵的逆矩阵;将逆矩阵乘以另一个子单应矩阵,得到判别矩阵;计算判别矩阵和任意一个子单应矩阵之间的欧式距离,并将欧式距离作为接近程度。
根据本发明实施例的另一方面,还提供了一种障碍物检测装置,包括:采集模块,用于确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系,其中,反射图片为目标区域基于投影图片反射的图片;第一处理模块,用于在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意反射像素点对应的投影像素点;第一计算模块,用于依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点,其中,第一目标像素点为反射像素点或投影像素点;第二计算模块,用于确定第二目标像素点和第三目标像素点之间的距离;第二处理模块,用于在距离不小于预设距离阈值的情况下,确定第二目标像素点对应的子目标区域为障碍物区域,其中,子目标区域位于目标区域中。
根据本发明实施例的另一方面,提供了一种障碍物检测系统,包括投影装置,图像采集装置,处理器,其中,投影装置,用于向目标区域投放投影图片;图像采集装置,用于采集目标区域基于投影图片反射的反射图片;处理器,用于确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系,其中,反射图片为目标区域基于投影图片反射的图片;在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意反射像素点对应的投影像素点;依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点,其中,第一目标像素点为反射像素点或投影像素点;确定第二目标像素点和第三目标像素点之间的距离;在距离不小于预设距离阈值的情况下,确定第二目标像素点对应的子目标区域为障碍物区域,其中,子目标区域位于目标区域中。
根据本发明实施例的另一方面,提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行障碍物检测方法。
根据本发明实施例的另一方面,提供了一种电子设备,电子设备包括处理器,处理器用于运行程序,其中,在程序运行时执行障碍物检测方法。
在本发明实施例中,采用确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系,其中,反射图片为目标区域基于投影图片反射的图片;在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意反射像素点对应的投影像素点;依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点,其中,第一目标像素点为反射像素点或投影像素点;确定第二目标像素点和第三目标像素点之间的距离;在距离不小于预设距离阈值的情况下,确定第二目标像素点对应的子目标区域为障碍物区域,其中,子目标区域位于目标区域中的方式,通过比较实际得到的反射图片和在目标区域为平面时的理论反射图片,达到了检测目标区域中是否存在障碍物的目的,从而实现了高精度确定目标区域中是否存在障碍物的技术效果,进而解决了由于现有技术中通过三维传感器检测距离来确定是否存在障碍物造成的精度低且成本高技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种障碍物检测方法的流程示意图;
图2a是根据本发明实施例的一种不同频率下的竖直方向投影图像示意图;
图2b是根据本发明实施例的一种不同频率下的水平方向投影图像示意图;
图3是根据本发明实施例的一种障碍物检测流程的流程示意图;
图4是根据本发明实施例的一种障碍物检测装置的结构示意图;
图5是根据本发明实施例的一种障碍物检测系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种障碍物检测方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的障碍物检测方法,如图1所示,该方法包括如下步骤:
步骤S102,确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系,其中,反射图片为目标区域基于投影图片反射的图片;示例性地,该反射图片可以理解为将投影图片投射到目标区域后,通过图像采集设备(如相机)采集到的图片。
需要说明的是,由于第一目标像素点为反射像素点或投影像素点时,确定目标障碍物区域的步骤均基本相同,因此,在本申请实施例中,选择在第一目标像素点为反射像素点的情况下对图1所示的障碍物检测方法进行进一步地解释说明。
在本申请的一些实施例中,可以使用如下公式来生成投影图片:
在上式中,和分别表示在坐标(xp,yp)处,水平方向和垂直方向光栅图片的像素灰度值,其中为水平方向的像素灰度值,为垂直方向的像素灰度值,(xp,yp)为光栅图片中的像素点在第一平面直角坐标系中的坐标值,其中第一平面直角坐标系也就是投影坐标系。Ap和Bp是两个常量,可由用户自行设定,并且两个常亮之间的关系为Ap+Bp=255,且Ap≥Bp。Wp和Hp是投影仪的水平分辨率和垂直分辨率,f是光栅图片的空间频率,n和N分别代表投影图片的序号和总数,其中序号指的是当前图片是第几张图片。
在本申请的一些实施例中,上述第一平面直角坐标系可以是依据任意一张投影图片创建的平面直角坐标系,例如,可以以投影图片左下角的顶点为原点,以左下角顶点和左上角顶点的连线所在直线为y轴,并规定左下角顶点指向左上角顶点的方向为y轴正方向,以及以左下角顶点和右下角顶点的连线为x轴,并规定左下角顶点到右下角顶点的连线为x轴正方向。
需要说明的是,由于在一次投影过程中,生成的投影图片的尺寸和分辨率均相同,因此,在依据任意一张投影图片创建了第一平面直角坐标系后,也可以直接应用第一平面直角坐标系来确定其他投影图片中像素点的坐标值。
在本申请的一些实施例中,依据上述公式生成的竖直方向上的投影图片如图2a所示,其中,图2a中第一行图片为频率为1时的投影图片,图2a中的第二行图片为频率为4时的投影图片;依据上述公式生成的水平方向上的投影图片如图2b所示,图2b中的第一行图片为频率为1时的投影图片,图2b中的第二行图片为频率为4时的投影图片。
在本申请的一些实施例中,上述反射像素点的相位包括水平相位和竖直相位,其中,依据所述相位确定所述投影图片中的投影像素点和所述反射图片中的反射像素点的对应关系的具体方式如下:确定所述投影图片的水平方向像素点的第一数量,以及竖直方向像素点的第二数量;依据所述第一数量和所述水平相位,确定与所述反射像素点对应的所述投影像素点的投影横坐标值表达式,其中,所述投影像素点的投影横坐标值为所述投影像素点在投影坐标系中的坐标的横坐标值,所述投影坐标系为依据所述投影图片创建的坐标系;依据所述第二数量和所述竖直相位,确定与所述反射像素点对应的所述投影像素点的投影纵坐标值表达式,其中,所述投影像素点的投影纵坐标值为所述投影像素点在所述投影坐标系中的所述坐标的纵坐标值;确定所述投影横坐标值表达式和所述投影纵坐标值表达式为所述对应关系。
具体地,当上述投影图片被投放到目标区域中后,通过相机同步抓取得到的反射图片可由以下公式表示:
在上式中,和分别表示坐标(xc,yc)处,沿着水平方向和垂直方向采集到的图片的灰度值。和分别表示反射图片中像素点在水平方向和竖直方向上灰度值的直流分量,也可以认为是灰度值的基准值,和分别表示水平方向和竖直方向上的调制值,φx和φy就是水平相位和垂直相位。其中,上述坐标(xc,yc)为反射图片中的像素点在第二平面直角坐标系中的坐标,其中第二平面直角坐标系也就是反射坐标系。第二平面直角坐标系可以依据任意一幅反射图片来确定,例如,可以以反射图片左下角的顶点为原点,以左下角顶点和左上角顶点的连线所在直线为y轴,并规定左下角顶点指向左上角顶点的方向为y轴正方向,以及以左下角顶点和右下角顶点的连线为x轴,并规定左下角顶点到右下角顶点的连线为x轴正方向。
需要说明的是,由于反射图片的尺寸和分辨率均相同,因此,在依据任意一张反射图片创建了第二平面直角坐标系后,也可以直接应用第一平面直角坐标系来确定其他反射图片中像素点的坐标值。
在本申请的一些实施例中,基于上述描述反射图片中像素点灰度值的公式,可得到如下的反射图片中任意像素点的相位计算公式:
在本申请的一些实施例中,从上述相位计算公式中可以看出,确定反射图片中的反射像素点的相位方法包括:确定所述反射像素点对应的水平方向灰度值,以及竖直方向灰度值;确定所述反射图片的总数量;依据所述反射图片的总数量,所述水平方向灰度值确定所述反射像素点的水平相位,以及,依据所述反射图片的总数量,所述竖直方向灰度值确定所述反射像素点的竖直相位。
在本申请的一些实施例中,确定了反射图片中像素点的相位后,便可以得到投影图片中的像素点和反射图片中的像素点之间的对应关系表达式:
xp=φx*Wp/2π
yp=φy*Hp/2π
其中,上式中xp为反射图片中坐标点为(xc,yc)的像素点所对应的投影图片中的像素点在第一平面直角坐标系中的x轴坐标值,上式中yp为反射图片中坐标点为(xc,yc)的像素点所对应的投影图片中的像素点在第一平面直角坐标系中的y轴坐标值。
步骤S104,在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意反射像素点对应的投影像素点;
在本申请的的一些实施例中,在确定了基准平面之后,依据基准平面和对应关系确定单应矩阵的方法包括:在基准平面中确定多个基准投影像素点,并确定多个基准投影像素点中的每个基准投影像素点在投影坐标系中的坐标值;依据对应关系,确定每个基准投影像素点对应的基准反射像素点在反射坐标系中的坐标值,其中,反射坐标系为依据反射图片创建的坐标系;依据每个基准投影像素点在投影坐标系中的投影坐标值,以及每个基准投影像素点对应的基准反射像素点在反射坐标系中的反射坐标值,确定单应矩阵。其中,在一个示例中,由于反射图片是通过相机采集的,该反射坐标系可以理解为相机坐标系。
具体地,假设取中心处(60*60)的区域作为初始平面,则可以此初始平面通过以下公式计算当实际场景为纯平面时的单应矩阵H:
其中,上式中的(u1,v1)为反射图片中心区域任意一点的坐标,上式中的(u2,v2)为与上述反射图片中的像素点对应的投影图片中的像素点的坐标,并且(u2,v2)可通过上述对应关系表达式通过(u1,v1)来确定。
在确定了反射图片中对应中心区域的像素点的坐标,和与反射图片中像素点对应的投影图片中的像素点的坐标后,便可通过计算多组对应点构成的线性方程组,然后采用最小二乘法来求解单应矩阵H。具体地,假设选择四组对应点,则可得到如下计算公式:
在本申请的一些实施例中,为了确保选定的基准平面为平面,在目标区域中确定基准平面时,可以先在目标区域中确定待定平面区域将待定平面区域均分为多个子区域;然后确定多个子区域中每个子区域对应的子单应矩阵;之后确定多个子单应矩阵中任意两个子单应矩阵之间的接近程度,并在任意两个子单应矩阵之间的接近程度均满足要求时,确定待定平面区域为基准平面;以及,在存在某两个子单应矩阵之间的接近程度不满足要求时,在目标区域中重新选取待定平面区域并重复判定过程。
在本申请的一些实施例中,确定多个所述子单应矩阵中任意两个子单应矩阵之间的接近程度的方法包括:在所述任意两个子单应矩阵中,计算任意一个子单应矩阵的逆矩阵;将所述逆矩阵乘以另一个子单应矩阵,得到判别矩阵;计算所述判别矩阵和所述任意一个子单应矩阵之间的欧式距离,并将所述欧式距离作为所述接近程度。
在本申请的一些实施例中,只有任意两个子单应矩阵之间的欧式距离均小于预设值时,才可认为任意两个子单应矩阵之间的接近程度满足要求,即可认为选定的初始平面符合要求。其中,预设值可由用户根据需求自行设定为任意大于零的正数,例如1。
步骤S106,依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点,其中,第一目标像素点为反射像素点或投影像素点;
步骤S108,确定第二目标像素点和第三目标像素点之间的距离;
在本申请的一些实施例中,确定所述第二目标像素点和所述第三目标像素点之间的距离包括:确定所述第二目标像素点在所述投影坐标系中的第一坐标值,以及所述第三目标像素点在所述投影坐标系中的第二坐标值;依据所述第一坐标值和所述第二坐标值,确定所述第二目标像素点和所述第三目标像素点之间的距离。
具体地,在本申请的一些实施例中,在确定了对应关系和单应矩阵后,可以通过对应关系确定与第一目标像素点(xc,yc)对应的第二目标像素点在第一平面直角坐标系中的坐标值(xp,yp),以及通过单应矩阵计算得到与第一目标像素点对应的第三目标像素点在第一平面直角坐标系中的坐标值(xh,yh)。其中,第二目标像素点为实际与第一目标像素点对应的投影像素点,而第三目标像素点则是在假设第一目标像素点所对应的区域为平面的情况下计算得到的投影像素点。
具体地,第三目标像素点和第一目标像素点之间的坐标值满足如下公式,其中,该公式中的H为上文中计算得到的单应矩阵,(xh,yh)为第三目标像素点在第一平面直角坐标系中的坐标,(xc,yc)为第一目标像素点在第二平面坐标系中的坐标:
(xh,yh,1)=H*(xc,yc,1)
在本申请的另一些实施例中,当第一目标像素点为投影像素点时,第二目标像素点和第三目标像素点为反射像素点,此时计算时使用的是第二目标像素点和第三目标像素点各自在反射坐标系中的坐标值。
具体地,在确定了第二目标像素点的坐标值(xp,yp)和第三目标像素点的坐标值(xh,yh)后,第二目标像素点和第三目标像素点之间的距离可以表示为:
在本申请的一些实施例中,为了便于计算,也可不进行开根号计算,也就是说,可以采用如下公式来表示第二目标像素点和第三目标像素点之间的距离:
Dist=(xp-xh)2+(yp-yh)2
步骤S110,在距离不小于预设距离阈值的情况下,确定第二目标像素点对应的子目标区域为障碍物区域,其中,子目标区域位于目标区域中。
具体地,在第二目标像素点为投影图片中的投影像素点的情况下,第二目标像素点对应的子目标区域指的是投影图片被投放到目标区域后,第二目标像素点所在的位置;在第二目标像素点为反射图片中的反射像素点时,第二目标像素点对应的子目标区域指的是与第二目标像素点对应的投影像素点在目标区域中被投射的位置,其中,该投影像素点为投放到目标区域中的投影图片中的像素点。
在本申请的一些实施例中,用户可以根据自身对平面平整度的需求来设定上述预设距离阈值,其中,上述距离阈值的最小值为零,表示绝对平整的平面,上述距离阈值越大,则表示平面的平整度越低。其中,上述预设距阈值可以为任意大于零的正整数,如5。
在本申请的一些实施例中,在第一目标像素点为反射像素点的情况下,采用图1中所提供的障碍物检测方法来监测目标区域是否存在障碍物的完整流程如图3所示,包括以下步骤:
步骤S302,生成投影图片;
步骤S304,将投影图片投放到目标区域,并采集目标区域反射的反射图片;
步骤S306,确定反射图片中任意像素点的垂直相位和水平相位的计算公式;
步骤S308,依据任意像素点的垂直相位和水平相位的计算公式,确定反射图片中的任意像素点与对应的投影图片中的像素点之间的对应关系,并依据该对应关系确定与反射图片中的第一目标像素点对应的投影图片中的第二目标像素点在目标平面直角坐标系中的坐标值,其中,目标平面直角坐标系为投影坐标系;
步骤S310,选取反射图片的中心区域或其他判定为平面的区域,计算单应矩阵;
步骤S312,基于单应矩阵,计算与反射图片中的目标像素点对应的第三目标像素点在目标平面直角坐标系中的坐标值;
步骤S314,计算第二目标像素点和第三目标像素点之间的距离;
步骤S316,比较距离和预设距离阈值,在距离大于预设距离阈值的情况下,认定目标像素点对应的区域为障碍物区域。
可以理解地,在第一目标像素点为投影像素点的情况下,采用图1中所提供的障碍物检测方法来监测目标区域是否存在障碍物的完整流程与上述流程相同,只是目标平面直角坐标系由投影坐标系变为反射坐标系。
在图3所示的流程中,通过确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系,其中,反射图片为目标区域基于投影图片反射的图片;在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意投影像素点对应的反射像素点;依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点,其中,第一目标像素点为投影图片中的任意投影像素点;确定第二目标像素点和第三目标像素点之间的距离,并确定对应的距离不小于预设距离阈值的投影像素点位于目标区域中的障碍物区域内的方式,可以比对确定反射图片中的任意一个像素点对应的区域是平面区域还是障碍物区域,从而实现了通过反射图片来确定目标区域中是否存在障碍物以及障碍物区域的具体位置信息。
根据本发明实施例,提供了一种障碍物检测装置的实施例。图4是根据本发明实施例提供的障碍物检测装置,如图4所示,障碍物检测装置包括:采集模块40,用于确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系,其中,反射图片为目标区域基于投影图片反射的图片;第一处理模块42,用于在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意反射像素点对应的投影像素点;第一计算模块44,用于依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点,其中,第一目标像素点为反射像素点或投影像素点;第二计算模块46,用于确定第二目标像素点和第三目标像素点之间的距离;第二处理模块48,用于在距离不小于预设距离阈值的情况下,确定第二目标像素点对应的子目标区域为障碍物区域,其中,子目标区域位于目标区域中。
需要说明的是,图4中所示的障碍物检测装置可用于执行图1中所示的障碍物检测方法,因此,对图1中所示的障碍物检测方法的相关解释说明也适用于图4中所示的障碍物检测装置中,在此不再赘述。
根据本发明实施例,提供了一种障碍物检测系统的实施例。图5是根据本发明实施例提供的障碍物检测系统,如图5所示,该系统包括:投影装置50,图像采集装置52,处理器54,其中,投影装置50,用于向目标区域投放投影图片;图像采集装置52,用于采集目标区域基于投影图片反射的反射图片;处理器54,用于确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系,其中,反射图片为目标区域基于投影图片反射的图片;在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意反射像素点对应的投影像素点;依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点,其中,第一目标像素点为反射像素点或投影像素点;确定第二目标像素点和第三目标像素点之间的距离;在距离不小于预设距离阈值的情况下,确定第二目标像素点对应的子目标区域为障碍物区域,其中,子目标区域位于目标区域中。
需要说明的是,图5中所示的障碍物检测系统可用于执行图1中所示的障碍物检测方法,因此,对图1中所示的障碍物检测方法的相关解释说明也适用于本申请实施例中,在此不再赘述。
根据本发明实施例,提供了一种非易失性存储介质的实施例。非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行如下障碍物检测方法:确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系,其中,反射图片为目标区域基于投影图片反射的图片;在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意反射像素点对应的投影像素点;依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点,其中,第一目标像素点为反射像素点或投影像素点;确定第二目标像素点和第三目标像素点之间的距离;在距离不小于预设距离阈值的情况下,确定第二目标像素点对应的子目标区域为障碍物区域,其中,子目标区域位于目标区域中。
根据本发明实施例,提供了一种电子设备的实施例。电子设备包括处理器,处理器用于运行程序,其中,在程序运行时执行如下障碍物检测方法:确定反射图片中的反射像素点的相位,并依据相位确定投影图片中的投影像素点和反射图片中的反射像素点的对应关系,其中,反射图片为目标区域基于投影图片反射的图片;在目标区域中确定基准平面,并依据基准平面和对应关系确定单应矩阵,其中,单应矩阵用于确定在目标区域为平面的情况下,任意反射像素点对应的投影像素点;依据对应关系,确定第一目标像素点对应的第二目标像素点,以及依据单应矩阵,确定第一目标像素点对应的第三目标像素点,其中,第一目标像素点为反射像素点或投影像素点;确定第二目标像素点和第三目标像素点之间的距离;在距离不小于预设距离阈值的情况下,确定第二目标像素点对应的子目标区域为障碍物区域,其中,子目标区域位于目标区域中。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种障碍物检测方法,其特征在于,包括:
确定反射图片中的反射像素点的相位,并依据所述相位确定投影图片中的投影像素点和所述反射图片中的反射像素点的对应关系,其中,所述反射图片为目标区域基于所述投影图片反射的图片;
在所述目标区域中确定基准平面,并依据所述基准平面和所述对应关系确定单应矩阵,其中,所述单应矩阵用于确定在所述目标区域为平面的情况下,任意所述反射像素点对应的所述投影像素点;
依据所述对应关系,确定第一目标像素点对应的第二目标像素点,以及依据所述单应矩阵,确定所述第一目标像素点对应的第三目标像素点,其中,所述第一目标像素点为所述反射像素点或所述投影像素点;
确定所述第二目标像素点和所述第三目标像素点之间的距离;
在所述距离不小于预设距离阈值的情况下,确定所述第二目标像素点对应的子目标区域为障碍物区域,其中,所述子目标区域位于所述目标区域中。
2.根据权利要求1所述的障碍物检测方法,其特征在于,所述反射像素点的相位包括水平相位和竖直相位,其中,依据所述相位确定所述投影图片中的投影像素点和所述反射图片中的反射像素点的对应关系包括:
确定所述投影图片的水平方向像素点的第一数量,以及竖直方向像素点的第二数量;
依据所述第一数量和所述水平相位,确定与所述反射像素点对应的所述投影像素点的投影横坐标值表达式,其中,所述投影像素点的投影横坐标值为所述投影像素点在投影坐标系中的坐标的横坐标值,所述投影坐标系为依据所述投影图片创建的坐标系;
依据所述第二数量和所述竖直相位,确定与所述反射像素点对应的所述投影像素点的投影纵坐标值表达式,其中,所述投影像素点的投影纵坐标值为所述投影像素点在所述投影坐标系中的所述坐标的纵坐标值;
确定所述投影横坐标值表达式和所述投影纵坐标值表达式为所述对应关系。
3.根据权利要求2所述的障碍物检测方法,其特征在于,确定反射图片中的反射像素点的相位包括:
确定所述反射像素点对应的水平方向灰度值,以及竖直方向灰度值;
确定所述反射图片的总数量;
依据所述反射图片的总数量,所述水平方向灰度值确定所述反射像素点的水平相位,以及,依据所述反射图片的总数量,所述竖直方向灰度值确定所述反射像素点的竖直相位。
4.根据权利要求2所述的障碍物检测方法,其特征在于,依据所述基准平面和所述对应关系确定单应矩阵包括:
在所述基准平面中确定多个基准投影像素点,并确定所述多个基准投影像素点中的每个基准投影像素点在所述投影坐标系中的坐标值;
依据所述对应关系,确定所述每个基准投影像素点对应的基准反射像素点在反射坐标系中的坐标值,其中,所述反射坐标系为依据所述反射图片创建的坐标系;
依据所述每个基准投影像素点在所述投影坐标系中的投影坐标值,以及所述每个基准投影像素点对应的所述基准反射像素点在所述反射坐标系中的反射坐标值,确定所述单应矩阵。
5.根据权利要求4所述的障碍物检测方法,其特征在于,确定所述第二目标像素点和所述第三目标像素点之间的距离包括:
确定所述第二目标像素点在目标坐标系中的第一坐标值,以及所述第三目标像素点在所述目标坐标系中的第二坐标值,其中,在所述第二目标像素点和所述第三目标像素点为所述投影像素点的情况下,所述目标坐标系为所述投影坐标系,在所述第二目标像素点和所述第三目标像素点为所述反射像素点的情况下,所述目标坐标系为所述反射坐标系;
依据所述第一坐标值和所述第二坐标值,确定所述第二目标像素点和所述第三目标像素点之间的距离。
6.根据权利要求1所述的障碍物检测方法,其特征在于,在所述目标区域中确定基准平面包括:
在所述目标区域中确定待定平面区域;
将所述待定平面区域均分为多个子区域;
确定所述多个子区域中每个子区域对应的子单应矩阵;
确定多个所述子单应矩阵中任意两个子单应矩阵之间的接近程度,并在所述任意两个子单应矩阵之间的接近程度均满足要求时,确定所述待定平面区域为所述基准平面;以及,
在存在某两个子单应矩阵之间的接近程度不满足要求时,在所述目标区域中重新选取待定平面区域并重复判定过程。
7.根据权利要求6所述的障碍物检测方法,其特征在于,确定多个所述子单应矩阵中任意两个子单应矩阵之间的接近程度包括:
在所述任意两个子单应矩阵中,计算任意一个子单应矩阵的逆矩阵;
将所述逆矩阵乘以另一个子单应矩阵,得到判别矩阵;
计算所述判别矩阵和所述任意一个子单应矩阵之间的欧式距离,并将所述欧式距离作为所述接近程度。
8.一种障碍物检测装置,其特征在于,包括:
采集模块,用于确定反射图片中的反射像素点的相位,并依据所述相位确定投影图片中的投影像素点和所述反射图片中的反射像素点的对应关系,其中,所述反射图片为目标区域基于所述投影图片反射的图片;
第一处理模块,用于在所述目标区域中确定基准平面,并依据所述基准平面和所述对应关系确定单应矩阵,其中,所述单应矩阵用于确定在所述目标区域为平面的情况下,任意所述反射像素点对应的所述投影像素点;
第一计算模块,用于依据所述对应关系,确定第一目标像素点对应的第二目标像素点,以及依据所述单应矩阵,确定所述第一目标像素点对应的第三目标像素点,其中,所述第一目标像素点为所述反射像素点或所述投影像素点;
第二计算模块,用于确定所述第二目标像素点和所述第三目标像素点之间的距离;
第二处理模块,用于在所述距离不小于预设距离阈值的情况下,确定所述第二目标像素点对应的子目标区域为障碍物区域,其中,所述子目标区域位于所述目标区域中。
9.一种障碍物检测系统,其特征在于,包括投影装置,图像采集装置,处理器,其中,
所述投影装置,用于向目标区域投放投影图片;
所述图像采集装置,用于采集所述目标区域基于所述投影图片反射的反射图片;
所述处理器,用于确定反射图片中的反射像素点的相位,并依据所述相位确定投影图片中的投影像素点和所述反射图片中的反射像素点的对应关系,其中,所述反射图片为目标区域基于所述投影图片反射的图片;在所述目标区域中确定基准平面,并依据所述基准平面和所述对应关系确定单应矩阵,其中,所述单应矩阵用于确定在所述目标区域为平面的情况下,任意所述反射像素点对应的所述投影像素点;依据所述对应关系,确定第一目标像素点对应的第二目标像素点,以及依据所述单应矩阵,确定所述第一目标像素点对应的第三目标像素点,其中,所述第一目标像素点为所述反射像素点或所述投影像素点;确定所述第二目标像素点和所述第三目标像素点之间的距离;在所述距离不小于预设距离阈值的情况下,确定所述第二目标像素点对应的子目标区域为障碍物区域,其中,所述子目标区域位于所述目标区域中。
10.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述障碍物检测方法。
11.一种电子设备,其特征在于,所述电子设备包括处理器,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至7中任意一项所述障碍物检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210447009.1A CN114820791B (zh) | 2022-04-26 | 2022-04-26 | 障碍物检测方法、装置、系统及非易失性存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210447009.1A CN114820791B (zh) | 2022-04-26 | 2022-04-26 | 障碍物检测方法、装置、系统及非易失性存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114820791A true CN114820791A (zh) | 2022-07-29 |
CN114820791B CN114820791B (zh) | 2023-05-02 |
Family
ID=82507908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210447009.1A Active CN114820791B (zh) | 2022-04-26 | 2022-04-26 | 障碍物检测方法、装置、系统及非易失性存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114820791B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279225A (zh) * | 2013-05-30 | 2013-09-04 | 清华大学 | 投影式人机交互系统及触控识别方法 |
CN105592310A (zh) * | 2014-11-06 | 2016-05-18 | 迪士尼企业公司 | 用于投影仪校准的方法和系统 |
CN105791784A (zh) * | 2016-01-21 | 2016-07-20 | 天津大学 | 一种能识别前方障碍物并修正输出画面的投影仪 |
CN108489421A (zh) * | 2018-03-12 | 2018-09-04 | 四川大学 | 一种条纹投影检测平面元件面形方法及装置 |
CN110191326A (zh) * | 2019-05-29 | 2019-08-30 | 北京小鸟听听科技有限公司 | 一种投影系统分辨率扩展方法、装置和投影系统 |
JP2020071354A (ja) * | 2018-10-31 | 2020-05-07 | キヤノン株式会社 | 投影システムおよび投影方法 |
CN111536904A (zh) * | 2020-05-27 | 2020-08-14 | 深圳市华汉伟业科技有限公司 | 一种基于结构照明的三维测量方法及系统、存储介质 |
US20210364900A1 (en) * | 2020-05-19 | 2021-11-25 | Weltrend Semiconductor Inc. | Projection Method of Projection System for Use to Correct Image Distortion on Uneven Surface |
-
2022
- 2022-04-26 CN CN202210447009.1A patent/CN114820791B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279225A (zh) * | 2013-05-30 | 2013-09-04 | 清华大学 | 投影式人机交互系统及触控识别方法 |
CN105592310A (zh) * | 2014-11-06 | 2016-05-18 | 迪士尼企业公司 | 用于投影仪校准的方法和系统 |
CN105791784A (zh) * | 2016-01-21 | 2016-07-20 | 天津大学 | 一种能识别前方障碍物并修正输出画面的投影仪 |
CN108489421A (zh) * | 2018-03-12 | 2018-09-04 | 四川大学 | 一种条纹投影检测平面元件面形方法及装置 |
JP2020071354A (ja) * | 2018-10-31 | 2020-05-07 | キヤノン株式会社 | 投影システムおよび投影方法 |
CN110191326A (zh) * | 2019-05-29 | 2019-08-30 | 北京小鸟听听科技有限公司 | 一种投影系统分辨率扩展方法、装置和投影系统 |
US20210364900A1 (en) * | 2020-05-19 | 2021-11-25 | Weltrend Semiconductor Inc. | Projection Method of Projection System for Use to Correct Image Distortion on Uneven Surface |
CN111536904A (zh) * | 2020-05-27 | 2020-08-14 | 深圳市华汉伟业科技有限公司 | 一种基于结构照明的三维测量方法及系统、存储介质 |
Non-Patent Citations (3)
Title |
---|
ETIENNE VINCENT 等: "Detecting Planar Homographies in an Image Pair" * |
TAKAHIRO KUROKI 等: "Construction of a compact range image sensor using multi-slit laser projector and obstacle detection of a humanoid with the sensor" * |
尹晓晴 等: "基于单投影仪与柱面反射镜的沉浸感显示系统" * |
Also Published As
Publication number | Publication date |
---|---|
CN114820791B (zh) | 2023-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111179358B (zh) | 标定方法、装置、设备及存储介质 | |
JP6330987B2 (ja) | 画像処理装置、画像処理方法、及び記憶媒体 | |
US9443294B2 (en) | Image correction system, image correction method, and computer program product | |
TWI253006B (en) | Image processing system, projector, information storage medium, and image processing method | |
CN109313799B (zh) | 图像处理方法及设备 | |
EP2916535B1 (en) | Image processing device, image processing method, and program | |
JP3885458B2 (ja) | 投写画像の校正方法及びその装置、並びに機械可読媒体 | |
EP3563345B1 (en) | Automatic detection, counting, and measurement of lumber boards using a handheld device | |
JP5773436B2 (ja) | 情報端末装置 | |
US9930306B2 (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
CN105279512A (zh) | 一种倾斜车牌识别方法和装置 | |
WO2016025328A1 (en) | Systems and methods for depth enhanced and content aware video stabilization | |
WO2017218745A1 (en) | Image recognition method and apparatus | |
CN112556994B (zh) | 一种光学信息检测方法、装置及设备 | |
CN107346040A (zh) | 裸眼3d显示设备的光栅参数的确定方法、装置及电子设备 | |
CN111105366A (zh) | 图像处理方法和装置、终端设备及存储介质 | |
CN107330974B (zh) | 商品展示方法、装置及移动设备 | |
Zhou et al. | Multi-projector display with continuous self-calibration | |
EP2178289A1 (en) | Method and unit for motion detection based on a difference histogram | |
US7602943B2 (en) | Image processing apparatus, image processing method, and image processing program | |
Audet et al. | Shadow removal in front projection environments using object tracking | |
CN112262411B (zh) | 图像关联方法、系统和装置 | |
CN114820791A (zh) | 障碍物检测方法、装置、系统及非易失性存储介质 | |
CN112261394A (zh) | 振镜的偏转率的测量方法、装置、系统及计算机存储介质 | |
JP2005234698A (ja) | 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 610000 building 4, zone a, Tianfu Software Park, No. 1129, shijicheng Road, high tech Zone, Chengdu, Sichuan Applicant after: Jimi Technology Co.,Ltd. Address before: 610000 building 4, zone a, Tianfu Software Park, No. 1129, shijicheng Road, high tech Zone, Chengdu, Sichuan Applicant before: Chengdu Jimi Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |