CN110706202B - 一种非典型目标探测方法、装置和计算机可读存储介质 - Google Patents
一种非典型目标探测方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110706202B CN110706202B CN201910839088.9A CN201910839088A CN110706202B CN 110706202 B CN110706202 B CN 110706202B CN 201910839088 A CN201910839088 A CN 201910839088A CN 110706202 B CN110706202 B CN 110706202B
- Authority
- CN
- China
- Prior art keywords
- candidate
- target
- sampling
- value
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000005070 sampling Methods 0.000 claims abstract description 143
- 239000013598 vector Substances 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 abstract description 4
- 238000001914 filtration Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Abstract
本发明实施例公开了一种非典型目标探测方法、装置和计算机可读存储介质，按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标；其中，各场景数据为多个信息源针对于同一个场景探测得到的场景数据。统计各初始候选目标在所有场景数据中的比例值，选取出比例值大于或等于预设阈值的候选目标。综合利用多个信息源互相验证，对初始候选目标进行过滤，保证提取非典型目标的准确度。根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标。从深度差异维度对提取出的候选目标进行筛查，得到最终的高精度目标探测结果。
Description
技术领域
本发明涉及目标探测技术领域，特别是涉及一种非典型目标探测方法、装置和计算机可读存储介质。
背景技术
目标的探测和识别在许多领域有着重要的应用，如自动驾驶、无人机、机器人、军事等。目标探测除了对一些形状规则、特征明显的目标探测之外，还包括一些非典型目标的探测，例如，微小目标、快速移动目标、不规则形状目标等。
非典型目标的探测和识别直接关系到相关应用的可靠性甚至安全性，尤其对于自动驾驶、无人机、机器人等领域，能否及时准确的识别出非典型目标障碍物并进行避障操作直接关系到设备甚至人的安全。由于技术等方面的原因，非典型目标的识别一直是相关应用中未能很好解决的难点问题。
目前针对非典型目标的探测并没有特别成熟的方法，利用雷达探测是传统使用比较多的一种方式。由于微小目标反射特征并不明显，因此雷达对非典型目标的探测精度存在局限性。另外由于雷达得到的是稀疏数据，并不能提供完整的场景信息，也进一步限制了在非典型目标探测中的应用。基于视觉的目标探测可以提供稠密的场景感知数据，随着基于神经网络的计算机视觉技术发展，利用机器学习的方法实现目标探测识别是当前关注度比较高的方法。但机器学习是建立在大量数据集的训练基础上的，这种方法只能适用于典型可分类目标的识别，而非典型目标由于具有比较大的不确定性，机器学习方法很难取得好的效果。立体视觉是借助视觉手段得到物体的三维空间深度等信息，采用立体视觉也可以实现物体的探测。但立体视觉涉及到大量的图像数据处理和计算，在目标探测和识别的速度上并不能满足对实时性要求比较高的应用场景。
可见，如何在保证非典型目标探测精度的同时，降低计算复杂度，是本领域技术人员需要解决的问题。
发明内容
本发明实施例的目的是提供一种非典型目标探测方法、装置和计算机可读存储介质，可以在保证非典型目标探测精度的同时，降低计算复杂度。
为解决上述技术问题，本发明实施例提供一种非典型目标探测方法，包括：
按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标；其中，各场景数据为多个信息源针对于同一个场景探测得到的场景数据；
统计各初始候选目标在所有场景数据中的比例值，选取出比例值大于或等于预设阈值的候选目标；
根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标。
可选的，所述按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标包括：
对探测到的目标场景数据按照预设的初始采样方向进行采样，以得到各初始采样方向的初始梯度向量；其中，每个初始梯度向量包括有多个元素值；所述目标场景数据为所有场景数据中的任意一个场景数据；
当存在元素值大于或等于预设梯度值的梯度向量时，则将所述梯度向量对应的采样方向作为候选方向，并将大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
依据设定的采样范围对所述候选方向对应的候选区域进行采样，并将所述候选区域中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
根据各候选像素点对应的坐标信息，将坐标相邻的候选像素点进行合并，以得到初始候选目标。
可选的，所述依据设定的采样范围对所述候选方向对应的候选区域进行采样，并将所述候选区域中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点包括：
根据设定的采样范围，确定出所述候选方向对应的候选区域；
在所述候选区域内增加预设个数的采样方向，按照所述采样方向对所述候选区域的场景数据进行采样，以得到各采样方向的梯度向量；
将所述梯度向量中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
将元素值大于或等于预设梯度值的梯度向量对应的采样方向作为候选方向，并返回所述根据设定的采样范围，确定出所述候选方向对应的候选区域的步骤；直至不存在候选方向或者满足采样方向个数要求时，则执行所述根据各候选像素点对应的坐标信息，将坐标相邻的候选像素点进行合并，以得到初始候选目标的步骤。
可选的，所述根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标包括：
获取每个候选目标包含的各像素点的深度值，并将各像素点的深度值的平均值作为每个候选目标的目标深度值；
获取与每个候选目标中各像素点相邻的背景像素点的深度值，并将各背景像素点的深度值的平均值作为背景深度值；
计算每个候选目标的目标深度值与其相应的背景深度值的差值；将差值大于或等于预设深度阈值的候选目标作为所述场景的非典型目标。
可选的，还包括：
将差值小于预设深度阈值的候选目标作为备选目标，并存储所述备选目标。
可选的，在所述根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标之后还包括：
展示所述场景的非典型目标。
本发明实施例还提供了一种非典型目标探测装置，包括采样单元、选取单元和确定单元；
所述采样单元，用于按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标；其中，各场景数据为多个信息源针对于同一个场景探测得到的场景数据；
所述选取单元，用于统计各初始候选目标在所有场景数据中的比例值，选取出比例值大于或等于预设阈值的候选目标；
所述确定单元，用于根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标。
可选的，所述采样单元包括初始化子单元、候选子单元、精细化子单元和合并子单元；
所述初始化子单元，用于对探测到的目标场景数据按照预设的初始采样方向进行采样，以得到各初始采样方向的初始梯度向量；其中，每个初始梯度向量包括有多个元素值；所述目标场景数据为所有场景数据中的任意一个场景数据；
所述候选子单元，用于当存在元素值大于或等于预设梯度值的梯度向量时，则将所述梯度向量对应的采样方向作为候选方向，并将大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
所述精细化子单元，用于依据设定的采样范围对所述候选方向对应的候选区域进行采样，并将所述候选区域中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
所述合并子单元，用于根据各候选像素点对应的坐标信息，将坐标相邻的候选像素点进行合并，以得到初始候选目标。
可选的，所述精细化子单元具体用于根据设定的采样范围，确定出所述候选方向对应的候选区域；
在所述候选区域内增加预设个数的采样方向，按照所述采样方向对所述候选区域的场景数据进行采样，以得到各采样方向的梯度向量；
将所述梯度向量中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
将元素值大于或等于预设梯度值的梯度向量对应的采样方向作为候选方向，并返回所述根据设定的采样范围，确定出所述候选方向对应的候选区域的步骤；直至不存在候选方向或者满足采样方向个数要求时，则执行所述根据各候选像素点对应的坐标信息，将坐标相邻的候选像素点进行合并，以得到初始候选目标的步骤。
可选的，所述确定单元包括第一获取子单元、第二获取子单元和作为子单元；
所述第一获取子单元，用于获取每个候选目标包含的各像素点的深度值，并将各像素点的深度值的平均值作为每个候选目标的目标深度值；
所述第二获取子单元，用于获取与每个候选目标中各像素点相邻的背景像素点的深度值，并将各背景像素点的深度值的平均值作为背景深度值；
所述作为子单元，用于计算每个候选目标的目标深度值与其相应的背景深度值的差值；将差值大于或等于预设深度阈值的候选目标作为所述场景的非典型目标。
可选的，还包括存储单元；
所述存储单元，用于将差值小于预设深度阈值的候选目标作为备选目标，并存储所述备选目标。
可选的，还包括展示单元；
所述展示单元，用于展示所述场景的非典型目标。
本发明实施例还提供了一种非典型目标探测装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述任意一项所述非典型目标探测方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述非典型目标探测方法的步骤。
由上述技术方案可以看出，按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标；其中，各场景数据为多个信息源针对于同一个场景探测得到的场景数据。分层采样规则用于实现场景数据由粗到细的逐渐求精，先排除掉明显的非目标对象，同时对候选目标方向增加采样，提高提取出的初始候选目标的准确度。避免了直接进行复杂目标探测计算的过程，降低了计算复杂度，提高了非典型目标探测精度。统计各初始候选目标在所有场景数据中的比例值，选取出比例值大于或等于预设阈值的候选目标。综合利用多个信息源互相验证，对初始候选目标进行过滤，进一步排除掉非目标对象，避免因个别数据误差造成的目标误识别，保证提取非典型目标的准确度。根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标。利用候选目标和背景之间的深度差异，从另一维度对提取出的候选目标进行筛查，得到最终的高精度目标探测结果。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种非典型目标探测方法的流程图；
图2为本发明实施例提供的一种基于多个信息源的非典型目标过滤的示意图；
图3为本发明实施例提供的一种初始候选目标的选取方法的流程图；
图4为本发明实施例提供的一种场景数据均匀采样的示意图；
图5为本发明实施例提供的一种非典型目标探测装置的结构示意图；
图6为本发明实施例提供的非典型目标探测装置的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
接下来，详细介绍本发明实施例所提供的一种非典型目标探测方法。图1为本发明实施例提供的一种非典型目标探测方法的流程图，该方法包括：
S101：按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标。
其中，各场景数据为多个信息源针对于同一个场景探测得到的场景数据。
多个信息源采集的场景数据可以是不同机理探测设备得到的场景信息，如雷达和摄像头设备分别得到的场景点云数据和图像数据，也可以是同一机理的多个探测设备得到的场景信息，如多个不同角度摄像头得到的场景图像数据。
每个场景数据的处理方式类似，在本发明实施例中均以一个场景数据为例，对于该场景数据的处理过程展开介绍。
为了降低场景数据计算的复杂度，避免直接进行复杂非典型目标的探测造成较大的计算量，在本发明实施例中，采用分层采样技术对场景数据中的非典型目标进行由粗到细的探测。
按照分层采样规则，先对场景数据在360范围内按照预设采样方向进行采样，计算采样方向上的梯度变化，再对梯度变化大的方向增加采样密度，最终将梯度变化大于一定阈值的区域作为初始候选目标。
S102：统计各初始候选目标在所有场景数据中的比例值，选取出比例值大于或等于预设阈值的候选目标。
每个场景数据中均包含有至少一个初始候选目标，由于多个场景数据针对的是同一个场景，因此当多个场景数据中均出现某个初始候选目标时，则说明该初始候选目标为非典型目标的概率较大。
在本发明实施例中，可以设定一个预设阈值作为选取候选目标的依据。其中，预设阈值的取值可以根据实现需求设定，例如，当信息源为10个时，则预设阈值可以设置为7/10＝70％。当10个场景数据中有7个或7个以上的场景数据中均出现某个初始候选目标时，则可以将该初始候选目标作为候选目标。
如图2所示为基于多个信息源的非典型目标过滤的示意图，m个信息源依次为信息源1、信息源2至信息源m。每个信息源中包含有多个目标，其中实线对应的目标表示选取出的候选目标，虚线表示未能作为候选目标的初始候选目标，即被排除的初始候选目标。从图2可知，最终选取的出的候选目标分别为目标1、目标2和目标n。
S103：根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为场景的非典型目标。
考虑到候选目标是依据梯度方向以及多源信息相互验证的方式选取出的，在实际场景下选取出的候选目标可能属于背景图像中的纹理信息，因此，在本发明实施例中可以通过深度信息对候选目标进行筛查。
每个候选目标包括有多个像素点，每个像素点有其对应的深度信息。在实际应用中，可以通过主动式探测设备，如雷达、激光雷达等，或者被动式探测设备，如立体视觉摄像头等获取像素点的深度信息。
在本发明实施例中，可以将每个候选目标中各像素点的深度值的平均值作为每个候选目标的目标深度值。获取与每个候选目标中各像素点相邻的背景像素点的深度值，并将各背景像素点的深度值的平均值作为背景深度值。计算每个候选目标的目标深度值与其相应的背景深度值的差值。
以候选目标中的一个像素点为例，与该像素点相邻的背景像素点可以是与该像素点紧相邻的一个像素点，也可以是与该像素点相邻的多个像素点。需要说明的是，背景像素点与候选目标的像素点不存在重叠。
当目标深度值与其相应的背景深度值的差值大于或等于预设深度阈值时，则说明候选目标与背景图像的差别较大，因此可以排除候选目标属于背景图像的可能性，此时可以将该候选目标作为场景数据的非典型目标。
在S101中对初始候选目标的选取原理进行了介绍，根据该选取原理确定出初始候选目标的方式可以有多种。如图3所示为本发明实施例提供的一种初始候选目标的选取方法的流程图，该方法包括：
S301：对探测到的目标场景数据按照预设的初始采样方向进行采样，以得到各初始采样方向的初始梯度向量。
每个场景数据的处理方式类似，以所有场景数据中的任意一个场景数据即目标场景数据为例展示介绍。
初始采样方向可以按照场景图像360度范围内均匀划分的方式确定出，如图4所示场景数据均匀采样的示意图，图4中以场景数据的中心点作为原点，将场景图像进行8等分，确定出8个初始采样方向。
在实际应用中，除了均匀设置采样方向外，也可以非均匀设置采样方向。并且初始采样方向的个数可以根据实际需求调整，在此不做限定。
按照初始采样方向对场景数据进行采样，并计算采样方向的梯度信息，以确定出每个梯度方向的梯度向量。其中，每个初始梯度向量包括有多个元素值。
S302：当存在元素值大于或等于预设梯度值的梯度向量时，则将梯度向量对应的采样方向作为候选方向，并将大于或等于预设梯度值的元素值所对应的像素点作为候选像素点。
当存在元素值大于或等于预设梯度值的梯度向量时，则说明该梯度方向上可能存在属于非典型目标的像素点，此时可以将大于或等于预设梯度值的元素值所对应的像素点作为候选像素点。
为了对非典型目标进行更加精确的探测，此时可以将梯度向量对应的采样方向作为候选方向，对该候选方向附近的场景数据进行更加细致的探测，即执行S303。
S303：依据设定的采样范围对候选方向对应的候选区域进行采样，并将候选区域中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点。
以一个候选方向为例，候选区域可以是该候选方向左右一定范围内的候选区域，也可以选择单独在左侧或右侧一定范围内的候选区域。图4中是以候选方向右侧一定范围作为候选区域。
在对候选区域进行采样时，也可以设置采样方向，按照采样方向对候选区域的像素点进行采样。具体的，在根据设定的采样范围，确定出候选方向对应的候选区域之后，可以在候选区域内增加预设个数的采样方向，按照采样方向对候选区域的场景数据进行采样，以得到各采样方向的梯度向量；将梯度向量中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；并将元素值大于或等于预设梯度值的梯度向量对应的采样方向作为候选方向，并返回根据设定的采样范围，确定出候选方向对应的候选区域的步骤；直至不存在候选方向或者满足采样方向个数要求时，则执行S304。
S304：根据各候选像素点对应的坐标信息，将坐标相邻的候选像素点进行合并，以得到初始候选目标。
每个候选像素点有其对应的坐标信息，为了实现候选像素点的集中处理，在本发明实施例中，可以将坐标相邻的候选像素点进行合并，将合并后的各像素点组成的图像作为初始候选目标。
对场景数据按照初始采样方向进行采样，实现了对场景数据的粗略探测。通过对候选区域新增采样方向实现了对场景数据更加细致的探测，从而得到高精度的探测结果。
由上述技术方案可以看出，按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标；其中，各场景数据为多个信息源针对于同一个场景探测得到的场景数据。分层采样规则用于实现场景数据由粗到细的逐渐求精，先排除掉明显的非目标对象，同时对候选目标方向增加采样，提高提取出的初始候选目标的准确度。避免了直接进行复杂目标探测计算的过程，降低了计算复杂度，提高了非典型目标探测精度。统计各初始候选目标在所有场景数据中的比例值，选取出比例值大于或等于预设阈值的候选目标。综合利用多个信息源互相验证，对初始候选目标进行过滤，进一步排除掉非目标对象，避免因个别数据误差造成的目标误识别，保证提取非典型目标的准确度。根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标。利用候选目标和背景之间的深度差异，从另一维度对提取出的候选目标进行筛查，得到最终的高精度目标探测结果。
根据S103的介绍可知，当候选目标的目标深度值与其相应的背景深度值的差值大于或等于预设深度阈值时，则将该候选目标作为场景数据的非典型目标。而实际应用中，也有可能存在非典型目标与背景图像的深度值较为相近的情况，为了避免非典型目标的遗漏，在本发明实施例中，可以将差值小于预设深度阈值的候选目标作为备选目标，并存储备选目标。
通过存储备选目标，可以便于工作人员后续的查看审核。通过人工审核的方式，可以进一步确认备选目标是否属于非典型目标。当备选目标属于非典型目标时，则可以在场景数据中增加该备选目标，从而提升非典型目标探测的准确性。
在根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为场景的非典型目标之后，可以展示场景的非典型目标，以便于工作人员更加快速直观的了解场景数据中非典型目标的存在情况。
图5为本发明实施例提供的一种非典型目标探测装置的结构示意图，包括采样单元51、选取单元52和确定单元53；
采样单元51，用于按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标；其中，各场景数据为多个信息源针对于同一个场景探测得到的场景数据；
选取单元52，用于统计各初始候选目标在所有场景数据中的比例值，选取出比例值大于或等于预设阈值的候选目标；
确定单元53，用于根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为场景的非典型目标。
可选的，采样单元包括初始化子单元、候选子单元、精细化子单元和合并子单元；
初始化子单元，用于对探测到的目标场景数据按照预设的初始采样方向进行采样，以得到各初始采样方向的初始梯度向量；其中，每个初始梯度向量包括有多个元素值；目标场景数据为所有场景数据中的任意一个场景数据；
候选子单元，用于当存在元素值大于或等于预设梯度值的梯度向量时，则将梯度向量对应的采样方向作为候选方向，并将大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
精细化子单元，用于依据设定的采样范围对候选方向对应的候选区域进行采样，并将候选区域中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
合并子单元，用于根据各候选像素点对应的坐标信息，将坐标相邻的候选像素点进行合并，以得到初始候选目标。
可选的，精细化子单元具体用于根据设定的采样范围，确定出候选方向对应的候选区域；
在候选区域内增加预设个数的采样方向，按照采样方向对候选区域的场景数据进行采样，以得到各采样方向的梯度向量；
将梯度向量中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
将元素值大于或等于预设梯度值的梯度向量对应的采样方向作为候选方向，并返回根据设定的采样范围，确定出候选方向对应的候选区域的步骤；直至不存在候选方向或者满足采样方向个数要求时，则执行根据各候选像素点对应的坐标信息，将坐标相邻的候选像素点进行合并，以得到初始候选目标的步骤。
可选的，确定单元包括第一获取子单元、第二获取子单元和作为子单元；
第一获取子单元，用于获取每个候选目标包含的各像素点的深度值，并将各像素点的深度值的平均值作为每个候选目标的目标深度值；
第二获取子单元，用于获取与每个候选目标中各像素点相邻的背景像素点的深度值，并将各背景像素点的深度值的平均值作为背景深度值；
作为子单元，用于计算每个候选目标的目标深度值与其相应的背景深度值的差值；将差值大于或等于预设深度阈值的候选目标作为场景的非典型目标。
可选的，还包括存储单元；
存储单元，用于将差值小于预设深度阈值的候选目标作为备选目标，并存储备选目标。
可选的，还包括展示单元；
展示单元，用于展示场景的非典型目标。
由上述技术方案可以看出，按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标；其中，各场景数据为多个信息源针对于同一个场景探测得到的场景数据。分层采样规则用于实现场景数据由粗到细的逐渐求精，先排除掉明显的非目标对象，同时对候选目标方向增加采样，提高提取出的初始候选目标的准确度。避免了直接进行复杂目标探测计算的过程，降低了计算复杂度，提高了非典型目标探测精度。统计各初始候选目标在所有场景数据中的比例值，选取出比例值大于或等于预设阈值的候选目标。综合利用多个信息源互相验证，对初始候选目标进行过滤，进一步排除掉非目标对象，避免因个别数据误差造成的目标误识别，保证提取非典型目标的准确度。根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标。利用候选目标和背景之间的深度差异，从另一维度对提取出的候选目标进行筛查，得到最终的高精度目标探测结果。
图5所对应实施例中特征的说明可以参见图1和图3所对应实施例的相关说明，这里不再一一赘述。
图6为本发明实施例提供的一种非典型目标探测装置60的硬件结构示意图，包括：
存储器61，用于存储计算机程序；
处理器62，用于执行计算机程序以实现如上述任意一项非典型目标探测方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项非典型目标探测方法的步骤。
以上对本发明实施例所提供的一种非典型目标探测方法、装置和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
Claims (7)
1.一种非典型目标探测方法，其特征在于，包括：
按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标；其中，各场景数据为多个信息源针对于同一个场景探测得到的场景数据；
统计各初始候选目标在所有场景数据中的比例值，选取出比例值大于或等于预设阈值的候选目标；
根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标；
所述按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标包括：
对探测到的目标场景数据按照预设的初始采样方向进行采样，以得到各初始采样方向的初始梯度向量；其中，每个初始梯度向量包括有多个元素值；所述目标场景数据为所有场景数据中的任意一个场景数据；
当存在元素值大于或等于预设梯度值的梯度向量时，则将所述梯度向量对应的采样方向作为候选方向，并将大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
依据设定的采样范围对所述候选方向对应的候选区域进行采样，并将所述候选区域中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
根据各候选像素点对应的坐标信息，将坐标相邻的候选像素点进行合并，以得到初始候选目标；
所述根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标包括：
获取每个候选目标包含的各像素点的深度值，并将各像素点的深度值的平均值作为每个候选目标的目标深度值；
获取与每个候选目标中各像素点相邻的背景像素点的深度值，并将各背景像素点的深度值的平均值作为背景深度值；
计算每个候选目标的目标深度值与其相应的背景深度值的差值；将差值大于或等于预设深度阈值的候选目标作为所述场景的非典型目标。
2.根据权利要求1所述的方法，其特征在于，所述依据设定的采样范围对所述候选方向对应的候选区域进行采样，并将所述候选区域中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点包括：
根据设定的采样范围，确定出所述候选方向对应的候选区域；
在所述候选区域内增加预设个数的采样方向，按照所述采样方向对所述候选区域的场景数据进行采样，以得到各采样方向的梯度向量；
将所述梯度向量中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
将元素值大于或等于预设梯度值的梯度向量对应的采样方向作为候选方向，并返回所述根据设定的采样范围，确定出所述候选方向对应的候选区域的步骤；直至不存在候选方向或者满足采样方向个数要求时，则执行所述根据各候选像素点对应的坐标信息，将坐标相邻的候选像素点进行合并，以得到初始候选目标的步骤。
3.根据权利要求1所述的方法，其特征在于，还包括：
将差值小于预设深度阈值的候选目标作为备选目标，并存储所述备选目标。
4.根据权利要求1-3任意一项所述的方法，其特征在于，在所述根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标之后还包括：
展示所述场景的非典型目标。
5.一种非典型目标探测装置，其特征在于，包括采样单元、选取单元和确定单元；
所述采样单元，用于按照预设分层采样规则，对探测到的各场景数据进行采样处理，确定出各场景数据中满足采样要求的初始候选目标；其中，各场景数据为多个信息源针对于同一个场景探测得到的场景数据；
所述选取单元，用于统计各初始候选目标在所有场景数据中的比例值，选取出比例值大于或等于预设阈值的候选目标；
所述确定单元，用于根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标；
所述采样单元包括初始化子单元、候选子单元、精细化子单元和合并子单元；
所述初始化子单元，用于对探测到的目标场景数据按照预设的初始采样方向进行采样，以得到各初始采样方向的初始梯度向量；其中，每个初始梯度向量包括有多个元素值；所述目标场景数据为所有场景数据中的任意一个场景数据；
所述候选子单元，用于当存在元素值大于或等于预设梯度值的梯度向量时，则将所述梯度向量对应的采样方向作为候选方向，并将大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
所述精细化子单元，用于依据设定的采样范围对所述候选方向对应的候选区域进行采样，并将所述候选区域中大于或等于预设梯度值的元素值所对应的像素点作为候选像素点；
所述合并子单元，用于根据各候选像素点对应的坐标信息，将坐标相邻的候选像素点进行合并，以得到初始候选目标；
所述根据各候选目标的深度信息及其相邻的背景深度信息，确定出满足深度差异要求的候选目标作为所述场景的非典型目标包括：
获取每个候选目标包含的各像素点的深度值，并将各像素点的深度值的平均值作为每个候选目标的目标深度值；
获取与每个候选目标中各像素点相邻的背景像素点的深度值，并将各背景像素点的深度值的平均值作为背景深度值；
计算每个候选目标的目标深度值与其相应的背景深度值的差值；将差值大于或等于预设深度阈值的候选目标作为所述场景的非典型目标。
6.一种非典型目标探测装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至4任意一项所述非典型目标探测方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述非典型目标探测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910839088.9A CN110706202B (zh) | 2019-09-05 | 2019-09-05 | 一种非典型目标探测方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910839088.9A CN110706202B (zh) | 2019-09-05 | 2019-09-05 | 一种非典型目标探测方法、装置和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110706202A CN110706202A (zh) | 2020-01-17 |
| CN110706202B true CN110706202B (zh) | 2022-05-13 |
Family
ID=69194353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910839088.9A Active CN110706202B (zh) | 2019-09-05 | 2019-09-05 | 一种非典型目标探测方法、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110706202B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990129B (zh) * | 2021-04-27 | 2021-07-20 | 长沙万为机器人有限公司 | 基于视觉与激光雷达联合的三维物体检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140064552A1 (en) * | 2012-08-29 | 2014-03-06 | Kensuke Miyagi | System And Method For Utilizing Enhanced Scene Detection In A Depth Estimation Procedure |
| CN105096259A (zh) * | 2014-05-09 | 2015-11-25 | 株式会社理光 | 深度图像的深度值恢复方法和系统 |
| CN108010052A (zh) * | 2017-10-13 | 2018-05-08 | 西安天和防务技术股份有限公司 | 复杂场景中的目标跟踪方法及系统、存储介质及电子终端 |
| CN109377514A (zh) * | 2018-09-29 | 2019-02-22 | 中国科学院长春光学精密机械与物理研究所 | 目标跟踪方法、装置、设备及计算机可读存储介质 |
-
2019
- 2019-09-05 CN CN201910839088.9A patent/CN110706202B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140064552A1 (en) * | 2012-08-29 | 2014-03-06 | Kensuke Miyagi | System And Method For Utilizing Enhanced Scene Detection In A Depth Estimation Procedure |
| CN105096259A (zh) * | 2014-05-09 | 2015-11-25 | 株式会社理光 | 深度图像的深度值恢复方法和系统 |
| CN108010052A (zh) * | 2017-10-13 | 2018-05-08 | 西安天和防务技术股份有限公司 | 复杂场景中的目标跟踪方法及系统、存储介质及电子终端 |
| CN109377514A (zh) * | 2018-09-29 | 2019-02-22 | 中国科学院长春光学精密机械与物理研究所 | 目标跟踪方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110706202A (zh) | 2020-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11668571B2 (en) | Simultaneous localization and mapping (SLAM) using dual event cameras | |
| DE102014212304B4 (de) | Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Speichermedium | |
| KR101854554B1 (ko) | 건축물 높이 산출 방법, 장치 및 저장 매체 | |
| EP3016071B1 (en) | Estimating device and estimation method | |
| WO2021052283A1 (zh) | 处理三维点云数据的方法和计算设备 | |
| CN113221677B (zh) | 一种轨迹异常检测方法、装置、路侧设备和云控平台 | |
| WO2021147905A1 (zh) | 三维空间内注视行为的识别方法、装置及存储介质 | |
| CN112070782B (zh) | 识别场景轮廓的方法、装置、计算机可读介质及电子设备 | |
| CN111402294A (zh) | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 | |
| CN109035330A (zh) | 箱体拟合方法、设备和计算机可读存储介质 | |
| CN111931643A (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
| CN114119864A (zh) | 一种基于三维重建与点云匹配的定位方法和装置 | |
| Nair | Camera-based object detection, identification and distance estimation | |
| WO2022217988A1 (zh) | 传感器配置方案确定方法、装置、计算机设备、存储介质及程序 | |
| EP3703008A1 (en) | Object detection and 3d box fitting | |
| US10097811B2 (en) | Multi-part corresponder for multiple cameras | |
| CN110706202B (zh) | 一种非典型目标探测方法、装置和计算机可读存储介质 | |
| CN110291771B (zh) | 一种目标对象的深度信息获取方法及可移动平台 | |
| TW201605225A (zh) | 產生深度影像之方法及其系統及電腦程式產品 | |
| CN105138979A (zh) | 基于立体视觉的运动人体头部检测方法 | |
| Kalutskiy et al. | Method of moving object detection from mobile vision system | |
| CN113610967B (zh) | 三维点检测的方法、装置、电子设备及存储介质 | |
| CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
| CN112365600B (zh) | 一种三维物体检测方法 | |
| Spevakov et al. | Detecting objects moving in space from a mobile vision system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |