CN115019157B - 目标物检测方法、装置、设备和计算机可读存储介质 - Google Patents

目标物检测方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN115019157B
CN115019157B CN202210797251.1A CN202210797251A CN115019157B CN 115019157 B CN115019157 B CN 115019157B CN 202210797251 A CN202210797251 A CN 202210797251A CN 115019157 B CN115019157 B CN 115019157B
Authority
CN
China
Prior art keywords
pixel
target
pixel point
gray
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210797251.1A
Other languages
English (en)
Other versions
CN115019157A (zh
Inventor
汪峰
莫苏苏
吴昊
王抒昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Silicon Integrated Co Ltd
Original Assignee
Wuhan Silicon Integrated Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Silicon Integrated Co Ltd filed Critical Wuhan Silicon Integrated Co Ltd
Priority to CN202210797251.1A priority Critical patent/CN115019157B/zh
Publication of CN115019157A publication Critical patent/CN115019157A/zh
Application granted granted Critical
Publication of CN115019157B publication Critical patent/CN115019157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种目标物检测方法、装置、设备和计算机可读存储介质,该方法包括:获取对目标场景进行拍摄后得到的原始深度图像;根据原始深度图像上的目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征;若目标像素点的离散特征大于预设第一阈值,则确定目标像素点是目标物像素点。本申请可以在仅利用TOF相机的情况下,对目标物进行检测识别,不需要额外借助RGB相机传感器,并且也不需要采集大量的训练样本来训练神经网络模型,相较于现有的检测方法来说,方法简单,提高了检测效率,降低了检测成本。

Description

目标物检测方法、装置、设备和计算机可读存储介质
技术领域
本申请涉及三维场景建模技术领域,具体涉及一种目标物检测方法、装置、设备和计算机可读存储介质。
背景技术
近年来,飞行时间(Time-of-Flight,TOF)深度成像技术逐渐应用于三维场景建模中,以对扫地机器人、自动导向车(Automated Guided Vehicle,AGV)、增强现实(AugmentedReality,AR)、虚拟现实(Virtual Reality,VR)等设备的应用场景进行三维场景建模。上述应用场景中,高精度的深度传感技术将允许设备实时绘制环境地图,在地图中进行自定位,然后绘制最有效的导航路径。
但是,如果应用场景中存在透明物体,则会导致在深度测量中出现测量偏差,原因就在于透明物体具有高透过特性,此时TOF相机测量出的深度是场景在透明物体后面的深度,而不是到透明物体的深度,如此便会导致设备与透明物体相撞。因此,对于有透明物体的应用场景,需要对其中的透明物体进行检测。
目前主流的透明物体检测方法是利用红绿蓝(Red Green Blue,RGB)相机传感器检测场景,通过学习大量含有透明物体的图像样本,建立用于识别透明物体的神经网络模型,从而通过训练好的神经网络模型对场景中的透明物体进行检测。
但是,这种检测方法需要大量的学习样本来构建用于识别透明物体的神经网络模型,不仅学习样本的采集耗时耗力,而且神经网络模型的训练过程耗时较长、较为繁杂。
发明内容
本申请提供了一种目标物检测方法、装置、设备和计算机可读存储介质,旨在解决现有技术中通过深度学习的方法构建神经网络模型对透明物体进行检测,存在耗时较长且训练过程繁杂的问题。
第一方面,本申请提供了一种目标物检测方法,该目标物检测方法包括:
获取对目标场景进行拍摄后得到的原始深度图像;
针对于原始深度图像上的目标像素点,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征;
若目标像素点的离散特征大于预设第一阈值,则确定目标像素点是目标场景中的目标物对应的目标物像素点。
在本申请一种可能的实现方式中,方法还包括:
获取对目标场景进行拍摄后得到的原始灰度图像;
若目标像素点的离散特征大于预设第二阈值,且原始灰度图像上与目标像素点对应的灰度像素点的像素值小于预设阈值,则确定目标像素点是目标物像素点;预设第二阈值小于预设第一阈值。
在本申请一种可能的实现方式中,方法还包括:
获取对目标场景进行拍摄后得到的原始灰度图像;
若目标像素点的离散特征大于预设第二阈值,则对原始灰度图像上与目标像素点对应的灰度像素点进行二值化处理,得到灰度像素点的像素值;预设第二阈值小于预设第一阈值;
若灰度像素点的像素值为第一像素值,则确定目标像素点是目标物像素点;第一像素值是对灰度像素点进行二值化处理时,当灰度像素点的原始像素值小于预设阈值时,为灰度像素点赋予的像素值。
在本申请一种可能的实现方式中,方法还包括:
获取对目标场景进行拍摄后得到的原始灰度图像;
若目标像素点的离散特征大于预设第二阈值,则对原始灰度图像上与目标像素点对应的灰度像素点进行二值化处理,得到灰度像素点的像素值;预设第二阈值小于预设第一阈值;
根据灰度像素点的像素值以及灰度像素点预设邻域范围内的像素点的像素值,确定得到灰度像素点的目标像素值;若灰度像素点的目标像素值为第一像素值,则确定目标像素点是目标物像素点;第一像素值是对灰度像素点进行二值化处理时,当灰度像素点的原始像素值小于预设阈值时,为灰度像素点赋予的像素值;或者,
若灰度像素点的像素值是第一像素值,则确定目标像素点是目标物像素点;否则,根据灰度像素点的像素值以及灰度像素点预设邻域范围内的像素点的像素值,调整灰度像素点的像素值,若调整后的灰度像素点的像素值是第一像素值,则确定目标像素点是目标物像素点。
在本申请一种可能的实现方式中,根据灰度像素点的像素值以及灰度像素点预设邻域范围内的像素点的像素值,确定得到灰度像素点的目标像素值,包括:
若在灰度像素点预设邻域范围内,像素值与灰度像素点的像素值不同的像素点的数量或占比达到预设阈值,则调整灰度像素点的像素值得到灰度像素点的目标像素值;
否则,将灰度像素点的像素值作为灰度像素点的目标像素值。
在本申请一种可能的实现方式中,方法还包括:
对于未确定为目标物像素点的目标像素点,当目标像素点预设邻域范围内的目标物像素点的数量或占比达到预设阈值,则将目标像素点确定为目标场景中的目标物对应的目标物像素点。
在本申请一种可能的实现方式中,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征,包括:
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,计算目标像素点预设邻域范围内的深度标准差,将深度标准差作为目标像素点的离散特征;或者,
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,计算目标像素点的梯度值,将梯度值作为目标像素点的离散特征;或者,
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,对目标像素点进行滤波处理,将目标像素点和滤波后的目标像素点两者的像素值之差作为目标像素点的离散特征。
在本申请一种可能的实现方式中,对原始灰度图像上与目标像素点对应的灰度像素点进行二值化处理,得到灰度像素点的像素值,包括:
若原始灰度图像上与目标像素点对应的灰度像素点的原始像素值大于或者等于预设阈值,则确定灰度像素点的像素值为第二像素值;
若原始灰度图像上与目标像素点对应的灰度像素点的原始像素值小于预设阈值,则确定灰度像素点的像素值为第一像素值。
第二方面,本申请提供了一种目标物检测装置,该目标物检测装置包括:
获取单元,用于获取对目标场景进行拍摄后得到的原始深度图像;
检测单元,用于针对于原始深度图像上的目标像素点,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征;
若目标像素点的离散特征大于预设第一阈值,则确定目标像素点是目标场景中的目标物对应的目标物像素点。
在本申请一种可能的实现方式中,获取单元还用于获取对目标场景进行拍摄后得到的原始灰度图像;
检测单元还用于若目标像素点的离散特征大于预设第二阈值,且原始灰度图像上与目标像素点对应的灰度像素点的像素值小于预设阈值,则确定目标像素点是目标物像素点;预设第二阈值小于预设第一阈值。
在本申请一种可能的实现方式中,获取单元还用于获取对目标场景进行拍摄后得到的原始灰度图像;
检测单元具体还用于若目标像素点的离散特征大于预设第二阈值,则对原始灰度图像上与目标像素点对应的灰度像素点进行二值化处理,得到灰度像素点的像素值;预设第二阈值小于预设第一阈值;
若灰度像素点的像素值为第一像素值,则确定目标像素点是目标物像素点;第一像素值是对灰度像素点进行二值化处理时,当灰度像素点的原始像素值小于预设阈值时,为灰度像素点赋予的像素值。
在本申请一种可能的实现方式中,获取单元还用于获取对目标场景进行拍摄后得到的原始灰度图像;
检测单元具体还用于若所述目标像素点的离散特征大于预设第二阈值,则对所述原始灰度图像上与所述目标像素点对应的灰度像素点进行二值化处理,得到所述灰度像素点的像素值;所述预设第二阈值小于所述预设第一阈值;
根据所述灰度像素点的像素值以及所述灰度像素点预设邻域范围内的像素点的像素值,确定得到所述灰度像素点的目标像素值;若所述灰度像素点的目标像素值为第一像素值,则确定所述目标像素点是所述目标物像素点;所述第一像素值是对所述灰度像素点进行二值化处理时,当所述灰度像素点的原始像素值小于预设阈值时,为所述灰度像素点赋予的像素值;或者,
若所述灰度像素点的像素值是所述第一像素值,则确定所述目标像素点是所述目标物像素点;否则,根据所述灰度像素点的像素值以及所述灰度像素点预设邻域范围内的像素点的像素值,调整所述灰度像素点的像素值,若调整后的所述灰度像素点的像素值是所述第一像素值,则确定所述目标像素点是所述目标物像素点。
在本申请一种可能的实现方式中,检测单元具体还用于:
若在灰度像素点预设邻域范围内,像素值与灰度像素点的像素值不同的像素点的数量或占比满足达到预设阈值,则调整灰度像素点的像素值得到灰度像素点的目标像素值;
否则,将灰度像素点的像素值作为灰度像素点的目标像素值。
在本申请一种可能的实现方式中,检测单元具体还用于:
对于未确定为目标物像素点的目标像素点,当目标像素点预设邻域范围内的目标物像素点的数量或占比满足预设阈值,则将目标像素点确定为目标场景中的目标物对应的目标物像素点。
在本申请一种可能的实现方式中,检测单元具体还用于:
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,计算目标像素点预设邻域范围内的深度标准差,将深度标准差作为目标像素点的离散特征;或者,
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,计算目标像素点的梯度值,将梯度值作为目标像素点的离散特征;或者,
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,对目标像素点进行滤波处理,将目标像素点和滤波后的目标像素点两者的像素值之差作为目标像素点的离散特征。
在本申请一种可能的实现方式中,检测单元具体还用于:
若原始灰度图像上与目标像素点对应的灰度像素点的原始像素值大于或者等于预设阈值,则确定灰度像素点的像素值为第二像素值;
若原始灰度图像上与目标像素点对应的灰度像素点的原始像素值小于预设阈值,则确定灰度像素点的像素值为第一像素值。
第三方面,本申请还提供了一种目标物检测设备,该目标物检测设备包括处理器和存储器,存储器用于存储计算机程序,该计算机程序被处理器执行时,用于实现第一方面或者本申请第一方面任一种可能的实现方式提供的目标物检测方法中的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行以实现本申请第一方面或者本申请第一方面任一种可能的实现方式提供的目标物检测方法中的步骤。
从以上内容可得出,本申请具有以下的有益效果:
本申请中,通过对目标场景进行拍摄后得到的原始深度图像进行像素点特征分析,针对于原始深度图像上离散特征大于预设第一阈值的目标像素点,可以确定该目标像素点是目标物像素点,从而识别到目标场景中的目标物,本申请可以在仅利用TOF相机的情况下,对目标物进行检测识别,不需要额外借助RGB相机传感器,并且也不需要采集大量的训练样本来训练神经网络模型,相较于现有的检测方法来说,方法简单,提高了检测效率,降低了检测成本。
附图说明
为了更清楚地说明本申请中的技术方案,下面将对本申请描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中提供的目标物检测系统的一个场景示意图;
图2是本申请实施例中提供的目标物检测方法的一个流程示意图;
图3是本申请实施例中提供的原始灰度图像的一个图像示意图;
图4是本申请实施例中提供的原始深度图像的一个图像示意图;
图5是对图3的原始灰度图像进行二值化处理后,得到的二值化处理后的原始灰度图像的一个图像示意图;
图6是与图5的二值化处理后的原始灰度图像对应的目标灰度特征图像的一个图像示意图;
图7是与图4的原始深度图像对应的目标离散特征图像的一个图像示意图;
图8是本申请实施例中提供的目标物标记图像的一个图像示意图;
图9是本申请实施例中提供的目标物检测装置的一个结构示意图;
图10是本申请实施例中提供的目标物检测设备的一个结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
在介绍本申请的目标物检测方法、装置、设备和计算机可读存储介质之前,首先对本申请中用到的TOF相机进行简单介绍。
TOF相机是一种深度相机,基于TOF相机的三维场景建模技术正逐渐应用到扫地机器人、自动导向车(Automated Guided Vehicle,AGV)、增强现实(Augmented Reality,AR)、虚拟现实(Virtual Reality,VR)等设备上。上述应用场景中,高精度的深度传感技术将允许设备实时绘制环境地图,在地图中进行自定位,然后绘制最有效的导航路径。
TOF相机的测距原理是向目标物连续发送光脉冲,然后用传感器接收从目标物反射回的光,通过探测光脉冲的飞行时间来得到目标物与TOF相机的距离即深度信息。
然而利用TOF相机进行三维场景建模存在一个问题即是区域中存在透明物体例如玻璃墙时会对建模存在干扰。与不透明物体不同的是,透明物体具有高透过特性,任意物体或场景都可能出现在透明物体后面,并且图像上透明物体区域的内同通常与其后面的内容相似,因此导致在深度测量中,现有方法会错误地测量出场景在透明物体后的深度,而不是测量出到透明物体的深度,最终导致设备撞向透明物体。
因此,当场景中存在透明物体例如玻璃墙时,难以利用TOF相机进行三维场景建模。而为了提升TOF相机的应用范围,若要将TOF相机应用于透明物体场景中,则需要对场景中的透明物体进行检测识别,以标记出场景中的透明物体。
目前主流的透明物体检测方法是利用RGB相机传感器检测场景,通过学习大量含有透明物体的图像样本,建立用于识别透明物体的神经网络模型,如玻璃检测网络GDNet,但是现有的检测方法需要采集大量的学习样本来构建神经网络模型,并且在三维场景中,还需要将可见光图像与三维图像进行配准,不仅学习样本的采集耗时耗力,而且神经网络模型的训练过程耗时较长、较为繁杂。
基于上述问题,本申请提供一种目标物检测方法、装置、设备和计算机可读存储介质,以下分别进行详细说明。
请参阅图1,图1是本申请实施例中提供的目标物检测系统的一个场景示意图,该目标物检测系统可以包括服务器101和TOF相机102,该TOF相机102可以与服务器101通信连接,TOF相机102可以对当前场景进行拍摄,测算当前场景中物体103与TOF相机102之间的距离,并将采集到的与当前场景相关的图像数据传输到服务器101。
本申请中,该服务器101可以是独立的服务器,也可以是服务器组成的服务器网络或服务器集群,例如,本申请中所描述的服务器101,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中,云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
可以理解,服务器101和TOF相机102之间可以通过任何通信方式实现网络通信,包括但不限于,基于第三代合作伙伴计划(3rd Generation Partnership Project,3GPP)、长期演进(Long Term Evolution,LTE)、全球互通微波访问(Worldwide Interoperabilityfor Microwave Access,WiMAX)的移动通信,或基于TCP/IP协议族(TCP/IP ProtocolSuite,TCP/IP)、用户数据报协议(User Datagram Protocol,UDP)的计算机网络通信等。TOF相机102可以通过上述通信方式向服务器101上传拍摄得到的原始灰度图像和原始深度图像。
本申请中,服务器101主要用于获取对目标场景进行拍摄后得到的原始深度图像;针对于原始深度图像上的目标像素点,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征;若目标像素点的离散特征大于预设第一阈值,则确定目标像素点是目标场景中的目标物对应的目标物像素点。
本领域技术人员可以理解,图1中示出的应用环境,仅仅是与本申请方案适配的一种应用场景,并不构成对本申请方案应用场景的限定,其他的应用场景还可以包括比图1中所示更多的TOF相机102,例如图1中仅示出1个TOF相机102,可以理解的,该目标物检测系统还可以包括多个可与服务器101交互的其他TOF相机,具体此处不作限定。
需要说明的是,图1所示的目标物检测系统的场景示意图仅仅是一个示例,本申请描述的目标物检测系统以及场景是为了更加清楚的说明本申请的技术方案,并不构成对于本申请提供的技术方案的限定,本领域普通技术人员可知,随着目标物检测系统的演变和新业务场景的出现,本申请提供的技术方案对于类似的技术问题,同样适用。
本申请提供的目标物检测方法、装置和计算机可读存储介质,可应用于目标物检测设备上,用于对目标场景中的目标物例如玻璃墙、透明屏风等透明物体进行检测识别,以标记出目标场景中的透明物体,从而可提高设备导航路径的准确性,提高导航的可靠性。
本申请提及的目标物检测方法,其执行主体可以为目标物检测装置,或者集成了该目标物检测装置的服务器设备、物理主机或者用户设备(User Equipment,UE)等不同类型的目标物检测设备,其中,目标物检测装置可以采用硬件或者软件的方式实现,UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑或者台式电脑等终端设备,另外,目标物检测设备还可以以设备集群的形式配置。
首先,本申请提供一种目标物检测方法,该目标物检测方法可以包括:
获取对目标场景进行拍摄后得到的原始深度图像;针对于原始深度图像上的目标像素点,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征;若目标像素点的离散特征大于预设第一阈值,则确定目标像素点是目标场景中的目标物对应的目标物像素点。
请参阅图2,图2是本申请实施例中提供的目标物检测方法的一个流程示意图。需要说明的是,虽然在流程示意图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。本申请提供的目标物检测方法,具体可包括如下步骤:
步骤S201、获取对目标场景进行拍摄后得到的原始深度图像。
本申请实施例中,拍摄所采用的TOF相机可以集成在扫地机器人、自动导向车、AR/VR等设备上,利用TOF相机对设备所处的场景进行拍摄,从而绘制环境地图,并对设备进行定位,规划设备的导航路径。
在利用TOF相机对目标场景进行拍摄后可以得到原始深度图像,然后TOF相机可以将拍摄得到的原始深度图像发送至目标物检测装置,该目标物检测装置在获取到原始深度图像之后,便可以对原始深度图像进行图像分析,从而检测出目标场景中的目标物,以在规划导航路径时避开该目标物。
在其他的一些应用场景中,目标物检测装置还可以根据预先设定的检测周期周期性地访问TOF相机的存储单元,进而获取存储单元中存储的原始深度图像,以便于对原始深度图像进行图像分析,从而检测出目标场景中的目标物,以在规划导航路径时避开该目标物。
步骤S202、针对于原始深度图像上的目标像素点,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征。
本申请实施例中,可以根据预设的遍历规则对原始深度图像进行遍历,该遍历规则可以包括遍历速率、像素点的遍历方向等,具体可以根据实际应用场景进行确定,目标像素点可以是对原始深度图像进行遍历时的当前像素点。
可以理解的,在对原始深度图像进行遍历的过程中,可以是针对于每一个目标像素点,当遍历到该目标像素点时,直接基于该目标像素点进行下一步的检测操作,也可以是对原始深度图像中的所有目标像素点都遍历之后,再进行下一步的检测操作,具体方式可以根据实际情况进行确定。
由于目前TOF相机大多使用近红外波段光源,在此波段光源大部分可正常透过透明物体例如玻璃,只有少部分会因反射及散射损失。因此,TOF相机对透明物体进行拍摄后,若透明物体后面存在物体,则图像上透明物体区域的成像类似于透明物体后面的内容,其测得的距离为距离透明物体后面物体的距离。
当透明物体区域后方不存在物体或物体较远时,TOF相机对该透明物体进行拍摄后,可以得到如图4所示的原始深度图像,对图4进行分析可以得到,在原始深度图像上,透明物体成像区域多为随机噪声,该区域像素点的深度标准差较其他物体成像区域像素点的深度标准差更大,即离散程度更高。
基于上述对原始深度图像的像素点的分析,可以知道透明物体对应的成像区域的像素点的特征,即透明物体对应的成像区域的像素点的像素值在离散程度上比其他物体对应的成像区域的像素点的像素值更大。
因此,本申请实施例中,针对于原始深度图像上的每一个目标像素点,根据该目标像素点的像素值以及该目标像素点预设邻域范围内的像素点的像素值,确定得到该目标像素点的离散特征,进而后续根据该离散特征判断该目标像素点是否是目标物对应的目标物像素点,即根据该离散特征判断该目标像素点是否是透明物体对应的像素点。
可以理解的,目标像素点的离散特征可以是现有的任一种能够表征像素点的离散程度的特征值,例如,目标像素点的离散特征可以包括但不限于目标像素点的深度标准差、梯度值、高频特征、低频特征等。
步骤S203、若目标像素点的离散特征大于预设第一阈值,则确定目标像素点是目标场景中的目标物对应的目标物像素点。
根据步骤S202可以知道,透明物体对应的成像区域的像素点的像素值在离散程度上比其他物体对应的成像区域的像素点的像素值更大,因此,本申请实施例中,如果目标像素点的离散特征大于预设第一阈值,则可以确定该目标像素点是目标场景中的目标物对应的目标物像素点,反之,则可以确定该目标像素点不是目标场景中的目标物对应的目标物像素点。
举例来说,假设预设第一阈值为800,如果当前目标像素点的离散特征值为900,则当前目标像素点的离散特征值大于预设第一阈值800,可以确定当前目标像素点是目标物像素点;
如果当前目标像素点的离散特征值为600,则当前目标像素点的离散特征值小于预设第一阈值800,可以确定当前目标像素点不是目标物像素点。
需要说明的是,本申请实施例中的预设第一阈值可以根据过往经验或多次实验计算得到,在不同的应用场景中,预设第一阈值的取值可以不同,具体此处不做限定。
本申请实施例中,通过对目标场景进行拍摄后得到的原始深度图像进行像素点特征分析,针对于原始深度图像上离散特征大于预设第一阈值的目标像素点,可以确定该目标像素点是目标物像素点,从而识别到目标场景中的目标物,本申请可以在仅利用TOF相机的情况下,对目标物进行检测识别,不需要额外借助RGB相机传感器,并且也不需要采集大量的训练样本来训练神经网络模型,相较于现有的检测方法来说,方法简单,提高了检测效率,降低了检测成本。
接下来,继续对图2所示的各步骤以及在实际应用中可能采用的具体实施方式进行详细阐述。
在本申请一些实施例中,方法还可以进一步包括:
获取对目标场景进行拍摄后得到的原始灰度图像;
若目标像素点的离散特征大于预设第二阈值,且原始灰度图像上与目标像素点对应的灰度像素点的像素值小于预设阈值,则确定目标像素点是目标物像素点;预设第二阈值小于预设第一阈值。
可以理解的,原始灰度图像同样可以是TOF相机对目标场景进行拍摄后得到的图像,由于原始灰度图像和原始深度图像均是TOF相机对目标场景进行拍摄后的到的图像,因此,原始灰度图像上的像素点和原始深度图像上的像素点具有一一对应的关系。
本申请实施例中,目标物检测装置获取原始灰度图像的方式可以参照上述实施例中对原始深度图像的描述,具体此处不再赘述。
当透明物体区域后方不存在物体或物体较远时,TOF相机对该透明物体进行拍摄后,可以得到如图3所示的原始灰度图像,对图3进行分析可以得到,在原始灰度图像上,透明物体成像区域多像素点的像素值较其他物体成像区域像素点的像素值更小。
基于上述对原始灰度图像的像素点的分析,可以知道透明物体对应的成像区域的像素点的特征,即透明物体对应的成像区域的像素点的像素值小于其他物体对应的成像区域的像素点的像素值。
由于透明物体对应的成像区域的像素值相较于其他物体的成像区域的像素值偏小,因此,还可以结合目标像素点的离散特征和与目标像素点对应的灰度像素点的像素值共同判断目标像素点是否是目标物像素点。
如果目标像素点的离散特征大于预设第二阈值,可以理解,此处的预设第二阈值小于预设第一阈值,同时,该目标像素点对应的灰度像素点的像素值小于预设阈值,则可以确定目标像素点是目标物像素点,否则,便可以确定该目标像素点不是目标物像素点,如此便可以根据确定的目标物像素点得到目标物对应的成像区域。
举例来说,假设预设第一阈值为800,预设第二阈值为500,预设阈值为10,如果当前目标像素点的离散特征值为900,则当前目标像素点的离散特征值大于预设第一阈值800,可以确定当前目标像素点是目标物像素点;
如果当前目标像素点的离散特征值为600,则当前目标像素点的离散特征值小于预设第一阈值800且大于预设第二阈值500,则可以获取原始灰度图像上与目标像素点对应的灰度像素点的像素值,如果灰度像素点的像素值小于预设阈值10,则可以确定当前目标像素点是目标物像素点;反之,如果灰度像素点的像素值大于预设阈值10,则可以确定当前目标像素点不是目标物像素点;
如果当前目标像素点的离散特征值为200,则当前目标像素点的离散特征值小于预设第二阈值500,则可以确定当前目标像素点不是目标物像素点。
需要说明的是,本申请实施例中的预设第一阈值、预设第二阈值以及预设阈值均可以根据过往经验或多次实验计算得到,在不同的应用场景中,预设第一阈值、预设第二阈值以及预设阈值的取值可以不同,具体此处不做限定。
在本申请一些实施例中,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征,可以进一步包括:
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,计算目标像素点预设邻域范围内的深度标准差,将深度标准差作为目标像素点的离散特征;或者,
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,计算目标像素点的梯度值,将梯度值作为目标像素点的离散特征;或者,
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,对目标像素点进行滤波处理,将目标像素点和滤波后的目标像素点两者的像素值之差作为目标像素点的离散特征。
可以理解的,对于一个图像来说,其深度标准差、梯度或者像素值变化情况等,均可以反映该图像的像素点的离散特征,因此,在一种具体实现中,可以根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,计算目标像素点预设邻域范围内的深度标准差,将深度标准差作为目标像素点的离散特征。
如图7所示,图7是与图4的原始深度图像对应的目标离散特征图像的一个图像示意图,对原始深度图像中的每一个目标像素点,分别计算每一个目标像素点八邻域范围内的深度标准差,从而可以得到如图7所示的目标离散特征图像,然后再根据该目标离散特征图像上每一个像素点的深度标准差确定与该像素点对应的目标像素点是否是目标物像素点。
可以理解的,标准差是离均差平方的算术平均数即方差的算术平方根,也被称为标准偏差或者实验标准差,在概率统计中作为统计分布程度上的测量依据,也就是说,标准差能够反映一个数据集的离散程度。
而根据对原始深度图像进行分析可以知道,透明物体对应的成像区域多为随机噪声,其标准差相较于其他物体的成像区域来说偏大,因此,本申请实施例中,针对于原始深度图像上的每一个目标像素点,计算每一个目标像素点预设邻域范围内的深度标准差,将计算得到的深度标准差作为离散特征,若深度标准差大于预设第一阈值,则可以确定对应的目标像素点是目标物像素点。
举例来说,若预设邻域为八邻域,则针对于图4所示的原始深度图像,计算该原始深度图像上各目标像素点八邻域范围内所有像素点的像素值的标准差,得到当前目标像素点对应的深度标准差,将该深度标准差作为目标离散特征图像上与当前目标像素点对应的像素点的值,进而可以得到如图7所示的目标离散特征图像。
值得注意的是,本申请实施例中的预设邻域还可以是四邻域、十六邻域等,该预设邻域的范围大小可以根据实际应用场景进行确定,具体此处不做限定。
在另一种具体实现中,离散特征图像也可以是原始深度图像对应的梯度图像,具体的,可以根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,计算目标像素点的梯度值,进而将该梯度值作为目标像素点的离散特征,对每一个目标像素点求梯度值,便可以得到原始深度图像对应的梯度图像,从而根据该梯度图像上每一个像素点的梯度值确定与该像素点对应的目标像素点是否是目标物像素点。
在又一种具体实现中,离散特征图像也可以是原始深度图像对应的高频图像或低频图像,具体的,可以根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,对目标像素点进行滤波处理,将目标像素点和滤波后的目标像素点两者的像素值之差作为目标像素点的离散特征。
由于高频图像可以表征像素值变化剧烈的部分,即图像上物体边缘、纹理等细节,因此,可以对原始深度图像的每一个目标像素点进行滤波处理,得到对应的过滤图像,从而再通过对原始深度图像与该过滤图像求差,得到对应的高频图像,根据该高频图像上每一个像素点的像素值确定与该像素点对应的目标像素点是否是目标物像素点。
同理,低频图像可以表征像素值变化平缓的部分,即图像上物体边缘以内的部分,因此,高频图像以外的部分即为低频图像,同样的根据低频图像上每一个像素点的像素值可以确定与该像素点对应的目标像素点是否是目标物像素点。
在本申请一些实施例中,方法还可以进一步包括:
获取对目标场景进行拍摄后得到的原始灰度图像;
若目标像素点的离散特征大于预设第二阈值,则对原始灰度图像上与目标像素点对应的灰度像素点进行二值化处理,得到灰度像素点的像素值;预设第二阈值小于预设第一阈值;
若灰度像素点的像素值为第一像素值,则确定目标像素点是目标物像素点;第一像素值是对灰度像素点进行二值化处理时,当灰度像素点的原始像素值小于预设阈值时,为灰度像素点赋予的像素值。
本申请实施例中,在根据原始灰度图像上与目标像素点对应的灰度像素点判断目标像素点是否是目标物像素点之前,还可以对该灰度像素点进行二值化处理,得到灰度像素点的像素值。
可以理解的,二值化是一种图像分割方法,对一个图像进行二值化处理,就是将图像上的像素点的灰度值设置为不同的两个值如0或255,也就是将整个图像呈现出明显的只有黑和白的视觉效果。二值化可以把灰度图像转换成二值图像。把大于某个临界灰度值的像素灰度设为灰度极大值,把小于这个值的像素灰度设为灰度极小值,从而实现二值化。
本申请实施例中,对原始灰度图像上与目标像素点对应的灰度像素点进行二值化处理,得到灰度像素点的像素值,可以是:若原始灰度图像上与目标像素点对应的灰度像素点的原始像素值大于或者等于预设阈值,则确定灰度像素点的像素值为第二像素值;若原始灰度图像上与目标像素点对应的灰度像素点的原始像素值小于预设阈值,则确定灰度像素点的像素值为第一像素值。
具体的,针对于原始灰度图像上的每一个灰度像素点,若该灰度像素点的原始像素值大于或者等于预设阈值,则可以确定该灰度像素点的像素值为第二像素值;若该灰度像素点的像素值小于预设阈值,则可以确定该灰度像素点的像素值为第一像素值。
本申请实施例中,第二像素值和第一像素值可以根据实际应用场景进行选择,预设阈值可以根据过往经验或者多次实验进行确定,具体此处不做限定。
举例来说,若本实施例中第二像素值为1,第一像素值为0,则对应的二值化公式为:
其中,IGray_TSH表示二值化处理后的原始灰度图像上的灰度像素点的像素值,IGray_SCR表示原始灰度图像上的灰度像素点的原始像素值,εGray表示预设阈值。
根据该二值化公式可以知道,本实施例是通过全局固定阈值的方法对原始灰度图像进行二值化处理,需要说明的是,除了固定阈值的方法之外,其他能够实现图像二值化的方法同样适用于本申请实施例,例如,在其他的一些具体实现中,还可以采用全局阈值法中的最大类间方差法、局部阈值法中的自适应阈值算法、Niblack算法等对原始灰度图像进行二值化处理,得到灰度二值图像。
如图5所示,通过上述实施例的二值化方法对图3所示的原始灰度图像进行二值化处理后,便可以得到图5所示的二值化处理后的原始灰度图像。
在一种实现方式中,可以直接根据二值化处理后的灰度像素点的像素值判断对应的目标像素点是否是目标物像素点,即若二值化处理后的灰度像素点的像素值为第一像素值,则可以认为该灰度像素点的像素值小于预设阈值,从而确定与该灰度像素点对应的目标像素点是目标物像素点,反之,若二值化处理后的灰度像素点的像素值为第二像素值,则可以认为该灰度像素点的像素值大于预设阈值,从而确定与该灰度像素点对应的目标像素点不是目标物像素点,也就是说可以根据图5所示的图像的每一个像素点的像素值判断该像素点是否是目标物像素点,从而识别目标物的成像区域。
在另一种实现方式中,在根据二值化处理后的灰度像素点的像素值确定与该灰度像素点对应的目标像素点不是目标物像素点之后,还可以根据该灰度像素点的像素值以及该灰度像素点预设邻域范围内的像素点的像素值,调整灰度像素点的像素值,若调整后的灰度像素点的像素值是第一像素值,则可以确定目标像素点是目标物像素点。
由于拍摄精度或其他干扰因素的存在,物体的成像有可能被干扰从而出现像素点漏识别的情况,因此,可以对未确定为目标物像素点的目标像素点对应的灰度像素点进行扩展,例如,若在灰度像素点预设邻域范围内,像素值与灰度像素点的像素值不同的像素点的数量达到预设数量阈值,则可以调整该灰度像素点的像素值,反之,若像素值与灰度像素点的像素值不同的像素点的数量未达到预设数量阈值,则可以确定维持该灰度像素点的像素值不变。
举例来说,若灰度像素点的像素值为1,预设数量阈值为4,在灰度像素点的预设八邻域范围内,像素值为1的像素点的数量为5,则像素值为0的像素点的数量为3小于预设数量阈值4,则可以确定该灰度像素点的像素值维持1不变,此时,由于调整后的灰度像素点的像素值是1并非第一像素值,则可以确定目标像素点不是目标物像素点;而若像素值为1的像素点的数量为3,则像素值为0的像素点的数量为5大于预设数量阈值4,则可以将该灰度像素点的像素值1调整为0,此时,调整后的灰度像素点的像素值0是第一像素值,则可以将该目标像素点确定为目标物像素点。
可以理解的,若在灰度像素点预设邻域范围内,像素值与灰度像素点的像素值不同的像素点的占比未达到预设占比阈值,则可以确定该灰度像素点的像素值维持不变,反之,若像素值与灰度像素点的像素值不同的像素点的占比达到预设占比阈值,则可以确定调整该灰度像素点的像素值。
例如,若灰度像素点的像素值为1,预设占比阈值为1/2,在灰度像素点的预设十六邻域范围内,像素值为1的像素点的数量为6,则像素值为0的像素点的数量为10,占比为5/8大于预设占比阈值为1/2,则可以将该灰度像素点的像素值1调整为0,此时,调整后的灰度像素点的像素值0是第一像素值,则可以确定目标像素点是目标物像素点;而若像素值为1的像素点的数量为12,则像素值为0的像素点的数量为4,占比为1/4小于预设占比阈值1/2,则可以确定该灰度像素点的像素值维持1不变,此时,由于调整后的灰度像素点的像素值是1并非第一像素值,则可以确定目标像素点不是目标物像素点。
在本申请又一种实现方式中,方法还可以进一步包括:
获取对目标场景进行拍摄后得到的原始灰度图像;
若目标像素点的离散特征大于预设第二阈值,则对原始灰度图像上与目标像素点对应的灰度像素点进行二值化处理,得到灰度像素点的像素值;预设第二阈值小于预设第一阈值;
根据灰度像素点的像素值以及灰度像素点预设邻域范围内的像素点的像素值,确定得到灰度像素点的目标像素值;
若灰度像素点的目标像素值为第一像素值,则确定目标像素点是目标物像素点;第一像素值是对灰度像素点进行二值化处理时,当灰度像素点的原始像素值小于预设阈值时,为灰度像素点赋予的像素值。
区别于上一种实现方式,本申请实施例在对灰度像素点进行二值化处理后,还可以先对灰度像素点的像素值进行调整、扩展、连通等,例如根据灰度像素点的像素值以及灰度像素点预设邻域范围内的像素点的像素值,确定得到灰度像素点的目标像素值,然后再根据该灰度像素点的目标像素值判断目标像素点是否是目标物像素点。
例如在得到图5所示的图像之后,还可以根据该图像上各灰度像素点预设邻域范围内的像素点的像素值,得到灰度像素点的目标像素值,从而得到目标灰度特征图像,如图6所示,图6是与图5的二值化处理后的原始灰度图像对应的目标灰度特征图像的一个图像示意图。
同样的,若灰度像素点预设邻域范围内,像素值与灰度像素点的像素值不同的像素点的数量或占比达到预设阈值,则调整灰度像素点的像素值得到灰度像素点的目标像素值,即得到目标灰度特征图像上与灰度像素点对应的像素点的像素值;否则,将灰度像素点的像素值作为灰度像素点的目标像素值。
本申请实施例中,预设阈值可以是针对于数量的预设数量阈值,也可以是针对占比的预设占比阈值,具体可以根据实际情况进行配置。
例如,若灰度像素点预设邻域范围内,像素值与灰度像素点的像素值不同的像素点的数量未达到预设数量阈值,则可以确定灰度像素点的像素值即为灰度像素点的目标像素值,即灰度像素点的像素值维持不变,此时目标灰度特征图像上与灰度像素点对应的像素点的像素值即为灰度像素点的像素值;否则,便可以确定灰度像素点的目标像素值不是灰度像素点的像素值,即调整灰度像素点的像素值以得到目标像素值,此时目标灰度特征图像上与灰度像素点对应的像素点的像素值为与目标灰度像素点的像素值不同的像素值。
本申请实施例中,遍历每一个灰度像素点,针对于该灰度像素点预设邻域,统计该预设邻域范围内与该灰度像素点的像素值不同的像素点的数量,如果统计得到的数量未达到预设数量阈值,则目标灰度特征图像上与灰度像素点相对应的像素点的像素值设定为灰度像素点的像素值,反之,如果统计得到的数量达到预设数量阈值,则目标灰度特征图像上与灰度像素点相对应的像素点的像素值设定为与灰度像素点的像素值不同的像素值。
举例来说,若预设邻域为八邻域,预设数量阈值为4,预设阈值为1,目标灰度像素点的像素值为1,则统计该灰度像素点的八邻域范围内像素值为0的灰度像素点的数量,若八邻域范围内像素值为0的灰度像素点的数量为3,则可以确定目标灰度特征图像上与灰度像素点相对应的像素点的像素值为1,由于该像素值等于第二像素值1,则可以确定该灰度像素点对应的目标像素点不是目标物像素点;而若八邻域范围内像素值为0的像素点的数量为6,由于灰度二值图像是一种二值图像,其上像素点的像素值非1即0,则可以确定目标灰度特征图像上与灰度像素点相对应的像素点的像素值为0,由于该像素值等于第一像素值0,则可以确定该灰度像素点对应的目标像素点是目标物像素点。
根据上述实施例对数量的比较,可以同理推演得到对占比的比较,即像素值与灰度像素点的像素值不同的像素点的占比小于或者等于预设占比阈值时,则可以确定目标灰度特征图像上与灰度像素点对应的像素点的像素值为灰度像素点的像素值;否则,确定目标灰度特征图像上与灰度像素点对应的像素点的像素值为与灰度像素点的像素值不同的像素值。
可以理解的,上述实施例仅是本申请的一种示例,在其他的应用场景中,预设邻域还可以是四邻域、十六邻域等,预设数量阈值和预设占比阈值可以根据所选择的邻域的大小进行确定,例如可以设定预设数量阈值是预设邻域的像素点数量的二分之一、三分之二等,同理,预设占比阈值可以设定为二分之一、三分之二等,具体可以根据实际应用场景进行确定,此处不做具体限定。
值得注意的是,前述实施例是统计预设邻域内与灰度像素点的像素值不同的灰度像素点的数量,在其他的实施例中,还可以是统计预设邻域内与灰度像素点的像素值相同的灰度像素点的数量,此时,若统计得到的数量达到预设数量阈值,则目标灰度特征图像上与灰度像素点相对应的像素点的像素值设定为灰度像素点的像素值,反之,若统计得到的数量未达到预设数量阈值,则目标灰度特征图像上与灰度像素点相对应的像素点的像素值设定为与灰度像素点的像素值不同的像素值。
本申请实施例中,在确定目标像素点是目标物像素点之后,还可以对该目标物进行标记,具体的,可以初始化一个尺寸与原始深度图像相同的标记图像,令该标记图像上的所有像素点的像素值均为0,即默认该标记图像上的所有像素点均不是目标物像素点,然后遍历该标记图像上的每一个标记像素点,针对于目标标记像素点,此处目标标记像素点是标记图像上与目标像素点相对应的像素点,若目标像素点的离散特征大于预设第二阈值,且原始灰度图像上与目标像素点对应的灰度像素点的像素值小于预设阈值,或者目标像素点的离散特征大于预设第一阈值,则标记该目标标记像素点为异常点,即将该目标标记像素点的像素值由0更新为1,以表征该目标标记像素点是目标物像素点,而针对于标记图像上的其他标记像素点,维持该标记像素点的像素值为0,以表征该标记像素点不是目标物像素点,从而便可以得到如图8所示的目标物标记图像。
同理,在初始化标记图像时,也可以令该标记图像上的所有像素点的像素值均为1,即默认该标记图像上的所有像素点均是目标物像素点,然后再遍历该标记图像上的每一个标记像素点,针对于目标标记像素点,此处目标标记像素点是标记图像上与目标像素点相对应的像素点,若目标像素点的离散特征大于预设第二阈值,且原始灰度图像上与目标像素点对应的灰度像素点的像素值小于预设阈值,或者目标像素点的离散特征大于预设第一阈值,则标记该目标标记像素点为异常点,维持该目标标记像素点的像素值为1,以表征该目标标记像素点是目标物像素点,而针对于标记图像上的其他标记像素点,则将该标记像素点的像素值由1更新为0,以表征该标记像素点不是目标物像素点。
本申请实施例中,在得到目标物标记图像之后,还可以对该目标物标记图像进行进一步优化,具体的,针对于目标物标记图像中未确定为目标物像素点的目标像素点,当该目标像素点预设邻域范围内的目标物像素点的数量或占比达到预设阈值,则将该目标像素点确定为目标场景中的目标物对应的目标物像素点。
本申请实施例中,若未确定为目标物像素点的目标像素点预设邻域范围内的目标物像素点的数量达到预设数量阈值,则可以调整该目标像素点的类型为目标物像素点,确定该目标像素点是目标物像素点,或者,若未确定为目标物像素点的目标像素点预设邻域范围内的目标物像素点占预设邻域范围内所有像素点的比例达到预设占比阈值,则同样可以调整该目标像素点的类型为目标物像素点,确定该目标像素点是目标物像素点。
可以理解,目标物标记图像中的所有目标物像素点组成的区域即为目标物区域,确定目标物区域之后还可以通过区域连通的方式进行优化,将一些未识别到的像素点连通,比如一整块区域中有少数像素点未识别到,则有可能是出现了漏识别,从而可以对该一整块区域中的少数像素点进行扩展连通,将这些少数像素点也标记为目标物像素点,从而这些少数像素点对应的区域也作为目标物区域。
以上是本申请实施例的目标物检测方法的说明,为便于更好实施本申请提供的目标物检测方法,本申请还提供了一种目标物检测装置。
请参阅图9,图9是本申请实施例中提供的目标物检测装置的一个结构示意图,在本申请中,目标物检测装置900具体可包括如下结构:
获取单元901,用于获取对目标场景进行拍摄后得到的原始深度图像;
检测单元902,用于针对于原始深度图像上的目标像素点,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征;
若目标像素点的离散特征大于预设第一阈值,则确定目标像素点是目标场景中的目标物对应的目标物像素点。
本申请实施例中,通过对目标场景进行拍摄后得到的原始深度图像进行像素点特征分析,检测单元902针对于原始深度图像上离散特征大于预设第一阈值的目标像素点,可以确定该目标像素点是目标物像素点,从而识别到目标场景中的目标物,本申请可以在仅利用TOF相机的情况下,对目标物进行检测识别,不需要额外借助RGB相机传感器,并且也不需要采集大量的训练样本来训练神经网络模型,相较于现有的检测方法来说,方法简单,提高了检测效率,降低了检测成本。
在本申请一些实施例中,获取单元901还可以用于获取对目标场景进行拍摄后得到的原始灰度图像;
检测单元902具体还可以用于:若目标像素点的离散特征大于预设第二阈值,且原始灰度图像上与目标像素点对应的灰度像素点的像素值小于预设阈值,则确定目标像素点是目标物像素点;预设第二阈值小于预设第一阈值。
在本申请一些实施例中,获取单元901还可以用于获取对目标场景进行拍摄后得到的原始灰度图像;
检测单元902具体还可以用于:若目标像素点的离散特征大于预设第二阈值,则对原始灰度图像上与目标像素点对应的灰度像素点进行二值化处理,得到灰度像素点的像素值;预设第二阈值小于预设第一阈值;
若灰度像素点的像素值为第一像素值,则确定目标像素点是目标物像素点;第一像素值是对灰度像素点进行二值化处理时,当灰度像素点的原始像素值小于预设阈值时,为灰度像素点赋予的像素值。
在本申请一些实施例中,获取单元901还可以用于获取对目标场景进行拍摄后得到的原始灰度图像;
检测单元902具体还可以用于:若所述目标像素点的离散特征大于预设第二阈值,则对所述原始灰度图像上与所述目标像素点对应的灰度像素点进行二值化处理,得到所述灰度像素点的像素值;所述预设第二阈值小于所述预设第一阈值;
根据所述灰度像素点的像素值以及所述灰度像素点预设邻域范围内的像素点的像素值,确定得到所述灰度像素点的目标像素值;若所述灰度像素点的目标像素值为第一像素值,则确定所述目标像素点是所述目标物像素点;所述第一像素值是对所述灰度像素点进行二值化处理时,当所述灰度像素点的原始像素值小于预设阈值时,为所述灰度像素点赋予的像素值;或者,
若所述灰度像素点的像素值是所述第一像素值,则确定所述目标像素点是所述目标物像素点;否则,根据所述灰度像素点的像素值以及所述灰度像素点预设邻域范围内的像素点的像素值,调整所述灰度像素点的像素值,若调整后的所述灰度像素点的像素值是所述第一像素值,则确定所述目标像素点是所述目标物像素点。
在本申请一些实施例中,检测单元902具体还可以用于:
若在灰度像素点预设邻域范围内,像素值与灰度像素点的像素值不同的像素点的数量或占比达到预设阈值,则调整灰度像素点的像素值得到灰度像素点的目标像素值;
否则,将灰度像素点的像素值作为灰度像素点的目标像素值。
在本申请一些实施例中,检测单元902具体还可以用于:对于未确定为目标物像素点的目标像素点,当目标像素点预设邻域范围内的目标物像素点的数量或占比达到预设阈值,则将目标像素点确定为目标场景中目标物对应的目标物像素点。
在本申请一些实施例中,检测单元902具体可以用于:
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,计算目标像素点预设邻域范围内的深度标准差,将深度标准差作为目标像素点的离散特征;或者,
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,计算目标像素点的梯度值,将梯度值作为目标像素点的离散特征;或者,
根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,对目标像素点进行滤波处理,将目标像素点和滤波后的目标像素点两者的像素值之差作为目标像素点的离散特征。
在本申请一些实施例中,检测单元902具体还可以用于:
若原始灰度图像上与目标像素点对应的灰度像素点的原始像素值大于或者等于预设阈值,则确定灰度像素点的像素值为第二像素值;
若原始灰度图像上与目标像素点对应的灰度像素点的原始像素值小于预设阈值,则确定灰度像素点的像素值为第一像素值。
需要说明的是,本申请中,获取单元901和检测单元902的相关内容与上述一一对应,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的目标物检测装置及其相应模块、单元的具体工作过程,可以参考如图2至图8对应任意实施例中目标物检测方法的说明,具体在此不再赘述。
为了更好实施本申请的目标物检测方法,本申请还提供一种目标物检测设备,其集成了本申请所提供的任一种目标物检测装置900,该目标物检测设备可以包括处理器1001和存储器1002,该存储器1002可以用于存储计算机程序,该计算机程序被处理器1001执行时,可以用于实现以下功能:
获取对目标场景进行拍摄后得到的原始深度图像;
针对于原始深度图像上的目标像素点,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征;
若目标像素点的离散特征大于预设第一阈值,则确定目标像素点是目标场景中的目标物对应的目标物像素点;
否则,确定目标像素点不是目标物像素点。
如图10所示,其示出了本申请所涉及的目标物检测设备的一个结构示意图,具体来讲:
该目标物检测设备可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解,图10中示出的设备结构并不构成对设备的限定,目标物检测设备还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器1001是该设备的控制中心,利用各种接口和线路连接整个设备的各个部分,通过运行或执行存储在存储器1002内的软件程序和/或单元模块,以及调用存储在存储器1002内的数据,执行设备的各种功能和处理数据,从而对清洁机器人进行整体监控。可选的,处理器1001可包括一个或多个处理核心;处理器1001可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,优选的,处理器1001可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1001中。
存储器1002可用于存储软件程序以及模块,处理器1001通过运行存储在存储器1002的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据清洁机器人的使用所创建的数据等。此外,存储器1002可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1002还可以包括存储器控制器,以提供处理器1001对存储器1002的访问。
该目标物检测设备还可以包括给各个部件供电的电源1003,优选的,电源1003可以通过电源管理系统与处理器1001逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该目标物检测设备还可以包括输入单元1004和输出单元1005,该输入单元1004可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,该目标物检测设备还可以包括显示单元等,在此不再赘述。具体在本申请中,目标物检测设备中的处理器1001会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1002中,并由处理器1001来运行存储在存储器1002中的应用程序,从而实现各种功能,如下:
获取对目标场景进行拍摄后得到的原始深度图像;
针对于原始深度图像上的目标像素点,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征;
若目标像素点的离散特征大于预设第一阈值,则确定目标像素点是目标场景中的目标物对应的目标物像素点。
本领域普通技术人员可以理解,上述的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器1001进行加载和执行。
为此,本申请提供一种计算机可读存储介质,该计算机可读存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。其上存储有计算机指令,计算机指令被处理器1001进行加载,以执行本申请所提供的任一种目标物检测方法中的步骤。例如,计算机指令被处理器1001执行时实现以下功能:
获取对目标场景进行拍摄后得到的原始深度图像;
针对于原始深度图像上的目标像素点,根据目标像素点的像素值以及目标像素点预设邻域范围内的像素点的像素值,确定得到目标像素点的离散特征;
若目标像素点的离散特征大于预设第一阈值,则确定目标像素点是目标场景中的目标物对应的目标物像素点。
该计算机可读存储介质中所存储的计算机指令,可以执行本申请如图2至图8对应任意实施例中目标物检测方法中的步骤,因此,可以实现本申请如图2至图8对应任意实施例中目标物检测方法所能实现的有益效果,详见前面的说明,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。
具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的实施例,在此不再赘述。
以上对本申请所提供的一种目标物检测方法、装置、设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种目标物检测方法,其特征在于,所述目标物检测方法包括:
获取对目标场景进行拍摄后得到的原始深度图像;
针对于所述原始深度图像上的目标像素点,根据所述目标像素点的像素值以及所述目标像素点预设邻域范围内的像素点的像素值,确定得到所述目标像素点的离散特征,所述离散特征是表征所述目标像素点与所述目标像素点预设邻域范围内的像素点的离散程度的特征值;
若所述目标像素点的离散特征大于预设第一阈值,则确定所述目标像素点是所述目标场景中的目标物对应的目标物像素点,其中,所述目标物为透明物体,该透明物体对应的成像区域具有随机噪声,使得该成像区域像素点的离散程度更高。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取对所述目标场景进行拍摄后得到的原始灰度图像;
若所述目标像素点的离散特征大于预设第二阈值,且所述原始灰度图像上与所述目标像素点对应的灰度像素点的像素值小于预设阈值,则确定所述目标像素点是所述目标物像素点;所述预设第二阈值小于所述预设第一阈值。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取对所述目标场景进行拍摄后得到的原始灰度图像;
若所述目标像素点的离散特征大于预设第二阈值,则对所述原始灰度图像上与所述目标像素点对应的灰度像素点进行二值化处理,得到所述灰度像素点的像素值;所述预设第二阈值小于所述预设第一阈值;
若所述灰度像素点的像素值为第一像素值,则确定所述目标像素点是所述目标物像素点;所述第一像素值是对所述灰度像素点进行二值化处理时,当所述灰度像素点的原始像素值小于预设阈值时,为所述灰度像素点赋予的像素值。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取对所述目标场景进行拍摄后得到的原始灰度图像;
若所述目标像素点的离散特征大于预设第二阈值,则对所述原始灰度图像上与所述目标像素点对应的灰度像素点进行二值化处理,得到所述灰度像素点的像素值;所述预设第二阈值小于所述预设第一阈值;
根据所述灰度像素点的像素值以及所述灰度像素点预设邻域范围内的像素点的像素值,确定得到所述灰度像素点的目标像素值;若所述灰度像素点的目标像素值为第一像素值,则确定所述目标像素点是所述目标物像素点;所述第一像素值是对所述灰度像素点进行二值化处理时,当所述灰度像素点的原始像素值小于预设阈值时,为所述灰度像素点赋予的像素值;或者,
若所述灰度像素点的像素值是所述第一像素值,则确定所述目标像素点是所述目标物像素点;否则,根据所述灰度像素点的像素值以及所述灰度像素点预设邻域范围内的像素点的像素值,调整所述灰度像素点的像素值,若调整后的所述灰度像素点的像素值是所述第一像素值,则确定所述目标像素点是所述目标物像素点。
5.根据权利要求4所述的方法,其特征在于,所述根据所述灰度像素点的像素值以及所述灰度像素点预设邻域范围内的像素点的像素值,确定得到所述灰度像素点的目标像素值,包括:
若在所述灰度像素点预设邻域范围内,像素值与所述灰度像素点的像素值不同的像素点的数量或占比达到预设阈值,则调整所述灰度像素点的像素值得到所述灰度像素点的目标像素值;
否则,将所述灰度像素点的像素值作为所述灰度像素点的目标像素值。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对于未确定为目标物像素点的目标像素点,当所述目标像素点预设邻域范围内的目标物像素点的数量或占比达到预设阈值,则将所述目标像素点确定为所述目标场景中的目标物对应的目标物像素点。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述根据所述目标像素点的像素值以及所述目标像素点预设邻域范围内的像素点的像素值,确定得到所述目标像素点的离散特征,包括:
根据所述目标像素点的像素值以及所述目标像素点预设邻域范围内的像素点的像素值,计算所述目标像素点预设邻域范围内的深度标准差,将所述深度标准差作为所述目标像素点的离散特征;或者,
根据所述目标像素点的像素值以及所述目标像素点预设邻域范围内的像素点的像素值,计算所述目标像素点的梯度值,将所述梯度值作为所述目标像素点的离散特征;或者,
根据所述目标像素点的像素值以及所述目标像素点预设邻域范围内的像素点的像素值,对所述目标像素点进行滤波处理,将所述目标像素点和滤波后的目标像素点两者的像素值之差作为所述目标像素点的离散特征。
8.一种目标物检测装置,其特征在于,所述目标物检测装置包括:
获取单元,用于获取对目标场景进行拍摄后得到的原始深度图像;
检测单元,用于针对于所述原始深度图像上的目标像素点,根据所述目标像素点的像素值以及所述目标像素点预设邻域范围内的像素点的像素值,确定得到所述目标像素点的离散特征,所述离散特征是表征所述目标像素点与所述目标像素点预设邻域范围内的像素点的离散程度的特征值;
若所述目标像素点的离散特征大于预设第一阈值,则确定所述目标像素点是所述目标场景中的目标物对应的目标物像素点,其中,所述目标物为透明物体,该透明物体对应的成像区域具有随机噪声,使得该成像区域像素点的离散程度更高。
9.一种目标物检测设备,其特征在于,所述目标物检测设备包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,用于实现权利要求1至7任一项所述的目标物检测方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1至7任一项所述的目标物检测方法中的步骤。
CN202210797251.1A 2022-07-06 2022-07-06 目标物检测方法、装置、设备和计算机可读存储介质 Active CN115019157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210797251.1A CN115019157B (zh) 2022-07-06 2022-07-06 目标物检测方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210797251.1A CN115019157B (zh) 2022-07-06 2022-07-06 目标物检测方法、装置、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN115019157A CN115019157A (zh) 2022-09-06
CN115019157B true CN115019157B (zh) 2024-03-22

Family

ID=83079779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210797251.1A Active CN115019157B (zh) 2022-07-06 2022-07-06 目标物检测方法、装置、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115019157B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491763A (zh) * 2017-08-24 2017-12-19 歌尔科技有限公司 基于深度图像的手指区域分割方法及装置
WO2018120038A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 一种目标检测的方法及装置
CN109658441A (zh) * 2018-12-14 2019-04-19 四川长虹电器股份有限公司 基于深度信息的前景检测方法及装置
CN109671047A (zh) * 2017-10-16 2019-04-23 无锡威莱斯电子有限公司 一种基于深度传感器的Vibe动态目标检测方法
CN112561874A (zh) * 2020-12-11 2021-03-26 杭州海康威视数字技术股份有限公司 一种遮挡物检测方法、装置及监控摄像机
CN113099120A (zh) * 2021-04-13 2021-07-09 南昌虚拟现实研究院股份有限公司 深度信息获取方法、装置、可读存储介质及深度相机
CN113393448A (zh) * 2021-06-25 2021-09-14 腾讯云计算(北京)有限责任公司 一种形变检测方法、装置、设备及计算机可读存储介质
CN114494323A (zh) * 2020-10-26 2022-05-13 广东博智林机器人有限公司 一种障碍物检测方法、装置、设备及存储介质
CN114627175A (zh) * 2020-12-11 2022-06-14 武汉Tcl集团工业研究院有限公司 一种图像处理方法、智能终端及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192147B2 (en) * 2016-08-30 2019-01-29 Microsoft Technology Licensing, Llc Foreign substance detection in a depth sensing system
US11157728B1 (en) * 2020-04-02 2021-10-26 Ricoh Co., Ltd. Person detection and identification using overhead depth images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018120038A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 一种目标检测的方法及装置
CN107491763A (zh) * 2017-08-24 2017-12-19 歌尔科技有限公司 基于深度图像的手指区域分割方法及装置
CN109671047A (zh) * 2017-10-16 2019-04-23 无锡威莱斯电子有限公司 一种基于深度传感器的Vibe动态目标检测方法
CN109658441A (zh) * 2018-12-14 2019-04-19 四川长虹电器股份有限公司 基于深度信息的前景检测方法及装置
CN114494323A (zh) * 2020-10-26 2022-05-13 广东博智林机器人有限公司 一种障碍物检测方法、装置、设备及存储介质
CN112561874A (zh) * 2020-12-11 2021-03-26 杭州海康威视数字技术股份有限公司 一种遮挡物检测方法、装置及监控摄像机
CN114627175A (zh) * 2020-12-11 2022-06-14 武汉Tcl集团工业研究院有限公司 一种图像处理方法、智能终端及计算机可读存储介质
CN113099120A (zh) * 2021-04-13 2021-07-09 南昌虚拟现实研究院股份有限公司 深度信息获取方法、装置、可读存储介质及深度相机
CN113393448A (zh) * 2021-06-25 2021-09-14 腾讯云计算(北京)有限责任公司 一种形变检测方法、装置、设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Kinect 深度图像信息的人体运动检测;孟明;《仪器仪表学报》;20150228;386-393 *
基于深度信息局部二值模式特征的室内场景边缘检测;于莉洁等;《计算机辅助设计与图形学学报》;20171215(第12期);12-20 *

Also Published As

Publication number Publication date
CN115019157A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN111950543B (zh) 一种目标检测方法和装置
CN110378946B (zh) 深度图处理方法、装置以及电子设备
CN111091592B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN109087510A (zh) 交通监测方法及装置
CN110443186B (zh) 立体匹配方法、图像处理芯片及移动载具
CN110400338B (zh) 深度图处理方法、装置和电子设备
CN110956603B (zh) 深度图像边缘飞点的检测方法、装置及电子设备
CN110008947B (zh) 一种基于卷积神经网络的粮仓粮食数量监测方法及装置
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
CN111369495A (zh) 一种基于视频的全景图像的变化检测方法
CN112991459B (zh) 一种相机标定方法、装置、设备以及存储介质
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN110910379B (zh) 一种残缺检测方法及装置
CN117292076A (zh) 工程机械局部作业场景动态三维重构方法及系统
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN113344906A (zh) 车路协同中相机评估方法、装置、路侧设备和云控平台
CN115019157B (zh) 目标物检测方法、装置、设备和计算机可读存储介质
CN113326836B (zh) 车牌识别方法、装置、服务器及存储介质
US20150085078A1 (en) Method and System for Use in Detecting Three-Dimensional Position Information of Input Device
WO2020194650A1 (ja) 異物検出装置、異物検出方法、およびプログラム
CN113658274B (zh) 用于灵长类动物种群行为分析的个体间距自动计算方法
CN113723380B (zh) 基于雷达技术的人脸识别方法、装置、设备和存储介质
CN111179218A (zh) 传送带物料检测方法、装置、存储介质及终端设备
CN112819953B (zh) 三维重建方法、网络模型训练方法、装置及电子设备
CN114494680A (zh) 积水检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant