CN112528916B - 一种基于视觉显著性的舞台轮式移动机器人目标检测方法 - Google Patents

一种基于视觉显著性的舞台轮式移动机器人目标检测方法 Download PDF

Info

Publication number
CN112528916B
CN112528916B CN202011511039.1A CN202011511039A CN112528916B CN 112528916 B CN112528916 B CN 112528916B CN 202011511039 A CN202011511039 A CN 202011511039A CN 112528916 B CN112528916 B CN 112528916B
Authority
CN
China
Prior art keywords
image
target
mobile robot
wheel type
type mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011511039.1A
Other languages
English (en)
Other versions
CN112528916A (zh
Inventor
周姣
刘基顺
刘庆龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bette Shengdi Technology Development Co ltd
Original Assignee
Beijing Bette Shengdi Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bette Shengdi Technology Development Co ltd filed Critical Beijing Bette Shengdi Technology Development Co ltd
Priority to CN202011511039.1A priority Critical patent/CN112528916B/zh
Publication of CN112528916A publication Critical patent/CN112528916A/zh
Application granted granted Critical
Publication of CN112528916B publication Critical patent/CN112528916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供一种基于视觉显著性的舞台轮式移动机器人目标检测方法，在舞台轮式移动机器人上安装视觉传感器；在舞台轮式移动机器人行走过程中，视觉传感器实时采集舞台轮式移动机器人的原始环境图像；每当采集到一帧原始环境图像时，即对所述原始环境图像进行目标分析，快速有效的检测到目标信息；并根据检测到的目标信息，进行目标跟踪和导航。本发明提供的一种基于视觉显著性的舞台轮式移动机器人目标检测方法，具有图像检测效率高的优点，可增加舞台轮式移动机器人目标检测与跟踪的精度和效率，从而为舞台轮式移动机器人目标检测与跟踪提供良好的技术支撑，保证舞台轮式移动机器人实时通讯与实时导航。

Description

一种基于视觉显著性的舞台轮式移动机器人目标检测方法
技术领域
本发明属于移动机器人目标检测技术领域，具体涉及一种基于视觉显著性的舞台轮式移动机器人目标检测方法。
背景技术
舞台轮式移动机器人的目标检测技术中，往往通过安装在该机器人上的视觉传感器采集实时图像，然后利用实时图像中所包含的环境信息检测出所要追寻的目标所在位置，完成舞台轮式机器人实时导航，实现更合适宜的与舞台表演者配合，达到更焕彩的舞台效果。
现有技术中，舞台轮式移动机器人采用经典的SIFT特征算法进行目标检测，从而获得较为清晰的目标。但是，SIFT特征算法涉及图像尺度划分，导致图像处理速度减慢，从而直接影响舞台轮式移动机器人实时处理与反馈的效率，影响舞台轮式移动机器人实时通讯与实时导航。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于视觉显著性的舞台轮式移动机器人目标检测方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于视觉显著性的舞台轮式移动机器人目标检测方法，在舞台轮式移动机器人上安装视觉传感器；在舞台轮式移动机器人行走过程中，视觉传感器实时采集舞台轮式移动机器人的原始环境图像；每当采集到一帧原始环境图像时，即对所述原始环境图像进行目标分析，快速有效的检测到目标信息；并根据检测到的目标信息，进行目标跟踪和导航；
其中，对于检测到的每一帧原始环境图像，采用以下步骤进行目标分析：
步骤1，原始环境图像I(x,y)＝It(x,y)+Ib(x,y)+In(x,y)；其中：I(x,y)表示原始环境图像；It(x,y)表示目标部分；Ib(x,y)表示背景部分，In(x,y)表示随机噪声部分；
步骤2，采用双边滤波算法对所述原始环境图像I(x,y)进行滤波处理，去除噪声，得到无噪图像s(x,y)；
具体的，采用以下公式，将原始环境图像I(x,y)上每一个像素点(x,y)进行双边滤波：
其中：
C代表加权因子；
像素点(x,y)代表原始环境图像I(x,y)上的像素点位置坐标；
Nx,y代表像素点(x,y)的邻域；
像素点(i,j)代表像素点(x,y)的每一个邻域的位置坐标；
σd代表空间邻近因子；
σr代表像素相似因子；
步骤3，采用下式，对原始环境图像I(x,y)和无噪图像s(x,y)进行差分运算，得到差分图像f(x,y)：
f(x,y)＝I(x,y)-s(x,y)
步骤4，对差分图像f(x,y)进行图像增强处理，即：采用γ值对差分图像f(x,y)的灰度进行校正，使目标更加凸显，得到增强图像g(x,y)；具体方法为：
步骤4.1，根据差分图像f(x,y)的亮度，设置可调变量γ和经验常数h的初始值；
其中，可调变量γ为映射图像亮度的曲线，用于控制图像增强程度，其取值调整规则为：
步骤4.2，根据下式，得到增强图像g(x,y)：
其中：k为常数，取值为1；
步骤4.3，判断增强图像g(x,y)是否达到设定的信噪水平，如果没有达到，则调节可调变量γ和经验常数h的取值，返回步骤4.2；如果达到，则此时得到的即为增强图像g(x,y)，然后执行步骤5；
步骤5，采用下式，对增强图像g(x,y)进行目标显著化处理，得到目标显著化处理后的图像g"(x,y)
其中：
k为经验常数；
f1代表目标灰度范围的下边界取值；
f2代表目标灰度范围的上边界取值；
步骤6，目标显著化处理后的图像g"(x,y)中，背景部分和噪声部分的像素值均为0，因此，显示出的图像轮廓，即为目标轮廓，由此快速有效的检测到目标。
优选的，步骤2中，通过双边滤波算法对原始环境图像I(x,y)进行滤波处理，既保留图像边缘特性，又对图像进行平滑滤波处理。
本发明提供的一种基于视觉显著性的舞台轮式移动机器人目标检测方法具有以下优点：
本发明提供的一种基于视觉显著性的舞台轮式移动机器人目标检测方法，具有图像检测效率高的优点，可增加舞台轮式移动机器人目标检测与跟踪的精度和效率，从而为舞台轮式移动机器人目标检测与跟踪提供良好的技术支撑，保证舞台轮式移动机器人实时通讯与实时导航。
附图说明
图1为本发明提供的一种基于视觉显著性的舞台轮式移动机器人目标检测方法的流程示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
目前，舞台轮式机器人利用视觉传感器快速有效的捕捉到目标，以达到快速导航行走。现有技术中，在舞台轮式移动机器人目标检测方法中，经常由于算法复杂，导致其实时通讯性不好，使舞台移动机器人锁定目标信息的效率大大降低。为了解决这一问题，本发明提供一种基于视觉显著性的舞台轮式移动机器人目标检测方法，该方法依靠放置在舞台轮式移动机器人上的单目视觉传感器对舞台轮式机器人环境进行实时跟踪记录，然后利用从单目视觉传感器上采集到的舞台轮式移动机器人的环境图像，接着利用图像显著性目标检测技术，最终使舞台轮式移动机器人能在运行工作中快速有效的检测出目标。本发明方法将为舞台轮式移动机器人在目标检测与跟踪方面，如舞台演员的检测与跟踪上提供良好的技术支撑。
参考图1，本发明提供的基于视觉显著性的舞台轮式移动机器人目标检测方法，在舞台轮式移动机器人上安装视觉传感器；在舞台轮式移动机器人行走过程中，视觉传感器实时采集舞台轮式移动机器人的原始环境图像；每当采集到一帧原始环境图像时，即对所述原始环境图像进行目标分析，快速有效的检测到目标信息；并根据检测到的目标信息，进行目标跟踪和导航；
其中，对于检测到的每一帧原始环境图像，采用以下步骤进行目标分析：
步骤1，对于检测到的每一帧原始环境图像，是由目标、背景与噪声组成。因此，检测到的每一帧原始环境图像I(x,y)＝It(x,y)+Ib(x,y)+In(x,y)；其中：I(x,y)表示原始环境图像；It(x,y)表示目标部分；Ib(x,y)表示背景部分，In(x,y)表示随机噪声部分；
步骤2，采用双边滤波算法对所述原始环境图像I(x,y)进行滤波处理，去除噪声，得到无噪图像s(x,y)；
具体的，采用以下公式，将原始环境图像I(x,y)上每一个像素点(x,y)进行双边滤波：
其中：
C代表加权因子；
像素点(x,y)代表原始环境图像I(x,y)上的像素点位置坐标；
Nx,y代表像素点(x,y)的邻域，一般为八邻域。实际应用中，也可以采用四邻域。
像素点(i,j)代表像素点(x,y)的每一个邻域的位置坐标；
σd代表空间邻近因子；
σr代表像素相似因子；
空间邻近因子σd和像素相似因子σr的取值，可根据图像的实际情况通过经验调节器在取值范围内量化取值。一般情况下，可调节空间邻近因子σd和像素相似因子σr的取值，使其滤波效果更好。
采用以上双边滤波算法，能很好的保留图像边缘特性并对图像进行平滑滤波处理。
步骤3，采用下式，对原始环境图像I(x,y)和无噪图像s(x,y)进行差分运算，得到差分图像f(x,y)：
f(x,y)＝I(x,y)-s(x,y)
利用原始环境图像I(x,y)和无噪图像s(x,y)的差分，得到差分图像，可获得图像的显著区域目标。
步骤4，获得差分图像f(x,y)后，便获得了含有显著区域目标的处理图，但由于舞台常常由于其他环境因素限制，使其光线对图像的显著区域有很大的影响，为了解决这一问题，本发明利用图像增强技术中的非线性灰度变换算法使目标更加凸显。
通过图像增强中的灰度变化技术，会增强某一部分信息，而将损失其他信息作为代价，其实质就是采用Gamma值对灰度进行校正，换句话说，就是将一定区域的灰度值非线性化的转换到另一区域中。
对差分图像f(x,y)进行图像增强处理，即：采用γ值对差分图像f(x,y)的灰度进行校正，使目标更加凸显，得到增强图像g(x,y)；具体方法为：
步骤4.1，根据差分图像f(x,y)的亮度，设置可调变量γ和经验常数h的初始值；
其中，可调变量γ为映射图像亮度的曲线，用于控制图像增强程度，其取值调整规则为：
为了增强差分图像中的显著目标范围，通常取γ<1.
步骤4.2，根据下式，得到增强图像g(x,y)：
其中：k为常数，一般取值为1；
步骤4.3，判断增强图像g(x,y)是否达到设定的信噪水平，如果没有达到，则调节可调变量γ和经验常数h的取值，返回步骤4.2；如果达到，则此时得到的即为增强图像g(x,y)，然后执行步骤5；
步骤5，经过步骤4的图像增强后，显著目标的灰度值处于一定的范围，因此，采用下式，对增强图像g(x,y)进行目标显著化处理，得到目标显著化处理后的图像g"(x,y)
其中：
k为经验常数；
f1代表目标灰度范围的下边界取值；
f2代表目标灰度范围的上边界取值；
[0,1]表示的是在灰度域[0,255]的归一化形式。
步骤6，目标显著化处理后的图像g"(x,y)中，背景部分和噪声部分的像素值均为0，因此，显示出的图像轮廓，即为目标轮廓，由此快速有效的检测到目标。
本发明属于舞台轮式机器人创新技术研发领域，本发明提供的一种基于视觉显著性的舞台轮式移动机器人目标检测方法，图像检测速度快，图像检测准确度高，因此，具有图像检测效率高的优点，可增加舞台轮式移动机器人目标检测与跟踪的精度和效率，从而为舞台轮式移动机器人目标检测与跟踪提供良好的技术支撑，保证舞台轮式移动机器人实时通讯与实时导航。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (2)

1.一种基于视觉显著性的舞台轮式移动机器人目标检测方法，其特征在于，在舞台轮式移动机器人上安装视觉传感器；在舞台轮式移动机器人行走过程中，视觉传感器实时采集舞台轮式移动机器人的原始环境图像；每当采集到一帧原始环境图像时，即对所述原始环境图像进行目标分析，快速有效的检测到目标信息；并根据检测到的目标信息，进行目标跟踪和导航；
其中，对于检测到的每一帧原始环境图像，采用以下步骤进行目标分析：
步骤1，原始环境图像I(x,y)＝It(x,y)+Ib(x,y)+In(x,y)；其中：I(x,y)表示原始环境图像；It(x,y)表示目标部分；Ib(x,y)表示背景部分，In(x,y)表示随机噪声部分；
步骤2，采用双边滤波算法对所述原始环境图像I(x,y)进行滤波处理，去除噪声，得到无噪图像s(x,y)；
具体的，采用以下公式，将原始环境图像I(x,y)上每一个像素点(x,y)进行双边滤波：
其中：
C代表加权因子；
像素点(x,y)代表原始环境图像I(x,y)上的像素点位置坐标；
Nx,y代表像素点(x,y)的邻域；
像素点(i,j)代表像素点(x,y)的每一个邻域的位置坐标；
σd代表空间邻近因子；
σr代表像素相似因子；
步骤3，采用下式，对原始环境图像I(x,y)和无噪图像s(x,y)进行差分运算，得到差分图像f(x,y)：
f(x,y)＝I(x,y)-s(x,y)
步骤4，对差分图像f(x,y)进行图像增强处理，即：采用γ值对差分图像f(x,y)的灰度进行校正，使目标更加凸显，得到增强图像g(x,y)；具体方法为：
步骤4.1，根据差分图像f(x,y)的亮度，设置可调变量γ和经验常数h的初始值；
其中，可调变量γ为映射图像亮度的曲线，用于控制图像增强程度，其取值调整规则为：
步骤4.2，根据下式，得到增强图像g(x,y)：
其中：k为常数，取值为1；
步骤4.3，判断增强图像g(x,y)是否达到设定的信噪水平，如果没有达到，则调节可调变量γ和经验常数h的取值，返回步骤4.2；如果达到，则此时得到的即为增强图像g(x,y)，然后执行步骤5；
步骤5，采用下式，对增强图像g(x,y)进行目标显著化处理，得到目标显著化处理后的图像g"(x,y)
其中：
k为经验常数；
f1代表目标灰度范围的下边界取值；
f2代表目标灰度范围的上边界取值；
步骤6，目标显著化处理后的图像g"(x,y)中，背景部分和噪声部分的像素值均为0，因此，显示出的图像轮廓，即为目标轮廓，由此快速有效的检测到目标。
2.根据权利要求1所述的一种基于视觉显著性的舞台轮式移动机器人目标检测方法，其特征在于，步骤2中，通过双边滤波算法对原始环境图像I(x,y)进行滤波处理，既保留图像边缘特性，又对图像进行平滑滤波处理。
CN202011511039.1A 2020-12-18 2020-12-18 一种基于视觉显著性的舞台轮式移动机器人目标检测方法 Active CN112528916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011511039.1A CN112528916B (zh) 2020-12-18 2020-12-18 一种基于视觉显著性的舞台轮式移动机器人目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011511039.1A CN112528916B (zh) 2020-12-18 2020-12-18 一种基于视觉显著性的舞台轮式移动机器人目标检测方法

Publications (2)

Publication Number Publication Date
CN112528916A CN112528916A (zh) 2021-03-19
CN112528916B true CN112528916B (zh) 2023-07-21

Family

ID=75001704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011511039.1A Active CN112528916B (zh) 2020-12-18 2020-12-18 一种基于视觉显著性的舞台轮式移动机器人目标检测方法

Country Status (1)

Country Link
CN (1) CN112528916B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717454A (zh) * 2019-10-10 2020-01-21 北京北特圣迪科技发展有限公司 一种舞台环境下的轮式机器人障碍检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100405400C (zh) * 2005-06-27 2008-07-23 同方威视技术股份有限公司 一种辐射成像中图像信息增强的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717454A (zh) * 2019-10-10 2020-01-21 北京北特圣迪科技发展有限公司 一种舞台环境下的轮式机器人障碍检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于分层差分表达理论的图像视觉增强;耿爱辉;万春明;李毅;张云峰;曹立华;冯强;;电子与信息学报(第04期);全文 *

Also Published As

Publication number Publication date
CN112528916A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN111209907B (zh) 一种复杂光污染环境下产品特征图像人工智能识别方法
CN110906875B (zh) 一种孔径测量的视觉处理方法
CN111191546A (zh) 基于机器视觉识别的产品智能装配方法
TW201516969A (zh) 視訊物件追蹤方法
CN111161222A (zh) 一种基于视觉显著性的印刷辊筒缺陷检测方法
CN107067375A (zh) 一种基于暗通道先验和边缘信息的图像去雾方法
CN108961307A (zh) 基于核相关滤波跟踪的圆形目标尺度自适应跟踪方法
CN108229247A (zh) 一种移动车辆检测方法
CN111429485B (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
CN114881867A (zh) 一种基于深度学习的图像去噪方法
TWI383690B (zh) 影像處理的方法
CN112528916B (zh) 一种基于视觉显著性的舞台轮式移动机器人目标检测方法
CN113095283B (zh) 一种基于动态roi和改进萤火虫算法的车道线提取方法
CN108710881B (zh) 神经网络模型、候选目标区域生成方法、模型训练方法
CN112883986B (zh) 一种复杂背景下的静态红外靶灯识别方法
CN111145216B (zh) 一种视频图像目标的跟踪方法
CN116977902A (zh) 一种边海防车载光电稳定平台目标跟踪方法及系统
CN108805909B (zh) 在相关滤波框架下基于粒子滤波重检测的目标跟踪方法
CN113052794A (zh) 一种基于边缘特征的图像清晰度识别方法
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法
CN107590501A (zh) 一种改进的基于Otsu的Canny自适应边缘提取方法
CN107330863A (zh) 一种基于噪声估计的图像去噪方法
CN115526811A (zh) 一种适应于多变光照环境的自适应视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant