CN111539990A - 运动物体位置检测方法、装置、设备及介质 - Google Patents

运动物体位置检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN111539990A
CN111539990A CN202010314781.7A CN202010314781A CN111539990A CN 111539990 A CN111539990 A CN 111539990A CN 202010314781 A CN202010314781 A CN 202010314781A CN 111539990 A CN111539990 A CN 111539990A
Authority
CN
China
Prior art keywords
preset
moving object
image
acquiring
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010314781.7A
Other languages
English (en)
Inventor
董金明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL Digital Technology Co Ltd
Original Assignee
Shenzhen TCL Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL Digital Technology Co Ltd filed Critical Shenzhen TCL Digital Technology Co Ltd
Priority to CN202010314781.7A priority Critical patent/CN111539990A/zh
Publication of CN111539990A publication Critical patent/CN111539990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种运动物体位置检测方法、装置、设备和介质，该方法包括：基于预设第一摄像头实时采集运动物体的视频图像；基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像；基于所述差值图像，获取所述运动物体的质点；基于预设第二摄像头和所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值；基于所述位置深度值确定所述运动物体的目标位置。本申请解决现有技术中无法真正定位室内运动物体的位置的技术问题。

Description

运动物体位置检测方法、装置、设备及介质
技术领域
本申请涉及智能家居技术领域，尤其涉及一种运动物体位置检测方法、装置、设备及介质。
背景技术
随着科技技术的发展，智能家居逐渐走进人们的生活，其中，室内运动物体位置的检测与跟踪等是智能家居的重要组成部分，然而，目前，只能在摄像头的监控视频中看出运动物体在像素坐标系中运动了一定的像素位置，无法获取运动物体在室内的真实位置，也即，现有技术中无法真正定位室内运动物体的位置。
发明内容
本申请的主要目的在于提供一种运动物体位置检测方法、装置、设备和介质，旨在解决现有技术中无法真正定位室内运动物体的位置的技术问题。
为实现上述目的，本申请提供一种运动物体位置检测方法，所述运动物体位置检测方法包括：
基于预设第一摄像头实时采集运动物体的视频图像，基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像；
基于所述差值图像，获取所述运动物体的质点；
基于预设第二摄像头和所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值；
基于所述位置深度值确定所述运动物体的目标位置。
可选地，所述基于所述位置深度值确定所述运动物体的目标位置的步骤之后，所述方法包括：
确定所述目标位置的获取次数，若所述获取次数大于预设次数值时，根据多个所述目标位置确定所述运动物体的运动轨迹；
根据多个所述运动轨迹，确定所述运动物体的运动路径。
可选地，所述基于所述位置深度值确定所述运动物体的目标位置的步骤包括：
获取预设第一摄像头的第一预设摄取夹角以及第二预设摄取夹角，并获取所述差值图像的像素坐标；
根据所述位置深度值、所述第一预设摄取夹角、所述第二预设摄取夹角、预设像素分辨率以及所述像素坐标，确定所述运动物体的目标位置。
可选地，所述基于所述差值图像，获取所述运动物体的质点的步骤包括：
根据所述差值图像确定所述运动物体的轮廓边框；
根据所述轮廓边框获取所述运动物体的质点。
可选地，所述根据所述差值图像确定所述运动物体的轮廓边框的步骤包括：
对所述差值图像进行平滑处理，得到平滑图像；
对所述平滑图像进行灰度处理，得到灰度图像；
对所述灰度图像进行噪声去除处理，得到目标图像；
确定所述目标图像中所述运动物体的轮廓边框。
可选地，所述对所述灰度图像进行噪声去除处理，得到目标图像的步骤包括：
获取第一预设阴影面积阈值，从所述灰度图像中提取面积大于所述第一预设阴影面积阈值的图像，得到第一处理图像；
获取第二预设阴影面积阈值，从所述第一处理图像中提取面积大于所述第二预设阴影面积阈值的图像，得到第二处理图像；
对所述第二处理图像进行预设膨胀处理，得到目标图像。
可选地，所述基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像的步骤包括：
将所述视频图像输入至预设分割网络模型中，得到所述视频图像的每相邻两帧图像之间的差值图像；
其中，所述预设分割网络模型是基于具有预设差值图像标签的预设视频图像数据，通过对预设待训练基础模型进行训练后得到的的模型。
可选地，所述将所述视频图像输入至预设分割网络模型中，得到所述视频图像的每相邻两帧图像之间的差值图像的步骤之前，所述方法包括：
获取具有预设差值图像标签的预设预设视频图像数据，基于所述预设视频图像数据对所述预设待训练基础模型进行迭代训练，得到迭代训练后的基础模型，其中，所述预设待训练基础模型中包括跳层连接层；
判断所述迭代训练后的基础模型是否满足预设训练完成条件，若所述迭代训练后的基础模型满足预设训练完成条件，得到所述预设分割网络模型。
本申请还提供一种运动物体位置检测装置，所述运动物体位置检测装置包括：
采集模块，用于基于预设第一摄像头实时采集运动物体的视频图像；
差值图像获取模块，用于基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像；
第一获取模块，用于基于所述差值图像，获取所述运动物体的质点；
第二获取模块，用于基于预设第二摄像头和所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值；
第一确定模块，用于基于所述位置深度值确定所述运动物体的目标位置。
可选地，所述运动物体位置检测装置还包括：
第二确定模块，用于确定所述目标位置的获取次数，若所述获取次数大于预设次数值时，根据多个所述目标位置确定所述运动物体的运动轨迹；
第三确定模块，用于根据多个所述运动轨迹，确定所述运动物体的运动路径。
可选地，所述第一确定模块包括：
第一获取单元，用于获取预设第一摄像头的第一预设摄取夹角以及第二预设摄取夹角，并获取所述差值图像的像素坐标；
第一确定单元，用于根据所述位置深度值、所述第一预设摄取夹角、所述第二预设摄取夹角、预设像素分辨率以及所述像素坐标，确定所述运动物体的目标位置。
可选地，所述第一获取模块包括：
轮廓边框确定单元，用于根据所述差值图像确定所述运动物体的轮廓边框；
质点获取单元，用于根据所述轮廓边框获取所述运动物体的质点。
可选地，所述第一获取模块包括：
第二获取单元，用于对所述差值图像进行平滑处理，得到平滑图像；
灰度处理单元，用于对所述平滑图像进行灰度处理，得到灰度图像；
噪声去除单元，用于对所述灰度图像进行噪声去除处理，得到目标图像。
第二确定单元，用于确定所述目标图像中所述运动物体的轮廓边框。
可选地，所述灰度处理单元包括：
第一获取子单元，用于获取第一预设阴影面积阈值，从所述灰度图像中提取面积大于所述第一预设阴影面积阈值的图像，得到第一处理图像；
第二获取子单元，用于获取第二预设阴影面积阈值，从所述第一处理图像中提取面积大于所述第二预设阴影面积阈值的图像，得到第二处理图像；
膨胀处理子单元，用于对所述第二处理图像进行预设膨胀处理，得到目标图像。
可选地，所述采集模块包括：
第三获取单元，用于将所述视频图像输入至预设分割网络模型中，得到所述视频图像的每相邻两帧图像之间的差值图像；
其中，所述预设分割网络模型是基于具有预设差值图像标签的预设视频图像数据，通过对预设待训练基础模型进行训练后得到的的模型。
可选地，所述运动物体位置检测装置还包括：
第二获取模块，用于获取具有预设差值图像标签的预设预设视频图像数据，基于所述预设视频图像数据对所述预设待训练基础模型进行迭代训练，得到迭代训练后的基础模型，其中，所述预设待训练基础模型中包括跳层连接层；
判断模块，用于判断所述迭代训练后的基础模型是否满足预设训练完成条件，若所述迭代训练后的基础模型满足预设训练完成条件，得到所述预设分割网络模型。
本申请还提供一种运动物体位置检测设备，所述运动物体位置检测设备为实体设备，所述运动物体位置检测设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述运动物体位置检测方法的程序，所述运动物体位置检测方法的程序被处理器执行时可实现如上述的运动物体位置检测方法的步骤。
本申请还提供一种介质，所述介质上存储有实现上述运动物体位置检测方法的程序，所述运动物体位置检测方法的程序被处理器执行时实现如上述的运动物体位置检测方法的步骤。
本申请通过基于预设第一摄像头实时采集运动物体的视频图像，基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像；基于所述差值图像，获取所述运动物体的质点；基于预设第二摄像头和所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值；基于所述位置深度值确定所述运动物体的目标位置。在本申请中，在基于预设第一摄像头实时采集运动物体的视频图像后，获取每相邻两帧图像之间的差值图像，进而获取差值图像的质点，并根据预设第二摄像头以及所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值，进而根据所述位置深度值准确确定运动物体的目标位置即真实位置，而不只是获取运动物体的像素位置，以实现室内运动物体的精准定位，解决现有技术中无法真正定位室内运动物体的位置的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请运动物体位置检测方法第一实施例的流程示意图；
图2为本申请运动物体位置检测方法实施例中基于所述位置深度值确定所述运动物体的目标位置的步骤之后的细化步骤流程示意图；
图3为本申请实施例方案涉及的硬件运行环境的设备结构示意图；
图4为本申请运动物体位置检测方法实施例中的第一应用示意图；
图5为本申请运动物体位置检测方法实施例中的第二应用示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种运动物体位置检测方法，在本申请运动物体位置检测方法的第一实施例中，参照图1，所述运动物体位置检测方法包括：
步骤S10，基于预设第一摄像头实时采集运动物体的视频图像；
步骤S20，基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像；
步骤S30，基于所述差值图像，获取所述运动物体的质点；
步骤S40，基于预设第二摄像头和所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值；
步骤S50，基于所述位置深度值确定所述运动物体的目标位置。
具体步骤如下：
步骤S10，基于预设第一摄像头实时采集运动物体的视频图像；
步骤S20，基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像；
需要说明的是，在本实施例中，运动物体一般指的是室内运动物体，该运动物体可以是机器人，飞行器，以及安防器具等，在现有技术中，获取运动物体轨迹的方式是：通过二维摄像头实时获取或者采集运动物体的图像，然后实时以像素坐标的形式展示出运动物体，进而根据采集的像素坐标的移动得到运动物体的运动轨迹，其中，像素坐标指的是终端上的预设像素坐标系或者预设相机坐标系中的坐标。一种可能的设计中，如图5所示，以终端屏幕边框最左上角为原点建立以像素为单位的直接坐标系x-y，像素的横坐标x与纵坐标y分别是在屏幕像素数组中所在的列数(或者像素尺寸)与所在行数(或者像素尺寸)，例如，图像大小为终端屏幕(0，0)到(100，100)之间的像素区间，需要说明的是，获取像素坐标的目的在于将图像的像素坐标转换为具体真实位置坐标(即是进行坐标转换)，即除了像素坐标系外，还存在预设真实位置坐标系，该预设真实位置坐标系指的是表达物体经纬度坐标位置的坐标系或者是用于表达物体室内坐标位置的坐标系，也即，在现有技术中，运动物体是以像素坐标形式展现的，而不是获取运动物体真实位置并进行展示的。具体地，例如，在现有技术中，通过现有摄像头可以获取人在室内从第一像素位置移动到第二像素位置，但是不能获取到人是从哪个经纬度坐标(或者室内坐标)移动到哪个经纬度坐标(或者室内坐标)，进而影响运动物体定位信息的处理。而在本实施例中，通过具有深度双目摄像头的相机，利用预设OpenCV图像处理方式，获取到每一帧图像的图像信息，采用预设的三帧差法，对连续帧的两个图像做图像对比，得到差值图像，进而获取位置深度值，以对运动物体或者运动目标进行真实坐标定位以及跟踪，即实现基于真实空间的坐标系的三维定位方式，进而可以在室内真实的地图中显示运动物体的真实运动轨迹，对于家庭智能机器人、家庭智能飞行器、智能安防领域等都有一定的应用意义。
基于预设第一摄像头实时采集运动物体的视频图像，基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像，其中，预设第一摄像头位置信息是确定的，具体如室内位置信息是确定的(第一位置)。室内位置信息可以用GPS或者是其他定位信息表示。在本实施例中，需要说明的是，为了准确进行运动物体的位置检测，除了需要第一摄像头外，还需要预设第二摄像头，该预设第二摄像头的位置，该预设第一摄像头与预设第二摄像头可以是属于一个智能设备如相机等，也可以是属于不同的智能设备。其中，预设第一摄像头为图像采集摄像头，用于采集彩色图像或者是灰度图像即采集图像信息，预设第二摄像头为深度摄像头，深度摄像头用于确定运动物体距离摄像头的深度信息或者是深度值。当预设第一摄像头与预设第二摄像头属于一个智能设备如相机时，图像采集摄像头可以在相机的水平方向，而深度摄像头可以在相机的垂直方向。其中，图像采集摄像头与深度摄像头之间的夹角是确定且是已知的。
在实时获取视频图像(通过不同帧图像构成)后，基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像。具体地，可以通过预设的三帧差法，对连续帧的两个图像做图像对比，得到差值图像，三帧差法的基本原理是是先选取视频图像序列中连续三帧图像并分别计算相邻两帧的差分图像，然后将差分图像通过选取适当的阈值进行二值化处理，得到二值化图像，最后在每一个像素点得到的二值图像进行逻辑与运算，获取共同部分，从而获得差值图像。当然，获取差值图像还可以通过其他的方式获取。
步骤S30，基于所述差值图像，获取所述运动物体的质点；
步骤S40，基于预设第二摄像头和所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值；
在本实施例中，在得到差值图像后，获取所述运动物体的质点，并基于预设第二摄像头以及所述位置信息获取所述质点的位置深度值。其中，质点指的是能够代表运动物体的面积中心点，或者是质量中心点等，在获取质点后，获取质点的位置深度值，所述质点的位置深度值代表运动物体的位置深度值。
具体地，所述基于所述差值图像，获取所述运动物体的质点的步骤包括：
步骤a1，根据所述差值图像确定所述运动物体的轮廓边框；
步骤a2，根据所述轮廓边框获取所述运动物体的质点。
在本实施例中，首先根据所述差值图像确定所述运动物体的轮廓边框，根据所述轮廓边框获取所述运动物体的质点，如可根据该轮廓边框的面积中心点获取所述运动物体的质点。
其中，所述根据所述差值图像确定所述运动物体的轮廓边框的步骤包括：
步骤b1，对所述差值图像进行平滑处理，得到平滑图像；
在本实施例中，在得到差值图像后，需要先对差值图像进行预设中值滤波处理，得到第一滤波图像。其中，中值滤波的基本原理是把数字图像或数字序列中一点(可以是像素点)的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点。中值滤波方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升(或下降)的为二维数据序列，以得到第一滤波图像，在得到第一滤波图像后，对第一滤波图像进行预设高斯滤波的平滑处理，得到平滑图像，其中，高斯滤波是对整幅图像进行加权平均的过程，每一个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到。
步骤b2，对所述平滑图像进行灰度处理，得到灰度图像；
步骤b3，对所述灰度图像进行噪声去除处理，得到目标图像；
在得到平滑图像后，对所述平滑图像进行灰度处理，得到灰度图像，对所述灰度图像进行噪声去除处理，得到目标图像。其中，噪声处理过程指的是去除不需要的处于一定大小范围内的图像块或者图像阴影的过程，得到目标图像。
步骤b4，确定所述目标图像中所述运动物体的轮廓边框。
在得到目标图像后，一种实施例中通过预设图像识别方式或者标注方式确定所述目标图像中所述运动物体的轮廓边框，并确定所述轮廓边框的面积中心点，将所述面积中心点设为所述运动物体的质点。另一种实施例中，可以通过预设膨胀方式补齐像素点确定中心点，具体地，例如，将图像不规则的轮廓膨胀成为规则轮廓，如将图像不规则的轮廓膨胀为长方形轮廓的图像，补齐像素点确定中心点。
在得到质点后，获取预设第二摄像头，以及所述预设第一摄像头的预设第一位置，具体地，通过该第一位置获取预设第二摄像头的第二位置，基于确定位置的第二摄像头获取所述质点的位置深度值，其中，位置深度值可以指的是运动物体距离预设第二摄像头的距离，或者运动物体距离预设真实位置坐标系对应坐标原点的距离。需要说明的是，第二摄像头可以发射出红外射线，通过红外射线发射到所述运动物体后返回的光线，确定所述运动物体的质点的位置深度值。
步骤S50，基于所述位置深度值确定所述运动物体的目标位置。
在得到位置深度值后，基于所述位置深度值与运动物体位置的预设关联关系，确定所述运动物体的目标位置。
具体地，所述基于所述位置深度值确定所述运动物体的目标位置的步骤包括：
步骤S31，获取预设第一摄像头的第一预设摄取夹角以及第二预设摄取夹角，并获取所述差值图像的像素坐标；
在本实施例中，获取预设第一摄像头的表示摄取范围的第一预设摄取夹角(水平方向)以及第二预设摄取夹角(垂直方向)，其中，摄取范围指的是采集图像时能摄取或者采集的最大空间范围，该位置夹角可以用FOV夹角表示，其中，第一预设摄取夹角可以是FOV_h，第二预设摄取夹角可以是FOV_v,在本实施例中，还获取通过预设第一摄像头摄取的所述差值图像的像素坐标(x，y)，即在预设像素坐标系中的坐标位置。
步骤S32，根据所述位置深度值，所述第一预设摄取夹角，所述第二预设摄取夹角，预设像素分辨率以及所述像素坐标，确定所述运动物体的目标位置。
根据所述位置深度值，所述第一预设摄取夹角，所述第二预设摄取夹角，预设像素分辨率以及所述像素坐标，确定所述运动物体的目标位置，假设所述位置深度值为d，所述预设像素分辨率为Xres，Yres，则确定所述运动物体的目标位置为(X，Y)，其中，X＝(x/Xres-0.5)*tan(FOV_h/2)*2*d，Y＝(y/Yres-0.5)*tan(FOV_v/2)*2*d，如图4所示。
本申请通过基于预设第一摄像头实时采集运动物体的视频图像，基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像；基于所述差值图像，获取所述运动物体的质点；基于预设第二摄像头和所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值；基于所述位置深度值确定所述运动物体的目标位置。在本申请中，在基于预设第一摄像头实时采集运动物体的视频图像后，获取每相邻两帧图像之间的差值图像，进而获取差值图像的质点，并根据预设第二摄像头以及所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值，进而根据所述位置深度值准确确定运动物体的目标位置即真实位置，而不只是获取运动物体的像素位置，以实现室内运动物体的精准定位，解决现有技术中无法真正定位室内运动物体的位置的技术问题。
进一步地，基于本申请中第一实施例，在本申请的另一实施例中，所述对所述灰度图像进行噪声去除处理，得到目标图像的步骤包括：
步骤A1，获取第一预设图像阈值，从所述灰度图像中提取面积大于所述第一预设图像阈值的图像，得到第一处理图像；
步骤A2，获取第二预设图像阈值，从所述第一处理图像中提取面积大于所述第二预设图像阈值的图像，得到第二处理图像；
步骤A3，对所述第二处理图像进行预设膨胀处理，得到目标图像。
在本实施例中，在得到灰度图像后，需要对灰度图像进行噪声去除处理，进行噪声去除处理的过程可以是：获取第一预设图像阈值，从所述灰度图像中提取面积大于所述第一预设图像阈值的图像，得到第一处理图像。具体地，从所述灰度图像中提取面积大于所述第一预设图像阈值(t1)的图像，实现去除图像中小噪声阴影或者小斑点(小噪声阴影或者小斑点指的是小于所述第一预设图像阈值)，经过第一次去噪处理后，绝大部分噪声被去除，但是依然存在其他大噪声，因而，获取第二预设图像阈值(t2)，从所述第一处理图像中提取面积大于所述第二预设图像阈值的图像，得到第二处理图像。需要说明的是，在本实施例中，分次进行噪声阴影的去除，能够提升噪声阴影去除的效率(避免一次性处理造成的去除卡顿或者避免不可使用形态学开闭运算等)。在本实施例中，在得到第二处理图像后，需要对所述第二处理图像进行预设腐蚀处理，以及预设膨胀处理，以得到目标图像。其中，图像的膨胀(Dilation)和腐蚀(Erosion)是两种基本的形态学运算，主要用来寻找图像中的极大区域和极小区域，膨胀是“领域扩张”，运行结果图比原图的区域更大，腐蚀是“领域被蚕食”，运行结果图比原图的区域更小。
本实施例通过获取第一预设阴影面积阈值，从所述灰度图像中提取面积大于所述第一预设阴影面积阈值的图像，得到第一处理图像；获取第二预设阴影面积阈值，从所述第一处理图像中提取面积大于所述第二预设阴影面积阈值的图像，得到第二处理图像；对所述第二处理图像进行预设膨胀处理，得到目标图像。实现准确获取目标图像，为精准定位奠定基础。
进一步地，基于本申请中第一实施例和第二实施例，所述基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像的步骤包括：
步骤B1，将所述视频图像输入至预设分割网络模型中，得到所述视频图像的每相邻两帧图像之间的差值图像；
其中，所述预设分割网络模型是基于具有预设差值图像标签的预设视频图像数据，通过对预设待训练基础模型进行训练后得到的的模型。
在本实施例中，差值图像可以通过预设分割网络模型得到，其中，所述预设分割网络模型是基于具有预设差值图像标签的预设视频图像数据，其中，预设差值图像标签指的是已知的相邻两帧图像取差值后的图像中，标记出的运动物体的第一标签，以及非运动物体的第二标签或者是背景标签，通过对预设待训练基础模型进行训练后得到的的模型，也即，预设分割网络模型是能准确识别差值图像的模型。
所述将所述视频图像输入至预设分割网络模型中，得到所述视频图像的每相邻两帧图像之间的差值图像的步骤之前，所述方法包括：
步骤C1，获取具有预设差值图像标签的预设视频图像数据，基于所述预设视频图像数据对所述预设待训练基础模型进行迭代训练，得到迭代训练后的基础模型，其中，所述预设待训练基础模型中包括跳层连接层；
步骤C2，判断所述迭代训练后的基础模型是否满足预设训练完成条件，若所述迭代训练后的基础模型满足预设训练完成条件，得到所述预设分割网络模型。
在本实施例中，为准确得到预设分割网络模型，首先获取具有预设差值图像标签(预设差值图像标签中包括运动物体的第一标签以及非运动物体的第二标签)的预设视频图像数据，标签的目的在于用于训练或者验证，即是因为标签是已知的，在输入至预设分割网络模型中后，若得到输出结果或者输出标签，则将该输出标签与已知的预设差值图像标签进行比对，即可得到准确率，根据准确率再调整预设分割网络模型中的模型参数，不断的训练以及验证，直至准确率达到预设值，需要说明的是，在本实施例中，首先基于预设视频图像数据，获取相邻帧运动物体图像的原图，并获取其对应差值图像的掩码(mask)图(包括预设差值图像标签)，在mask图中运动物体区域标注为“1”，其他区域标注为“0”。获取预设视频图像数据后，对所述预设待训练基础模型进行迭代训练，以迭代训练更新所述预设待训练预测模型。具体地，基于迭代训练的训练结果(或者预测概率图像数据)与其对应掩码(mask)图中的预设差值图像标签的期望结果进行比对，以迭代训练更新所述预设待训练预测模型，其中，可以是迭代训练更新所述预设待训练预测模型中的网络权重变量，得到迭代训练后的基础模型。
需要说明的是，所述预设待训练预测模型中包括特征提取部分以及上采样部分等，其中，所述特征提取部分包括卷积层、池化层等，上采样部分包括反卷积层等。在本实施例中，所述预设待训练基础模型中的特征提取部分是包括跳层连接层的，具体地，所述预设待训练基础模型中，若特征提取部分是包括Unet网络编码阶段或者Unet网络架构(不包括跳层连接层)，则改为ResNet网络编码阶段或者是ResNet网络架构(包括跳层连接层)，跳层连接层的作用在于：在卷积预设次数后，将卷积预设次数之前丢弃的信息经过处理添加至卷积预设次数的数据中，以避免图像数据卷积过程中造成的信息损失。在本实施例中，在网络解码过程中或者是上采样部分中，依然采用Unet解码网络阶段，以对应得到概率图。
判断迭代训练后的所述预设待训练预测模型是否满足预设训练完成条件，若满足预设训练完成条件，得到所述预设分割网络模型，具体地，预设训练完成条件可以是迭代达到预设次数，或者是预设损失函数收敛，需要说明的是，每迭代训练一次，则基于迭代训练的结果与其对应掩码(mask)图中的预设差值图像标签的期望结果进行比对，确定差异数据，根据差异数据有方向地进行所述预设待训练预测模型的调整，特别地，进行网络权重变量的调整，以最终得到所述预设分割网络模型。
在本实施例中，通过将所述视频图像输入至预设分割网络模型中，得到所述视频图像的每相邻两帧图像之间的差值图像；其中，所述预设分割网络模型是基于具有预设差值图像标签的预设视频图像数据，通过对预设待训练基础模型进行训练后得到的的模型。在本实施例中，实现准确确定差值图像。
进一步地，参照图2，基于本申请中第一实施例，第二实施例和第三实施例，所述基于所述位置深度值确定所述运动物体的目标位置的步骤之后，所述方法包括：
步骤D1，确定所述目标位置的获取次数，若所述获取次数大于预设次数值时，根据多个所述目标位置确定所述运动物体的运动轨迹；
步骤D2，根据多个所述运动轨迹，确定所述运动物体的运动路径。
在本实施例中，每获取一次目标位置，则记录一次，得到记录信息，根据记录信息进而确定所述目标位置的获取次数，若所述获取次数大于预设次数值时，根据多个所述目标位置确定所述运动物体的运动轨迹，例如，每获取目标位置(真实坐标)十次，则确定所述运动物体的运动轨迹，根据多个所述运动轨迹，确定所述运动物体的运动路径。
在本实施例中，通过确定所述目标位置的获取次数，若所述获取次数大于预设次数值时，根据多个所述目标位置确定所述运动物体的运动轨迹；根据多个所述运动轨迹，确定所述运动物体的运动路径。在本实施例中，准确确定运动物体的运动路径，为实现智能家居奠定基础。
参照图3，图3是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图3所示，该运动物体位置检测设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该运动物体位置检测设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图3中示出的运动物体位置检测设备结构并不构成对运动物体位置检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及运动物体位置检测程序。操作系统是管理和控制运动物体位置检测设备硬件和软件资源的程序，支持运动物体位置检测程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与运动物体位置检测系统中其它硬件和软件之间通信。
在图3所示的运动物体位置检测设备中，处理器1001用于执行存储器1005中存储的运动物体位置检测程序，实现上述任一项所述的运动物体位置检测方法的步骤。
本申请运动物体位置检测设备具体实施方式与上述运动物体位置检测方法各实施例基本相同，在此不再赘述。
本申请还提供一种运动物体位置检测装置，所述运动物体位置检测装置包括：
采集模块，用于基于预设第一摄像头实时采集运动物体的视频图像；
差值图像获取模块，用于基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像；
第一获取模块，用于基于所述差值图像，获取所述运动物体的质点；
第二获取模块，用于基于预设第二摄像头和所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值；
第一确定模块，用于基于所述位置深度值确定所述运动物体的目标位置。
可选地，所述运动物体位置检测装置还包括：
第二确定模块，用于确定所述目标位置的获取次数，若所述获取次数大于预设次数值时，根据多个所述目标位置确定所述运动物体的运动轨迹；
第三确定模块，用于根据多个所述运动轨迹，确定所述运动物体的运动路径。
可选地，所述第一确定模块包括：
第一获取单元，用于获取预设第一摄像头的第一预设摄取夹角以及第二预设摄取夹角，并获取所述差值图像的像素坐标；
第一确定单元，用于根据所述位置深度值、所述第一预设摄取夹角、所述第二预设摄取夹角、预设像素分辨率以及所述像素坐标，确定所述运动物体的目标位置。
可选地，所述第一获取模块包括：
轮廓边框确定单元，用于根据所述差值图像确定所述运动物体的轮廓边框；
质点获取单元，用于根据所述轮廓边框获取所述运动物体的质点。
可选地，所述第一获取模块包括：
第二获取单元，用于对所述差值图像进行平滑处理，得到平滑图像；
灰度处理单元，用于对所述平滑图像进行灰度处理，得到灰度图像；
噪声去除单元，用于对所述灰度图像进行噪声去除处理，得到目标图像。
第二确定单元，用于确定所述目标图像中所述运动物体的轮廓边框。
可选地，所述灰度处理单元包括：
第一获取子单元，用于获取第一预设阴影面积阈值，从所述灰度图像中提取面积大于所述第一预设阴影面积阈值的图像，得到第一处理图像；
第二获取子单元，用于获取第二预设阴影面积阈值，从所述第一处理图像中提取面积大于所述第二预设阴影面积阈值的图像，得到第二处理图像；
膨胀处理子单元，用于对所述第二处理图像进行预设膨胀处理，得到目标图像。
可选地，所述采集模块包括：
第三获取单元，用于将所述视频图像输入至预设分割网络模型中，得到所述视频图像的每相邻两帧图像之间的差值图像；
其中，所述预设分割网络模型是基于具有预设差值图像标签的预设视频图像数据，通过对预设待训练基础模型进行训练后得到的的模型。
可选地，所述运动物体位置检测装置还包括：
第二获取模块，用于获取具有预设差值图像标签的预设预设视频图像数据，基于所述预设视频图像数据对所述预设待训练基础模型进行迭代训练，得到迭代训练后的基础模型，其中，所述预设待训练基础模型中包括跳层连接层；
判断模块，用于判断所述迭代训练后的基础模型是否满足预设训练完成条件，若所述迭代训练后的基础模型满足预设训练完成条件，得到所述预设分割网络模型。
本申请运动物体位置检测装置的具体实施方式与上述运动物体位置检测方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种介质，且所述介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的运动物体位置检测方法的步骤。
本申请介质具体实施方式与上述运动物体位置检测方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (11)

1.一种运动物体位置检测方法，其特征在于，所述运动物体位置检测方法包括：
基于预设第一摄像头实时采集运动物体的视频图像；
基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像；
基于所述差值图像，获取所述运动物体的质点；
基于预设第二摄像头和所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值；
基于所述位置深度值确定所述运动物体的目标位置。
2.如权利要求1所述运动物体位置检测方法，其特征在于，所述基于所述位置深度值确定所述运动物体的目标位置的步骤之后，所述方法包括：
确定所述目标位置的获取次数，若所述获取次数大于预设次数值时，根据多个所述目标位置确定所述运动物体的运动轨迹；
根据多个所述运动轨迹，确定所述运动物体的运动路径。
3.如权利要求1所述运动物体位置检测方法，其特征在于，所述基于所述位置深度值确定所述运动物体的目标位置的步骤包括：
获取预设第一摄像头的第一预设摄取夹角以及第二预设摄取夹角，并获取所述差值图像的像素坐标；
根据所述位置深度值、所述第一预设摄取夹角、所述第二预设摄取夹角、预设像素分辨率以及所述像素坐标，确定所述运动物体的目标位置。
4.如权利要求1所述运动物体位置检测方法，其特征在于，所述基于所述差值图像，获取所述运动物体的质点的步骤包括：
根据所述差值图像确定所述运动物体的轮廓边框；
根据所述轮廓边框获取所述运动物体的质点。
5.如权利要求4所述运动物体位置检测方法，其特征在于，所述根据所述差值图像确定所述运动物体的轮廓边框的步骤包括：
对所述差值图像进行平滑处理，得到平滑图像；
对所述平滑图像进行灰度处理，得到灰度图像；
对所述灰度图像进行噪声去除处理，得到目标图像；
确定所述目标图像中所述运动物体的轮廓边框。
6.如权利要求5所述运动物体位置检测方法，其特征在于，所述对所述灰度图像进行噪声去除处理，得到目标图像的步骤包括：
获取第一预设图像阈值，从所述灰度图像中提取面积大于所述第一预设图像阈值的图像，得到第一处理图像；
获取第二预设图像阈值，从所述第一处理图像中提取面积大于所述第二预设图像阈值的图像，得到第二处理图像；
对所述第二处理图像进行预设膨胀处理，得到目标图像。
7.如权利要求1-6任一项所述运动物体位置检测方法，其特征在于，所述基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像的步骤包括：
将所述视频图像输入至预设分割网络模型中，得到所述视频图像的每相邻两帧图像之间的差值图像；
其中，所述预设分割网络模型是基于具有预设差值图像标签的预设视频图像数据，通过对预设待训练基础模型进行训练后得到的的模型。
8.如权利要求7所述运动物体位置检测方法，其特征在于，所述将所述视频图像输入至预设分割网络模型中，得到所述视频图像的每相邻两帧图像之间的差值图像的步骤之前，所述方法包括：
获取具有预设差值图像标签的预设视频图像数据，基于所述预设视频图像数据对所述预设待训练基础模型进行迭代训练，得到迭代训练后的基础模型，其中，所述预设待训练基础模型中包括跳层连接层；
判断所述迭代训练后的基础模型是否满足预设训练完成条件，若所述迭代训练后的基础模型满足预设训练完成条件，得到所述预设分割网络模型。
9.一种运动物体位置检测装置，其特征在于，所述运动物体位置检测装置包括：
采集模块，用于基于预设第一摄像头实时采集运动物体的视频图像；
差值图像获取模块，用于基于所述视频图像获取所述运动物体的每相邻两帧图像之间的差值图像；
第一获取模块，用于基于所述差值图像，获取所述运动物体的质点；
第二获取模块，用于基于预设第二摄像头和所述预设第一摄像头的预设第一位置，获取所述质点的位置深度值；
第一确定模块，用于基于所述位置深度值确定所述运动物体的目标位置。
10.一种运动物体位置检测设备，其特征在于，所述运动物体位置检测设备包括：存储器、处理器以及存储在存储器上的用于实现所述运动物体位置检测方法的程序，
所述存储器用于存储实现运动物体位置检测方法的程序；
所述处理器用于执行实现所述运动物体位置检测方法的程序，以实现如权利要求1至8中任一项所述运动物体位置检测方法的步骤。
11.一种介质，其特征在于，所述介质上存储有实现运动物体位置检测方法的程序，所述实现运动物体位置检测方法的程序被处理器执行以实现如权利要求1至8中任一项所述运动物体位置检测方法的步骤。
CN202010314781.7A 2020-04-20 2020-04-20 运动物体位置检测方法、装置、设备及介质 Pending CN111539990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010314781.7A CN111539990A (zh) 2020-04-20 2020-04-20 运动物体位置检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010314781.7A CN111539990A (zh) 2020-04-20 2020-04-20 运动物体位置检测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN111539990A true CN111539990A (zh) 2020-08-14

Family

ID=71980091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010314781.7A Pending CN111539990A (zh) 2020-04-20 2020-04-20 运动物体位置检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111539990A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036300A (zh) * 2020-08-31 2020-12-04 合肥工业大学 一种基于多尺度时空传播层的运动目标检测方法
CN113727176A (zh) * 2021-08-30 2021-11-30 杭州国芯科技股份有限公司 一种视频运动字幕检测方法
CN114897762A (zh) * 2022-02-18 2022-08-12 众信方智(苏州)智能技术有限公司 一种煤矿工作面采煤机自动定位方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036300A (zh) * 2020-08-31 2020-12-04 合肥工业大学 一种基于多尺度时空传播层的运动目标检测方法
CN112036300B (zh) * 2020-08-31 2022-08-05 合肥工业大学 一种基于多尺度时空传播层的运动目标检测方法
CN113727176A (zh) * 2021-08-30 2021-11-30 杭州国芯科技股份有限公司 一种视频运动字幕检测方法
CN113727176B (zh) * 2021-08-30 2023-05-16 杭州国芯科技股份有限公司 一种视频运动字幕检测方法
CN114897762A (zh) * 2022-02-18 2022-08-12 众信方智(苏州)智能技术有限公司 一种煤矿工作面采煤机自动定位方法及装置

Similar Documents

Publication Publication Date Title
US10049492B2 (en) Method and apparatus for rendering facades of objects of interest from three-dimensional point clouds
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
JP6723247B2 (ja) ターゲット取得の方法及び装置
US9846946B2 (en) Objection recognition in a 3D scene
KR101722803B1 (ko) 이미지들의 시퀀스에서 물체들의 실시간 표현들의 하이브리드 추적을 위한 방법, 컴퓨터 프로그램 및 디바이스
WO2020073860A1 (zh) 一种视频裁剪方法及装置
US9412180B2 (en) Information processing apparatus, information processing method, and program
KR101457313B1 (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
CN111539990A (zh) 运动物体位置检测方法、装置、设备及介质
KR101479387B1 (ko) 얼굴 검출을 위한 방법 및 장치
CN110472599B (zh) 对象数量确定方法、装置、存储介质与电子设备
JP2013522971A (ja) 複数の特徴検出器の適用に基づいた画像特徴検出
CN109413411B (zh) 一种监控线路的黑屏识别方法、装置及服务器
CN111401293B (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
CN109753883A (zh) 视频定位方法、装置、存储介质和电子设备
CN109636828A (zh) 基于视频图像的物体跟踪方法及装置
CN111046746A (zh) 一种车牌检测方法及装置
CN108710879B (zh) 一种基于网格聚类算法的行人候选区域生成方法
CN112070035A (zh) 基于视频流的目标跟踪方法、装置及存储介质
CN111105351B (zh) 一种视频序列影像拼接方法及装置
CN111144156B (zh) 一种图像数据处理方法和相关装置
Esfahani et al. DeepDSAIR: Deep 6-DOF camera relocalization using deblurred semantic-aware image representation for large-scale outdoor environments
JP2013037539A (ja) 画像特徴量抽出装置およびそのプログラム
CN105374051A (zh) 智能移动终端防镜头抖动视频运动目标检测方法
CN114613006A (zh) 一种远距离手势识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination