CN108596033A - 面向智能家居场景的快速云台定位方法 - Google Patents

面向智能家居场景的快速云台定位方法 Download PDF

Info

Publication number
CN108596033A
CN108596033A CN201810242987.6A CN201810242987A CN108596033A CN 108596033 A CN108596033 A CN 108596033A CN 201810242987 A CN201810242987 A CN 201810242987A CN 108596033 A CN108596033 A CN 108596033A
Authority
CN
China
Prior art keywords
image
holder
similarity
threshold value
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810242987.6A
Other languages
English (en)
Other versions
CN108596033B (zh
Inventor
张晖
张迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810242987.6A priority Critical patent/CN108596033B/zh
Publication of CN108596033A publication Critical patent/CN108596033A/zh
Application granted granted Critical
Publication of CN108596033B publication Critical patent/CN108596033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了面向智能家居场景的快速云台定位方法，包括以下步骤：先标记智能家居场景下需要定位的图像，并对定位图像及实时视频流中的每帧图像预处理；对图像进行特征提取；计算当前帧图像与定位图像之间的图像特征相似度，当相似度小于阈值时，将云台从记录位置水平、垂直旋转到初始位置，记录云台在记录位置的水平垂直方向度数；将云台旋转到记录位置；将云台旋转到记录位置的上下左右各10度，每次移动1度，并记录对应位置坐标及相似度；将云台旋转到相似度最高点所在位置、并将该位置的相似度与阈值比较，如相似度不小于阈值，则云台定位成功。本发明具有云台立体定位速度快、定位效果好且对实时视频处理时延低的优点。

Description

面向智能家居场景的快速云台定位方法
技术领域
本发明涉及智能家居领域，具体涉及面向智能家居场景的快速云台定位方法。
背景技术
云台定位是指云台摄像机将通过水平和垂直方向旋转，自动搜索标记的跟踪对象，以实现智能跟踪。而能家居场景下实时云台定位更为复杂，需要把视频流分解成一帧帧图片，提取有效的特征来表述当前图像，在立体空间范围内对标记的对象进行定位。但当今市场上，具有云台定位功能的智能家居设备均存在以下缺点：无法实现立体定位，定位效果并不理想，并对实时视频处理有很大的时延。
发明内容
本发明的目的是提供一种云台立体定位速度快、定位效果好且对实时视频处理时延低的面向智能家居场景的快速云台定位方法。
为实现上述目的，本发明采用了如下技术方案：所述的面向智能家居场景的快速云台定位方法，包括以下步骤：
步骤一：先标记智能家居场景下需要定位的图像，并对所标记的定位图像进行预处理，其中预处理包括灰度处理和高斯模糊平滑；
步骤二：对实时视频流中的每一帧图像进行预处理，其中预处理包括灰度处理和高斯模糊平滑；
步骤三：对步骤一中预处理后的标记的定位图像及步骤二中预处理后的当前帧图像进行图像特征提取；
步骤四：计算当前帧图像与标记的定位图像之间的图像特征相似度，并将计算得到的图像特征相似度与阈值进行比较，如果图像特征相似度小于阈值，则跳转到步骤五；如果图像特征相似度不小于阈值，则跳转到步骤九；
步骤五：将云台从当前的记录位置水平、垂直旋转到初始位置，记录云台在记录位置的水平方向度数与垂直方向度数；
步骤六：将云台从初始位置再次旋转到步骤五中的记录位置；
步骤七：将步骤六中重新位于记录位置的云台旋转到记录位置的上下左右各10度，每次移动1度，并记录云台每次移动后的对应位置坐标及对应位置的当前帧图像与标记的定位图像之间的图像特征相似度；
步骤八：记录步骤七中图像特征相似度最高的点所在的位置，然后将云台旋转到该位置、并将该位置的图像特征相似度与阈值进行比较，如果图像特征相似度小于阈值，则跳转到步骤五；如果图像特征相似度不小于阈值，则跳转到步骤九；
步骤九：云台立体定位成功。
进一步地，前述的面向智能家居场景的快速云台定位方法，其中：阈值为0.7。
进一步地，前述的面向智能家居场景的快速云台定位方法，其中：步骤三中对图像进行特征提取的具体方法包括以下步骤：
步骤(1)：将图像划分成2*2个子区域；
步骤(2)：统计每个子区域的灰度直方图；
步骤(3)：对每个子区域的灰度直方图进行归一化；
步骤(4)：把2*2个子区域归一化后的灰度直方图进行串联，得到图像的灰度直方图特征。
进一步地，前述的面向智能家居场景的快速云台定位方法，其中：步骤(3)中灰度直方图的归一化采用(0，1)标准化，通过遍历单元格内的每个数据将Max和Min的记录下来，并通过Max-Min作为基数(即Min＝0，Max＝1)进行数据的归一化处理，具体算法为：
通过上述技术方案的实施，本发明的有益效果是：(1)通过对每一帧图像进行灰度处理，并用高斯模糊平滑算法处理，减少噪声对定位精度的影响，提高定位效果；(2)通过提取图像的灰度直方图特征，能有效地用特征表述图像，通过对提取的特征进行相似度计算，从而检测标记物体是否发生改变，当相似度低于阈值时则进行立体云台定位，适用于家居终端设备，解决用户对家居安全的监控难题，提高了用户体验舒适度；(3)对硬件要求低，复杂度低，云台立体定位速度快且对实时视频处理时延低。
附图说明
图1为本发明所述的面向智能家居场景的快速云台定位方法的流程框图。
图2为本发明中图像特征提取方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如图1所示，所述的面向智能家居场景的快速云台定位方法，包括以下步骤：
步骤一：先标记智能家居场景下需要定位的图像，并对所标记的定位图像进行预处理，其中预处理包括灰度处理和高斯模糊平滑；
步骤二：对实时视频流中的每一帧图像进行预处理，其中预处理包括灰度处理和高斯模糊平滑；
步骤三：对步骤一中预处理后的标记的定位图像及步骤二中预处理后的当前帧图像进行图像特征提取；
其中，如图2所示，对图像进行特征提取的具体方法包括以下步骤：
步骤(1)：将图像划分成2*2个子区域；
步骤(2)：统计每个子区域的灰度直方图；
步骤(3)：对每个子区域的灰度直方图进行归一化；
其中灰度直方图的归一化采用(0，1)标准化，通过遍历单元格内的每个数据将Max和Min的记录下来，并通过Max-Min作为基数(即Min＝0，Max＝1)进行数据的归一化处理，具体算法为：
步骤(4)：把2*2个子区域归一化后的灰度直方图进行串联，得到图像的灰度直方图特征；
步骤四：计算当前帧图像与标记的定位图像之间的图像特征相似度，并将计算得到的图像特征相似度与阈值进行比较，如果图像特征相似度小于阈值a，阈值a为0.7，则跳转到步骤五；如果图像特征相似度不小于阈值a，则跳转到步骤九；
步骤五：将云台从当前的记录位置水平、垂直旋转到初始位置，记录云台在记录位置的水平方向度数与垂直方向度数；
步骤六：将云台从初始位置再次旋转到步骤五中的记录位置；
步骤七：将步骤六中重新位于记录位置的云台旋转到记录位置的上下左右各10度，每次移动1度，并记录云台每次移动后的对应位置坐标及对应位置的当前帧图像与标记的定位图像之间的图像特征相似度；
步骤八：记录步骤七中图像特征相似度最高的点所在的位置，然后将云台旋转到该位置、并将该位置的图像特征相似度与阈值进行比较，如果图像特征相似度小于阈值a，阈值a为0.7，则跳转到步骤五；如果图像特征相似度不小于阈值a，则跳转到步骤九；
步骤九：云台立体定位成功。
本发明的优点是：(1)通过对每一帧图像进行灰度处理，并用高斯模糊平滑算法处理，减少噪声对定位精度的影响，提高定位效果；(2)通过提取图像的灰度直方图特征，能有效地用特征表述图像，通过对提取的特征进行相似度计算，从而检测标记物体是否发生改变，当相似度低于阈值时则进行立体云台定位，适用于家居终端设备，解决用户对家居安全的监控难题，提高了用户体验舒适度；(3)对硬件要求低，复杂度低，云台立体定位速度快且对实时视频处理时延低。

Claims (4)

1.面向智能家居场景的快速云台定位方法，其特征在于：包括以下步骤：
步骤一：先标记智能家居场景下需要定位的图像，并对所标记的定位图像进行预处理，其中预处理包括灰度处理和高斯模糊平滑；
步骤二：对实时视频流中的每一帧图像进行预处理，其中预处理包括灰度处理和高斯模糊平滑；
步骤三：对步骤一中预处理后的标记的定位图像及步骤二中预处理后的当前帧图像进行图像特征提取；
步骤四：计算当前帧图像与标记的定位图像之间的图像特征相似度，并将计算得到的图像特征相似度与阈值进行比较，如果图像特征相似度小于阈值，则跳转到步骤五；如果图像特征相似度不小于阈值，则跳转到步骤九；
步骤五：将云台从当前的记录位置水平、垂直旋转到初始位置，记录云台在记录位置的水平方向度数与垂直方向度数；
步骤六：将云台从初始位置再次旋转到步骤五中的记录位置；
步骤七：将步骤六中重新位于记录位置的云台旋转到记录位置的上下左右各10度，每次移动1度，并记录云台每次移动后的对应位置坐标及对应位置的当前帧图像与标记的定位图像之间的图像特征相似度；
步骤八：记录步骤七中图像特征相似度最高的点所在的位置，然后将云台旋转到该位置、并将该位置的图像特征相似度与阈值进行比较，如果图像特征相似度小于阈值，则跳转到步骤五；如果图像特征相似度不小于阈值，则跳转到步骤九；
步骤九：云台立体定位成功。
2.根据权利要求1所述的面向智能家居场景的快速云台定位方法，其特征在于：阈值为0.7。
3.根据权利要求1或2所述的面向智能家居场景的快速云台定位方法，其特征在于：步骤三中对图像进行特征提取的具体方法包括以下步骤：
步骤(1)：将图像划分成2*2个子区域；
步骤(2)：统计每个子区域的灰度直方图；
步骤(3)：对每个子区域的灰度直方图进行归一化；
步骤(4)：把2*2个子区域归一化后的灰度直方图进行串联，得到图像的灰度直方图特征。
4.根据权利要求3所述的面向智能家居场景的快速云台定位方法，其特征在于：步骤(3)中灰度直方图的归一化采用(0，1)标准化，通过遍历单元格内的每个数据将Max和Min的记录下来，并通过Max-Min作为基数(即Min＝0，Max＝1)进行数据的归一化处理，具体算法为：
CN201810242987.6A 2018-03-22 2018-03-22 面向智能家居场景的快速云台定位方法 Active CN108596033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810242987.6A CN108596033B (zh) 2018-03-22 2018-03-22 面向智能家居场景的快速云台定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810242987.6A CN108596033B (zh) 2018-03-22 2018-03-22 面向智能家居场景的快速云台定位方法

Publications (2)

Publication Number Publication Date
CN108596033A true CN108596033A (zh) 2018-09-28
CN108596033B CN108596033B (zh) 2021-09-24

Family

ID=63627185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810242987.6A Active CN108596033B (zh) 2018-03-22 2018-03-22 面向智能家居场景的快速云台定位方法

Country Status (1)

Country Link
CN (1) CN108596033B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497507A (zh) * 2011-12-12 2012-06-13 山西奥克斯电子系统工程中心 基于图像分析的云台预置位控制方法
EP2553924A1 (en) * 2010-03-26 2013-02-06 Fortem Solutions Inc. Effortless navigation across cameras and cooperative control of cameras
CN106647816A (zh) * 2015-10-28 2017-05-10 无锡纳曼传感科技有限公司 一种高精姿态和方位的云台及其控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2553924A1 (en) * 2010-03-26 2013-02-06 Fortem Solutions Inc. Effortless navigation across cameras and cooperative control of cameras
CN102497507A (zh) * 2011-12-12 2012-06-13 山西奥克斯电子系统工程中心 基于图像分析的云台预置位控制方法
CN106647816A (zh) * 2015-10-28 2017-05-10 无锡纳曼传感科技有限公司 一种高精姿态和方位的云台及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
华磊等: "一种基于图像的摄像机云台快速定位方法", 《仪器仪表与分析监测》 *

Also Published As

Publication number Publication date
CN108596033B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
Yan et al. 'skimming-perusal'tracking: A framework for real-time and robust long-term tracking
Shigematsu et al. Learning RGB-D salient object detection using background enclosure, depth contrast, and top-down features
CN103268480B (zh) 一种视觉跟踪系统及方法
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN109086724B (zh) 一种加速的人脸检测方法及存储介质
WO2018232837A1 (zh) 移动目标的跟踪拍摄方法和跟踪设备
CN110415208B (zh) 一种自适应目标检测方法及其装置、设备、存储介质
Qian et al. DAL: A deep depth-aware long-term tracker
CN111739064B (zh) 用于视频中目标跟踪的方法及存储设备和控制设备
CN106327526A (zh) 图像目标跟踪方法与系统
CN104036524A (zh) 一种改进sift算法的快速目标跟踪方法
CN110569785B (zh) 一种融合跟踪技术的人脸识别方法
Joshi et al. A low cost and computationally efficient approach for occlusion handling in video surveillance systems
CN116091781B (zh) 一种用于图像识别的数据处理方法及装置
Lu et al. Generating fluent tubes in video synopsis
Cui et al. A monocular ORB-SLAM in dynamic environments
Cao et al. A fast orientation estimation approach of natural images
Yang et al. Contrast limited adaptive histogram equalization for an advanced stereo visual slam system
CN101877135B (zh) 一种基于背景重构的运动目标检测方法
CN108596033A (zh) 面向智能家居场景的快速云台定位方法
Yi et al. Orientation and scale invariant mean shift using object mask-based kernel
Liu et al. [Retracted] Mean Shift Fusion Color Histogram Algorithm for Nonrigid Complex Target Tracking in Sports Video
CN116051950A (zh) 跨层次跨模态双注意力融合的三流rgb-d显著性目标检测
KR101342018B1 (ko) 대표 특징을 이용한 실시간 객체 인식 및 추적 방법과 그 장치
Wu et al. Efficient visual saliency detection via multi-cues

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant