CN107105193B - 基于人体信息的机器人监控系统 - Google Patents

基于人体信息的机器人监控系统 Download PDF

Info

Publication number
CN107105193B
CN107105193B CN201610099509.5A CN201610099509A CN107105193B CN 107105193 B CN107105193 B CN 107105193B CN 201610099509 A CN201610099509 A CN 201610099509A CN 107105193 B CN107105193 B CN 107105193B
Authority
CN
China
Prior art keywords
image
motion
information
human body
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610099509.5A
Other languages
English (en)
Other versions
CN107105193A (zh
Inventor
陈明修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yutou Technology Hangzhou Co Ltd
Original Assignee
Yutou Technology Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yutou Technology Hangzhou Co Ltd filed Critical Yutou Technology Hangzhou Co Ltd
Priority to CN201610099509.5A priority Critical patent/CN107105193B/zh
Priority to US15/999,670 priority patent/US11158064B2/en
Priority to PCT/CN2017/074048 priority patent/WO2017143949A1/zh
Priority to TW106105869A priority patent/TWI615026B/zh
Publication of CN107105193A publication Critical patent/CN107105193A/zh
Application granted granted Critical
Publication of CN107105193B publication Critical patent/CN107105193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明属于机器人技术领域，尤其涉及一种机器人监控系统。基于人体信息的机器人监控系统，包括，图像采集单元，用于采集图像；人体检测单元，用于判断图像中是否存在与一训练样本中相匹配的人体信息；目标获取单元，用于获取人体信息在图像中的位置信息及大小信息；目标跟踪单元，依据图像中预定图像帧之间的帧差获取当前的运动区域，并于运动区域中获取运动目标；调整单元，调整图像采集单元的朝向以使得运动目标位于图像的中心。以上技术方案通过检测人体信息以跟踪运动目标，使得监控中心始终跟踪人体位置，有效实现人体定位及跟踪，以对感兴趣的内容信息进行监控。

Description

基于人体信息的机器人监控系统
技术领域
本发明属于机器人技术领域，尤其涉及一种机器人监控系统。
背景技术
目前主流的机器人监控主要是利用图像采集装置全天24小时、单角度的监控；在大部分场景中，用户只会对于存在有效信息的监控部分感兴趣，而连续监控存在着大量静态的无效的监控记录，不仅不方便用户查找自己感兴趣的监控视频，也会占用大量无效静态视频，占用大量存储空间；另外，单角度的监控信息无法让监控中心一直跟随着用户感兴趣的内容信息，无法满足用户的监控要求。
发明内容
针对以上技术问题，提供一种基于人体信息的机器人监控系统及方法，以解决现有技术的缺陷；
具体技术方案如下：
基于人体信息的机器人监控系统，其中，包括，
图像采集单元，用于采集图像；
人体检测单元，与所述图像采集单元连接，用于判断所述图像中是否存在与一训练样本中相匹配的人体信息；
目标获取单元，与所述人体检测单元连接，用于获取所述人体信息在所述图像中的位置信息及大小信息；
目标跟踪单元，与所述图像采集单元和所述目标获取单元连接，依据所述图像中预定图像帧之间的帧差获取当前的运动区域，并于所述运动区域中获取运动目标；
调整单元，与所述目标跟踪单元和所述图像采集单元连接，调整所述图像采集单元的朝向以使得所述运动目标位于所述图像的中心；
其中，所述目标跟踪单元包括：
帧差运算单元，用于对获取到的当前图像帧和前面两个图像帧的图像信息，用第一图像帧减第三图像帧获得一第一差值图像，再用第二图像帧减第三图像帧获得一第二差值图像；
运动图获取单元，与所述帧差运算单元连接，用于依据所述第一差值图像和所述第二差值图像获得当前运动图；
运动目标获取单元，与所述运动图获取单元连接，用于：于所述运动图中获取满足设定条件的点的集合，每个点表示一个运动元，找出所有相互连接的运动元作为疑似运动目标；计算各个疑似运动目标的运动强度值，运动强度值等于运动元的数量除以疑似运动目标的矩形面积，依据运动强度值和疑似运动目标的面积获得当前时间点下的所有有效运动目标；以及，于有效运动目标中选取与目标对象最接近的矩形框作为所述运动目标。
上述的基于人体信息的机器人监控系统，所述帧差运算单元具体用于：用所述第一图像帧的像素灰度减所述第三图像帧的像素灰度以获得所述第一差值图像，再用所述第二图像帧的像素灰度减所述第三图像帧的像素灰度以获得所述第二差值图像。
上述的基于人体信息的机器人监控系统，所述运动图获取单元具体用于：将所述第一差值图像与所述第二差值图像叠加得到所述运动图。
上述的基于人体信息的机器人监控系统，所述调整单元包括，判断单元，用于判断所述运动目标距离所述图像的中心的距离，当所述距离大于设定阈值时，产生一调整信号。
上述的基于人体信息的机器人监控系统，还包括存储单元，与所述图像采集单元连接，用于存储所述图像。
上述的基于人体信息的机器人监控系统，所述人体信息为人脸信息。
上述的基于人体信息的机器人监控系统，在进行所述依据所述图像中预定图像帧之间的帧差获取当前的运动区域的步骤之前，根据所述人体信息在所述图像中的位置信息以及大小信息，初始化所述位置信息为跟踪起始信息。
还提供，基于人体信息的机器人监控方法，其中，包括以下步骤：
步骤1，采集图像；
步骤2，判断所述图像中是否存在与一训练样本中相匹配的人体信息，如果否，重复步骤1；
步骤3，获取所述人体信息在所述图像中的位置信息及大小信息；
步骤4，依据所述图像中预定图像帧之间的帧差获取当前的运动区域，并于所述运动区域中获取运动目标；
步骤5，调整采集图像的朝向以使得所述运动目标位于所述图像的中心；
其中，所述步骤4包括：
对获取到的当前图像帧和前面两个图像帧的图像信息，用第一图像帧减像素灰度获得一第一差值图像，再用第二图像帧减第三图像帧获得一第二差值图像；
依据所述第一差值图像和所述第二差值图像获得当前运动图；
于所述运动图中获取满足设定条件的点的集合，每个点表示一个运动元，找出所有相互连接的运动元作为疑似运动目标；
计算各个疑似运动目标的运动强度值，所述运动强度值等于所述运动元的数量除以所述疑似运动目标的矩形面积，依据所述运动强度值和所述疑似运动目标的面积获得当前时间点下的所有有效运动目标；
于所述有效运动目标中选取与目标对象最接近的矩形框作为所述运动目标。
上述的基于人体信息的机器人监控方法，所述用第一图像帧减像素灰度获得一第一差值图像，再用第二图像帧减第三图像帧获得一第二差值图像，包括：用所述第一图像帧的像素灰度减所述第三图像帧的像素灰度以获得所述第一差值图像，再用所述第二图像帧的像素灰度减所述第三图像帧的像素灰度以获得所述第二差值图像。
上述的基于人体信息的机器人监控方法，所述依据所述第一差值图像和所述第二差值图像获得当前运动图包括：将所述第一差值图像与所述第二差值图像叠加得到所述运动图。
上述的基于人体信息的机器人监控方法，所述步骤1之前通过预先训练获得所述训练样本。
上述的基于人体信息的机器人监控方法，所述步骤1至所述步骤4重复循环执行到一定时长时，选取所述步骤2第一次通过的时间点与所述步骤2的最后一次失败的时间点之间的时间段的视频至一监控存储中心。
上述的基于人体信息的机器人监控方法，所述人体信息采用人脸信息。
上述的基于人体信息的机器人监控方法，在所述对获取到的当前图像帧和前面两个图像帧的图像信息，用第一图像帧减像素灰度获得一第一差值图像，再用第二图像帧减第三图像帧获得一第二差值图像的步骤之前还包括：根据所述人体信息在所述图像中的位置信息以及大小信息，初始化所述位置信息为跟踪起始信息。
有益效果：以上技术方案通过检测人体信息以跟踪运动目标，使得监控中心始终跟踪人体位置，有效实现人体定位及跟踪，以对感兴趣的内容信息进行监控。
附图说明
图1为本发明的系统结构框图；
图2为本发明的目标跟踪单元的结构框图；
图3为本发明的方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
参照图1，基于人体信息的机器人监控系统，其中，包括，
图像采集单元1，用于采集图像；
人体检测单元2，与图像采集单元1连接，用于判断图像中是否存在与一训练样本中相匹配的人体信息；
目标获取单元3，与人体检测单元2连接，用于获取人体信息在图像中的位置信息及大小信息；
目标跟踪单元5，与图像采集单元1和目标获取单元3连接，依据图像中预定图像帧之间的帧差获取当前的运动区域，并于运动区域中获取运动目标；
调整单元4，与目标跟踪单元5和图像采集单元1连接，调整图像采集单元1的朝向以使得运动目标位于图像的中心。
上述的基于人体信息的机器人监控系统，目标跟踪单元5包括：
帧差运算单元51，对获取的第n+2帧、第n-1帧和第n帧的图像信息进行运算，以获得第n-1帧的像素灰度与第n+2帧的像素灰度之间的帧差作为第一差值图像及第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二差值图像；
运动图获取单元52，与帧差运算单元51连接，依据第一差值图像和第二差值图像获得当前运动图；
运动目标获取单元53，与运动图获取单元52连接，于运动图中获取满足设定条件的点的集合，依据点的集合获得运动目标。
上述的基于人体信息的机器人监控系统，调整单元4包括，
判断单元，用于判断运动目标距离图像的中心的距离，当距离大于设定阈值时，产生一调整信号。
上述的基于人体信息的机器人监控系统，还包括存储单元，与图像采集单元1连接，用于存储图像。
上述的基于人体信息的机器人监控系统，人体信息为人脸信息。
还提供，基于人体信息的机器人监控方法，其中，包括以下步骤：
步骤1，采集图像；
步骤2，判断图像中是否存在与一训练样本中相匹配的人体信息，如果否，重复步骤1；
步骤3，获取人体信息在图像中的位置信息及大小信息；
步骤4，依据图像中预定图像帧之间的帧差获取当前的运动区域，并于运动区域中获取运动目标；
步骤5，调整图像采集单元1的朝向以使得运动目标位于图像的中心。
本发明针对现有技术中图像采集装置需要全天24小时、单角度的监控所存在的缺点，通过检测人体信息，当检测到人体信息的时候跟踪该人，使得监控中心始终位于人体位置，可有效实现人体定位及跟踪，以对感兴趣的内容信息进行监控。
上述的基于人体信息的机器人监控方法，步骤4具体如下：
步骤41，对获取的第n+2帧、第n-1帧和第n帧的图像信息进行运算，以获得第n-1帧的像素灰度与第n+2帧的像素灰度之间的帧差作为第一差值图像及第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二差值图像；
步骤42，依据第一差值图像和第二差值图像获得当前运动图；
步骤43，于运动图中获取满足设定条件的点的集合，每个点表示一个运动元，找出所有相互连接的运动元作为疑似运动目标；
步骤44，计算各个疑似运动目标的运动强度值，运动强度值等于运动元的数量除以疑似运动目标的矩形面积，依据运动强度值和疑似运动目标的面积获得当前时间点下的所有有效运动目标；
步骤45，于有效运动目标中选取与目标对象最接近的矩形框作为运动目标。
上述的目标跟踪方法，一种具体的实施例：以步骤3中获得的位置信息以及大小信息，初始化该位置信息为跟踪起始信息；之后使用帧差法：首先，获取当前图像帧和前面两个图像帧采集的图像信息，用第一图像帧减第三图像帧获得一第一差值图像img1，再用第二图像帧减第三图像帧获得一第二差值图像img2，将第一差值图像img1与第二差值图像img2叠加得到运动图motionmap；其次，在运动图motionmap中不等于0的点表示一个运动元，找到所有相互连接的运动元，这些相互连接的运动元则组成一个疑似运动目标simobjs；最后，计算所有疑似运动目标的运动强度dev，运动强度dev＝运动元数量/疑似目标的矩形面积，当运动强度值越大表示这个区域的运动信息越丰富，反之越稀疏，另外当疑似目标的矩形面积小于一定阈值的情况下则认为该区域不是一个运动区域，并将其过滤；此时，就得到了当前时间点下的所有有效运动目标objs，在这些目标中选取与该目标物体最接近的objs矩形框，重复进行步骤1的操作。
上述的步骤5中具体如下：判断分析运动目标obj是否处于图像中心，若运动目标obj离开图像中心大于一定距离后，通过让机器人朝目标物体运动方向调整相同的距离，保持目标物体中心始终处于图像中心。
上述的基于人体信息的机器人监控方法，步骤1之前通过预先训练获得训练样本。
当判断获得的图像中存在与训练样本中相匹配的人体信息时，进一步获取人体信息在图像中的位置以及大小信息，如果不存在人体信息，则持续进行人体信息的检测。
上述的基于人体信息的机器人监控方法，步骤1至步骤4重复循环执行到一定时长时，选取步骤2第一次通过的时间点与步骤2的最后一次失败的时间点之间的时间段的视频至一监控存储中心。
具体地，如果上述步骤重复循环到一定时长，则认为该时间点存在人体运动信息，选取第一次步骤2判断过程通过的时间点与最后一次步骤2判断过程失败的时间点并分别向前、向后延长5s-10s的时间，保存这个时间段的视屏到监控存储中心。
还有一种可替代的方案是根据运动信息检测来判断当前状态是否需要记录监控视频。
上述的基于人体信息的机器人监控方法，人体信息采用人脸信息。
以上技术方案可用于家庭智能机器人，检测人体信息并跟踪，从而判断该时间点是否为合适的监控记录时间点；也可以用于户外监控摄像头厂商，在记录全天24小时信息的过程同时，给用户提醒其感兴趣的监控视频段。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (14)

1.基于人体信息的机器人监控系统，其特征在于，包括，
图像采集单元，用于采集图像；
人体检测单元，与所述图像采集单元连接，用于判断所述图像中是否存在与一训练样本中相匹配的人体信息；
目标获取单元，与所述人体检测单元连接，用于获取所述人体信息在所述图像中的位置信息及大小信息；
目标跟踪单元，与所述图像采集单元和所述目标获取单元连接，依据所述图像中预定图像帧之间的帧差获取当前的运动区域，并于所述运动区域中获取运动目标；
调整单元，与所述目标跟踪单元和所述图像采集单元连接，调整所述图像采集单元的朝向以使得所述运动目标位于所述图像的中心；
其中，所述目标跟踪单元包括：
帧差运算单元，用于对获取到的当前图像帧和前面两个图像帧的图像信息，用第一图像帧减第三图像帧获得一第一差值图像，再用第二图像帧减第三图像帧获得一第二差值图像；
运动图获取单元，与所述帧差运算单元连接，用于依据所述第一差值图像和所述第二差值图像获得当前运动图；
运动目标获取单元，与所述运动图获取单元连接，用于：于所述运动图中获取满足设定条件的点的集合，每个点表示一个运动元，找出所有相互连接的运动元作为疑似运动目标；计算各个疑似运动目标的运动强度值，运动强度值等于运动元的数量除以疑似运动目标的矩形面积，依据运动强度值和疑似运动目标的面积获得当前时间点下的所有有效运动目标；以及，于有效运动目标中选取与目标对象最接近的矩形框作为所述运动目标。
2.根据权利要求1所述的基于人体信息的机器人监控系统，其特征在于，所述帧差运算单元具体用于：
用所述第一图像帧的像素灰度减所述第三图像帧的像素灰度以获得所述第一差值图像，再用所述第二图像帧的像素灰度减所述第三图像帧的像素灰度以获得所述第二差值图像。
3.根据权利要求1所述的基于人体信息的机器人监控系统，其特征在于，所述运动图获取单元具体用于：将所述第一差值图像与所述第二差值图像叠加得到所述运动图。
4.根据权利要求1所述的基于人体信息的机器人监控系统，其特征在于，所述调整单元包括，
判断单元，用于判断所述运动目标距离所述图像的中心的距离，当所述距离大于设定阈值时，产生一调整信号。
5.根据权利要求1所述的基于人体信息的机器人监控系统，其特征在于，还包括存储单元，与所述图像采集单元连接，用于存储所述图像。
6.根据权利要求1所述的基于人体信息的机器人监控系统，其特征在于，所述人体信息为人脸信息。
7.根据权利要求1所述的基于人体信息的机器人监控系统，其特征在于，所述目标跟踪单元还用于：在进行所述依据所述图像中预定图像帧之间的帧差获取当前的运动区域的步骤之前，根据所述人体信息在所述图像中的位置信息以及大小信息，初始化所述位置信息为跟踪起始信息。
8.基于人体信息的机器人监控方法，其特征在于，包括以下步骤：
步骤1，采集图像；
步骤2，判断所述图像中是否存在与一训练样本中相匹配的人体信息，如果否，重复步骤1；
步骤3，获取所述人体信息在所述图像中的位置信息及大小信息；
步骤4，依据所述图像中预定图像帧之间的帧差获取当前的运动区域，并于所述运动区域中获取运动目标；
步骤5，调整采集图像的朝向以使得所述运动目标位于所述图像的中心；
其中，所述步骤4包括：
对获取到的当前图像帧和前面两个图像帧的图像信息，用第一图像帧减像素灰度获得一第一差值图像，再用第二图像帧减第三图像帧获得一第二差值图像；
依据所述第一差值图像和所述第二差值图像获得当前运动图；
于所述运动图中获取满足设定条件的点的集合，每个点表示一个运动元，找出所有相互连接的运动元作为疑似运动目标；
计算各个疑似运动目标的运动强度值，所述运动强度值等于所述运动元的数量除以所述疑似运动目标的矩形面积，依据所述运动强度值和所述疑似运动目标的面积获得当前时间点下的所有有效运动目标；
于所述有效运动目标中选取与目标对象最接近的矩形框作为所述运动目标。
9.根据权利要求8所述的基于人体信息的机器人监控方法，其特征在于，所述用第一图像帧减像素灰度获得一第一差值图像，再用第二图像帧减第三图像帧获得一第二差值图像，包括：
用所述第一图像帧的像素灰度减所述第三图像帧的像素灰度以获得所述第一差值图像，再用所述第二图像帧的像素灰度减所述第三图像帧的像素灰度以获得所述第二差值图像。
10.根据权利要求8所述的基于人体信息的机器人监控方法，其特征在于，所述依据所述第一差值图像和所述第二差值图像获得当前运动图包括：将所述第一差值图像与所述第二差值图像叠加得到所述运动图。
11.根据权利要求8所述的基于人体信息的机器人监控方法，其特征在于，所述步骤1之前通过预先训练获得所述训练样本。
12.根据权利要求8所述的基于人体信息的机器人监控方法，其特征在于，所述步骤1至所述步骤4重复循环执行到一定时长时，选取所述步骤2第一次通过的时间点与所述步骤2的最后一次失败的时间点之间的时间段的视频至一监控存储中心。
13.根据权利要求8所述的基于人体信息的机器人监控方法，其特征在于，所述人体信息采用人脸信息。
14.根据权利要求8所述的基于人体信息的机器人监控方法，其特征在于，在所述对获取到的当前图像帧和前面两个图像帧的图像信息，用第一图像帧减像素灰度获得一第一差值图像，再用第二图像帧减第三图像帧获得一第二差值图像的步骤之前还包括：根据所述人体信息在所述图像中的位置信息以及大小信息，初始化所述位置信息为跟踪起始信息。
CN201610099509.5A 2016-02-23 2016-02-23 基于人体信息的机器人监控系统 Active CN107105193B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610099509.5A CN107105193B (zh) 2016-02-23 2016-02-23 基于人体信息的机器人监控系统
US15/999,670 US11158064B2 (en) 2016-02-23 2017-02-20 Robot monitoring system based on human body information
PCT/CN2017/074048 WO2017143949A1 (zh) 2016-02-23 2017-02-20 基于人体信息的机器人监控系统
TW106105869A TWI615026B (zh) 2016-02-23 2017-02-22 基於人體資訊的機器人監控系統及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610099509.5A CN107105193B (zh) 2016-02-23 2016-02-23 基于人体信息的机器人监控系统

Publications (2)

Publication Number Publication Date
CN107105193A CN107105193A (zh) 2017-08-29
CN107105193B true CN107105193B (zh) 2020-03-20

Family

ID=59658324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610099509.5A Active CN107105193B (zh) 2016-02-23 2016-02-23 基于人体信息的机器人监控系统

Country Status (4)

Country Link
US (1) US11158064B2 (zh)
CN (1) CN107105193B (zh)
TW (1) TWI615026B (zh)
WO (1) WO2017143949A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107621694A (zh) * 2017-09-15 2018-01-23 长春市求非光学科技有限公司 电子式天文望远镜跟踪星体的方法及电子式天文望远镜
CN112528817B (zh) * 2020-12-04 2024-03-19 重庆大学 一种基于神经网络的巡检机器人视觉检测及跟踪方法
CN112822470A (zh) * 2020-12-31 2021-05-18 济南景雄影音科技有限公司 基于人体图像跟踪的投影互动系统及方法
CN115314717B (zh) * 2022-10-12 2022-12-20 深流微智能科技(深圳)有限公司 视频传输方法、装置、电子设备和计算机可读存储介质
CN116453062B (zh) * 2023-06-12 2023-08-22 青岛义龙包装机械有限公司 基于机器人高精度柔顺装配的包装机装配风险监控方法
CN117061708A (zh) * 2023-09-15 2023-11-14 威海嘉瑞光电科技股份有限公司 一种智能家居摄像头控制方法、系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1232197A (zh) * 1998-04-16 1999-10-20 三星电子株式会社 自动跟踪运动目标的方法和装置
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置
CN101043616A (zh) * 2007-02-07 2007-09-26 北京航空航天大学 基于目标的图像位置自动控制摄像机运动的方法
CN101211411A (zh) * 2007-12-21 2008-07-02 北京中星微电子有限公司 一种人体检测的方法和装置
CN101547344A (zh) * 2009-04-24 2009-09-30 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法
CN101814242A (zh) * 2010-04-13 2010-08-25 天津师范大学 教师讲课的运动目标实时跟踪录课装置
CN103024344A (zh) * 2011-09-20 2013-04-03 佳都新太科技股份有限公司 一种基于粒子滤波的ptz自动跟踪目标的方法
CN104751486A (zh) * 2015-03-20 2015-07-01 安徽大学 一种多ptz相机的运动目标接力跟踪算法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001247315A1 (en) * 2000-03-10 2001-09-24 Sensormatic Electronics Corporation Method and apparatus for object tracking and detection
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
TW200713137A (en) * 2005-09-28 2007-04-01 chong-de Liao Multi-functional monitoring system
AU2009236675A1 (en) * 2008-04-14 2009-10-22 Gvbb Holdings S.A.R.L. Technique for automatically tracking an object
JP4670943B2 (ja) * 2008-11-27 2011-04-13 ソニー株式会社 監視装置、及び妨害検知方法
TWI365662B (en) * 2008-12-03 2012-06-01 Inst Information Industry Method and system for digital image stabilization and computer program product using the method thereof
CN101893894B (zh) 2010-06-30 2012-01-04 上海交通大学 可重构微型移动机器人集群定位跟踪系统
CN102456225B (zh) * 2010-10-22 2014-07-09 深圳中兴力维技术有限公司 一种运动目标检测与跟踪方法和系统
CN102096927A (zh) * 2011-01-26 2011-06-15 北京林业大学 自主林业机器人目标跟踪方法
KR101868894B1 (ko) * 2011-12-19 2018-06-20 한국전자통신연구원 로봇을 이용한 객체추적 시스템 및 그 추적방법
CN103259962B (zh) * 2013-04-17 2016-02-17 深圳市捷顺科技实业股份有限公司 一种目标追踪方法和相关装置
US20160188977A1 (en) * 2014-12-24 2016-06-30 Irobot Corporation Mobile Security Robot
CN104751483B (zh) 2015-03-05 2018-02-09 北京农业信息技术研究中心 一种仓储物流机器人工作区域异常情况的监控方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1232197A (zh) * 1998-04-16 1999-10-20 三星电子株式会社 自动跟踪运动目标的方法和装置
CN101043616A (zh) * 2007-02-07 2007-09-26 北京航空航天大学 基于目标的图像位置自动控制摄像机运动的方法
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置
CN101211411A (zh) * 2007-12-21 2008-07-02 北京中星微电子有限公司 一种人体检测的方法和装置
CN101547344A (zh) * 2009-04-24 2009-09-30 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法
CN101814242A (zh) * 2010-04-13 2010-08-25 天津师范大学 教师讲课的运动目标实时跟踪录课装置
CN103024344A (zh) * 2011-09-20 2013-04-03 佳都新太科技股份有限公司 一种基于粒子滤波的ptz自动跟踪目标的方法
CN104751486A (zh) * 2015-03-20 2015-07-01 安徽大学 一种多ptz相机的运动目标接力跟踪算法

Also Published As

Publication number Publication date
TW201731280A (zh) 2017-09-01
WO2017143949A1 (zh) 2017-08-31
TWI615026B (zh) 2018-02-11
US20210209769A1 (en) 2021-07-08
US11158064B2 (en) 2021-10-26
CN107105193A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
CN107105193B (zh) 基于人体信息的机器人监控系统
CN107016367B (zh) 一种跟踪控制方法及跟踪控制系统
US7982774B2 (en) Image processing apparatus and image processing method
CN108038837B (zh) 视频中目标检测方法及系统
US11887318B2 (en) Object tracking
EP2549738B1 (en) Method and camera for determining an image adjustment parameter
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
US10654422B2 (en) View friendly monitor systems
US20070018977A1 (en) Method and apparatus for generating a depth map
CN109376601B (zh) 基于高速球的物体跟踪方法、监控服务器、视频监控系统
JPWO2014010174A1 (ja) 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
JP2008241707A (ja) 自動監視システム
CN111627049A (zh) 高空抛物的确定方法、装置、存储介质及处理器
CN101715070B (zh) 特定监控视频中的背景自动更新方法
Tawari et al. Attention estimation by simultaneous analysis of viewer and view
EP3432575A1 (en) Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus
CN110378183B (zh) 图像解析装置、图像解析方法及记录介质
US10708600B2 (en) Region of interest determination in video
CN109460077B (zh) 一种自动跟踪方法、自动跟踪设备及自动跟踪系统
JP2009211525A (ja) 物体検出装置
JP2008047991A (ja) 画像処理装置
Huang et al. Motion characteristics estimation of animals in video surveillance
CN113674319A (zh) 一种目标跟踪的方法、系统、设备及计算机存储介质
Zaihidee et al. Comparison of human segmentation using thermal and color image in outdoor environment
CN115761616B (zh) 一种基于存储空间自适应的控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1238045

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant