CN107844734B - 监控目标确定方法及装置、视频监控方法及装置 - Google Patents

监控目标确定方法及装置、视频监控方法及装置 Download PDF

Info

Publication number
CN107844734B
CN107844734B CN201610831083.8A CN201610831083A CN107844734B CN 107844734 B CN107844734 B CN 107844734B CN 201610831083 A CN201610831083 A CN 201610831083A CN 107844734 B CN107844734 B CN 107844734B
Authority
CN
China
Prior art keywords
target
positive sample
seed
monitoring
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610831083.8A
Other languages
English (en)
Other versions
CN107844734A (zh
Inventor
杨彭举
浦世亮
谢迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610831083.8A priority Critical patent/CN107844734B/zh
Publication of CN107844734A publication Critical patent/CN107844734A/zh
Application granted granted Critical
Publication of CN107844734B publication Critical patent/CN107844734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例提供了一种监控目标确定方法及装置、视频监控方法及装置。该监控目标确定方法包括：根据用户在观看第一监控视频时的眼球运动，获取用户在第一监控视频中每一帧图像的关注焦点；根据预先设置的物体特征，识别第一监控视频中每一帧图像的待选目标；针对第一监控视频中的每一帧图像，根据帧图像中的待选目标与帧图像中的关注焦点之间的距离，从帧图像的待选目标中选取种子目标；针对每个种子目标，判断已保存的正样本库中是否存在与种子目标匹配的正样本，如果是，则将所述种子目标确定为所述第一监控视频的监控目标；如果否，则将所述种子目标作为正样本保存至所述正样本库。本实施例能够更准确地从监控视频中确定出用户的监控目标。

Description

监控目标确定方法及装置、视频监控方法及装置
技术领域
本发明涉及智能监控技术领域，特别涉及一种监控目标确定方法及装置、视频监控方法及装置。
背景技术
随着人们生活水平的提高以及网络技术的发展，当人们身处某地，想要了解另一个地方的情况时，可以通过监控系统实现。例如，当人们身处工作单位，想要了解家中电器的使用情况或者家中老人或小孩的情况时，可以通过家庭监控系统实现；当人们身处家中，想要了解农场中牲畜的情况时，也可以通过监控系统实现。监控系统通常包括视频采集端和终端，视频采集端将采集的监控视频传输给终端，供用户观看。
为了使监控系统更智能化，监控系统还可以包括服务器端，服务器端与图像采集端和终端均相连。终端收集用户对监控视频的监控情况，并将监控情况传送给服务器，服务器接收用户的监控情况，并对监控视频进行分析，从监控视频中确定用户的监控目标，并根据监控视频获取与该监控目标相关的信息，然后传送给终端，以使用户能够了解监控区域的情况，这样用户就不需要时刻面对着监控视频以获取与监控目标相关的信息了。
例如，假设确定用户的监控目标是家中的老人，那么服务器就对监控视频中的这位老人进行持续监控，当从监控视频中检测到这位老人存在倒地等预先设置的特征时，向终端发送监控信息，以通知用户。
现有技术中，在针对第一监控视频确定用户的监控目标时，通常采用以下方法：当用户的眼睛关注第一监控视频时，终端根据用户的眼球活动情况，采集眼球跟踪轨迹，将眼球跟踪轨迹对应的视频内容确定为用户的监控目标。但是，用户在关注第一监控视频时，眼睛一般不会非常准确地盯着监控目标，也会关注其他一些目标，因此现有技术中确定监控目标的方法准确性不够高。
通常，在进行视频监控时要根据确定的监控目标来获得相应的信息。由于在确定监控目标时存在准确性不高的问题，因此视频监控中也存在确定的监控信息不准确的问题。
发明内容
本发明实施例的目的在于提供了一种监控目标确定方法及装置、视频监控方法及装置，能够更准确地从监控视频中确定用户的监控目标，更准确地对监控视频中的监控目标进行监控。
为了达到上述目的，本申请公开了一种监控目标确定方法，所述方法包括：
根据用户在观看第一监控视频时的眼球运动，获取用户在所述第一监控视频中每一帧图像的关注焦点；
根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标；
针对所述第一监控视频中的每一帧图像，根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标；
针对每个所述种子目标，判断已保存的正样本库中是否存在与所述种子目标匹配的正样本，如果存在，则将所述种子目标确定为所述第一监控视频的监控目标；如果不存在，则将所述种子目标作为正样本保存至所述正样本库。
可选的，所述根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标，包括：
根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标的图像及位置信息；
根据每个所述待选目标的图像，获得每个所述待选目标的特征值；
所述正样本库中保存有每个正样本的特征值及位置信息；
所述判断已保存的正样本库中是否存在与所述种子样本匹配的正样本，包括：判断已保存的正样本库中是否存在与所述种子样本的特征值及位置信息均匹配的正样本。
可选的，在所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，所述方法还包括：
将所述第一监控视频中的所有种子目标进行聚类处理，获得每个聚类的聚类中心以及属于每个聚类的种子目标；
所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本，如果存在，则将所述种子目标确定为所述第一监控视频的监控目标，包括：
针对每个聚类中心，判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本，如果存在，则将所述聚类中心确定为所述第一监控视频的监控目标；如果不存在，则将所述聚类中心或属于所述聚类中心对应的聚类的种子目标作为正样本保存至正样本库。
可选的，在所述判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本之前，所述方法还包括：
针对每个聚类，判断所述聚类包含的种子目标的数量比例是否大于预设比例阈值，如果是，则将所述聚类确定为目标聚类；
所述判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本，包括：
判断已保存的正样本库中是否存在与所述目标聚类的聚类中心的特征值及位置信息均匹配的正样本。
可选的，在所述将所述聚类中心确定为所述第一监控视频的监控目标之前，还包括：
记录聚类中心匹配成功的次数；当所述次数大于预设次数阈值时，执行将所述聚类中心确定为所述第一监控视频的监控目标的步骤。
可选的，在所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，所述方法还包括：
将所述第一监控视频中每一帧图像的待选目标中除种子目标之外的待选目标确定为待定负样本；
针对每个待定负样本，根据位置信息，计算所述待定负样本与对应的帧图像中的每个种子目标的重叠比例；
将重叠比例小于预设比例阈值的待定负样本确定为负样本；
将每个负样本的特征值和位置信息保存至负样本库；
所述针对每个所述种子目标，判断已保存的正样本库中是否存在与所述种子目标匹配的正样本，包括：
针对每个所述种子目标，根据所述正样本库、所述负样本库以及预设第一公式，获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述正样本库中保存有经过聚类处理的每个聚类以及属于每个聚类的正样本；
判断所述概率比值中是否存在大于预设概率比值阈值的概率比值，如果存在，则确定所述正样本库中存在与所述种子目标匹配的正样本。
可选的，所述针对每个所述种子目标，根据所述正样本库、所述负样本库以及预设第一公式，获得所述种子目标属于正样本的概率与属于负样本的概率比值，包括：
针对每个所述种子目标，根据所述正样本库、所述负样本库以及
Figure BDA0001116469290000041
获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述Ri为所述种子目标属于正样本的概率与属于负样本的概率比值，所述X为所述种子目标的位置信息，所述A为所述种子目标的特征值，所述θi是根据所述正样本库中属于第i个聚类的正样本的特征值以及变分贝叶斯算法获得的参数，所述p(X，A|θi)为所述种子目标属于所述第i个聚类的概率，所述p(θi|Xti，Ati，Ofg)是根据所述正样本库中属于第i个聚类的正样本的位置信息Xti和特征值Ati以及贝叶斯公式获得的概率，所述Ofg为预设的参数，所述θbg是根据所述负样本库中所有负样本的特征值以及变分贝叶斯算法获得的参数，所述p(X，A|θbg)为所述种子目标属于所述负样本库中的负样本的概率，所述p(θbg|Xb，Ab，Obg)是根据所述负样本库中所有负样本的位置信息Xb和特征值Ab以及最大似然估计法得到的概率，所述Obg为预设的参数。
可选的，所述根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标，包括：
针对所述帧图像中的每个待选目标，计算所述待选目标与所述帧图像中的每个关注焦点之间的距离，判断所述距离中是否存在小于预设距离阈值的距离，如果存在，则将所述待选目标选取为种子目标。
可选的，所述计算所述待选目标与所述帧图像中的每个关注焦点之间的距离，为：
计算所述待选目标的中心点与所述帧图像中的每个关注焦点的中心点之间的坐标距离；或，
计算所述待选目标的点集与所述帧图像中的每个关注焦点的点集之间的Hausdoff距离。
为了达到上述目的，本申请公开了一种视频监控方法，包括：
采用本申请所述的监控目标确定方法确定所述第一监控视频的监控目标；
监控所述监控目标，获取所述监控目标的监控信息；
从预设的监控信息与报警信息的对应关系中匹配所述监控信息；
针对所述监控目标，输出匹配成功的报警信息。
为了达到上述目的，本申请公开了一种监控目标确定装置，所述装置包括：
获取模块，用于根据用户在观看第一监控视频时的眼球运动，获取用户在所述第一监控视频中每一帧图像的关注焦点；
识别模块，用于根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标；
选取模块，用于针对所述第一监控视频中的每一帧图像，根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标；
判断模块，用于针对每个所述种子目标，判断已保存的正样本库中是否存在与所述种子目标匹配的正样本；
确定模块，用于针对每个所述种子目标，当已保存的正样本库中存在与所述种子目标匹配的正样本时，将所述种子目标确定为所述第一监控视频的监控目标；
保存模块，用于当已保存的正样本库中不存在与所述种子目标匹配的正样本时，将所述种子目标作为正样本保存至所述正样本库。
可选的，所述正样本库中保存有每个正样本的特征值及位置信息；所述识别模块包括：
识别子模块，用于根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标的图像及位置信息；
获得子模块，用于根据每个所述待选目标的图像，获得每个所述待选目标的特征值；
所述判断模块，具体用于判断已保存的正样本库中是否存在与所述种子样本的特征值及位置信息均匹配的正样本。
可选的，所述装置还包括：
聚类模块，用于在所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，将所述第一监控视频中的所有种子目标进行聚类处理，获得每个聚类的聚类中心以及属于每个聚类的种子目标；
所述判断模块，具体用于针对每个聚类中心，判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本；
所述确定模块，具体用于当已保存的正样本库中存在与所述聚类中心的特征值及位置信息均匹配的正样本时，将所述聚类中心确定为所述第一监控视频的监控目标；
所述保存模块，具体用于将所述聚类中心或属于所述聚类中心对应的聚类的种子目标作为正样本保存至正样本库。
可选的，所述装置还包括：
目标聚类确定模块，用于在所述判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本之前，针对每个聚类，判断所述聚类包含的种子目标的数量比例是否大于预设比例阈值，如果是，则将所述聚类确定为目标聚类；
所述判断模块，具体用于：
判断已保存的正样本库中是否存在与所述目标聚类的聚类中心的特征值及位置信息均匹配的正样本。
可选的，所述装置还包括：
记录模块，用于在所述将所述聚类中心确定为所述第一监控视频的监控目标之前，记录聚类中心匹配成功的次数；
所述确定模块，具体用于当所述次数大于预设次数阈值时，将所述聚类中心确定为所述第一监控视频的监控目标。
可选的，所述装置还包括：
待定负样本确定模块，在所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，将所述第一监控视频中每一帧图像的待选目标中除种子目标之外的待选目标确定为待定负样本；
重叠比例计算模块，用于针对每个待定负样本，根据位置信息，计算所述待定负样本与对应的帧图像中的每个种子目标的重叠比例；
负样本确定模块，用于将重叠比例小于预设比例阈值的待定负样本确定为负样本；
负样本信息保存模块，用于将每个负样本的特征值和位置信息保存至负样本库；
所述判断模块包括：
概率比值获得子模块，用于针对每个所述种子目标，根据所述正样本库、所述负样本库以及预设第一公式，获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述正样本库中保存有经过聚类处理的每个聚类以及属于每个聚类的正样本；
概率比值判断子模块，用于判断所述概率比值中是否存在大于预设概率比值阈值的概率比值，如果存在，则确定所述正样本库中存在与所述种子目标匹配的正样本。
可选的，所述概率比值获得子模块，具体用于：
针对每个所述种子目标，根据所述正样本库、所述负样本库以及
Figure BDA0001116469290000081
获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述Ri为所述种子目标属于正样本的概率与属于负样本的概率比值，所述X为所述种子目标的位置信息，所述A为所述种子目标的特征值，所述θi是根据所述正样本库中属于第i个聚类的正样本的特征值以及变分贝叶斯算法获得的参数，所述p(X，A|θi)为所述种子目标属于所述第i个聚类的概率，所述p(θi|Xti，Ati，Ofg)是根据所述正样本库中属于第i个聚类的正样本的位置信息Xti和特征值Ati以及贝叶斯公式获得的概率，所述Ofg为预设的参数，所述θbg是根据所述负样本库中所有负样本的特征值以及变分贝叶斯算法获得的参数，所述p(X，A|θbg)为所述种子目标属于所述负样本库中的负样本的概率，所述p(θbg|Xb，Ab，Obg)是根据所述负样本库中所有负样本的位置信息Xb和特征值Ab以及最大似然估计法得到的概率，所述Obg为预设的参数。
可选的，所述选取模块包括：
距离计算子模块，用于针对所述帧图像中的每个待选目标，计算所述待选目标与所述帧图像中的每个关注焦点之间的距离；
目标选取子模块，用于判断所述距离中是否存在小于预设距离阈值的距离，如果存在，则将所述待选目标选取为种子目标。
可选的，所述距离计算子模块，具体用于：
计算所述待选目标的中心点与所述帧图像中的每个关注焦点的中心点之间的坐标距离；或，
计算所述待选目标的点集与所述帧图像中的每个关注焦点的点集之间的Hausdoff距离。
为了达到上述目的，本申请公开了一种视频监控装置，该装置包括：
确定模块，用于采用本申请实施例所述的监控目标确定方法确定所述第一监控视频的监控目标；
监控模块，用于监控所述监控目标，获取所述监控目标的监控信息；
匹配模块，用于从预设的监控信息与报警信息的对应关系中匹配所述监控信息；
报警模块，用于针对所述监控目标，输出匹配成功的报警信息。
由上述技术方案可见，本发明实施例根据用户在观看第一监控视频时的眼球活动，获取用户在第一监控视频中每一帧图像的关注焦点，根据预先设置的物体特征，识别第一监控视频中每一帧图像的待选目标。针对第一监控视频的每一帧图像，根据所述帧图像中的待选目标与该帧图像中的关注焦点之间的距离，从帧图像中选取种子目标，判断已保存的正样本库中是否存在与种子目标匹配的正样本，如果存在，则将种子目标确定为第一监控视频的监控目标，否则，将种子目标作为正样本保存至正样本库。
也就是说，本发明实施例根据用户对第一监控视频的帧图像的关注焦点，从识别出的待选目标中选取种子目标，当正样本库中存在与该种子目标匹配的正样本时，将该种子目标确定为第一监控视频的监控目标。当正样本库中不存在与该种子目标匹配的正样本时，将该种子目标作为正样本保存至正样本库。因此，正样本库中的每个正样本都是根据用户眼球的关注焦点得到的可能的监控目标，当正样本库中存在与种子目标匹配的正样本时，即能将该种子目标确定为用户的监控目标。因此，本发明实施例能够更准确地从监控视频中确定出用户的监控目标。
本发明实施例提供的视频监控方法及装置，能够在监控目标确定之后监控该监控目标，获取监控目标的监控信息，并输出报警信息，由于采用了上述的方法确定监控目标，因此提高了报警的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的监控目标确定方法的一种流程示意图；
图2为本发明实施例提供的监控目标确定方法的另一种流程示意图；
图3为本发明实施例提供的视频监控方法的一种流程示意图；
图4为本发明实施例提供的监控目标确定装置的一种结构示意图；
图5为本发明实施例提供的监控目标确定装置的另一种结构示意图；
图6为本发明实施例提供的视频监控装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种监控目标确定方法及装置、视频监控方法及装置，能够更准确地从监控视频中确定出用户的监控目标。
下面通过具体实施例，对本发明进行详细说明。
图1为本发明实施例提供的监控目标确定方法的一种流程示意图，其包括如下步骤：
步骤S101：根据用户在观看第一监控视频时的眼球运动，获取用户在第一监控视频中每一帧图像的关注焦点。
在实际应用中，第一监控视频可以采用台式电脑、平板电脑和笔记本电脑等PC(personal computer)端设备呈现给用户，也可以采用智能手机等移动端设备呈现给用户。设备上可以安装眼球跟踪装置，通过眼球跟踪装置接收用户的眼球运动轨迹。其中，眼球跟踪装置可以通过设备上的摄像头实现。设备端根据眼球运动轨迹获取第一监控视频中每一帧图像的关注焦点。
在本发明实施例中，获取关注焦点，可以理解为获取关注焦点的区域坐标、帧标识信息以及图像。其中，区域坐标可以是矩形区域坐标，也可以是圆形区域坐标。帧标识信息可以是帧图像的时间戳，也可以是帧图像的序列编号。
需要说明的是，监控视频是随时间不断产生的，如果用户连续观看全部监控视频，那么第一监控视频就是全部监控视频；如果用户不是连续观看监控视频的，而是在一段时间内观看一次监控视频，那么当前的第一监控视频就是当前时间段用户观看的部分监控视频。在实际应用中，用户通常是不连续地观看监控视频的。
可以理解的是，用户每次观看监控视频，都可以看做一次观看周期。本实施例针对当前的观看周期，确定当前观看周期中用户对监控视频的监控目标。
步骤S102：根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标。
预先设置的物体特征，可以包括规则的边缘形状、有规律的色彩分布等特征。
在实际应用中，如果监控场景是家庭，那么识别出的待选目标可以是电视、空调、煤气灶、门或者家中的老人、小孩等对象。
在本发明实施例中，识别待选目标，可以理解为识别出待选目标的区域坐标、帧标识信息以及图像。
实际上，根据预先设置的物体特征识别图像中的目标属于现有技术，具体过程这里不再赘述。
步骤S103：针对所述第一监控视频中的每一帧图像，根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标。
可以理解的是，由于人在观看监控视频时，人眼球是不断移动的，因此，根据用户的眼球运动获取的关注焦点很难非常准确地就是用户对监控视频的监控目标。所以，本实施例中没有直接根据用户关注焦点来确定监控目标，而是利用关注焦点，从待选目标中选取种子目标，进而从种子目标中确定监控目标。
作为本实施例的一种具体实施方式，根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标，可以包括：
针对所述帧图像中的每个待选目标，计算所述待选目标与所述帧图像中的每个关注焦点之间的距离，判断所述距离中是否存在小于预设距离阈值的距离，如果存在，则将所述待选目标选取为种子目标。
也就是说，针对任一帧图像，该帧图像周围可能分布着多个关注焦点和多个待选目标，针对任一待选目标，分别计算该待选目标与每个关注焦点的距离，获得多个距离，如果这多个距离中至少存在一个距离小于预设距离阈值，则将该待选目标选取为种子目标。
具体的，计算所述待选目标与所述帧图像中的每个关注焦点之间的距离，可以包括多种实施方式：
一种是，计算所述待选目标的中心点与所述帧图像中的每个关注焦点的中心点之间的坐标距离。
在这种方式中，首先可以根据该待选目标和每个关注焦点的区域坐标，分别获得该待选目标和每个关注焦点的坐标中心点，然后计算待选目标的中心点与该帧图像中的每个关注焦点的中心点之间的坐标距离。
另一种是，计算所述待选目标的点集与所述帧图像中的每个关注焦点的点集之间的Hausdoff距离。
在这种方式中，待选目标的点集即是待选目标的区域内所有像素点的坐标集合，关注焦点的点集即是关注焦点的区域内所有像素点的坐标集合。作为另一种实施方式，待选目标的点集或每个关注焦点的点集也可以是待选目标或关注焦点区域框顶点处的坐标的集合。
步骤S104：针对每个所述种子目标，判断已保存的正样本库中是否存在与所述种子目标匹配的正样本，如果存在，则执行步骤S105，否则，执行步骤S106。
需要说明的是，本步骤可以包括多种实施方式，可以是根据种子目标的区域坐标、帧标识信息以及图像，在正样本库中进行匹配。也可以是，先对种子目标进行聚类，再将聚类后的种子目标在正样本库中匹配。本实施例对此过程不做具体限定。
步骤S105：将所述种子目标确定为所述第一监控视频的监控目标。
步骤S106：将所述种子目标作为正样本保存至正样本库。
可以理解的是，正样本库中保存了从多个观看周期中获得的可能是监控目标的大量种子目标。针对每一个种子目标，如果在正样本库中匹配上该种子目标，则进一步增强该种子目标是监控目标的可能性，此时将该种子目标确定为监控目标。如果在正样本库中没有匹配上该种子目标，说明正样本库的正样本还不够多，因此需要将该种子目标作为正样本保存至正样本库，以增加正样本库中正样本的数量。
由上述内容可知，本实施例根据用户对第一监控视频的帧图像的关注焦点，从识别出的待选目标中选取种子目标，当正样本库中存在与该种子目标匹配的正样本时，将该种子目标确定为第一监控视频的监控目标。当正样本库中不存在与该种子目标匹配的正样本时，将该种子目标作为正样本保存至正样本库。因此，正样本库中的每个正样本都是根据用户眼球的关注焦点得到的可能的监控目标，当正样本库中存在与种子目标匹配的正样本时，即能将该种子目标确定为用户的监控目标。因此，本实施例能够更准确地从监控视频中确定出用户的监控目标。
作为本发明的另一实施方式，在图1所示实施例中，步骤S102，即根据预先设置的物体特征，识别第一监控视频中每一帧图像的待选目标，可以包括：
步骤1：根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标的图像及位置信息。
其中，待选目标的图像即是指待选目标对应的图像的像素值信息。位置信息包括该待选目标的区域坐标以及该待选目标所在的帧图像。
步骤2：根据每个所述待选目标的图像，获得每个所述待选目标的特征值。
可以理解的是，上述特征值可以是卷积神经网络(Convolutional NeuralNetwork，CNN)值、尺度不变特征变换(Scale-invariant feature transform，SIFT)值或方向梯度直方图(Histogram of Oriented Gradient，HOG)值等。上述CNN算法是深度学习(Deep Learning)算法在图像处理领域中的一个应用。根据待选目标的图像包含的像素值以及CNN算法，可以获得待选目标的特征值即CNN值；根据待选目标的图像包含的像素值以及SIFT算法，可以获得待选目标的特征值即SIFT值；根据待选目标的图像包含的像素值以及HOG算法，可以获得待选目标的特征值即HOG值。具体的算法与现有技术相同，这里不再赘述。
需要说明的是，本实施例中，正样本库中保存有每个正样本的特征值及位置信息。
对应的，判断已保存的正样本库中是否存在与所述种子样本匹配的正样本，可以包括：判断已保存的正样本库中是否存在与所述种子样本的特征值及位置信息均匹配的正样本。
作为本发明的另一实施方式，在图1所示实施例中，为了更准确地匹配正样本库，在步骤S104之前，即在判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，还可以包括：
步骤1：将第一监控视频中每一帧图像的待选目标中除种子目标之外的待选目标确定为待定负样本。
可以理解的是，为了更准确地匹配正样本库，可以添加负样本库。这样，在匹配正样本库中的正样本时，就可以参考是否能匹配上负样本库的负样本。
步骤2：针对每个待定负样本，根据位置信息，计算所述待定负样本与对应的帧图像中的每个种子目标的重叠比例。
其中，重叠比例可以为面积的重叠比例。具体的，在计算一个待定负样本和一个种子目标的重叠比例时，首先根据区域坐标，获取待定负样本的面积S1、种子目标的面积S2以及待定负样本与种子目标的重叠面积S0，根据
Figure BDA0001116469290000141
计算待定负样本和种子目标的重叠比例s。
步骤3：将重叠比例小于预设比例阈值的待定负样本确定为负样本。
其中，负样本可以理解为不太可能是监控目标的样本。
步骤4：将每个负样本的特征值和位置信息保存至负样本库。
具体的，根据确定的每个负样本的图像，可以获得每个负样本的特征值。
对应的，在图1所示实施例中，步骤S104，即针对每个所述种子目标，判断已保存的正样本库中是否存在与所述种子目标匹配的正样本，可以包括：
步骤1：针对每个所述种子目标，根据正样本库、负样本库以及预设第一公式，获得所述种子目标属于正样本的概率与属于负样本的概率比值。其中，所述正样本库中保存有经过聚类处理的每个聚类以及属于每个聚类的正样本。
作为一种具体的实施方式，针对每个所述种子目标，根据正样本库、负样本库以及预设第一公式，获得所述种子目标属于正样本的概率与属于负样本的概率比值，可以包括：
针对每个所述种子目标，根据正样本库、负样本库以及
Figure BDA0001116469290000151
获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述Ri为所述种子目标属于正样本的概率与属于负样本的概率比值，所述X为所述种子目标的位置信息，所述A为所述种子目标的特征值，所述θi是根据所述正样本库中属于第i个聚类的正样本的特征值以及变分贝叶斯算法获得的参数，所述p(X，A|θi)为所述种子目标属于所述第i个聚类的概率，所述p(θi|Xti，Ati，Ofg)是根据所述正样本库中属于第i个聚类的正样本的位置信息Xti和特征值Ati以及贝叶斯公式获得的概率，所述Ofg为预设的参数，所述θbg是根据所述负样本库中所有负样本的特征值以及变分贝叶斯算法获得的参数，所述p(X，A|θbg)为所述种子目标属于所述负样本库中的负样本的概率，所述p(θbg|Xb，Ab，Obg)是根据所述负样本库中所有负样本的位置信息Xb和特征值Ab以及最大似然估计法得到的概率，所述Obg为预设的参数。
需要说明的是，∫p(X，A|θi)p(θi|Xti，Ati，Ofg)dθi为种子目标属于正样本的概率，∫p(X，A|θbg)p(θbg|Xb，Ab，Obg)dθbg为种子目标属于负样本的概率。前者越大，后者越小，越能说明正样本库中存在匹配上该种子样本的正样本。
步骤2：判断所述概率比值中是否存在大于预设概率比值阈值的概率比值，如果存在，则确定正样本库中存在与所述种子目标匹配的正样本，否则，确定正样本库中不存在与所述种子目标匹配的正样本。
可见，在本实施例中，将第一监控视频的每一帧图像中与该帧图像中种子目标的重叠比例小于预设比例阈值的待选目标确定为负样本，建立负样本库。在判断正样本库中是否存在与种子目标匹配的正样本时，可以根据该种子目标属于正样本的概率和属于负样本的概率判断。由于参考了种子目标属于负样本的概率，即利用更多条件判断种子目标是否属于正样本，因此能够提高匹配正样本库的准确性。
图2为本发明实施例提供的监控目标确定方法的另一种流程示意图，该方法包括步骤：
步骤S201：根据用户在观看第一监控视频时的眼球运动，获取用户在第一监控视频中每一帧图像的关注焦点。
本步骤与步骤S101完全相同，具体内容可参考步骤S101。
步骤S202：根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标的图像及位置信息，根据每个所述待选目标的图像，获得每个所述待选目标的特征值。
该步骤的具体说明请参考图1所示实施例。
步骤S203：针对所述第一监控视频中的每一帧图像，根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标。
本步骤与步骤S103完全相同，请参照步骤S103。
步骤S204：将第一监控视频中的所有种子目标进行聚类处理，获得每个聚类的聚类中心以及属于每个聚类的种子目标。
可以理解的是，本步骤针对的种子目标是第一监控视频中的所有种子目标，这些种子目标分布在不同的帧图像中。由于第一监控视频的所有帧图像中的多个种子目标可能是同一个物体，因此，对所有种子目标进行聚类处理，可以将属于同一个物体的多个种子目标归为一个聚类。
需要说明的是，每个聚类的聚类中心是属于该聚类的所有种子目标中的一个。
具体的，可以采用AP(affinity propagation)算法将所述种子目标进行聚类处理，获得每个聚类的聚类中心以及属于每个聚类的种子目标。
AP算法是一种高性能的聚类算法，具有很高的准确率。AP算法是基于数据点之间的消息传递的一种聚类算法。不同于传统的聚类算法(k-means)，AP算法不需要确定聚类的数目，而是找到能够表示一类的“典型样本”。
用x1，...，xn表示n个种子目标的特征值，s表示任意两个特征值之间的相似度，满足仅当xi与xj之间的相似度比xi与xk之间的相似度更高时，有s(xi，xj)＞s(xi，xk)。
在聚类过程中，算法交替地更新两类矩阵——吸引度(responsibility)矩阵与归属度(availability)矩阵。吸引度矩阵的每一个元素r(i，k)表示一个得分，此得分说明了在考虑其他候选点的前提下，当将xk作为当前xi的“典型样本”时的合适程度；而归属度矩阵的每一个元素a(i，k)同样表示一个得分，度量了数据点xi将数据点xk挑选为“典型样本”的合适程度。
吸引度矩阵的更新方程如下：
Figure BDA0001116469290000171
归属度矩阵的更新方程如下：
Figure BDA0001116469290000172
其中，i≠k且a(k，k)←∑i′≠kmax(0，r(i′，k))。
步骤S205：针对每个聚类中心，判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本，如果存在，则执行步骤S206，否则，执行步骤S207。
需要说明的是，每个聚类的聚类中心可以理解为能够代表这一聚类的种子目标。从正样本库中匹配聚类中心比匹配每个种子目标更能提高效率。
步骤S206：将所述聚类中心确定为所述第一监控视频的监控目标。
步骤S207：将所述聚类中心或属于所述聚类中心对应的聚类的种子目标作为正样本保存至正样本库。
由上述内容可见，图2所示实施例与图1所示实施例的不同之处在于，图2所示实施例中，对第一监控视频中的所有种子目标进行聚类处理，针对每个聚类中心，当正样本库中存在与该聚类中心匹配的正样本时，将所述聚类中心确定为监控目标。由于聚类中心是一类物体的代表，因此，采用聚类中心在正样本库中匹配，能够减少匹配次数，提高监控目标的确定效率。
作为本发明的另一实施方式，在图2所示实施例中，在所述判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本之前，还包括：针对每个聚类，判断所述聚类包含的种子目标的数量比例是否大于预设比例阈值，如果是，则将所述聚类确定为目标聚类。
其中，所述聚类包含的种子目标的数量比例可以采用如下方式获得：获得第一监控视频中所有聚类的种子目标数量的和值；针对每个聚类，将所述聚类包含的种子目标的数量与该和值的比值确定为该聚类包含的种子目标的数量比例。
可以理解的是，当所述聚类包含的种子目标的数量比例不大于预设比例阈值时，说明该聚类不够准确，将其舍弃即可。
对应的，在图2所示实施例中，判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本，可以包括：
判断已保存的正样本库中是否存在与所述目标聚类的聚类中心的特征值及位置信息均匹配的正样本。
可以理解的是，在本实施例中，根据每个聚类的种子目标的数量比例，从第一监控视频的所有聚类中确定目标聚类，判断正样本库中是否存在与目标聚类的聚类中心匹配的正样本，能够提高计算效率。
作为本发明的另一实施方式，在图2所示实施例中，在将所述聚类中心确定为所述第一监控视频的监控目标之前，还包括：
记录聚类中心匹配成功的次数；当所述次数大于预设次数阈值时，执行将所述聚类中心确定为所述第一监控视频的监控目标的步骤。
也就是说，当用户每次观看监控视频时，记录每次观看时聚类中心匹配成功的次数。当该次数大于预设次数阈值时，说明该聚类中心匹配成功的概率较大，将这样的聚类中心确定为监控目标，能够提高监控目标确定时的准确性。
图3为本发明实施例提供的视频监控方法的一种流程示意图，所述方法包括：
步骤S301：采用图1或图2所示实施例的监控目标确定方法，确定所述第一监控视频的监控目标。
步骤S302：监控所述监控目标，获取监控目标的监控信息。
需要说明的是，监控视频是随时间不断产生的，在确定监控目标之后，继续监控不断产生的监控视频，从不断产生的监控视频中获取监控目标的监控信息。
具体的，当监控目标是运动目标时，监控所述监控目标可以是对所述运动目标进行跟踪，提取其运动轨迹等信息，如果运动目标是人，还可以获取该人的骨架等信息。
当监控目标是静止目标时，监控所述监控目标可以是检测该静止目标的图像的变化信息。静止目标可以是煤气灶、空调等电器。例如，当监控目标是煤气灶时，可以对煤气灶是开火状态还是关火状态的信息进行提取。
步骤S303：从预设的监控信息与报警信息的对应关系中匹配监控信息。
具体的，可以预先设置监控信息与报警信息的对应关系，根据监控信息与报警信息的对应关系，匹配该监控信息。例如，当监控目标是人时，监控信息可以是在小于预设时间段的时间内人体体态有较大降落，对应的报警信息是人倒地；当监控目标是电器时，如果监控信息是检测到烟雾，对应的报警信息是烟雾报警；当监控目标是车时，如果监控信息是预设位置检测不到车辆，对应的报警信息是车辆离开预设位置。
步骤S304：针对监控目标，输出匹配成功的报警信息。
由上述内容可见，在本实施例中，由于采用图1或图2所示实施例的监控目标确定方法确定监控目标，因此提高了报警的准确性。
图4为本发明实施例提供的监控目标确定装置的一种流程示意图，与图1所示方法实施例相对应，所述装置包括获取模块401、识别模块402、选取模块403、判断模块404、确定模块405和保存模块406；
其中，获取模块401，用于根据用户在观看第一监控视频时的眼球运动，获取用户在第一时间段内对第一监控视频中每一帧图像的关注焦点；
识别模块402，用于根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标；
选取模块403，用于针对所述第一监控视频中的每一帧图像，根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标；
判断模块404，用于针对每个所述种子目标，判断已保存的正样本库中是否存在与所述种子目标匹配的正样本；
确定模块405，用于针对每个所述种子目标，当已保存的正样本库中存在与所述种子目标匹配的正样本时，将所述种子目标确定为所述第一监控视频的监控目标；
保存模块406，用于当已保存的正样本库中不存在与所述种子目标匹配的正样本时，将所述种子目标作为正样本保存至所述正样本库。
作为一种具体的实施方式，在图4所示实施例中，所述正样本库中保存有每个正样本的特征值及位置信息；所述识别模块402可以包括：
识别子模块(图中未示出)，用于根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标的图像及位置信息；
获得子模块(图中未示出)，用于根据每个所述待选目标的图像，获得每个所述待选目标的特征值；
所述判断模块(图中未示出)，具体用于判断已保存的正样本库中是否存在与所述种子样本的特征值及位置信息均匹配的正样本。
作为一种具体的实施方式，在图4所示实施例中，还可以包括待定负样本确定模块、重叠比例计算模块、负样本确定模块和负样本信息保存模块；(图中未示出)
待定负样本确定模块，在所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，将所述第一监控视频中每一帧图像的待选目标中除种子目标之外的待选目标确定为待定负样本；
重叠比例计算模块，用于针对每个待定负样本，根据位置信息，计算所述待定负样本与对应的帧图像中的每个种子目标的重叠比例；
负样本确定模块，用于将重叠比例小于预设比例阈值的待定负样本确定为负样本；
负样本信息保存模块，用于将每个负样本的特征值和位置信息保存至负样本库；
所述判断模块404可以包括概率比值获得子模块和概率比值判断子模块；(图中未示出)
概率比值获得子模块，用于针对每个所述种子目标，根据所述正样本库、所述负样本库以及预设第一公式，获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述正样本库中保存有经过聚类处理的每个聚类以及属于每个聚类的正样本；
概率比值判断子模块，用于判断所述概率比值中是否存在大于预设概率比值阈值的概率比值，如果存在，则确定所述正样本库中存在与所述种子目标匹配的正样本。
作为一种具体的实施方式，在图4所示实施例中，所述概率比值获得子模块，具体可以用于：
针对每个所述种子目标，根据所述正样本库、所述负样本库以及
Figure BDA0001116469290000221
获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述Ri为所述种子目标属于正样本的概率与属于负样本的概率比值，所述X为所述种子目标的位置信息，所述A为所述种子目标的特征值，所述θi是根据所述正样本库中属于第i个聚类的正样本的特征值以及变分贝叶斯算法获得的参数，所述p(X，A|θi)为所述种子目标属于所述第i个聚类的概率，所述p(θi|Xti，Ati，Ofg)是根据所述正样本库中属于第i个聚类的正样本的位置信息Xti和特征值Ati以及贝叶斯公式获得的概率，所述Ofg为预设的参数，所述θbg是根据所述负样本库中所有负样本的特征值以及变分贝叶斯算法获得的参数，所述p(X，A|θbg)为所述种子目标属于所述负样本库中的负样本的概率，所述p(θbg|Xb，Ab，Obg)是根据所述负样本库中所有负样本的位置信息Xb和特征值Ab以及最大似然估计法得到的概率，所述Obg为预设的参数。
作为一种具体的实施方式，在图4所示实施例中，选取模块403可以包括：
距离计算子模块(图中未示出)，用于针对所述帧图像中的每个待选目标，计算所述待选目标与所述帧图像中的每个关注焦点之间的距离；
目标选取子模块(图中未示出)，用于判断所述距离中是否存在小于预设距离阈值的距离，如果存在，则将所述待选目标选取为种子目标。
作为一种具体的实施方式，在图4所示实施例，所述距离计算子模块，具体可以用于：
计算所述待选目标的中心点与所述帧图像中的每个关注焦点的中心点之间的坐标距离；或，
计算所述待选目标的点集与所述帧图像中的每个关注焦点的点集之间的Hausdoff距离。
图5为本发明实施例提供的监控目标确定装置的一种流程示意图，与图2所示方法实施例相对应，所述装置包括：
获取模块501，用于针对第一监控视频，根据用户关注所述第一监控视频时的眼球运动，获取用户在第一时间段内对第一监控视频中每一帧图像的关注焦点；
识别模块502，用于根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标的图像及位置信息，根据每个所述待选目标的图像，获得每个所述待选目标的特征值；
选取模块503，用于针对所述第一监控视频中的每一帧图像，根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标；
聚类模块504，用于在所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，将所述第一监控视频中的所有种子目标进行聚类处理，获得每个聚类的聚类中心以及属于每个聚类的种子目标；
判断模块505，具体用于针对每个聚类中心，判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本；
确定模块506，具体用于当已保存的正样本库中存在与所述聚类中心的特征值及位置信息均匹配的正样本时，将所述聚类中心确定为所述第一监控视频的监控目标；
保存模块507，具体用于将所述聚类中心或属于所述聚类中心对应的聚类的种子目标作为正样本保存至正样本库。
作为一种具体的实施方式，图5所示实施例还可以包括：
目标聚类确定模块(图中未示出)，用于在所述判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本之前，针对每个聚类，判断所述聚类包含的种子目标的数量比例是否大于预设比例阈值，如果是，则将所述聚类确定为目标聚类；
所述判断模块，具体用于判断已保存的正样本库中是否存在与所述目标聚类的聚类中心的特征值及位置信息均匹配的正样本。
作为一种具体的实施方式，图5所示实施例还可以包括：
记录模块(图中未示出)，用于在所述将所述聚类中心确定为所述第一监控视频的监控目标之前，记录聚类中心匹配成功的次数；
所述确定模块506，具体用于当所述次数大于预设次数阈值时，将所述聚类中心确定为所述第一监控视频的监控目标。
图6为本发明实施例提供的视频监控装置的一种结构示意图，与图3所示实施例相对应，包括：
确定模块601，用于采用图1或图2所示实施例的监控目标确定方法，确定所述第一监控视频的监控目标；
监控模块602，用于监控所述监控目标，获取所述监控目标的监控信息；
匹配模块603，用于从监控信息与报警信息的对应关系中匹配所述监控信息；
报警模块604，用于针对所述监控目标，输出匹配成功的报警信息。
由于上述装置实施例是基于方法实施例得到的，与该方法具有相同的技术效果，因此装置实施例的技术效果在此不再赘述。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解，上述实施方式中的全部或部分步骤是能够通过程序指令相关的硬件来完成的，所述的程序可以存储于计算机可读取存储介质中。这里所称存储介质，是指ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (20)

1.一种监控目标确定方法，其特征在于，所述方法包括：
根据用户在观看第一监控视频时的眼球运动，获取用户在所述第一监控视频中每一帧图像的关注焦点；
根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标；
针对所述第一监控视频中的每一帧图像，根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标；
针对每个所述种子目标，判断已保存的正样本库中是否存在与所述种子目标匹配的正样本，如果存在，则将所述种子目标确定为所述第一监控视频的监控目标；如果不存在，则将所述种子目标作为正样本保存至所述正样本库。
2.根据权利要求1所述的方法，其特征在于，所述根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标，包括：
根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标的图像及位置信息；
根据每个所述待选目标的图像，获得每个所述待选目标的特征值；
所述正样本库中保存有每个正样本的特征值及位置信息；
所述判断已保存的正样本库中是否存在与所述种子样本匹配的正样本，包括：判断已保存的正样本库中是否存在与所述种子样本的特征值及位置信息均匹配的正样本。
3.根据权利要求2所述的方法，其特征在于，在所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，还包括：
将所述第一监控视频中的所有种子目标进行聚类处理，获得每个聚类的聚类中心以及属于每个聚类的种子目标；
所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本，如果存在，则将所述种子目标确定为所述第一监控视频的监控目标，包括：
针对每个聚类中心，判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本，如果存在，则将所述聚类中心确定为所述第一监控视频的监控目标；如果不存在，则将所述聚类中心或属于所述聚类中心对应的聚类的种子目标作为正样本保存至正样本库。
4.根据权利要求3所述的方法，其特征在于，在所述判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本之前，还包括：
针对每个聚类，判断所述聚类包含的种子目标的数量比例是否大于预设比例阈值，如果是，则将所述聚类确定为目标聚类；
所述判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本，包括：
判断已保存的正样本库中是否存在与所述目标聚类的聚类中心的特征值及位置信息均匹配的正样本。
5.根据权利要求3所述的方法，其特征在于，在所述将所述聚类中心确定为所述第一监控视频的监控目标之前，还包括：
记录聚类中心匹配成功的次数；当所述次数大于预设次数阈值时，执行将所述聚类中心确定为所述第一监控视频的监控目标的步骤。
6.根据权利要求3所述的方法，其特征在于，在所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，还包括：
将所述第一监控视频中每一帧图像的待选目标中除种子目标之外的待选目标确定为待定负样本；
针对每个待定负样本，根据位置信息，计算所述待定负样本与对应的帧图像中的每个种子目标的重叠比例；
将重叠比例小于预设比例阈值的待定负样本确定为负样本；
将每个负样本的特征值和位置信息保存至负样本库；
所述针对每个所述种子目标，判断已保存的正样本库中是否存在与所述种子目标匹配的正样本，包括：
针对每个所述种子目标，根据所述正样本库、所述负样本库以及预设第一公式，获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述正样本库中保存有经过聚类处理的每个聚类以及属于每个聚类的正样本；
判断所述概率比值中是否存在大于预设概率比值阈值的概率比值，如果存在，则确定所述正样本库中存在与所述种子目标匹配的正样本。
7.根据权利要求6所述的方法，其特征在于，所述针对每个所述种子目标，根据所述正样本库、所述负样本库以及预设第一公式，获得所述种子目标属于正样本的概率与属于负样本的概率比值，包括：
针对每个所述种子目标，根据所述正样本库、所述负样本库以及
Figure FDA0001116469280000031
获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述Ri为所述种子目标属于正样本的概率与属于负样本的概率比值，所述X为所述种子目标的位置信息，所述A为所述种子目标的特征值，所述θi是根据所述正样本库中属于第i个聚类的正样本的特征值以及变分贝叶斯算法获得的参数，所述p(X,A|θi)为所述种子目标属于所述第i个聚类的概率，所述p(θi|Xti,Ati,Ofg)是根据所述正样本库中属于第i个聚类的正样本的位置信息Xti和特征值Ati以及贝叶斯公式获得的概率，所述Ofg为预设的参数，所述θbg是根据所述负样本库中所有负样本的特征值以及变分贝叶斯算法获得的参数，所述p(X,A|θbg)为所述种子目标属于所述负样本库中的负样本的概率，所述p(θbg|Xb,Ab,Obg)是根据所述负样本库中所有负样本的位置信息Xb和特征值Ab以及最大似然估计法得到的概率，所述Obg为预设的参数。
8.根据权利要求1所述的方法，其特征在于，所述根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标，包括：
针对所述帧图像中的每个待选目标，计算所述待选目标与所述帧图像中的每个关注焦点之间的距离，判断所述距离中是否存在小于预设距离阈值的距离，如果存在，则将所述待选目标选取为种子目标。
9.根据权利要求8所述的方法，其特征在于，所述计算所述待选目标与所述帧图像中的每个关注焦点之间的距离，为：
计算所述待选目标的中心点与所述帧图像中的每个关注焦点的中心点之间的坐标距离；或，
计算所述待选目标的点集与所述帧图像中的每个关注焦点的点集之间的Hausdoff距离。
10.一种视频监控方法，其特征在于，包括：
采用权利要求1至9任一项所述的方法确定所述第一监控视频的监控目标；
监控所述监控目标，获取所述监控目标的监控信息；
从预设的监控信息与报警信息的对应关系中匹配所述监控信息；
针对所述监控目标，输出匹配成功的报警信息。
11.一种监控目标确定装置，其特征在于，所述装置包括：
获取模块，用于根据用户在观看第一监控视频时的眼球运动，获取用户在所述第一监控视频中每一帧图像的关注焦点；
识别模块，用于根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标；
选取模块，用于针对所述第一监控视频中的每一帧图像，根据所述帧图像中的待选目标与所述帧图像中的关注焦点之间的距离，从所述帧图像的待选目标中选取种子目标；
判断模块，用于针对每个所述种子目标，判断已保存的正样本库中是否存在与所述种子目标匹配的正样本；
确定模块，用于针对每个所述种子目标，当已保存的正样本库中存在与所述种子目标匹配的正样本时，将所述种子目标确定为所述第一监控视频的监控目标；
保存模块，用于当已保存的正样本库中不存在与所述种子目标匹配的正样本时，将所述种子目标作为正样本保存至所述正样本库。
12.根据权利要求11所述的装置，其特征在于，所述正样本库中保存有每个正样本的特征值及位置信息；所述识别模块包括：
识别子模块，用于根据预先设置的物体特征，识别所述第一监控视频中每一帧图像的待选目标的图像及位置信息；
获得子模块，用于根据每个所述待选目标的图像，获得每个所述待选目标的特征值；
所述判断模块，具体用于判断已保存的正样本库中是否存在与所述种子样本的特征值及位置信息均匹配的正样本。
13.根据权利要求12所述的装置，其特征在于，还包括：
聚类模块，用于在所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，将所述第一监控视频中的所有种子目标进行聚类处理，获得每个聚类的聚类中心以及属于每个聚类的种子目标；
所述判断模块，具体用于针对每个聚类中心，判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本；
所述确定模块，具体用于当已保存的正样本库中存在与所述聚类中心的特征值及位置信息均匹配的正样本时，将所述聚类中心确定为所述第一监控视频的监控目标；
所述保存模块，具体用于将所述聚类中心或属于所述聚类中心对应的聚类的种子目标作为正样本保存至正样本库。
14.根据权利要求13所述的装置，其特征在于，还包括：
目标聚类确定模块，用于在所述判断已保存的正样本库中是否存在与所述聚类中心的特征值及位置信息均匹配的正样本之前，针对每个聚类，判断所述聚类包含的种子目标的数量比例是否大于预设比例阈值，如果是，则将所述聚类确定为目标聚类；
所述判断模块，具体用于：
判断已保存的正样本库中是否存在与所述目标聚类的聚类中心的特征值及位置信息均匹配的正样本。
15.根据权利要求13所述的装置，其特征在于，还包括：
记录模块，用于在所述将所述聚类中心确定为所述第一监控视频的监控目标之前，记录聚类中心匹配成功的次数；
所述确定模块，具体用于当所述次数大于预设次数阈值时，将所述聚类中心确定为所述第一监控视频的监控目标。
16.根据权利要求13所述的装置，其特征在于，还包括：
待定负样本确定模块，在所述判断已保存的正样本库中是否存在与所述种子目标匹配的正样本之前，将所述第一监控视频中每一帧图像的待选目标中除种子目标之外的待选目标确定为待定负样本；
重叠比例计算模块，用于针对每个待定负样本，根据位置信息，计算所述待定负样本与对应的帧图像中的每个种子目标的重叠比例；
负样本确定模块，用于将重叠比例小于预设比例阈值的待定负样本确定为负样本；
负样本信息保存模块，用于将每个负样本的特征值和位置信息保存至负样本库；
所述判断模块包括：
概率比值获得子模块，用于针对每个所述种子目标，根据所述正样本库、所述负样本库以及预设第一公式，获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述正样本库中保存有经过聚类处理的每个聚类以及属于每个聚类的正样本；
概率比值判断子模块，用于判断所述概率比值中是否存在大于预设概率比值阈值的概率比值，如果存在，则确定所述正样本库中存在与所述种子目标匹配的正样本。
17.根据权利要求16所述的装置，其特征在于，所述概率比值获得子模块，具体用于：
针对每个所述种子目标，根据所述正样本库、所述负样本库以及
Figure FDA0001116469280000071
获得所述种子目标属于正样本的概率与属于负样本的概率比值；其中，所述Ri为所述种子目标属于正样本的概率与属于负样本的概率比值，所述X为所述种子目标的位置信息，所述A为所述种子目标的特征值，所述θi是根据所述正样本库中属于第i个聚类的正样本的特征值以及变分贝叶斯算法获得的参数，所述p(X,A|θi)为所述种子目标属于所述第i个聚类的概率，所述p(θi|Xti,Ati,Ofg)是根据所述正样本库中属于第i个聚类的正样本的位置信息Xti和特征值Ati以及贝叶斯公式获得的概率，所述Ofg为预设的参数，所述θbg是根据所述负样本库中所有负样本的特征值以及变分贝叶斯算法获得的参数，所述p(X,A|θbg)为所述种子目标属于所述负样本库中的负样本的概率，所述p(θbg|Xb,Ab,Obg)是根据所述负样本库中所有负样本的位置信息Xb和特征值Ab以及最大似然估计法得到的概率，所述Obg为预设的参数。
18.根据权利要求11所述的装置，其特征在于，所述选取模块包括：
距离计算子模块，用于针对所述帧图像中的每个待选目标，计算所述待选目标与所述帧图像中的每个关注焦点之间的距离；
目标选取子模块，用于判断所述距离中是否存在小于预设距离阈值的距离，如果存在，则将所述待选目标选取为种子目标。
19.根据权利要求12所述的装置，其特征在于，所述距离计算子模块，具体用于：
计算所述待选目标的中心点与所述帧图像中的每个关注焦点的中心点之间的坐标距离；或，
计算所述待选目标的点集与所述帧图像中的每个关注焦点的点集之间的Hausdoff距离。
20.一种视频监控装置，其特征在于，包括：
确定模块，用于采用权利要求1至9任一项所述的方法确定所述第一监控视频的监控目标；
监控模块，用于监控所述监控目标，获取所述监控目标的监控信息；
匹配模块，用于从预设的监控信息与报警信息的对应关系中匹配所述监控信息；
报警模块，用于针对所述监控目标，输出匹配成功的报警信息。
CN201610831083.8A 2016-09-19 2016-09-19 监控目标确定方法及装置、视频监控方法及装置 Active CN107844734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610831083.8A CN107844734B (zh) 2016-09-19 2016-09-19 监控目标确定方法及装置、视频监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610831083.8A CN107844734B (zh) 2016-09-19 2016-09-19 监控目标确定方法及装置、视频监控方法及装置

Publications (2)

Publication Number Publication Date
CN107844734A CN107844734A (zh) 2018-03-27
CN107844734B true CN107844734B (zh) 2020-07-07

Family

ID=61656595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610831083.8A Active CN107844734B (zh) 2016-09-19 2016-09-19 监控目标确定方法及装置、视频监控方法及装置

Country Status (1)

Country Link
CN (1) CN107844734B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740593B (zh) * 2018-12-18 2020-11-13 全球能源互联网研究院有限公司 样本中至少一个预定目标的位置确定方法及装置
CN110263830B (zh) * 2019-06-06 2021-06-08 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN110321854B (zh) * 2019-07-05 2021-12-24 阿波罗智联(北京)科技有限公司 用于检测目标对象的方法和装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
CN101340562A (zh) * 2008-04-28 2009-01-07 安防科技（中国）有限公司 监控系统与监控方法
CN201207703Y (zh) * 2008-04-28 2009-03-11 安防科技（中国）有限公司 监控系统和视线跟踪设备
CN102842301A (zh) * 2012-08-21 2012-12-26 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
CN102963298A (zh) * 2012-09-29 2013-03-13 重庆长安汽车股份有限公司 基于视线检测的异常行为监控方法
CN103020983A (zh) * 2012-09-12 2013-04-03 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
CN103077533A (zh) * 2012-12-26 2013-05-01 中国科学技术大学 一种基于蛙眼视觉特性定位运动目标的方法
CN103093199A (zh) * 2013-01-15 2013-05-08 中国科学院自动化研究所 基于在线识别的特定人脸跟踪方法
CN103300815A (zh) * 2012-03-15 2013-09-18 凹凸电子（武汉）有限公司 眼球关注点确定方法、装置和系统
CN103324284A (zh) * 2013-05-24 2013-09-25 重庆大学 基于人脸和眼部检测的鼠标控制方法
CN103337171A (zh) * 2013-06-15 2013-10-02 杨涛 一种交通综合监控系统及其监控方法
CN103914147A (zh) * 2014-03-29 2014-07-09 朱定局 眼控视频交互方法和系统
CN103929592A (zh) * 2014-04-22 2014-07-16 杭州道联电子技术有限公司 全方位智能监控设备及方法
CN105094300A (zh) * 2014-05-16 2015-11-25 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法
EP3051386A1 (en) * 2015-01-30 2016-08-03 4tiitoo GmbH Eye tracking system and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
EP2690523A3 (en) * 2012-07-23 2016-04-20 Sony Mobile Communications AB Method and system for monitoring state of an object
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
CN101340562A (zh) * 2008-04-28 2009-01-07 安防科技（中国）有限公司 监控系统与监控方法
CN201207703Y (zh) * 2008-04-28 2009-03-11 安防科技（中国）有限公司 监控系统和视线跟踪设备
CN103300815A (zh) * 2012-03-15 2013-09-18 凹凸电子（武汉）有限公司 眼球关注点确定方法、装置和系统
CN102842301A (zh) * 2012-08-21 2012-12-26 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
CN103020983A (zh) * 2012-09-12 2013-04-03 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
CN102963298A (zh) * 2012-09-29 2013-03-13 重庆长安汽车股份有限公司 基于视线检测的异常行为监控方法
CN103077533A (zh) * 2012-12-26 2013-05-01 中国科学技术大学 一种基于蛙眼视觉特性定位运动目标的方法
CN103093199A (zh) * 2013-01-15 2013-05-08 中国科学院自动化研究所 基于在线识别的特定人脸跟踪方法
CN103324284A (zh) * 2013-05-24 2013-09-25 重庆大学 基于人脸和眼部检测的鼠标控制方法
CN103337171A (zh) * 2013-06-15 2013-10-02 杨涛 一种交通综合监控系统及其监控方法
CN103914147A (zh) * 2014-03-29 2014-07-09 朱定局 眼控视频交互方法和系统
CN103929592A (zh) * 2014-04-22 2014-07-16 杭州道联电子技术有限公司 全方位智能监控设备及方法
CN105094300A (zh) * 2014-05-16 2015-11-25 北京七鑫易维信息技术有限公司 一种基于标准化眼睛图像的视线追踪系统及方法
EP3051386A1 (en) * 2015-01-30 2016-08-03 4tiitoo GmbH Eye tracking system and method

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Attention in hierarchical models of object recognition;Walther D. B. 等;《Computational Neuroscience：Theoretical Insights into Brain Function》;20070320;第165卷;第57-58页 *
数字化控制系统中目标搜索过程眼动特征研究;张力 等;《工业工程与管理》;20140630;第19卷(第3期);第116-121页 *
深度学习在人脸识别和安防大数据中的应用;王春茂 等;《中国安防》;20160901;第65-68页 *
深度学习技术兴起将给安防带来什么;谢迪 等;《中国安防》;20160301;第32-35页 *

Also Published As

Publication number Publication date
CN107844734A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
US11735018B2 (en) Security system with face recognition
De Geest et al. Online action detection
US20190034734A1 (en) Object classification using machine learning and object tracking
US11295139B2 (en) Human presence detection in edge devices
US10009579B2 (en) Method and system for counting people using depth sensor
JP5285575B2 (ja) 人物行動判定装置及びそのプログラム
CN111985385B (zh) 一种行为检测方法、装置及设备
EP3284013A1 (en) Event detection and summarisation
CN104246660A (zh) 用于基于隐式用户输入和行为的媒体的动态适应的系统和方法
US20140270707A1 (en) Method and System for Detecting and Recognizing Social Interactions In a Video
CN107844734B (zh) 监控目标确定方法及装置、视频监控方法及装置
JP2011170711A (ja) 移動物体追跡システムおよび移動物体追跡方法
CN110288648A (zh) 用于对自适应相机系统进行导向的系统和方法
CN112685596B (zh) 视频推荐方法及装置、终端、存储介质
CN109255360B (zh) 一种目标分类方法、装置及系统
US20200117904A1 (en) Method for categorizing a scene comprising a sub-scene with machine learning
US20210319226A1 (en) Face clustering in video streams
US11093757B2 (en) Firearm detection system and method
CN112394647B (zh) 家居设备的控制方法、装置、设备及存储介质
CN110166836B (zh) 一种电视节目切换方法、装置、可读存储介质及终端设备
US20210374405A1 (en) Firearm detection system and method
Yao et al. Integrating AI into CCTV Systems: A Comprehensive Evaluation of Smart Video Surveillance in Community Space
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
Chandran et al. Pedestrian crowd level estimation by Head detection using bio-inspired retina model
CN109522844B (zh) 一种社交亲密度确定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant