CN105516656A - 一种物品实况查看方法和系统 - Google Patents

Abstract

本发明提供一种物品实况查看方法和系统，可满足多用户并发的个性化操作请求,该方法包括如下步骤：安装摄像机并接入到平台，通过视频分析处理，在平台上构建一张能表达该摄像机视频内容的﹑能自动和实时更新的场景全景图；各用户在平台上对场景全景图进行浏览，在对场景中的某物品感兴趣时，通过一种交互方式来发送对其进行特写查看的操作请求；平台对多个用户的操作请求进行聚类分析，将聚类后的多类操作请求按预定规则进行摄像机操作权限分配；摄像机响应分配到操作权限的用户的查看请求，获取相关物品的实况特写图，保存该物品的实况信息到平台上，同时推送给该用户。本发明在多个用户同时对同一摄像机下的不同物品存在查看请求时，可方便﹑实时地推送给各用户其所感兴趣物体的实况特写图。

Description

一种物品实况查看方法和系统

技术领域

本发明属于计算机视觉技术和视频监控领域，尤其涉及一种可满足多用户并发的个性化操作请求的物品实况查看方法和系统。

背景技术

目前视频技术广泛地应用于政府项目和民用领域，比如智能交通﹑平安城市﹑智慧城市，住宅和店铺的防盗防火等，但这些技术主要目的是应用于视频监控，对广大人民的生活的便捷改善较为有限。虽然，目前也存在一些通过将摄像头所拍取的视频内容，上传到互联网上，供人民查阅了解。但这种视频查看方式一般都是被动接收式的，用户无法主动地对感兴趣的内容进一步操作来查看，或在用户数目较多的情况下难以主动地对感兴趣的内容进一步操作来查看。这给视频技术服务于广大人民，带来的诸多的不利，比如：

在将风景区的一些摄像头所传出来的实时视频接入到互联网上，供广大市民欣赏，而由于个人的兴趣爱好和需求不同(如有喜欢大视野景色﹑有喜欢对景物中的某一花草特别欣赏)，从而众口难调，这样的实时视频难以产生较大的价值。

发明内容

基于此，针对上述技术问题，提供一种可满足多用户并发的个性化操作请求的物品实况查看方法和系统。

为解决上述技术问题，本发明采用如下技术方案：

一种可满足多用户并发的个性化操作请求的物品实况查看方法，该方法包括如下步骤：安装摄像机并接入到平台，通过视频分析处理，在平台上构建一张能表达该摄像机视频内容的﹑能自动和实时更新的场景全景图；各用户在平台上对场景全景图进行浏览，在对场景中的某物品感兴趣时，通过一种交互方式来发送对其进行特写查看的操作请求；平台对多个用户的操作请求进行聚类分析，将聚类后的多类操作请求按预定规则进行摄像机操作权限分配；摄像机响应分配到操作权限用户的查看请求，获取相关物品的实况特写图，保存该物品的实况信息到平台上，同时推送给该用户；对未分配到摄像机操作权限的用户，从平台上查找匹配该用户所要查看物品的实况信息，若查找到则推送给用户，否则，系统自动对其操作请求继续发送申请，等待摄像机空闲时再进行操作权限分配。

一种可满足多用户并发的个性化操作请求的物品实况查看系统，包括：全景图获取分析单元，用于在每个预设监测场景上，通过摄像机获取视频图像，并通过视频分析和处理，获取到实时的﹑更新的场景全景图像，并对场景中的物品状态进行分析；交互式查看单元，用于在每个预设监测场景上，对需要查看的物品，控制摄像机获取该物品的特写图像，传递给用户查看，并记录用户的查看信息及结果；请求处理响应单元，用于在同一时间段内，存在多个用户需要查看不同物品时，对用户操作需求进行聚类，智能地分配摄像机的操作权，并根据用户的查看需求来将不同物品的特写图像进行分配和推送。

根据本发明实施例的技术方案，本发明可产生实时的﹑方便的产生场景全景图像，并可实时的提供给网民所感兴趣区域或物体的真实的﹑清晰的特写图。从而能较好地保证查看的质量，且网民查看过程浸入感强，减少多用户操作的等待时间，改善了查看体验。

本发明可应用于实体店的电子商务，应用于风景区﹑公园和博物馆在网络上开放，应用于住宅小区环境和室内展现和推销，应用于政府对城市规划和整治等进行监测，应用于大自然环境保护监测等,为社会带来较大的使用价值，为厂商创造丰厚的收益。

附图说明

图1为本发明的物品实况查看系统的网络架构图；

图2为本发明的物品实况查看方法的总体流程示意图；

图3为本发明的物品实况查看系统的体系结构示意图；

图4为本发明实施例中场景全景图和物品特写图的示例图；

图5为本发明实施例中一种虚拟用户的请求和处理的流程示意图；

图6为本发明实施例中一种系统初始化时物品区域自动生成的示意图；

图7为本发明实施例中一种场景全景图的构建流程示意图；

图8为本发明实施例中对用户查看请求进行摄像机权限分配的流程示意图；

图9为本发明实施例中对用户查看请求的特写图像获取的流程示意图。

具体实施方式

以下结合附图对本发明进行详细说明。以下实施例并不是对本发明的限制。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中。

如图1所示，一种可满足多用户并发的个性化操作请求的物品实况查看系统，本发明物品实况查看系统的网络架构图包括四部分：摄像机﹑物品实况信息服务器﹑通信网络﹑用户终端。摄像机、物品实况信息服务器和用户终端通过通信网络互联。

其中，所述摄像机是能进行PTZ操作的球形摄像机或云台式摄像机。该摄像机，本身具备智能分析和处理的能力，或通过接入外部处理设备而具备智能分析和处理的能力。优选的，可采用可编程的嵌入式智能摄像机。进一步地，可采用带有自动3D定位的高速智能球形摄像机。这里，所述PTZ是Pan/Tilt/Zoom简写，代表球形摄像机或云台式摄像机全方位(上下、左右)移动及镜头变倍、变焦控制。所述摄像机为一台或多台。

其中，所述物品实况信息服务器是用于存储相关物品的实况特写图及用户对其进行操作的信息的服务器。

其中，所述用户终端是用户接入网络的设备，具体可包括电脑﹑iPad﹑智能手机等。

如图2所示，一种可满足多用户并发的个性化操作请求的物品实况查看方法，该方法包括如下步骤：

步骤21，安装摄像机并接入到平台，通过视频分析处理，在平台上构建一张能表达该摄像机视频内容的﹑能自动和实时更新的场景全景图；

步骤22，各用户在平台上对场景全景图进行浏览，在对场景中的某物品感兴趣时，通过一种交互方式来发送对其进行特写查看的操作请求；

步骤23，平台对多个用户的操作请求进行聚类分析，将聚类后的多类操作请求按预定规则进行摄像机操作权限分配；

步骤24，摄像机响应分配到操作权限的用户的查看请求，获取相关物品的实况特写图，保存该物品的实况信息到平台上，同时推送给该用户；

步骤25，对未分配到摄像机操作权限的用户，从平台上查找匹配该用户所要查看物品的实况信息，若查找到则推送给用户，否则，系统自动对其操作请求继续发送申请，等待摄像机空闲时再进行操作权限分配。

其中，所述平台是指能供用户查看摄像机视频里当前内容，并能对摄像机进行操作请求输入的软件。优选的，可采用接入Internet的广域网的网络平台。可选的，可以是摄像机本身所携带的程序。这里所述平台包含了物品实况信息服务器。

其中，所述全景图是采用广角的表现手段，尽可能多表现出周围环境的图像，如图4(a)所示。

其中，所述特写图是指近距离或变焦的拍摄方法，把目标的局部加以放大、强调，以造成强烈的细节艺术效果的图像，如图4(b)所示。

步骤21中所述的场景全景图，可以是通过背景建模等图像分析处理技术所获取得到的摄像机当前视频内容的背景图像；优选的，也可以是直接采用摄像机的当前视频内容图像；进一步优选的，可通过对摄像机当前视频内容进行检测，将其中的能辨别形貌的行人及人脸或能辨识人员身份的目标进行过滤掉，将过滤后的图像作为场景全景图。

优选地，背景建模可采用混合高斯模型或ViBe模型(具体可见OlivierBarnich的论文《ViBe:Auniversalbackgroundsubtractionalgorithmforvideosequences》，IEEETRANSACTIONSONIMAGEPROCESSING,VOL.20,NO.6,JUNE2011)。

优选地，所述行人目标检测可采用HoG检测器(具体可见NavneetDalal和BillTriggs的论文《HistogramsofOrientedGradientsforHumanDetection》，发表于2005CVPR学术会议)或DPM分类器(具体可见PedroFelzenszwal的论文《Objectdetectionwithdiscriminativelytrainedpartbasedmodels》，IEEETransactionsonSoftwareEngineering(ImpactFactor:5.78).09/2010；32(9):1627-45)等来进行。

优选地，所述人脸检测可采用Haar特征和AdaBoost分类器(可见Viola和Jones发表于2001CVPR学术会议的论文《RapidObjectDetectionusingaBoostedCascadeofSimpleFeatures》和《RobustReal-TimeFaceDetection》，ProceedingsoftheEighthIEEEInternationalConferenceonComputerVision2001)等来进行。

其中，所述行人或目标所采用的过滤方式，可采用扣取掉再填补背景(优选地，可采用Chuang和Agarwala在2002年发表于SIGGRAPH的论文《Videomattingofcomplexscenes》中所提及的方法)，也可采用直接打马赛克来进行模糊化。

其中，所述的能辨别形貌的行人，至少包括能辨识的人脸。

其中，所述的能辨识人员身份的目标，至少包括能辨识的车辆车牌号码。

进一步地，在全景预置位上进行背景建模时，优选地可考虑处理如下3点：

(1)在行人在某个位置上静止一段时间时，使得其不进入背景图像；

(2)在某个新物品被放入时，快速地在背景图像中显示出该物品；

(3)在某个物品被取走时，快速地从背景图像中清除该物品。

在处理以上问题时，优选地可综合考虑行人、人脸检测和物品检测技术。

如图7所示，为本发明的一种场景全景图的构建流程的具体实施例，包括如下步骤：

首先，对全景预置位上的视频进行分析处理(步骤71)，然后对当前的视频建立背景模型(步骤72)，并对当前的背景图进行行人及人脸检测(步骤73)，判断是否检测出行人或人脸(步骤74)，当检测出行人或人脸时，从背景图中过滤检测出的行人和人脸(步骤75)，将过滤后的背景图像作为场景全景图(步骤76)。

步骤21中所述的对场景全景图的自动和实时更新，在考虑到网络流量和平台数据压力的情况下，可以适当地降低帧率，如摄像机传输到平台的帧率和平台传输到用户终端的显示帧率。优选地，可以采用10秒1帧，或更低帧率。

优选地，在需要显示的场景范围较大情况下，可安装多台摄像机，采用场景拼接技术，来对各台摄像机所产生的场景全景图像进行拼接，得到一个更大视野的场景全景图像。

进一步优选地，在需要显示的场景范围较大情况下，可安装一台摄像机，采用多预置位巡检的方式，获取得到该场景下各个较小场景的全景图像，再采用场景拼接技术来对该摄像机各预置位的场景全景图像进行拼接，得到一个更大视野的场景全景图像。

其中，关于场景拼接的技术，可参考Szeliski的著作《Imagealignmentandstitching:Atutorial》。

步骤22中所述的交互式方式，至少包括如下两种情形：

在用户终端采用鼠标操作时(如台式电脑﹑笔记本电脑)，用户通过鼠标拖拽来画一个图形来包含欲查看物品；

在用户终端采用触摸操作时(如iPad﹑智能手机)，用户通过触摸操作在触摸屏上画一个图形包含欲查看物品。

优选地，在用户终端采用鼠标操作时，用户通过鼠标拖拽来画一个矩形框\一条斜对角线来包含欲查看物品。

优选地，在用户终端采用触摸操作时，用户通过触摸操作在触摸屏上画一个圆圈\一条斜对角线来包含欲查看物品。

进一步优选地，交互式方式还可包含如下一种方式：用户采用某种特殊方式(如鼠标右击)点击物品时，算法自动地将被点击的物品从场景中分割出来。

步骤22中所述的特写查看的操作请求，优选的，是指在用户采用的所述交互方式而得到对物品最小外包矩形，且要求摄像机通过PTZ操作来将该外包矩形区域里的画面内容，能完整地﹑清晰地放大到原始画面分辨率的一定比率的请求。

进一步地，步骤22中所述用户对场景全景图中的某一物品感兴趣，包含一种情况：智能算法通过对场景中物品进行分析，并发现其中存在着发生变化的物品，在该情况下，智能算法为虚拟的用户，发生变化的物品为虚拟的感兴趣物品。

其中，自动判别场景中物品是否发生变化，优选地，可采用如下方法：采用背景模型获取得到静止的前景；对静止前景进行分析，判别是否为静止的行人及其部件；在不是的情况下，认为物品发生变化，否则认为是被遮挡而非物品变化。

进一步地，步骤22中所述通过交互式方式来发送特写查看的操作请求，包含一种情况：在所述的虚拟的用户发现存在所述虚拟的感兴趣物品时，智能算法自动构建出该物品的最小外包矩形，要求摄像机通过PTZ操作来将该外包矩形区域里的画面内容，能完整地﹑清晰地放大到原始画面分辨率的一定比率的请求。

图5为本发明实施例中一种虚拟用户的请求和处理的流程示意图。如图所示，首先，在全景预置位上自动对场景进行分析(步骤51)，判断是否存在发生变化的物品(步骤52)。如果存在发生变化的物品，自动发送对该物品的查看请求(步骤53)，分配摄像机操作权限(步骤54)，接着判断是否分配到摄像机操作权限(步骤55)。如果分配到权限，则获取物品的实况特写图，保存其实况信息到平台(步骤56)，如果未分配到权限，则重新返回步骤51。

如图8所示，为对用户查看请求进行摄像机权限分配的具体实施方式的流程示意图，该流程对应方法总流程中的步骤23。首先，各个用户发送查看的操作请求(步骤81)，对多个用户的操作请求进行聚类分析(步骤82)，判断聚类后物品是否变化(步骤83)，变化的情况下，对变化的各物品按请求数多少排序(步骤84)，按排序结果逐一对物品请求用户进行优先响应(步骤85)，将摄像机权限赋予当前响应物品请求最早的用户(步骤86)，判断是否已完成所有物品的响应(步骤87)，完成则结束，未完成则回到步骤85。

其中，所述的对多个用户的操作请求进行聚类分析，是采用对感兴趣物品的进行操作请求所生成的外包矩形区域，来进行聚类的。

优选地，可将各矩形的中心点坐标及宽高值，作为向量的4个特征值来进行聚类。

优选地，聚类方法可采用凝聚的层次聚类算法进行，该算法的策略是先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到某个终结条件被满足。这里给出采用最小距离的凝聚层次聚类算法流程：

(1)将每个对象看作一类，计算两两之间的最小距离；

(2)将距离最小的两个类合并成一个新类；

(3)重新计算新类与所有类之间的距离；

(4)重复(2)、(3)，直到所有类最后均满足终结条件。

这里，两两之间的最小距离可采用矩形的中心点坐标及宽高值4个特征的欧式距离，终结条件为类间最小距离不超过某一条件。

其中，所述的判断聚类后物品是否变化，是指用户在发送查看操作请求时所对应的物品和存储在平台上的该物品，是否已经发生了变化，包括如下情形：

(1)若平台上未存储该物品，则直接认为该物品发生了变化；

(2)若平台上存储了该物品，则判断两者是否相同，不相同则认为发生了变化，其中不相同包含如下情形：

物品被挪动了(包含物品的放置位置﹑视野角度发生变化)；

物品外观形貌发生了较大变化(例如物品的颜色发生了变化﹑细节特征变化)。

优选地，判断物品是否发生变化时，可以利用用户请求查看时物品的位置和平台上所保存的物品位置信息，来进行预先过滤。

进一步优选地，可采用多种物品匹配技术来确认所对应的物品是否已经发生变化，如SIFT匹配(具体可见DavidG.Lowe的论文《DistinctiveImageFeaturesfromScale-InvariantKeypoints》，InternationalJournalofComputerVision,2004)﹑模板匹配。

如图8，在对多用户的操作请求进行聚类和请求物品是否变化判断后，采用如下策略，对各用户进行摄像机操作权限分配：

对所请求操作的物品未发生变化的用户，不进行摄像机操作权限分配；

对所请求操作的物品发生变化的物品，按发生变化的物品所对应的用户请求数排序，将智能摄像机的操作权限赋予，对排序结果最高的物品最早发送请求的用户。

在所述步骤24，摄像机响应分配到操作权限的用户的查看请求，获取相关物品的实况特写图，其中，在摄像机定位到物品的放大图像时，可以采用摄像机自带的3D定位功能对物品进行定位及放大，也可以采用摄像机的PTZ功能和智能算法相结合来对物品进行定位及放大。

进一步地，在摄像机定位到物品的放大图像时，如果恰好存在运动目标遮挡该物品时，或物品已经消失(含物品被人员移走﹑被静止目标长时间遮挡或覆盖等)时；可通过所述的物品匹配技术来判断物品是否发生了变化，从而确认获取得到的特写图是否恰当。这里至少要采用2个技术：一是通过算法分析出物品是否被遮挡，另一是在物品被遮挡时采用什么方法给用户展现特写图。这里所用的技术，就是前文提及的物品匹配技术，例如SIFT匹配，模板匹配等现有技术。如果发现物体被遮挡，就返回失败，通知用户，终止本次操作。

在所述步骤24，保存到平台上的所述物品的实况信息，包括：

完整外包该物品﹑能看清物品细节﹑放大到原始分辨率的特写图像；

在用户发送查看请求时，在全景下用户所请求的该物品查看形状的位置信息，及该物品的全景图像。

图9为本发明实施例中对用户查看请求的特写图像获取的流程示意图，该流程对应方法总流程中的步骤24。如图9所示，用户发送对物品的查看请求(步骤91)，摄像机对用户的查看请求进行PTZ定位(步骤92)，对用户请求时全景图和PTZ特写图中物品进行匹配(步骤93)，判断是否为同一物品(步骤94)，如为同一物品，则对当前的特写图进行行人和人脸检测(步骤95)，否则输出失败提醒。接着判断是否检测出行人或人脸(步骤96)，如检测出行人或人脸则从特写图中过滤检测出的行人和人脸(步骤97)，最后输出特写图(步骤98)，如未检测出行人或人脸则直接输出特写图(步骤98)。

在所述步骤25，对未分配到摄像机操作权限的用户，从平台上查找匹配该用户所要查看物品的实况信息，若查找到则推送给用户，具体是：

根据用户发送查看请求时的物品形状的位置，与存于平台上的物品的查看形状位置信息进行比较，看是否重叠；

在重叠时，进一步比较两幅全景图像，判断在给定位置区域的物品是否为同一物品；

若是同一物品，则将平台上该物品所对应的特写图像，取出并发送给用户；否则，则认为该物品未查找到。

优选地，在安装好摄像机机后，可添加一个场景初始学习阶段。如图6，为一种系统初始化时物品区域自动生成的示意图。在该阶段，摄像机将整个场景按金字塔形式分为多层，对各层再按画面中远近物品大小来自动划分为多个大小不等的﹑存在相互重叠的网格，在初始学习阶段对各层中的各个网格分别获取其所对应的特写图像。这样在多用户并发申请，摄像机无法响应部分用户的请求时，这部分用户也能获取到合适的特写图像。

如图3所示，一种可满足多用户并发的个性化操作请求的物品实况查看系统，包括：全景图获取分析单元31，交互式查看单元32和并发操作处理单元33。

全景图获取分析单元31，用于在每个预设监测场景上，通过摄像机获取视频图像，并通过视频分析和处理，获取到实时的﹑更新的场景全景图像，并对场景中的物品状态进行分析。

其中，所述摄像机是指能进行PTZ操作的球形摄像机或云台式摄像机，可随意查看远景画面或者近景画面。

其中具体地，全景图获取分析单元31包括全景图获取子单元311﹑全景图分析子单元312﹑和隐私处理子单元313。

全景图获取子单元311，用于获取到预设监测场景上的实时的﹑更新的场景全景图像，其中场景全景图至少可为以下三种之一：

摄像机当前的视频内容图像；

对摄像机的视频内容进行背景建模，所得到的该场景当前的背景图像；

对摄像机当前的视频内容图像，过滤掉其中能辨别形貌的行人或能辨识人员身份的目标后的图像。

全景图分析子单元312，用于对预设监测场景中的的各物品状态进行分析，判断其是否发生变化，其中判断场景中物品是否发生变化，至少可为以下三种：

物品是否被挪动(如物品的放置位置﹑视野角度发生变化)；

物品是否消失(如物品被人员移走﹑被静止目标长时间覆盖)；

物品是否外观形貌发生较大变化(如物品颜色﹑细节变化)的情况。

隐私处理子单元313，用于在每个预设监测场景上，获取到实时的﹑更新的场景全景图像时，对场景中能辨别形貌的行人或能辨识人员身份的目标，进行检测和识别，并通过技术手段将其从画面中进行过滤。

交互式查看单元32，用于在每个预设监测场景上，对需要查看的物品，控制摄像机获取该物品的特写图像，传递给用户查看，并记录用户的查看信息及结果。

其中具体地，交互式查看单元32包括实际用户查看需求输入子单元321﹑虚拟用户查看需求输入子单元322﹑和用户查看需求解析子单元323。

实际用户查看需求输入子单元321，用于在用户终端上，通过某种输入方式来提交给系统对某件物品的查看需要，其中所述的输入方式至少可为鼠标操作和触摸操作，至少包括：

在用户终端采用鼠标操作时，用户通过鼠标拖拽来画一个矩形框来包含欲查看物品；

在用户终端采用触摸操作时，用户通过触摸操作在触摸屏上画一个封闭图形包含欲查看物品。

虚拟用户查看需求输入子单元322，用于在所述全景图分析子单元分析出场景存在物品发生变化时，提交给系统对该物品的查看需要。具体为：智能算法通过对场景中物品进行分析，并发现其中存在着发生变化的物品，在该情况下，智能算法为虚拟的用户，发生变化的物品为虚拟的感兴趣物品。

用户查看需求解析子单元323，用于对用户输入的物品查看需求进行解析，得到一个统一的﹑方便的机器能理解和执行的操作。

进一步地，用户输入的查看需求，可转化为对物品构建最小外包矩形，且要求摄像机通过PTZ操作来将该外包矩形区域里的画面内容，能完整地﹑清晰地放大到原始画面分辨率的一定比率的请求。

进一步地，用户查看需求解析子单元323对所述虚拟用户查看需求输入子单元322的请求也进行解析。

请求处理响应单元33，用于在同一时间段内，存在多个用户需要查看不同物品时，对用户操作需求进行聚类，智能地分配摄像机的操作权，并根据用户的查看需求来将不同物品的特写图像进行分配和推送。

其中具体地，请求处理响应单元33包括用户查看需求聚类子单元331﹑摄像机操作权限分配子单元332﹑物品特写图获取子单元333﹑物品实况结果推送子单元234。

用户查看需求聚类子单元331，用于通过对所述用户查看需求解析子单元所解析得到的查看需求进行分析归纳，将相同或相似的聚为同一类。

优选地，可对各用户所请求的感兴趣物品生成其外包矩形区域，可将各矩形的中心点坐标及宽高值，作为向量的4个特征值来进行聚类。

摄像机操作权限分配子单元332，用于根据通过所述的用户查看需求聚类子单元而得到的用户查看需求聚类结果的情况，来按设定的规则将摄像机的操作权限分配给用户，具体如下：

在对多用户的操作请求进行聚类后，对聚为多类(可只包含1类)的用户操作需求,采用物品匹配技术来确认所对应的物品是否已经发生变化，并采用如下策略，进行对各用户进行摄像机操作权限分配：

对所请求操作的物品未发生变化的用户，不进行摄像机操作权限分配；

对所请求操作的物品发生变化的物品，按发生变化的物品所对应的用户请求数排序，将智能摄像机的操作权限赋予，对排序结果最高的物品最早发送请求的用户。

其中，所述确认用户操作需求所对应的物品是否已经发生变化，是指当前的物品是否和存储在平台上的该物品相同，若平台上未存储该物品则直接认为该物品发生了变化，而在平台上存储了该物品，则是否变化包含如下情形：

物品是否被挪动(含物品的放置位置﹑视野角度发生变化)；

物品是否消失(含物品被人员移走﹑被静止目标长时间遮挡或覆盖)；

物品是否外观形貌发生较大变化(如物品的颜色发生了变化﹑细节特征变化)的情况。

物品特写图获取子单元333，用于响应用户的操作请求，通过控制摄像机进行PTZ操作，将包含该物品的外包矩形区域里的画面内容，能完整地﹑清晰地放大到原始画面分辨率的一定的比率，形成其特写图像，并予以保存。具体地：

摄像机响应分配到操作权限用户的查看请求，获取相关物品的实况特写图，其中，在摄像机定位到物品的放大图像时，可以采用摄像机自带的3D定位功能对物品进行定位及放大，也可以采用摄像机的PTZ功能和智能算法相结合来对物品进行定位及放大。

进一步地，在摄像机定位到物品的放大图像时，如果恰好存在运动目标遮挡该物品时，可通过所述的物品匹配技术来判断物品是否发生了变化，从而确认获取得到的特写图是否恰当。

其中，保存到平台上所述物品的实况信息，包括：

完整外包该物品﹑能看清物品细节﹑放大到原始分辨率的特写图像；

在用户发送查看请求时，在全景下用户所请求的该物品查看形状位置信息，及该物品的全景图像。

物品实况结果推送子单元334，将获取到的物品实况特写图像，与存在物品查看需求的用户进行配对，将恰当的特写结果正确地分配和传递给用户，以供其查看。

其中，对未分配到摄像机操作权限的用户，从平台上查找匹配该用户所要查看物品的实况信息，若查找到则推送给用户，具体是：

根据用户发送查看请求时的物品形状位置，与存于平台上的物品的查看形状位置信息进行比较，看是否重叠；

在重叠时，进一步比较两幅全景图像，判断在给定位置区域的物品是否为同一物品；

若是同一物品，则将平台上该物品所对应的特写图像，取出并发送给用户；否则，则认为该物品未查找到。

显然，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (15)

1.一种物品实况查看方法，其特征在于，可满足多用户并发的个性化操作请求,包括如下步骤：

安装摄像机并接入到平台，通过视频分析处理，在平台上构建一张能表达该摄像机视频内容的﹑能自动和实时更新的场景全景图；

各用户在所述平台上对场景全景图进行浏览，在对场景中的某物品感兴趣时，通过交互方式来发送对所述物品进行特写查看的操作请求；

所述平台对多个用户的操作请求进行聚类分析，将聚类后的多类操作请求按预定规则进行摄像机操作权限分配；

摄像机响应分配到操作权限用户的查看请求，获取相关物品的实况特写图，保存该物品的实况信息到所述平台上，同时推送给该用户；

对未分配到摄像机操作权限的用户，从所述平台上查找匹配该用户所要查看物品的实况信息，若查找到则推送给用户；否则，系统自动对其操作请求继续发送申请，等待摄像机空闲时再进行操作权限分配。

2.如权利要求1所述的方法，其特征在于：

其中，所述摄像机是能进行PTZ操作的球形摄像机或云台式摄像机；

其中，所述平台是能供用户查看摄像机视频里当前内容，并能对摄像机进行操作请求输入的软件；

其中，所述场景全景图是指摄像机当前视频内容的背景图像，或摄像机当前视频内容图像，或过滤掉摄像机当前视频内容中的能辨别形貌的行人或能辨识人员身份的目标后的图像；

其中，对所述行人或目标所采用的过滤方式，可采用扣取后再填补、或打马赛克的方法。

3.如权利要求2所述的方法，其特征在于，所述用户在对场景中的某物品感兴趣时，通过交互式方式来发送特写查看的操作请求，

其中，所述交互式方式，至少包括如下两种方式中的任意一种：

(1)在用户终端采用鼠标操作时，用户通过鼠标拖拽来画一个图形来包含欲查看物品；

(2)在用户终端采用触摸操作时，用户通过触摸操作在触摸屏上画一个图形包含欲查看物品，

其中，所述的特写查看的操作请求，是指根据用户所采用的所述交互方式而得到对物品的最小外包矩形，且要求摄像机通过PTZ操作来将该外包矩形区域里的画面内容完整地﹑清晰地放大到原始画面分辨率的一定比率，

其中，所述用户对场景全景图中的某一物品感兴趣，包含一种情况：智能算法通过对场景中物品进行分析，并发现其中存在着发生变化的物品的情况下，智能算法为虚拟的用户，发生变化的物品为虚拟的感兴趣物品，

其中，所述通过交互式方式来发送特写查看的操作请求，包含一种情况：在所述的虚拟的用户发现存在所述虚拟的感兴趣物品时，智能算法自动构建出该物品的最小外包矩形，要求摄像机通过PTZ操作来将该外包矩形区域里的画面内容，能完整地﹑清晰地放大到原始画面分辨率的一定比率。

4.如权利要求3所述的方法，其特征在于，所述对多个用户的操作请求进行聚类分析，是根据其操作请求所生成的外包矩形区域，将矩形的中心点坐标﹑宽高值等作为向量的特征值来进行聚类。

5.如权利要求4所述的方法，其特征在于，所述对聚类后的多类操作请求按预定规则进行摄像机操作权限分配，进一步包含：

对聚为1类或多类的用户操作需求，采用匹配技术来确认该物品和所存储信息相比是否已发生变化，并采用如下策略来对各用户进行摄像机操作权限分配：

对所请求操作的物品未发生变化的用户，不进行摄像机操作权限分配；

对所请求操作的发生变化的物品，按发生变化的物品所对应的用户请求数排序，将智能摄像机的操作权限赋予给，对排序结果最高的物品最早发送请求的用户，

其中，所述的判断物品是否变化，至少包含如下情形中的任意一种：

物品是否被挪动，含物品的放置位置﹑视野角度发生变化；

物品是否消失，含物品被人员移走﹑被静止目标长时间遮挡或覆盖；

物品是否外观形貌发生较大变化，如物品的颜色发生变化﹑细节特征发生变化的情况。

6.如权利要求5所述的方法，其特征在于，摄像机响应分配到操作权限的用户的查看请求，获取相关物品的实况特写图，保存该物品的实况信息到平台上的步骤进一步包括：

在摄像机定位到物品的放大图像时，可以采用摄像机自带的3D定位功能对物品进行定位及放大，也可以采用摄像机的PTZ功能和智能算法相结合来对物品进行定位及放大，

保存到平台上的所述物品的实况信息，至少包括：

完整外包该物品﹑能看清物品细节﹑放大到原始分辨率的特写图像；

在用户发送查看请求时，在全景下用户所请求的该物品查看形状的位置信息，及该物品的全景图像，

进一步地，在摄像机处于全景预置位时，若无用户发送请求操作，系统自动对场景中的物品进行分析，判断是否存在发生变化的物品，并对发生变化的物品，自动安排摄像机来获取该物品特写图，并将其查看结果存储下，以作为虚拟的用户对该物品的以往操作查看结果。

7.如权利要求6所述的方法，其特征在于，对未分配到摄像机操作权限的用户，从平台上查找匹配该用户所要查看物品的实况信息，若查找到则推送给用户，进一步包括：

根据用户发送查看请求时的物品形状位置，与存于平台上的物品的查看形状位置信息进行比较，看是否重叠；

在重叠时，进一步比较两幅全景图像，判断在给定位置区域的物品是否为同一物品；

若是同一物品，则将平台上该物品所对应的特写图像，取出并发送给用户；否则，则认为该物品未查找到。

8.一种物品实况查看系统，其特征在于，可满足多用户并发的个性化操作请求,包括：

全景图获取分析单元，用于在每个预设监测场景上，通过摄像机获取视频图像，并通过视频分析和处理，获取到实时的﹑更新的场景全景图像，并对场景中的物品状态进行分析；

交互式查看单元，用于在每个预设监测场景上，对需要查看的物品，控制摄像机获取该物品的特写图像，传递给用户查看，并记录用户的查看信息及结果；以及

请求处理响应单元，用于在同一时间段内，存在多个用户需要查看不同物品时，对用户操作需求进行聚类，智能地分配摄像机的操作权，并根据用户的查看需求来将不同物品的特写图像进行分配和推送。

9.如权利要求8所述的系统，其特征在于，全景图获取分析单元包含：全景图获取子单元﹑全景图分析子单元以及隐私处理子单元，

所述全景图获取子单元，用于获取到预设监测场景上的实时的﹑更新的场景全景图像，其中所述场景全景图至少为以下三种之一：

摄像机当前的视频内容图像；

对摄像机的视频内容进行背景建模，所得到的该场景当前的背景图像；

对摄像机当前的视频内容图像，过滤掉其中能辨别形貌的行人或能辨识人员身份的目标后的图像，

所述全景图分析子单元，用于对预设监测场景中的的各物品状态进行分析，判断其是否发生变化，其中判断场景中物品是否发生变化，至少为以下三种之一：

物品是否被挪动，包括如物品的放置位置﹑视野角度发生变化；

物品是否消失，包括如物品被人员移走﹑被静止目标长时间覆盖；

物品外观形貌是否发生较大变化，包括物品颜色﹑细节变化，

所述隐私处理子单元，用于在每个预设监测场景上，获取到实时的﹑更新的场景全景图像时，对场景中能辨别形貌的行人或能辨识人员身份的目标，进行检测和识别，并通过技术手段将其从画面中进行过滤。

10.如权利要求9所述的系统，其特征在于，交互式查看单元包括：实际用户查看需求输入子单元﹑虚拟用户查看需求输入子单元﹑用户查看需求解析子单元﹑以及物品特写图获取子单元，其中，

实际用户查看需求输入子单元，用于在用户终端上，通过某种输入方式来提交给系统对某件物品的查看需要，其中所述的输入方式至少可为鼠标操作和触摸操作；

虚拟用户查看需求输入子单元，用于在所述全景图分析子单元分析出场景存在物品发生变化时，提交给系统对该物品的查看需要；

用户查看需求解析子单元，用于对用户输入的物品查看需求进行解析，得到统一的﹑方便的机器能理解和执行的操作；

物品特写图获取子单元，用于响应用户的操作请求，通过控制摄像机进行PTZ操作，将包含该物品的外包矩形区域里的画面内容，能完整地﹑清晰地放大到原始画面分辨率的一定的比率，形成其特写图像，并予以保存。

11.如权利要求10所述的系统，其特征在于，请求处理响应单元包括：用户查看需求聚类子单元﹑摄像机操作权限分配子单元﹑物品实况获取子单元﹑以及物品实况推送子单元，其中，

用户查看需求聚类子单元，用于通过对所述用户查看需求解析子单元所解析得到的查看需求进行分析归纳，将相同或相似的聚为同一类；

摄像机操作权限分配子单元，用于根据通过所述的用户查看需求聚类子单元而得到的用户查看需求聚类结果的情况，来按设定的规则将摄像机的操作权限分配给用户；

物品实况获取子单元，用于摄像机响应分配到操作权限用户的查看请求，获取到用户所需查看物品的实况特写图，并保存该物品的相关实况信息；

物品实况推送子单元，用于将所获取及保存的物品实况信息，与用户所请求的物品进行配对，将恰当的结果正确地分配和传递给用户，以供其查看。

12.如权利要求11所述的系统，其特征在于，摄像机操作权限分配子单元，是依据如下预定规则进行摄像机操作权限分配的：

对聚为1类或多类的用户操作需求，采用匹配技术来确认该物品和所存储信息相比是否已发生变化，对所请求操作的物品未发生变化的用户，不进行摄像机操作权限分配；对所请求操作的发生变化的物品，按发生变化的物品所对应的用户请求数排序，将智能摄像机的操作权限赋予给，对排序结果最高的物品最早发送请求的用户。

其中，所述的判断物品是否变化，至少包含如下情形：

物品是否被挪动，含物品的放置位置﹑视野角度发生变化；

物品是否消失，含物品被人员移走﹑被静止目标长时间遮挡或覆盖；

物品是否外观形貌发生较大变化，包括物品的颜色发生变化﹑细节特征发生变化。

13.如权利要求12所述的系统，其特征在于，所述物品实况获取子单元，调用摄像机响应用户的查看请求，获取相关物品的实况特写图，其中：

在摄像机定位到物品的放大图像时，可以采用摄像机自带的3D定位功能对物品进行定位及放大，也可以采用摄像机的PTZ功能和智能算法相结合来对物品进行定位及放大；

所述物品实况获取子单元，保存该物品的实况信息到平台上，具体至少包括：

完整外包该物品﹑能看清物品细节﹑放大到原始分辨率的特写图像；

在用户发送查看请求时，在全景下用户所请求的该物品查看形状的位置信息，及该物品的全景图像。

14.如权利要求13所述的系统，其特征在于，所述物品实况推送子单元，其特征在于，从平台上查找匹配该用户所要查看物品的实况信息，若查找到则推送给用户，进一步包含：

根据用户发送查看请求时的物品形状位置，与存于平台上的物品的查看形状位置信息进行比较，判断是否重叠；

在重叠时，进一步比较两幅全景图像，判断在给定位置区域的物品是否为同一物品；

若是同一物品，则将平台上该物品所对应的特写图像，取出并发送给用户；否则，则认为该物品未查找到，

进一步地，从平台上查找匹配该用户所要查看物品的实况信息时，若未查找到，则在摄像机空闲且用户仍有该操作请求时，系统再自动发生操作申请，以再分配摄像机的操作权限﹑获取保存该物品的特写实况图并传递给用户。

15.如权利要求14所述的系统，其特征在于，所述系统在无人操作时包含如下一种自动操作：

在摄像机处于全景预置位时，全景图分析子单元会自动对场景进行分析，判断是否存在发生变化的物品；对发生变化的物品，通过虚拟用户查看需求输入子单元自动发送对其的查看需求；通过对查看需求聚类﹑摄像机操作权限分配后，物品实况获取子单元响应该虚拟用户的查看请求，获取该物品特写图并存储其查看结果，以作为该物品的最新的以往操作查看信息；在后续有用户对该物品提交查看请求时，物品实况推送子单元将所存储的物品实况信息，与用户所请求的物品进行配对，将匹配的结果分配和传递给用户，以供其查看。