CN105284108B - 影像监视系统、监视装置 - Google Patents

影像监视系统、监视装置 Download PDF

Info

Publication number
CN105284108B
CN105284108B CN201380077304.1A CN201380077304A CN105284108B CN 105284108 B CN105284108 B CN 105284108B CN 201380077304 A CN201380077304 A CN 201380077304A CN 105284108 B CN105284108 B CN 105284108B
Authority
CN
China
Prior art keywords
virtual
video camera
virtual view
feature amount
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380077304.1A
Other languages
English (en)
Other versions
CN105284108A (zh
Inventor
米司健
米司健一
松原大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN105284108A publication Critical patent/CN105284108A/zh
Application granted granted Critical
Publication of CN105284108B publication Critical patent/CN105284108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供一种影像监视技术,即使在摄像机的设置条件不同的情况下,也能够将从多个监视摄像机得到的运动信息进行比较。本发明所涉及的影像监视系统的特征在于,具有:提取部,接收来自多个摄像机的影像,从构成影像的多个帧提取运动特征量;存储部,储存来自提取部的提取结果;变换部,对所提取的运动特征量进行变换;以及分析部,对变换后的运动特征量进行分析,变换部保持与多个摄像机的坐标轴不同的虚拟坐标轴,通过计算虚拟坐标轴系中的虚拟视点来对特征量进行变换。

Description

影像监视系统、监视装置
技术领域
本发明涉及一种使用影像来对监视对象进行监视的技术。
背景技术
近年来,凶恶犯罪增加而安全性的意识提高。随之,在店铺、机场等人员聚集的场所设置有大量的监视摄像机。通过这些监视摄像机拍摄的影像信息被保存在监视记录器等储存装置中并根据需要进行浏览。
在下述专利文献1中记载了使用多个监视摄像机的监视系统。在该文献中,提取监视对象的运动信息,将所提取的运动信息在多个摄像机之间进行比较,得到监视对象的信息。
现有技术文献
专利文献
专利文献1:日本特开2011-193187号公报
非专利文献
非专利文献1:Michalis Raptis and Stefano Soatto,“Tracklet Descriptorsfor Action Modeling and Video Analysis”,In Proceedings of the EuropeanConference on Computer Vision,September 2010.
非专利文献2:S.Baker and I.Matthews“Lucas-kande 20years on:A unifyingframework”,International Journal of Computer Vision,vol.53,no.3,2004.。
发明内容
发明要解决的问题
在具备多个监视摄像机的监视系统中,在将由多个监视摄像机得到的运动信息在摄像机之间进行比较的情况下,需要考虑各摄像机的设置条件的差异。例如,在构建从多个监视摄像机提取运动信息并寻找进行着相同的运动的人员的系统的情况下,如果多个摄像机以相同的条件被设置,则能够通过上述非专利文献1等的方式来实现。但是,在各摄像机的设置条件不同,例如相对于地面水平地设置的摄像机与朝向地面设置的摄像机等混合存在的情况下,由各摄像机拍摄对象的方式不同,因此即使进行相同的运动也成为不同的运动信息,难以进行摄像机间的运动信息的比较。
针对该问题,在上述专利文献1中,将从某摄像机得到的运动信息变换为比较对象的摄像机的坐标系之后进行比较。但是,在该方式中,由于将位置信息变换为比较对象摄像机的坐标位置后进行比较,因此如果进行比较的摄像机的视野无重叠,则无法进行比较。
本发明是为了解决如上所述的问题而完成的,其目的在于提供一种即使在摄像机的设置条件不同的情况下也能够将从多个监视摄像机得到的运动信息进行比较的影像监视技术。
用于解决问题的方案
本发明所涉及的影像监视系统的特征在于,具有:提取部,接收来自多个摄像机的影像,从构成影像的多个帧提取运动特征量;存储部,储存来自提取部的提取结果;变换部,对所提取的运动特征量进行变换;以及分析部,对变换后的运动特征量进行分析,变换部保持与多个摄像机的坐标轴不同的虚拟坐标轴,通过计算虚拟坐标轴系中的虚拟视点来对特征量进行变换。
发明效果
根据本发明所涉及的影像监视装置,能够对从设置条件不同的多个监视摄像机得到的监视对象的运动信息适当地进行分析。
附图说明
图1是实施例1所涉及的监视系统的示意图。
图2是实施例1所涉及的监视系统所具备的影像监视装置200的功能框图。
图3是表示虚拟视点生成部203和变换方法决定部204的结构例的功能框图。
图4是表示虚拟视点生成部203的处理例的图。
图5是表示特征量变换部207的结构例的功能框图。
图6是虚拟视点生成部203的处理流程图。
图7是特征量变换部207的处理流程图。
图8是表示实施例1所涉及的影像监视装置的结构例的图。
图9是表示实施例1所涉及的监视系统的结构例的图。
图10是表示虚拟设置状态信息设定客户端907的一例的图。
图11是实施例2所涉及的影像监视装置200的功能框图。
图12是表示实施例3所涉及的影像监视装置的结构例的图。
图13是表示实施例4所涉及的虚拟视点生成部203的处理例的图。
具体实施方式
实施例1
图1是本发明的实施例1所涉及的监视系统的示意图。在图1中,由多个监视摄像机(102、103)对位于监视区域内的监视对象101进行监视。
通过图像处理在从各监视摄像机得到的影像中提取监视对象的运动特征量(104、105)。运动特征量是能够表现对象的运动量的特征量。例如,使用将在某固定时间内监视对象在画面内移动的坐标的移动量排列而成的运动矢量等。另外,在对象的移动量的计算中使用如非专利文献2所记载的那样的方法等即可。
从各摄像机得到的运动特征量(104、105)由于摄像机的设置状态不同而难以进行比较。在此,摄像机的设置状态例如是摄像机相对于地面的设置高度、相对于地面的设置角度、摄像机的朝向(视线的方位)、摄像机的视角、摄像机的焦距等。因此,提供在监视系统整体上统一的虚拟设置状态106,对各摄像机设定摄像机的设置状态与虚拟设置状态106的摄像机的设置状态一致的虚拟视点(107、108)。按照所设定的各虚拟视点,分别决定从各摄像机的图像坐标系向各虚拟视点的坐标系的变换方法。按照该变换方法,对运动特征量(104、105)进行变换,得到变换后的运动特征量(109、110)。坐标系的变换方法例如使用通过使用旋转矩阵的坐标变换对运动矢量的坐标位置进行变换的方法等即可。变换后的运动特征量(109、110)是所有摄像机为相同的设置状态的运动特征量,因此比较变得容易。将得到的运动特征量(109、110)保存到数据库111等中来用于分析。
图2是本实施例1所涉及的监视系统所具备的影像监视装置200的功能框图。影像监视装置200具备虚拟视点生成部203、变换方法决定部204、运动特征量提取部206、特征量变换部207、特征量分析部208、分析结果提示部209。
虚拟视点生成部203接收预先提供的虚拟设置状态信息201和多台监视摄像机设置信息。在虚拟视点生成部203中,基于接收到的虚拟设置状态信息201和多台监视摄像机设置信息,来生成针对各监视摄像机的虚拟视点信息210。所生成的虚拟视点信息210被输入到变换方法决定部204。在变换方法决定部204中,基于被输入的虚拟视点信息210来决定特征量的变换方法。所决定的变换方法211被输入到特征量变换部207。
运动特征量提取部206接收多台监视摄像机的影像205。在运动特征量提取部206中,对接收到的来自监视摄像机的影像205进行图像处理,提取监视对象的运动特征量。在运动特征量的提取中使用非专利文献2的方法等即可。运动特征量由提取了特征量的图像上的位置信息和表示运动的特征量构成。作为表示运动的特征量,例如有将图像坐标上的移动量(二维矢量)在时间方向上排列而成的特征量等。所提取的运动特征量被输入到特征量变换部207。特征量变换部208接收运动特征量和特征量的变换方法211,按照特征量的变换方法,对运动特征量进行变换。变换后的运动特征量被输入到特征量分析部208。
在特征量分析部208中对变换后的运动特征量进行分析。分析得到的结果被输入到分析结果提示部209。在分析结果提示部209中,将分析结果变换为能够提示给监视者的状态并进行提示。作为特征量分析部208的例子,例如可考虑从过去的运动特征量中找出进行着同样的运动的对象并按相似的顺序排列的处理等。在该情况下,在分析结果提示部209中,进行将提取了所找出的运动特征量的日期时间、场所等按顺序列表化并显示在显示器终端的处理等。在此,特征量分析部208的处理只要是使用运动特征量的分析处理,则也可以是其它分析处理。另外,分析结果提示部209的提示方法也只要能够提示特征量分析部208中的分析结果,则也可以是其它提示方法。
图3是表示虚拟视点生成部203和变换方法决定部204的结构例的功能框图。在该例子中是摄像机为2个的情况的例子,分别设为摄像机A304、摄像机B305。
首先,预先提供虚拟设置状态信息301。在此,示出将相对于地面的高度302和相对于地面的角度303作为虚拟设置状态来提供的例子。虚拟视点生成部203具备摄像机A用视点生成部2031和摄像机B用视点生成部2032。在摄像机A用视点生成部2031中,使用虚拟设置状态信息301和摄像机A设置状态2033,计算摄像机A用虚拟视点306。同样地,在摄像机B用视点生成部2032中,使用虚拟设置状态信息301和摄像机B设置状态2034,计算摄像机B用虚拟视点307。
变换方法决定部204具备摄像机A用坐标变换参数决定部2041和摄像机B用坐标变换参数决定部2042。在摄像机A用坐标变换参数决定部2041中,使用由摄像机A用视点生成部2031生成的摄像机A用虚拟视点306,计算从摄像机A304向摄像机A用虚拟视点306的坐标变换参数。该坐标变换参数例如是一般的坐标变换矩阵的各系数等。关于坐标变换矩阵的各系数,能够使用从摄像机A304的设置位置到虚拟视点306的平移移动量、和从摄像机A304的设置角度到虚拟设置状态信息301的设置角度的旋转量,来简单地进行计算。另外,也可以将摄像机的视角、焦距包括在虚拟设置状态中,在该情况下还可以计算考虑了摄像机的视角、焦距的坐标变换矩阵的各系数。同样地,在摄像机B用坐标变换参数决定部2042中,计算从摄像机B305到摄像机B用虚拟视点307的坐标变换参数。通过以上得到的坐标变换参数被输入到特征量变换部207。
图4是表示虚拟视点生成部203中的虚拟视点的计算方法的一例的图。首先,根据各监视摄像机401的设置信息,求出摄像机的视线与地面的交点402。接着,将求出的交点402成为视线的中心的设置位置中的、高度与虚拟设置状态301的相对于地面的高度一致、角度404与虚拟设置状态301的相对于地面的角度303一致的位置设为虚拟视点405。该虚拟视点与摄像机401的设置位置之差为从摄像机401到虚拟视点405的平移移动量406。在该例子中,以从虚拟视点405起的摄像机的视线与地面的交点402和原来的摄像机401的视线与地面的交点402一致的方式进行变换。由此,在原来的摄像机401的图像的中心附近映入的对象的运动特征量在虚拟视点时也位于图像的中心附近,因此具有在之后的分析中易于处理的优点。在该例子中,关于摄像机的朝向(视线的方位)不特别指定,但也可以将摄像机的朝向作为虚拟设置状态来指定并以使朝向一致的方式计算虚拟视点。
图5是表示特征量变换部207的结构例的功能框图。在此,示出由运动特征量提取部206提取出的运动特征量由与图像坐标对应的二维的运动矢量501表现的情况的例子。特征量变换部207具备三维位置推测部2071和坐标变换部2072。
特征量如上所述由提取了特征量的图像坐标上的二维位置和表示运动的特征量构成。在三维位置推测部2071中,首先,将提取了特征量的图像坐标上的二维位置变换为实际空间中的三维位置。关于该变换,只要知道摄像机的视角、焦距、相对于地面的高度、摄像机相对于地面的角度、特征量在实际空间上的高度,就能够容易地进行计算。预先设定摄像机的视角、焦距、相对于地面的高度、摄像机相对于地面的角度。在该状态下,只要知道特征量在实际空间上的高度,就能够将提取了特征量的图像坐标上的二维位置变换为实际空间中的三维位置。即,通过推测特征量的提取位置在实际空间上的高度,能够将提取位置的二维位置变换为实际空间中的三维位置。
在特征量的高度的推测中,例如存在如以下那样的使用监视对象与地面的关系来进行推测的方法。首先,在人员是监视对象的情况下,使用人员提取处理等来提取人员区域。如果假定该提取出的人员站在地面上,则人员的脚的高度与地面的高度一致。进一步假定所提取的人员的身高是某固定值,由此能够得到该人员区域内所包含的特征量的高度信息。由此,能够推测各特征量的提取位置的三维位置。在人员提取处理中例如使用模板匹配等方法即可。同样地,通过对特征量的二维运动矢量的各元素进行以上的处理,将特征量变换为三维运动矢量502。
在坐标变换部2072中,按照由变换方法决定部204得到的变换方法201进行坐标变换。在该例子中,作为变换方法201,使用利用将实际空间中的三维位置变换为从虚拟视点观察时的虚拟图像的二维坐标位置的矩阵的坐标变换。使用该坐标变换矩阵,将被变换为三维位置的三维运动矢量502变换为从虚拟视点观察时的二维的运动矢量503。通过以上,将原来的特征量变换为从虚拟视点观察时的特征量。
在该例子中,示出了特征量为二维运动矢量的情况下的变换方法,但是在特征量不是以如运动方向的直方图那样的图像上的坐标位置的二维矢量提供的情况下,需要其它变换方法。在该情况下,作为变换方法,例如使用利用与特征量相对于地面的高度信息相关联的变换表对直方图进行变换的方法等即可。
图6是虚拟视点生成部203中的虚拟视点生成处理的处理流程图。下面说明图6的各步骤。
(图6:步骤S601~S602)
当设定了虚拟设置状态信息201时(S601),虚拟视点生成部203针对所有摄像机实施以下说明的步骤S603~S604(S602)。
(图6:步骤S603~S604)
虚拟视点生成部203根据监视摄像机的设置信息202,计算摄像机的视线与地面的交点(S603)。接着,使用得到的交点计算虚拟视点位置(S604)。
图7是特征量变换部207中的特征量变换处理的处理流程图。在特征量变换处理中,最初获取变换方法(S701)。接着,获取特征量(S702)。接着,推测特征量的三维位置(S703)。接着,基于在(S701)中获取的变换方法对特征量进行变换(S704),结束特征量变换处理。
图8是本实施例1所涉及的监视装置800的结构例。监视装置800具备运算处理装置801、记录装置802以及输入输出装置803。另外,运算处理装置801和记录装置802通过输入输出装置803而与用户界面804、显示装置805、监视摄像机806以及录像装置807连接。在运算处理装置801中,从记录装置802中保存的处理命令组819调用所需的处理来执行该处理。虚拟视点生成处理808、变换方法决定处理809、运动特征量提取处理810、特征量变换处理811、特征量分析处理812分别执行与图2中的虚拟视点生成部203、变换方法决定部204、运动特征量提取部206、特征量变换部207、特征量分析部208对应的处理。监视摄像机设定信息814和虚拟设置状态信息815是通过用户界面804被设定并被保存在记录装置802中。虚拟视点生成处理808调用监视摄像机设定信息814和虚拟设置状态信息815,生成虚拟视点,接着执行变换方法决定处理809。变换方法决定处理809决定特征量变换方法816并保存到记录装置802中。在运动特征量提取处理810中,从监视摄像机806或录像装置807读出图像,提取运动特征量并作为变换前特征量817保存到记录装置802中。特征量变换处理811读出特征量变换方法816和变换前特征量817,对特征量进行变换并作为变换后特征量818保存到记录装置中。特征量分析处理812读出变换后特征量818,进行特征量分析处理。接着,执行分析结果提示影像生成处理813。在分析结果提示影像生成处理813中,将特征量分析处理812的分析结果变换为能够显示在显示装置805的影像形式并送至显示装置805。在显示装置805中,显示被送来的分析结果影像。
图9是表示本实施例1所涉及的监视系统的结构例的图。影像监视装置200能够构成为影像分析服务器901、监视监控器902以及安装了各功能部的软件。监视摄像机组903经由网络904而与影像分析服务器901和录像装置905连接。监视监控器902是显示运动特征量的分析结果的显示装置,经由网络906连接于影像分析服务器901。虚拟设置状态信息设定客户端907是能够进行用于决定虚拟视点的虚拟设置状态信息设定908的用户界面804,经由网络909连接于影像分析服务器901。来自监视摄像机组903的影像、来自录像装置905的影像经由网络904被输入到影像分析服务器901。由虚拟设置状态设定客户端907设定的虚拟设置状态信息通过网络909被输入到影像分析服务器901。在影像分析服务器901中实施在图2~图5中说明的处理,储存变换后运动特征量818。所储存的变换后运动特征量818通过网络906被输入到监视监控器902,在进行分析处理之后,将其结果显示在显示装置805上。
在图9中,在影像分析服务器901内实施特征量提取处理,但是也可以在监视摄像机组的各摄像机内实施特征量提取处理。另外,在监视监控器902内实施特征量分析处理,但是也可以在影像分析服务器901内实施特征量分析处理,储存结果。另外,在虚拟设置状态信息设定客户端907内实施虚拟设置状态信息设定908,但是也可以将输入输出终端直接连接到影像分析服务器901来实施。
图10是表示虚拟设置状态信息设定客户端907内的虚拟设置状态信息设定GUI的例子的图。虚拟设置状态信息设定GUI作为如1001那样的输入窗口来提供。该GUI具备能够输入虚拟设置状态信息的输入框(1002、1003)。在图10的例子中,示出能够设置高度和角度的例子。另外,具备用于反映所输入的值的决定按钮1004,通过按下它来决定在本监视系统中使用的虚拟设置状态。另外,具备图示了当前的虚拟设置状态的窗口1005。该例子是一例,可以适当增减能够设定的虚拟设置状态信息,也可以代替窗口1005而以文本显示当前的状态,还可以不显示。另外,也可以代替决定按钮而具有按固定定时自动发送设定内容的功能。另外,虚拟设置状态不限于如该例子那样能够自由输入的方式,也可以从几个候选中选择并设定,还可以从已经设置的摄像机选择一个摄像机来将该摄像机的设置状态设为虚拟设置状态。
鉴于以上,本实施例1所记载的监视系统的特征在于,具有:提取部,接收来自多个摄像机的影像,从构成影像的多个帧提取运动特征量;存储部,储存来自提取部的提取结果;变换部,对所提取的运动特征量进行变换;以及分析部,对变换后的运动特征量进行分析,变换部保持与多个摄像机的坐标轴不同的虚拟坐标轴,通过计算虚拟坐标轴系中的虚拟视点来对特征量进行变换。
通过所述特征,能够对从设置条件不同的多个监视摄像机提取的运动信息适当地进行比较。
实施例2
图11是本发明的实施例2所涉及的影像监视装置200的功能框图。在实施例2中说明在实施例1中存在多个分析处理的情况的例子。其它结构与实施例1同样,因此下面以差异点为中心进行说明。
在图11中示出在图2所示的监视装置中存在多个分析处理的情况的例子。在该图11中说明存在两种分析处理的情况。在虚拟设置状态信息201中,预先设定有在各分析处理(1106、1108)中所需的虚拟设置状态,分别输入到虚拟视点生成部A1101和虚拟视点生成部B1102。在虚拟视点生成部A1101和虚拟视点生成部B1103中,只有被提供的虚拟设置状态不同,进行处理内容均与在实施例1中说明的虚拟视点生成部203相同的处理。使用由此得到的各个虚拟视点信息,在变换方法A决定部1102和变换方法B决定部1104中分别决定在特征量变换部A1105和特征量变换部B1107中使用的特征量变换方法。关于变换方法A决定部1102和变换方法B决定部1104的处理内容,进行与在实施例1中说明的变换方法决定部204相同的处理。在特征量变换部A1105和特征量变换部B1107中,按照分别决定的变换方法,对由运动特征量提取部206提取的运动特征量进行变换。在特征量分析部A1106和特征量分析部B1108中,分别使用变换后的特征量进行分析处理。提示内容选择部1110被输入控制信号1109。该控制信号1109是用于指定想要在分析结果提示部209中提示的分析结果的控制信号。按照该控制信号,选择特征量分析部A和特征量分析部B的分析结果中的要输入到分析结果提示部209的分析结果。
例如,在需要以从正上方观察对象的视点进行分析的结果和以从正侧面观察的视点进行分析的结果这两方的情况下,在特征量变换部A1105中使用从正上方观察的虚拟视点对特征量进行变换并在特征量分析部A1106中进行分析,在特征量变换部B1107中使用从正侧面观察的虚拟视点对特征量进行变换并在特征量分析部B1108中进行分析,之后在观察从正上方观察的视点下的分析结果时,向控制信号1109提供用于输出特征量分析部A1106的分析结果的信号,在观察从正侧面观察的视点下的分析结果时,向控制信号1109提供用于输出特征量分析部B1108的分析结果的信号即可。
在本实施例中说明了有两种分析处理的情况,但是在存在三种以上分析处理的情况下也能够通过同样的方法来实现。另外,也可以在多个分析处理中共用一个变换后的特征量。
通过所述特征,在实施例1的效果的基础上,还能够更适当地提示分析结果。
实施例3
图12是本发明的实施例3所涉及的监视装置800的结构例。在本实施例3中,在录像装置1201内构成运算处理部801和记录部802。其它结构与实施例1同样,因此下面以差异点为中心进行说明。
影像获取记录处理1202通过输入输出部803获取来自监视摄像机806的影像。接着,将所获取的影像变换为能够保存到记录部802内的形式并作为录像影像1203保存。运动特征量提取处理从录像影像1203获取提取对象的影像,进行运动特征量提取处理。
在本实施例中示出了用户界面804和显示装置805在录像装置1201之外的例子,但是也可以构成在录像装置内。
实施例4
图13是本发明的实施例4所涉及的虚拟视点生成部203的处理例。在本实施例4中,示出监视摄像机1305的监视对象区域是如室外的道路1301那样的特殊环境的情况下的虚拟视点生成方法的一例。其它结构与实施例1同样,因此下面以差异点为中心进行说明。
在如图13那样监视区域是道路1301的情况下,存在在将特征量变换为考虑了与道路的关系的形式的情况下在分析处理中更容易处理的情况。因此,从地图数据库等获取道路位置信息1303,使用该道路信息1303构成虚拟视点1304。从道路位置信息1303提取道路1301中的白线1302的位置,以使得白线1302成为虚拟视点的视线的中心的方式决定虚拟视点。在虚拟视点的决定中,首先,根据各监视摄像机1305的设置信息,求出摄像机的视线与地面的交点1306。接着,求出与所求出的交点1306最近的白线1302上的点1307。将该点1307成为视线的中心的摄像机的设置位置中的、高度与虚拟设置状态301的相对于地面的高度302一致、角度与虚拟设置状态301的相对于地面的角度303一致的位置设为虚拟视点1304。该虚拟视点1304与摄像机1305的设置位置之差为从摄像机1305向虚拟视点1304的平移移动量1308。在此,从道路位置信息1303提取了白线1302的位置信息,但是也可以通过使用哈夫变换等的图像处理,从监视影像自动提取白线1302的位置信息。
如上所述,通过设定针对所有摄像机的虚拟视点,在实施例1的效果的基础上,由于从所有摄像机得到的特征量被变换为与道路相关联的形式,因此在分析处理中容易处理特征量。
本发明不限定于上述的实施例的方式,包括各种变形例。在上述实施例中为了以容易理解的方式说明本发明而详细地进行了说明,未必限定于具备所说明的所有结构。另外,还能够将某实施例的结构的一部分置换为其它实施例的结构。另外,还能够对某实施例的结构追加其它实施例的结构。另外,还能够对各实施例的结构的一部分,追加/删除/置换其它结构。
关于上述各结构、功能、处理部、处理单元等,也可以例如通过集成电路设计它们的一部分或全部等来通过硬件实现。另外,关于上述的各结构、功能等,也可以由处理器对实现各个功能的程序进行解释并执行来通过软件实现。实现各功能的程序、表、文件等的信息能够保存在存储器、硬盘、SSD(Solid State Drive:固态硬盘)等记录装置、IC卡、SD卡、DVD等记录介质中。
附图标记说明
101:监视对象
102:监视摄像机
104:运动特征量
106:虚拟设置状态
107:虚拟视点
109:变换后的运动特征量
111:数据库
200:影像监视装置
201:虚拟设置状态信息
202:监视摄像机设置信息
203:虚拟视点生成部
204:变换方法决定部
205:来自监视摄像机的影像
206:运动特征量提取部
207:特征量变换部
208:特征量分析部
209:分析结果提示部
210:虚拟视点信息
211:变换方法
801:运算处理装置
802:记录装置
803:输入输出装置
804:用户界面
805:显示装置
806:监视摄像机
807:录像装置
901:影像分析服务器
902:监视监控器
904、906、909:网络
907:虚拟设置状态信息设定客户端
1001:虚拟设置状态输入窗口

Claims (8)

1.一种影像监视系统,其特征在于,具有:
提取部,接收来自多个摄像机的影像,从构成所述影像的多个帧提取运动特征量;
存储部,储存来自所述提取部的提取结果;
变换部,对所提取的所述运动特征量进行变换;以及
分析部,对变换后的所述运动特征量进行分析,
所述变换部保持与多个摄像机的坐标轴不同的虚拟坐标轴,通过计算虚拟坐标轴系中的虚拟视点来对特征量进行变换,
所述变换部还具有:
三维位置推测部,通过推测由所述提取部提取的所述运动特征量的提取位置在实际空间上的高度,将提取位置的二维位置变换为实际空间上的三维位置;
变换方法决定部,使用所述虚拟视点来决定在所述运动特征量的变换中使用的变换方法;以及
坐标变换部,使用所推测的所述三维位置和所决定的变换方法,将被变换为三维位置的三维运动矢量变换为从虚拟视点观察时的二维的运动矢量,由此将原来的特征量变换为从虚拟视点观察时的特征量,
所述影像监视系统还具有虚拟视点生成部,该虚拟视点生成部接收预先提供的虚拟设置状态信息和所述多个摄像机的设置信息,基于接收到的所述虚拟设置状态信息和所述多个摄像机的设置信息,来生成针对各所述摄像机的所述虚拟视点并输入给所述变换部,
所述影像监视系统还具备:
多个所述变换部;以及
提示部,提示来自所述分析部的分析结果,
根据控制信号来切换由所述提示部提示的分析结果。
2.根据权利要求1所述的影像监视系统,其特征在于,
所述变换部根据所述摄像机的设置信息,计算各个所述摄像机的视线轴与地面的交点的位置,将所述交点成为视线的中心的所述摄像机的位置中的、虚拟的所述摄像机的设置状态与实际的所述摄像机设置状态一致的位置作为所述虚拟视点来生成。
3.根据权利要求2所述的影像监视系统,其特征在于,
从所输入的道路信息提取白线的位置,计算与所述交点最近的白线上的点,将所述白线上的点成为视线的中心的摄像机的位置中的、虚拟的设置状态与实际的所述摄像机的设置状态一致的位置作为虚拟视点来生成。
4.根据权利要求1所述的影像监视系统,其特征在于,
还具有用户界面,该用户界面设定在所述变换部中使用的所述虚拟视点。
5.一种影像监视方法,其特征在于,具有:
提取步骤,接收来自多个摄像机的影像,从构成所述影像的多个帧提取运动特征量;
存储步骤,储存来自所述提取步骤的提取结果;
变换步骤,对所提取的所述运动特征量进行变换;以及
分析步骤,对变换后的所述运动特征量进行分析,
在所述变换步骤中,保持与多个摄像机的坐标轴不同的虚拟坐标轴,通过计算虚拟坐标轴系中的虚拟视点来对特征量进行变换,
所述变换步骤还具有:
三维位置推测步骤,通过推测由所述提取步骤提取出的所述运动特征量的提取位置在实际空间上的高度,将提取位置的二维位置变换为实际空间上的三维位置;
变换方法决定步骤,使用所述虚拟视点来决定在所述运动特征量的变换中使用的变换方法;以及
坐标变换步骤,使用所推测的所述三维位置和所决定的变换方法,将被变换为三维位置的三维运动矢量变换为从虚拟视点观察时的二维的运动矢量,由此将原来的特征量变换为从虚拟视点观察时的特征量,
所述影像监视方法还具有虚拟视点生成步骤,在该虚拟视点生成步骤中,接收预先提供的虚拟设置状态信息和所述多个摄像机的设置信息,基于接收到的所述虚拟设置状态信息和所述多个摄像机的设置信息,来生成针对各所述摄像机的所述虚拟视点并提供给所述变换步骤,
所述影像监视方法还具有:
多个所述变换步骤;以及
提示步骤,提示来自所述分析步骤的分析结果,
根据控制信号来切换在所述提示步骤中提示的分析结果。
6.根据权利要求5所述的影像监视方法,其特征在于,
在所述变换步骤中,根据所述摄像机的设置信息,计算各个所述摄像机的视线轴与地面的交点的位置,将所述交点成为视线的中心的所述摄像机的位置中的、虚拟的所述摄像机的设置状态与实际的所述摄像机设置状态一致的位置作为所述虚拟视点来生成。
7.一种信息记录介质,是记录有用于使计算机实现以下步骤的程序的计算机可读取的信息记录介质,其特征在于,具有:
提取步骤,接收来自多个摄像机的影像,从构成所述影像的多个帧提取运动特征量;
存储步骤,储存来自所述提取步骤的提取结果;
变换步骤,对所提取的所述运动特征量进行变换;以及
分析步骤,对变换后的所述运动特征量进行分析,
在所述变换步骤中,保持与多个摄像机的坐标轴不同的虚拟坐标轴,通过计算虚拟坐标轴系中的虚拟视点来对特征量进行变换,
所述变换步骤还具有:
三维位置推测步骤,通过推测由所述提取步骤提取的所述运动特征量的提取位置在实际空间上的高度,将提取位置的二维位置变换为实际空间上的三维位置;
变换方法决定步骤,使用所述虚拟视点来决定在所述运动特征量的变换中使用的变换方法;以及
坐标变换步骤,使用所推测的所述三维位置和所决定的变换方法,将被变换为三维位置的三维运动矢量变换为从虚拟视点观察时的二维的运动矢量,由此将原来的特征量变换为从虚拟视点观察时的特征量,
还使计算机执行虚拟视点生成步骤,在该虚拟视点生成步骤中,接收预先提供的虚拟设置状态信息和所述多个摄像机的设置信息,基于接收到的所述虚拟设置状态信息和所述多个摄像机的设置信息,来生成针对各所述摄像机的所述虚拟视点并提供给所述变换步骤,
还具有:
多个所述变换步骤;以及
提示步骤,提示来自所述分析步骤的分析结果,
根据控制信号来切换在所述提示步骤中提示的分析结果。
8.根据权利要求7所述的信息记录介质,其特征在于,
在所述变换步骤中,根据所述摄像机的设置信息,计算各个所述摄像机的视线轴与地面的交点的位置,将所述交点成为视线的中心的所述摄像机的位置中的、虚拟的所述摄像机的设置状态与实际的所述摄像机设置状态一致的位置作为所述虚拟视点来生成。
CN201380077304.1A 2013-06-14 2013-06-14 影像监视系统、监视装置 Active CN105284108B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/066418 WO2014199505A1 (ja) 2013-06-14 2013-06-14 映像監視システム、監視装置

Publications (2)

Publication Number Publication Date
CN105284108A CN105284108A (zh) 2016-01-27
CN105284108B true CN105284108B (zh) 2019-04-02

Family

ID=52021835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380077304.1A Active CN105284108B (zh) 2013-06-14 2013-06-14 影像监视系统、监视装置

Country Status (6)

Country Link
US (1) US10491863B2 (zh)
EP (1) EP3010229B1 (zh)
JP (1) JP6182607B2 (zh)
CN (1) CN105284108B (zh)
DK (1) DK3010229T3 (zh)
WO (1) WO2014199505A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6539253B2 (ja) * 2016-12-06 2019-07-03 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
JP6815935B2 (ja) * 2017-06-05 2021-01-20 日立オートモティブシステムズ株式会社 位置推定装置
JP6482696B2 (ja) * 2017-06-23 2019-03-13 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
JP2019102907A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 設定装置、設定方法、及びプログラム
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
JP7164968B2 (ja) * 2018-05-07 2022-11-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP7277085B2 (ja) * 2018-07-04 2023-05-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7123736B2 (ja) * 2018-10-23 2022-08-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7423196B2 (ja) * 2019-05-09 2024-01-29 キヤノン株式会社 撮像装置、撮像システム、およびその制御方法
JP7358078B2 (ja) * 2019-06-07 2023-10-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び、プログラム
JP2021179728A (ja) * 2020-05-12 2021-11-18 株式会社日立製作所 映像処理装置、及び、その方法
JP7482011B2 (ja) * 2020-12-04 2024-05-13 株式会社東芝 情報処理システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970514A (zh) * 2011-08-30 2013-03-13 株式会社日立制作所 映像监视装置、映像监视方法以及程序

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5912700A (en) * 1996-01-10 1999-06-15 Fox Sports Productions, Inc. System for enhancing the television presentation of an object at a sporting event
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US6816185B2 (en) * 2000-12-29 2004-11-09 Miki Harmath System and method for judging boundary lines
JP3814779B2 (ja) 2001-03-27 2006-08-30 三菱電機株式会社 侵入者自動追尾方法および装置並びに画像処理装置
US7143083B2 (en) * 2001-06-12 2006-11-28 Lucent Technologies Inc. Method and apparatus for retrieving multimedia data through spatio-temporal activity maps
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
US6950123B2 (en) * 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
JP4192680B2 (ja) * 2003-05-28 2008-12-10 アイシン精機株式会社 移動体周辺監視装置
CA2563478A1 (en) * 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
KR100603601B1 (ko) 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
EP1657927A1 (en) * 2004-11-12 2006-05-17 Saab Ab Image-based movement tracking
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
EP1862969A1 (en) 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US8401304B2 (en) * 2007-07-27 2013-03-19 Sportvision, Inc. Detecting an object in an image using edge detection and morphological processing
US20090113505A1 (en) * 2007-10-26 2009-04-30 At&T Bls Intellectual Property, Inc. Systems, methods and computer products for multi-user access for integrated video
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US8184855B2 (en) * 2007-12-10 2012-05-22 Intel Corporation Three-level scheme for efficient ball tracking
US9185361B2 (en) * 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
IL207116A (en) * 2009-08-10 2014-12-31 Stats Llc Location tracking method and method
US9286720B2 (en) * 2009-08-20 2016-03-15 Northrop Grumman Systems Corporation Locative video for situation awareness
JP5470111B2 (ja) 2010-03-15 2014-04-16 オムロン株式会社 監視カメラ端末
US9600760B2 (en) * 2010-03-30 2017-03-21 Disney Enterprises, Inc. System and method for utilizing motion fields to predict evolution in dynamic scenes
JP5645450B2 (ja) 2010-04-16 2014-12-24 キヤノン株式会社 画像処理装置および方法
US20110298988A1 (en) * 2010-06-04 2011-12-08 Toshiba Alpine Automotive Technology Corporation Moving object detection apparatus and moving object detection method
US8532367B2 (en) * 2010-08-17 2013-09-10 Raytheon Company System and method for 3D wireframe reconstruction from video
US8457357B2 (en) * 2011-11-09 2013-06-04 Disney Enterprises, Inc. Relative pose estimation of non-overlapping cameras using the motion of subjects in the camera fields of view

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970514A (zh) * 2011-08-30 2013-03-13 株式会社日立制作所 映像监视装置、映像监视方法以及程序

Also Published As

Publication number Publication date
JP6182607B2 (ja) 2017-08-16
WO2014199505A1 (ja) 2014-12-18
EP3010229A4 (en) 2017-01-25
CN105284108A (zh) 2016-01-27
US10491863B2 (en) 2019-11-26
EP3010229B1 (en) 2019-02-06
EP3010229A1 (en) 2016-04-20
DK3010229T3 (en) 2019-03-18
US20160127692A1 (en) 2016-05-05
JPWO2014199505A1 (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
CN105284108B (zh) 影像监视系统、监视装置
US10977818B2 (en) Machine learning based model localization system
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
KR20180005168A (ko) 로컬화 영역 설명 파일에 대한 프라이버시-민감 질의
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
US10438064B2 (en) Live pictures in mixed reality
US9697581B2 (en) Image processing apparatus and image processing method
CN113315878A (zh) 单程对象扫描
CN110866977A (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
CN108388889B (zh) 用于分析人脸图像的方法和装置
US20230094061A1 (en) Automatic measurements based on object classification
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
US20230394833A1 (en) Method, system and computer readable media for object detection coverage estimation
CN114998935A (zh) 图像处理方法、装置、计算机设备及存储介质
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
WO2015072091A1 (ja) 画像処理装置、画像処理方法及びプログラム記憶媒体
CN115442519B (zh) 视频处理方法、装置及计算机可读存储介质
KR102067423B1 (ko) 지피유 가속 컴퓨팅을 이용한 3차원 복원 클라우드 포인트 생성 방법
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
KR20130081126A (ko) 손 제스처 인식 방법 및 그 장치
JP6132996B1 (ja) 画像処理装置,画像処理方法,画像処理プログラム
KR20210055381A (ko) 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 장치, 방법 및 컴퓨터 프로그램
Tran et al. A personalised stereoscopic 3D gallery with virtual reality technology on smartphone
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant