CN116965012A - 影像监视装置、影像监视系统、影像监视方法以及影像监视程序 - Google Patents

影像监视装置、影像监视系统、影像监视方法以及影像监视程序 Download PDF

Info

Publication number
CN116965012A
CN116965012A CN202180093569.5A CN202180093569A CN116965012A CN 116965012 A CN116965012 A CN 116965012A CN 202180093569 A CN202180093569 A CN 202180093569A CN 116965012 A CN116965012 A CN 116965012A
Authority
CN
China
Prior art keywords
moving object
movable cameras
visibility
movable
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180093569.5A
Other languages
English (en)
Inventor
皆川纯
冈原浩平
山崎贤人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN116965012A publication Critical patent/CN116965012A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

影像监视装置(100)具有：取得部(110)，其取得表示移动体的位置的位置信息；指示部(120)，其指示设置于预先确定的位置的多个可动摄像头(401、…)的拍摄方向；评价部(130)，其基于移动体的位置和多个可动摄像头的位置，评价由多个可动摄像头各自拍摄到的影像中的移动体的易观察度；选择部(140)，其基于易观察度，从多个可动摄像头中选择在移动体的拍摄中使用的可动摄像头；以及显示控制部(150)，其使监视器画面显示由选择出的可动摄像头拍摄到的移动体的影像，评价部基于多个可动摄像头各自持续捕捉移动体所需的多个可动摄像头各自的转动的角速度、和多个可动摄像头各自对移动体追踪了预先确定的时间的情况下发生的遮挡发生时间中的至少一方，评价易观察度。

Description

影像监视装置、影像监视系统、影像监视方法以及影像监视 程序
技术领域
本发明涉及影像监视装置、影像监视系统、影像监视方法以及影像监视程序。
背景技术
已提出如下系统：从多个摄像头中选择拍摄到适合图像处理的图像的摄像头，对由选择出的摄像头拍摄到的图像执行图像处理。例如参照专利文献1。
现有技术文献
专利文献
专利文献1：日本特开2013-223104号公报
发明内容
发明要解决的课题
然而，上述现有系统无法从作为可变更拍摄方向的多个可动摄像头的PTZ(Pan-Tilt-Zoom：平移-倾斜-变焦)摄像头中自动选择能够适当地持续捕捉移动体的PTZ摄像头。
本发明的目的在于，提供一种可从多个可动摄像头中自动选择能够适当地持续捕捉移动体的可动摄像头的影像监视装置、影像监视系统、影像监视方法以及影像监视程序。
用于解决课题的手段
本发明的影像监视装置的特征在于，具有：取得部，其取得表示移动的对象物即移动体的位置的位置信息；指示部，其指示设置于预先确定的位置的多个可动摄像头的拍摄方向；评价部，其基于所述移动体的位置和所述多个可动摄像头的位置，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度；选择部，其基于所述易观察度，从所述多个可动摄像头中选择在所述移动体的拍摄中使用的可动摄像头；以及显示控制部，其使监视器画面显示由所述选择的所述可动摄像头拍摄到的所述移动体的影像，所述评价部基于所述多个可动摄像头各自持续捕捉所述移动体所需的所述多个可动摄像头各自的转动的角速度、和所述多个可动摄像头各自对所述移动体追踪了预先确定的时间的情况下发生的遮挡发生时间中的至少一方，评价所述易观察度。
本发明的影像监视方法是由计算机执行的方法，其特征在于，具有以下步骤：取得表示移动的对象物即移动体的位置的位置信息；指示设置于预先确定的位置的多个可动摄像头的拍摄方向；基于所述移动体的位置和所述多个可动摄像头的位置，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度；基于所述易观察度，从所述多个可动摄像头中选择在所述移动体的拍摄中使用的可动摄像头；以及使监视器画面显示由所述选择的所述可动摄像头拍摄到的所述移动体的影像，所述易观察度基于所述多个可动摄像头各自持续捕捉所述移动体所需的所述多个可动摄像头各自的转动的角速度、和所述多个可动摄像头各自对所述移动体追踪了预先确定的时间的情况下发生的遮挡发生时间中的至少一方来评价。
发明效果
根据本发明，能够从多个可动摄像头中自动选择能够适当地持续捕捉移动体的可动摄像头。
附图说明
图1是表示易观察度的例子的图。
图2是表示实施方式1的影像监视装置和影像监视系统的硬件结构的例子的图。
图3是表示将实施方式1的影像监视系统应用于在机场行驶的飞机的监视的例子的图。
图4是概略地表示实施方式1的影像监视装置和影像监视系统的结构的功能框图。
图5是表示作为易观察度的例子的追随度的图。
图6的(A)表示转动的角速度足够快且追随度高的例子，图6的(B)表示转动的角速度慢且追随度低的例子。
图7是表示实施方式1的影像监视装置的动作的流程图。
图8是表示将实施方式2的影像监视系统应用于在机场行驶的飞机的监视的例子的图。
图9是概略地表示实施方式2的影像监视装置和影像监视系统的结构的功能框图。
图10是表示实施方式2的影像监视装置的动作的流程图。
图11是表示作为易观察度的例子的特征度的图。
图12是概略地表示实施方式3的影像监视装置和影像监视系统的结构的功能框图。
图13是表示实施方式3的影像监视装置的动作的流程图。
图14是表示由实施方式3的影像监视系统进行的视点指定的操作的图。
图15是表示由实施方式3的影像监视系统进行的视点指定的操作和由PTZ摄像头拍摄到的影像的图。
图16是表示将实施方式4的影像监视系统应用于在机场行驶的飞机的监视的例子的图。
图17是概略地表示实施方式4的影像监视装置和影像监视系统的结构的功能框图。
图18是表示实施方式4的影像监视装置的动作的流程图。
具体实施方式
以下，参照附图对实施方式的影像监视装置、影像监视系统、影像监视方法以及影像监视程序进行说明。以下的实施方式只不过是例子，能够适当组合实施方式以及适当变更各实施方式。
本发明的影像监视装置能够基于移动的对象物(即，监视对象)即移动体的位置和设置于预先确定的位置的多个可动摄像头的位置，评价由多个可动摄像头各自拍摄到的影像中的移动体的“易观察度”，并基于易观察度，从多个可动摄像头中自动选择在移动体的拍摄中使用的可动摄像头。可动摄像头是能够变更拍摄方向的摄像头，例如是PTZ摄像头。可动摄像头也被称作转动摄像头。
图1是表示易观察度的例子的图。易观察度表示监视者(也称作“用户”)在监视器画面上观察由可动摄像头拍摄到的移动体的影像时的容易观察的程度。如图1所示，易观察度能够基于追随度、遮挡发生度、详细度以及特征度的任意一个以上来评价。易观察度越高，则监视者越能够适当地监视显示于监视器画面的影像中的移动体。
如图1所示，在可动摄像头的转动角速度足够快的情况下(即，可动摄像头能够持续捕捉移动的移动体的情况下)，追随度高，在可动摄像头的转动角速度慢的情况下(即，可动摄像头无法持续捕捉移动的移动体，移动体的一部分或者整体从影像缺失的情况下)，追随度低。在追随度高的情况下易观察度高，在追随度低的情况下易观察度低。“可动摄像头持续捕捉移动的移动体”是指使能够转动的可动摄像头的朝向(即，拍摄方向)持续朝向移动体。“转动”包含水平转动(平移)和垂直转动(倾斜)。
如图1所示，在对移动的移动体追踪了预先确定的时间的情况下不发生遮挡时(即，在可动摄像头与移动的移动体之间没有遮挡物时)，遮挡发生度低，在对移动的移动体追踪了预先确定的时间的情况下发生了遮挡时(即，在可动摄像头与移动的移动体之间存在遮挡物，因遮挡物而发生死角时)，遮挡发生度高。此外，遮挡发生时间越长，则遮挡发生度越高。在遮挡发生度低的情况下易观察度高，在遮挡发生度高的情况下易观察度低。
如图1所示，在从可动摄像头到移动体的距离近的情况下(即，移动体被拍摄得大的情况下)，详细度高，在从可动摄像头到移动体的距离远的情况下(即，移动体被拍摄得小的情况下)，详细度低。在详细度高的情况下易观察度高，在详细度低的情况下易观察度低。
如图1所示，特征度基于可动摄像头从哪个方向拍摄到移动体来决定。在可动摄像头的拍摄方向是可容易理解移动体的特征地进行捕捉的方向的情况下(例如，以按移动体的每个种类预先确定的期望的拍摄方向进行拍摄的情况下)，特征度高，在可动摄像头的拍摄方向是不容易理解移动体的特征地进行捕捉的方向的情况下(例如，以与预先确定的期望的拍摄方向不同的方向进行拍摄的情况下)，特征度低。在特征度高的情况下易观察度高，在特征度低的情况下易观察度低。另外，期望的拍摄方向也可以是通过用户的操作指定的方向。
在实施方式1中，说明基于追随度来评价易观察度的例子。
在实施方式2中，说明基于遮挡发生度来评价易观察度的例子。
在实施方式3中，说明基于追随度与特征度的组合来评价易观察度的例子。
在实施方式4中，说明基于追随度与详细度的组合来评价易观察度的例子。
但是，易观察度也可以基于追随度、遮挡发生度、详细度以及特征度的其他组合来评价。具体而言，易观察度也可以基于追随度与遮挡发生度的组合、追随度与详细度及特征度的组合、遮挡发生度与详细度的组合、遮挡发生度与特征度的组合、遮挡发生度与详细度及特征度的组合、追随度与遮挡发生度及详细度的组合、追随度与遮挡发生度及特征度的组合、以及追随度与遮挡发生度、详细度及特征度的组合中的任意组合来评价。
实施方式1
图2是表示实施方式1的影像监视装置100和影像监视系统10的硬件结构的图。影像监视系统10具有影像监视装置100、监视用面板200、作为广域拍摄用的固定摄像头的1台以上的固定摄像头300、作为窄域拍摄用的可动摄像头的多个PTZ摄像头401、…以及检测移动体的位置的雷达500。监视用面板200具有广域用监视器画面210、窄域用监视器画面220以及用户操作部230(后述的图4所示)。监视用面板200也可以是影像监视装置100的一部分。
影像监视装置100具有处理电路。影像监视装置100例如是计算机。在图2的例子中，影像监视装置100具有作为信息处理部的处理器即CPU(Central Processing Unit：中央处理单元)901、作为存储程序的存储装置的存储器902、硬盘装置(HDD)或固态硬盘(SSD)等非易失性存储装置903以及接口904。存储器902例如是RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)、闪存、EPROM(Erasable ProgrammableRead Only Memory：可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory：电可擦除可编程只读存储器)等的非易失性或易失性的半导体存储器。
存储器902例如存储作为软件的影像监视程序。CPU 901能够通过执行影像监视程序来执行实施方式1的影像监视方法。此外，影像监视装置100也可以通过专用的硬件实现其功能的一部分，通过软件或者固件实现功能的另一部分。
图3是表示将实施方式1的影像监视系统10应用于在机场600行驶的飞机的监视的例子的图。影像监视系统10具有影像监视装置100、监视用面板200、固定摄像头300、多台PTZ摄像头(#1～#3)401～403、以及检测作为在机场600行驶的移动体的飞机M1、M2等的位置的雷达500。影像监视装置100将多台固定摄像头300的影像或多台固定摄像头300的影像的合成影像显示于广域用监视器画面210。
另外，影像监视装置100根据来自雷达500的检测信号，取得表示作为移动的监视对象的飞机M1的位置的位置信息，指示设置于预先确定的位置的PTZ摄像头(#1～#3)401～403的拍摄方向D1、D2、D3，基于飞机M1的位置和PTZ摄像头(#1～#3)401～403的位置，评价(即，计算)由PTZ摄像头(#1～#3)401～403各自拍摄到的影像中的移动体的易观察度。影像监视装置100基于易观察度，从PTZ摄像头(#1～#3)401～403中选择在飞机M1的拍摄中使用的PTZ摄像头，并使窄域用监视器画面220显示由选择出的PTZ摄像头拍摄到的飞机M1的影像。另外，作为监视对象的移动体的飞机例如是由监视者通过用户操作部230指定的飞机。
在实施方式1中，基于PTZ摄像头(#1～#3)401～403各自持续捕捉移动体所需的PTZ摄像头(#1～#3)401～403各自的转动的角速度来评价易观察度。
图4是概略地表示实施方式1的影像监视装置100和影像监视系统10的结构的功能框图。影像监视装置100具有：取得部110，其取得表示移动的移动体即飞机M1的位置的位置信息；指示部120，其指示设置于预先确定的已知位置的多个PTZ摄像头(#1～#3)401～403的拍摄方向；以及评价部130，其基于飞机M1的位置和多个PTZ摄像头(#1～#3)401～403的位置，评价由多个PTZ摄像头(#1～#3)401～403各自拍摄到的影像中的飞机M1的易观察度。另外，影像监视装置100具有：选择部140，其基于易观察度，从多个PTZ摄像头(#1～#3)401～403中选择在飞机M1的拍摄中使用的PTZ摄像头；以及显示控制部150，其使窄域用监视器画面220显示由选择出的PTZ摄像头拍摄到的飞机M1的影像。
取得部110基于雷达500的检测信号来取得飞机M1的位置信息，但也可以基于固定摄像头300的影像或多个固定摄像头300的影像的合成影像(例如，全景影像或俯瞰影像等)来检测移动体等的位置。在实施方式1中，评价部130基于多个PTZ摄像头(#1～#3)401～403各自持续捕捉移动体所需的多个PTZ摄像头(#1～#3)401～403各自的转动的角速度，评价易观察度。评价部130判断为转动的角速度越小(即，追随度越高)，则易观察度越高(即，监视对象对于监视者来说越容易观察)。
图5是表示作为易观察度的例子的追随度的图。PTZ摄像头(#1～#3)401～403与监视对象移动体即飞机M1每单位时间行进的距离(即，速度)对应地转动。在图5的例子中，PTZ摄像头#1的转动角速度小。在图5的例子中，PTZ摄像头#2的转动角速度大。在图5的例子中，PTZ摄像头#3的转动角速度中等。因此，选择部140将转动角速度最小的PTZ摄像头(#1)401的影像发送到显示控制部150，并使窄域用监视器画面220显示PTZ摄像头(#1)401的影像。
图6的(A)表示PTZ摄像头(#1)401的转动角速度足够快且追随度高的例子，图6的(B)表示PTZ摄像头(#2)402的转动角速度慢且追随度低的例子。如图6的(A)所示，在图5的PTZ摄像头(#1)401拍摄的影像中，PTZ摄像头(#1)401在时刻t1捕捉作为移动体的整个飞机M1，并且即使在经过了一定时间的时刻t2也持续捕捉整个飞机M1。然而，如图6的(B)所示，图5中的PTZ摄像头(#2)402在时刻t1捕捉整个飞机M1，但是PTZ摄像头(#2)402的追随是不及时的，在经过了一定时间的时刻t2成为无法捕捉飞机M1的一部分的状态。
图7是表示实施方式1的影像监视装置的动作的流程图。首先，取得部110取得表示移动的监视对象即移动体(在实施方式1中为在机场行驶的飞机)的位置的位置信息(步骤S11)。
评价部130计算PTZ摄像头与移动体之间的时间序列位置关系(步骤S13)，并针对全部多个PTZ摄像头执行对持续捕捉移动体所需的PTZ摄像头的转动角速度进行计算的处理(步骤S14)(步骤S12～S15)。这里，“时间序列位置关系”是PTZ摄像头和移动体之间的、从某个时间点起到经过了某个时间后的时间点为止的位置关系。
评价部130判断为越是转动角速度小的PTZ摄像头则易观察度越高(步骤S16)。指示部120使基于易观察度选择出的PTZ摄像头指向作为监视对象的移动体(步骤S17)。此时，指示部120例如选择易观察度最高的PTZ摄像头。
如以上说明的那样，如果使用实施方式1的影像监视装置100或影像监视方法，则能够预测移动体与PTZ摄像头之间的时间序列位置关系，基于该位置关系，从作为多个窄域监视用摄像头的多个PTZ摄像头拍摄的多个影像中，选择对于监视者来说最容易观察的影像，并显示于窄域用监视器画面220。
此外，由于基于PTZ摄像头与移动体之间的时间序列位置关系来选择PTZ摄像头，因此，不易发生显示于窄域用监视器画面220的影像频繁切换的现象即快速切换(zapping)。
实施方式2
实施方式2在使用遮挡发生度作为易观察度这一点上与实施方式1不同。除此以外，实施方式2与实施方式1相同。因此，在实施方式2的说明中，也参照图1和图2。
图8是表示将实施方式2的影像监视系统应用于在机场行驶的飞机M1的监视的例子的图。在图8的例子中，PTZ摄像头(#1)401追随在机场行驶的飞机M1而转动，但是由于楼宇等遮挡物H1，发生遮挡发生时间P1的遮挡而不能拍摄飞机M1，并且由于楼宇等遮挡物H2，发生遮挡发生时间P2的遮挡而不能拍摄飞机M1。另外，在图8的例子中，PTZ摄像头(#2)402追随在机场行驶的飞机M1转动，但是由于楼宇等遮挡物H3，发生遮挡发生时间P3的遮挡而不能拍摄飞机M1。例如，在P1+P2＝30秒并且P3＝15秒的情况下，由于遮挡发生时间短的PTZ摄像头(#2)402的易观察度高，因此，自动选择PTZ摄像头(#2)402的影像，并且将其显示于窄域用监视器画面220。
图9是概略地表示实施方式2的影像监视装置100a和影像监视系统10a的结构的功能框图。在图9中，对与图4所示的构成要素相同或对应的构成要素标注与图4所示的标号相同的标号。
影像监视系统10a具有影像监视装置100a、监视用面板200、一台以上的固定摄像头300、多台PTZ摄像头(#1～#3)401～403、以及检测作为在机场行驶的移动体的飞机M1的位置的雷达500。影像监视装置100a将固定摄像头300的影像或多台固定摄像头300的影像的合成影像显示于广域用监视器画面210。
另外，影像监视装置100a通过雷达500取得表示在机场的滑行道、跑道等上移动的飞机M1的位置的位置信息，指示设置于预先确定的位置的PTZ摄像头(#1～#3)401～403的拍摄方向，基于飞机M1的位置和PTZ摄像头(#1～#3)401～403的位置，评价由PTZ摄像头(#1～#3)401～403各自拍摄到的影像中的飞机M1的易观察度，基于易观察度，从PTZ摄像头(#1～#3)401～403中选择在飞机M1的拍摄中使用的PTZ摄像头，并使窄域用监视器画面220显示由选择出的PTZ摄像头拍摄到的飞机M1的影像。另外，作为监视对象的移动体的飞机M1例如由监视者通过用户操作部230指定。
在实施方式2中，基于PTZ摄像头(#1～#3)401～403各自的遮挡发生度来评价易观察度。影像监视装置100a的评价部130a基于PTZ摄像头的位置信息和遮挡物信息来计算遮挡发生时间，并基于与遮挡发生时间对应的遮挡发生度来选择使窄域用监视器画面220显示的影像。
图10是表示实施方式2的影像监视装置100a的动作的流程图。首先，取得部110取得表示移动的监视对象即移动体(在实施方式1中为在机场行驶的飞机)的位置的位置信息(步骤S21)。
评价部130计算PTZ摄像头与移动体之间的时间序列位置关系(步骤S23)，并针对全部多个PTZ摄像头执行对预先确定的时间内的遮挡发生时间进行计算的处理(步骤S24)(步骤S22～S25)。
评价部130判断为与遮挡发生时间对应的遮挡发生度越小的PTZ摄像头则易观察度越高(步骤S26)。指示部120使基于易观察度选择出的PTZ摄像头指向作为监视对象的移动体(步骤S27)。此时，指示部120例如选择易观察度最高的PTZ摄像头。
如以上说明的那样，如果使用实施方式2的影像监视装置100a或影像监视方法，则能够从作为多个窄域监视摄像头的多个PTZ摄像头拍摄的多个影像中，使窄域用监视器画面220显示对于监视者来说最容易观察的影像。
此外，由于基于PTZ摄像头与移动体之间的时间序列位置关系来选择PTZ摄像头，因此，不易发生显示于窄域用监视器画面220的影像频繁切换的现象即快速切换(zapping)。
实施方式3
实施方式3与实施方式1的不同之处在于，使用追随度和特征度作为易观察度。除此以外，实施方式3与实施方式1相同。因此，在实施方式3的说明中，也参照图1和图2。
图11是表示作为易观察度的特征度的例子的图。在图11的例子中，在指定了期望的拍摄方向的向量V的情况下(例如，在通过用户操作指定了向量V的情况下或者在预先确定了向量V的情况下)，评价部自动选择具有与该向量V相似的拍摄方向的向量的PTZ摄像头，并使窄域用监视器画面220显示自动选择出的PTZ摄像头的影像。在图11的例子中，特征度例如被计算为期望的拍摄方向的向量V与各PTZ摄像头的拍摄方向的向量V1～V4之间的相似度。在图11的例子中，由于拍摄方向的向量V1～V4中的向量V3与期望的拍摄方向的向量V最相似，因此，自动选择PTZ摄像头#3 403。向量V也可以预先根据移动体的种类来决定。另外，向量V也可以根据由监视者输入的指示来决定。
图12是概略地表示实施方式3的影像监视装置100b和影像监视系统10b的结构的功能框图。在图12中，对与图4所示的构成要素相同或对应的构成要素标注与图4所示的标号相同的标号。在图12所示的影像监视装置100b中，评价部130b基于PTZ摄像头的位置信息和视点指定信息来计算追随度和特征度，并基于追随度和特征度的组合的综合评价值来选择使窄域用监视器画面220显示的影像。综合评价值例如通过追随度和特征度的加权相加来计算。在将追随度的权重系数设为w1、特征度的权重系数设为w2的情况下，综合评价值E通过以下的式子来计算。
E＝(追随度)×(w1)+(特征度)×(w2)
图13是表示实施方式3的影像监视装置100b的动作的流程图。首先，取得部110取得表示移动的对象物即移动体(在实施方式3中为在机场行驶的飞机)的位置的位置信息(步骤S31)。
评价部130计算PTZ摄像头与移动体之间的时间序列位置关系(步骤S33)，计算持续捕捉移动体所需的PTZ摄像头的转动角速度(步骤S34)，计算移动体的特征度(步骤S35)，并针对全部多个PTZ摄像头执行计算综合评价值(步骤S36)的处理(步骤S32～S37)。
评价部130判断为综合评价值越高的PTZ摄像头则易观察度越高(步骤S38)。指示部120使基于易观察度选择出的PTZ摄像头指向作为监视对象的移动体(步骤S39)。此时，指示部120例如选择易观察度最高的PTZ摄像头。
图14是表示实施方式3的影像监视系统10b的视点指定的操作的图。拖动监视用面板200b的窄域用监视器画面220的显示，使在影像上从斜前方观察到的飞机的三维模型(即，3D模型)旋转，在影像上显示飞机的3D模型的后部，由此输入拍摄方向的向量V。该操作也可以通过鼠标、开关、触摸面板等用户操作部230b进行。
图15是表示由实施方式3的影像监视系统10b进行的视点指定的操作和由PTZ摄像头拍摄到的影像的图。图15示出如下情形：拖动窄域用监视器画面220的显示，在影像上使飞机的3D模型旋转，如显示的那样以影像状显示飞机的3D模型的后部，由此输入拍摄方向的向量V。在从视点变更界面进行视点变更操作前，在窄域用监视器画面220上显示PTZ摄像头#3的影像，但在从视点变更界面进行视点变更操作后，在窄域用监视器画面220上显示PTZ摄像头#1的影像。
如以上说明的那样，如果使用实施方式3的影像监视装置100b或影像监视方法，则能够从作为多个窄域监视摄像头的多个PTZ摄像头拍摄的多个影像中，使窄域用监视器画面220自动显示对于监视者来说最容易观察的影像。
另外，能够通过利用视点变更界面进行使监视对象移动体即飞机的3D模型旋转这样的直观且容易理解的操作，使窄域用监视器画面220显示指定的影像。
实施方式4
实施方式4与实施方式1的不同之处在于，使用追随度和详细度作为易观察度。除此以外，实施方式4与实施方式1相同。因此，在实施方式4的说明中，也参照图1和图2。
图16是表示将实施方式4的影像监视系统应用于在机场行驶的飞机M1的监视的例子的图。PTZ摄像头(#1～#3)401～403与监视对象移动体即飞机M1每单位时间行进的距离(即，速度)对应地转动。在图16的例子中，PTZ摄像头(#1)401的转动角速度小。另外，在图16的示例中，PTZ摄像头(#2)402的转动角速度大。另外，在图16的例子中，PTZ摄像头(#3)403的转动角速度中等。另外，在图16的例子中，从PTZ摄像头(#1)401到飞机M1的距离是300m，从PTZ摄像头(#2)402到飞机的距离是300m，从PTZ摄像头(#3)403到飞机M1的距离是600m。作为通过对这些值进行加权相加而得到的综合评价值，PTZ摄像头(#1)401的值最高。因此，选择部140将转动角速度最小的PTZ摄像头(#1)401的影像发送到显示控制部150，并使窄域用监视器画面220显示PTZ摄像头(#1)401的影像。
图17是概略地表示实施方式4的影像监视装置100c和影像监视系统10c的结构的功能框图。在图17中，对与图4所示的构成要素相同或对应的构成要素标注与图4所示的标号相同的标号。在图17所示的影像监视装置100c中，评价部130c基于PTZ摄像头的位置信息来计算追随度和详细度，并基于追随度和详细度的组合的综合评价值来选择使窄域用监视器画面220显示的影像。
图18是表示实施方式4的影像监视装置的动作的流程图。首先，取得部110取得表示移动的对象物即移动体(在实施方式4中为在机场行驶的飞机)的位置的位置信息(步骤S41)。
评价部130计算PTZ摄像头与移动体之间的时间序列位置关系(步骤S43)，计算持续捕捉移动体所需的PTZ摄像头的转动角速度(步骤S44)，计算移动体的详细度(步骤S45)，并针对全部多个PTZ摄像头执行计算综合评价值(步骤S46)的处理(步骤S42～S47)。
评价部130判断为综合评价值越高的PTZ摄像头则易观察度越高(步骤S48)。指示部120使基于易观察度选择出的PTZ摄像头指向作为监视对象的移动体(步骤S49)。此时，指示部120例如选择易观察度最高的PTZ摄像头。
如以上说明的那样，如果使用实施方式4的影像监视装置100c或影像监视方法，则能够从作为多个窄域监视摄像头的多个PTZ摄像头拍摄的多个影像中，使窄域用监视器画面220自动显示对于监视者来说最容易观察的影像。
变形例
在上述说明中，说明了移动体为飞机且对正在机场行驶的飞机进行监视的影像监视系统。但是，移动体并不限定于飞机。移动体也可以是在道路上行驶的汽车、在水上移动的船舶、在空中飞行的飞机、在通路上步行的人物等。
在上述说明中，基于通过追随度、遮挡发生度、详细度和特征度中的1个或2个以上的值的加权相加而得到的综合评价值易观察度，决定用于追踪移动体的PTZ摄像头。但是，影像监视装置也可以构成为能够通过用户操作或者根据移动体的种类来变更通过追随度、遮挡发生度、详细度、特征度以及它们的组合中的哪一个来判断易观察度。例如，影像监视装置也可以在作为监视对象的移动体是在机场行驶的飞机的情况下通过遮挡发生度来评价易观察度，在作为监视对象的移动体是在空中飞行的飞机的情况下通过追随度来评价易观察度。
在上述说明中，说明了影像监视系统具有1个窄域用监视器画面220的例子，但也可以具有多个窄域用监视器画面220。在该情况下，从易观察度高的影像起按顺序显示即可。
标号说明
10、10a～10c：影像监视系统；100、100a～100c：影像监视装置；110：取得部；120：指示部；130、130a～130c：评价部；140：选择部；150：显示控制部；160：视点指定部；200、200b：监视用面板；210：广域用监视器画面；220：窄域用监视器画面(监视器画面)；230、230b：用户操作部；300：固定摄像头；401～403：PTZ摄像头(可动摄像头)；500：雷达；600：机场；D1～D3：拍摄方向；M1、M2：飞机(移动体)；H1～H3：遮挡物。

Claims (18)

1.一种影像监视装置，其特征在于，该影像监视装置具有：
取得部，其取得表示移动的对象物即移动体的位置的位置信息；
指示部，其指示设置于预先确定的位置的多个可动摄像头的拍摄方向；
评价部，其基于所述移动体的位置和所述多个可动摄像头的位置，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度；
选择部，其基于所述易观察度，从所述多个可动摄像头中选择在所述移动体的拍摄中使用的可动摄像头；以及
显示控制部，其使监视器画面显示由所述选择的所述可动摄像头拍摄到的所述移动体的影像，
所述评价部基于所述多个可动摄像头各自持续捕捉所述移动体所需的所述多个可动摄像头各自的转动的角速度、和所述多个可动摄像头各自对所述移动体追踪了预先确定的时间的情况下发生的遮挡发生时间中的至少一方，评价所述易观察度。
2.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述角速度来评价所述易观察度，
所述角速度越小，则所述易观察度越高。
3.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述角速度以及所述移动体的位置与所述多个可动摄像头的位置之间的距离，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度。
4.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述角速度以及由所述多个可动摄像头各自拍摄到的影像中包含的所述移动体的特征度，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度，
所述特征度被计算为期望的拍摄方向的向量与所述多个可动摄像头各自的拍摄方向的向量之间的相似度。
5.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述角速度、所述移动体的位置与所述多个可动摄像头的位置之间的距离、以及由所述多个可动摄像头各自拍摄到的影像中包含的所述移动体的特征度，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度，
所述特征度是基于所述移动体中预先确定的部分或由用户指定的部分而决定的。
6.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述发生时间来评价所述易观察度，
所述发生时间越短，则所述易观察度越高。
7.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述发生时间、和所述移动体的位置与所述多个可动摄像头的位置之间的距离，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度。
8.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述发生时间、和由所述多个可动摄像头各自拍摄到的影像中包含的所述移动体的特征度，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度，
所述特征度被计算为期望的拍摄方向的向量与所述多个可动摄像头各自的拍摄方向的向量之间的相似度。
9.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述发生时间、所述移动体的位置与所述多个可动摄像头的位置之间的距离、以及由所述多个可动摄像头各自拍摄到的影像中包含的所述移动体的特征度，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度，
所述特征度被计算为期望的拍摄方向的向量与所述多个可动摄像头各自的拍摄方向的向量之间的相似度。
10.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述角速度以及所述发生时间来评价所述易观察度，
所述角速度越小且所述发生时间越短，则所述易观察度越高。
11.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述角速度、所述发生时间、以及所述移动体的位置与所述多个可动摄像头的位置之间的距离，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度。
12.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述角速度、所述发生时间、以及由所述多个可动摄像头各自拍摄到的影像中包含的所述移动体的特征度，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度，
所述特征度被计算为期望的拍摄方向的向量与所述多个可动摄像头各自的拍摄方向的向量之间的相似度。
13.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于所述角速度、所述发生时间、所述移动体的位置与所述多个可动摄像头的位置之间的距离、以及由所述多个可动摄像头各自拍摄到的影像中包含的所述移动体的特征度，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度，
所述特征度被计算为期望的拍摄方向的向量与所述多个可动摄像头各自的拍摄方向的向量之间的相似度。
14.根据权利要求1～13中的任意一项所述的影像监视装置，其特征在于，
所述取得部基于拍摄比所述多个可动摄像头各自的拍摄区域广域的固定摄像头的影像或者基于从雷达接收到的检测信号，取得所述位置信息。
15.根据权利要求1所述的影像监视装置，其特征在于，
所述评价部基于具有显示模拟所述移动体的模型的显示功能和通过用户操作使所述模型旋转的操作功能的用户操作部的操作，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度。
16.一种影像监视系统，其特征在于，该影像监视系统具有：
权利要求1～15中的任意一项所述的影像监视装置；以及
所述多个可动摄像头。
17.一种影像监视方法，由计算机执行，其特征在于，该影像监视方法具有以下步骤：
取得表示移动的对象物即移动体的位置的位置信息；
指示设置于预先确定的位置的多个可动摄像头的拍摄方向；
基于所述移动体的位置和所述多个可动摄像头的位置，评价由所述多个可动摄像头各自拍摄到的影像中的所述移动体的易观察度；
基于所述易观察度，从所述多个可动摄像头中选择在所述移动体的拍摄中使用的可动摄像头；以及
使监视器画面显示由所述选择的所述可动摄像头拍摄到的所述移动体的影像，
所述易观察度是基于所述多个可动摄像头各自持续捕捉所述移动体所需的所述多个可动摄像头各自的转动的角速度、和所述多个可动摄像头各自对所述移动体追踪了预先确定的时间的情况下发生的遮挡发生时间中的至少一方来而评价的。
18.一种影像监视程序，其特征在于，该影像监视程序使计算机执行权利要求17所述的影像监视方法。
CN202180093569.5A 2021-02-22 2021-02-22 影像监视装置、影像监视系统、影像监视方法以及影像监视程序 Pending CN116965012A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/006571 WO2022176189A1 (ja) 2021-02-22 2021-02-22 映像監視装置、映像監視システム、映像監視方法、及び映像監視プログラム

Publications (1)

Publication Number Publication Date
CN116965012A true CN116965012A (zh) 2023-10-27

Family

ID=81291872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180093569.5A Pending CN116965012A (zh) 2021-02-22 2021-02-22 影像监视装置、影像监视系统、影像监视方法以及影像监视程序

Country Status (5)

Country Link
US (1) US20230343103A1 (zh)
EP (1) EP4283984A4 (zh)
JP (1) JP7058806B1 (zh)
CN (1) CN116965012A (zh)
WO (1) WO2022176189A1 (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094975A (ja) * 1999-09-20 2001-04-06 Hitachi Ltd 移動物体追跡方法および装置
GB2368482B (en) * 2000-10-26 2004-08-25 Hewlett Packard Co Optimal image capture
JP2006270404A (ja) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp 撮影制御装置、撮影制御方法および撮影制御プログラム
JP2008301191A (ja) * 2007-05-31 2008-12-11 Victor Co Of Japan Ltd 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
US10896327B1 (en) * 2013-03-15 2021-01-19 Spatial Cam Llc Device with a camera for locating hidden object
JP2013223104A (ja) 2012-04-17 2013-10-28 Panasonic Corp カメラおよびカメラシステム
JP5865547B2 (ja) * 2013-03-19 2016-02-17 株式会社日立国際電気 画像表示装置および画像表示方法
JP2015213251A (ja) * 2014-05-02 2015-11-26 株式会社Ihi 挙動解析装置、監視システム及びアミューズメントシステム
JP6469975B2 (ja) * 2014-06-27 2019-02-13 株式会社 日立産業制御ソリューションズ 映像監視装置、映像監視システムおよび映像監視方法
JP6413530B2 (ja) * 2014-09-12 2018-10-31 沖電気工業株式会社 監視システム、映像解析装置、映像解析方法およびプログラム
JP6458474B2 (ja) * 2014-12-10 2019-01-30 沖電気工業株式会社 監視システム、映像解析装置、映像解析方法およびプログラム
JP2016127571A (ja) * 2015-01-08 2016-07-11 キヤノン株式会社 カメラシステム、表示制御装置、表示制御方法、及びプログラム
JP6679357B2 (ja) * 2016-03-17 2020-04-15 セコム株式会社 飛行物体監視システム

Also Published As

Publication number Publication date
EP4283984A1 (en) 2023-11-29
EP4283984A4 (en) 2024-03-13
JPWO2022176189A1 (zh) 2022-08-25
US20230343103A1 (en) 2023-10-26
WO2022176189A1 (ja) 2022-08-25
JP7058806B1 (ja) 2022-04-22

Similar Documents

Publication Publication Date Title
US20210400200A1 (en) Video surveillance system and video surveillance method
US7385626B2 (en) Method and system for performing surveillance
JP6551511B2 (ja) 監視装置、監視方法、監視プログラム、及び監視システム
JP6621063B2 (ja) カメラ選択方法及び映像配信システム
US20100013917A1 (en) Method and system for performing surveillance
US9041800B2 (en) Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
US9589192B2 (en) Information processing system, information processing method, and program
JP2013168757A (ja) 映像監視装置、監視システム、監視システム構築方法
US20160084932A1 (en) Image processing apparatus, image processing method, image processing system, and storage medium
KR20130130544A (ko) 감시 영상 표시 방법 및 시스템
JP4309900B2 (ja) 映像監視システム
WO2014136499A1 (ja) 監視装置、監視方法および撮像部の配置方法
JP6032283B2 (ja) 監視カメラ管理装置、監視カメラ管理方法およびプログラム
KR102285078B1 (ko) 물체의 원격 탐지 및 추적
JP2011145730A (ja) 監視画面表示制御装置
CN116965012A (zh) 影像监视装置、影像监视系统、影像监视方法以及影像监视程序
US20200342613A1 (en) System and Method for Tracking Moving Objects
JP6660192B2 (ja) 飛行物体監視システム
JP5132705B2 (ja) 画像処理装置
JP3858018B2 (ja) 映像監視システム
KR101619953B1 (ko) 감시카메라용 자동 다중 추적 영상처리방법
KR101445361B1 (ko) 현장 모니터링 장치
WO2005120070A2 (en) Method and system for performing surveillance
JP7332047B2 (ja) 追跡装置、追跡システム、追跡方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination