CN113179673A - 应用多摄像头移动路径追踪技术的影像监视装置 - Google Patents

应用多摄像头移动路径追踪技术的影像监视装置 Download PDF

Info

Publication number
CN113179673A
CN113179673A CN201980081959.3A CN201980081959A CN113179673A CN 113179673 A CN113179673 A CN 113179673A CN 201980081959 A CN201980081959 A CN 201980081959A CN 113179673 A CN113179673 A CN 113179673A
Authority
CN
China
Prior art keywords
camera
moving path
image
path tracking
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980081959.3A
Other languages
English (en)
Other versions
CN113179673B (zh
Inventor
赵圣贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Worldwide Innovative Electronic Cooperative Enterprise
Original Assignee
Worldwide Innovative Electronic Cooperative Enterprise
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Worldwide Innovative Electronic Cooperative Enterprise filed Critical Worldwide Innovative Electronic Cooperative Enterprise
Publication of CN113179673A publication Critical patent/CN113179673A/zh
Application granted granted Critical
Publication of CN113179673B publication Critical patent/CN113179673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19619—Details of casing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及应用多摄像头移动路径追踪技术的影像监视装置，更详细地，涉及如下的应用多摄像头移动路径追踪技术的影像监视装置，即，包括多个环绕摄像头及中心摄像头，多个上述环绕摄像头沿着水平方向排列，上述中心摄像头位于上述环绕摄像头的中心，上述环绕摄像头和中心摄像头的配置受到限定，将上述影像监视装置的监视盲区最小化，可实现对追踪对象移动个体的探测及自动追踪。

Description

应用多摄像头移动路径追踪技术的影像监视装置
技术领域
本发明涉及应用多摄像头移动路径追踪技术的影像监视装置，更详细地，涉及如下的应用多摄像头移动路径追踪技术的影像监视装置，即，可包括多个环绕摄像头及中心摄像头，多个上述环绕摄像头沿着水平方向排列，上述中心摄像头位于上述环绕摄像头的中心，上述环绕摄像头和中心摄像头的配置受到限定，将上述影像监视装置的监视盲区最小化，可实现对追踪对象移动个体的探测及自动追踪。
背景技术
通常，公开了用于对监视区域进行远程监视的CCTV系统。现有技术的CCTV系统包括：摄像头，具备用于拍摄监视区域的平移/倾斜/变焦功能；影像接收部，用于接收摄像头的影像；以及显示部，用于在画面显示所接收的影像。由于上述结构的现有CCTV系统可进行平移或倾斜工作，因此，具有可以在比较宽广的范围内进行监视的优点。
但是，相反，由于仅通过上述摄像头所针对的区域的画面进行监视，因此，无法一次性监视整个监视区域。并且，脱离摄像头目标区域的领域均为拍摄的盲区，因此，存在无法正常发挥有效捕捉入侵者的原本功能。
与此同时，最近，为了预防犯罪或应对交通事故等事故的发生，逐渐关注可将盲区最小化并实现对追踪对象移动个体的探测及自动追踪的应用多摄像头移动路径追踪技术。
发明内容
要解决的技术问题
本发明为了满足如上所述的情况及需求，本发明的应用多摄像头移动路径追踪技术的影像监视装置包括：外壳模块，用于形成影像监视装置的外观；一个以上的环绕摄像头，始终配置在外壳模块的内侧，朝向上述外壳模块的外侧定向；以及中心摄像头，配置在一个以上的上述环绕摄像头的中心部，上述环绕摄像头以上述外壳模块的中心为基准，以相同间隔排列成圆形并朝向上述外壳模块的外侧定向，上述中心摄像头配置在上述外壳模块的中心线上并配置在上述外壳模块的内部，从而提供可将盲区最小化并实现对追踪对象移动个体的探测及自动追踪的应用多摄像头移动路径追踪技术的影像监视装置，由此，本发明具有如下的效果，即，具有形成最小空间的紧凑的摄像头结构和配置特性，将监视距离极大化并将盲区最小化，并有效地针对监视对象应用移动路径追踪技术。
解决问题的技术方案
为了实现上述目的，具体地，本发明提供的应用多摄像头移动路径追踪技术的影像监视装置包括：外壳模块，用于形成影像监视装置的外观；一个以上的环绕摄像头，始终配置在外壳模块的内侧，朝向上述外壳模块的外侧定向；以及中心摄像头，配置在一个以上的上述环绕摄像头的中心部，上述环绕摄像头以上述外壳模块的中心为基准，以相同间隔排列成圆形并朝向上述外壳模块的外侧定向，上述中心摄像头配置在上述外壳模块的中心线上并配置在上述外壳模块的内部。
上述外壳模块可包括：固定体，为了上述外壳模块的固定而固定在建筑物等的一面；连接主体，与上述固定体的一侧相结合，形成内部空间；以及下部盖，与上述连接主体相结合来密封上述内部空间，构成上述外壳模块。
优选地，上述环绕摄像头由具有广角镜头的4个摄像头构成，各个环绕摄像头在相同平面上以具有90度的定向角度的方式配置，各个环绕摄像头的监视角度在水平方向上达到98度以上，上述中心摄像头由具有广角镜头的1个摄像头构成，配置在多个环绕摄像头的中心，使得成像角度与地面相垂直，上述中心摄像头的监视角度为73度以上。
上述固定体可包括形成于上述固定体的一侧的突出部或螺栓加工部，上述连接主体可通过强行扣入结合、螺栓结合或螺纹结合中的一种结合方式与上述固定体的一侧相结合。
并且，优选地，上述下部盖通过强行扣入结合、螺栓结合或螺纹结合中的一种结合方式与上述连接主体的一侧相结合，上述下部盖包括一个以上的窗口，上述窗口使上述环绕摄像头或上述中心摄像头的一部分向外部突出，或者可使可视光线或红外线等向上述环绕摄像头或上述中心摄像头的镜头透射。
本发明还可包括通信部，配置在上述外壳模块的内部空间，以有线或无线的方式部发送或从外部接收影像监视装置的信息，在影像监视装置内部或外部还可包括影像处理部，上述影像处理部通过上述通信部接收影像监视装置生成的成像信息，以上述成像信息为基础执行针对监视个体的移动路径追踪。
发明的有益效果
本发明实施例的应用多摄像头移动路径追踪技术的影像监视结构具有如下效果，即，具有形成最小空间的紧凑的摄像头结构和配置特性，将监视距离极大化并将盲区最小化，有效地针对监视对象应用移动路径追踪技术。
附图说明
图1为示出现有技术的一实施例的多个子弹头摄像头与高速球型摄像头相结合的监视摄像头的立体图；
图2为示出现有技术一实施例的应用鱼眼摄像头的监视摄像头的立体图；
图3为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的立体图；
图4为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的仰视图；
图5为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的内部分解图；
图6为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的外壳分解图；
图7为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的简图；
图8为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的环绕摄像头监视区域的概念图；
图9为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的环绕摄像头盲区的概念图；
图10为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的实时个体分割过程的流程图。
附图标记说明
100：外壳模块 110：固定体
111：突出部 120：连接主体
130：下部盖 131：窗口
200：环绕摄像头 300：中心摄像头
400：通信部
具体实施方式
以下，通过例示性附图详细说明本发明的一部分实施例。在向各个附图的结构要素赋予附图标记的过程中，即使相同的结构要素呈现在不同的附图上，也尽可能地赋予相同的附图标记。并且，在说明本发明实施例的过程中，当判断有关发明结构或功能的具体说明有可能妨碍理解本发明实施例时，将省略其详细说明。
并且，在说明本发明实施例的结构要素的过程中，可使用第一、第二、A、B、(a)、(b)等术语。这种术语仅用于从其他结构要素中区别一个结构要素，这种术语并不限定相应结构要素的本质、顺次或顺序等。当记述某结构要素与另一结构要素相“连接”、“结合”或“联接”时，虽然其结构要素可以与另一结构要素直接连接或直接联接，但应当理解的是，在两个结构要素之间也可“连接”、“结合”或“联接”其他结构要素。
以下，参照附图，说明本发明的具体实施方式。
图1为示出现有技术一实施例的多个子弹头摄像头与高速球型摄像头相结合的监视摄像头的立体图，图2为示出现有技术的一实施例的应用鱼眼摄像头的监视摄像头的立体图。
作为现有技术，通常，公开了用于对监视区域进行远程监视的CCTV系统。
现有技术的CCTV系统包括：摄像头，用于拍摄监视区域，具有平移/倾斜/变焦功能；影像接收部，用于接收摄像头的影像；以及显示部，用于在画面显示所接收的影像。
由于上述结构的现有CCTV系统可进行平移或倾斜工作，因此，具有可以在比较宽广的范围内进行监视的优点。
但是，由于上述摄像头仅监视目标区域的画面，因此，无法一次性监视整个监视区域。
并且，为了运用应用不通过摄像头的监视系统，只能采用相邻配置两个以上的摄像头模块的方式的运用，而并非配置一个摄像头模块，因此，存在如下问题，即，摄像头模块的设置空间变大，摄像头之间的拍摄地带的死角空间只能比较大，并且，脱离摄像头的目标区域的领域均为拍摄盲区，因此，存在无法正常发挥有效捕捉入侵者的原本功能。
与此同时，最近，为了预防犯罪或应对交通事故等事故的发生，逐渐关注可将盲区最小化并实现对追踪对象移动个体的探测及自动追踪的应用多摄像头移动路径追踪技术。
因此，本发明为了满足如上所述的情况及需求，本发明的应用多摄像头移动路径追踪技术的影像监视装置包括：外壳模块，用于形成影像监视装置的外观；一个以上的环绕摄像头，始终配置在外壳模块的内侧，朝向上述外壳模块的外侧定向；以及中心摄像头，配置在一个以上的上述环绕摄像头的中心部，上述环绕摄像头以上述外壳模块的中心为基准，以相同间隔排列成圆形并朝向上述外壳模块的外侧定向，上述中心摄像头配置在上述外壳模块的中心线上并配置在上述外壳模块的内部，从而提供可将盲区最小化并实现对追踪对象移动个体的探测及自动追踪的应用多摄像头移动路径追踪技术的影像监视装置，由此，本发明具有如下的效果，即，具有形成最小空间的紧凑的摄像头结构和配置特性，将监视距离极大化并将盲区最小化，有效地针对监视对象应用移动路径追踪技术。
图3为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的立体图，图4为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的仰视图。
并且，图5为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的内部分解图，图6为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的外壳分解图。
参照图3至图5，可确认对于本发明的“应用多摄像头移动路径追踪技术的影像监视装置”的具体实施方式。
更详细地，本发明可提供应用多摄像头移动路径追踪技术的影像监视装置，其包括：外壳模块100，用于形成影像监视装置的外观；一个以上的环绕摄像头200，配置在上述外壳模块100的内侧，朝向上述外壳模块100的外侧定向；以及中心摄像头300，配置在一个以上的上述环绕摄像头200的中心部，上述环绕摄像头200以上述外壳模块100的中心为基准，以相同间隔排列成圆形并朝向上述外壳模块100的外侧定向，上述中心摄像头300配置在上述外壳模块100的中心线上并配置在上述外壳模块100的内部。
在此情况下，上述外壳模块100可包括：为了上述外壳模块100的固定而固定在建筑物等的一面；连接主体120，与上述固定体110的一侧相结合，形成内部空间；以及下部盖130，与上述连接主体120相结合来密封上述内部空间，构成上述外壳模块100。
以此为基础，优选地，一个以上的环绕摄像头200能够以一个基准点(外壳模块100的中心)为基准，以相同间隔排列成圆形，具有规定的成像角度，朝向上述外壳模块100的外侧定向。
优选地，考虑到朝向上述外侧定向的一个以上的环绕摄像头200的成像区域及盲区(区域)，配置在一个以上的环绕摄像头200的中心部的中心摄像头300与一个以上的上述环绕摄像头200的成像区域维持重叠规定部分的状态并配置。
图7为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的简图，图8为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的环绕摄像头监视区域的概念图，图9为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的环绕摄像头盲区的概念图。
作为本发明的一实施例，优选地，上述环绕摄像头200由具有广角镜头的4个摄像头构成，各个环绕摄像头200在相同平面上以具有90度的定向角度的方式配置，各个环绕摄像头200的监视角度在水平方向上达到98度以上，上述中心摄像头300由具有广角镜头的1个摄像头构成，配置在多个环绕摄像头200的中心，使得成像角度与地面相垂直，上述中心摄像头300的监视角度优选为73度以上。
由于具有上述定向角度的特性及监视角度的限定的环绕摄像头200及中心摄像头300，如通过图7至图9可以确认，可全面实现针对盲区的安全监视，包括规定区域的重叠部分，为了全景影像合成技术，以后可通影像扭转(Waping)及影像混合(Blending)过程来将上述重叠部分校正为一个自然的影像。
尤其，考虑到环绕摄像头200的成像角度，将相互间隔限定成140mm来配置成圆形，具有使得盲区的长度沿着水平方向未达到1m的特征，若考虑到使下方成像的中心摄像头300的监视区域，则具有几乎不存在实质性盲区的特征。
更具体地，影像扭转为如下的技术，即，克服从多个摄像头获取的输入影像具有相同尺寸，但具有不同坐标系的特性，为了生成全景影像而将多个输入影像以一个像素坐标系表示。
若在多个输入影像中确定一个基准影像，则可将剩余影像可被看成分别应用与每个剩余影像对应的H来表示的影像。在成功计算出H的情况下，若将H的矩阵求逆应用于多个剩余影像，则可获取统一成基准影像的坐标系的影像。在此情况下，所有影像以一个基准影像的坐标系表示，因此，可通过以下数学式1表示。
[数学式1]
I1
I2＝H21×I2
I3＝H21×H32×I3
…
在此情况下，优选地，在影像扭转之后追加执行影像混合过程，上述影像混合过程是指后处理过程，使得整合影像在视觉上显示地更加自然，通过扭转过程整列成一个影像的影像因未受到针对重叠区域的适当处理，因此，需通过混合过程进行校正。
在本发明中，可使用多频段混合方法，优选地，作为多频段混合方法可利用高斯金字塔及拉普拉斯金字塔。
经过单应性矩阵计算、影像扭转及影像混合所有过程的普通全景影像整合方式因运算量过大而无法实时整合影像，与拍摄影像流相比，具有较慢的整合速度，因此，优选地，在本发明中，使用固定的5个摄像头模块来省略单应性矩阵计算所需的特定点检测、匹配等无需的步骤。
为此，优选地，从摄像头模块读取影像，相邻的每两张影像利用预先计算的单应性矩阵来一次性整合，在下一步骤中，以四种单独线程体现并在线程与线程之间留有起到缓冲作用的队列(Queue)来用于数据交换。
第一线程作为影像接收线程，生成与摄像头模块相同的数量并从各个板接收影像，第二线程作为控制线程，从所接收的影像依次接收帧并聚集需整合成一个的多个帧来向第三线程传输，第三线程作为整合线程，为了提高速度而生成n个来进行并行处理。
其中，n为常数，通常可根据整合用处理器设定。
整合线程通过对所接收的多个帧应用扭转及混合来整合成一个帧，整合的帧传输到各个整合线程所具有的流队列，最后线程作为流线程，依次从流队列接收整合影像并输出。
除如上所述的工序之外，可附加追踪对象移动个体的探测及自动追踪技术。
更具体地，作为用于检测前景个体而提出的方法中最有效的方法，可利用背景差分法(background subtraction)。
首先，对背景场景进行建模后，比较输入影像与背景场景模型，当差异较大时，这些像素相当于通过前景像素表示及通过前景个体检测的方法。在此情况下，按以下顺序执行。
影像帧→场景建模→前景掩膜提取→前景掩膜修正→移动个体检测
在此情况下，优选地，前景掩膜由经过处理的二进制影像形成，以使前景像素的值为1，背景像素的值为0。
前景掩膜是指前景为白色、背景为黑色的二进制影像，在前景掩膜提取中最重要的是需要良好地执行背景(场景)建模。
由此，作为影像数据接收的背景(场景)需考虑相应部分的事项，例如，照明的变化、场景中移动的背景个体(因风吹动的草、树、湖泊等)、停放车辆的移动等，优选地，利用同时处理这种多个条件卓越的自适应混合高斯模型(GMM)。
当通过将自适应混合高斯模型对每个像素分布3～5个来完成背景模型的计算时，若比上述模型的值相差2.5倍以上，则可看成前景。
通过上述方法成为前景的像素值为1，这在二进制掩膜影像中显示为白色。若完成此过程，则在完成前景掩膜提取的过程，但发生前景掩膜图像的形状严重突出或斑点孔变得严重的情况，因此需要修正上述斑点形状。在此情况下执行的过程为前景掩膜修正，优选地，前景掩膜修正通常作为预处理步骤执行开启、关闭等的形态运算来执行。
适合监视系统的个体提取方法为背景差分法，由于上述背景差分法利用高斯混合模型来建模各个像素的背景，而并非利用单一高斯分布，因此，具有可对随着时间的流逝而发生变化的亮度、因风吹动的树枝等多种背景进行建模的优点。
并且，由于背景/前景的区别基准并不依赖于固定阈值，而是自适应地学习，因此，可具有抵抗环境变化的强韧特性。
为了提取如上所述的动作信息，可通过向从摄像头影像数据中分离前背景的预处理影像应用自适应混合高斯模型(GMM，Gaussian Mixture Method)来仅提取具有动作的个体信息。
上述自适应混合高斯模型通过连续帧的无监督学习形成背景模型后，可基于所形成的背景模型来提取动作信息。因此，若将自适应混合高斯模型应用于前景/背景分离的预处理影像，则具有如下优点，即，排除因背景的噪音所引起的错误的动作信息，将无动作的个体部分也判断为背景，从而可仅区分具有动作的部分。
再次说明本发明的结构，上述固定体110可包括形成于上述固定体110的一侧的突出部111或螺栓加工部，上述连接主体120可通过强行扣入结合、螺栓结合或螺纹结合中的一种结合方式与上述固定体110的一侧相结合。
即，在设置本发明的建筑物的天花板或壁面等对应设置插入孔或螺栓加工部，或者，插入本发明的突出部111，或者，可通过能够在上述突出部111外周面或内周面等轻松加工的螺栓加工部固定上述固定体110。
并且，为了使得上述固定体110的一侧与上述连接主体120轻松坚固地结合，可通过进行上述固定体的一侧内周面或外周面及上述连接主体120的一侧内周面或外周面的加工来引导相互结合。
并且，优选地，上述下部盖130可通过强行扣入结合、螺栓结合或螺纹结合中的一种结合方式与上述连接主体120的一侧相结合，上述下部盖130包括一个以上的窗口131，上述窗口131使上述环绕摄像头200或上述中心摄像头300的一部分向外部突出，或者使可视光线或红外线等可向上述环绕摄像头200或上述中心摄像头300的镜头透射。
上述窗口131可由开放空间形成，或者可由透明玻璃或塑胶等形成。
根据如上所述的下部盖130结构，可通过上述环绕摄像头200或上述中心摄像头300的镜头透射可视光线或红外线等，在一个外壳(下部盖130)的内部内置5个以上的摄像头，可防止异物等渗透并获取稳定成像影像。
追加地，本发明还可包括通信部400，配置在上述外壳模块100的内部空间，以有线或无线的方式向外部发送或从外部接收影像监视装置的信息。
并且，优选地，在影像监视装置内部或外部还包括影像处理部，通过上述通信部400接收影像监视装置生成的成像信息，以上述成像信息为基础执行针对监视个体的移动路径追踪。
图10为示出本发明一实施例的应用多摄像头移动路径追踪技术的影像监视装置的实时个体分割过程的流程图。
参照图10，说明包括实时个体分割的深度学习方法。
在深度学习方法中，个体探测方法作为计算机视觉领域中研究最多且最常用的方法，可在影像内检测所有特定个体并采用影像标注矩形框(Bounding Box)显示位置信息。
作为广泛使用的基于深度学习的个体探测方法有R-CNN(Regions with CNN)或作为R-CNN改良版的Fast/Faster R-CNN等。
如上所述的现有的深度学习探测方法具有如下特征，即，基于分类器或定位器来将单一图像分割成由多种位置和规模构成的多个区域后，对各个区域应用神经网络模型。
尤其，在R-CNN的情况下，虽然具有向单一图像使用边框回归(Region Proposal)方法来应用数千张CNN模型的特征，但由于YOLO(You Only Look Once)将一个神经网络通过栅格方式应用于整体图像，因此，与现有的基于分类器的探测方法相比，具有非常有效的优点。
因此，YOLO可实时探测个体，尤其，可以比R-CNN快1000倍以上或比Fast R-CNN快100倍的速度探测个体。
这种YOLO的神经网络具有如下特征，即，在探测过程中，将整体图像分割为栅格单元，针对各个栅格单元预测影像标注矩形框(Bounding Box)并计算概率。
并且，利用所计算的概率对影像标注矩形框进行加权，由此可探测针对200多个类型的影像标注矩形框，因此，相比于现有的基于分类器的方法，YOLO具有探测准确度的损失较低的特征。
本发明针对所提取的个体信息应用作为深度学习方法中的一个的YOLO来仅探测观测对象个体，从而获取影像标注矩形框(Bounding Box)，YOLO算法为CNN系列的优秀的目标检测算法中的一种，不同于使用Region Proposal方式的R-CNN，具有可使用栅格方式来可以实时有效检测个体的特征。
在本发明中，以上生成的YOLO的输入影像仅包含具有动作的接近个体的前景，并不包含无动作的个体和背景，可通过向这种YOLO的输入影像应用深度学习方法来获取采用影像标注矩形框显示针对于单个个体的探测结果的影像。
并且，在随后的影像处理过程中，当通过探测结果来执行数字变焦画面分离时，可追加获取包含以能够使用每个帧的影像标注矩形框信息(x坐标、y坐标、宽度、高度)的方式包含这些信息的文本文件。
图10中，可确认利用深度学习的接近个体探测过程。
由于YOLO的输入影像处于除观察个体外的不必要的因素被去除的状态，因此，所要探测的类型作为所要分离的个体，可以定义为单一类型。
在YOLO算法中，输入影像先被均匀地分割为任意设定的S×S个的栅格单元，可通过各个栅格单元预测具有x坐标信息、y坐标信息、宽度信息、高度信息和个体概率信息的n个影像标注矩形框信息。即，通过上述过程，各个单元可预测包含个体概率信息的多个影像标注矩形框，可提取具有阈值以上概率的影像标注矩形框，由此存在可探测个体的特征(参照图10)。
以上的说明仅例示性地说明了本发明的技术思想，本发明所属技术领域的普通技术人员可在不脱离本发明的本质特性的范围内进行多种修改及变形。因此，在本发明中所公开的实施例仅用于说明，并不限定本发明的技术思想，本发明的技术思想的范畴并不限定于以上实施例。本发明的保护范围应根据发明要求保护范围加以解释，与其等同范围内的所有技术思想均属于本发明的发明要求保护范围内。

Claims (10)

1.一种应用多摄像头移动路径追踪技术的影像监视装置，其特征在于，
包括：
外壳模块(100)，用于形成影像监视装置的外观；
一个以上的环绕摄像头(200)，配置在上述外壳模块(100)的内侧，朝向上述外壳模块(100)的外侧定向；以及
中心摄像头(300)，配置在一个以上的上述环绕摄像头(200)的中心部，
上述环绕摄像头(200)以上述外壳模块(100)的中心为基准，以相同间隔排列成圆形并朝向上述外壳模块(100)的外侧定向，
上述中心摄像头(300)配置在上述外壳模块(100)的中心线上并配置在上述外壳模块(100)的内部。
2.根据权利要求1所述的应用多摄像头移动路径追踪技术的影像监视装置，其特征在于，上述外壳模块(100)包括：
固定体(110)，为了上述外壳模块(100)的固定而固定在建筑物的一面；
连接主体(120)，与上述固定体(110)的一侧相结合，形成内部空间；以及
下部盖(130)，与上述连接主体(120)相结合来密封上述内部空间，构成上述外壳模块(100)。
3.根据权利要求1所述的应用多摄像头移动路径追踪技术的影像监视装置，其特征在于，上述环绕摄像头(200)由具有广角镜头的4个摄像头构成，各个环绕摄像头(200)在相同平面上以具有90度的定向角度的方式配置，各个环绕摄像头(200)的监视角度在水平方向上达到98度以上。
4.根据权利要求1所述的应用多摄像头移动路径追踪技术的影像监视装置，其特征在于，上述中心摄像头(300)由具有广角镜头的1个摄像头构成，配置在多个环绕摄像头(200)的中心，使得成像角度与地面相垂直，上述中心摄像头(300)的监视角度为73度以上。
5.根据权利要求2所述的应用多摄像头移动路径追踪技术的影像监视装置，其特征在于，上述固定体(110)包括形成于上述固定体(110)的一侧的突出部(111)或螺栓加工部。
6.根据权利要求2所述的应用多摄像头移动路径追踪技术的影像监视装置，其特征在于，上述连接主体(120)通过强行扣入结合、螺栓结合或螺纹结合中的一种结合方式与上述固定体(110)的一侧相结合。
7.根据权利要求2所述的应用多摄像头移动路径追踪技术的影像监视装置，其特征在于，上述下部盖(130)通过强行扣入结合、螺栓结合或螺纹结合中的一种结合方式与上述连接主体(120)的一侧相结合，上述下部盖(130)包括一个以上的窗口(131)，上述窗口(131)使上述环绕摄像头(200)或上述中心摄像头(300)的一部分向外部突出，或者使可视光线或红外线等能够向上述环绕摄像头(200)或上述中心摄像头(300)的镜头透射。
8.根据权利要求1所述的应用多摄像头移动路径追踪技术的影像监视装置，其特征在于，还包括通信部(400)，配置在上述外壳模块(100)的内部空间，以有线或无线的方式向外部发送或从外部接收影像监视装置的信息。
9.根据权利要求8所述的应用多摄像头移动路径追踪技术的影像监视装置，其特征在于，在影像监视装置内部或外部还包括影像处理部，上述影像处理部通过上述通信部(400)接收影像监视装置生成的成像信息，以上述成像信息为基础执行针对监视个体的移动路径追踪。
10.根据权利要求9所述的应用多摄像头移动路径追踪技术的影像监视装置，其特征在于，通过上述影像处理部，应用将多摄像头的成像影像合成为一个全景影像的影像合成技术。
CN201980081959.3A 2018-12-27 2019-11-28 应用多摄像头移动路径追踪技术的影像监视装置 Active CN113179673B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180170824A KR101982751B1 (ko) 2018-12-27 2018-12-27 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
KR10-2018-0170824 2018-12-27
PCT/KR2019/016549 WO2020138736A1 (ko) 2018-12-27 2019-11-28 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치

Publications (2)

Publication Number Publication Date
CN113179673A true CN113179673A (zh) 2021-07-27
CN113179673B CN113179673B (zh) 2023-09-19

Family

ID=66679141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081959.3A Active CN113179673B (zh) 2018-12-27 2019-11-28 应用多摄像头移动路径追踪技术的影像监视装置

Country Status (4)

Country Link
US (1) US11770502B2 (zh)
KR (1) KR101982751B1 (zh)
CN (1) CN113179673B (zh)
WO (1) WO2020138736A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101982751B1 (ko) * 2018-12-27 2019-05-27 주식회사 월드씨엔에스 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치
CN110992422B (zh) * 2019-11-04 2023-11-07 浙江工业大学 一种基于3d视觉的药盒姿态估计方法
JP2022035379A (ja) * 2020-08-20 2022-03-04 トヨタ自動車株式会社 情報処理装置、情報処理システム、及び情報処理方法
RU205500U1 (ru) * 2021-03-09 2021-07-16 Общество с ограниченной ответственностью "Синерго" (ООО "Синерго") Корпус потолочной камеры видеонаблюдения
KR102306854B1 (ko) * 2021-04-23 2021-09-30 주식회사 비츠에스앤지 교통상황 관리 시스템 및 방법
JP2023064427A (ja) * 2021-10-26 2023-05-11 富士通株式会社 推論プログラム、学習プログラム、推論方法および学習方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118554A (zh) * 2010-01-04 2011-07-06 鸿富锦精密工业（深圳）有限公司 监控系统
KR101128367B1 (ko) * 2011-06-07 2012-03-23 주식회사 두원전자통신 광대역 영상 감시 카메라
KR20120035455A (ko) * 2010-10-05 2012-04-16 주식회사 네오콤 사각지역 촬영이 가능한 감시카메라 및 그 제어방법
CN102714711A (zh) * 2010-02-01 2012-10-03 (株)荣国电子 追踪监视用摄像装置及采用此装置的远程监视系统
CN203251376U (zh) * 2013-02-28 2013-10-23 李建刚 地面全景无盲区监控器
CN103632360A (zh) * 2013-12-17 2014-03-12 中测新图(北京)遥感技术有限责任公司 无人机航摄影像的拼接方法
CN103916629A (zh) * 2013-01-01 2014-07-09 李建刚 全方位无盲区监控监听安防装置
CN105684415A (zh) * 2013-04-04 2016-06-15 大卫·安格莱利虚拟意念公司 球面全景视频拍摄系统
KR20170001869A (ko) * 2015-06-26 2017-01-05 서울과학기술대학교 산학협력단 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법
KR20170091325A (ko) * 2016-02-01 2017-08-09 (주)씨프로 서라운드 카메라 장치
KR101806840B1 (ko) * 2016-12-15 2017-12-11 인천대학교 산학협력단 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템
US20180176465A1 (en) * 2016-12-16 2018-06-21 Prolific Technology Inc. Image processing method for immediately producing panoramic images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3562513A (en) * 1968-06-07 1971-02-09 Perfeclite Inc Lighting fixture with prismatic reflector
JP2009182617A (ja) * 2008-01-30 2009-08-13 Nippon Seiki Co Ltd 全方位撮像装置
WO2012056437A1 (en) * 2010-10-29 2012-05-03 École Polytechnique Fédérale De Lausanne (Epfl) Omnidirectional sensor array system
US10230904B2 (en) * 2016-04-06 2019-03-12 Facebook, Inc. Three-dimensional, 360-degree virtual reality camera system
KR101821159B1 (ko) 2017-07-10 2018-03-09 주식회사 영국전자 다수의 카메라를 이용한 이동체의 이동 경로 추적 시스템
CN209345240U (zh) * 2017-09-25 2019-09-03 菲力尔安全公司 相机系统
JP7118659B2 (ja) * 2018-02-15 2022-08-16 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
KR101982751B1 (ko) * 2018-12-27 2019-05-27 주식회사 월드씨엔에스 멀티 카메라를 이용한 이동경로 추적기술이 적용된 영상감시장치

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118554A (zh) * 2010-01-04 2011-07-06 鸿富锦精密工业（深圳）有限公司 监控系统
CN102714711A (zh) * 2010-02-01 2012-10-03 (株)荣国电子 追踪监视用摄像装置及采用此装置的远程监视系统
KR20120035455A (ko) * 2010-10-05 2012-04-16 주식회사 네오콤 사각지역 촬영이 가능한 감시카메라 및 그 제어방법
KR101128367B1 (ko) * 2011-06-07 2012-03-23 주식회사 두원전자통신 광대역 영상 감시 카메라
CN103916629A (zh) * 2013-01-01 2014-07-09 李建刚 全方位无盲区监控监听安防装置
CN203251376U (zh) * 2013-02-28 2013-10-23 李建刚 地面全景无盲区监控器
CN105684415A (zh) * 2013-04-04 2016-06-15 大卫·安格莱利虚拟意念公司 球面全景视频拍摄系统
CN103632360A (zh) * 2013-12-17 2014-03-12 中测新图(北京)遥感技术有限责任公司 无人机航摄影像的拼接方法
KR20170001869A (ko) * 2015-06-26 2017-01-05 서울과학기술대학교 산학협력단 전방위 카메라 영상에서의 이동 궤적 패턴분석을 이용한 스마트 보안 감시 장치 및 방법
KR20170091325A (ko) * 2016-02-01 2017-08-09 (주)씨프로 서라운드 카메라 장치
KR101806840B1 (ko) * 2016-12-15 2017-12-11 인천대학교 산학협력단 다수의 카메라를 이용한 고해상도 ３６０도 동영상 생성 시스템
US20180176465A1 (en) * 2016-12-16 2018-06-21 Prolific Technology Inc. Image processing method for immediately producing panoramic images

Also Published As

Publication number Publication date
CN113179673B (zh) 2023-09-19
KR101982751B1 (ko) 2019-05-27
WO2020138736A1 (ko) 2020-07-02
US11770502B2 (en) 2023-09-26
US20210314531A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
CN113179673B (zh) 应用多摄像头移动路径追踪技术的影像监视装置
Boult et al. Omni-directional visual surveillance
CN106791710B (zh) 目标检测方法、装置和电子设备
CN107659774B (zh) 一种基于多尺度相机阵列的视频成像系统及视频处理方法
US7940299B2 (en) Method and apparatus for an omni-directional video surveillance system
Cristani et al. Background subtraction for automated multisensor surveillance: a comprehensive review
US20170161563A1 (en) Unusual Event Detection in Wide-Angle Video (Based on Moving Object Trajectories)
CN109872483B (zh) 一种入侵警戒光电监测系统及方法
US8639026B2 (en) Background model learning system for lighting change adaptation utilized for video surveillance
CN108141568B (zh) Osd信息生成摄像机、合成终端设备及共享系统
CN102577347A (zh) 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
CN110751206A (zh) 一种多目标智能成像与识别装置及方法
JP3486229B2 (ja) 画像変化検出装置
KR101890134B1 (ko) Cctv 감시장치 비트맵에 의한 이미지 데이터 처리 움직임 분석 제어 방법
CN114511592B (zh) 一种基于rgbd相机和bim系统的人员轨迹追踪方法及系统
KR101360244B1 (ko) Cctv 투시에 의한 객체 움직임 감시시스템
US11574484B1 (en) High resolution infrared image generation using image data from an RGB-IR sensor and visible light interpolation
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
CN117294818A (zh) 一种用于机场施工的工地全景监控方法
KR20210076334A (ko) 전방향 카메라를 이용한 방범용 영상감시장치
KR102411612B1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
CN115984768A (zh) 一种基于固定型单目摄像头的多目标行人实时检测定位方法
CN115578669A (zh) 一种相机镜头异物的识别方法及装置
Tyagi et al. A review paper on real-time video analysis in dense environment for surveillance system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant