CN109474792B - 图像处理装置、非暂时性计算机可读存储介质及方法 - Google Patents

图像处理装置、非暂时性计算机可读存储介质及方法 Download PDF

Info

Publication number
CN109474792B
CN109474792B CN201811042874.8A CN201811042874A CN109474792B CN 109474792 B CN109474792 B CN 109474792B CN 201811042874 A CN201811042874 A CN 201811042874A CN 109474792 B CN109474792 B CN 109474792B
Authority
CN
China
Prior art keywords
image
unit
processing apparatus
image capturing
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811042874.8A
Other languages
English (en)
Other versions
CN109474792A (zh
Inventor
福井结子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109474792A publication Critical patent/CN109474792A/zh
Application granted granted Critical
Publication of CN109474792B publication Critical patent/CN109474792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像处理装置、非暂时性计算机可读存储介质及方法。所述图像处理装置包括：第一获取单元，构造为获取通过对来自朝向预定区域的多个第一图像捕获单元的多个图像进行合成而获得的合成图像；第二获取单元，构造为从朝向所述预定区域的第二图像捕获单元获取参考图像；比较单元，构造为将所述合成图像与所述参考图像进行比较；以及输出单元，构造为从所述比较单元输出比较结果。

Description

图像处理装置、非暂时性计算机可读存储介质及方法
技术领域
本发明涉及一种图像处理装置、非暂时性计算机可读存储介质及方法。
背景技术
传统上，存在包括能够生成合成图像的多个图像捕获单元以及能够进行广域摄影(wide-range photography)的图像捕获单元的摄像装置。可以通过从多个图像捕获单元生成合成图像并使用来自能够进行广域摄影的图像捕获单元的图像来检查合成图像中无法识别的细节以实现广域监控。
然而，由于图像捕获单元的布置结构，因此存在在合成连接部分中出现具有重像(double image)的区域或具有缺失的区域的情况。根据被摄体的位置，可能存在被摄体重复(duplication)或缺失而不能正确拍摄被摄体的情况。下文中将具有重像的区域和具有缺失的区域统称为重叠/缺失(overlap/absence)区域。
响应于上述问题，存在一种通过另外的图像捕获装置补偿重叠或缺失的方法。例如，日本特开第2015-204512号公报公开了一种检测由大量摄像机构造的监控系统中的缺失区域并向可移动摄像机发布移动指令以防止缺失区域的方法。
发明内容
然而，在可移动摄像机的数量小于缺失区域的数量的情况下，通过日本特开第2015-204512号公报中公开的技术，不可能总是恰当地对所有缺失区域进行图像捕获。并且，虽然能够通过日本特开第2015-204512号公报中公开的技术检测缺失区域，但是不能把握缺失区域的位置。
本发明的一个方面提供一种图像处理技术，所述图像处理技术能够更恰当地处理重叠/缺失区域。
本发明的一个方面具有以下结构。
一种图像处理装置，所述图像处理装置包括：第一获取单元，构造为获取通过对来自朝向预定区域的多个第一图像捕获单元的多个图像进行合成而获得的合成图像；第二获取单元，构造为从朝向所述预定区域的第二图像捕获单元获取参考图像；比较单元，构造为将所述合成图像与所述参考图像进行比较；以及输出单元，构造为从所述比较单元输出比较结果。
本发明的另一方面具有以下结构。
一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储用于使计算机执行方法的计算机程序，所述方法包括：安装包括多个第一图像捕获单元和第二图像捕获单元的图像捕获装置；移动参考图像上的指示器，所述参考图像来自所述第二图像捕获单元并且连同所述指示器一起显示在显示单元上，所述指示器显示所述参考图像与通过对来自所述多个第一图像捕获单元的多个图像进行合成而获得的合成图像之间的差异，移动所述指示器使得感兴趣对象偏离所述差异；以及根据移动量调整所述图像捕获装置的方位。
本发明的又一方面具有以下结构。
一种方法，所述方法包括：安装包括多个第一图像捕获单元和第二图像捕获单元的图像捕获装置；移动参考图像上的指示器，所述参考图像来自所述第二图像捕获单元并且连同所述指示器一起显示在显示单元上，所述指示器显示所述参考图像与通过对来自所述多个第一图像捕获单元的多个图像进行合成而获得的合成图像之间的差异，移动所述指示器使得感兴趣对象偏离所述差异；以及根据移动量调整所述图像捕获装置的方位。
根据本发明上述方面中的一者，可提供一种能够更恰当地处理重叠/缺失区域的图像处理技术。
根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
包含在说明书中并构成本说明书的一部分的附图例示本发明的实施例，并与文字描述一起用于解释本发明的原理。
图1是根据实施例的网络摄像机系统的示意图。
图2是显示图1的监控摄像机单元的结构和功能的框图。
图3A是显示固定摄像机的视角与被摄体之间的位置关系的示意图。
图3B是由监控摄像机单元拍摄的被摄体的示意图。
图3C是显示在由多视点摄像机对拍摄区域进行拍摄的情况下的多视点全景图像的图。
图4A是显示在由多视点摄像机对拍摄区域进行拍摄的情况下的多视点全景图像的图。
图4B是显示在由PTZ摄像机对同一拍摄区域进行拍摄的情况下的PTZ全景图像的图。
图4C是显示重叠部分和缺失部分的确定方法的说明图。
图4D是显示重叠部分和缺失部分的确定顺序的示意图。
图4E是显示重叠部分和缺失部分的生成方法的说明图。
图5是显示图2中的比较单元的一系列处理的流程的流程图。
图6A和图6B是显示在显示器上显示的带有重叠指示器和缺失指示器的PTZ全景图像的图。
图7A是显示移动前的缺失指示器和移动后的缺失指示器的图。
图7B是显示带有移动后的缺失指示器的PTZ全景图像的图。
图8是显示图2中的旋转量计算单元中的一系列处理的流程的流程图。
图9A是显示在显示器上显示的带有重叠指示器的多视点全景图像的图。
图9B是显示在显示器上显示的带有缺失指示器的补全的多视点图像的图。
图10是显示图1的监控摄像机单元中的一系列处理的流程的流程图。
图11是显示在安装者调整监控摄像机单元方位情况下的过程的流程图。
具体实施方式
下文中，将为附图中所示的相同或等同的构成元件、部件和处理指定相同的附图标记，并且将适当省略冗余描述。并且，一些对描述不重要的部件将不在附图中显示。
以下实施例提供一种图像处理装置，所述图像处理装置支持按需安装监控摄像机单元，所述监控摄像机单元包括多个固定摄像机和能够生成广域图像的PTZ摄像机。该图像处理装置获取通过对来自多个固定摄像机的多个图像进行合成而获得的合成图像，从PTZ摄像机获取广域图像(下文中称为参考图像)，计算获取的合成图像的显示范围与参考图像的显示范围之间的差异，并且将参考图像连同指示器一起显示在显示器上，所述指示器显示所计算的差异。这样，更易于把握合成图像的重叠区域和缺失区域，并且在考虑到被摄体的位置和重叠/缺失区域的位置的情况下，可以容易地实现对监控摄像机的方位和安装位置的调整。
图1是根据实施例的网络摄像机系统10的示意图。网络摄像机系统10包括监控摄像机单元106和工作站121。监控摄像机单元106与工作站121经由网络120连接。网络120可以是互联网、内联网、LAN、WAN、Wi-Fi网络、公共电话网络、专用线路、布线或其任意组合，并且可以是有线网络或无线网络。工作站121是用于经由网络120管理监控摄像机单元106的管理装置。工作站121配备有显示器104(例如，诸如LCD或有机EL面板的显示装置)和操作单元901。操作单元901接受用户操作。操作单元901可以包括例如键盘、鼠标、按钮或触摸面板，并且可以是已知的接受语音输入的装置。监控摄像机单元经由网络120接收发给操作单元901的指令。注意，可以将显示器104和操作单元901中的至少一者配备在监控摄像机单元106上。
监控摄像机单元106包括多视点摄像机101和PTZ摄像机102。多视点摄像机101包括多个(在本实施例中为四个)固定摄像机105。多视点摄像机101和PTZ摄像机102两者均配备在监控摄像机单元106的壳体122中。多视点摄像机101中包括的四个固定摄像机105中的每一者均固定在壳体122中。固定摄像机105可以具有变焦功能。PTZ摄像机102构造为可相对于壳体122移动，并且例如可以具有公知的摇摄/倾斜/变焦功能。
在使用监控摄像机单元106时，多视点摄像机101和PTZ摄像机102朝向真实空间的同一区域(下文中称为拍摄区域)。多视点摄像机101通过四个固定摄像机105对拍摄区域进行拍摄，将获得的四个图像进行合成，并且将获得的合成图像作为合成结果(即，多视点全景图像)输出。PTZ摄像机102使用摇摄/倾斜/变焦功能对拍摄区域进行拍摄，并且输出获得的参考图像，即PTZ全景图像。
在本实施例中，在安装监控摄像机单元106并且调整其方位(例如，由方位角代表的角度)时，在显示器104上显示PTZ全景图像与多视点全景图像之间的差异。安装者可参考指示器并且调整监控摄像机单元106的方向，使得拍摄区域内的感兴趣对象偏离差异区域。
图2是显示根据本实施例的监控摄像机单元106的结构和功能的框图。此处所示的模块可通过硬件(也就是说，通过机械设备或诸如计算机的CPU等元件)实现，并且可通过软件(也就是说，通过计算机程序等)实现，但是此处所示的功能模块通过硬件与软件之间的协作实现。因此，阅读该说明书的本领域技术人员应理解可通过硬件与软件的组合以多种不同方式实现这些功能模块的事实。
监控摄像机单元106还包括处理单元125。监控摄像机单元106的部件(即，多视点摄像机101、PTZ摄像机102和处理单元125)各自连接到总线126，并且构造为能够经由总线126相互通信。监控摄像机单元106可以包括易失性存储器或非易失性存储器，诸如ROM、RAM或HDD(均未显示)。
注意，本实施例描述了将处理单元125、操作接受单元131、旋转量计算单元902和多视点全景补全单元601全部配备在监控摄像机单元106中的情况，但并不局限于此。例如，可以将处理单元125、操作接受单元131、旋转量计算单元902和多视点全景补全单元601中的至少一者配备在工作站121中。在将处理单元125配备在工作站121中的情况下，监控摄像机单元经由网络120将图像从摄像机传输到工作站121，并且经由网络120从工作站121接收差异信息。
处理单元125包括多视点全景获取单元127、PTZ全景获取单元128、比较单元129、显示控制单元130、操作接受单元131、旋转量计算单元902和多视点全景补全单元601。
多视点全景获取单元127经由总线126从多视点摄像机101获取多视点全景图像，所述多视点全景图像通过对来自朝向拍摄区域的四个固定摄像机105的四个图像进行合成而获得。
PTZ全景获取单元128经由总线126从PTZ摄像机102获取PTZ全景图像，所述PTZ全景图像来自朝向拍摄区域的PTZ摄像机102。
比较单元129将由多视点全景获取单元127获取的多视点全景图像与由PTZ全景获取单元128获取的PTZ全景图像进行比较。例如，比较单元129识别多视点全景图像与PTZ全景图像之间的差异。拍摄区域具有为多视点摄像机101的盲点的盲区和由多视点摄像机101冗余拍摄的重叠区域。比较单元129所识别的差异对应于所述盲区和所述重叠区域。
以下将参照图3A至图3C描述多视点全景图像与PTZ全景图像之间的差异。图3A是显示固定摄像机105a至105d的视角与被摄体201a至201d之间的位置关系的示意图。图3A对应于从上方观察监控摄像机单元106的图。固定摄像机105a至105d的视角中的各拍摄区域为整个拍摄区域210的部分。注意，在本实施例中，为了使描述更易于理解，忽略了深度等。并且，在本实施例中对四个图像进行合成，但是要合成的图像数量并不局限于此，并且例如可根据固定摄像机的数量来确定。
多视点摄像机101的四个固定摄像机105沿圆周方向间隔布置。因此，在固定摄像机105b的个别拍摄区域205b与相邻的固定摄像机105c的个别拍摄区域205c之间，靠近监控摄像机单元106出现盲区204而远离监控摄像机单元106出现重叠区域203。盲区204和重叠区域203沿相邻的个别拍摄区域205b与205c之间的边界202存在。
图3B是由监控摄像机单元106拍摄的被摄体201a至201d的示意图。在图3B中，将汽车用作被摄体201a至201d的示例。并且，被摄体201a至201d沿相邻的个别拍摄区域205b与205c之间的边界202并排布置。在由PTZ摄像机102对拍摄区域210进行拍摄的情况下，如图3B中所示获得PTZ全景图像。
图3C是显示在由多视点摄像机101对拍摄区域210进行拍摄的情况下的多视点全景图像207的图。通过对由四个固定摄像机105a至105d对各拍摄区域进行拍摄而获得的四个图像212a至212d进行合成，来获得多视点全景图像207。可通过使用已知图像合成技术实现对这些图像的合成。在图3C中，由于存在盲区204和重叠区域203，因此在被摄体201a至201d的图像211a至211d中会发生重叠和缺失。由于被摄体201a位于重叠区域203中，因此被摄体201a会同时出现在相邻的固定摄像机105b和105c的个别拍摄区域205b和205c中。因此，被摄体201a在多视点全景图像207中显示为重像(图像211a)。由于被摄体201c和201d位于盲区204中，因此被摄体201c和201d的部分从相邻的固定摄像机105b和105c的个别拍摄区域205b和205c两者中缺失。或者，被摄体201c和201d整个地从个别拍摄区域205b和205c两者中缺失。因此，多视点全景图像207仅显示被摄体201c和201d的部分(图像211c和图像211d)而非整体。
返回图2，比较单元129从PTZ图像(为参考图像)内识别显示同一拍摄区域210的多视点全景图像207中未包括的部分(下文中称为缺失部分)和冗余出现的部分(下文中称为重叠部分)。如上所述，缺失部分对应于盲区204，而重叠部分对应于重叠区域203。
比较单元129包括子区域提取单元107、像素值比较单元108、保持单元109和差异区域计算单元110。子区域提取单元107从由多视点全景获取单元127获取的多视点全景图像207中提取子区域。子区域提取单元107还从由PTZ全景获取单元128获取的PTZ全景图像中提取位置对应的子区域。像素值比较单元108将两个所提取子区域的像素值进行比较。保持单元109保持比较结果。在针对整个多视点全景图像重复进行以上子区域比较之后，差异区域计算单元110计算重叠部分和缺失部分。
以下将参照图4A至图4E描述用于计算重叠部分和缺失部分的方法。图4A是显示在由多视点摄像机101对拍摄区域210进行拍摄的情况下的多视点全景图像207的图。图4A对应于图3C。图4B是显示在由PTZ摄像机102对同一拍摄区域210进行拍摄的情况下的PTZ全景图像301的图。图4C是显示重叠部分和缺失部分的确定方法的说明图。图4D是显示进行重叠部分和缺失部分的确定的顺序的示意图。图4E是显示重叠部分和缺失部分的生成方法的说明图。
针对每一个预定子区域401，比较单元129进行在多视点全景图像207与PTZ全景图像301之间的比较。如果子区域401的像素值之间的差大于或等于阈值，则比较单元129确定发生了重叠或缺失，而如果像素值之间的差小于阈值，则确定没有发生重叠和缺失。例如，如图4C中所示，比较单元129比较子区域401-1中的像素值，由于像素值之间的差小于阈值，因而确定没有发生重叠和缺失。并且，比较单元129进行在子区域401-N1中的比较，并且由于像素值之间的差大于或等于阈值，因而确定发生了重叠或缺失。注意，像素值之间的差可以是子区域中包括的像素的像素值之间的平均差，或者可以是子区域中具有匹配(或不匹配)像素值的像素的数量或比值。
如图4D中所示，通过移动子区域401依序确定重叠/缺失。子区域401的初始位置在图像的左下角(初始位置的子区域显示为子区域401-1)，在完成子区域401-1的比较之后，比较处理移至右边的相邻子区域401-2。然后，在到达右端的子区域401-N2之后，比较处理移至上方的子区域401-N3，然后向左移动以类似方式继续处理。在到达左上方的子区域401-N4或右上方的子区域401-N5时，比较单元129结束确定处理。当针对所有子区域确定处理均结束时，如图4E中所示，差异区域计算单元110通过合并确定结果计算重叠部分和缺失部分。在图4E中的示例中，差异区域计算单元110计算PTZ全景图像301中的缺失部分402。
图5是显示比较单元129中的一系列处理的流程的流程图。首先，在步骤S505中，比较单元129提取并比较多视点全景图像207的子区域401和PTZ全景图像301的子区域401。在步骤S506中，比较单元129确定像素值差与阈值之间的大小关系。在差大于或等于阈值的情况下，在步骤S507中，比较单元129确定在子区域401中存在重叠/缺失，并且将子区域401的位置和确定结果对应地存储在保持单元109中。确定结果例如可以由显示重叠/缺失是否存在的标志表示。在差小于阈值的情况下，在步骤S508中，比较单元129确定在子区域401中不存在重叠/缺失，并且将子区域401的位置和确定结果对应地存储在保持单元109中。然后，在步骤S509中，比较单元129确定是否没有尚未处理的子区域401。在有尚未处理的子区域的情况下，在步骤S511中，比较单元129移至下一子区域401，并且处理返回步骤S505。在步骤S509中确定没有尚未处理的子区域401的情况下，在步骤S510中，比较单元129从保持单元109读取子区域401的确定结果，并计算重叠部分和缺失部分。
返回图2，显示控制单元130用作输出由比较单元129获得的比较结果的输出单元。显示控制单元130经由网络120将PTZ全景图像301连同表示由比较单元129所识别的差异的差异指示器一起显示在显示器104上。所述差异指示器包括显示由差异区域计算单元110计算的缺失部分402的缺失指示器和显示由差异区域计算单元110计算的重叠部分的重叠指示器。
图6A是显示在显示器104上显示的带有重叠指示器510的PTZ全景图像301的图。图6B是显示在显示器104上显示的带有缺失指示器511的PTZ全景图像301的图。与多视点全景图像207不同，PTZ全景图像301可无重叠或缺失地显示被摄体201。因此，通过将重叠指示器510和缺失指示器511叠加在PTZ全景图像301上，可识别被摄体201与重叠区域203或盲区204之间的位置关系。
返回图2，操作接受单元131经由网络120从操作单元901接受由用户在操作单元901上做出的移动重叠指示器510或缺失指示器511的指令。显示控制单元130根据接受的指令在显示器104中显示的PTZ全景图像301(参考图像)上移动重叠指示器510或缺失指示器511。用户可使用操作单元901在PTZ全景图像301上移动显示的重叠指示器510或缺失指示器511。旋转量计算单元902计算壳体122伴随重叠指示器510或缺失指示器511的移动而移动的量。移动量例如为实际上要移动重叠区域203或盲区204所需的壳体122的旋转角。
以下参照图7A和图7B描述缺失指示器511的移动。将在显示缺失指示器511的PTZ全景图像301上沿箭头710的方向(向左)移动缺失指示器511的情况作为示例。图7A是显示移动前的缺失指示器511和移动后的缺失指示器711的图。在图7A中，移动前的缺失指示器511具有实线轮廓，而移动后的缺失指示器711具有虚线轮廓，但是实际显示模式并不局限于此。
图7B是显示带有移动后的缺失指示器711的PTZ全景图像301的图。缺失指示器在PTZ全景图像301上移动，但此时对应盲区204的位置并未移动。图7B显示旋转监控摄像机单元106的模拟结果。因此，显示控制单元130可以与移动前的缺失指示器511不同的模式显示移动后的缺失指示器711。例如，在图7B的示例中，将移动后的缺失指示器711显示为具有虚线轮廓。
当根据用户指令在显示器104上显示的PTZ全景图像301上移动缺失指示器511时，会出现移动前PTZ全景图像301中被缺失指示器511隐藏的部分。例如，在图7A中的状态下，被摄体201d的图像712d中最接近监控摄像机单元106的窗户部分被缺失指示器511隐藏。在图7B中的状态下，该窗户部分在移动缺失指示器511之后可见。以此方式，隐藏在缺失指示器下方的图像因缺失指示器移动而出现，且因此用户可容易地知晓他们需要以何种程度及何种方式移动缺失指示器以使得感兴趣对象可见。
以下参照图7A描述用于在旋转量计算单元902中计算旋转角的方法。例如，考虑如图7A中所示移动缺失指示器511的情况。在图7A中，将以下坐标指定给PTZ全景图像301：左下角为(0，0)、右下角为(a，0)、左上角为(0，b)、右上角为(a，b)、移动前的缺失指示器511的顶点为(x1，y1)、移动后的缺失指示器711的顶点为(x2，y1)。注意，对应于在计算重叠部分和缺失部分时使用的子区域401指定坐标。图7A中的水平方向为x方向，而垂直方向为y方向。通过下面所示的公式(1)计算监控摄像机单元106(或其壳体122)相对于x方向上的移动量的旋转角。此处，α为对应于PTZ全景图像301的角度范围。例如，在生成全方位的PTZ全景图像301的情况下，α＝360度。
相对于移动的旋转角＝(x2–x1)×(α÷a)…(1)
图8是显示旋转量计算单元902中的一系列处理的流程的流程图。首先，在步骤S801中，旋转量计算单元902获取对应于PTZ全景图像301的角度范围(α)。例如，在生成全方位的PTZ全景图像301的情况下，角度范围为0度到360度。接下来，在步骤S802中，旋转量计算单元902获取PTZ全景图像301的端点坐标(a，b)和移动前的缺失指示器511的顶点坐标(x1，y1)。坐标获取之后，在步骤S803中，用户使用操作单元901移动缺失指示器。在步骤S804中，旋转量计算单元902计算移动后的缺失指示器711的顶点坐标(x2，y1)。在步骤S805中，旋转量计算单元902使用公式(1)计算移动缺失指示器所需的旋转角。在步骤S806中，旋转量计算单元902通知用户计算出的旋转角。可以通过经由显示控制单元130在显示器104上显示旋转角或通过合成并输出表示旋转角的语音来给出通知。
返回图2，多视点全景补全单元601基于来自比较单元129的比较结果补全多视点全景图像207。多视点全景补全单元601根据由比较单元129计算出的缺失部分402来补全多视点全景图像207。由于多视点全景图像207与PTZ全景图像301具有不同的缺失，因此可通过调整多视点全景图像207以补全缺失部分402来减轻违和感。显示控制单元130在显示器104上显示已由多视点全景补全单元601补全的多视点全景图像。
图9A是显示在显示器104上显示的带有重叠指示器911的多视点全景图像207的图。重叠指示器911显示由差异区域计算单元110计算出的重叠部分。图9B是显示在显示器104上显示的带有缺失指示器912的补全的多视点图像910的图。缺失指示器912显示由差异区域计算单元110计算出的缺失部分402。多视点全景补全单元601通过将缺失指示器912插入到多视点全景图像207中来生成补全的多视点图像910。
下面将描述具有上述结构单元的监控摄像机单元106的操作。
图10是显示监控摄像机单元106中的一系列处理的流程的流程图。首先，在步骤S171中，监控摄像机单元106使用多视点摄像机101来生成多视点全景图像207。在步骤S172中，监控摄像机单元106使用PTZ摄像机102的摇摄/倾斜/变焦功能例如通过旋转PTZ摄像机102来扫描广域并生成PTZ全景图像301。在步骤S173中，监控摄像机单元106将多视点全景图像207与PTZ全景图像301进行比较，并且计算重叠部分和缺失部分。计算之后，在步骤S174中，监控摄像机单元106将对应于计算出的重叠部分和缺失部分的重叠指示器和缺失指示器叠加在PTZ全景图像301上，并且在显示器104上显示图像。在步骤S175中，监控摄像机单元106基于计算出的缺失部分补全多视点全景图像207。在步骤S176中，监控摄像机单元106在显示器104上显示补全的多视点全景图像(补全的多视点图像)。
图11是显示安装者调整监控摄像机单元106的方位时的过程的流程图。在步骤S180中，安装者在期望位置安装监控摄像机单元106。在步骤S181中，安装者通过使用工作站121的显示器104检查感兴趣对象被包括在拍摄区域210中的方式。在步骤S182中，安装者确定感兴趣对象是否被差异指示器(例如，重叠指示器或缺失指示器)隐藏。如果不存在隐藏，则安装完成。如果存在隐藏，则在步骤S183中，安装者在显示器104上显示的PTZ全景图像301上移动差异指示器使得感兴趣对象出现。例如，安装者通过操作操作单元901来移动差异指示器，使得感兴趣对象偏离差异指示器。在步骤S184中，安装者从监控摄像机单元106或工作站121接收对应于移动量的旋转角的通知。在步骤S185中，安装者旋转整个监控摄像机单元106以实现所通知的旋转角。
根据本实施例的监控摄像机单元106，更易于把握多视点全景图像207中的重叠部分和缺失部分的位置，且因此能够容易地把握被摄体201与重叠区域203或盲区204之间的位置关系。这样，在考虑到所述位置关系的情况下，安装监控摄像机单元106将变得更容易。例如，在安装监控摄像机单元106时存在期望观察的被摄体的情况下，可以安装监控摄像机单元106使得重叠区域203和盲区204偏离该被摄体。
以上描述了根据本实施例的监控摄像机单元106的结构和操作。该实施例是说明性的，并且本领域技术人员应理解，可通过将构成元件和处理步骤进行组合来实现各种变形，并且这些变形也应涵盖在本发明的范围内。
在本实施例中，描述了缺失指示器511沿x方向平移的情况，但并不局限于此。也可能有显示移动的其他模式。例如，缺失指示器511可以沿y方向移动。
在本实施例中，描述了将PTZ摄像机102用作生成参考图像的图像捕获单元的情况，但并不局限于此。例如，可以使用比固定摄像机105具有更广视角的摄像机，诸如包括鱼眼透镜的摄像机(鱼眼摄像机)。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围赋予最宽泛的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (11)

1.一种图像处理装置，所述图像处理装置包括：
第一获取单元，构造为获取通过对捕获预定区域的图像的多个第一图像捕获单元捕获的多个图像进行合成而获得的合成图像；
第二获取单元，构造为获取由捕获所述预定区域的图像的第二图像捕获单元获得的参考图像；
比较单元，构造为将所述合成图像与所述参考图像进行比较，并且构造为识别所述合成图像与所述参考图像之间的差异；以及
输出单元，构造为输出所述比较单元获得的识别结果。
2.根据权利要求1所述的图像处理装置，其中，所述输出单元将所述参考图像连同显示所述差异的指示器一起显示在显示单元上。
3.根据权利要求2所述的图像处理装置，所述图像处理装置还包括：
接受单元，构造为接受用于移动显示所述差异的所述指示器的指令，
其中，所述输出单元根据所述指令在所述显示单元上显示的所述参考图像上移动显示所述差异的所述指示器。
4.根据权利要求3所述的图像处理装置，所述图像处理装置还包括计算单元，所述计算单元构造为计算所述图像处理装置的壳体伴随显示所述差异的所述指示器的移动的移动量。
5.根据权利要求3所述的图像处理装置，其中，在根据所述指令在所述显示单元上显示的所述参考图像上移动显示所述差异的所述指示器的情况下，会出现所述参考图像中在移动前被显示所述差异的所述指示器隐藏的部分。
6.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
补全单元，构造为基于来自所述比较单元的所述识别结果补全所述合成图像，
其中，所述输出单元在显示单元上显示补全的合成图像。
7.根据权利要求1所述的图像处理装置，其中，所述预定区域具有所述多个第一图像捕获单元的盲区和由所述多个第一图像捕获单元冗余拍摄的区域中的至少一个区域，并且来自所述比较单元的所述识别结果对应于所述至少一个区域。
8.根据权利要求1所述的图像处理装置，其中，所述第二图像捕获单元配备在配备有所述多个第一图像捕获单元的壳体中。
9.根据权利要求8所述的图像处理装置，其中，所述多个第一图像捕获单元中的每一者均固定到所述壳体，并且所述第二图像捕获单元构造为能够相对于所述壳体移动。
10.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储用于使计算机执行图像处理方法的计算机程序，所述图像处理方法包括：
安装包括多个捕获预定区域的图像的第一图像捕获单元和捕获预定区域的图像的第二图像捕获单元的图像捕获装置；
移动参考图像上的指示器，所述参考图像来自所述第二图像捕获单元并且连同所述指示器一起显示在显示单元上，所述指示器显示所述参考图像与通过对来自所述多个第一图像捕获单元的多个图像进行合成而获得的合成图像之间的差异，移动所述指示器使得感兴趣对象偏离所述差异；以及
根据移动量调整所述图像捕获装置的方位。
11.一种图像处理方法，所述方法包括：
安装包括多个捕获预定区域的图像的第一图像捕获单元和捕获预定区域的图像的第二图像捕获单元的图像捕获装置；
移动参考图像上的指示器，所述参考图像来自所述第二图像捕获单元并且连同所述指示器一起显示在显示单元上，所述指示器显示所述参考图像与通过对来自所述多个第一图像捕获单元的多个图像进行合成而获得的合成图像之间的差异，移动所述指示器使得感兴趣对象偏离所述差异；以及
根据移动量调整所述图像捕获装置的方位。
CN201811042874.8A 2017-09-08 2018-09-07 图像处理装置、非暂时性计算机可读存储介质及方法 Active CN109474792B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017173220A JP6956574B2 (ja) 2017-09-08 2017-09-08 画像処理装置、プログラムおよび方法
JP2017-173220 2017-09-08

Publications (2)

Publication Number Publication Date
CN109474792A CN109474792A (zh) 2019-03-15
CN109474792B true CN109474792B (zh) 2021-05-04

Family

ID=63371473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811042874.8A Active CN109474792B (zh) 2017-09-08 2018-09-07 图像处理装置、非暂时性计算机可读存储介质及方法

Country Status (5)

Country Link
US (1) US10861188B2 (zh)
EP (1) EP3454548B1 (zh)
JP (1) JP6956574B2 (zh)
KR (1) KR102278200B1 (zh)
CN (1) CN109474792B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111208148A (zh) * 2020-02-21 2020-05-29 凌云光技术集团有限责任公司 一种挖孔屏漏光缺陷检测系统
JP2022015264A (ja) * 2020-07-08 2022-01-21 パナソニックｉ－ＰＲＯセンシングソリューションズ株式会社 監視カメラシステムおよび監視カメラ設定方法
JP2022182840A (ja) * 2021-05-28 2022-12-08 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20230316455A1 (en) * 2022-03-23 2023-10-05 Lenovo (Singapore) Pet. Ltd. Method and system to combine video feeds into panoramic video

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1579399B1 (en) * 2002-11-07 2007-07-25 WQS Ltd. Surveillance device
CN102577347A (zh) * 2009-06-29 2012-07-11 博世安防系统有限公司 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
CN102857739A (zh) * 2012-08-20 2013-01-02 上海光亮光电科技有限公司 分布式全景监控系统及其方法
CN103167234A (zh) * 2011-12-19 2013-06-19 安讯士有限公司 安装监控摄像机的方法
CN103338343A (zh) * 2013-05-29 2013-10-02 山西绿色光电产业科学技术研究院（有限公司） 以全景图像为基准的多路图像无缝拼接方法及装置
CN104483983A (zh) * 2014-11-24 2015-04-01 成都新舟锐视科技有限公司 一种多摄像头实时联动的双云台控制方法
CN105165004A (zh) * 2013-06-11 2015-12-16 夏普株式会社 摄影系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7940299B2 (en) * 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
JP4568009B2 (ja) * 2003-04-22 2010-10-27 パナソニック株式会社 カメラ連携による監視装置
JP2005176301A (ja) * 2003-11-11 2005-06-30 Canon Inc 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム
JP2008252863A (ja) * 2007-03-02 2008-10-16 Fujifilm Corp 撮像システム、撮像方法及びプログラム
JP5245185B2 (ja) * 2009-03-31 2013-07-24 サクサ株式会社 歩きたばこ監視装置
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
AU2011201953B2 (en) * 2011-04-29 2013-09-19 Canon Kabushiki Kaisha Fault tolerant background modelling
JP2014175706A (ja) * 2013-03-06 2014-09-22 Sumitomo Electric Ind Ltd 監視装置、監視方法および撮像部の配置方法
EP3133819A4 (en) 2014-04-14 2017-02-22 Panasonic Intellectual Property Management Co., Ltd. Image delivery method, image reception method, server, terminal apparatus, and image delivery system
JP2015204512A (ja) * 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
CA2974382C (en) 2015-01-20 2023-09-26 Ultrata, Llc Object based memory fabric
TWI526992B (zh) * 2015-01-21 2016-03-21 國立清華大學 擴充實境中基於深度攝影機之遮蔽效果優化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1579399B1 (en) * 2002-11-07 2007-07-25 WQS Ltd. Surveillance device
CN102577347A (zh) * 2009-06-29 2012-07-11 博世安防系统有限公司 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
CN103167234A (zh) * 2011-12-19 2013-06-19 安讯士有限公司 安装监控摄像机的方法
CN102857739A (zh) * 2012-08-20 2013-01-02 上海光亮光电科技有限公司 分布式全景监控系统及其方法
CN103338343A (zh) * 2013-05-29 2013-10-02 山西绿色光电产业科学技术研究院（有限公司） 以全景图像为基准的多路图像无缝拼接方法及装置
CN105165004A (zh) * 2013-06-11 2015-12-16 夏普株式会社 摄影系统
CN104483983A (zh) * 2014-11-24 2015-04-01 成都新舟锐视科技有限公司 一种多摄像头实时联动的双云台控制方法

Also Published As

Publication number Publication date
JP2019049824A (ja) 2019-03-28
EP3454548A1 (en) 2019-03-13
KR102278200B1 (ko) 2021-07-16
KR20190028305A (ko) 2019-03-18
CN109474792A (zh) 2019-03-15
US20190080477A1 (en) 2019-03-14
EP3454548B1 (en) 2021-06-30
US10861188B2 (en) 2020-12-08
JP6956574B2 (ja) 2021-11-02

Similar Documents

Publication Publication Date Title
CN109474792B (zh) 图像处理装置、非暂时性计算机可读存储介质及方法
US20210073942A1 (en) Image processing device, imaging system provided therewith, and calibration method
US9109891B2 (en) Stereo camera
US8472667B2 (en) Editing apparatus and method
KR101776702B1 (ko) 3차원 영상을 생성하는 감시 카메라 및 그 방법
US10078899B2 (en) Camera system and image registration method thereof
JPWO2005107240A1 (ja) 自動撮影方法および装置
JP2010117800A (ja) 駐車場監視装置及び方法
KR20130130544A (ko) 감시 영상 표시 방법 및 시스템
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
US10805534B2 (en) Image processing apparatus and method using video signal of planar coordinate system and spherical coordinate system
KR20160094655A (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
US11416978B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP2013239986A (ja) 補助情報生成装置、撮影画像表示システム、補助情報生成方法、撮影画像表示方法、及びコンピュータプログラム
KR101452342B1 (ko) 감시카메라 유닛 및 그 구동방법
JP2017152800A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6517515B2 (ja) 監視システム
JP6463652B2 (ja) 防犯カメラ設置支援装置及びプログラム
JP2017139559A (ja) 監視システムおよび監視システムの表示方法
JP2006033188A (ja) 監視装置および監視方法
CN114245006A (zh) 一种处理方法、装置及系统
JP2009157446A (ja) 監視システム
JP2004194309A (ja) 表示方法および表示装置
KR20150045080A (ko) 저시력자를 위한 영상보정방법 및 이를 위한 장치
JP4825479B2 (ja) 監視システム及び監視方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant