CN110059681A - 信息处理装置、信息处理方法和存储介质 - Google Patents

信息处理装置、信息处理方法和存储介质 Download PDF

Info

Publication number
CN110059681A
CN110059681A CN201811478291.XA CN201811478291A CN110059681A CN 110059681 A CN110059681 A CN 110059681A CN 201811478291 A CN201811478291 A CN 201811478291A CN 110059681 A CN110059681 A CN 110059681A
Authority
CN
China
Prior art keywords
image
subject
detection
region
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811478291.XA
Other languages
English (en)
Other versions
CN110059681B (zh
Inventor
岩本和成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110059681A publication Critical patent/CN110059681A/zh
Application granted granted Critical
Publication of CN110059681B publication Critical patent/CN110059681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种信息处理装置、信息处理方法和存储介质。根据本发明的一个实施例的信息处理装置包括：获取单元，用于获取拍摄图像；以及输出单元，用于输出针对进行基于拍摄图像的图像特征的被摄体检测的区域的、基于图像特征的被摄体检测处理的检测结果，并且输出针对除了进行基于拍摄图像的图像特征的被摄体检测的区域之外的区域的、基于除了图像特征之外的因素的被摄体检测处理的检测结果。

Description

信息处理装置、信息处理方法和存储介质
技术领域
本发明涉及一种信息处理装置、信息处理方法和存储介质。
背景技术
已知一种根据图像特征从拍摄图像中检测诸如人或车辆等的特定被摄体的技术。然而，在这种技术中，已知检测精度根据作为被摄体的物体的拍摄角度而降低。这是因为，作为被摄体的物体的图像特征可能根据拍摄角度而改变。通常，在基于图像特征的被摄体检测技术中，作为被摄体的物体的拍摄角度越小，越趋于提高检测精度。这是因为，通过使用拍摄角度小的拍摄图像中所包括的被摄体作为学习数据来生成图像特征。通过使用拍摄角度大的拍摄图像中所包括的被摄体作为学习数据，即使拍摄角度大得多，也可以在不降低检测精度的情况下检测被摄体。然而，由于拍摄角度大的拍摄图像中所包括的被摄体图像的数量少，因此难以收集这些被摄体图像。因此，基于许多图像特征的被摄体检测技术难以检测拍摄角度大的拍摄图像中所包括的被摄体。如上所述，在拍摄图像内的区域中，基于图像特征的被摄体检测技术具有被摄体检测的长处和弱点。日本特开2017-073670公开了在图像上叠加显示容易检测到被摄体的区域的方法。
然而，在日本特开2017-073670所公开的传统技术中，仅将容易检测到被摄体的区域叠加在图像上并进行显示，因此在难以进行被摄体检测的区域中，被摄体检测精度仍然较低。
发明内容
本发明的信息处理装置包括：获取单元，用于获取拍摄图像；以及输出单元，用于输出针对进行基于所述拍摄图像的图像特征的被摄体检测的区域的、基于图像特征的被摄体检测处理的检测结果，并且输出针对除了进行基于所述拍摄图像的图像特征的被摄体检测的区域之外的区域的、基于除了图像特征之外的因素的被摄体检测处理的检测结果。
本发明的信息处理方法包括：获取步骤，用于获取拍摄图像；以及输出步骤，用于输出针对进行基于所述拍摄图像的图像特征的被摄体检测的区域的、基于图像特征的被摄体检测处理的检测结果，并且输出针对除了进行基于所述拍摄图像的图像特征的被摄体检测的区域之外的区域的、基于除了图像特征之外的因素的被摄体检测处理的检测结果。
本发明的非暂时性存储介质包括用于使计算机用作本发明的信息处理装置的各单元的程序。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出被摄体检测系统的系统结构的示例的图。
图2A和图2B是示出摄像装置和客户端装置的硬件结构的示例的图。
图3A和图3B是示出摄像装置和客户端装置的功能结构的示例的图。
图4是示出第一实施例的被摄体检测处理的示例的流程图。
图5是示出摄像装置所拍摄的拍摄图像的示例的图。
图6是示出已经进行了被摄体检测处理的拍摄图像的示例的图。
图7是示出第二实施例的被摄体检测处理的示例的流程图。
图8A、8B、8C和8D是示出拍摄图像的示例的图。
图9A、9B、9C和9D是示出拍摄图像的示例的图。
图10A、10B、10C和10D是示出拍摄图像的示例的图。
图11A和图11B是示出用于分割区域的操作UI的示例的图。
图12A和图12B是示出用于分割区域的操作UI的示例的图。
具体实施方式
现在将根据附图来详细描述本发明的优选实施例。
第一实施例
在本实施例中，被摄体检测系统(在下文中称为系统)将拍摄图像分割为进行基于图像特征的被摄体检测的区域和进行基于除图像特征之外的因素的被摄体检测的区域。然后，系统分别进行与分割区域相对应的被摄体检测，并输出检测结果。下面将描述本实施例中的信息处理的流程。
图1是示出系统的系统结构的示例的图。
本实施例的系统包括摄像装置110和客户端装置120。摄像装置110和客户端装置120连接以使得能够经由网络150彼此通信。客户端装置120连接到输入装置130和显示装置140。客户端装置120是信息处理装置的示例。
摄像装置110是诸如进行拍摄的网络照相机等的摄像装置。客户端装置120是诸如个人计算机、服务器装置或平板装置等的信息处理装置，其用于驱动摄像装置110，获取拍摄图像，检测针对所获取到的图像的移动物体或叠加掩模等。输入装置130是由鼠标或键盘等形成的输入装置。显示装置140是诸如监视器等的用于显示客户端装置120所输出的图像的显示装置。在本实施例中，客户端装置120、输入装置130和显示装置140是单独的装置。然而，例如，客户端装置120和显示装置140可以一体化，或者输入装置130和显示装置140可以一体化。此外，客户端装置120、输入装置130和显示装置140可以一体化。
网络150是将摄像装置110连接到客户端装置120的网络。网络150例如由符合诸如以太网(Ethernet(注册商标))等的通信规范的多个路由器、交换机或线缆等形成。在本实施例中，网络150可以是使得能够在摄像装置110和客户端装置120之间进行通信的任何网络，并且其通信规范、大小和结构不受特别限制。例如，网络150可以由因特网、有线局域网(LAN)、无线LAN、广域网(WAN)等形成。
图2A是示出摄像装置110的硬件结构的示例的图。
摄像装置110包括CPU 211、主存储装置212、辅助存储装置213、驱动装置214、摄像单元215和网络I/F 216作为硬件结构。各个组件连接以使得能够经由系统总线217彼此通信。
CPU 211是用于控制摄像装置110的操作的中央处理单元。主存储装置212是诸如随机存取存储器(RAM)等的用作CPU 211的工作区域和用于存储数据的临时区域的存储装置。辅助存储装置213是诸如硬盘驱动器(HDD)、只读存储器(ROM)或固态驱动器(SSD)等的用于存储各种程序或各种设置数据等的存储装置。
驱动单元214是用于驱动摄像装置110以改变摄像装置110的姿势等并改变摄像单元215的拍摄方向和图像角度的驱动单元。摄像单元215是具有摄像器件和光学系统、并且以光学系统的光轴和摄像器件的交点为拍摄中心在摄像器件上形成被摄体的图像的摄像单元。摄像器件可以是互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)等。网络I/F216是经由网络150与诸如客户端装置120等的外部装置的通信中所使用的接口。
当CPU 211根据辅助存储装置213中所存储的程序来执行处理时，实现稍后利用图3A所述的摄像装置110的功能和摄像装置110的处理。
图2B是示出客户端装置120的硬件结构的示例的图。
客户端装置120包括CPU 221、主存储装置222、辅助存储装置223、输入I/F装置224、输出I/F 225和网络I/F 226作为硬件结构。各个组件连接以使得能够经由系统总线227彼此通信。
CPU 221是用于控制客户端装置120的操作的中央处理单元。主存储装置222是诸如RAM等的用作CPU 221的工作区域和用于存储数据的临时区域的存储装置。辅助存储装置223是诸如HDD、ROM或SSD等的用于存储各种程序或各种设置数据等的存储装置。
输入I/F 224是在接受来自输入装置130等的输入时使用的接口。输出I/F225是用于将信息输出到显示装置140等的接口。网络I/F 216是经由网络150与诸如摄像装置110等的外部装置的通信中所使用的接口。
当CPU 221根据辅助存储装置223中所存储的程序来执行处理时，实现稍后利用图3B所述的客户端装置120的功能或者利用图4和图7所述的流程图中的处理等的客户端装置120的处理。
图3A是示出摄像装置110的功能结构的示例的图。
摄像装置110包括拍摄控制单元311、信号处理单元312、驱动控制单元313和通信控制单元314作为功能结构。
拍摄控制单元311通过摄像单元215拍摄周围环境。信号处理单元312处理拍摄控制单元311所拍摄的图像。例如，信号处理单元312对拍摄控制单元311所拍摄的图像进行编码。在静止图像的情况下，信号处理单元312例如通过使用诸如联合图像专家组(JPEG)等的编码方案来对图像进行编码。此外，在运动图像的情况下，信号处理单元312通过使用诸如H.264/MPEG-4AVC、高效视频编码(HEVC)编码方案等的编码方案对图像进行编码。此外，例如，信号处理单元312可以通过使用用户经由摄像装置110的操作单元从多个预设编码方案中所选择的编码方案来对图像进行编码。
驱动控制单元313进行控制以经由驱动单元214改变拍摄控制单元311的拍摄方向和图像角度。然而，驱动控制单元313可以改变拍摄控制单元311的拍摄方向和图像角度中任一个。此外，拍摄控制单元311的摄像方向和图像角度可以是固定的。通信控制单元314将由拍摄控制单元311拍摄并由信号处理单元312处理的图像经由网络I/F 216发送到客户端装置120。此外，通信控制单元314经由网络I/F 216从客户端装置120接收对摄像装置110的控制指令。
图3B是示出客户端装置120的功能结构的示例的图。
客户端装置120包括输入信息获取单元321、通信控制单元322、图像获取单元323、检测单元324、评价单元325、渲染单元326和显示控制单元327作为功能结构。输入信息获取单元321经由输入装置130接受用户输入。通信控制单元322经由网络150接收从摄像装置110发送来的图像。此外，通信控制单元322经由网络150发送向着摄像装置110的控制指令。图像获取单元323经由通信控制单元322从摄像装置110获取摄像装置110所拍摄的图像，作为被摄体检测处理的对象图像。此外，图像获取单元323可以获取辅助存储装置223中所存储的图像作为被摄体检测处理的对象图像。
评价单元325判断图像获取单元323所获取到的图像的区域是进行基于图像特征的被摄体检测的区域还是进行基于除图像特征之外的因素的被摄体检测的区域。检测单元324针对图像获取单元323所获取到的图像进行基于图像特征的被摄体检测处理和基于除图像特征之外的因素的被摄体检测。渲染单元326将检测单元324所检测到的被摄体叠加在拍摄图像上。显示控制单元327向显示装置140输出叠加了被摄体检测结果的拍摄图像。
图4是示出第一实施例的被摄体检测处理的示例的流程图。将通过使用图4来描述客户端装置120获取图像、检测所获取到的图像中的被摄体并输出叠加了检测结果的图像的处理。
在步骤S400中，图像获取单元323经由通信控制单元322从摄像装置110获取摄像装置110所拍摄的图像。在以下描述中，将步骤S400中所获取到的摄像装置110所拍摄的图像表示为拍摄图像。
图5是示出摄像装置110所拍摄的拍摄图像的示例的图。拍摄图像500示出摄像装置110所拍摄的拍摄图像。被摄体501至503表示在拍摄图像500的环境中要检测的被摄体。此外，边界504表示后述的能够进行基于图像特征的被摄体检测的区域与其它区域之间的边界。在本实施例中，虽然拍摄图像500是通过使用具有180度视角的摄像装置所拍摄的图像，但是实施例不限于此。拍摄图像500可以是通过使用具有180度之外的视角的摄像装置所拍摄的图像。
在本实施例中，客户端装置120从摄像装置110接收实时拍摄的实时视频，并对所接收到的实时视频(运动图像)的各帧进行图4的处理。然而，客户端装置120例如可以对摄像装置110内的辅助存储装置213中所存储的静止图像或运动图像的各帧进行图4的处理。此外，客户端装置120可以对客户端装置120内的辅助存储装置223中所存储的静止图像或运动图像的各帧进行图4的处理。此外，客户端装置120可以访问外部记录服务器并对记录服务器中所存储的静止图像或运动图像的各帧进行图4所示的处理。
在步骤S401中，检测单元324将拍摄图像分割为可以进行基于图像特征的被摄体检测的区域以及其它区域。检测单元324根据各区域的拍摄角度来进行分割。更具体地，如果拍摄角度小于或等于50度，则检测单元324判断为关注区域是可以进行基于图像特征的被摄体检测的区域，以及如果拍摄角度大于50度，则判断为关注区域是无法进行基于图像特征的被摄体检测的区域。也就是说，边界504表示拍摄角度为50度的线，边界504的外部表示可以进行基于图像特征的被摄体检测的区域，并且边界504的内部表示可以进行基于图像特征的被摄体检测的区域之外的区域。
然而，实施例不限于以上所述。检测单元324可以根据经由输入装置130等输入的用户操作对显示装置140所显示的拍摄图像设置拍摄图像中的边界，并且将拍摄图像分割为可以进行基于图像特征的被摄体检测的区域和其它区域。此外，图像获取单元323获取布置了意图检测的被摄体的拍摄图像。然后，检测单元324可以对所获取到的拍摄图像进行基于图像特征的被摄体检测，并将拍摄图像分割为可以检测到被摄体的区域和无法检测到被摄体的区域。
在步骤S402中，检测单元324开始被摄体检测处理。检测单元324在对拍摄图像进行光栅扫描的同时切换关注区域，并对关注区域进行被摄体检测。
在步骤S403中，检测单元324根据步骤S401中所进行的区域分割的结果，来判断是否可以对关注区域进行基于图像特征的被摄体检测。如果判断为关注区域是可以进行基于图像特征的被摄体检测的区域，则检测单元324进入步骤S404，以及如果判断为关注区域是无法进行基于图像特征的被摄体检测的区域，则检测单元324进入步骤S405。
在步骤S404中，检测单元324对关注区域进行基于图像特征的被摄体检测。为了进行基于图像特征的被摄体检测，检测单元324以各种大小缩放关注区域。缩放使得能够检测具有各种大小的被摄体。接着，检测单元324对缩放的各关注区域进行特定大小的检测窗口的光栅扫描。此时，检测单元324通过使用学习数据预先计算被摄体的特征量，并且在扫描时在检测窗口内所获取到的特征量与基于上述学习数据的特征量之间的误差小于阈值的情况下判断为包括被摄体。此外，虽然检测单元324针对各关注区域进行缩放，但是实施例不限于此。检测单元324可以在进行被摄体检测处理之前对拍摄图像500进行缩放处理，并且预先准备针对各区域的缩放图像。
在步骤S405中，检测单元324对关注区域进行基于除图像特征之外的因素的被摄体检测。检测单元324通过使用移动物体检测来进行被摄体检测。例如，检测单元324使用背景差来检测移动物体。也就是说，检测单元324计算预先获取到的背景图像与步骤S400中所获取到的拍摄图像之间的亮度值的差，并将该差超过阈值的区域判断为移动物体。然而，检测被摄体的方法不限于此。检测单元324可以将RGB值作为三维坐标进行处理，并且测量背景图像的RGB值与拍摄图像的RGB值之间的距离作为差。此外，不限于使用背景差，检测单元324可以计算像光流一样的图像内的各个坐标的移动方向，并检测移动物体。此外，检测单元324可以不使用移动物体检测作为基于除图像特征之外的因素的被摄体检测。例如，检测单元324可以根据通过使用距离传感器所生成的距离图像来判断具有极值的部分作为被摄体。也就是说，基于除图像特征之外的因素的被摄体检测被定义为根据检测到被摄体的对象图像中所包括的像素的像素值之外的信息来进行被摄体检测。
在步骤S404和S405中，如果判断为存在被摄体，则检测单元324将关注区域以及检测到的被摄体的大小存储在主存储装置222中。然而，实施例不限于此，并且检测单元324可以将关注区域以及检测到的被摄体的大小存储在辅助存储装置223中，或者可以经由网络I/F将关注区域以及检测到的被摄体的大小存储在另一装置中。检测单元324分别根据步骤S404中的关注区域的缩放结果和步骤S405中的移动物体的大小来判断被摄体的大小。
在步骤S406中，检测单元324判断当前扫描区域是否是最终扫描区域。如果不是最终扫描区域，则检测单元324进入步骤S407，以及如果是最终扫描区域，则进入步骤S408。
在步骤S407中，检测单元324关注于下一扫描区域并进入步骤S403。
在步骤S408中，检测单元324存储被摄体检测的结果。虽然检测单元324经由网络I/F将文件输出到另一装置，但是实施例不限于此。检测单元324可以将被摄体检测的结果存储在主存储装置222中，或者可以将被摄体检测的结果存储在辅助存储装置223中。
在步骤S409中，显示控制单元327将被摄体检测的结果叠加在拍摄图像上，并将叠加图像输出到显示装置140。图6是示出在进行了被摄体检测处理之后在显示装置140上显示的拍摄图像的示例的图。拍摄图像600是通过对拍摄图像500应用图4所示的流程图的处理而获得的结果。被摄体检测结果601至603表示叠加在被摄体501至503所在的区域上的被摄体检测结果。在图6的示例中，显示控制单元327通过使用利用虚线的椭圆来表示被摄体检测的结果。在图6中以及在后述的图8A、图8B、图9A和图9B中，利用虚线的椭圆表示检测结果，以及在图8C、图8D、图9C和图9D中，利用实线的椭圆表示根据检测结果所显示的显示结果。然而，实施例不限于此。显示控制单元327可以通过使用诸如三角形或矩形等的其它符号来表示被摄体显示结果，或者可以通过在其上叠加字符串来显示被摄体检测结果。此外，显示控制单元327例如可以将表示被摄体和图形的图像叠加在拍摄图像上。边界604表示进行基于图像特征的被摄体检测的区域与其它区域之间的边界。在图6的示例中，显示控制单元327通过虚线表示边界604，并将边界604叠加在拍摄图像上。然而，实施例不限于此。显示控制单元327可以通过使用不同类型的线来表示边界，或者可以通过在各个区域上叠加不同的颜色来表示边界。此外，显示控制单元327可以叠加诸如点或对角线等的不同图案。
根据第一实施例，即使在拍摄图像中包括难以进行基于图像特征的被摄体检测的区域的情况下，也可以在抑制检测精度降低的同时进行被摄体检测。此外，根据第一实施例，可以输出基于图像特征的被摄体检测处理(其是针对进行基于图像特征的被摄体检测的区域)的检测结果以及基于除了图像特征之外的因素的被摄体检测处理(其是针对除了进行基于图像特征的被摄体检测的区域之外的区域)的检测结果。此外，基于拍摄图像的图像特征的被摄体检测处理中所要检测的被摄体是与基于除了图像特征之外的因素的被摄体检测处理中所要检测的被摄体相同类型的被摄体。也就是说，例如，基于图像特征的被摄体检测处理中所要检测的被摄体是人，并且基于除了图像特征之外的因素的被摄体检测处理中所要检测的被摄体也是人。
第二实施例
在第一实施例中，系统将拍摄图像分割为进行基于图像特征的被摄体检测的区域和进行基于除了图像特征之外的因素的被摄体检测的区域，然后分别对各分割区域进行相应的被摄体检测。然而，在第一实施例的各分割区域中，在基于图像特征的被摄体检测和基于除了图像特征之外的因素的被摄体检测中可能分别发生检测精度降低的情形。在第二实施例中，将描述检测精度降低的情形，并且将描述用于根据先前帧的被摄体检测结果来校正检测精度的降低的方法。
由于第二实施例的系统的系统结构与第一实施例中的系统的系统结构相同，因此将省略其描述。此外，由于摄像装置110和客户端装置120的硬件结构和功能结构与第一实施例相同，因此将省略其描述。
图7是示出第二实施例的被摄体检测处理的示例的流程图。将通过使用图7来描述如下处理：客户端装置120获取多个拍摄图像，检测所获取到的各拍摄图像中的被摄体并根据过去检测结果来校正检测结果。
在步骤S700中，图像获取单元323关注于意图进行被摄体检测处理的视频的初始帧。在第二实施例的示例中，步骤S700中的视频是摄像装置110所拍摄的实时视频。然而，实施例不限于此。例如，步骤S700中的视频可以是摄像装置110或客户端装置120中所存储的记录视频。
在步骤S701中，图像获取单元323经由通信控制单元322从摄像装置110获取关注帧。然后，检测单元324对所获取到的帧进行被摄体检测处理。在第二实施例中，检测单元324进行第一实施例中所述的被摄体检测处理(S401至S408)。
在步骤S702中，检测单元324将先前帧的被摄体检测结果与当前关注帧的被摄体检测结果进行比较，并进行用于将相同被摄体彼此关联的匹配处理。检测单元324计算先前帧中所检测到的被摄体的坐标与关注帧中所检测到的被摄体的坐标之间的距离，并且将小于或等于阈值并且彼此最接近的物体判断为相同被摄体。然而，实施例不限于此。例如，检测单元324可以考虑到缩放、旋转或照明变化，根据SIFT特征量来进行不同帧之间的相同被摄体的匹配。此外，检测单元324可以根据拍摄情形而使用不同的特征量。
在步骤S703中，检测单元324根据步骤S702中的匹配结果来判断边界504附近存在的被摄体检测结果是否已从关注帧中消失。也就是说，检测单元324判断在关注帧中存在于先前帧中的边界504附近的被摄体是否不存在并且没有获得匹配。如果判断为被摄体检测结果已经消失，则检测单元324进入步骤S704，以及如果被摄体检测结果尚未消失，则进入步骤S705。如果表示边界的线与先前帧中所检测到的被摄体的坐标之间的最短距离小于阈值，则检测单元324判断为被摄体在边界附近，以及如果上述最短距离大于或等于阈值，则判断为被摄体不在边界附近。
将通过使用图8A至图8D以及图9A至9D来描述已经存在于边界504附近的被摄体检测结果消失的示例。
图8A和图8B是示出当拍摄两个被摄体从图像的上部向图像的下部行进的情形时的拍摄图像的示例的图。图8A和图8B表示某些帧中的拍摄图像，并且图8A中的帧在图8B中的帧之前。被摄体801和811是同一被摄体，并且被摄体802和812是同一被摄体。在该示例中，在图8A中，通过使用图像特征量的被摄体检测而检测到两个被摄体。然而，在图8B中，由于被摄体811和被摄体812彼此接近，因此如果进行基于移动物体检测的被摄体检测，则被摄体811和被摄体812被检测为单个移动物体。因此，所检测到的被摄体的数量是一个。图8A中的拍摄图像是在第一定时拍摄到的第一拍摄图像的示例。此外，图8B中的拍摄图像是在与第一定时不同的第二定时拍摄到的第二拍摄图像的示例。
图9A和图9B是示出当拍摄两个被摄体从图像的中央向图像的上部行进的情形时的拍摄图像的示例的图。图9A和图9B表示某些帧中的拍摄图像，并且图9A中的帧在图9B中的帧之前。被摄体901和911是同一被摄体，并且被摄体902和912是同一被摄体。在该示例中，在图9A中，通过基于移动物体检测的被摄体检测来检测两个被摄体。然而，在图9B中，由于被摄体911隐藏在被摄体912后面，因此在对图9B中的图像进行基于图像特征的被摄体检测的情况下，将不会检测到被摄体911。图9A中的拍摄图像是在第一定时拍摄到的第一拍摄图像的示例。此外，图9B中的拍摄图像是在第二定时拍摄到的第二拍摄图像的示例。
在步骤S704中，检测单元324校正关注帧中的检测结果。如图8A和8B以及图9A和9B所示，当处理移至步骤S704时，将两个检测结果合成为一个检测结果。因此，在步骤S704中，检测单元324将被摄体消失之前所获得的帧中所检测到的被摄体的数量校正为关注帧中所检测到的被摄体的数量。
图8C是示出与图8A相对应的显示结果的示例的图。此外，图8D是示出与图8B相对应的显示结果的示例的图。
此外，图9C是示出与图9A相对应的显示结果的示例的图。此外，图9D是示出与图9B相对应的显示结果的示例的图。
在步骤S705中，检测单元324根据步骤S702中的匹配结果来判断在关注帧中被摄体检测结果是否新出现在边界504附近。也就是说，检测单元324在先前帧中判断在边界504附近不存在的被摄体是否突然出现在关注帧中并且没有获得匹配。如果判断为出现被摄体检测结果，则检测单元324进入步骤S706，否则进入步骤S707。
将通过使用图10A和10B来描述在边界504附近新出现被摄体检测结果的示例。
图10A和图10B是示出当拍摄除了被摄体之外的移动物体从图像的上部向图像的下部行进的情形时的拍摄图像的示例的图。图10A和图10B表示某些帧中的拍摄图像，并且图10A中的帧在图10B中的帧之前。移动物体1001和1011是同一移动物体。在该示例中，在图10A中，即使进行使用图像特征量的被摄体检测，也没有检测到被摄体。然而，在图10B中，由于进行基于移动物体检测的被摄体检测，因此判断为移动物体1011是被摄体。因此，在图10B中，尽管事实是不存在被摄体，但是仍检测到一个被摄体。
在步骤S706中，检测单元324校正关注帧中的检测结果。如图10A和图10B所示，当处理移至步骤S706时，将检测到不存在的被摄体。因此，在步骤S706中，检测单元324将在被摄体出现之前所获得的帧中所检测到的被摄体的数量校正为关注帧中所检测到的被摄体的数量。
图10C是示出与图8A相对应的显示结果的示例的图。此外，图10D是示出与8B相对应的显示结果的示例的图。
在步骤S707中，检测单元324判断关注帧是否是最终帧。如果判断为关注帧是最终帧，则检测单元324结束处理，以及如果不是最终帧，则进入步骤S708。
在步骤S708中，检测单元324关注于下一帧并返回步骤S701。
在第二实施例中，显示控制单元327输出叠加了校正后的检测结果的拍摄图像。在图8D和图9D的示例中，显示控制单元327在表示检测结果的椭圆的上、下、左和右中的任何一个上叠加了相当于校正操作数量的相同大小的一个或多个椭圆。此外，在图10D的示例中，显示控制单元327删除表示检测结果的椭圆。
根据第二实施例，由于可以在边界附近存在的被摄体消失或者被摄体新出现在边界附近的情况下校正检测结果，因此可以在进一步抑制检测精度降低的同时实现被摄体检测。
第三实施例
在第一实施例中，主要描述了如下处理：根据拍摄角度，检测单元324将拍摄图像分割为进行基于图像特征的被摄体检测的区域和进行基于除了图像特征之外的因素的被摄体检测的区域。然而，检测单元324可以根据经由输入装置130等输入的用户操作来分割区域。在第三实施例中，将描述如下处理：检测单元324针对显示装置140所显示的画面，根据经由输入装置130等输入的用户操作来分割区域。
图11A、图11B、图12A和图12B示出用于区域分割的操作UI(画面)的示例。显示控制单元327响应于请求而在显示装置140上显示由图11A、图11B、图12A或图12B所表示的操作UI。图11A和图12A表示在第一实施例中使用的具有180度的可视角的摄像装置中的操作UI。图11B和图12B表示具有小于或等于180度的可视角的摄像装置中的操作UI。图11A中的操作部1101和图11B中的操作部1102各自表示区域之间的边界和用于操作边界的位置的操作部。也就是说，显示控制单元327在显示装置140上显示图11A、图11B、图12A和图12B所示的各操作UI。用户能够通过使用诸如鼠标等的输入装置130拖动显示装置140上所显示的各操作部1101和1102来操作区域之间的边界的位置。也就是说，显示控制单元327响应于对显示装置140上所显示的操作部1101和1102的操作或者诸如经由输入装置130拖动操作部1101和1102的操作等来改变区域之间的边界的位置，并显示改变后的位置。另一方面，不同于图11A和图11B的示例，图12A中的边界1201和图12B中的边界1203各自仅显示区域之间的边界。在图12A和图12B中，用户能够通过使用鼠标拖动滑动部1202和1204来操作区域之间的边界的位置。也就是说，显示控制单元327响应于对显示装置140上所显示的滑动部1202和1204的操作或者诸如经由输入装置130向上或向下移动滑动部1202和1204等的操作等来改变区域之间的边界的位置，并显示改变后的位置。
根据第三实施例，可以根据经由输入装置130等输入的用户操作来分割区域。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并进行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
例如，可以设置多个CPU作为摄像装置110和客户端装置120的硬件结构，这多个CPU可以根据辅助存储装置等中所存储的程序来进行处理。此外，代替CPU，可以使用图形处理单元(GPU)作为摄像装置110的硬件结构。此外，在摄像装置110中设置有输入单元和显示单元等的情况下，可以在摄像装置110中实现上述客户端装置120的功能。实现客户端装置120的功能的摄像装置110是信息处理装置的示例。此外，上述各实施例可以以其任何合适的组合来实现。
根据上述各实施例，可以提高被摄体检测的精度。

Claims (17)

1.一种信息处理装置，包括：
获取单元，用于获取拍摄图像；以及
输出单元，用于输出针对进行基于所述拍摄图像的图像特征的被摄体检测的区域的、基于图像特征的被摄体检测处理的检测结果，并且输出针对除了进行基于所述拍摄图像的图像特征的被摄体检测的区域之外的区域的、基于除了图像特征之外的因素的被摄体检测处理的检测结果。
2.根据权利要求1所述的信息处理装置，其中，基于除了图像特征之外的因素的被摄体检测处理是使用移动物体检测的被摄体检测处理。
3.根据权利要求1或2所述的信息处理装置，还包括分割单元，所述分割单元用于将所述拍摄图像分割为进行基于图像特征的被摄体检测的区域和除了进行基于图像特征的被摄体检测的区域之外的区域。
4.根据权利要求3所述的信息处理装置，其中，根据所述拍摄图像的各区域的拍摄角度，所述分割单元将所述拍摄图像分割为进行基于图像特征的被摄体检测的区域和除了进行基于图像特征的被摄体检测的区域之外的区域。
5.根据权利要求3所述的信息处理装置，其中，根据经由画面的用户操作，所述分割单元将所述拍摄图像分割为进行基于图像特征的被摄体检测的区域和除了进行基于图像特征的被摄体检测的区域之外的区域。
6.根据权利要求5所述的信息处理装置，还包括用于显示所述画面的显示单元。
7.根据权利要求5所述的信息处理装置，其中，在所述画面上显示操作部，并且根据对所述操作部的用户操作，所述分割单元将所述拍摄图像分割为进行基于图像特征的被摄体检测的区域和除了进行基于图像特征的被摄体检测的区域之外的区域，其中所述操作部用于显示进行基于图像特征的被摄体检测的区域和除了进行基于图像特征的被摄体检测的区域之外的区域之间的边界、且用于操作所述边界的位置。
8.根据权利要求5所述的信息处理装置，其中，在所述画面上显示滑动部，并且根据对所述滑动部的用户操作，所述分割单元将所述拍摄图像分割为进行基于图像特征的被摄体检测的区域和除了进行基于图像特征的被摄体检测的区域之外的区域，其中所述滑动部用于操作进行基于图像特征的被摄体检测的区域和除了进行基于图像特征的被摄体检测的区域之外的区域之间的边界的位置。
9.根据权利要求1或2所述的信息处理装置，还包括：
第一检测单元，用于针对进行基于图像特征的被摄体检测的区域，进行基于图像特征的被摄体检测处理；以及
第二检测单元，用于针对除了进行基于图像特征的被摄体检测的区域之外的区域，进行基于除了图像特征之外的因素的被摄体检测操作，
其中，所述输出单元输出所述第一检测单元所获得的检测结果和所述第二检测单元所获得的检测结果。
10.根据权利要求1或2所述的信息处理装置，其中，所述输出单元在所述拍摄图像上叠加基于图像特征的被摄体检测处理的检测结果和基于除了图像特征之外的因素的被摄体检测处理的检测结果，并显示叠加后的拍摄图像。
11.根据权利要求1或2所述的信息处理装置，其中，所述输出单元在所述拍摄图像上叠加进行基于图像特征的被摄体检测的区域和除了进行基于图像特征的被摄体检测的区域之外的区域之间的边界，并显示叠加后的拍摄图像。
12.根据权利要求1或2所述的信息处理装置，还包括校正单元，所述校正单元用于根据作为针对在第一定时拍摄到的第一拍摄图像的、基于图像特征的被摄体检测处理的检测结果而检测到的被摄体的数量，来校正作为针对在与所述第一定时不同的第二定时拍摄到的第二拍摄图像的、基于除了图像特征之外的因素的被摄体检测处理的检测结果而检测到的被摄体的数量。
13.根据权利要求12所述的信息处理装置，其中，根据通过基于图像特征的被摄体检测处理所检测到的被摄体与通过基于除了图像特征之外的因素的被摄体检测处理所检测到的被摄体之间的距离，所述校正单元校正作为基于除了图像特征之外的因素的被摄体检测处理的检测结果而检测到的被摄体的数量。
14.根据权利要求1或2所述的信息处理装置，还包括校正单元，所述校正单元用于根据作为针对在第一定时拍摄到的第一拍摄图像的、基于除了图像特征之外的因素的被摄体检测处理的检测结果而检测到的被摄体的数量，来校正作为针对基于在与所述第一定时不同的第二定时拍摄到的第二拍摄图像的、基于图像特征的被摄体检测处理的检测结果而检测到的被摄体的数量。
15.根据权利要求14所述的信息处理装置，其中，根据通过基于图像特征的被摄体检测处理所检测到的被摄体与通过基于除了图像特征之外的因素的被摄体检测处理所检测到的被摄体之间的距离，所述校正单元校正作为基于图像特征的被摄体检测处理的检测结果而检测到的被摄体的数量。
16.一种信息处理方法，包括：
获取步骤，用于获取拍摄图像；以及
输出步骤，用于输出针对进行基于所述拍摄图像的图像特征的被摄体检测的区域的、基于图像特征的被摄体检测处理的检测结果，并且输出针对除了进行基于所述拍摄图像的图像特征的被摄体检测的区域之外的区域的、基于除了图像特征之外的因素的被摄体检测处理的检测结果。
17.一种非暂时性存储介质，包括用于使计算机用作根据权利要求1至15中任一项所述的信息处理装置的各单元的程序。
CN201811478291.XA 2017-12-05 2018-12-05 信息处理装置、信息处理方法和存储介质 Active CN110059681B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-233227 2017-12-05
JP2017233227A JP7034690B2 (ja) 2017-12-05 2017-12-05 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110059681A true CN110059681A (zh) 2019-07-26
CN110059681B CN110059681B (zh) 2023-09-15

Family

ID=64604495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811478291.XA Active CN110059681B (zh) 2017-12-05 2018-12-05 信息处理装置、信息处理方法和存储介质

Country Status (5)

Country Link
US (1) US10885348B2 (zh)
EP (1) EP3496390B1 (zh)
JP (1) JP7034690B2 (zh)
KR (1) KR102497593B1 (zh)
CN (1) CN110059681B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2310981A1 (en) * 2008-07-08 2011-04-20 Nortech International (PTY) Limited Apparatus and method of classifying movement of objects in a monitoring zone
CN105979135A (zh) * 2015-03-12 2016-09-28 佳能株式会社 图像处理设备和图像处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008035411A1 (fr) * 2006-09-20 2008-03-27 Fujitsu Limited Dispositif de détection d'informations de corps mobile, procédé de détection d'informations de corps mobile et programme de détection d'informations de corps mobile
JP6335701B2 (ja) * 2014-07-22 2018-05-30 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6512787B2 (ja) * 2014-10-07 2019-05-15 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置
JP2016111561A (ja) * 2014-12-08 2016-06-20 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム
JP6587489B2 (ja) 2015-10-07 2019-10-09 キヤノン株式会社 画像処理装置、画像処理方法および画像処理システム
JP6624877B2 (ja) * 2015-10-15 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2310981A1 (en) * 2008-07-08 2011-04-20 Nortech International (PTY) Limited Apparatus and method of classifying movement of objects in a monitoring zone
CN105979135A (zh) * 2015-03-12 2016-09-28 佳能株式会社 图像处理设备和图像处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PHYSICS: "Image processing for pedestrian detection using a high mounted wideangle camera", 《MASTER OF SCIENCE THESIS IN THE MASTER"S DEGREE PROGRAMME》 *
孙朝云等: "路面裂缝无损检测图像采集系统设计", 《交通信息与安全》 *

Also Published As

Publication number Publication date
JP2019101845A (ja) 2019-06-24
EP3496390B1 (en) 2023-04-26
CN110059681B (zh) 2023-09-15
JP7034690B2 (ja) 2022-03-14
KR102497593B1 (ko) 2023-02-08
EP3496390A1 (en) 2019-06-12
US10885348B2 (en) 2021-01-05
KR20190066586A (ko) 2019-06-13
US20190171887A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
JP6961797B2 (ja) プレビュー写真をぼかすための方法および装置ならびにストレージ媒体
CN111382613B (zh) 图像处理方法、装置、设备和介质
US20080181507A1 (en) Image manipulation for videos and still images
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
JP2012530994A (ja) 半顔面検出のための方法および装置
WO2019221013A2 (en) Video stabilization method and apparatus and non-transitory computer-readable medium
JP7334432B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
KR20230110618A (ko) 영상 보정 방법, 장치 및 시스템, 전자 장치
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
CN110858316A (zh) 对时间序列图像数据进行分类
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
CN107820019A (zh) 虚化图像获取方法、装置及设备
CN108399617B (zh) 一种动物健康状况的检测方法和装置
US7602943B2 (en) Image processing apparatus, image processing method, and image processing program
CN115862124B (zh) 视线估计方法、装置、可读存储介质及电子设备
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
JP2003203237A (ja) 画像マッチング方法と装置、および画像符号化方法と装置
JP6544970B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111192308A (zh) 图像处理方法及装置、电子设备和计算机存储介质
JP2018063675A (ja) 画像処理装置および制御方法
CN110059681A (zh) 信息处理装置、信息处理方法和存储介质
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质
JP7386630B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP4831344B2 (ja) 目の位置の検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant