CN108241852B - 人体检测设备和方法、信息处理设备和方法以及存储介质 - Google Patents

人体检测设备和方法、信息处理设备和方法以及存储介质 Download PDF

Info

Publication number
CN108241852B
CN108241852B CN201711432905.6A CN201711432905A CN108241852B CN 108241852 B CN108241852 B CN 108241852B CN 201711432905 A CN201711432905 A CN 201711432905A CN 108241852 B CN108241852 B CN 108241852B
Authority
CN
China
Prior art keywords
region
human body
moving object
feature
aspect ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711432905.6A
Other languages
English (en)
Other versions
CN108241852A (zh
Inventor
河林弥志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108241852A publication Critical patent/CN108241852A/zh
Application granted granted Critical
Publication of CN108241852B publication Critical patent/CN108241852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种人体检测设备和方法、信息处理设备和方法以及存储介质。该信息处理设备从图像检测移动物体,并且使用人体的上半身的特征从作为与该移动物体相对应的区域的上部的对象区域中检测人体,由此降低处理负荷。

Description

人体检测设备和方法、信息处理设备和方法以及存储介质
技术领域
本发明涉及处理负荷有所降低的物体检测方法适用于的信息处理设备、信息处理方法以及存储介质。
背景技术
如日本特开平9-50585所公开的,存在如下技术:在图像的整个区域上进行物体搜索,获取所检测到的物体的下边缘位置,并且基于所获取到的下边缘位置来确定该物体进入的区域。
然而,在上述技术中,由于在图像的整个区域上进行物体搜索,因此处理负荷高。
发明内容
根据本发明的方面,一种人体检测设备,包括:移动物体检测单元,用于从图像中检测移动物体;以及第一人体检测单元,用于使用人体的上半身的特征,从作为与所述移动物体相对应的区域的上部的所需特征区域中检测人体。
根据本发明的另一方面,一种信息处理设备,包括:移动物体检测单元,用于从图像中检测移动物体;以及第一特征检测单元,用于使用作为检测对象的物体的特征,从作为与所述移动物体相对应的区域的一部分的对象区域中检测物体。
根据本发明的另一方面,一种人体检测方法,包括:从图像中检测移动物体;以及利用第一人体检测,使用人体的上半身的特征,从作为与所述移动物体相对应的区域的上部的所需特征区域中检测人体。
根据本发明的另一方面,一种信息处理方法,其由信息处理设备来执行,所述信息处理方法包括:从图像中检测移动物体;以及使用作为检测对象的物体的特征,从作为与所检测到的移动物体相对应的区域的一部分的对象区域中检测物体。
根据本发明的另一方面,一种非暂时性计算机可读存储介质,其存储用于使计算机执行方法的程序,所述方法包括:从图像中检测移动物体;以及使用人体的上半身的特征,从作为与所述移动物体相对应的区域的上部的所需特征区域中检测人体。
根据本发明的另一方面,一种非暂时性计算机可读存储介质,其存储用于使计算机执行方法的程序,所述方法包括:从图像中检测移动物体;以及使用作为检测对象的物体的特征,从作为与所检测到的移动物体相对应的区域的一部分的对象区域中检测物体。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1示出系统结构和硬件结构。
图2示出摄像设备和客户端设备的功能结构。
图3是示意性示出信息处理的流程图。
图4示出拍摄图像的示例。
图5示出移动物体检测处理的结果。
图6示出区域提取处理的结果。
图7是示意性示出信息处理的流程图。
图8示出使用外接矩形的宽高比的示例。
图9是示意性示出信息处理的流程图。
图10示意性示出由于障碍物的存在而无法拍摄人体的全身的图像的情况。
图11示出针对拍摄图像的各区域来切换处理的示例。
图12是示意性示出信息处理的流程图。
图13示意性示出由于障碍物的存在而无法拍摄人体的全身的图像的情况。
图14示出从移动物体检测人体的结果的示例。
图15示出自动学习的结果的示例。
具体实施方式
以下将参考附图来说明各种典型实施例。以下所述的本发明的各实施例可以单独实现,或者根据需要或在将从各实施例中的要素或特征组合到一个实施例中是有益的情况下作为多个实施例或其特征的组合来实现。
在第一典型实施例中,将说明用于在被配置为监视运动图像的信息处理系统中、在所拍摄的运动图像中从所检测到的移动物体进行高速人体检测的信息处理。人体包括头、躯干、手臂和腿。但是人体检测的成功依赖于检测到人体的至少一部分。人或人体是物体的示例。
图1示出信息处理系统的系统结构和硬件结构的示例。摄像设备110拍摄图像。客户端设备120驱动摄像设备110,并显示摄像设备110所拍摄的图像。输入设备130包括鼠标或键盘,并且将用户输入发送至客户端设备120。显示设备140包括显示器,并且显示客户端设备120所输出的图像。尽管在图1中将客户端设备120和显示设备140示出为分开的设备,但是可以将客户端设备120和显示设备140集成到一起。此外,可以将输入设备130和显示设备140集成到一起,或者将客户端设备120、输入设备130和显示设备140集成到一起。网络150将摄像设备110和客户端设备120连接。网络150例如包括满足局域网等的通信标准的多个路由器、交换机和线缆。根据本典型实施例,可以采用任意通信标准、规模和结构,由此实现摄像设备110和客户端设备120之间的通信。例如,网络150可以是因特网、有线局域网(LAN)、无线LAN或者广域网(WAN)。此外,连接至客户端设备120的摄像设备110的数量不限于1个,并且可以是多于一个。
以下将参考图1来说明摄像设备110的硬件结构。摄像设备110的硬件结构包括摄像单元11、中央处理单元(CPU)12、存储器13和通信接口(I/F)14。摄像单元11包括图像传感器以及用于将被摄体的图像形成在图像传感器上的光学系统。摄像单元11根据CPU 12的控制,以光学系统的光轴和图像传感器的交点作为摄像中心来在图像传感器上进行摄像。图像传感器的示例包括互补金属氧化物半导体(CMOS)图像传感器以及电荷耦合器件(CCD)图像传感器。CPU 12全面控制摄像设备110。存储器13存储程序、摄像单元11所拍摄的图像、以及在CPU 12执行处理时所使用的数据。通信I/F 14基于CPU 12所进行的控制来控制经由网络150与客户端设备120的通信。摄像设备110的功能是通过CPU 12执行存储器13中所存储的程序来实现的。
接着,以下将说明客户端设备120的硬件结构。客户端设备120的硬件结构包括存储器21、CPU 22、通信I/F 23、输入I/F 24和显示I/F 25。CPU 22全面控制客户端设备120。存储器21存储程序、从摄像设备110发送的拍摄图像、以及CPU 22执行处理时所使用的数据。通信I/F 23基于CPU 22的控制来控制经由网络150与摄像设备110的通信。输入I/F 24将客户端设备120和输入设备130连接在一起,并且控制从输入设备130的信息的输入。显示I/F 25将客户端设备120和显示设备140连接在一起,并且控制向显示设备140的信息的输出。客户端设备120的功能和图3、7、9和12的流程图中分别示出的处理通过CPU 22执行基于存储器21中所存储的程序的处理来实现。客户端设备120的硬件结构不限于图1所示的硬件结构。例如,客户端设备120可以包括诸如扬声器等的音频输出设备。在客户端设备120的硬件结构包括音频输出设备的情况下,可以经由音频输出设备输出诸如警告等的声音。
图2示出摄像设备110和客户端设备120的功能结构的示例。摄像设备110的功能结构包括控制单元111、信号处理单元112、驱动控制单元113和通信控制单元114。控制单元111控制摄像设备110。信号处理单元112对摄像单元11所拍摄的图像进行图像信号处理。例如,信号处理单元112对摄像单元11所拍摄的图像进行编码。信号处理单元112能够使用的编码方法的示例包括但不限于以下方法:联合图像专家组(JPEG)编码方法、H.264/运动图像专家组版本4(MPEG-4)高级视频编码(AVC)(以下为“H.264”)方法以及高效视频编码(HEVC)方法。此外,信号处理单元112可以从多个编码方法中选择编码方法并进行编码。驱动控制单元113进行控制以改变摄像单元11的摄像方向和视角。尽管在本典型实施例中说明了摄像单元11可以改变平摇和俯仰方向的摄像方向并且可以改变摄像的视角的情况,但是本典型实施例不限于上述情况。摄像设备110不必包括改变平摇和俯仰方向的摄像方向的功能以及改变视角的功能。通信控制单元114向客户端设备120发送信号处理单元112处理后的拍摄图像。此外,通信控制单元114从客户端设备120接收针对摄像设备110的控制指示。
客户端设备120包括控制单元121、通信控制单元123、信息获取单元124和显示控制单元125作为功能组件。控制单元121控制客户端设备120。通信控制单元123从客户端设备120接收拍摄图像。信息获取单元124从输入设备130接收用户输入,并且从输入设备130获取输入信息。显示控制单元125向显示设备140输出视频图像,并且使显示设备140执行后述的显示处理。
根据本典型实施例,客户端设备120对从摄像设备110所获取到的拍摄图像进行特征提取处理,以提取出对于检测存在于移动物体中的人体所需的特征。这样,对实时视频图像进行特征提取处理,以提取出对于检测存在于移动物体中的人体所需的特征。然而,特征提取处理不限于上述特征提取处理。可选地,客户端设备120可以获取摄像设备110中所存储的运动图像,并且对各帧进行特征提取处理,以提取出对于检测存在于移动物体中的人体所需的特征。可选地,客户端设备120可以对客户端设备120中所存储的运动图像的各帧进行特征提取处理,以检测对于检测存在于移动物体中的人体所需的特征。可选地,客户端设备120可以访问记录服务器等,并且对记录服务器中所存储的运动图像的各帧进行特征提取处理,以提取出对于检测存在于移动物体中的人体所需的特征。
接着,以下将参考图3、4、5和6来说明根据本典型实施例的用于提取人体检测所需的特征区域的特征提取处理的流程。
图3是示出根据本典型实施例的信息处理的示例的流程图。
图4示出控制单元121从摄像设备110获取到的拍摄图像300的示例。
如图4所示,拍摄图像300包括同时拍摄到的移动物体301和302的图像。
移动物体301和302是移动人体。
客户端设备120从摄像设备110获取拍摄图像、即运动图像,然后开始用于提取人体检测所需的特征区域并检测人体的处理。
在步骤S200中,控制单元121从摄像设备110获取拍摄图像300。
接着,在步骤S201中,控制单元121针对拍摄图像300进行移动物体检测处理。
图5示出步骤S201中所进行的移动物体检测处理的结果。在图5中,图像400表示从拍摄图像300检测到的移动物体。矩形401是围绕所检测到的移动物体的外接矩形。
接着,在步骤S202中,控制单元121从步骤S201所检测到的移动物体中仅提取包括人体检测所需的特征的区域。
根据本典型实施例,使用人体的上半身的特征来进行人体检测。因而,控制单元121提取所检测到的移动物体的上半部。上半身的特征例如是上半身的形状。可以通过使用上半身的形状的模式匹配来进行人体检测。此外,可以使用与人体的上半身有关的颜色信息来进行人体检测。此外,要提取的区域不必是所检测到的移动物体的完全的上半部,并且可以是不包括移动物体区域的下部边缘的区域。
更具体地,控制单元121计算围绕移动物体的外接矩形的纵向长度,并且进一步计算纵向长度的一半。然后,控制单元121确定由外接矩形的纵向长度的一半和横向长度所形成的矩形作为人体检测所需的区域。
尽管在本典型实施例中说明了仅提取人体检测所需的特征的区域作为示例,但是可以在其它典型实施例中使用任何其它方法来提取人体检测所需的区域。
图6示出步骤S202中所进行的区域提取处理的结果。在图6中,图像500示出从图像400中所检测到的移动物体提取出人体检测所需的区域的状态。矩形501表示围绕移动物体的初始外接矩形。矩形502是所提取出的人体检测所需的特征区域。此外,矩形502是作为与所检测到的移动物体相对应的区域的一部分的区域的示例。此外,矩形502是与所检测到的移动物体相对应的区域的上部区域的示例。
接着,在步骤S203中,控制单元121从步骤S202所提取出的区域中检测人体。
此时,控制单元121可以使用通信控制单元123经由网络150向不同终端发送所提取出的人体检测所需的特征区域以及所检测到的人体,或者可以在显示设备140上显示所提取出的人体检测所需的特征区域以及所检测到的人体。
接着,在步骤S204中,控制单元121判断是否要结束重复处理。如果控制单元121判断为要结束重复处理(步骤S204中为“是”),则结束图3的流程图中所示的处理。另一方面,如果控制单元121判断为不结束重复处理(步骤S204中为“否”),则处理返回至步骤S200。
根据本典型实施例的处理使得能够高速检测存在于移动物体中的人体。
第一典型实施例具有以下问题:在没有包括人体的移动物体上也进行用于提取包括人体检测所需的特征的区域的处理。根据第二典型实施例,使用移动物体的特征来判断移动物体是否包括人体,然后进行用于提取包括人体检测所需的特征的区域的处理。在本典型实施例中,将说明使用移动物体的特征来判断是否要执行第一典型实施例中所述的用于提取包括人体检测所需的特征的区域的处理。
以下参考图7和8来说明根据本典型实施例的处理。
图7是示出根据本典型实施例的信息处理的示例的流程图。
在步骤S600中,控制单元121从摄像设备110获取拍摄图像。步骤S600中所进行的处理与步骤S200中所进行的处理相同。
接着,在步骤S601中,控制单元121从拍摄图像检测移动物体。步骤S601中所进行的处理与步骤S201中所进行的处理相同。
接着,在步骤S602中,控制单元121判断步骤S601中所检测到的移动物体是否具有人体的特征。
更具体地,使用围绕移动物体的外接矩形的宽度与长度的宽高比。作为肩宽(人体的横向宽度的最大值)与高度(人体的纵向宽度的最大值)的比的人体的平均宽高比是0.22:1~0.24:1。因而,控制单元121基于围绕所检测到的移动物体的外接矩形的宽高比是否满足上述宽高比来判断所检测到的移动物体是否具有人体的特征。
图8示出在控制单元121判断图像400中的移动物体是否具有人体的特征时使用围绕移动物体的外接矩形的宽高比的示例。
在图8中,图像700示出从图像400所检测到的移动物体。矩形701表示围绕包括人体的移动物体的的外接矩形。宽高比702是表示矩形701的横纵比的宽高比。
尽管在本典型实施例中作为判断单元的示例描述了判断移动物体是否具有人体的特征,但是可以使用任何其它方法来判断移动物体是否具有人体的特征。
如果控制单元121判断为所检测到的移动物体具有人体的特征(步骤S602中为“是”),则处理进入步骤S603。另一方面,如果控制单元121判断为所检测到的移动物体不具有人体的特征(步骤S602中为“否”),则处理进入步骤S605。在控制单元121在步骤S602中判断为移动物体不具有人体的特征的情况下,不进行人体特征提取和人体检测。
在步骤S603中,控制单元121从步骤S601所检测到的移动物体中仅提取包括人体检测所需的特征的区域。步骤S603中所进行的处理与步骤S202中所进行的处理相同。
接着,在步骤S604中,控制单元121从步骤S603所提取出的区域中检测人体。步骤S604中所进行的处理与步骤S203中所进行的处理相同。
在步骤S605中,控制单元121判断是否要结束重复处理。如果控制单元121判断为要结束重复处理(步骤S605中为“是”),则图7的流程图所示的处理结束。另一方面,如果控制单元121判断为不结束重复处理(步骤S605中为“否”),则处理返回至步骤S600。
在根据本典型实施例的处理中,如果移动物体具有作为人体的形状的纵长形状,则进行根据第一典型实施例的处理,因此可以甚至更高速地执行存在于移动物体中的人体检测。
根据摄像设备110安装的环境,可能存在由于遮挡物的存在而导致无法拍摄到包括人体的移动物体的全身的图像的区域。根据第三典型实施例,针对拍摄图像中的各区域,进行第一典型实施例和第二典型实施例所述的用于从特征区域中检测人体的处理与用于从移动物体区域中检测人体的处理之间的切换处理。根据本典型实施例,针对各区域,在存储器21中预先存储表示区域是否是要进行使用人体的特征的判断的区域的设置值、以及表示区域是否是要被提取移动物体内的人体检测所需的特征区域的区域的设置值。例如,CPU22响应于操作者经由输入设备130所进行的设置操作而将针对拍摄图像的各区域的设置值存储在存储器21等中。
以下将参考图9、10和11来说明根据本典型实施例的处理。
图9是示出根据本典型实施例的信息处理的示例的流程图。
图10示出由于障碍物的存在而导致无法拍摄到人体的全身的图像的情况。图像900表示如下图像:从人体检测移动物体,并且拍摄到这些人体中的一个人体的全身的图像,而由于因障碍物的存在导致这些人体中的另一个人体的全身被遮挡、因此没有拍摄到该另一个人体的全身的图像。拍摄到人体901的全身的图像,而没有拍摄到人体902的全身的图像。障碍物903是遮挡人体902的障碍物。矩形904是围绕人体901的外接矩形。矩形905是围绕人体902的外接矩形。
图11示出针对拍摄图像的各区域来在用于从特征区域中检测人体的处理与用于从移动物体区域中检测人体的处理之间进行切换的处理。
在图11中,图像1000是表示在图像900中是否切换执行用于从特征区域检测人体的处理的图像。
矩形区域1001是要执行用于从特征区域中检测人体的处理与用于从移动物体区域中检测人体的处理之间的切换的处理的矩形区域。矩形区域1002是不执行用于从特征区域中检测人体的处理与用于从移动物体区域中检测人体的处理之间的切换的处理的矩形区域。
矩形1003是通过移动物体检测方法所检测到的围绕移动物体的初始外接矩形。矩形1004是通过用于在移动物体中仅提取人体检测所需的区域的处理而提取出的区域。矩形1005是作为通过移动物体检测方法所检测到的围绕移动物体的初始外接矩形的并且要进行人体检测的区域。
在步骤S800中,控制单元121从摄像设备110获取拍摄图像。步骤S800中所进行的处理与步骤S200中所进行的处理相同。
接着,在步骤S801中,控制单元121从拍摄图像检测移动物体。步骤S801中所进行的处理与步骤S201中所进行的处理相同。
接着,在步骤S802中,控制单元121判断处理对象区域是否是要进行使用移动物体的人体特征的判断的区域。更具体地,控制单元121基于存储器21中所存储的、表示区域是否是要进行使用移动物体的人体特征的判断的区域的设置值,来判断处理对象区域是否是要进行使用移动物体的人体特征的判断的区域。如果控制单元121判断为处理对象区域是要进行使用移动物体的人体特征的判断的区域(步骤S802中为“是”),则处理进入步骤S803。另一方面,如果控制单元121判断为处理对象区域不是要进行使用移动物体的人体特征的判断的区域(步骤S802中为“否”),则处理进入步骤S804。
在步骤S803中,控制单元121判断移动物体是否具有人体特征。更具体地,控制单元121使用根据第二典型实施例的步骤S602的方法来进行该判断。例如,控制单元121判断为图11中的矩形区域1001是包括具有人体特征的移动物体的区域,而控制单元121判断为图11中的矩形区域1002不是包括具有人体特征的移动物体的区域。如果控制单元121判断为移动物体具有人体特征(步骤S803中为“是”),则处理进入步骤S805。另一方面,如果控制单元121判断为移动物体不具有人体特征(步骤S803中为“否”),则处理进入步骤S804。可选地,控制单元121可以使用除根据第二典型实施例的步骤S602的方法以外的方法来判断移动物体是否具有人体特征。
在步骤S804中,控制单元121从移动物体区域检测人体。
在步骤S805中,控制单元121判断处理对象区域是否是要被提取移动物体内的人体检测所需的特征区域的区域。更具体地,控制单元121基于存储器21中所存储的表示区域是否是要被提取移动物体内的人体检测所需的特征区域的区域的设置值,来判断处理对象区域是否是要被提取移动物体内的人体检测所需的特征区域的区域。如果控制单元121判断为处理对象区域是要被提取移动物体内的人体检测所需的特征区域的区域(步骤S805中为“是”),则处理进入步骤S806。另一方面,如果控制单元121判断为处理对象区域不是要被提取移动物体内的人体检测所需的特征区域的区域(步骤S805中为“否”),则处理进入步骤S804。在步骤S806中,控制单元121从步骤S801所检测到的移动物体中仅提取包括人体检测所需的特征的区域。步骤S806中所进行的处理与步骤S202中所进行的处理相同。
接着,在步骤S807中,控制单元121从步骤S806所提取出的区域中检测人体。步骤S807中所进行的处理与步骤S203中所进行的处理相同。
在步骤S808中,控制单元121判断是否要结束重复处理。如果控制单元121判断为要结束重复处理(步骤S808中为“是”),则图9的流程图中所示的处理结束。另一方面,如果控制单元121判断为不结束重复处理(步骤S808中为“否”),则处理返回至步骤S800。
根据本典型实施例,针对各区域,在存储器21中预先存储表示区域是否是要进行使用人体特征的判断的区域的设置值、以及表示区域是否是要被提取移动物体内的人体检测所需的特征区域的区域的设置值。可选地,针对各区域,可以在存储器21中预先存储表示区域是否是要进行使用移动物体的人体特征的判断的区域的设置值、以及表示区域是否是要被提取移动物体内的人体检测所需的特征区域的区域的设置值。在这种情况下,控制单元121基于相同的设置值来进行步骤S802和S805中的判断。
在根据本典型实施例的处理中,对包括遮挡人体的障碍物的区域进行用于从移动物体区域中检测人体的处理,而对不包括遮挡人体的障碍物的区域进行根据第一典型实施例和第二典型实施例的处理,因此可以针对各区域适当进行存在于移动物体中的人体的检测。
根据第三典型实施例,针对各区域,需要预先设置表示区域是否是要进行使用移动物体的人体特征的判断的区域的设置值、以及表示区域是否是要被提取移动物体内的人体检测所需的特征区域的区域的设置值。然而,针对各区域预先设置这些设置值会对安装信息处理系统的人增加负担。在第四典型实施例中,以下将说明自动学习用于在用于从特征区域中检测人体的处理与用于从移动物体区域中检测人体的处理之间进行切换的处理的处理。
以下将参考图12、13、14和15来说明根据本典型实施例的处理。
图12是示出根据本典型实施例的信息处理的示例的流程图。
图13示出由于障碍物的存在而导致无法拍摄到人体的全身的图像的情况。在图13中,图像1200是如下图像:从人体检测移动物体,并且拍摄到这些人体的一个人体的全身的图像,而这些人体的另一人体的全身被障碍物遮挡且由此没有拍摄到其图像。矩形1201是绕拍摄到全身的图像的人体的外接矩形。矩形1202是绕没有拍摄到全身的图像的人体的外接矩形。
在步骤S1100中,控制单元121从摄像设备110获取拍摄图像。步骤S1100中所进行的处理与步骤S200中所进行的处理相同。
接着,在步骤S1101中,控制单元121从拍摄图像检测移动物体。步骤S1101中所进行的处理与步骤S201中所进行的处理相同。
接着,在步骤S1102中,控制单元121判断处理对象区域是否是要进行使用移动物体的人体特征的判断的区域。更具体地,控制单元121基于存储器21中所存储的设置值来判断该处理对象区域是否是要进行使用移动物体的人体特征的判断的区域。如果控制单元121判断为处理对象区域是要进行使用移动物体的人体特征的判断的区域(步骤S1102中为“是”),则处理进入步骤S1103。另一方面,如果控制单元121判断为处理对象区域不是要进行使用移动物体的人体特征的判断的区域(步骤S1102中为“否”),则处理进入步骤S1104。
在步骤S1103中,控制单元121判断移动物体是否具有人体特征。更具体地,控制单元121使用根据第二典型实施例的步骤S602的方法来进行该判断。如果控制单元121判断为移动物体具有人体特征(步骤S1103中为“是”),则处理进入步骤S1105。另一方面,如果控制单元121判断为移动物体不具有人体特征(步骤S1103中为“否”),则处理进入步骤S1104。可选地,控制单元121可以使用除根据第二典型实施例的步骤S602的方法以外的方法来判断移动物体是否具有人体特征。
在步骤S1104中,控制单元121从移动物体区域检测人体。
在步骤S1105中,控制单元121判断处理对象区域是否是要被提取移动物体内的人体检测所需的特征区域的区域。更具体地,控制单元121基于存储器21中所存储的设置值来判断处理对象区域是否是要被提取移动物体内的人体检测所需的特征区域的区域。如果控制单元121判断为处理对象区域是要被提取移动物体内的人体检测所需的特征区域的区域(步骤S1105中为“是”),则处理进入步骤S1106。另一方面,如果控制单元121判断为处理对象区域不是要被提取移动物体内的人体检测所需的特征区域的区域(步骤S1105中为“否”),则处理进入步骤S1104。
在步骤S1106中,控制单元121从步骤S1101所检测到的移动物体中仅提取包括人体检测所需的特征的区域。步骤S1106中所进行的处理与步骤S202中所进行的处理相同。接着,在步骤S1107中,控制单元121从步骤S1106所提取出的区域中检测人体。步骤S1107中所进行的处理与步骤S203中所进行的处理相同。
在步骤S1108中,控制单元121判断步骤S1104中是否检测到人体。如果控制单元121判断为检测到人体(步骤S1108中为“是”),则处理进入步骤S1109。另一方面,控制单元121判断为没有检测到人体(步骤S1108中为“否”),处理进入步骤S1111。
在步骤S1109中,控制单元121判断步骤S1101中所检测到的移动物体是否具有人体特征。更具体地,控制单元121使用根据第二典型例的步骤S602的方法来进行该判断。如果控制单元121判断为移动物体具有人体特征(步骤S1109中为“是”),则处理进入步骤S1110。另一方面,如果控制单元121判断为移动物体不具有人体特征(步骤S1109中为“否”),则处理进入步骤S1111。可选地,控制单元121可以使用除根据第二典型实施例的步骤S602的方法以外的方法来判断移动物体是否具有人体特征。
图14示出从图像1200的移动物体中检测人体的结果的示例。在图14中,图像1300示出从图像1200中所包括的移动物体的人体检测。矩形1301和1302是围绕包括人体的移动物体的外接矩形。宽高比1303是利用宽高比所指定的矩形1301的横纵比。宽高比1304是利用宽高比所指定的矩形1302的横纵比。
在步骤S1110中,控制单元121设置处理对象区域作为要进行使用移动物体的人体特征的判断的并且要被提取移动物体内的人体检测所需的特征区域的区域,并且将设置值和与该处理对象区域有关的信息一起存储在存储器21等中。
图15示出步骤S1110中的自动学习的结果的示例。在图15中,图像1400示出从步骤S1110中学习之后所拍摄的运动图像中检测人体的图像。
矩形1401是要执行用于在用于从特征区域中检测人体的处理和用于从移动物体区域中检测人体的处理之间的切换的处理的矩形区域。矩形1402是不执行用于在用于从特征区域中检测人体的处理和用于从移动物体区域中检测人体的处理之间的切换的处理的矩形区域。
矩形区域1403是围绕利用移动物体检测方法所检测到的移动物体的初始外接矩形。矩形1404是通过用于从移动物体仅提取人体检测所需的区域的处理而提取出的区域。矩形1405是围绕利用移动物体检测方法所检测到的移动物体的初始外接矩形,并且是要进行人体检测的区域。
在步骤S1111中,控制单元121判断是否要结束重复处理。如果控制单元121判断为要结束重复处理(步骤S1111中为“是”),则图12的流程图所示的处理结束。另一方面,如果控制单元121判断为不结束重复处理(步骤S1111中为“否”),则处理返回至步骤S1100。
在根据本典型实施例的处理中,对包括遮挡人体的障碍物的区域进行用于从移动物体区域检测人体的处理,而对不包括遮挡人体的障碍物的区域进行根据第一典型实施例和第二典型实施例的处理,因此针对各区域适当进行存在于移动物体中的人体的检测。此外,与根据第三典型实施例的处理相比,根据本典型实施例的处理实现了预先针对各区域设置值的设置的省略。
本发明的典型实施例还可以通过系统或设备的计算机的一个或多个处理器读取并执行经由网络或存储介质供给至该系统或设备的程序以实现上述典型实施例的一个或多个功能来实现。此外,本发明的典型实施例还可以通过实现一个或多个功能的电路(例如,专用集成电路(ASIC))来实现。
尽管参考典型实施例说明了本发明,但是应当理解,本发明不限于所公开的典型实施例。可以将图2中的摄像设备110的功能结构的一部分实现为摄像设备110的硬件。此外,可以将图2中的摄像设备110的功能结构的一部分实现为客户端设备120的硬件。此外,图1中的摄像设备110和客户端设备120的硬件结构仅是示例,并且可是以包括多个CPU、存储器和通信接口。
此外,上述典型实施例可以根据期望而组合实现。
此外,代替对所提取出的所有特征区域进行人体检测处理,控制单元121可以根据矩形的形状等,在检测人体时结束检测处理。这样,可以甚至更高速地进行人体检测。
此外,尽管在上述典型实施例中将流程图所示的处理描述为在客户端设备120处进行,但是例如可以在摄像设备110处进行流程图所示的一部分或全部处理。例如,在摄像设备110执行图3的流程图中的步骤S200~S202的情况下,摄像设备110的CPU 12经由通信I/F 14将所提取出的特征区域发送至客户端设备120。从摄像设备110接收到特征区域的客户端设备120的CPU 22执行步骤S203,并且在显示设备140等上显示处理结果。
此外,尽管参考检测存在于移动物体中的人体的示例说明了上述典型实施例,但是检测对象不限于人体,并且例如可以是存在于移动物体的汽车、摩托车、无人机或家畜。可以通过使用各检测对象的上部特征(例如,形状、颜色)来使上述典型实施例适应于除人体以外的对象。
根据上述典型实施例,高速地检测存在于移动物体的物体(例如,人体)。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (6)

1.一种信息处理设备,其特征在于,包括:
移动物体检测单元,用于从图像中检测移动物体;
第一特征检测单元,用于使用对象物体的特征从与所检测到的移动物体相对应的对象区域的一部分中检测所述对象物体;
第二特征检测单元,用于从所述对象区域的全部中检测所述对象物体;以及
控制单元,用于基于所述对象区域的宽度与长度的宽高比进行选择,以在所述宽高比满足预定宽高比的情况下使用所述第一特征检测单元进行所述检测,以及在所述宽高比不满足所述预定宽高比的情况下使用所述第二特征检测单元进行所述检测,其中所述预定宽高比对应于矩形区域的宽高比,所述矩形区域的长度比所述矩形区域的宽度长。
2.根据权利要求1所述的信息处理设备,其中,还包括设置单元,所述设置单元用于针对所述图像中所包括的各区域,设置表示是所述第一特征检测单元还是所述第二特征检测单元被选择用于所述对象物体的检测的设置值,
其中,所述控制单元根据针对所述图像中所包括的各区域是否设置了所述设置值来进行所述检测。
3.根据权利要求2所述的信息处理设备,其中,所述设置单元基于设置操作来针对所述图像中的各区域设置所述设置值。
4.根据权利要求2所述的信息处理设备,其中,在使用所述第二特征检测单元检测到所述对象物体并且所检测到的移动物体具有所述对象物体的特征的情况下,所述设置单元针对所述对象区域设置表示要使用所述第一特征检测单元来进行所述检测的设置值。
5.一种信息处理方法,其由信息处理设备来执行,其特征在于,所述信息处理方法包括:
从图像中检测移动物体;
第一特征检测步骤,使用对象物体的特征从与所检测到的移动物体相对应的对象区域的一部分中检测所述对象物体;
第二特征检测步骤,从所述对象区域的全部中检测所述对象物体;以及
基于所述对象区域的宽度与长度的宽高比进行选择,以在所述宽高比满足预定宽高比的情况下通过所述第一特征检测步骤进行所述检测,以及在所述宽高比不满足所述预定宽高比的情况下通过所述第二特征检测步骤进行所述检测,其中所述预定宽高比对应于矩形区域的宽高比,所述矩形区域的长度比所述矩形区域的宽度长。
6.一种非暂时性计算机可读存储介质,其存储用于使计算机执行方法的程序,其特征在于,所述方法包括:
从图像中检测移动物体;
第一特征检测步骤,使用对象物体的特征从与所检测到的移动物体相对应的对象区域的一部分中检测所述对象物体;
第二特征检测步骤,从所述对象区域的全部中检测所述对象物体;以及
基于所述对象区域的宽度与长度的宽高比进行选择,以在所述宽高比满足预定宽高比的情况下通过所述第一特征检测步骤进行所述检测,以及在所述宽高比不满足所述预定宽高比的情况下通过所述第二特征检测步骤进行所述检测,其中所述预定宽高比对应于矩形区域的宽高比,所述矩形区域的长度比所述矩形区域的宽度长。
CN201711432905.6A 2016-12-26 2017-12-26 人体检测设备和方法、信息处理设备和方法以及存储介质 Active CN108241852B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016250946A JP6501749B2 (ja) 2016-12-26 2016-12-26 情報処理装置、情報処理方法及びプログラム
JP2016-250946 2016-12-26

Publications (2)

Publication Number Publication Date
CN108241852A CN108241852A (zh) 2018-07-03
CN108241852B true CN108241852B (zh) 2022-08-19

Family

ID=60954730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711432905.6A Active CN108241852B (zh) 2016-12-26 2017-12-26 人体检测设备和方法、信息处理设备和方法以及存储介质

Country Status (4)

Country Link
US (1) US10943103B2 (zh)
EP (1) EP3340112A1 (zh)
JP (1) JP6501749B2 (zh)
CN (1) CN108241852B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228130B (zh) * 2018-12-18 2023-01-17 日立安斯泰莫株式会社 图像处理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464946A (zh) * 2009-01-08 2009-06-24 上海交通大学 基于头部识别和跟踪特征的检测方法
CN101777114A (zh) * 2009-01-08 2010-07-14 北京中星微电子有限公司 视频监控智能分析系统和方法及头肩检测跟踪系统和方法
CN104281390A (zh) * 2013-07-05 2015-01-14 索尼公司 信息处理装置和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950585A (ja) 1995-08-07 1997-02-18 Hitachi Ltd 侵入者監視装置
JP2004295781A (ja) * 2003-03-28 2004-10-21 Ocean Network Entertainment:Kk 画像認識方法、及び画像認識装置
JP2008048075A (ja) * 2006-08-11 2008-02-28 Victor Co Of Japan Ltd 動き検出装置及び動き検出方法
US8131011B2 (en) * 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
WO2010079556A1 (ja) * 2009-01-09 2010-07-15 パナソニック株式会社 移動体検出方法および移動体検出装置
US9104909B2 (en) * 2010-12-15 2015-08-11 Canon Kabushiki Kaisha Image processing apparatus and method of processing image
JP5552069B2 (ja) * 2011-01-31 2014-07-16 セコム株式会社 移動物体追跡装置
JP5959951B2 (ja) * 2012-06-15 2016-08-02 キヤノン株式会社 映像処理装置、映像処理方法、及びプログラム
JP6346007B2 (ja) * 2014-07-02 2018-06-20 国立大学法人 奈良先端科学技術大学院大学 動作認識装置及び動作認識方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464946A (zh) * 2009-01-08 2009-06-24 上海交通大学 基于头部识别和跟踪特征的检测方法
CN101777114A (zh) * 2009-01-08 2010-07-14 北京中星微电子有限公司 视频监控智能分析系统和方法及头肩检测跟踪系统和方法
CN104281390A (zh) * 2013-07-05 2015-01-14 索尼公司 信息处理装置和存储介质

Also Published As

Publication number Publication date
CN108241852A (zh) 2018-07-03
US10943103B2 (en) 2021-03-09
JP2018106360A (ja) 2018-07-05
EP3340112A1 (en) 2018-06-27
JP6501749B2 (ja) 2019-04-17
US20180181801A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
US7995102B2 (en) Imaging apparatus for generating stroboscopic image
JP6800628B2 (ja) 追跡装置、追跡方法、及びプログラム
JP6994901B2 (ja) 制御装置、制御方法、及びプログラム
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
CN111567030B (zh) 用于自动切换视频捕获及回放帧率的方法
CN108810400B (zh) 控制设备、控制方法和记录介质
US10127424B2 (en) Image processing apparatus, image processing method, and image processing system
JP5041170B2 (ja) 画像処理装置
US20180220065A1 (en) Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program
JP7371076B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN108241852B (zh) 人体检测设备和方法、信息处理设备和方法以及存储介质
CN110557607B (zh) 图像处理设备、信息处理设备、信息处理方法和记录介质
JP2008288797A (ja) 撮像装置
CN110610119A (zh) 影像分析方法、电子系统以及非暂态电脑可读取记录媒体
JP7134716B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
KR101722969B1 (ko) 이동 물체 검출 장치 및 그 제어 방법
WO2020000311A1 (zh) 图像处理方法、装置、设备以及无人机
US10885348B2 (en) Information processing device, information processing method, and storage medium
US9716819B2 (en) Imaging device with 4-lens time-of-flight pixels and interleaved readout thereof
KR101318652B1 (ko) 차량의 움직임 감지방법
EP4090007A1 (en) Imaging control apparatus for controlling exposure of imaging apparatus based on subject authentication result, imaging control method, and storage medium
CN115917592A (zh) 人体检测装置以及人体检测方法
JP2023063765A (ja) 画像処理装置、画像処理方法、画像処理システム、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant