CN116261742A - 信息处理装置及信息处理方法 - Google Patents

信息处理装置及信息处理方法 Download PDF

Info

Publication number
CN116261742A
CN116261742A CN202180068094.4A CN202180068094A CN116261742A CN 116261742 A CN116261742 A CN 116261742A CN 202180068094 A CN202180068094 A CN 202180068094A CN 116261742 A CN116261742 A CN 116261742A
Authority
CN
China
Prior art keywords
region
feature region
feature
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180068094.4A
Other languages
English (en)
Inventor
张超
薄波优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN116261742A publication Critical patent/CN116261742A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

信息处理装置具有:检测单元,从所拍摄的图像中检测具有规定特征的特征区域;以及分割单元,利用所述特征区域的惯性主轴来分割所述特征区域。

Description

信息处理装置及信息处理方法
技术领域
本发明涉及分割从所拍摄的图像中检测出的区域的技术。
背景技术
在从所拍摄的图像中检测人体等规定的物体时,有时检测出比规定的物体的区域宽的区域,无法高精度地检测出规定的物体。这里,考虑检测存在运动的区域,识别检测出的区域中包含的物体是否是人体的情况。在这种情况下,有时检测到包含物体及其影子的区域。若检测出包含物体及其影子的区域,则受到影子的影响,无法高精度地识别物体是否为人体。
在专利文献1中,公开了基于预先确定的基准亮度值,从背景差分图像(包含对象物及其影子的图像)中删除影子的技术。
现有技术文献
专利文献
专利文献1:日本特开2008-245063号公报
发明内容
发明要解决的课题
但是,在黑暗的环境下或逆光下进行摄像的情况下,由于物体(对象物)的亮度值接近影子的亮度值,所以无法利用专利文献1所公开的技术高精度地删除影子(物体的至少一部分会被删除)。也就是说,即使使用专利文献1所公开的技术,也无法将包含物体及其影子的区域高精度地分离(分割)为物体的区域和影子的区域。
本发明是鉴于上述实际情况而完成的,其目的在于提供能够适当地分割从所拍摄的图像中检测出的区域的技术。
用于解决课题的手段
为了实现上述目的,本发明采用以下结构。
本发明的第一侧面提供信息处理装置,其特征在于,具有:检测单元,从所拍摄的图像中检测具有规定特征的特征区域;以及分割单元,利用所述特征区域的惯性主轴来分割所述特征区域。
在多数情况下,在需要分离(分割)的两个物体之间,物体延伸的方向不同。例如,在人站立在地面上的情况下,人在与地面大致垂直的方向上延伸,影子在沿着地面的方向上延伸。因此,在所述结构中,设为利用检测出的特征区域的惯性主轴来分割特征区域。由此,能够适当地(以能够得到分别与期望的两个物体对应的两个分割区域的方式)分割特征区域。
特征区域的惯性主轴存在两个,无法根据使用的惯性主轴适当地分割特征区域。因此,也可以设为,所述分割单元在所述特征区域的重心位于由通过所述特征区域的外接矩形的中心的水平轴和垂直轴得到的四个象限中的、第一象限或第三象限的情况下,利用所述特征区域的两个惯性主轴中的、相对于所述水平轴的偏角小的一方的惯性主轴来分割所述特征区域,在所述特征区域的重心位于所述四个象限中的第二象限或第四象限的情况下,利用所述特征区域的两个惯性主轴中的、相对于所述水平轴的偏角大的惯性主轴来分割所述特征区域。由此,能够更适当地分割特征区域(能够更可靠地实现特征区域的适当的分割)。
如检测出与不应该分割的一个物体的区域同等的特征区域的情况等那样,存在不应该利用惯性主轴来分割特征区域的情况。并且,在这种情况下,存在特征区域占特征区域的外接矩形的比例较大的倾向。因此,也可以设为,还具有判断单元,该判断单元判断是采用所述分割单元对所述特征区域进行分割而得到的两个分割区域,还是采用所述特征区域,在与所述特征区域占所述特征区域的外接矩形的比例对应的评价值小于规定的阈值的情况下,所述判断单元判断为采用所述两个分割区域,在所述评价值为所述规定的阈值以上的情况下,所述判断单元判断为采用所述特征区域。由此,能够更适当地分割特征区域(能够高精度地实现在应该分割特征区域的情况下采用分割结果,在不应该分割特征区域的情况下采用特征区域(不采用分割结果)这样的动作)。
也可以设为,所述评价值是所述两个分割区域各自的外接矩形的合计面积相对于所述特征区域的外接矩形的面积的比例。也可以设为,所述评价值是所述两个分割区域各自的外接矩形的逻辑和的面积相对于所述特征区域的外接矩形的面积的比例。
也可以设为,还具有识别单元,该识别单用于识别在所采用的区域的外接矩形中所包含的物体是否是规定的物体,在采用所述两个分割区域的情况下,所述识别单元针对所述两个分割区域的每一个,识别该分割区域的外接矩形中所包含的物体是否是规定的物体。由此,能够高精度地识别(检测)规定的物体。例如,在特征区域中包含规定的物体的情况下,通过特征区域的分割,得到更接近规定的物体的区域的分割区域。因此,与使用特征区域的外接矩形的情况相比,能够更高精度地识别(检测)所得到的分割区域的外接矩形中所包含的物体是规定的物体。
也可以设为所述规定的物体是人体。由此,能够高精度地识别(检测)人体。
也可以设为,所述检测单元将存在运动的区域检测为所述特征区域。也可以设为,所述检测单元将具有规定范围内的像素值的区域检测为所述特征区域。也可以设为,所述检测单元将由边缘包围的区域检测为所述特征区域。
本发明的第二侧面提供信息处理方法,其特征在于,具有:检测步骤,从所拍摄的图像中检测具有规定特征的特征区域;以及分割步骤,利用所述特征区域的惯性主轴来分割所述特征区域。
另外,本发明可以理解为具有上述结构或功能的至少一部分的信息处理系统、人体检测装置、人体检测系统等。另外,本发明还可以被理解为包括上述处理的至少一部分的信息处理方法、人体检测方法、信息处理系统的控制方法、或人体检测系统的控制方法、用于使计算机执行这些方法的程序、或者非暂时地记录了这样的程序的计算机可读取的记录介质。上述结构和处理各自只要不产生技术上的矛盾就可以相互组合来构成本发明。
发明效果
根据本发明,能够适当地分割从所拍摄的图像中检测出的区域。
附图说明
图1是表示应用了本发明的信息处理装置的结构例的框图。
图2是表示本发明实施方式1所涉及的摄像机(信息处理装置)的结构例的框图。
图3是表示本发明的实施方式1所涉及的摄像机的处理流程例的流程图。
图4是表示本发明的实施方式1所涉及的摄像机的动作的具体例的图。
图5是表示本发明的实施方式1所涉及的摄像机的动作的具体例的图。
图6是表示本发明的实施方式1所涉及的显示例的图。
图7是表示本发明的实施方式2所涉及的摄像机(信息处理装置)的结构例的框图。
图8是表示本发明的实施方式2所涉及的摄像机的处理流程例的流程图。
图9是表示本发明的实施方式2所涉及的摄像机的动作的具体例的图。
图10(A)~图10(C)是表示区域分割的一例的图。
具体实施方式
<应用例>
对本发明的应用例进行说明。
在现有技术中,在从所拍摄的图像中检测人体等规定的物体时,检测出比规定的物体的区域宽的区域,有时不能高精度地检测出规定的物体。这里,考虑检测存在运动的区域,识别检测出的区域中所包含的物体是否是人体的情况。在这种情况下,有时检测到包含物体及其影子的区域。若检测出包含物体及其影子的区域,则受到影子的影响,无法高精度地识别物体是否为人体。
还提出了基于亮度值分割检测出的区域的现有技术,但在该现有技术中不能适当地分割区域。例如,在黑暗的环境下或逆光下进行摄像的情况下,物体的亮度值接近影子的亮度值,因此无法将包含物体及其影子的区域高精度地分离(分割)为物体的区域和影子的区域。
图1是表示应用了本发明的信息处理装置100的结构例的框图。信息处理装置100包括区域检测部101和区域分割部102。区域检测部101从所拍摄的图像中检测具有规定的特征的特征区域。区域分割部102利用由区域检测部101检测出的特征区域的惯性主轴,分割特征区域。区域检测部101是本发明的检测单元的一例,区域分割部102是本发明的分割单元的一例。特征区域例如是存在运动的区域、具有规定范围内的像素值(RGB值、亮度值等)的区域、由边缘包围的区域等。即,规定的特征是,“区域中存在运动”、“区域具有规定范围内的像素值”、“区域由边缘包围”等。规定范围例如是人体等规定的物体可取的像素值的范围。由于摄像的环境(例如,来自太阳或照明等的光)依赖于时刻,所以规定范围也可以根据时刻而变化。
在多数情况下,在需要分离(分割)的两个物体之间,物体延伸的方向不同。例如,在人站立在地面上的情况下,人在与地面大致垂直的方向上延伸,影子在沿着地面的方向上延伸。因此,在上述结构中,设为利用检测出的特征区域的惯性主轴来分割特征区域。由此,能够适当地(以能够得到分别与期望的两个物体对应的两个分割区域的方式)分割特征区域。
<实施方式1>
对本发明的实施方式1进行说明。
图2是表示实施方式1所涉及的摄像机200(信息处理装置)的结构例的框图。摄像机200具有摄像部210、控制部220、存储部230以及显示部240。
另外,在实施方式1中,说明了将本发明应用于摄像机的情况的例子,但应用本发明的信息处理装置不限于摄像机。例如,本发明也可以应用于与摄像机(摄像部210)分体的个人计算机(PC)。显示部240可以是与应用本发明的信息处理装置分体的显示装置(监视器)。在应用本发明的信息处理装置是与摄像机是分体的装置的情况下,信息处理装置的设置场所没有特别限定。例如,信息处理装置既可以与摄像机设置在同一房间中,也可以不设置在同一房间中。上述PC既可以是云上的计算机,也可以是智能手机或平板终端等各种终端。
摄像部210拍摄图像并向控制部220输出。在实施方式1中,设为摄像部210拍摄运动图像。摄像部210依次进行拍摄运动图像的帧并向控制部220输出的处理。另外,摄像部210也可以依次进行拍摄静止图像并向控制部220输出的处理。
控制部220包含CPU(中央处理单元(Central Processing Unit))、RAM(随机存取存储器(Random Access Memory))、ROM(只读存储器(Read Only Memory))等,进行各结构要素的控制、各种信息处理等。
存储部230存储由控制部220执行的程序、由控制部220使用的各种数据等。例如,存储部230是硬盘驱动器、固态驱动器等辅助存储装置。
显示部240进行基于从控制部220输出的信息的显示。
对控制部220更详细地进行说明。控制部220具有区域检测部221、惯性主轴计算部222、区域分割部223、区域选择部224以及人体识别部225。
区域检测部221从由摄像部210所拍摄的图像中,检测具有规定的特征的特征区域。然后,区域检测部221向惯性主轴计算部222输出由摄像部210所拍摄的图像和表示检测出的特征区域的信息。特征区域例如是存在运动的区域、具有规定范围内的像素值(RGB值、亮度值等)的区域、由边缘包围的区域等。即,规定的特征是,“区域中存在运动”、“具有规定范围内的像素值”、“区域由边缘包围”等。规定范围例如是规定的物体(在实施方式1中为人体)可取的像素值的范围。由于摄像的环境(例如,来自太阳、照明等的光)依赖于时刻,所以规定范围也可以根据时刻而变化。区域检测部221是本发明的检测单元的一例。
另外,特征区域的检测方法(有无运动的判定方法、边缘的检测方法等)没有特别限定,在特征区域的检测中可以使用提出的各种方法。有无运动既可以通过背景差分法来判定,也可以通过帧间差分法来判定。背景差分法例如是将所拍摄的图像中与规定的背景图像的像素值的差分(绝对值)为规定的阈值以上的像素,检测为存在运动的像素的方法。帧间差分法是例如将所拍摄的当前的图像(当前的帧)中的、与所拍摄的过去图像(过去的帧)的像素值的差分为规定的阈值以上的像素,检测为存在运动的像素的方法。在帧间差分法中,例如,过去的帧是当前帧的规定数前的帧,规定数为1以上。规定数(从当前的帧到过去的帧的帧数)也可以根据控制部220的处理的帧速率、基于摄像部210的摄像的帧速率等来决定。
惯性主轴计算部222基于表示由区域检测部221检测出的特征区域的信息,计算特征区域的惯性主轴。并且,惯性主轴计算部222向区域分割部223输出由摄像部210所拍摄的图像、表示由区域检测部221检测出的特征区域的信息、以及表示计算出的惯性主轴的信息。惯性主轴的计算方法没有特别限定,在惯性主轴的计算中可以使用提出的各种方法。
区域分割部223利用由惯性主轴计算部222计算出的惯性主轴,对由区域检测部221检测出的特征区域进行分割,由此得到两个分割区域。然后,区域分割部223向区域选择部224输出由摄像部210所拍摄的图像、表示由区域检测部221检测出的特征区域的信息、以及表示所取得的两个分割区域的信息。区域分割部223是本发明的分割单元的一例。
区域选择部224判断是采用由区域分割部223得到的两个分割区域,还是采用由区域检测部221检测出的特征区域(选择所采用的区域)。区域选择部224是本发明的判断单元的一例。
如检测出与不应该进行分割的一个物体的区域同等的特征区域的情况等那样,存在不应该利用惯性主轴分割特征区域的情况。并且,在这种情况下,存在特征区域占特征区域的外接矩形的比例较大的倾向。因此,在与特征区域占特征区域的外接矩形的比例对应的评价值小于规定的阈值的情况下,区域选择部224判断为采用两个分割区域。另一方面,在评价值为规定的阈值以上的情况下,区域选择部224判断为采用特征区域。由此,能够更适当地分割特征区域(能够高精度地实现在应该分割特征区域的情况下采用分割结果,在不应该分割特征区域的情况下采用特征区域(不采用分割结果)的动作)。
在实施方式1中,区域选择部224基于表示由区域检测部221检测出的特征区域的信息,计算特征区域的外接矩形,基于表示由区域分割部223得到的两个分割区域的信息,计算两个分割区域各自的外接矩形。然后,区域选择部224计算两个分割区域各自的外接矩形的合计面积相对于特征区域的外接矩形的面积(外接矩形内的像素数)的比例,作为评价值。
另外,也可以计算两个分割区域各自的外接矩形的逻辑和的面积相对于特征区域的外接矩形的面积的比例作为评价值。由此,能够计算出更接近特征区域占特征区域的外接矩形的比例的评价值,能够更适当地判断区域的采用/不采用。当然,也可以计算特征区域占特征区域的外接矩形的比例,即特征区域的面积相对于特征区域的外接矩形的面积的比例,作为评价值。
若决定采用的区域,则区域选择部224向人体识别部225输出由撮像部210所拍摄的图像和表示所采用的区域的外接矩形的信息。
人体识别部225基于从区域选择部224所输出的信息(由摄像部210所拍摄的图像、以及表示所采用的区域的外接矩形的信息),识别所采用的区域的外接矩形中所包含的物体是否是人体(规定的物体)。在采用两个分割区域的情况下,人体识别部225针对两个分割区域中的每一个,识别该分割区域的外接矩形中所包含的物体是否是人体。由此,能够高精度地识别(检测)人体。例如,在特征区域中包含人体的情况下,通过特征区域的分割,能够得到更接近人体的区域的分割区域。因此,与使用特征区域的外接矩形的情况相比,能够更高精度地识别(检测)所得到的分割区域的外接矩形中所包含的物体是人体。人体识别部225是本发明的识别单元的一例。
在完成人体识别之后,人体识别部225将由撮像部210所拍摄的图像和人体识别的结果输出到显示部240。由此,显示部240可以将人体识别的结果与所拍摄的图像一起显示。例如,人体识别的结果中包括表示所采用的区域的外接矩形的信息、表示外接矩形中所包含的物体是否是人体的信息等。然后,显示部240将所采用的区域的外接矩形与所拍摄的图像重叠显示。外接矩形的形态(线种类、亮度、颜色等)根据外接矩形中所包含的物体是否是人体而变更。
另外,人体识别部225也可以将人体识别的结果与所拍摄的图像相关联地记录在存储介质中。存储介质既可以是摄像机200的一部分,也可以不是摄像机200的一部分。
在基于人体识别部225的人体识别中使用哪种算法都可以。例如,也可以使用HoG、Haar-like等组合了图像特征和增强的识别器。也可以使用通过已有的机器学习生成的学习完毕模型,具体而言,也可以使用通过深度学习(例如,R-CNN、Fast R–CNN、YOLO、SSD等)所生成的学习完毕模型。
图3是表示摄像机200的处理流程例的流程图。摄像机200反复执行图3的处理流程。控制部220的处理的帧速率(反复周期)没有特别限定,但在实施方式1中,设为与基于摄像部210的摄像的帧速率(例如30fps)相同。
首先,摄像部210拍摄图像(步骤S301)。接着,区域检测部221从在步骤S301中所拍摄的图像中,检测具有规定的特征的特征区域(步骤S302)。然后,惯性主轴计算部222计算在步骤S302中检测出的特征区域的惯性主轴(步骤S303)。接着,区域分割部223利用在步骤S303中计算出的惯性主轴来分割在步骤S302中检测出的特征区域,由此得到两个分割区域(步骤S304)。
然后,区域选择部224基于在步骤S302中检测出的特征区域和在步骤S304中得到的两个分割区域,计算评价值,判定计算出的评价值是否小于规定的阈值(步骤S305)。在判定为评价值小于规定的阈值的情况下(步骤S305:是),处理进入步骤S306,在判定为评价值为规定的阈值以上的情况下(步骤S305:否),处理进入步骤S307。
在步骤S306中,人体识别部225针对在步骤S304中所得到的两个分割区域中的每一个,识别在该分割区域的外接矩形中所包含的物体是否是人体。在步骤S307中,人体识别部225识别在步骤S302中检测到的特征区域的外接矩形中所包含的物体是否是人体。在进行了步骤S306的处理或步骤S307的处理之后,处理进入步骤S308。在步骤S308中,显示部240显示步骤S301~S307的处理结果。
使用图4说明摄像机200的动作的具体例。在图4的例子中,检测出包含人体及其影子的特征区域401(步骤S302)。为了高精度地进行人体识别,特征区域401应该分割为人体的区域和影子的区域。惯性主轴计算部222计算特征区域401的重心402,计算通过重心402的、特征区域401的惯性主轴403(步骤S303)。然后,区域分割部223利用惯性主轴403分割特征区域401,由此得到两个分割区域404、405(步骤S304)。由图4可知,分割区域404对应于人体,分割区域405对应于影子。因此,应该采用分割区域404、405进行人体识别。区域选择部224计算特征区域401的外接矩形406、分割区域404的外接矩形407和分割区域405的外接矩形408。然后,区域选择部224计算外接矩形407的面积与外接矩形408的面积之和(合计面积)相对于外接矩形406的面积的比例作为评价值。从图4可知,作为评价值得到比较小的值(小于规定的阈值的值)(步骤S305:是)。因此,能够采用分割区域404、405进行人体识别(步骤S306)。
使用图5说明摄像机200的动作的其他具体例。在图5的例子中,检测出与人体的区域同等的特征区域501(步骤S302)。为了高精度地进行人体识别,特征区域501不应该分割。惯性主轴计算部222计算特征区域501的重心502,计算通过重心502的、特征区域501的惯性主轴503(步骤S303)。然后,区域分割部223利用惯性主轴503来分割特征区域501,由此得到两个分割区域504、505(步骤S304)。由图5可知,分割区域504对应于人体的上半身,分割区域505对应于人体的下半身。如果采用分割区域504、505进行人体识别,则不能检测出人体,或者会检测出人体的一部分。因此,不应该采用分割区域504、505进行人体识别,而应该采用特征区域501进行人体识别。区域选择部224计算特征区域501的外接矩形506、分割区域504的外接矩形507和分割区域505的外接矩形508。然后,区域选择部224计算外接矩形507的面积与外接矩形508的面积之和(合计面积)相对于外接矩形506的面积的比例作为评价值。从图5可知,作为评价值得到比较大的值(规定的阈值以上的值)(步骤S305:否)。因此,可以不采用分割区域504、505,而采用特征区域501进行人体识别(步骤S306)。
图6是表示基于显示部240的显示的一例的图。在图6中,所拍摄的图像包含人体601、汽车602以及它们的影子。对于人体601,由于评价值小于阈值,因此显示包括人体601的框603(分割区域的外接矩形)和包括人体601的影子的框604(分割区域的外接矩形)。对于汽车602,由于评价值为阈值以上,所以显示包含汽车602及其影子的框605(特征区域的外接矩形)。框603中所包含的物体被识别为人体,框604中所包含的物体和框605中所包含的物体不被识别为人体,因此框603用实线显示,框604、605用虚线显示。
如上所述,根据实施方式1,特征区域利用特征区域的惯性主轴被分割。由此,能够适当地(以能够得到分别与期望的两个物体对应的两个分割区域的方式)分割特征区域。进而,基于与特征区域占所述特征区域的外接矩形的比例对应的评价值,判断是采用分割特征区域而得到的两个分割区域,还是采用所述特征区域。由此,能够更适当地分割特征区域(能够高精度地实现在应该分割特征区域的情况下采用分割结果,在不应该分割特征区域的情况下采用特征区域(不采用分割结果)这样的动作)。
<实施方式2>
对本发明的实施方式2进行说明。特征区域的惯性主轴存在两个,不能根据使用的惯性主轴适当地分割特征区域。在实施方式2中,以能够更适当地分割特征区域(能够更可靠地实现特征区域的适当的分割)的方式,选择使用的惯性主轴。
图7是表示实施方式2的摄像机700(信息处理装置)的结构例的框图。摄像机700包括撮像部210、控制部720、存储部230和显示部240。控制部720具有与控制部220(图2)相同的功能。控制部720具有区域检测部221、惯性主轴计算部222、惯性主轴选择部721、区域分割部223、区域选择部224以及人体识别部225。
惯性主轴计算部222向惯性主轴选择部721输出由摄像部210所拍摄的图像、表示由区域检测部221检测出的特征区域的信息、以及表示计算出的惯性主轴的信息。在实施方式2中,惯性主轴计算部222计算特征区域的两个惯性主轴,但也可以不是这样。例如,也可以是惯性主轴计算部222计算两个惯性主轴中的一个,惯性主轴选择部721根据需要对由惯性主轴计算部222计算出的惯性主轴进行校正,取得两个惯性主轴中的另一个。
惯性主轴选择部721选择特征区域的两个惯性主轴中的一个。在特征区域的重心位于由通过特征区域的外接矩形的中心的水平轴和垂直轴得到的四个象限中的第一象限或第三象限的情况下,选择两个惯性主轴中相对于水平轴(水平方向)的偏角小的一方的惯性主轴。在特征区域的重心位于四个象限中的第二象限或第四象限的情况下,选择特征区域的两个惯性主轴中相对于水平轴的偏角大的一方的惯性主轴。并且,惯性主轴选择部721向区域分割部223输出由摄像部210所拍摄的图像、表示由区域检测部221检测出的特征区域的信息、以及表示所选择的惯性主轴的信息。区域分割部223利用由惯性主轴选择部721所选择的惯性主轴来分割由区域检测部221检测出的特征区域。由此,能够更适当地分割特征区域(能够更可靠地实现特征区域的适当的分割)。
图8是表示摄像机700的处理流程例的流程图。摄像机700反复执行图8的处理流程。控制部720的处理的帧速率(反复周期)没有特别限定,但在实施方式2中,设为与摄像部210的摄像的帧速率(例如30fps)相同。
在图8的处理流程中,在步骤S303的处理和步骤S304的处理之间进行步骤S800的处理。在步骤S800中,惯性主轴选择部721选择在步骤S303中计算出的两个惯性主轴中的一个。在步骤S304中,区域分割部223利用在步骤S800中选择的惯性主轴来分割在步骤S302中检测出的特征区域。
使用图9说明摄像机200的动作的具体例。
在图9的例子中,检测出包含人体及其影子的特征区域901(步骤S302)。为了高精度地进行人体识别,特征区域901应该分割为人体的区域和影子的区域。惯性主轴计算部222计算特征区域901的重心902,并计算通过重心902的、特征区域901的惯性主轴903、904(步骤S303)。从水平方向到惯性主轴903的偏角θ1比从水平方向到惯性主轴904的偏角θ2小。由于惯性主轴903和惯性主轴904相互正交,因此偏角θ2为偏角θ1+90°。
惯性主轴选择部721选择惯性主轴903、904中的一方(步骤S800)。从图9可知,即使利用惯性主轴903分割特征区域901,特征区域901也不会被分割为人体的区域和影子的区域,而通过利用惯性主轴904来分割特征区域901,由此能够将特征区域901分割为人体的区域和影子的区域。因此,惯性主轴选择部721需要选择惯性主轴904。
惯性主轴选择部721基于表示由区域检测部221检测出的特征区域的信息,计算特征区域901的重心902和特征区域901的外接矩形的中心905。然后,惯性主轴选择部721基于重心902的坐标和中心905的坐标,判断在由通过中心905的水平轴和垂直轴得到的四个象限中、重心902所位于的象限。这里,考虑随着在图9中作为水平轴表示的箭头的方向上前进,水平坐标(水平方向的位置坐标)增加,随着在作为垂直轴表示的箭头的方向上前进,垂直坐标(垂直方向的位置坐标)增加的情况。在这种情况下,如果重心902的水平坐标大于中心905的水平坐标、并且重心902的垂直坐标大于中心905的垂直坐标,则能够判断为重心901位于第一象限。如果重心902的水平坐标小于中心905的水平坐标、并且重心902的垂直坐标大于中心905的垂直坐标,则能够判断为重心901位于第二象限。如果重心902的水平坐标小于中心905的水平坐标、并且重心902的垂直坐标小于中心905的垂直坐标,则能够判断为重心901位于第三象限。如果重心902的水平坐标大于中心905的水平坐标、并且重心902的垂直坐标小于中心905的垂直坐标,则能够判断为重心901位于第四象限。
然后,惯性主轴选择部721基于重心902所位于的象限的判断结果,选择惯性主轴903、904中的一方。在重心902位于第一象限或第三象限的情况下,惯性主轴选择部721选择惯性主轴903、904中相对于水平轴(水平方向)的偏角小的惯性主轴903。在重心902位于第二象限或第四象限的情况下,惯性主轴选择部721选择惯性主轴903、904中相对于水平轴的偏角大的惯性主轴904。在图9中,重心902位于第四象限,因此惯性主轴选择部721能够选择惯性主轴904。进而,能够将特征区域901分割为人体的区域和影子的区域。
如上所述,根据实施方式2,在由通过特征区域的外接矩形的中心的水平轴和垂直轴得到的四个象限中,根据特征区域的重心所位于的象限,选择使用的惯性主轴。由此,能够更适当地分割特征区域(能够更可靠地实现特征区域的适当的分割)。
<其他>
上述实施方式只不过是例示性地说明本发明的结构例。本发明不限于上述具体的方式,在其技术思想的范围内可以进行各种变形。例如,识别的规定物体可以不是人体,也可以是汽车或建筑物、手指、手臂、躯体、动物等。另外,说明了将特征区域分割为人体的区域和影子的区域的例子,但不限于此。根据本发明,如图10(A)所示,也可以将特征区域分割为两个建筑物(与两个建筑物分别对应的两个区域)。如图10(B)所示,也可以将特征区域分割为电线杆的区域和影子的区域。如图10(C)所示,特征区域也可以被分割为拇指的区域和食指的区域。也可以将特征区域(人体的区域)分割为躯体的区域和手臂的区域。这样,本发明能够用于各种用途。
<附记1>
信息处理装置(100,200,700),其特征在于,具有:
检测单元(101,221),从所拍摄的图像中检测具有规定的特征的特征区域;以及
分割单元(102,223),利用所述特征区域的惯性主轴来分割上述特征区域的。
<附记2>
信息处理方法,其特征在于,具有:
检测步骤(S302),从所拍摄的图像中检测具有规定的特征的特征区域;以及
分割步骤(S304),利用所述特征区域的惯性主轴来分割所述特征区域。
标号说明
100:信息处理装置
101:区域检测部
102:区域分割部
200:摄像机(信息处理装置)
210:摄像部
220:控制部
230:存储部
240:显示部
221:区域检测部
222:惯性主轴计算部
223:区域分割部
224:区域选择部
225:人体识别部
700:摄像机(信息处理装置)
720:控制部
721:惯性主轴选择部。

Claims (12)

1.一种信息处理装置,其特征在于,具有:
检测单元,从所拍摄的图像中检测具有规定特征的特征区域;以及
分割单元,利用所述特征区域的惯性主轴来分割所述特征区域。
2.根据权利要求1所述的信息处理装置,其特征在于,
在所述特征区域的重心位于由通过所述特征区域的外接矩形的中心的水平轴和垂直轴得到的四个象限中的、第一象限或第三象限的情况下,所述分割单元利用所述特征区域的两个惯性主轴中的、相对于所述水平轴的偏角小的一方的惯性主轴来分割所述特征区域,
在所述特征区域的重心位于所述四个象限中的第二象限或第四象限的情况下,所述分割单元利用所述特征区域的两个惯性主轴中的、相对于所述水平轴的偏角大的一方的惯性主轴来分割所述特征区域。
3.根据权利要求1或2所述的信息处理装置,其特征在于,
还具有判断单元,该判断单元判断是采用所述分割单元分割所述特征区域而得到的两个分割区域,还是采用所述特征区域,
在与所述特征区域占所述特征区域的外接矩形的比例对应的评价值小于规定的阈值的情况下,所述判断单元判断为采用所述两个分割区域,
在所述评价值为所述规定的阈值以上的情况下,所述判断单元判断为采用所述特征区域。
4.根据权利要求3所述的信息处理装置,其特征在于,
所述评价值是所述两个分割区域各自的外接矩形的合计面积相对于所述特征区域的外接矩形的面积的比例。
5.根据权利要求3所述的信息处理装置,其特征在于,
所述评价值是所述两个分割区域各自的外接矩形的逻辑和的面积相对于所述特征区域的外接矩形的面积的比例。
6.根据权利要求3~5中任一项所述的信息处理装置,其特征在于,
还具有识别单元,该识别单元用于识别在所采用的区域的外接矩形中所包含的物体是否是规定的物体,
在采用了所述两个分割区域的情况下,所述识别单元针对所述两个分割区域中的每一个,识别该分割区域的外接矩形中所包含的物体是否是规定的物体。
7.根据权利要求6所述的信息处理装置,其特征在于,
所述规定物体是人体。
8.根据权利要求1~7中任一项所述的信息处理装置,其特征在于,
所述检测单元将存在运动的区域检测为所述特征区域。
9.根据权利要求1~7中任一项所述的信息处理装置,其特征在于,
所述检测单元将具有规定范围内的像素值的区域检测为所述特征区域。
10.根据权利要求1~7中任一项所述的信息处理装置,其特征在于,
所述检测单元将由边缘包围的区域检测为所述特征区域。
11.一种信息处理方法,其特征在于,具有:
检测步骤,从所拍摄的图像中检测具有规定特征的特征区域;以及
分割步骤,利用所述特征区域的惯性主轴来分割所述特征区域。
12.一种程序,用于使计算机执行权利要求11所述的信息处理装置的各步骤。
CN202180068094.4A 2020-10-27 2021-09-03 信息处理装置及信息处理方法 Pending CN116261742A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-179823 2020-10-27
JP2020179823A JP2022070648A (ja) 2020-10-27 2020-10-27 情報処理装置および情報処理方法
PCT/JP2021/032490 WO2022091577A1 (ja) 2020-10-27 2021-09-03 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
CN116261742A true CN116261742A (zh) 2023-06-13

Family

ID=81384022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180068094.4A Pending CN116261742A (zh) 2020-10-27 2021-09-03 信息处理装置及信息处理方法

Country Status (5)

Country Link
US (1) US20230419500A1 (zh)
JP (1) JP2022070648A (zh)
CN (1) CN116261742A (zh)
DE (1) DE112021005703T5 (zh)
WO (1) WO2022091577A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2022167586A (ja) * 2021-04-23 2022-11-04 オムロン株式会社 情報処理装置、情報処理方法、及び制御プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105371A (ja) * 1993-10-04 1995-04-21 Hitachi Ltd 手形状認識方法
JP4853657B2 (ja) 2007-03-28 2012-01-11 サクサ株式会社 画像処理装置
JP5468332B2 (ja) * 2009-08-20 2014-04-09 Juki株式会社 画像特徴点抽出方法
JP5647459B2 (ja) * 2010-08-13 2014-12-24 セコム株式会社 移動物体検出装置

Also Published As

Publication number Publication date
JP2022070648A (ja) 2022-05-13
US20230419500A1 (en) 2023-12-28
WO2022091577A1 (ja) 2022-05-05
DE112021005703T5 (de) 2023-08-17

Similar Documents

Publication Publication Date Title
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
TWI686774B (zh) 人臉活體檢測方法和裝置
EP1981278B1 (en) Automatic tracking device and automatic tracking method
CN108960067B (zh) 基于深度学习的实时的列车驾驶员动作识别系统和方法
US6925122B2 (en) Method for video-based nose location tracking and hands-free computer input devices based thereon
US20160282953A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US9256324B2 (en) Interactive operation method of electronic apparatus
US20050139782A1 (en) Face image detecting method, face image detecting system and face image detecting program
CN116261742A (zh) 信息处理装置及信息处理方法
JP2005309746A (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP2021108193A (ja) 画像処理装置、画像処理方法、及びプログラム
CN114627561B (zh) 动态手势识别方法、装置、可读存储介质及电子设备
WO2005055143A1 (ja) 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
US9947106B2 (en) Method and electronic device for object tracking in a light-field capture
JP2008035301A (ja) 移動体追跡装置
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN112507767B (zh) 脸部辨识方法及其相关电脑系统
CN113168694B (zh) 人检测装置以及人检测方法
CN113646803A (zh) 人检测装置以及人检测方法
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
CN115311723A (zh) 活体检测方法、装置及计算机可读存储介质
WO2020175085A1 (ja) 画像処理装置、及び画像処理方法
CN109977740B (zh) 一种基于深度图的手部跟踪方法
JP6818485B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination