CN112424849B - 信息处理装置、信息处理方法及记录介质 - Google Patents

信息处理装置、信息处理方法及记录介质 Download PDF

Info

Publication number
CN112424849B
CN112424849B CN201980045420.2A CN201980045420A CN112424849B CN 112424849 B CN112424849 B CN 112424849B CN 201980045420 A CN201980045420 A CN 201980045420A CN 112424849 B CN112424849 B CN 112424849B
Authority
CN
China
Prior art keywords
detector
detection
sensing data
information processing
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980045420.2A
Other languages
English (en)
Other versions
CN112424849A (zh
Inventor
石井育规
山口拓也
中田洋平
藤村亮太
筑泽宗太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN112424849A publication Critical patent/CN112424849A/zh
Application granted granted Critical
Publication of CN112424849B publication Critical patent/CN112424849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

信息处理装置(100)具备处理器，处理器取得用于对第1目标进行检测的第1检测器(20)在第1传感数据中的检测结果，基于第1检测器(20)的检测结果，决定用于对与第1目标不同的第2目标进行检测的第2检测器(30)在被赋予了第1传感数据之后的顺序的第2传感数据中的处理的设定。

Description

信息处理装置、信息处理方法及记录介质
技术领域
本公开涉及信息处理装置、信息处理方法及记录介质。
背景技术
在对图像中的物体进行检测的技术中，提出了使物体的检测精度提高的技术。例如，在专利文献1中公开了如下技术：利用回归模型对检测器所输出的响应的特征与最佳的阈值之间的对应关系进行训练，与检测器的响应的特征相应地切换阈值。
在先技术文献
专利文献
专利文献1：美国专利申请公布第2013/0034263号说明书
发明内容
发明所要解决的课题
但是，专利文献1所记载的现有技术在上述对应关系的训练不收敛的情况下，无法设定恰当地阈值，有可能发生误检测或者未检测，即检测性能降低。例如，在单一的检测器中，根据检测对象即目标的状态等的情形，响应有时不稳定。可以考虑，如果响应不稳定，则上述对应关系的训练难以收敛。
于是，本公开提供能够稳定地使物体检测的性能提高的信息处理装置、信息处理方法及记录介质。
用于解决课题的手段
为了解决上述课题，本公开的一个方式所涉及的信息处理装置具备处理器，所述处理器取得用于对第1目标进行检测的第1检测器在第1传感数据中的检测结果，基于所述第1检测器的检测结果，决定用于对与所述第1目标不同的第2目标进行检测的第2检测器在被赋予了所述第1传感数据之后的顺序的第2传感数据中的处理的设定。
另外，本公开的一个方式所涉及的信息处理装置具备处理器，所述处理器取得用于对第1目标进行检测的第1检测器在第1传感数据中的检测结果，基于所述第1检测器的检测结果，(i)从基于用于对与所述第1目标不同的第2目标进行检测的第2检测器在被赋予了所述第1传感数据之后的顺序的第2传感数据中的处理结果的检测结果、以及所述第1检测器在第2传感数据中的检测结果中，选择某一个检测结果，或者，(ii)决定对所述第2检测器的检测结果与所述第1检测器在第2传感数据中的检测结果进行综合的方式。
另外，本公开的一个方式所涉及的信息处理方法是用于使计算机执行的方法，取得用于对第1目标进行检测的第1检测器在第1传感数据中的检测结果，基于所述第1检测器的检测结果，决定用于对与所述第1目标不同的第2目标进行检测的第2检测器在被赋予了所述第1传感数据之后的顺序的第2传感数据中的处理的设定。
另外，本公开的一个方式所涉及的记录介质是记录了用于使计算机执行上述信息处理方法的程序的非易失性的能够由计算机读取的记录介质。
发明效果
根据本公开，能够稳定地使物体检测的性能提高。
附图说明
图1是表示实施方式1所涉及的信息处理装置的构成的一例的框图。
图2是表示实施方式1所涉及的信息处理装置的动作的一例的流程图。
图3是图2的步骤S2006的处理的详细的流程图。
图4是用于示意性地说明实施方式1所涉及的信息处理装置的动作的一例的图。
图5是用于示意性地说明实施方式1的变形例1所涉及的信息处理装置的动作的一例的图。
图6是用于示意性地说明实施方式1的变形例2所涉及的信息处理装置的动作的一例的图。
图7是表示实施方式2所涉及的信息处理装置的构成的一例的框图。
图8是表示实施方式2所涉及的信息处理装置的计算部及校正部的动作的一例的流程图。
图9是图8的步骤S8002的处理的详细的流程图。
图10是用于示意性地说明实施方式2所涉及的信息处理装置的动作的一例的图。
具体实施方式
(得出本公开的知识)
以往，在对图像中的物体进行检测的技术中，通过根据与作为检测对象的物体相关的多个正事例及负事例的样本图像，对机器学习模型进行训练以对物体的局部性的形状特征进行检测，能够在任意的场景中，比较好地对物体进行检测。但是，例如，在像从防盗相机或者车载相机等在室外环境中使用的相机得到的图像那样，易于受到天气或者照明的变动等影响的状况下，检测器的检测灵敏度降低的情况很多。例如，由于在雨天状况下照明的光在路面的水洼发生反射，物体的候选框的纵向宽度在路面方向上延伸，或者由于乳白天空(white out)，有时无法对物体进行检测。
另外，例如即使检测对象是相同种类的物体，根据物体的朝向或者姿态，有时也难以被检测出。例如，在行人跌倒的情况下，跌倒的行人(也就是说，横卧的姿态的行人)被误检测为行人的阴影的情况很多。像这样，即使是相同的检测对象，也有时难以被检测出。
另外，已知为了提高检测器的检测精度而增加机器学习模型的隐藏层的数量，但例如在像车载相机系统等在嵌入装置中安装检测器的情况下，由于处理量存在限制，因此难以增加检测器的处理量。
于是，作为本申请发明人鉴于上述课题努力探讨的结果，发现了例如通过使用2个检测器，基于一方的检测器的检测结果，决定另一方的检测器的阈值或者检测模型等的处理的设定，能够稳定地使物体检测的性能提高。
本公开的一个方式的概要如下所述。
本公开的一个方式所涉及的信息处理装置具备处理器，所述处理器取得用于对第1目标进行检测的第1检测器在第1传感数据中的检测结果，基于所述第1检测器的检测结果，决定用于对与所述第1目标不同的第2目标进行检测的第2检测器在被赋予了所述第1传感数据之后的顺序的第2传感数据中的处理的设定。
由此，能够基于在比第2传感数据靠前的第1传感数据中检测出第1目标这样的先验信息，决定用于对第2目标进行检测的第2检测器在第2传感数据中的处理的设定。因此，能够提高第2传感数据中的第2目标即检测对象的检测精度。因此，能够稳定地使检测性能提高。
例如，在本公开的一个方式所涉及的信息处理装置中，所述处理器也可以基于所述第1检测器的检测结果与所述第2检测器的检测结果的候选之间的关系，决定所述第2检测器的处理的设定。
由此，不仅使用第1检测器的检测结果，而且使用第2检测器的检测结果的候选，因此能够更恰当地执行第2检测器的处理的设定。因此，能够进一步提高第2传感数据中的第2目标的检测精度。
例如，在本公开的一个方式所涉及的信息处理装置中，所述关系也可以是由所述第1检测器检测出的所述第1目标的区域与由所述第2检测器检测出的所述第2目标的候选的区域之间的距离。
由此，能够基于在第1传感数据中被检测出的第1目标与在被赋予了第1传感数据之后的顺序的第2传感数据中被检测出的第2目标之间的相似性，对第2目标进行检测。因此，能够精度更好地对第2目标进行检测。
例如，本公开的一个方式所涉及的信息处理装置中，所述处理器也可以与在所述第1传感数据中是否检测出所述第1目标相应地决定所述第2检测器的所述处理的设定。
由此，能够与在第1传感数据中是否检测出第1目标相应地决定第2检测器的处理的设定，因此检测性能易于稳定地维持。
例如，在本公开的一个方式所涉及的信息处理装置中，所述处理器也可以与在所述第2传感数据中是否检测出所述第1目标相应地决定所述第2检测器的所述处理的设定。
由此，能够不仅基于在第1传感数据中是否检测出第1目标这样的先验信息，而且基于在被赋予了第1传感数据之后的顺序的第2传感数据中是否检测出第1目标这样的信息，决定第2检测器的处理的设定。因此，能够进一步提高第2目标的检测精度。
例如，在本公开的一个方式所涉及的信息处理装置中，所述处理器也可以在所述第1传感数据中检测出所述第1目标的情况下，决定所述第2检测器的所述处理的设定。
由此，能够基于在比第2传感数据靠前的第1传感数据中检测出第1目标这样的先验信息，决定用于对第2目标进行检测的第2检测器在第2传感数据中的处理的设定。因此，能够提高第2传感数据中的第2目标的检测精度。
例如，在本公开的一个方式所涉及的信息处理装置中，所述处理器也可以在所述第2传感数据中未检测出所述第1目标的情况下，决定所述第2检测器的所述处理的设定。
由此，能够不仅基于在第1传感数据中检测出第1目标这样的先验信息，而且基于在被赋予了第1传感数据之后的顺序的第2传感数据中未检测出第1目标这样的信息，决定用于对第2目标进行检测的第2检测器在第2传感数据中的处理的设定。因此，能够进一步提高第2目标的检测精度。
例如，在本公开的一个方式所涉及的信息处理装置中，所述处理器也可以在所述第1传感数据中不再检测出所述第1目标的情况下，决定所述第2检测器的所述处理的设定。
由此，能够基于在第1传感数据中不再检测出第1目标这样的信息，决定用于对第2目标进行检测的第2检测器在第2传感数据中的处理的设定。因此，能够进一步提高第2目标的检测精度。
例如，在本公开的一个方式所涉及的信息处理装置中，所述处理的设定也可以是在所述处理中使用的参数。更具体而言，在所述处理中使用的参数也可以是对于所述第2目标的似然性阈值、似然性的校正值、或者作为用于检测判定的数据数量的跟踪阈值。
由此，能够提高第2检测器对于第2目标的检测灵敏度。
例如，在本公开的一个方式所涉及的信息处理装置中，所述处理的设定也可以是被分配给所述第2检测器的处理的计算资源。
由此，能够与第1传感数据中的第1目标的检测结果相应地决定向第2检测器的处理分配的计算资源，因此在需要提高第2目标的检测灵敏度的情况下，能够切换为处理量大的检测模型。因此，能够减小处理量并且提高第2检测器的处理能力。
例如，在本公开的一个方式所涉及的信息处理装置中，所述处理的设定也可以是所述第2检测器的选择。例如，所述处理的设定也可以是向所述第2检测器输入的数据的分辨率或者大小。
由此，能够提高第2检测器的检测性能。
例如，在本公开的一个方式所涉及的信息处理装置中，所述第1目标与所述第2目标也可以是种类相同而姿态不同的物体。
由此，通过对第1目标及第2目标那样姿态不同的相同种类的物体进行检测，能够减小由于姿态的差异造成的检测灵敏度的降低。
另外，本公开的一个方式所涉及的信息处理装置具备处理器，所述处理器取得用于对第1目标进行检测的第1检测器在第1传感数据中的检测结果，基于所述第1检测器的检测结果，(i)从基于用于对与所述第1目标不同的第2目标进行检测的第2检测器在被赋予了所述第1传感数据之后的顺序的第2传感数据中的处理结果的检测结果、以及所述第1检测器在第2传感数据中的检测结果中，选择某一个检测结果，或者，(ii)决定对所述第2检测器的检测结果与所述第1检测器在第2传感数据中的检测结果进行综合的方式。
由此，在第1检测器的检测精度不稳定的情况下，能够基于所述第1检测器的第1传感数据中的检测结果，决定第2检测器对于第2传感数据的处理。因此，在第1检测器无法高精度地对第2传感数据中的第1目标进行检测的情况下，能够使用基于上述的第2检测器的处理结果的检测结果，对所述第1检测器在第2传感数据中的检测结果进行补全。
例如，在本公开的一个方式所涉及的信息处理装置中，所述处理器也可以计算所述第1传感数据中的所述第1目标的检测结果与所述第2传感数据中的所述第1目标的检测结果之间的变化的大小，基于所述变化的大小来执行所述(i)或者所述(ii)。例如，所述变化的大小是所述第1传感数据中的所述第1目标的检测结果与所述第2传感数据中的所述第1目标的检测结果之间的传感数据中的特定的方向的变化的大小，所述处理器与所述特定的方向的变化的大小相应地，在所述(i)中，从基于所述第2检测器的处理结果的检测结果及所述第1检测器在第2传感数据中的检测结果中选择某一个检测结果，或者，在所述(ii)中，决定所述第2检测器的所述检测结果及所述第1检测器的检测结果在所述综合中的权重。
由此，能够基于第1检测器的检测结果的偏差，切换第1目标的检测处理中的第2检测器的检测结果的重要度。因此，能够提高第1目标的检测精度。
例如，在本公开的一个方式所涉及的信息处理装置中，所述第1目标与所述第2目标也可以是种类相同而部分不同的物体。
由此，通过使第2目标的候选框在纵向上扩展(例如设为X倍)，能够生成被估计为相当于第1目标的候选框的候选框。例如，在第1目标的检测结果不稳定的情况下，能够利用第2目标的检测结果来弥补第1目标的检测结果，因此能够减小第1目标的检测精度的降低。
另外，本公开的一个方式所涉及的信息处理方法是用于使计算机执行的方法，取得第1传感数据中的用于对第1目标进行检测的第1检测器的检测结果，基于所述第1检测器的检测结果，决定用于对与所述第1目标不同的第2目标进行检测的第2检测器在被赋予了所述第1传感数据之后的顺序的第2传感数据中的处理的设定。
由此，能够基于在比第2传感数据靠前的第1传感数据中检测出第1目标这样的先验信息，决定用于对第2目标进行检测的第2检测器在第2传感数据中的处理的设定。因此，能够提高第2传感数据的检测精度。
另外，本公开的一个方式所涉及的记录介质是记录了用于使计算机执行上述信息处理方法的程序的非易失性的能够由计算机读取的记录介质。
以下，参照附图具体说明实施方式。
此外，以下说明的实施方式均示出概括性的或者具体性的例子。以下的实施方式中示出的数值、形状、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等为一例，意图不在于限定本公开。此外，关于以下实施方式中的构成要素之中独立权利要求中未记载的构成要素，作为任意的构成要素而被说明。
另外，各图是示意图，不一定严密地图示。从而，例如，在各图中比例尺等不必须一致。另外，在各图中，关于实质上相同的构成赋予相同的标记，省略或者简化重复的说明。
另外，在本说明书中，水平或者垂直等表示要素间的关系性的用语、以及数值范围不是仅表示严密的含义的表现，而是意味着包含实质上等同的范围、例如几％程度的差异的表现。
(实施方式1)
以下，针对实施方式1所涉及的信息处理装置进行说明。
[构成]
图1是表示实施方式1所涉及的信息处理装置100的构成的一例的框图。如图1所示，信息处理装置100包含输入部10、第1检测器20、第2检测器30、检测结果存储部40、计算部50、校正部60和输出部70而构成。
信息处理装置100例如也可以由包含处理器和存储器而构成的计算机实现。在该情况下，信息处理装置100的各构成要素例如也可以通过由处理器执行存储器所存储的1个以上的程序来实现。另外，信息处理装置100例如也可以通过由各自包含处理器和存储器而构成的能够相互通信的多个计算机协调地动作来实现。在该情况下，信息处理装置100的各构成要素例如也可以通过某1个以上的处理器执行某1个以上的存储器所记录的1个以上的程序来实现。在此，信息处理装置100作为由包含处理器和存储器而构成的计算机实现来进行说明。
输入部10取得至少1个传感数据，将所取得的传感数据向第1检测器20及第2检测器30输入。输入部10例如也可以从通过有线或者无线以能够通信的方式连接的传感器或者记录介质取得传感数据。在此，至少1个传感数据作为具备图像传感器的摄像装置所摄像的至少1个图像来进行说明。
输入部10例如从摄像装置取得图像，将所取得的图像向第1检测器20及第2检测器30中的各个检测器输入。另外，输入部10也可以取得由多个图像构成的动态图像，并将各图像向第1检测器20及第2检测器30中的各个检测器输入。
信息处理装置100取得对第1目标(以下称为第1检测对象)进行检测的第1检测器20在第1图像中的检测结果，基于第1检测器20的检测结果，决定用于对与第1检测对象不同的第2目标(以下称为第2检测对象)进行检测的第2检测器30在被赋予了第1图像之后的顺序的第2图像中的处理的设定。第2图像既可以是第1图像的下一帧的图像，也可以是比第1图像靠后2帧以上的图像。也就是说，第2图像既可以是在一系列图像中比第1图像在时间上靠后的图像，也可以是在一系列图像中在用于检测处理的顺序中比第1图像靠后的图像。
第1检测器20及第2检测器30都对多个图像各自中的检测对象进行检测。第1检测器20是使用机器学习被训练为对图像中的第1检测对象进行检测的机器学习模型。另外，第2检测器30是使用机器学习被训练为对图像中的第2检测对象进行检测的机器学习模型。第1检测器20及第2检测器30既可以是分别不同的机器学习模型，也可以是1个机器学习模型。
第1检测对象和第2检测对象是种类相同而姿态不同的物体。第2检测对象也可以是比第1检测对象难以被检测、换言之容易被误检测的姿态的物体。例如，第1检测对象是站立的姿态的人物，第2检测对象是横卧的姿态的人物。上述人物既可以是同一人物，也可以是不同的人物。
检测结果存储部40存放第1检测器20的检测结果。在该检测结果中，向第1检测器20输入的图像，与在该图像中被检测出的检测框对于第1检测对象的似然性、该检测框在图像中的坐标、该检测框的大小以及各图像中的检测框的大小的偏差等信息被建立了关联。在检测结果存储部40中，不限于存放被检测出第1检测对象的图像的检测结果，也可以存放第1检测器20执行了检测处理的全部图像的检测结果。
计算部50从检测结果存储部40读出第1检测器20的检测结果，计算用于决定第2检测器30的处理的设定的信息。例如，计算部50取得由第2检测器30检测的第2检测对象的区域的候选(换言之，候选框)的信息。然后，计算部50计算所取得的第1检测器20的检测结果与第2检测器30的检测结果的候选之间的关系。更具体而言，在第1图像中检测出第1检测对象的情况下，计算部50计算由第1检测器20检测出的第1检测对象的区域(即检测框)与由第2检测器30检测的第2检测对象的候选框之间的距离。该距离例如是由第1检测器20在第1图像中检测出的第1检测对象的区域与由第2检测器30在第2图像中检测的第2检测对象的候选框之间的重合率或者重心间的距离。
校正部60基于第1检测器20的检测结果(换言之，基于计算部50所计算的结果)，决定用于对第2检测对象进行检测的第2检测器30在第2图像中的处理的设定。处理的设定是在第2检测器30的处理中使用的参数。在处理中使用的参数例如是对于第2检测对象的似然性阈值、似然性的校正度、或者作为用于检测判定的数据数量的跟踪阈值。另外，校正部60也可以基于第1检测器20的检测结果与第2检测器30的检测结果的候选之间的关系，决定第2检测器30的处理的设定。如上所述，该关系是由第1检测器20检测出的第1检测对象的区域与由第2检测器30检测的第2检测对象的候选的区域之间的距离。
以下，在本实施方式中，在第2检测器30的处理中使用的参数作为对于第2检测对象的似然性阈值(以下也简称为阈值)来进行说明。
校正部60与在第1图像中是否检测出第1检测对象相应地决定第2检测器30的阈值。进而，校正部60也可以与在第2图像中是否检测出第1检测对象相应地决定第2检测器30的阈值。例如，校正部60也可以在第1图像中检测出第1检测对象的情况下，以使在第2图像中检测出第2检测对象的概率变高的方式决定第2检测器30的阈值。另外，例如，校正部60也可以在第1图像中检测出第1检测对象、而且在第2图像中未检测出第1检测对象的情况下，以使在第2图像中检测出第2检测对象的概率变高的方式决定第2检测器30的阈值。校正部60将所决定的第2检测器30的阈值向第2检测器30输出。
第2检测器30取得校正部60所决定的阈值并进行更新。第2检测器30如果更新了阈值，则基于更新后的阈值，进行第2图像中的第2检测对象的检测。第2检测器30将通过更新阈值而得到的检测结果向输出部70输出。
在上述的例子中，第2检测器30取得校正部60所决定的阈值并进行更新，但此时校正部60也可以将所决定的阈值输入至变换表来校正第2检测器30的检测结果，并将校正后的检测结果向输出部70输出。
输出部70输出对于各图像的第1检测器20的检测结果和第2检测器30的检测结果。输出部70既可以将这些检测结果向提示部(未图示)输出，也可以向信息处理装置100以外的其他装置输出。例如，输出部70基于向操作部(未图示)输入的用户的操作，使提示部提示基于检测结果的信息。操作部例如是键盘、鼠标、触摸面板、按钮或者麦克风等。提示部例如是显示器或者扬声器等。此外，信息处理装置100既可以具备也可以不具备操作部及提示部。操作部及提示部例如也可以由信息处理装置100以外的其他装置具备。信息处理装置100以外的其他装置例如也可以是智能电话、平板电脑或者计算机等信息终端。另外，信息处理装置100举出了计算机为例，但也可以被设置于经由互联网等通信网络连接的服务器上。
[动作]
接下来，针对实施方式1所涉及的信息处理装置100的动作的一例，参照图2～图4进行说明。图2是表示实施方式1所涉及的信息处理装置100的动作的一例的流程图。图3是图2的步骤S2006的处理的详细的流程图。图4是用于示意性地说明实施方式1所涉及的信息处理装置100的动作的一例的图。
信息处理装置100例如从图像传感器等传感器取得动态图像，将动态图像中包含的多个图像中的各个图像向第1检测器20及第2检测器30输入。第1检测器20对被输入的图像中的第1检测对象进行检测，第2检测器30对被输入的图像中的与第1检测对象不同的第2检测对象进行检测。
在此，如图2及图4所示，说明信息处理装置100对多个图像之中的第n个(n为≥2的整数)帧的图像进行处理的例子。
如图2所示，信息处理装置100在从传感器取得的多个图像之中，将第n帧的图像(以下称为第2图像)向第1检测器20及第2检测器30输入(步骤S2001)。如上所述，第1检测器20及第2检测器30分别是机器学习模型，例如是卷积神经网络。
第1检测器20执行第2图像中的第1检测对象的检测处理(步骤S2002)。此时，第1检测器20检测被输入的第2图像中的多个候选框，计算被检测出的各候选框对于第1检测对象的似然性。第1检测器20针对各候选框，判断对于第1检测对象的似然性是否为阈值以上，将阈值以上的候选框之中的例如示出最大似然性的候选框，判定为第1检测对象的检测框。
接下来，第1检测器20将检测结果存放至检测结果存储部40(步骤S2003)。在图4的例子中，在第n－m个(1≤m＜n)帧(以下称为第1图像)中检测出第1检测对象，在第n个帧(以下称为第2图像)中未检测出第1检测对象。在该情况下，第1检测器20例如将表示在第1图像中检测出第1检测对象的信息，与第1图像和第1检测对象的检测框TG1的坐标、大小及似然性等的信息建立关联，并存放至检测结果存储部40。此外，第1检测器20例如也可以将表示在第2图像中未检测出第1检测对象的信息存放至检测结果存储部40。
接下来，针对第2检测器30的动作进行说明。第2检测器30执行第2图像中的第2检测对象的检测处理(步骤S2004)。此时，第2检测器30检测被输入的第2图像中的多个候选框，计算被检测出的各候选框对于第2检测对象的似然性。第2检测器30针对各候选框，判定对于第2检测对象的似然性是否为阈值以上，将阈值以上的候选框之中的例如示出最大似然性的候选框判定为第2检测对象。在图4的例子中，第2检测器30在第2图像中检测出对第2检测对象示出规定的似然性(例如0.5)的候选框。但是，该候选框比阈值小，因此该候选框被判定为不是第2检测对象。
计算部50从检测结果存储部40读出m帧前(即，第1图像)的第1检测器20的检测结果(步骤S2005)。此时，计算部50在读出的第1图像被附加了表示检测出第1检测对象的标记的情况下，基于第1检测器20的检测结果，计算用于决定第2检测器30的处理的设定的信息。用于决定处理的设定的信息例如也可以是表示第1图像中的第1检测对象的区域的像素值、大小、坐标以及区域的周围的像素值等的信息。
校正部60基于第1检测器20的检测结果，决定第2检测器30的处理的设定(步骤S2006)。换言之，校正部60基于计算部50基于第1检测器20的检测结果所计算出的信息，决定第2检测器30的处理的设定。此外，针对处理的设定、以及在处理中使用的参数，上文已经说明，因此省略在此的说明。在此，如图4所示，第2检测器30的处理的设定是对于第2检测对象的似然性阈值。在图4的例子中，似然性阈值被从0.7校正为0.4。
针对步骤S2006的处理，参照图3及图4更具体地进行说明。
例如，如图4所示，在第1图像中检测出第1检测对象，而且在第2图像中生成了对于第2检测对象的候选框的情况下(图3的步骤S3001：是)，计算部50计算表示在第1图像中被检测出的第1检测对象的区域(即第1检测对象的检测框)与在第2图像中被检测出的对于第2检测对象的候选框之间的重合率或者重心间的距离(图3的步骤S3002)。此外，既可以针对生成的全部候选框执行上述处理，也可以仅针对规定的似然性(例如0.5)以上的候选框执行上述处理。
接下来，校正部60基于步骤S3002的计算结果，决定第2检测器30的处理的设定(步骤S3003)。在图2及图3中虽未示出，校正部60将所决定的第2检测器30的处理的设定向第2检测器30输出，从而对处理的设定进行校正。
此外，在图4中虽未示出，例如，在第1图像中检测出第1检测对象，而在第2图像中未检测出对于第2检测对象具有规定的似然性的检测框的情况下(图3的步骤S3001：否)，校正部60以使第2检测对象被检测出的概率变高的方式决定第2检测器的处理的设定(步骤S3004)。例如，校正部60也可以参照计算部50所计算的概率值，以使在第2图像中检测出第2检测对象的概率变高的方式决定第2检测器30的似然性阈值。
接下来，再次参照图2，针对步骤S2006以后的处理流程进行说明。
第2检测器30取得校正部60所决定的处理的设定并进行更新(步骤S2007)。在图4的例子中，第2检测器30将似然性阈值更新为0.4。
接下来，第2检测器30基于更新后的处理的设定，进行第2图像中的第2检测对象的检测处理(步骤S2008)。在图4的例子中，第2检测器30基于更新后的似然性阈值0.4，在第2图像中对第2检测对象进行检测。由此，在第2图像中对于第2检测对象具有规定的阈值(0.5)的候选框，被基于似然性阈值0.4判定为表示第2检测对象的候选框。即，该候选框被作为第2检测对象的检测结果即检测框TG2输出。
输出部70从第1检测器20及第2检测器30取得检测结果，并输出表示所取得的检测结果的信息(例如候选框的坐标及似然性等)(步骤S2009)。
(变形例1)
针对实施方式1的变形例1所涉及的信息处理装置进行说明。图5是用于示意性地说明实施方式1的变形例1所涉及的信息处理装置的动作的一例的图。在变形例1中，以与实施方式1不同的点为中心进行说明。此外，针对与实施方式1重复的内容，简化或者省略说明。另外，针对变形例1所涉及的信息处理装置的构成，由于与实施方式1同样，因此参照图1进行说明。
变形例1的信息处理装置100中，第2检测器30的处理的设定是第2检测器30的选择，这点与实施方式1的信息处理装置100不同。
校正部60基于第1检测器20的检测结果，从性能不同的多个检测器中决定1个检测器，将该决定的检测器设定为第2检测器30。
如图5所示，变形例1所涉及的信息处理装置100在过去(第n－2个帧)被检测出的第1检测对象在第1图像(第n－1个帧)中不再被检测出的情况下，决定第2检测器30的处理的设定。例如，处理的设定是第2检测器的选择。成为选择的候选的检测器各自是通过机器学习被训练的检测模型，且检测性能不同。这些检测模型例如可以是神经网络(NN)的隐藏层的数量、节点数量或者节点的权重等不同。信息处理装置100从这些检测模型之中选择性能比之前使用的检测模型更高的检测模型，并作为第2检测器30使用。
此外，第2检测器30的处理的设定也可以是被分配给第2检测器30的处理的计算资源。具体而言，校正部60基于第1检测器20的检测结果，决定被分配给第2检测器30的处理的计算资源。计算资源例如可以是CPU或GPU(Graphics Processing Unit：图形处理单元)等中的运算资源的分配量、或者缓存存储器等中的存储容量。
例如，在由第1检测器20不再检测出第1检测对象的情况下，校正部60将计算资源决定为比此前分配给第2检测器30的计算资源更多。处理器将被决定的计算资源向第2检测器30分配。
此时，校正部60也可以设定向第2检测器30输入的数据的量。例如，校正部60也可以以使向第2检测器30输入的数据的分辨率、大小或者帧速率增加的方式设定输入数据量。
(变形例2)
接下来，针对实施方式1的变形例2所涉及的信息处理装置进行说明。图6是用于示意性地说明实施方式1的变形例2所涉及的信息处理装置的动作的一例的图。在变形例2中，也与变形例1同样，以与实施方式1不同的点为中心进行说明。此外，针对与实施方式1重复的内容，简化或者省略说明。另外，针对变形例2所涉及的信息处理装置的构成，由于与实施方式1及变形例1同样，因此参照图1进行说明。
在实施方式1所涉及的信息处理装置100中，第1检测对象及第2检测对象是相同种类的物体，但变形例2所涉及的信息处理装置100中，第1检测对象与第2检测对象是不同种类的物体，在这点上与实施方式1不同。
例如，如图6所示，第1检测对象是路面，第2检测对象与实施方式1同样是横卧的姿态的人物。第1检测器20及第2检测器30对相同帧的图像中的不同的检测对象进行检测。
如图6所示，第1检测器20在第n个帧的图像中对检测对象进行检测，第2检测器30在第n个帧的图像中检测对于第2检测对象具有规定的似然性(例如0.5)的候选框。此时，计算部50计算第1检测器20所检测出的第1检测对象的检测框与第2检测器30所检测出的第2检测对象的候选框之间的重合率或者重心间的距离。校正部60与计算部50所计算的上述的重合率或者重心间的距离相应地，对第2检测器30的第2检测对象的似然性阈值进行校正。校正部60将第2检测器30被预先设定的似然性阈值0.7，与计算部50的计算结果相应地变更为似然性阈值0.4。由此，例如，像在路面上横卧的姿态的人物那样出现频度低的物体仅在特定的场景中变得易于被检测，因此对该物体的检测性能得以提高。另外，在特定的场景以外被检测的容易程度不变，因此能够减少误检测。
(实施方式2)
接下来，针对实施方式2所涉及的信息处理装置进行说明。在实施方式1及其变形例中，基于第1检测器的检测结果，决定了第2检测器的处理的设定，但在实施方式2中在以下点上不同：在第1检测器不稳定的情况下，使用第2检测器的检测结果对第1目标进行检测。以下，以与实施方式1及其变形例不同的点为中心进行说明。此外，以下，传感数据与实施方式1同样作为图像来进行说明。
[构成]
图7是表示实施方式2所涉及的信息处理装置110的构成的一例的框图。如图7所示，信息处理装置110包含输入部11、第1检测器21、第2检测器31、检测结果存储部41、计算部51、校正部61和输出部71而构成。
信息处理装置110例如也可以由包含处理器和存储器而构成的计算机实现。在该情况下，信息处理装置110的各构成要素例如也可以通过由处理器执行存储器所存储的1个以上的程序来实现。另外，信息处理装置110例如也可以通过由各自包含处理器和存储器而构成的能够相互通信的多个计算机协调地动作来实现。在该情况下，信息处理装置110的各构成要素例如通过由某1个以上的处理器执行某1个以上的存储器所记录的1个以上的程序来实现。在此，信息处理装置110与实施方式1同样，作为由包含处理器和存储器而构成的计算机实现来进行说明。
输入部11与图1的输入部10同样。第1检测器21及第2检测器31在从输入部11输入的多个图像中的各个图像中对检测对象进行检测。第1检测器21是使用机器学习被训练为对图像中的第1检测对象进行检测的机器学习模型。另外，第2检测器31是使用机器学习被训练为对图像中的第2检测对象进行检测的机器学习模型。第1检测器21及第2检测器31既可以是分别不同的机器学习模型，也可以是1个机器学习模型。
第1检测对象和第2检测对象是种类相同而部分不同的物体。第1检测对象是由于传感器的传感条件差的状态、例如在图像传感器中摄像条件差的状态而难以准确检测的对象。另一方面，第2检测对象例如是与第1检测对象相比不容易由于传感器的传感条件而发生误检测的对象。所谓摄像条件差的状态，例如可以考虑在车辆点灯的时间段中下雨的状态下，行人被车辆的灯照射的情况。此时，有时光在路面的水洼等发生反射，图像中的候选框在垂直方向上变化而被检测为比原本大。例如，虽然第1检测对象及第2检测对象的种类均为行人，但第1检测对象是行人的全身，第2检测对象是行人的上半身。
第1检测器21在多个图像中的各个图像中对第1检测对象进行检测。例如，第1检测器21也可以在连续的多个图像中对第1检测对象进行跟踪。由此，第1检测器21能够以时序对第1检测对象进行追踪。第2检测器31对由第1检测器21检测出的第1检测对象的上半部分进行跟踪。第1检测对象及第2检测对象的跟踪既可以通过使用对到确定检测框为止的帧数进行规定的跟踪阈值来执行，也可以通过使用对到删除检测框为止的帧数进行规定的跟踪阈值来执行。
检测结果存储部41存放第1检测器21的检测结果。针对检测结果存储部41，由于与实施方式1中的检测结果存储部40同样，因此省略在此的说明。
计算部51计算第1图像中的第1检测对象的检测结果与第2图像中的第1检测对象的检测结果之间的变化的大小。该变化的大小是第1图像中的第1检测对象的检测结果与第2图像中的第1检测对象的检测结果之间的图像中的特定的方向的变化的大小。计算部51从检测结果存储部41读出第1检测器21的检测结果，例如计算第1图像中的第1检测对象的检测结果与第2图像中的第1检测对象的检测结果之间的纵向的大小的差量。更具体而言，计算部51对第1检测器21的检测结果进行跟踪，计算与第1图像中的第1检测对象的检测框对应的第2图像中的第1检测对象的检测框的纵向的大小。然后，计算部51计算第1图像中的第1检测对象的检测框和与该检测框对应的第2图像中的第1检测对象的检测框之间的纵向的大小的差量。
校正部61基于计算部51所计算的结果，(i)将第2图像中的第1检测对象的检测结果及基于第2检测器31的处理结果的检测结果中的某一个，选择为第2图像中的第1检测对象的检测结果。具体而言，校正部61在计算部51所计算的差量比阈值小的情况下，将第1检测器21的检测结果决定为第2图像中的第1检测对象的检测结果。另一方面，校正部61在上述的差量为阈值以上的情况下，将基于第2检测器31的处理结果的检测结果决定为第2图像中的第1检测对象的检测结果。例如，校正部61生成通过使第2检测器31在第2图像中检测出的第2检测对象的检测框在纵向上伸长为X倍、例如2倍而成的候选框。然后，校正部61将所生成的候选框决定为第2图像中的第1检测对象的检测结果(即检测框)。
另外，校正部61也可以基于计算部51所计算的结果，(ii)决定对第2图像中的第2检测器31的检测结果与第1检测器21的检测结果进行综合的方式，并进行综合。具体而言，校正部61与计算部51所计算的差量相应地，决定第1检测器21的检测结果及第2检测器31的检测结果各自的权重。例如，校正部61如果该差量越大则使第1检测器21的检测结果的权重相对变小，如果该差量越小则使第1检测器21的检测结果的权重变大。然后，校正部61将第1检测器21及第2检测器31的检测结果各自按照权重进行综合。例如，校正部61计算检测框各自的坐标值的加权平均。然后，计算结果被决定为第1检测对象的检测结果。
此外，也可以使用该权重来执行上述(i)的选择。例如，校正部61也可以将该权重大的检测结果决定为第1检测对象的检测结果。
输出部71也可以取得校正部61所决定的第1检测对象的检测结果，并向提示部(未图示)、信息终端、或者信息处理装置110以外的其他处理装置等输出。
[动作]
以下，针对实施方式2所涉及的信息处理装置110的动作的一例进行说明。在此，针对与实施方式1不同的点进行说明。
图8是表示实施方式2所涉及的信息处理装置110的计算部51及校正部61的动作的一例的流程图。图9是图8的步骤S8002的处理的详细的流程图。图10是用于示意性地说明实施方式2所涉及的信息处理装置110的动作的一例的图。
如图8所示，信息处理装置110取得第1图像中的用于对第1检测对象进行检测的第1检测器21的检测结果(步骤S8001)。例如，如图10所示，第1检测器21在第n－2个帧(第1图像)中，检测第1检测对象的检测框TG1，在被赋予了第1图像之后的顺序的第n－1个帧(第2图像)中检测第1检测对象的检测框TG1。这些检测结果例如被与图像和该图像中的检测框的坐标等的信息建立关联，并存放于检测结果存储部41。计算部51从检测结果存储部41读出并取得这些检测结果。
接下来，信息处理装置110基于第1检测器21的检测结果，(i)从基于用于对与第1检测对象不同的第2检测对象进行检测的第2检测器31在被赋予了第1图像之后的顺序的第2图像中的处理结果的检测结果、以及第1检测器21在第2图像中的检测结果中，选择某一个检测结果，或者，(ii)决定对基于第2检测器31的处理结果的检测结果与第1检测器21在第2图像中的检测结果进行综合的方式(步骤S8002)。此时，信息处理装置110也可以计算第1图像中的第1检测对象的检测结果与第2图像中的第1检测对象的检测结果之间的变化的大小，并基于该变化的大小，执行上述(i)或者上述(ii)。此外，上述的变化的大小是第1图像中的第1检测对象的检测结果与第2图像中的第1检测对象的检测结果之间的图像中的特定的方向的变化的大小。信息处理装置110也可以与该特定的方向的变化的大小相应地，在上述(i)中，从基于第2检测器31的处理结果的检测结果及第1检测器21在第2图像中的检测结果中选择某一个检测结果，或者，在上述的(ii)中，决定基于第2检测器31的处理结果的检测结果及第1检测器21的检测结果在综合中的权重并进行综合。此时，例如，在上述的(i)中，也可以选择上述的2个检测结果在综合中的权重之中的权重大的检测结果，在上述的(ii)中，也可以计算检测框各自的坐标值的加权平均，并将计算结果作为第1检测对象的检测结果输出。此外，针对在综合中的权重，上文已经说明，因此省略在此的说明。
参照图9及图10，对步骤S8002更具体地进行说明。如图9所示，计算部51在第1图像及第2图像中对第1检测对象进行跟踪(步骤S9001)，计算第1图像中的第1检测对象的检测结果与第2图像中的第1检测对象的检测结果之间的纵向的大小的差量(步骤S9002)。更具体而言，如图10所示，计算第1图像(第n－2个帧)中的第1检测对象的检测框TG1的纵向的大小h1与第2图像(第n－1个帧)中的第1检测对象的检测框TG1的纵向的大小h2之间的差量ΔH1。
接下来，校正部61判定计算部51所计算的纵向的大小的差量ΔH1是否为阈值以上(步骤S9003)。在该差量ΔH比阈值小的情况下(步骤S9003：否)，校正部61在上述(i)中，选择第1检测器21在第2图像中的检测结果即检测框TG1(步骤S9005)。或者，也可以在上述(ii)中，通过将第2检测器31的检测结果的权重设为零，来选择第1检测器21的检测结果。
另一方面，校正部61在该差量ΔH为阈值以上的情况下(步骤S9003：是)，在上述的(i)中，将基于第2检测器31的处理结果的检测结果选择为第1检测器21的检测结果。或者，在上述(ii)中，决定基于第2检测器31的处理结果的检测结果及第1检测器21的检测结果在综合中的权重(步骤S9004)。
首先，使用第n－1个帧的例子来说明上述(i)的例子。在此，基于第2检测器31的处理结果的检测结果例如图10的校正部的列中的第n－1个帧所示，是通过使由第2检测器31检测出的第2检测对象的检测框(纵向的大小h3)在纵向上伸长为X倍例如2倍而生成的、第1检测对象的候选框TG1’(纵向的大小2h3)。在步骤S9004的处理中，校正部61选择由第1检测器21检测出的第1检测对象的检测框TG1以及与第1检测对象对应的候选框TG1’之中的在综合中的权重大的框。例如，如图10的校正部的行的第n－1个帧所示，在上述的(i)中，将该第1检测对象的候选框TG1’选择为输出对象。
接下来，使用第n个帧的例子来说明上述(ii)的例子。在步骤S9004的处理中，校正部61与上述差量相应地，决定基于第2检测器31的检测结果而生成的第1检测对象的候选框TG1’以及作为第1检测器21的检测结果的第1检测对象的检测框TG1在综合中的权重。然后，校正部61使用被决定的权重，计算由第1检测器21检测出的第1检测对象的检测框TG1以及第1检测对象的候选框TG1’的坐标值的加权平均。例如，校正部61与差量ΔH2相应地决定如图10所示的第1检测器21的检测框TG1(纵向的大小h4)以及基于第2检测器31的检测框TG2(纵向的大小h5)的候选框TG1’(纵向的大小2h5)的权重。然后，校正部61使用被决定的权重，计算TG1与TG1’的坐标的加权平均并生成第1检测对象的候选框TG1”(纵向的大小h6)。被生成的候选框TG1”成为输出对象。
校正部61将通过上述(i)及(ii)中的某一个方法决定的框，决定为第2图像中的第1检测对象的检测结果。
(其他实施方式)
以上，针对1个或者多个方式所涉及的信息处理装置、信息处理方法及记录介质，基于实施方式进行了说明，但本公开不限定于这些实施方式。只要不脱离本公开的主旨，对本实施方式施加了本领域技术人员想到的各种变形而得到的方式、以及组合了不同实施方式中的构成要素而构筑的方式，也包含在本公开的范围中。
例如，在上述的实施方式中说明的处理既可以通过使用单一的装置(系统)集中处理来实现，或者也可以通过使用多个装置分散处理来实现。另外，执行上述记录介质中记录的程序的处理器既可以是单个，也可以是多个。即，既可以进行集中处理，或者也可以进行分散处理。
另外，上述的各实施方式能够在权利要求书或者与其等同的范围中进行各种变更、改写、附加及省略等。
工业实用性
本公开能够作为能够提高难以被检测的检测对象的检测精度的信息处理装置等利用，例如能够被利用于车载相机系统及防盗相机系统等。
附图标记说明：
10、11 输入部
20、21 第1检测器
30、31 第2检测器
40、41 检测结果存储部
50、51 计算部
60、61 校正部
70、71 输出部
100、110 信息处理装置。

Claims (15)

1.一种信息处理装置，具备处理器，
所述处理器执行如下处理：
取得用于对第1目标进行检测的第1检测器在第1传感数据中的检测结果，
取得用于对与所述第1目标不同的第2目标进行检测的第2检测器在第2传感数据中的检测结果的候选，所述第2传感数据是被赋予了所述第1传感数据之后的顺序的传感数据，所述候选是由所述第2检测器检测的所述第2传感数据中的所述第2目标的区域的候选，
基于所述第1检测器的检测结果与所述第2检测器的检测结果的候选之间的关系，决定所述第2检测器的处理的设定，所述第2检测器的处理的设定是用于在所述第2传感数据中检测所述第2目标的设定，
所述第2传感数据是包含多个图像的动态图像中的第n个帧图像，其中n≥2，所述第1传感数据是第n－m个帧图像，其中1≤m＜n，
所述第1目标与所述第2目标是种类相同的物体，在所述第1传感数据与所述第2传感数据中，(i)该物体的朝向或者姿态不同，或者(ii)所述第1目标与所述第2目标是一个物体的不同部分。
2.如权利要求1所述的信息处理装置，
所述关系是由所述第1检测器检测出的所述第1目标的区域与由所述第2检测器检测的所述第2目标的所述候选的区域之间的距离。
3.如权利要求1所述的信息处理装置，
所述处理器与在所述第1传感数据中是否检测出所述第1目标相应地决定所述第2检测器的所述处理的设定。
4.如权利要求3所述的信息处理装置，
所述处理器与在所述第2传感数据中是否检测出所述第1目标相应地决定所述第2检测器的所述处理的设定。
5.如权利要求3所述的信息处理装置，
所述处理器在所述第1传感数据中检测出所述第1目标的情况下，决定所述第2检测器的所述处理的设定。
6.如权利要求5所述的信息处理装置，
所述处理器进而在所述第2传感数据中未检测出所述第1目标的情况下，决定所述第2检测器的所述处理的设定。
7.如权利要求3所述的信息处理装置，
所述处理器在所述第1传感数据中不再检测出所述第1目标的情况下，决定所述第2检测器的所述处理的设定。
8.如权利要求1所述的信息处理装置，
所述处理的设定是在所述处理中使用的参数。
9.如权利要求8所述的信息处理装置，
在所述处理中使用的参数是对于所述第2目标的似然性阈值、似然性的校正度、或者作为用于检测判定的数据数量的跟踪阈值。
10.如权利要求1所述的信息处理装置，
所述处理的设定是被分配给所述第2检测器的处理的计算资源。
11.如权利要求1所述的信息处理装置，
所述处理的设定是所述第2检测器的选择。
12.如权利要求1所述的信息处理装置，
所述处理的设定是向所述第2检测器输入的数据的分辨率、大小或者帧速率。
13.如权利要求1～12中任一项所述的信息处理装置，
所述第1目标和所述第2目标是所述种类相同而所述姿态不同的物体。
14.一种信息处理方法，是使计算机执行的方法，
取得用于对第1目标进行检测的第1检测器在第1传感数据中的检测结果，
取得用于对与所述第1目标不同的第2目标进行检测的第2检测器在第2传感数据中的检测结果的候选，所述第2传感数据是被赋予了所述第1传感数据之后的顺序的传感数据，所述候选是由所述第2检测器检测的所述第2传感数据中的所述第2目标的区域的候选，
基于所述第1检测器的检测结果与所述第2检测器的检测结果的候选之间的关系，决定所述第2检测器的处理的设定，所述第2检测器的处理的设定是用于在所述第2传感数据中检测所述第2目标的设定，
所述第2传感数据是包含多个图像的动态图像中的第n个帧图像，其中n≥2，所述第1传感数据是第n－m个帧图像，其中1≤m＜n，
所述第1目标与所述第2目标是种类相同的物体，在所述第1传感数据与所述第2传感数据中，(i)该物体的朝向或者姿态不同，或者(ii)所述第1目标与所述第2目标是一个物体的不同部分。
15.一种非易失性的能够由计算机读取的记录介质，记录了使计算机执行信息处理方法的程序，所述信息处理方法为：
取得用于对第1目标进行检测的第1检测器在第1传感数据中的检测结果，
取得用于对与所述第1目标不同的第2目标进行检测的第2检测器在第2传感数据中的检测结果的候选，所述第2传感数据是被赋予了所述第1传感数据之后的顺序的传感数据，所述候选是由所述第2检测器检测的所述第2传感数据中的所述第2目标的区域的候选，
基于所述第1检测器的检测结果与所述第2检测器的检测结果的候选之间的关系，决定所述第2检测器的处理的设定，所述第2检测器的处理的设定是用于在所述第2传感数据中检测所述第2目标的设定，
所述第2传感数据是包含多个图像的动态图像中的第n个帧图像，其中n≥2，所述第1传感数据是第n－m个帧图像，其中1≤m＜n，
所述第1目标与所述第2目标是种类相同的物体，在所述第1传感数据与所述第2传感数据中，(i)该物体的朝向或者姿态不同，或者(ii)所述第1目标与所述第2目标是一个物体的不同部分。
CN201980045420.2A 2019-01-02 2019-12-10 信息处理装置、信息处理方法及记录介质 Active CN112424849B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962787581P 2019-01-02 2019-01-02
US62/787,581 2019-01-02
JP2019107892 2019-06-10
JP2019-107892 2019-06-10
PCT/JP2019/048322 WO2020141588A1 (ja) 2019-01-02 2019-12-10 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN112424849A CN112424849A (zh) 2021-02-26
CN112424849B true CN112424849B (zh) 2023-08-04

Family

ID=71406898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980045420.2A Active CN112424849B (zh) 2019-01-02 2019-12-10 信息处理装置、信息处理方法及记录介质

Country Status (5)

Country Link
US (1) US11481990B2 (zh)
EP (1) EP3907721A4 (zh)
JP (1) JP7407738B2 (zh)
CN (1) CN112424849B (zh)
WO (1) WO2020141588A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159503B1 (ja) * 2022-08-24 2022-10-24 セーフィー株式会社 情報処理システム、情報処理方法、及び情報処理プログラム
EP4372584A1 (en) * 2022-11-17 2024-05-22 Zenseact AB A method for performing a perception task of an electronic device or a vehicle using a plurality of neural networks

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055262A (ja) * 2009-09-02 2011-03-17 Mitsubishi Electric Corp 画像検出装置
JP2013134703A (ja) * 2011-12-27 2013-07-08 Seiko Epson Corp 検出装置及び検出方法
CN104517275A (zh) * 2013-09-27 2015-04-15 株式会社理光 对象检测方法和系统
CN105306808A (zh) * 2014-05-27 2016-02-03 开曼联齐公司 视频影像分配方法
CN106463060A (zh) * 2014-05-19 2017-02-22 株式会社理光 处理装置、处理系统、处理程序和处理方法
JP2017107503A (ja) * 2015-12-11 2017-06-15 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム
JP2017146990A (ja) * 2017-04-26 2017-08-24 株式会社東芝 物体検出装置及びその検出方法
CN108139475A (zh) * 2015-09-30 2018-06-08 索尼公司 信号处理设备、信号处理方法和程序
CN108351690A (zh) * 2015-11-02 2018-07-31 索尼互动娱乐股份有限公司 信息处理装置、信息处理系统和信息处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948522B2 (en) 2011-08-04 2015-02-03 Seiko Epson Corporation Adaptive threshold for object detection
US9171380B2 (en) * 2011-12-06 2015-10-27 Microsoft Technology Licensing, Llc Controlling power consumption in object tracking pipeline
US9383261B2 (en) * 2014-06-13 2016-07-05 Ge Aviation Systems Llc Method of eliminating spurious signals and a relative navigation system
JP6700661B2 (ja) 2015-01-30 2020-05-27 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
JP6688970B2 (ja) 2016-07-15 2020-04-28 パナソニックＩｐマネジメント株式会社 画像認識システム
US11080875B2 (en) * 2018-03-22 2021-08-03 Jvckenwood Corporation Shape measuring apparatus, shape measuring method, non-transitory computer readable medium storing program
WO2019206239A1 (en) * 2018-04-27 2019-10-31 Shanghai Truthvision Information Technology Co., Ltd. Systems and methods for detecting a posture of a human object
US10699154B2 (en) * 2018-08-08 2020-06-30 At&T Intellectual Property I, L.P. Optimizing 360-degree video streaming with video content analysis
US11200424B2 (en) * 2018-10-12 2021-12-14 Adobe Inc. Space-time memory network for locating target object in video content

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055262A (ja) * 2009-09-02 2011-03-17 Mitsubishi Electric Corp 画像検出装置
JP2013134703A (ja) * 2011-12-27 2013-07-08 Seiko Epson Corp 検出装置及び検出方法
CN104517275A (zh) * 2013-09-27 2015-04-15 株式会社理光 对象检测方法和系统
CN106463060A (zh) * 2014-05-19 2017-02-22 株式会社理光 处理装置、处理系统、处理程序和处理方法
CN105306808A (zh) * 2014-05-27 2016-02-03 开曼联齐公司 视频影像分配方法
CN108139475A (zh) * 2015-09-30 2018-06-08 索尼公司 信号处理设备、信号处理方法和程序
CN108351690A (zh) * 2015-11-02 2018-07-31 索尼互动娱乐股份有限公司 信息处理装置、信息处理系统和信息处理方法
JP2017107503A (ja) * 2015-12-11 2017-06-15 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム
JP2017146990A (ja) * 2017-04-26 2017-08-24 株式会社東芝 物体検出装置及びその検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于统计分析的图像变化检测方法;胡岩峰,刘波,李峰,李立钢,丘江;光子学报(第01期);全文 *

Also Published As

Publication number Publication date
CN112424849A (zh) 2021-02-26
JP7407738B2 (ja) 2024-01-04
JPWO2020141588A1 (ja) 2021-11-11
US20210142087A1 (en) 2021-05-13
WO2020141588A1 (ja) 2020-07-09
EP3907721A4 (en) 2022-03-09
US11481990B2 (en) 2022-10-25
EP3907721A1 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
US7969470B2 (en) Moving object detection apparatus, method and program
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
KR101457313B1 (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
JP2020107349A (ja) 物体追跡システム、物体追跡方法、プログラム
CN112424849B (zh) 信息处理装置、信息处理方法及记录介质
CN109478329B (zh) 图像处理方法和装置
JP4697275B2 (ja) 動きベクトル検出装置、動きベクトル検出方法及びプログラム
WO2019080743A1 (zh) 一种目标检测方法、装置及计算机设备
CN110428394B (zh) 用于目标移动侦测的方法、装置及计算机存储介质
Han et al. Moving object detection revisited: Speed and robustness
JP2009026223A (ja) 物体検出装置及びプログラム
CN108875506B (zh) 人脸形状点跟踪方法、装置和系统及存储介质
RU2679730C1 (ru) Система сопоставления изображений и способ сопоставления изображений
CN109961103B (zh) 特征提取模型的训练方法、图像特征的提取方法及装置
JPH11220650A (ja) 階調パターン整合による動き検出装置及びその方法
CN110458861A (zh) 对象检测与跟踪方法和设备
CN109816628B (zh) 人脸评价方法及相关产品
CN106951902B (zh) 一种图像二值化处理方法及装置
JP2019149119A (ja) 画像処理装置、画像処理方法及びプログラム
US8300888B2 (en) Image displacement detection method
US9536137B2 (en) Object detection apparatus
JP4042602B2 (ja) 画像処理装置
JP4550768B2 (ja) 画像検出方法および画像検出装置
JP5241687B2 (ja) 物体検出装置及び物体検出プログラム
JP6717769B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant