CN113508420A - 物体追踪装置以及物体追踪方法 - Google Patents

物体追踪装置以及物体追踪方法 Download PDF

Info

Publication number
CN113508420A
CN113508420A CN202080017837.0A CN202080017837A CN113508420A CN 113508420 A CN113508420 A CN 113508420A CN 202080017837 A CN202080017837 A CN 202080017837A CN 113508420 A CN113508420 A CN 113508420A
Authority
CN
China
Prior art keywords
image
frame image
fisheye
tracking
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080017837.0A
Other languages
English (en)
Inventor
辻郁奈
田中清明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN113508420A publication Critical patent/CN113508420A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

物体追踪装置，具有：存储单元，按鱼眼图像上的每个位置或者区域，预先存储与帧之间的物体的移动量相关的基准；决定单元，基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述移动量相关的基准，来决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域的位置；以及搜索单元，通过从所述第2帧图像的所述搜索领域中搜索所述物体，确定所述第2帧图像中的所述物体的位置。

Description

物体追踪装置以及物体追踪方法
技术领域
本发明涉及使用鱼眼相机的图像来追踪物体的技术。
背景技术
在楼宇自动化(BA)、工厂自动化(FA)的领域中，需要通过图像传感器来自动测量人的“数量”、“位置”、“移动路线”等，对照明、空调等设备进行最佳控制的应用。在这样的用途中，为了取得尽可能宽范围的图像信息，大多利用搭载了鱼眼透镜(鱼眼透镜(Fisheyelens))的超广角相机(称为鱼眼相机、全方位相机、全天球相机等，然而含义均相同。在本说明书中，使用“鱼眼相机”的用语。)。
由鱼眼相机摄影到的图像在很大程度上是失真的。因此，在根据鱼眼相机的图像(以下，称为“鱼眼图像”。)对人体或面部等进行检测或者追踪的情况下，通过预先将鱼眼图像进行平面展开从而修正成失真少的图像之后，施加检测或者追踪处理这样的方法，是一般的方法(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2016-39539号公报
发明内容
发明要解决的课题
然而，在现有技术中存在如下这样的问题。一个是，通过发生将鱼眼图像进行平面展开这样的前处理，整体的处理成本变大这样的问题。这使得难以进行实时的处理，可能招致设备控制的延迟，并不优选。第二个问题是，存在如下的担忧，即，鱼眼相机的正下方等、恰好存在于平面展开时的边界(图像的接缝)的位置的人或物体的像，因平面展开的处理而大程度地变形，或者像被截断，从而无法准确地进行检测或者追踪。
为了避免这些问题，本发明的发明人们正在研究，对鱼眼图像直接(“不进行平面展开”的意思。)施加追踪处理这样的解决方案。然而，与通常的相机图像相比，在鱼眼图像的情况下，按图像的每个领域而移动量不同，因此追踪变得困难。
本发明是鉴于上述情况而做出的，其目的在于，提供一种从鱼眼图像高速且高精度地追踪物体的技术。
用于解决课题的手段
为了实现上述目的，本发明采用以下的结构。
本发明的第一侧面提供一种物体追踪装置，使用通过设置于追踪对象区域(area)的上方的鱼眼相机得到的鱼眼图像，来追踪在所述追踪对象区域内存在的物体，其特征在于，具有：存储单元，按鱼眼图像上的每个位置或者区域，预先存储与帧之间的所述物体的移动量相关的基准；决定单元，基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述移动量相关的基准，来决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域(region)的位置；以及搜索单元，通过从所述第2帧图像的所述搜索领域中搜索所述物体，确定所述第2帧图像中的所述物体的位置。
“鱼眼相机”是搭载了鱼眼透镜的相机，是与通常的相机相比而能够进行超广角下的摄影的相机。全方位相机、全天球相机也是鱼眼相机的一种。鱼眼相机被设置成从追踪对象区域的上方来俯视追踪对象区域即可。典型地，鱼眼相机的光轴被设置成铅垂向下，然而鱼眼相机的光轴也可以相对于铅垂方向而倾斜。
在本发明中，通过考虑与鱼眼图像中的物体的位置对应的移动量来决定搜索领域的位置这样的方法，能够高精度且高速地进行跟踪(追踪)处理。在由鱼眼相机以俯视追踪对象区域的方式进行摄影的情况下，依赖于与鱼眼相机的位置关系而物体的外观(拍摄方式)大程度地变化。因此，在对以固定的速度移动的追踪对象进行追踪的情况下，也具有依赖于与鱼眼相机的位置关系而鱼眼图像内的追踪对象的移动量不同这样的特性。即，鱼眼图像的中心的移动量大，随着去向鱼眼图像的端部而移动量变小。物体追踪装置考虑这样的鱼眼图像的特性，当对之后的帧的追踪对象进行追踪时决定搜索领域以使成为恰当的位置。此外，由于将鱼眼图像进行平面展开等的前处理是不需要的，因此，能够实现更高速的处理。
也可以是，所述存储单元按鱼眼图像上的每个位置或者区域，预先存储有与所述搜索领域的尺寸相关的基准，所述决定单元基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述尺寸相关的基准，决定所述第2帧图像中的所述搜索领域的尺寸。在鱼眼图像中，具有按照与鱼眼相机的位置关系而物体的大小不同这样的特性。物体追踪装置考虑这样的鱼眼图像的特性，在对之后的帧的追踪对象进行追踪时，决定恰当的尺寸的搜索领域。
本发明的第二侧面提供一种物体追踪装置，使用通过设置于追踪对象区域的上方的鱼眼相机得到的鱼眼图像，追踪在所述追踪对象区域内存在的物体，其特征在于，具有：存储单元，按鱼眼图像上的每个位置或者区域，预先存储有与搜索领域的尺寸相关的基准；决定单元，基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述尺寸相关的基准，决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域的尺寸；以及搜索单元，通过从所述第2帧图像的所述搜索领域中搜索所述物体，确定所述第2帧图像中的所述物体的位置。
在本发明中，通过考虑与鱼眼图像中的物体的位置对应的物体的外观(例如，面积)来决定搜索领域的尺寸这样的方法，能够高精度且高速地进行跟踪(追踪)处理。在由鱼眼相机以俯视追踪对象区域的方式进行摄影的情况下，依赖于与鱼眼相机的位置关系而物体的外观(拍摄方式)大程度地变化。关于物体的拍摄的大小，鱼眼图像的中心最大，越去向端部而变得越小。即，鱼眼图像具有依赖于以图像中心为基准的距离而物体的尺寸(例如，面积)发生变化(距离变得越远则尺寸变得越小)这样的特性。关于按鱼眼图像上的每个位置或者区域的物体的面积，也能够基于鱼眼相机的光学特性、鱼眼相机10与追踪对象区域的位置关系等，在几何学上进行计算(预测)。物体追踪装置考虑这样的鱼眼图像的特性，当对之后的帧的追踪对象进行追踪时决定搜索领域以使成为恰当的尺寸。此外，由于将鱼眼图像进行平面展开等的前处理是不需要的，因此，能够实现更高速的处理。
也可以是，所述尺寸的基准被设定成，越靠近鱼眼图像的中心的区域则尺寸变得越大。如上述那样，关于在鱼眼图像中物体的拍摄的大小，鱼眼图像的中心最大，越去向端部而变得越小。也可以考虑这样的特性来设定尺寸的基准。
也可以是，所述移动量的基准被设定成，越靠近鱼眼图像的中心的区域则移动量变得越大。如上述那样，鱼眼图像的中心的移动量大，随着去向鱼眼图像的端部而移动量变小。也可以考虑这样的特性来设定移动量的基准。
也可以是，所述决定单元基于第1帧图像中的所述物体的位置、与所述第1帧图像中的所述物体的位置对应的所述移动量相关的基准、以及所述物体的移动方向，决定所述第2帧图像中的搜索领域的位置。除了第1帧的图像中的物体的位置、以及与该位置对应的移动量相关的基准之外，还基于物体的移动方向，来决定搜索领域的位置，由此，能够更高精度且高速地进行跟踪处理。即，能够通过考虑移动方向来缩小搜索范围，因此，能够高速地进行搜索处理。此外，通过缩小搜索范围，例如能够降低追踪对象以外的物体被包含在搜索领域中的可能性，因此，能够高精度地进行搜索处理。
也可以是，所述存储单元按鱼眼图像上的每个位置或者区域，预先存储与图像的失真程度相关的基准，所述决定单元基于第1帧图像中的所述物体的位置、与所述第1帧图像中的所述物体的位置对应的所述移动量相关的基准、所述物体的移动方向、以及与所述第1帧图像中的所述物体的位置对应的所述失真程度相关的基准，决定所述第2帧图像中的搜索领域的位置。如上述那样，由于实际的鱼眼图像是失真的，因而例如当追踪对象在比鱼眼图像的中心更靠上方处在水平方向上移动的情况下，在鱼眼图像中追踪对象沿着向上画弧的曲线而移动。相反地，当追踪对象在比鱼眼图像的中心更靠下方处在水平方向上移动的情况下，在鱼眼图像中追踪对象沿着向下画弧的曲线而移动。因此，物体追踪装置通过根据鱼眼图像的失真而将搜索领域决定成恰当的位置，能够实现跟踪处理的高精度化以及高速化。
也可以是，所述决定单元基于所述第1帧图像中的所述物体的位置、所述第1帧图像之前的帧图像中的所述物体的位置、以及与所述移动量相关的基准，决定与所述物体的移动方向相同方向的所述搜索领域的位置；所述决定单元基于与所述物体的移动方向相同方向的所述搜索领域的位置、以及与所述失真程度相关的基准，决定与所述物体的移动方向正交的方向的所述搜索领域的位置。鱼眼图像的失真在相对于物体的移动方向而正交的方向上产生。因此，通过基于失真程度的基准来决定与物体的移动方向正交的方向的位置，能够高精度地决定搜索领域的位置。
本发明的第三侧面提供一种物体追踪方法，使用通过设置于追踪对象区域的上方的鱼眼相机得到的鱼眼图像，来追踪在所述追踪对象区域内存在的物体，其特征在于，具有：决定步骤，参照按鱼眼图像上的每个位置或者区域而预先存储与帧之间的所述物体的移动量相关的基准的存储单元，基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述移动量相关的基准，来决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域的位置；以及搜索步骤，通过从所述第2帧图像的所述搜索领域中搜索所述物体，确定所述第2帧图像中的所述物体的位置。
本发明的第四侧面提供一种物体追踪方法，使用通过设置于追踪对象区域的上方的鱼眼相机得到的鱼眼图像，追踪在所述追踪对象区域内存在的物体，其特征在于，具有:决定步骤，参照按鱼眼图像上的每个位置或者区域而预先存储与搜索领域的尺寸相关的基准的存储单元，基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述尺寸相关的基准，决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域的尺寸；以及搜索步骤，通过从所述第2帧图像的所述搜索领域中搜索所述物体，确定所述第2帧图像中的所述物体的位置。
本发明可以理解为具有上述手段的至少一部分的物体追踪装置，也可以理解为对追踪对象的物体进行识别或者检测的装置、或者图像处理装置、监视系统。此外，本发明也可以理解为包括上述处理的至少一部分的物体追踪方法、物体识别方法、物体检测方法、图像处理方法、监视方法。此外，本发明还能够理解为，用于实现该方法的程序、非暂时地记录了该程序的记录介质。另外，能够将上述手段以及处理的每一个尽可能地相互组合来构成本发明。
发明的效果
根据本发明，能够从鱼眼图像高速且高精度地追踪物体。
附图说明
图1是表示本发明所涉及的物体追踪装置的应用例的图。
图2是表示鱼眼图像和边界框的示例的图。
图3是表示具备物体追踪装置的监视系统的结构的图。
图4是物体追踪处理的流程图。
图5是搜索领域决定处理的流程图。
图6是表示移动量表格的示例的图。
图7是表示搜索领域的位置的示例的图。
图8是表示尺寸表格的示例的图。
图9是表示搜索领域的范围的示例的图。
图10A～图10F是表示基于以往方法的跟踪处理的示例的图。
图11A～图11F是表示基于本方法的跟踪处理的示例的图。
图12是表示鱼眼图像的失真程度的图。
具体实施方式
＜应用例＞
参照图1，说明本发明所涉及的物体追踪装置的应用例。物体追踪装置1是对通过在追踪对象区域11的上方(例如顶棚12等)设置的鱼眼相机10而取得的鱼眼图像进行解析，对在追踪对象区域11内存在的物体13(例如人等)进行追踪(跟踪)的装置。该物体追踪装置1例如进行在办公室、工厂等中在追踪对象区域11中通行的物体13的检测、识别、追踪等。在图1的示例中，从鱼眼图像1～3中利用矩形的边界框14来表示追踪对象的领域。边界框14是表示追踪对象的领域的封闭的图形或者框线，例如将追踪对象的领域围住的多边形、椭圆等用作边界框14。鱼眼图像1～3分别表示帧f[t-1]、帧f[t](第1帧图像)、帧f[t+1](第2帧图像)中的鱼眼图像。此外，在鱼眼图像3中，示出了帧f[t+1]中的搜索对象的领域即搜索领域15。搜索领域15基于t帧以前的结果来决定。物体追踪装置1的追踪结果被输出给外部装置，例如被用于人数的计数、照明或空调等各种设备的控制、可疑人员的监视等。
在利用鱼眼相机10以俯视的方式对追踪对象区域11进行摄影的情况下，依赖于与鱼眼相机10的位置关系而人体的外观(拍摄方式)会大程度地变化。因此，即使在追踪以固定的速度进行移动的追踪对象的情况下，也具有依赖于与鱼眼相机10的位置关系而鱼眼图像内的追踪对象的移动量不同这样的特性。即，鱼眼图像的中心的移动量大，随着去向鱼眼图像的端部而移动量变小。此外，具有根据与鱼眼相机10的位置关系而人体的大小不同这样的特性。物体追踪装置1在如下方面具有特征之一，该方面是：考虑这样的鱼眼图像的特性，当追踪下一帧的追踪对象时决定恰当的搜索领域，由此，实现追踪处理的高速化以及高精度化。此外，物体追踪装置1在如下方面还具有特征之一，该方面是：将鱼眼图像直接(也就是说，不进行平面展开、失真修正等前处理)用于物体追踪处理。
＜鱼眼图像的特性＞
图2表示从鱼眼相机10取入的鱼眼图像的示例。图像坐标系将鱼眼图像的左下角设为原点(0，0)，在横方向右侧取x轴、在纵方向上侧取y轴。
在以光轴铅垂向下的方式设置了鱼眼相机10的情况下，在鱼眼图像的中心表示针对存在于鱼眼相机10的正下方的人从头顶部进行观察而得的像。并且，随着去向鱼眼图像的端部而俯角变小，表示从斜上方观察人而得的像。此外，关于鱼眼图像中的人体，脚下位于图像的中心侧、头部位于图像的端侧，并且以与经过图像的中心的放射状的线大致平行的角度进行拍摄。此外，鱼眼图像的中心的失真比较小，然而随着去向鱼眼图像的端部而图像的失真变大。因此，即使追踪对象以固定的速度移动，鱼眼图像的帧之间的追踪对象的移动量也根据图像的位置而不同。
符号14a～14f表示以将鱼眼图像中的人体的领域围住的方式而配置的边界框。在本实施方式中，从图像处理的便宜性来看，使用由与x轴或者y轴平行的四边构成的矩形的边界框。
此外，如图2所示，关于人体的拍摄大小，鱼眼图像的中心最大，越去向端部而变得越小。即，鱼眼图像具有如下的特征：依赖于以图像中心为基准的距离而边界框的尺寸(例如，面积)发生变化(距离越远则尺寸越小)、关于鱼眼图像上的每个位置或者区域的边界框的面积，也可以基于鱼眼相机10的光学特性、鱼眼相机10与追踪对象区域11的位置关系、以及平均的人体尺寸，几何学地进行计算(预测)。
(实施方式1)
＜监视系统＞
参照图3，说明本发明的实施方式。图3是表示应用了本发明的实施方式所涉及的物体追踪装置的监视系统的结构的框图。监视系统2概略地具备鱼眼相机10和物体追踪装置1。
鱼眼相机10是具有包含鱼眼透镜的光学系统、以及摄像元件(CCD或CMOS等图像传感器)的摄像装置。例如如图1所示那样，鱼眼相机10可以在追踪对象区域11的顶棚12等处以使光轴铅垂向下的状态来设置，对追踪对象区域11的全方位(360度)的图像进行摄影。鱼眼相机10以有线(USB电缆、LAN电缆等)或者无线(WiFi等)方式与物体追踪装置1连接，被鱼眼相机10摄影到的图像数据被取入到物体追踪装置1。图像数据可以是单色图像、彩色图像的任意一者，此外图像数据的分辨率、帧速率、格式是任意的。在本实施方式中，设想了使用以10fps(每1秒10张)被取入的单色图像。
本实施方式的物体追踪装置1包含图像输入部20、搜索领域决定部21、搜索部22、人体检测部24、存储部26、输出部27等。
图像输入部20具有从鱼眼相机10取入图像数据的功能。所取入的图像数据被移交给搜索领域决定部21以及人体检测部24。该图像数据也可以被保存到存储部26。
搜索领域决定部21决定用于对追踪对象进行搜索的领域即搜索领域。搜索领域被用于对一度检测出的追踪对象进行搜索并跟踪。搜索部22具有使用在上述的搜索领域内对追踪对象物进行搜索的算法，从鱼眼图像搜索追踪对象的功能。跟踪词典23是登记有跟踪对象(追踪对象)的信息、特征量的词典。
人体检测部24具有使用对人体进行检测的算法，从鱼眼图像检测人体等的功能。人体检测词典25是预先登记有在鱼眼图像中表示的人体的图像特征的词典。
存储部26具有对鱼眼图像、追踪结果等进行存储的功能。输出部27具有将鱼眼图像、追踪结果等信息输出到外部装置的功能。例如，输出部27可以在作为外部装置的显示器中显示信息，也可以将信息转发到作为外部装置的计算机，也可以对作为外部装置的照明装置、空调或FA装置发送信息、控制信号。
物体追踪装置1例如能够通过具备CPU(处理器)、存储器、储存器等的计算机来构成。该情况下，图3中示出的结构可以通过将在储存器(storage)中保存的程序加载到存储器(memory)并由CPU来执行该程序，从而被实现。该计算机可以是个人计算机、服务器计算机、平板终端、智能手机那样的通用型计算机，也可以是机载计算机那样的嵌入式计算机。或者，可以将图3示出的结构的全部或者一部分利用ASIC、FPGA等而构成。或者，也可以将图3示出的结构的全部或者一部分通过云计算、分布式计算来实现。
＜物体追踪处理＞
图4是基于监视系统2的物体追踪处理的流程图。按照图4来说明物体追踪处理的整体流程。另外，图4的流程图示出了针对1帧的鱼眼图像的处理。在以10fps来输入鱼眼图像的情况下，图4的处理在1秒的期间被执行10次。
首先，图像输入部20从鱼眼相机10输入1帧的鱼眼图像(步骤S40)。
如在背景技术一栏中说明的那样，以往，在制作出对鱼眼图像的失真进行修正而得的平面展开图像之后，进行追踪、识别等图像处理，然而，在本实施方式的监视系统2中，将鱼眼图像直接(保持失真的状态)用于追踪、识别的处理。
接下来，物体追踪装置1判断是否存在正在跟踪的对象(称为跟踪对象。)(步骤S41)。这里，在当前帧之前存在追踪对象的情况下，判断为“存在跟踪对象”。当存在跟踪对象的情况下(S41-“是”)，搜索领域决定部21决定下一帧中的搜索领域(步骤S42)。决定搜索领域的处理的详情后文描述。然后，搜索部22在上述搜索领域中对追踪对象进行搜索，由此来进行跟踪(步骤S43)。
作为跟踪方法，例如能够使用基于帧之间的颜色特征、形状特征的相似度，来估计跟踪对象的领域的方法等。具体地，可以使用模板匹配、均值漂移(Mean-Shift)、粒子滤波器、SURF跟踪(SURF Tracking)等任意的算法。在本实施方式中，作为追踪对象，以人的全身作为对象，然而并不限于此，也可以以上半身等身体的一部分作为对象。然后，搜索部22判断是否发现了跟踪对象(步骤S44)。在发现了跟踪对象的情况下(S44-“是”)，搜索部22将跟踪结果保存到存储部26(步骤S45)。在未发现跟踪对象的情况下(S44-“否”)，将到此为止所跟踪的结果删除(步骤S46)。这里，未发现跟踪对象的情况例如列举跟踪对象移动到鱼眼相机的摄影范围以外的情况。
接下来，人体检测部24从鱼眼图像检测人体(步骤S47)。在鱼眼图像内存在多个人的情况下，多个人体被检测。此外，大多情况下，也存在检测到不是人体的物体(例如，风扇机、桌椅、衣帽架等形状、颜色与人体混淆的物体)的情况。检测结果中例如也可以包含表示被检测出的人体等的领域的边界框的信息。边界框的信息例如可以包含边界框的中心坐标(x，y)(相当于人体等的检测位置)、高度h、宽度w。检测结果被保存到存储部26。另外，在不存在跟踪对象的情况下(S41-“否”)，执行步骤S47以后的处理。
另外，在人体检测中可以使用任意的算法。例如，可以使用将HoG、Haar-like等图像特征和增强(boosting)进行组合而得的识别器，也可以使用基于深度学习(例如，R-CNN、Fast R-CNN、YOLO、SSD等)的人体识别。在本实施方式中，作为人体而检测人的全身，然而并不受限于此，也可以将上半身等身体的一部分作为检测对象。
接下来，物体追踪装置1将跟踪结果与检测结果进行合并(步骤S48)。合并的结果例如被保存于存储部26。作为在物体追踪装置1中进行检测处理的理由，是由于，当直到前一帧为止不是追踪对象的物体重新出现在鱼眼图像中的情况下，基于检测处理，按每个追踪对象而附加识别编号(ID)，并在下一帧的处理中设为跟踪对象。另外，步骤S47、S48的检测处理也可以并不按每一帧来进行，而是按每多个帧来进行。最后，输出部27将追踪结果等输出到外部装置(步骤S49)。到此，针对1帧的鱼眼图像的处理结束。
根据本实施方式的物体追踪处理，对鱼眼图像直接进行解析，并从鱼眼图像直接进行物体追踪。因此，能够省略鱼眼图像的平面展开、失真修正这样的前处理，能够进行高速的物体追踪处理。此外，在本实施方式中，通过根据与鱼眼相机的位置关系来决定搜索范围，能够实现高精度的跟踪。
＜搜索领域决定处理(S42)＞
说明基于搜索领域决定部21的决定搜索领域的处理的具体例。
图5是搜索领域决定处理的流程图。首先，搜索领域决定部21算出搜索领域的位置(步骤S50)。关于位置，例如能够设为搜索领域的中心坐标。然后，搜索领域决定部21算出搜索领域的尺寸(步骤S51)。最后，搜索领域决定部21基于上述的位置以及尺寸，来决定搜索领域(步骤S52)。对步骤50、S51的处理的详细进行说明。
(1)搜索领域的位置算出处理(S50)
如前述那样，鱼眼图像具有：依赖于距图像中心的距离，帧之间的追踪对象的移动量发生变化这样的特性。该特性能够通过计算而预先数值化。图6是将鱼眼图像分割成6×6的36个小区域，并计算每个小区域的移动量的基准值的示例。可以将定义了这样求出的每个小区域的移动量的基准值的表格，例如保存到存储部26。如图6所示那样，当考虑经过图像中心并与x轴以及y轴分别平行的A轴以及B轴时，移动量示出相对于A轴以及B轴而对称的变化。利用该对称性，例如可以在存储部26中保存一个象限的量的3×3的表格。由此，能够削减存储器容量。
基于图6所示的移动量表格、帧f[t-1]中的追踪对象的位置及帧f[t]中的追踪对象的位置，算出帧f[t+1]的追踪对象的预测位置(式1)。在本实施方式中，将该算出的追踪对象的预测位置设为搜索领域的位置。在式1中，(x，y)表示各帧中的追踪对象的位置。追踪对象的位置(x，y)例如可以设为边界框的中心坐标。此外，在式1中，α是基于上述的移动量表格的值。例如，在帧f[t]中的追踪对象的位置(x，y)是鱼眼图像的中心附近的情况下，α是1.5。
[数学式1]
(xt+1，yt+1)＝(xt，yt)+α×(xt-xt-1，yt-yt-1)···(1)
图7是表示使用上述的式1算出的搜索领域的位置(追踪对象的预测位置)的示例的图。在图7的示例中，按照帧f[t]的位置以及图6的移动量表格，α是1.4。越朝向鱼眼图像的中心则追踪对象的移动量变得越大，因此，如图7所示那样，以相比于帧f[t-1]与f[t]之间，帧f[t+1]与f[t]之间的移动量变大的方式，求取帧f[t+1]中的追踪对象的预测位置。
(2)搜索领域的尺寸算出处理(S51)
如前述那样，鱼眼图像具有依赖于距图像中心的距离，边界框的面积(尺寸)发生变化这样的特性。该特性能够通过计算而预先数值化。图8是将鱼眼图像分割成6×6的36个小区域，并计算每个小区域的面积(像素数)的示例。将定义了这样求出的每个小区域的尺寸(例如，面积)的基准值的表格保存到存储部26即可。如图8所示那样，尺寸的基准值示出相对于图像中心而对称的变化。利用该对称性，例如可以在存储部26中保存一个象限的量的3×3的表格。由此，能够削减存储器容量。
基于图8所示的尺寸表格、以及帧f[t]中的边界框的尺寸，算出帧f[t+1]中的搜索领域的尺寸(式2)。式2中，w、h分别表示与帧f[t]中的追踪对象对应的边界框的水平方向的尺寸、垂直方向的尺寸。此外，area_w、area_h分别表示帧f[t+1]中的搜索领域的水平方向的尺寸、垂直方向的尺寸。此外，在式2中，β是基于上述的尺寸表格的值。例如，在帧f[t]的坐标(x，y)是鱼眼图像的中心附近的情况下，β是3.0。另外，也可以还考虑帧f[t-1]的边界框的尺寸，与式1同样地求取搜索领域的尺寸。
[数学式2]
(area-wt+1，arga_ht+1)＝β×(wt，ht)···(2)
图9是表示使用上述的式2算出的搜索领域的尺寸的示例的图。在图9的示例中，根据帧f[t]的位置(例如，边界框的中心位置)以及图8的移动量表格，是2.5。越朝向鱼眼图像的中心则追踪对象的尺寸变得越大，因此，使帧f[t+1]的搜索领域的尺寸不断变大。另外，也可以根据通过上述的式1求出的帧f[t+1]中的位置以及图8的移动量表格，来决定β。
＜本实施方式的有利的效果＞
在本实施方式的监视系统中，在鱼眼相机的跟踪处理中，根据鱼眼图像的特性来决定搜索领域，由此，能够实现跟踪处理的高速化以及高精度化。
关于高精度化，示出示例。在以往方法中，针对鱼眼图像的中心附近的追踪对象(图10A)，不考虑移动量的增减。因此，存在下一帧中追踪对象出去到搜索领域15以外的担忧(图10B)。在本方法中，针对鱼眼图像的中心附近的追踪对象(图11A)，考虑移动量的增减，使搜索领域15的尺寸不断变大。因此，能够降低追踪对象出去到搜索领域15以外的可能性，并高精度地进行跟踪(图11B)。
关于高速化，示出示例。在以往方法中，针对远离鱼眼图像的中心的追踪对象(图10C)，不考虑尺寸的大小。因此，尽管在下一帧中与追踪对象对应的边界框的尺寸小，然而在设置了大的搜索领域15的情况下，处理成本变得高于必要以上(图10D)。在本方法中，针对远离鱼眼图像的中心的追踪对象(图11C)，将与位置对应的尺寸的搜索领域15作为对象来进行搜索处理(跟踪处理)。因此，能够高效率地进行搜索处理，能够实现处理的高速化(图11D)。
此外，示出了追踪对象存在多个的情况下的示例。在以往方法中，在鱼眼图像的接近的部位存在多个追踪对象的情况下(图10E)，在下一帧中多个追踪对象中的搜索领域15a以及搜索领域15b重叠，因此，存在追踪对象被调换的担忧(图10F)。在本方法中，即使在鱼眼图像的接近的部位存在多个追踪对象的情况下(图11E)，也考虑下一帧中的追踪对象的预测位置以及尺寸，来恰当地决定搜索领域。因此，能够降低追踪对象中的搜索领域发生重叠的可能性，并实现高精度化(图11F)。
(实施方式2)
在上述的实施方式1中，说明了求取在追踪对象直线状地移动的情况下，在鱼眼图像中也设为直线状地移动的搜索领域的位置的方法。然而，如使用图2所说明的，实际的鱼眼图像是失真的。因此，例如，当追踪对象在比鱼眼图像的中心更靠上方处在水平方向上移动的情况下，在鱼眼图像中追踪对象沿着向上画弧的曲线而移动。相反地，当追踪对象在比鱼眼图像的中心更靠下方处在水平方向上移动的情况下，在鱼眼图像中追踪对象沿着向下画弧的曲线而移动。因此，在实施方式2中，在算出上述的搜索领域的位置的处理(S50)中，根据鱼眼图像的失真来算出位置。另外，实施方式2中的监视系统的结构与实施方式1相同，因此说明省略。此外，关于实施方式2中的监视系统的处理，仅说明与实施方式2不同的处理，关于同样的处理，省略说明。
如前述那样，鱼眼图像具有依赖于距图像中心的距离而失真程度发生变化这样的特性。该特性能够通过计算而预先数值化。图12的实线是将鱼眼图像分割成6×6的36个小区域，并以2次函数来表示每个小区域的垂直方向的失真程度的示例。图12的虚线是以2次函数表示每个小区域的水平方向的失真程度的示例。
如图12所示那样，关于失真程度，在与移动方向正交的方向上越远离，则失真程度变得越大。可以将定义了这样求出的每个小区域的失真程度的基准的、垂直失真表格以及水平失真表格，例如保存到存储部26。该表格也能够理解为，定义了与追踪对象的移动方向正交的方向的失真程度的表格。实际上，在表格中可以保存与各小区域对应的p以及q的值(例如p1、q1)。另外，与实施方式1同样地，上述表格示出了相对于各轴而对称的变化。利用该对称性，例如可以在存储部26中保存一个象限的量的3×3的表格。由此，能够削减存储器容量。
另外，本实施方式的失真程度能够理解为与移动方向正交的方向的失真程度。具体地，关于与移动方向相同方向上的搜索领域的位置，与实施方式1同样地求取。并且，关于与移动方向正交的方向上的搜索领域的位置，也可以基于该移动方向上的搜索领域的位置、以及与失真程度相关的基准值，来决定。另外，使用与规定的方向正交的方向的失真程度的基准值，无论在物体在哪个方向上移动的情况下，均可以使用该基准值来决定搜索领域的位置。
基于上述的失真表格、和帧f[t-1]中的追踪对象的位置及帧f[t]中的追踪对象的位置，算出帧f[t+1]中的追踪对象的预测位置。当追踪对象在水平方向上移动的情况下，关于帧f[t+1]中的搜索领域的水平方向的位置x[t+1]，与实施方式1同样地求取。并且，关于帧f[t+1]中的搜索领域的垂直方向的位置y[t+1]，基于与小区域对应的函数来求取(式3)。此外，当追踪对象在垂直方向上移动的情况下，关于帧f[t+1]中的搜索领域的垂直方向的位置y[t+1]，与实施方式1同样地求取。并且，关于帧f[t+1]中的搜索领域的水平方向的位置x[t+1]，基于与小区域对应的函数来求取(式4)。在本处理中，作为示例使用了2次函数，然而，只要是能够考虑鱼眼图像的失真程度的函数即可。
[数学式3]
Figure BDA0003238522240000141
[数学式4]
Figure BDA0003238522240000142
(其他)
上述实施方式只不过对本发明的结构例进行了示例性说明。本发明并不受限于上述的具体方式，在其技术思想的范围内能够进行各种变形。例如，图6、图8中示出的表格的值、上述实施方式中示出的阈值等均是用于说明的示例。此外，在上述实施方式中例示了矩形的边界框，然而也可以使用矩形以外的方式(多边形、椭圆、自由图形等)的边界框。
此外，也可以基于当前帧中的物体的位置、移动量的基准值、以及物体的移动方向，来求取搜索领域的位置。另外，在上述的实施方式中，说明了基于当前帧中的物体的位置、以及当前帧之前的帧中的物体的位置来求取移动方向的示例，然而移动方向的求取方法并不受特别的限定。
也可以基于当前帧中的物体的位置、以及移动量的基准值，来求取搜索领域的位置。如上述那样，鱼眼图像的中心的移动量大，随着去向鱼眼图像的端部而移动量变小。这是由于，能够考虑这样的鱼眼图像的特性，来决定搜索领域，以使在追踪后面的帧的追踪对象时处于恰当的位置(也能够理解为范围)。
此外，在上述的实施方式中，说明了在搜索领域的决定中，使用与物体的位置对应的移动量相关的基准值以及与尺寸相关的基准值的示例，然而，也可以使用移动量的基准值、尺寸的基准值中的仅一者，来决定搜索领域。例如，在使搜索领域的尺寸固定的情况下，仅使用上述的移动量的基准值，来决定搜索领域。此外，例如，在使移动量固定的情况下，仅使用上述的尺寸的基准值来决定搜索领域。在仅使用尺寸的基准值来决定搜索领域的情况下的搜索领域的位置的决定方法使用各种方法即可。例如，可以基于帧f[t-1]与f[t]之间的追对象的移动量以及移动方向来求取，也可以将帧f[t]的追踪对象的位置用作搜索领域的位置。
此外，也可以基于纵横比的基准而使搜索领域的形状可变。这是因为，由于根据鱼眼图像上的位置而从鱼眼相机观察物体时的俯角、方位角是变化的，因此物体的纵横比发生变化。例如，纵横比的基准也可以被设定成，在鱼眼图像的中央区域以及相对于中央区域倾斜45度的区域中，搜索领域的形状成为大致正方形；在中央区域的上侧以及下侧的区域中，搜索领域的形状成为纵长的长方形；在所述中央区域的左侧以及右侧的区域中，搜索领域成为横长的长方形。
(附记1)
(1)一种物体追踪装置(1)，使用通过设置于追踪对象区域(11)的上方的鱼眼相机(10)得到的鱼眼图像，来追踪在所述追踪对象区域(11)内存在的物体(13)，其特征在于，具有：
存储单元(26)，按鱼眼图像上的每个位置或者区域，预先存储与帧之间的所述物体(13)的移动量相关的基准；
决定单元(21)，基于第1帧图像中的所述物体(13)的位置、以及与所述第1帧图像中的所述物体(13)的位置对应的所述移动量相关的基准，来决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域(15)的位置；以及
搜索单元(22)，通过从所述第2帧图像的所述搜索领域(15)中搜索所述物体(13)，确定所述第2帧图像中的所述物体(13)的位置。
(2)一种物体追踪装置(1)，使用通过设置于追踪对象区域(11)的上方的鱼眼相机(10)得到的鱼眼图像，追踪在所述追踪对象区域(11)内存在的物体(13)，其特征在于，具有：
存储单元(26)，按鱼眼图像上的每个位置或者区域，预先存储有与搜索领域(15)的尺寸相关的基准；
决定单元(21)，基于第1帧图像中的所述物体(13)的位置、以及与所述第1帧图像中的所述物体(13)的位置对应的所述尺寸相关的基准，决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域(15)的尺寸；以及
搜索单元(22)，通过从所述第2帧图像的所述搜索领域(15)中搜索所述物体(13)，确定所述第2帧图像中的所述物体(13)的位置。
(3)一种物体追踪方法，使用通过设置于追踪对象区域(11)的上方的鱼眼相机(10)得到的鱼眼图像，来追踪在所述追踪对象区域(11)内存在的物体(13)，其特征在于，具有：
决定步骤(S42)，参照按鱼眼图像上的每个位置或者区域而预先存储有与帧之间的所述物体(13)的移动量相关的基准的存储单元(26)，基于第1帧图像中的所述物体(13)的位置、以及与所述第1帧图像中的所述物体(13)的位置对应的所述移动量相关的基准，来决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域(15)的位置；以及
搜索步骤(S43)，通过从所述第2帧图像的所述搜索领域(15)中搜索所述物体(13)，确定所述第2帧图像中的所述物体(13)的位置。
(4)一种物体追踪方法，使用通过设置于追踪对象区域(11)的上方的鱼眼相机(10)得到的鱼眼图像，追踪在所述追踪对象区域(11)内存在的物体(13)，其特征在于，具有:
决定步骤(S42)，参照按鱼眼图像上的每个位置或者区域而预先存储有与搜索领域(15)的尺寸相关的基准的存储单元(26)，基于第1帧图像中的所述物体(13)的位置、以及与所述第1帧图像中的所述物体(13)的位置对应的所述尺寸相关的基准，决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域(15)的尺寸；以及
搜索步骤(S43)，通过从所述第2帧图像的所述搜索领域(15)中搜索所述物体(13)，确定所述第2帧图像中的所述物体(13)的位置。
符号说明
1：物体追踪装置
2：监视系统
10：鱼眼相机
11：追踪对象区域
12：顶棚
13：物体

Claims (11)

1.一种物体追踪装置，使用通过设置于追踪对象区域的上方的鱼眼相机得到的鱼眼图像，来追踪在所述追踪对象区域内存在的物体，其特征在于，具有：
存储单元，按鱼眼图像上的每个位置或者区域，预先存储与帧之间的所述物体的移动量相关的基准；
决定单元，基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述移动量相关的基准，来决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域的位置；以及
搜索单元，通过从所述第2帧图像的所述搜索领域中搜索所述物体，确定所述第2帧图像中的所述物体的位置。
2.根据权利要求1所述的物体追踪装置，其特征在于，
所述存储单元按鱼眼图像上的每个位置或者区域，预先存储与所述搜索领域的尺寸相关的基准，
所述决定单元基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述尺寸相关的基准，来决定所述第2帧图像中的所述搜索领域的尺寸。
3.一种物体追踪装置，使用通过设置于追踪对象区域的上方的鱼眼相机得到的鱼眼图像，来追踪在所述追踪对象区域内存在的物体，其特征在于，具有：
存储单元，按鱼眼图像上的每个位置或者区域，预先存储与搜索领域的尺寸相关的基准；
决定单元，基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述尺寸相关的基准，来决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域的尺寸；以及
搜索单元，通过从所述第2帧图像的所述搜索领域中搜索所述物体，确定所述第2帧图像中的所述物体的位置。
4.根据权利要求2或3所述的物体追踪装置，其特征在于，
所述尺寸的基准被设定成，越靠近鱼眼图像的中心的区域则尺寸变得越大。
5.根据权利要求1或2所述的物体追踪装置，其特征在于，
所述移动量的基准被设定成，越靠近鱼眼图像的中心的区域则移动量变得越大。
6.根据权利要求1、2和5中任一项所述的物体追踪装置，其特征在于，
所述决定单元基于第1帧图像中的所述物体的位置、与所述第1帧图像中的所述物体的位置对应的所述移动量相关的基准、以及所述物体的移动方向，决定所述第2帧图像中的搜索领域的位置。
7.根据权利要求1、2、5和6中任一项所述的物体追踪装置，其特征在于，
所述存储单元按鱼眼图像上的每个位置或者区域，预先存储与图像的失真程度相关的基准，
所述决定单元基于第1帧图像中的所述物体的位置、与所述第1帧图像中的所述物体的位置对应的所述移动量相关的基准、所述物体的移动方向、以及与所述第1帧图像中的所述物体的位置对应的所述失真程度相关的基准，来决定所述第2帧图像中的搜索领域的位置。
8.根据权利要求7所述的物体追踪装置，其特征在于，
所述决定单元基于所述第1帧图像中的所述物体的位置、所述第1帧图像之前的帧图像中的所述物体的位置、以及与所述移动量相关的基准，来决定与所述物体的移动方向相同方向的所述搜索领域的位置，
所述决定单元基于与所述物体的移动方向相同方向的所述搜索领域的位置、以及与所述失真程度相关的基准，来决定与所述物体的移动方向正交的方向的所述搜索领域的位置。
9.一种物体追踪方法，使用通过设置于追踪对象区域的上方的鱼眼相机得到的鱼眼图像，来追踪在所述追踪对象区域内存在的物体，其特征在于，具有：
决定步骤，参照按鱼眼图像上的每个位置或者区域而预先存储与帧之间的所述物体的移动量相关的基准的存储单元，基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述移动量相关的基准，来决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域的位置；以及
搜索步骤，通过从所述第2帧图像的所述搜索领域中搜索所述物体，确定所述第2帧图像中的所述物体的位置。
10.一种物体追踪方法，使用通过设置于追踪对象区域的上方的鱼眼相机得到的鱼眼图像，来追踪在所述追踪对象区域内存在的物体，其特征在于，具有:
决定步骤，参照按鱼眼图像上的每个位置或者区域而预先存储与搜索领域的尺寸相关的基准的存储单元，基于第1帧图像中的所述物体的位置、以及与所述第1帧图像中的所述物体的位置对应的所述尺寸相关的基准，来决定作为所述第1帧图像之后的图像的第2帧图像中的搜索领域的尺寸；以及
搜索步骤，通过从所述第2帧图像的所述搜索领域中搜索所述物体，确定所述第2帧图像中的所述物体的位置。
11.一种程序，用于使计算机执行权利要求9或10中记载的物体追踪方法的各步骤。
CN202080017837.0A 2019-03-11 2020-02-27 物体追踪装置以及物体追踪方法 Pending CN113508420A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019043759A JP7192582B2 (ja) 2019-03-11 2019-03-11 物体追跡装置および物体追跡方法
JP2019-043759 2019-03-11
PCT/JP2020/008147 WO2020184207A1 (ja) 2019-03-11 2020-02-27 物体追跡装置および物体追跡方法

Publications (1)

Publication Number Publication Date
CN113508420A true CN113508420A (zh) 2021-10-15

Family

ID=72427882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080017837.0A Pending CN113508420A (zh) 2019-03-11 2020-02-27 物体追踪装置以及物体追踪方法

Country Status (5)

Country Link
US (1) US11869199B2 (zh)
JP (1) JP7192582B2 (zh)
CN (1) CN113508420A (zh)
DE (1) DE112020001202T5 (zh)
WO (1) WO2020184207A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565730B (zh) * 2020-12-03 2023-07-25 阿波罗智联(北京)科技有限公司 路侧感知方法、装置、电子设备、存储介质及路侧设备
JP2023512359A (ja) * 2020-12-29 2023-03-27 商▲湯▼国▲際▼私人有限公司 関連対象検出方法、及び装置
JP7439784B2 (ja) * 2021-03-12 2024-02-28 オムロン株式会社 画像処理装置および画像処理方法
CN117296079A (zh) * 2021-05-13 2023-12-26 松下知识产权经营株式会社 物体探测装置以及方法
JP2022177651A (ja) * 2021-05-18 2022-12-01 オムロン株式会社 画像認識装置、画像認識装置の方法、および画像認識装置プログラム
CN113792670B (zh) * 2021-09-16 2023-03-10 中国电子科技集团公司第五十四研究所 一种自适应重构的高精度机载目标识别方法
US11963516B2 (en) * 2022-03-28 2024-04-23 Pumpkii Inc. System and method for tracking objects with a pet companion robot device
JP7365729B1 (ja) 2022-10-06 2023-10-20 株式会社アジラ 姿勢推定システム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2001333422A (ja) * 2000-05-19 2001-11-30 Matsushita Electric Ind Co Ltd 監視装置
JP2004362399A (ja) * 2003-06-06 2004-12-24 Nissan Motor Co Ltd 物体追跡装置
JP2008250746A (ja) * 2007-03-30 2008-10-16 Secom Co Ltd 移動物体追跡装置
CN102105904A (zh) * 2008-08-11 2011-06-22 欧姆龙株式会社 检测用信息登录装置、对象物体检测装置、电子设备、检测用信息登录装置的控制方法、对象物体检测装置的控制方法、检测用信息登录装置控制程序、对象物体检测装置控制程序
CN102194236A (zh) * 2010-03-15 2011-09-21 欧姆龙株式会社 对象物追踪装置、对象物追踪方法及控制程序
CN102714695A (zh) * 2010-11-11 2012-10-03 松下电器产业株式会社 图像处理装置、图像处理方法及程序
CN103309643A (zh) * 2012-03-14 2013-09-18 欧姆龙株式会社 图像处理器及图像处理方法
US20140193034A1 (en) * 2011-06-27 2014-07-10 Nec Corporation Object detection device, object detection method and object detection program
JP2017102708A (ja) * 2015-12-02 2017-06-08 日本放送協会 オブジェクト追跡装置及びそのプログラム
CN107791951A (zh) * 2016-08-31 2018-03-13 爱信精机株式会社 显示控制装置
JP2019036213A (ja) * 2017-08-18 2019-03-07 セコム株式会社 画像処理装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102783142B (zh) * 2010-03-04 2016-06-22 松下知识产权经营株式会社 图像显示装置和图像显示方法
JP2014042160A (ja) * 2012-08-22 2014-03-06 Ntt Docomo Inc 表示端末、動体検知の対象領域の設定方法及びプログラム
US9800780B2 (en) * 2013-05-16 2017-10-24 Sony Corporation Image processing device, image processing method, and program to capture an image using fisheye lens
JP2014225108A (ja) * 2013-05-16 2014-12-04 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR101657039B1 (ko) * 2013-08-28 2016-09-12 가부시키가이샤 리코 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템
US9405974B2 (en) * 2013-11-13 2016-08-02 Xerox Corporation System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments
JP6381353B2 (ja) 2014-08-08 2018-08-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
EP2988248B1 (en) * 2014-07-22 2019-09-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, information processing apparatus, information processing method, and program
WO2016164118A2 (en) * 2015-04-10 2016-10-13 Robert Bosch Gmbh Object position measurement with automotive camera using vehicle motion data
JP2016212784A (ja) * 2015-05-13 2016-12-15 株式会社リコー 画像処理装置、画像処理方法
US10277858B2 (en) * 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
JP6942940B2 (ja) * 2016-03-14 2021-09-29 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2017217411A1 (ja) * 2016-06-17 2017-12-21 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体
JP6938237B2 (ja) * 2017-06-21 2021-09-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2018235300A1 (ja) * 2017-06-23 2018-12-27 日本電気株式会社 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
CN107730438A (zh) * 2017-08-23 2018-02-23 广州市九安光电技术股份有限公司 一种基于鱼眼镜头的动态物体跟踪方法和系统
WO2019049331A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP6874850B2 (ja) * 2017-10-06 2021-05-19 日本電気株式会社 物体検知装置、物体検知方法、及びプログラム
JP6991045B2 (ja) * 2017-11-30 2022-01-12 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
JP7059054B2 (ja) * 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JPWO2019215979A1 (ja) * 2018-05-10 2021-05-27 ソニーグループ株式会社 画像処理装置、車載装置、画像処理方法及びプログラム
CN108717704B (zh) * 2018-05-15 2021-05-28 珠海全志科技股份有限公司 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
JP7028729B2 (ja) * 2018-06-22 2022-03-02 株式会社 日立産業制御ソリューションズ 物体追跡装置、物体追跡システム、および物体追跡方法
WO2020022373A1 (ja) * 2018-07-26 2020-01-30 日本電気株式会社 運転支援装置および運転支援方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2001333422A (ja) * 2000-05-19 2001-11-30 Matsushita Electric Ind Co Ltd 監視装置
JP2004362399A (ja) * 2003-06-06 2004-12-24 Nissan Motor Co Ltd 物体追跡装置
JP2008250746A (ja) * 2007-03-30 2008-10-16 Secom Co Ltd 移動物体追跡装置
CN102105904A (zh) * 2008-08-11 2011-06-22 欧姆龙株式会社 检测用信息登录装置、对象物体检测装置、电子设备、检测用信息登录装置的控制方法、对象物体检测装置的控制方法、检测用信息登录装置控制程序、对象物体检测装置控制程序
CN102194236A (zh) * 2010-03-15 2011-09-21 欧姆龙株式会社 对象物追踪装置、对象物追踪方法及控制程序
CN102714695A (zh) * 2010-11-11 2012-10-03 松下电器产业株式会社 图像处理装置、图像处理方法及程序
US20140193034A1 (en) * 2011-06-27 2014-07-10 Nec Corporation Object detection device, object detection method and object detection program
CN103309643A (zh) * 2012-03-14 2013-09-18 欧姆龙株式会社 图像处理器及图像处理方法
JP2017102708A (ja) * 2015-12-02 2017-06-08 日本放送協会 オブジェクト追跡装置及びそのプログラム
CN107791951A (zh) * 2016-08-31 2018-03-13 爱信精机株式会社 显示控制装置
JP2019036213A (ja) * 2017-08-18 2019-03-07 セコム株式会社 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙凯鹏;李新军;: "复杂背景下单个运动物体的实时视觉追踪算法", 北京航空航天大学学报, no. 03, pages 344 - 347 *

Also Published As

Publication number Publication date
WO2020184207A1 (ja) 2020-09-17
DE112020001202T5 (de) 2021-12-09
US11869199B2 (en) 2024-01-09
US20220172374A1 (en) 2022-06-02
JP7192582B2 (ja) 2022-12-20
JP2020149111A (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
CN113508420A (zh) 物体追踪装置以及物体追踪方法
US8811669B2 (en) Object tracking device
EP2704056A2 (en) Image processing apparatus, image processing method
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
CN113168694B (zh) 人检测装置以及人检测方法
CN113646803B (zh) 人检测装置以及人检测方法
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
JP5279517B2 (ja) 物体検知装置及び物体検知方法
CN108369739B (zh) 物体检测装置和物体检测方法
CN113168693B (zh) 人检测装置以及人检测方法
JP2018088049A (ja) 画像処理装置、画像処理方法、及びプログラム
US10068335B2 (en) Moving-object counter apparatus, moving-object counting method, and non-transitory computer readable medium
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
JP6296769B2 (ja) 物体検出装置
JP7338174B2 (ja) 物体検出装置および物体検出方法
WO2021140844A1 (ja) 人体検出装置および人体検出方法
CN115250329A (zh) 摄像头的控制方法、装置、计算机设备及存储介质
US20240071028A1 (en) Information processing device and information processing method
Sadeghi et al. Ocrapose ii: An ocr-based indoor positioning system using mobile phone images
JP6525693B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination