CN111524086B - 运动物体检测装置、运动物体检测方法、存储介质 - Google Patents

运动物体检测装置、运动物体检测方法、存储介质 Download PDF

Info

Publication number
CN111524086B
CN111524086B CN202010077731.1A CN202010077731A CN111524086B CN 111524086 B CN111524086 B CN 111524086B CN 202010077731 A CN202010077731 A CN 202010077731A CN 111524086 B CN111524086 B CN 111524086B
Authority
CN
China
Prior art keywords
image
moving object
target
candidate position
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010077731.1A
Other languages
English (en)
Other versions
CN111524086A (zh
Inventor
林建一
南部俊辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangsaibuto Stl Co ltd
Original Assignee
Qoncept Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qoncept Inc filed Critical Qoncept Inc
Publication of CN111524086A publication Critical patent/CN111524086A/zh
Application granted granted Critical
Publication of CN111524086B publication Critical patent/CN111524086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供运动物体检测装置、运动物体检测方法、存储介质。解决了如下课题：在使用图像数据的运动物体的追踪中，在色彩、形状等外观上明显的特征较少的作为目标的运动物体的从图像帧内的图像的检测中，在作为目标的运动物体的图像和背景图像的重叠较大且彼此的色彩相同或者接近等的情况下难以检测作为目标的运动物体。生成将作为目标的运动物体的模板图像和目标候补位置的周边的背景图像叠加而成的合成图像，基于对比合成图像和目标候补位置的周边的图像计算出的一致度来检测运动物体。

Description

运动物体检测装置、运动物体检测方法、存储介质
技术领域
本发明涉及运动物体检测装置、运动物体检测方法、存储介质。
背景技术
以往，已知有使用拍摄到的图像数据追踪运动物体的装置。在这些装置中，大多是着眼于色彩、形状等外观特征来检测作为目标的运动物体并追踪的装置(WO2012/127618)，但日本专利第6412998号公报记载了如下内容：即使在作为目标的运动物体中的外观上显眼的特征较少且图像帧内的图像存在多个与作为目标的运动物体相同的图像这样的情况下也要高精度地追踪运动物体的装置。在该发明中，色彩、形状等外观上显眼的特征较少的运动物体(例如，棒球、乒乓球等球等)难以进行取决于外观的特征的追踪。
另外，在色彩、形状等外观上显眼的特征较少的运动物体的从图像的检测中还如下述那样具有困难性。
例如，在从图像检测作为目标的运动物体时，作为目标的运动物体的图像和背景图像的重叠较大，并且彼此的色彩相同或接近的情况下难以检测作为目标的运动物体。例如，在从棒球、乒乓球等球技中的图像检测作为目标的运动物体即白球的情况下，在白球(作为目标的运动物体的图像)和白线(背景图像)的重叠较大的情况等，因为白球的色彩、形状等外观上显眼的特征较少，所以难以正确检测。
在上述那样的情况下，由于不能检测作为目标的运动物体而看丢，从而难以高精度地追踪运动物体。
发明内容
本发明要解决在使用图像数据的运动物体的追踪中，在色彩、形状等外观上显眼的特征较少的作为目标的运动物体的从图像帧内的图像的检测中的上述的课题。
本发明的运动物体检测装置是在使用图像数据的运动物体的追踪中从图像帧内的图像来检测作为目标的运动物体的运动物体检测装置，其特征在于，具备：候补位置预测部，检测作为目标的运动物体在上述图像帧内的一个或者多个候补位置；合成图像生成部，生成将作为目标的运动物体的模板图像(与作为目标的运动物体相当的物体的图像)和上述候补位置的周边的背景图像叠加而成的合成图像；一致度计算部，对比上述合成图像和上述候补位置的周边的图像来计算一致度；以及运动物体检测部，基于上述一致度从上述图像帧内的图像检测作为目标的运动物体。
本发明的运动物体检测装置能够还具备模板图像生成部，该模板图像生成部从图像帧内的图像生成一个或者多个模板图像并与成为模板图像的基础的物体(与作为目标的运动物体相当)的位置的信息一起保持。
在本发明的运动物体检测装置中，合成图像生成部能够将模板图像放大或者缩小到根据图像帧内的作为目标的运动物体的候补位置和成为模板图像的基础的物体的位置的信息计算出的适当的大小后，生成叠加候补位置的周边的背景图像而成的合成图像。
在本发明的运动物体检测装置中，合成图像生成部能够生成将成为模板图像的基础的物体的位置距离候补位置最近的模板图像和候补位置的周边的背景图像叠加而成的合成图像。
本发明的运动物体检测方法是在使用图像数据的运动物体的追踪中从图像帧内的图像检测作为目标的运动物体的运动物体检测方法，其特征在于，具备：候补位置预测步骤，检测作为目标的运动物体在上述图像帧内的一个或者多个候补位置；合成图像生成步骤，生成将作为目标的运动物体的模板图像和上述候补位置的周边的背景图像叠加而成的合成图像；一致度计算步骤，对比上述合成图像和上述候补位置的周边的图像计算一致度；以及运动物体检测步骤，基于上述一致度从上述图像帧内的图像检测作为目标的运动物体。
本发明的运动物体检测程序是使计算机发挥作用以便在使用图像数据的运动物体的追踪中从图像帧内的图像检测作为目标的运动物体的运动物体检测程序，其特征在于，使计算机执行：候补位置预测步骤，检测作为目标的运动物体在上述图像帧内的一个或者多个候补位置；合成图像生成步骤，生成将作为目标的运动物体的模板图像和上述候补位置的周边的背景图像叠加而成的合成图像；一致度计算步骤，对比上述合成图像和上述候补位置的周边的图像计算一致度；以及运动物体检测步骤，基于上述一致度从上述图像帧内的图像检测作为目标的运动物体。
发明效果
如以上所述，根据本发明，能够在解决上述的课题的同时在使用图像数据的运动物体的追踪中从图像帧内的图像检测作为目标的运动物体。
附图说明
图1是运动物体检测装置的框图。
图2是运动物体检测装置的硬件构成图。
图3是示意性地表示基于模板图像生成部的动作的模板图像的生成的图。
图4是示意性地表示目标图像帧中的图像的例子的图。
图5是示意性地表示目标图像帧中的图像的例子的图。
图6是表示运动物体检测装置的动作的流程图。
图7是示意性地表示候补位置预测部进行的处理的图。
图8是示意性地表示合成图像生成部所进行的处理的图。
图9是表示模板图像和加工模板图像之间的关系的图。
图10是示意性地表示一致度计算部所进行的处理的图。
具体实施方式
参照附图对本发明的实施方式进行说明。此外，省略重复的说明，在各附图中对相同或者相当的部分标注相同的附图标记。
本实施方式的运动物体检测装置是在使用图像数据的运动物体的追踪中从图像帧内的图像检测作为目标的运动物体的运动物体检测装置。本实施方式的运动物体检测装置适合用于例如棒球、乒乓球等球技中追踪球的动作这样的、高精度地追踪在规定的场内根据运动规则运动的色彩、形状等外观上显眼的特征较少的运动物体的装置中的作为目标的运动物体的检测。这仅是例示，并不限定仅应用于球技。
图1是运动物体检测装置1的框图。运动物体检测装置1不仅是单独构成为装置的形式，也可以是组装于使用图像数据的运动物体追踪装置等其他的装置而使用的形式。组装运动物体检测装置1的其他的装置例如也可以是智能手机、信息移动终端、数字照相机、游戏终端、电视机等电器产品。如图2所示，运动物体检测装置1在物理上构成为包括中央运算装置(CPU)201、输入装置202、输出装置203、主存储装置(RAM/ROM)204、辅助存储装置205的计算机。
运动物体检测装置1的各功能通过如下方式来实现：使图2所示的中央运算装置(CPU)201、主存储装置(RAM/ROM)204等读入使计算机发挥从图像帧内的图像检测作为目标的运动物体的功能的程序，通过中央运算装置(CPU)201的控制使输入装置202、输出装置203动作，并且与主存储装置(RAM/ROM)204、辅助存储装置205进行数据的读写。
如图1所示，运动物体检测装置1具备候补位置预测部101、合成图像生成部102、一致度计算部103、运动物体检测部104、以及模板图像生成部105。作为来自外部的输入，将由照相机等拍摄的多个图像或者动画作为连续的图像帧给予至运动物体检测装置1。另外，作为向外部的输出，运动物体检测装置1将作为目标检测的运动物体的图像帧中的坐标作为用于在图像帧中确定作为目标检测的运动物体的信息进行输出。此外，输出信息是能够在图像帧中确定出作为目标检测的运动物体的信息即可，并不局限于坐标。
这里，连续的图像帧是指2个图像帧之间不存在其它的图像帧的状态，必不一定需要图像帧编号连续。例如，即使2个图像帧连续，也存在图像帧编号不连续的情况等，是因为原本其间存在的图像帧已经进行过丢帧处理。另外，连续的图像帧既可以是时刻向前的连续的图像帧，也可以是时刻向后的连续的图像帧。进行沿着时间流的运动物体追踪的情况下为时刻向前的连续的图像帧，进行时间倒流的运动物体追踪的情况下为时刻向后的连续的图像帧。
候补位置预测部101预测作为目标的运动物体在图像帧内的一个或者多个候补位置。候补位置预测部101从与预测作为目标的运动物体的候补位置的图像帧(以下，为目标图像帧)连续的一个或者多个图像帧的信息，预测作为目标的运动物体在目标图像帧内的一个或者多个候补位置。
合成图像生成部102生成将模板图像和候补位置预测部101预测出的候补位置的周边的背景图像叠加而成的合成图像。作为目标的运动物体的模板图像在本实施方式中由模板图像生成部105生成，但在本发明中也可以取决于来自外部的输入，也可以预先给予至运动物体检测装置1。背景图像是指作为目标的运动物体未映入(未进入或未显示)的仅背景的图像。背景图像既可以从与目标图像帧连续的一个或者多个图像帧生成，也可以预先给予至运动物体检测装置1。周边是指以候补位置预测部101预测出的候补位置为中心的规定的范围，是指在一致度计算部103中能够计算一致度的程度的范围。
一致度计算部103对比合成图像生成部102生成的合成图像和候补位置预测部101预测出的候补位置的周边的图像而计算一致度。这里，周边的图像与周边的背景图像不同，是指周边存在作为目标的运动物体的情况下也包括该作为目标的运动物体的候补位置的周边的图像。一致度是指，根据合成图像生成部102生成的合成图像和候补位置预测部101预测出的候补位置的周边的图像这两者的像素的误差、相关系数等定量地求出的一致的程度。不管计算方法只要求出一致度即可。例如，有比较对各像素值的平方误差进行合计得到的值的SSD(Sum of Squared Difference：差平方和)法、比较各像素值的误差的绝对值的和的值的SAD(Sum of Absolute Difference：绝对差之和)法、比较各像素值的相关系数的NCC(Normalized Cross－Correlation：归一化互相关)法等。
运动物体检测部104基于一致度计算部103计算出的一致度从目标图像帧内的图像检测作为目标的运动物体。若检测一个作为目标的运动物体，则将基于一致度判定为最一致的运动物体作为目标检测。若针对作为目标的运动物体而检测出多个候补，则例如有从基于一致度判定为最一致的运动物体中按顺序提取一定数量作为目标的方法、基于一致度从提取不满足一定的条件的候补的目标中排除的方法等。
模板图像生成部105从图像帧内的图像生成一个或者多个模板图像并进行保持。图3是示意性地表示基于模板图像生成部105的动作对模板图像的生成的图。从输入到运动物体检测装置1的图像帧选择模板图像的生成所使用的图像帧31。图像帧31的选择除了作为目标的运动物体的图像清晰的图像帧这样的条件以外，还取决于作为目标的运动物体在与背景的关系中容易看丢的图像帧、根据日光或照明的照射情况而作为目标的运动物体的亮度不同的图像帧等条件。从图像帧31内的图像提取目标图像(这里是球的图像32)而生成模板图像33。例如，通过利用鼠标、触摸笔等从在计算机的画面上显示的图像帧31内的图像指示成为目标的图像32的外缘来将被外缘包围的部分的图像作为模板图像33等方法来生成模板图像33。
模板图像生成部105一并获取成为模板图像33的基础的作为目标的图像32的位置的信息并与模板图像33关联地进行保持。位置的信息取决于预先决定的图像帧内的坐标系。例如，若是棒球，则采取将地面的投手丘作为原点，将相对于地面朝向上方的垂直方向作为X轴，将从投手丘向本垒方向作为Y轴的二维坐标系，若是乒乓球，则采取将从乒乓球台的中心向下的垂线与地板面的交点作为原点，将乒乓球台的长边方向作为X轴，将乒乓球台的短边方向作为Y轴，将相对于乒乓球台朝向上方的垂直方向作为Z轴的三维坐标系。只要能够确定图像帧内的位置则不管是什么样的坐标系，所以并不局限于本实施方式的方法。
模板图像生成部105生成一个或者多个模板图像33。保持与各个模板图像33关联的位置的信息，所以通过生成多个模板图像33，能够应对由位置引起的差异(例如，作为目标的运动物体在阳光和阴影下的图像的亮度的差异等)。将在后面描述具体的方法。
此外，按照上述，在本发明中，模板图像既可以取决于来自外部的输入，也可以预先给予运动物体检测装置1。此时，也可以与模板图像33相同地关联有位置的信息。该情况下，不存在模板图像生成部105。
接下来，对本实施方式的运动物体检测装置1的动作进行说明。此外，考虑说明理解的容易性，以下，以检测球技中的白球的运动物体检测装置的动作为例进行说明。例如，棒球、乒乓球等。
这里，首先对在球技中检测白球的情况下的课题进行说明。按照上述，在球技中的图像中，在白球(作为目标的运动物体的图像)与白线(背景图像)的重叠较大的情况等，白球由于色彩、形状等外观上显眼的特征较少而检测较困难。
图4示意性地示出目标图像帧中的图像的例子。图4是白球(作为目标的运动物体的图像)和白线(背景图像)的重叠较大的情况的例子。在图4所示的目标图像帧中的图像中，球的中心坐标是P40。虚线表示球的外缘，但在实际的图像中，由于球和背景的线都是相同的白色，所以不能辨别白球的外缘。目标的检测方法是通过目标的形状上的特征检测的方法的情况下，即使目标的预测位置的坐标同样是P40也因为不能从图像辨别球的形状而不能作为目标检测。
图5是示意性地示出目标图像帧中的图像的例子(与图4不同的例子)。图5是白球的中心坐标为P50且球的外缘和白线不重叠的情况的例子。在目标的检测方法是通过目标的色彩、花纹等特征检测的方法的情况下，若目标的预测位置的坐标取P51则由于球和背景的线都是相同的白色，从而错误地检测为在预测位置的坐标即P51存在目标。
这样，在使用图像的运动物体的追踪中，色彩、形状等外观上显眼的特征较少的白球容易在跨竞技场的白线时看丢。运动物体检测装置1通过以下说明的动作解决这样的课题。
图6是表示本实施方式的运动物体检测装置1的动作的流程图。根据图6的流程图对运动物体检测装置1的动作进行说明。
运动物体检测装置1通过从外部输入用于进行目标图像帧的作为目标的运动物体的检测的信息而开始动作。动作的开始既可以是在输入后自动进行，也可以取决于明确的命令。
若运动物体检测装置1开始动作，则在S601的处理的开始前，模板图像生成部105生成模板图像(D611)。生成的方法按照上述。
在S601的处理中，候补位置预测部101进行从与目标图像帧连续的一个或者多个图像帧的信息，预测作为目标的运动物体在目标图像帧内的一个或者多个候补位置的处理，计算作为目标的运动物体的候补位置的坐标。坐标的计算按照上述取决于预先决定的图像帧内的坐标系。
图7是示意性地表示S601的处理的图。参照图7对候补位置预测部101根据与目标图像帧连续的一个或者多个图像帧的信息来预测作为目标的运动物体在目标图像帧内的一个或者多个候补位置的处理进行说明。此外，在本申请发明中，预测位置的求出方法并不局限于本实施方式的求出方法。
t0帧和t帧是连续的图像帧。Pn(t0)是t0帧中的作为目标的运动物体的候补的第n个。Vn(t0)是Pn(t0)的速度。Qn(t)是t帧中的作为目标的运动物体的预测候补的第n个，将Pn(t0)预测为成为基础的t帧中的位置。t帧中的Pn(t0)的预测位置作为Qn(t)＝Pn(t0)+Vn(t0)被求出。另外，t帧中的Pn(t0)的预测位置也可以设为Qn(t)＝Pn(t0)+Vn(t0)·(t-t0)。
另外，在求出t帧中的Pn(t0)的预测位置Qn(t)时，能够附加基于竞技的作为目标的运动物体的存在位置的条件。例如，在乒乓球中，将预测位置的Z坐标的值Qn(t).z取比乒乓球台的高度大的值作为条件等。
在S603的处理中，合成图像生成部102进行生成将作为目标的运动物体的模板图像(D611)和在S601的处理中预测出的候补位置的周边的背景图像叠加而成的合成图像的处理。作为目标的运动物体的模板图像(D611)由模板图像生成部105在S603的处理之前生成。在S601的处理中预测出多个目标图像帧内的作为目标的运动物体的候补位置的情况下，S603的处理对于全部的预测候补进行(S607)。
图8是示意性地表示S603的处理的图。参照图8，对合成图像生成部102生成将作为目标的运动物体的模板图像(D611)和在S601的处理中预测出的候补位置的周边的背景图像叠加而成的合成图像的处理进行说明。
在S603的处理中，首先，合成图像生成部102获取作为目标的运动物体的模板图像。33是作为目标的运动物体(白球)的模板图像。这里，将模板图像33中的球的半径的值设为Ra。
在S603的处理中，接下来，合成图像生成部102将获取到的作为目标的运动物体的模板图像33放大或者缩小到适当的大小以与在S601的处理中预测出的候补位置的周边的背景图像合成。81是放大或者缩小到用于与在S601的处理中预测出的候补位置的周边的背景图像合成的适当的大小后的作为目标的运动物体的模板图像。以下，称为加工模板图像。这里，将加工模板图像81中的球的半径的值设为Rb。在本实施例中，将模板图像33放大或者缩小到适当的大小是指将模板图像33纵横一起变为Rb/Ra倍来生成加工模板图像81。
图9是表示模板图像33与加工模板图像81之间的关系的图。将从进行拍摄的照相机91的位置到成为模板图像33的基础的物体(与作为目标的运动物体相当)的位置的距离设为La，将从进行拍摄的照相机91的位置到在S601的处理中预测出的候补位置的距离设为Lb。若La＜Lb则Ra＞Rb，若La＞Lb则Ra＜Rb。合成图像生成部102通过计算Rb来从模板图像33生成加工模板图像81。
Ra根据图像帧内的图像而被求出，La和Lb根据进行拍摄的照相机91的位置的坐标、成为模板图像33的基础的物体的位置的坐标以及S601的处理中预测出的候补位置的坐标而被计算出。从照相机91的位置看到的物体的外观的大小与从照相机91的位置起的距离成反比例，所以Rb通过下式由这些值导出。
Rb＝(La/Lb)·Ra
在S603的处理中，接下来，合成图像生成部102生成在S601的处理中预测出的候补位置的周边的背景图像。返回图8，82是在S601的处理中预测出的候补位置的背景图像的周边。图8中表示出白线。在本实施方式中，背景图像是一边为K·Rb(K是正的常数，K＞2)，对角线的交点的坐标为在S601的处理中预测出的候补位置Qn(t)的正方形。K的值被设定为在一致度计算处理(S605)中能够计算一致度的程度的范围。图8示出K＝6的例子。此外，背景图像的周边的定义被设定为在一致度计算处理(S605)中能够计算一致度的程度的范围即可，所以并不局限于本实施方式。
在S603的处理中，最后，合成图像生成部102以生成的周边的背景图像82的中心(对角线的交点)与作为目标的运动物体的加工模板图像81的中心一致的方式生成合成图像83。此外，图8中的合成图像83的虚线表示作为目标的运动物体的加工模板图像81的外缘，在合成图像中不表示。
在模板图像生成部105生成多个模板图像(D611)的情况下，在S603的处理中，合成图像生成部102生成将成为模板图像(D611)的基础的物体的位置距离候补位置最近的模板图像和候补位置的周边的背景图像叠加而成的合成图像。由此，能够应对由模板图像的位置引起的差异(例如，作为目标的运动物体在阳光和阴影下的图像的亮度的差异等)。
在S605的处理中，一致度计算部103进行对比S603的处理中生成的合成图像和S601的处理中预测出的候补位置的周边的图像来计算一致度的处理。在S601的处理中预测出多个目标图像帧内的作为目标的运动物体的候补位置的情况下，S605的处理对于全部的预测候补进行(S607)。
图10是示意性地表示S605的处理的图。参照图10对一致度计算部103对比在S603的处理中生成的合成图像和在S601的处理中预测出的候补位置的周边的图像计算一致度的处理进行说明。
在S605的处理中，一致度计算部103生成在S601的处理中预测出的候补位置的周边的图像。1001是目标图像帧(t帧)。1002是t帧1001中的在S601的处理中预测出的时刻t下的候补位置Qn(t)的周边的图像。一致度计算部103从t帧1001生成一边为KR(K是正的常数，K＞2)，对角线的交点的坐标为在S601的处理中预测出的时刻t下的候补位置Qn(t)的正方形作为周边的图像1002。
在S605的处理中，接下来，一致度计算部103对比在S603的处理中生成的合成图像83和在S601的处理中预测出的候补位置的周边的图像1002来计算一致度。一致度的计算通过比较对各像素值的平方误差进行合计得到的值的SSD(Sum of Squared Difference)法、比较各像素值的误差的绝对值的和的值的SAD(Sum of Absolute Difference)法、比较各像素值的相关系数的NCC(Normalized Cross－Correlation)法等进行。此外，只要能求出一致度，计算的方法并不局限于本实施方式的方法。
在S601的处理中预测出多个目标图像帧内的作为目标的运动物体的候补位置的情况下，S603以及S605的处理针对全部的预测候补而进行。S607是为此的递归处理。
在S609的处理中，运动物体检测部104基于在S605的处理中计算出的一致度而从目标图像帧内的图像检测作为目标的运动物体。若检测一个作为目标的运动物体，则将基于一致度判定为最一致的运动物体作为目标检测。若针对作为目标的运动物体而检测出多个候补，则从基于一致度判定为最一致的运动物体中按顺序提取一定数量的目标、或从基于一致度提取不满足恒定的条件的候补的目标排除。此外，针对作为目标的运动物体而检测出多个候补的方法并不局限于本实施方式的方法。
运动物体检测装置1在进行了目标图像帧的作为目标的运动物体的检测后，输出用于确定出作为目标检测的运动物体的目标图像帧中的坐标，结束一系列的处理。此外，输出信息是对于目标图像帧能够确定作为目标检测的运动物体的信息即可，并不局限于本实施方式。
接下来，对用于使计算机作为运动物体检测装置1发挥作用的运动物体检测程序进行说明。计算机的构成如图2所示。
运动物体检测程序具备主模块、输入输出模块以及运算处理模块。主模块是统一控制图像处理的部分。输入输出模块使计算机动作以使得在一系列的处理后输出目标图像帧中的坐标，以用于图像帧内的图像数据等输入信息的获取、确定出作为目标进行检测的运动物体。运算处理模块具备候补位置预测模块、合成图像生成模块、一致度计算模块以及运动物体检测模块。通过使主模块、输入模块以及运算处理模块执行而实现的功能分别与运动物体检测装置1的候补位置预测部101、合成图像生成部102、一致度计算部103、运动物体检测部104以及模板图像生成部105的功能相同。
运动物体检测程序例如由ROM等存储介质或者半导体存储器提供。另外，运动物体检测程序也可以经由网络提供。
以上，在本实施方式的运动物体检测装置1中，通过生成将作为目标的运动物体的模板图像和目标候补位置的周边的背景图像叠加而成的合成图像，并基于对比合成图像和目标候补位置的周边的图像计算出的一致度来检测运动物体，从而解决了在色彩、形状等外观上显眼的特征较少的作为目标的运动物体的从图像帧内的图像的检测中，在作为目标的运动物体的图像和背景图像的重叠较大，并且彼此的色彩相同或接近等情况下难以检测作为目标的运动物体这样的课题。

Claims (5)

1.一种运动物体检测装置，该运动物体检测装置在使用了图像数据的运动物体的追踪中从图像帧内的图像检测作为目标的运动物体，
其特征在于，
上述运动物体检测装置具备：
候补位置预测部，其预测作为目标的运动物体在上述图像帧内的一个或者多个候补位置；
合成图像生成部，其生成将作为目标的运动物体的模板图像和上述候补位置的周边的背景图像叠加而成的合成图像；
一致度计算部，其对比上述合成图像和上述候补位置的周边的图像来计算一致度；以及
运动物体检测部，其基于上述一致度从上述图像帧内的图像检测作为目标的运动物体，
上述合成图像生成部在将上述模板图像放大或者缩小到根据上述候补位置和成为上述模板图像的基础的物体的位置的信息而计算出的适当的大小后，生成叠加上述候补位置的周边的背景图像而成的合成图像。
2.根据权利要求1所述的运动物体检测装置，其特征在于，
上述运动物体检测装置还具备模板图像生成部，该模板图像生成部根据上述图像帧内的图像来生成一个或者多个上述模板图像，并将所生成的一个或多个上述模板图像与成为上述模板图像的基础的物体的位置的信息一起保持。
3.根据权利要求1或者2所述的运动物体检测装置，其特征在于，
上述合成图像生成部生成将成为上述基础的物体的位置距离上述候补位置最近的上述模板图像和上述候补位置的周边的背景图像叠加而成的合成图像。
4.一种运动物体检测方法，该运动物体检测方法在使用了图像数据的运动物体的追踪中从图像帧内的图像检测作为目标的运动物体，
其特征在于，
上述运动物体检测方法包括：
候补位置预测步骤，在该候补位置预测步骤中，检测作为目标的运动物体在上述图像帧内的一个或者多个候补位置；
合成图像生成步骤，在该合成图像生成步骤中，生成将作为目标的运动物体的模板图像和上述候补位置的周边的背景图像叠加而成的合成图像；
一致度计算步骤，在该一致度计算步骤中，对比上述合成图像和上述候补位置的周边的图像来计算一致度；以及
运动物体检测步骤，在该运动物体检测步骤中，基于上述一致度从上述图像帧内的图像检测作为目标的运动物体，
在上述合成图像生成步骤中，在将上述模板图像放大或者缩小到根据上述候补位置和成为上述模板图像的基础的物体的位置的信息而计算出的适当的大小后，生成叠加上述候补位置的周边的背景图像而成的合成图像。
5.一种存储介质，该存储介质存储有运动物体检测程序，该运动物体检测程序使计算机发挥作用以便在使用了图像数据的运动物体的追踪中从图像帧内的图像检测作为目标的运动物体，
其特征在于，
上述运动物体检测程序使计算机执行如下步骤：
候补位置预测步骤，在该候补位置预测步骤中，检测作为目标的运动物体在上述图像帧内的一个或者多个候补位置；
合成图像生成步骤，在该合成图像生成步骤中，生成将作为目标的运动物体的模板图像和上述候补位置的周边的背景图像叠加而成的合成图像；
一致度计算步骤，在该一致度计算步骤中，对比上述合成图像和上述候补位置的周边的图像来计算一致度；以及
运动物体检测步骤，在该运动物体检测步骤中，基于上述一致度从上述图像帧内的图像检测作为目标的运动物体，
在上述合成图像生成步骤中，在将上述模板图像放大或者缩小到根据上述候补位置和成为上述模板图像的基础的物体的位置的信息而计算出的适当的大小后，生成叠加上述候补位置的周边的背景图像而成的合成图像。
CN202010077731.1A 2019-02-04 2020-01-31 运动物体检测装置、运动物体检测方法、存储介质 Active CN111524086B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-017581 2019-02-04
JP2019017581A JP6579727B1 (ja) 2019-02-04 2019-02-04 動体検出装置、動体検出方法、動体検出プログラム

Publications (2)

Publication Number Publication Date
CN111524086A CN111524086A (zh) 2020-08-11
CN111524086B true CN111524086B (zh) 2023-10-20

Family

ID=68053558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010077731.1A Active CN111524086B (zh) 2019-02-04 2020-01-31 运动物体检测装置、运动物体检测方法、存储介质

Country Status (4)

Country Link
US (1) US11587240B2 (zh)
JP (1) JP6579727B1 (zh)
KR (1) KR102344227B1 (zh)
CN (1) CN111524086B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20220203166A1 (en) 2020-12-31 2022-06-30 Vrotein Inc. Putting guide system
GB2623766A (en) 2022-10-25 2024-05-01 State Of Play Hospitality Ltd Tracking system

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006649A (ja) * 2001-06-19 2003-01-10 Hitachi Kokusai Electric Inc 侵入物体追跡方法及び侵入物体監視装置
JP2004046501A (ja) * 2002-07-11 2004-02-12 Matsushita Electric Ind Co Ltd 移動物体検出方法及び移動物体検出装置
JP2005351812A (ja) * 2004-06-11 2005-12-22 Toshiba Corp 時系列画像処理装置、方法及びプログラム
CN101014975A (zh) * 2004-09-15 2007-08-08 松下电器产业株式会社 物体检测装置
JP2008250999A (ja) * 2007-03-08 2008-10-16 Omron Corp 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
CN101615296A (zh) * 2008-06-26 2009-12-30 索尼株式会社 追踪点检测设备和方法,程序及记录介质
JP2010021633A (ja) * 2008-07-08 2010-01-28 Nissan Motor Co Ltd 移動体検出装置及び移動体検出方法
CN102105904A (zh) * 2008-08-11 2011-06-22 欧姆龙株式会社 检测用信息登录装置、对象物体检测装置、电子设备、检测用信息登录装置的控制方法、对象物体检测装置的控制方法、检测用信息登录装置控制程序、对象物体检测装置控制程序
CN102196170A (zh) * 2010-02-04 2011-09-21 索尼公司 图像处理装置和方法及其程序
CN102239687A (zh) * 2009-10-07 2011-11-09 松下电器产业株式会社 追踪对象选择装置、方法、程序及其电路
CN102301720A (zh) * 2009-01-29 2011-12-28 松下电器产业株式会社 图像编码方法以及图像解码方法
CN102596050A (zh) * 2009-10-27 2012-07-18 株式会社日立医疗器械 超声波成像装置、超声波成像方法及超声波成像用程序
JP2012208887A (ja) * 2011-03-30 2012-10-25 Denso Corp 対象物追跡装置および対象物追跡システム
CN103003842A (zh) * 2011-03-22 2013-03-27 株式会社摩如富 运动物体检测装置、运动物体检测方法、运动物体检测程序、运动物体跟踪装置、运动物体跟踪方法以及运动物体跟踪程序
CN103906473A (zh) * 2011-10-28 2014-07-02 日立阿洛卡医疗株式会社 超声波成像装置、超声波成像方法以及超声波成像用程序
JP2015173720A (ja) * 2014-03-13 2015-10-05 コニカミノルタ株式会社 画像処理装置、およびプログラム
CN105210110A (zh) * 2013-02-01 2015-12-30 松下知识产权经营株式会社 美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序
JP2016134060A (ja) * 2015-01-21 2016-07-25 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP2016200977A (ja) * 2015-04-10 2016-12-01 日立オートモティブシステムズ株式会社 物体検出装置
JP2018088596A (ja) * 2016-11-28 2018-06-07 学校法人慶應義塾 情報処理システム、制御装置、検出装置、情報処理方法、制御方法、検出方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273500A (ja) * 2000-03-23 2001-10-05 Hitachi Ltd 運動物体計測装置および球技分析システムおよびデータサービスシステム
JP5488076B2 (ja) * 2010-03-15 2014-05-14 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
JP5759170B2 (ja) * 2010-12-27 2015-08-05 キヤノン株式会社 追尾装置およびその制御方法
JP6655878B2 (ja) * 2015-03-02 2020-03-04 キヤノン株式会社 画像認識方法及び装置、プログラム
JP6283008B2 (ja) * 2015-10-13 2018-02-21 セコム株式会社 追跡装置
CN108431800B (zh) 2015-12-17 2021-12-14 株式会社日立制作所 图像处理装置以及图像检索界面的显示方法
JP6412998B1 (ja) * 2017-09-29 2018-10-24 株式会社Ｑｏｎｃｅｐｔ 動体追跡装置、動体追跡方法、動体追跡プログラム

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006649A (ja) * 2001-06-19 2003-01-10 Hitachi Kokusai Electric Inc 侵入物体追跡方法及び侵入物体監視装置
JP2004046501A (ja) * 2002-07-11 2004-02-12 Matsushita Electric Ind Co Ltd 移動物体検出方法及び移動物体検出装置
JP2005351812A (ja) * 2004-06-11 2005-12-22 Toshiba Corp 時系列画像処理装置、方法及びプログラム
CN101014975A (zh) * 2004-09-15 2007-08-08 松下电器产业株式会社 物体检测装置
JP2008250999A (ja) * 2007-03-08 2008-10-16 Omron Corp 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
CN101615296A (zh) * 2008-06-26 2009-12-30 索尼株式会社 追踪点检测设备和方法,程序及记录介质
JP2010021633A (ja) * 2008-07-08 2010-01-28 Nissan Motor Co Ltd 移動体検出装置及び移動体検出方法
CN102105904A (zh) * 2008-08-11 2011-06-22 欧姆龙株式会社 检测用信息登录装置、对象物体检测装置、电子设备、检测用信息登录装置的控制方法、对象物体检测装置的控制方法、检测用信息登录装置控制程序、对象物体检测装置控制程序
CN102301720A (zh) * 2009-01-29 2011-12-28 松下电器产业株式会社 图像编码方法以及图像解码方法
CN102239687A (zh) * 2009-10-07 2011-11-09 松下电器产业株式会社 追踪对象选择装置、方法、程序及其电路
CN102596050A (zh) * 2009-10-27 2012-07-18 株式会社日立医疗器械 超声波成像装置、超声波成像方法及超声波成像用程序
CN102196170A (zh) * 2010-02-04 2011-09-21 索尼公司 图像处理装置和方法及其程序
CN103003842A (zh) * 2011-03-22 2013-03-27 株式会社摩如富 运动物体检测装置、运动物体检测方法、运动物体检测程序、运动物体跟踪装置、运动物体跟踪方法以及运动物体跟踪程序
JP2012208887A (ja) * 2011-03-30 2012-10-25 Denso Corp 対象物追跡装置および対象物追跡システム
CN103906473A (zh) * 2011-10-28 2014-07-02 日立阿洛卡医疗株式会社 超声波成像装置、超声波成像方法以及超声波成像用程序
CN105210110A (zh) * 2013-02-01 2015-12-30 松下知识产权经营株式会社 美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序
JP2015173720A (ja) * 2014-03-13 2015-10-05 コニカミノルタ株式会社 画像処理装置、およびプログラム
JP2016134060A (ja) * 2015-01-21 2016-07-25 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP2016200977A (ja) * 2015-04-10 2016-12-01 日立オートモティブシステムズ株式会社 物体検出装置
JP2018088596A (ja) * 2016-11-28 2018-06-07 学校法人慶應義塾 情報処理システム、制御装置、検出装置、情報処理方法、制御方法、検出方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Zhao, Y等.ALI-TM: A moving objects detection algorithm for infrared images with dynamic background.《Infrared Physics & Technology》.2018,第第93卷卷第205-212页. *
陈启超.监控视频摘要系统的设计与实现.《中国优秀硕士学位论文全文数据库 信息科技辑》.2017,(第undefined期),第I138-4841页. *

Also Published As

Publication number Publication date
JP6579727B1 (ja) 2019-09-25
CN111524086A (zh) 2020-08-11
KR102344227B1 (ko) 2021-12-27
US20200250839A1 (en) 2020-08-06
JP2020126383A (ja) 2020-08-20
KR20200096426A (ko) 2020-08-12
US11587240B2 (en) 2023-02-21

Similar Documents

Publication Publication Date Title
JP7004017B2 (ja) 物体追跡システム、物体追跡方法、プログラム
CN111524086B (zh) 运动物体检测装置、运动物体检测方法、存储介质
US8154616B2 (en) Data processing apparatus and method, and recording medium
CN102640185B (zh) 图像序列中对象实时表示的混合跟踪的方法和设备
US5930378A (en) Dynamic image processing apparatus and method
KR101457313B1 (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
US6714689B1 (en) Image synthesizing method
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
US11037325B2 (en) Information processing apparatus and method of controlling the same
KR101467663B1 (ko) 영상 모니터링 시스템에서 영상 제공 방법 및 시스템
US10572762B2 (en) Image processing method for performing pattern matching for detecting a position of a detection target
KR20180032400A (ko) 다중 카메라 영상의 객체 정보 기반 다중 객체 추적 장치 및 그 방법
JP2015212849A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2008009849A (ja) 人物追跡装置
US20230281927A1 (en) Three-dimensional point cloud densification device, three-dimensional point cloud densification method, and recording medium
KR20210046217A (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
CN109685062A (zh) 一种目标检测方法、装置、设备及存储介质
CN113362441A (zh) 三维重建方法、装置、计算机设备和存储介质
JP6613976B2 (ja) 撮影制御プログラム、撮影制御方法および撮影制御装置
CN111105351A (zh) 一种视频序列影像拼接方法及装置
KR101529820B1 (ko) 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치
US11989928B2 (en) Image processing system
EP3723365A1 (en) Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium
JP2017147689A (ja) 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム
KR20050063991A (ko) 영상 피라미드를 이용한 영상정합 처리방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 301 miyazaka building, No. 15, No. 19, Shibuya erdingmu, Shibuya District, Tokyo, 150-0002, Japan

Applicant after: Qoncept, Inc.

Address before: Tokyo, Japan

Applicant before: Qoncept, Inc.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Qoncept, Inc.

Address before: Tokyo, Japan

Applicant before: Guangsaibuto STL Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230221

Address after: Tokyo, Japan

Applicant after: Guangsaibuto STL Co.,Ltd.

Address before: 301 Miyazaka Building, No.19, Shibuya Erdingmu, Shibuya District, Tokyo 150-0002, Japan

Applicant before: Qoncept, Inc.

GR01 Patent grant
GR01 Patent grant