CN112598691A - 图像处理装置、图像处理方法和存储介质 - Google Patents

图像处理装置、图像处理方法和存储介质 Download PDF

Info

Publication number
CN112598691A
CN112598691A CN202011049848.5A CN202011049848A CN112598691A CN 112598691 A CN112598691 A CN 112598691A CN 202011049848 A CN202011049848 A CN 202011049848A CN 112598691 A CN112598691 A CN 112598691A
Authority
CN
China
Prior art keywords
region
foreground
processing apparatus
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011049848.5A
Other languages
English (en)
Inventor
伊藤秀宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112598691A publication Critical patent/CN112598691A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30228—Playing field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像处理装置、图像处理方法和存储介质。为了更适当地提取前景区域，用于从输入图像提取前景区域的图像处理装置包括：图像输入单元，其在输入图像中设置第一区域和与第一区域不同的第二区域；第一提取单元，其从第一区域提取前景区域；以及第二提取单元，其通过使用与第一提取单元使用的提取方法不同的提取方法从第二区域提取前景区域。

Description

图像处理装置、图像处理方法和存储介质
技术领域
本公开涉及一种用于从图像提取前景区域的技术。
背景技术
迄今为止，用于从图像提取前景区域的前景提取方法已经用于各种目的，并且至今已经提出了各种方法。例如，日本特开第2012-48484号公报中公开的技术首先通过使用背景差分技术提取包含运动的区域作为前景候选区域，然后通过使用特征量从前景候选区域中检测前景区域。同时，Hyeonwoo Noh、Seunghoon Hong和Bohyung Han的在2015年IEEE国际计算机视觉会议(ICCV)会议录第1520-1528页的“用于语义分割的学习反卷积网络”(以下称为非专利文献1)中公开的一种技术，例如，可以在组合使用卷积网络和反卷积网络的同时，根据基于机器学习结果的前景提取方法，来提取多个语义上不同的前景区域。这里，语义上不同的区域表示涉及不同类型的对象(例如人和球)的区域。
然而，在使用基于机器学习结果的背景差分技术和前景提取方法的情况下，将出现以下问题。具体地，背景差分技术检测输入图像之间的各像素的像素值的变化，并且通过使用变化落入预定阈值内的像素来生成背景图像。然后，将以提取前景区域为目标的输入图像与背景图像进行比较，并且像素值的差等于或大于预定阈值的各个像素被提取作为前景区域。根据该方法，几乎不移动的静止对象被拍摄在背景图像中，并且不可能提取存在静止对象的区域作为前景区域。例如，在足球比赛中，可以提取存在诸如运动员和球等运动对象的区域作为前景区域，但是无法提取存在诸如角旗和包括球门网的球门等静止对象的区域作为前景区域。另一方面，使用机器学习结果的前景提取方法导致处理负荷的增加。
发明内容
鉴于前述问题而作出了本公开。本公开的目的是更适当地提取前景区域。
根据本公开的一方面的图像处理装置包括：设置单元，其设置输入图像中的第一区域和不同于第一区域的第二区域；第一提取单元，其从第一区域中提取前景区域，以及第二提取单元，其通过使用与第一提取单元所使用的提取方法不同的提取方法从第二区域中提取前景区域。
根据参照附图对示例性实施例的下面描述，本公开的另外的特征将变得清楚。
附图说明
图1是根据第一实施例的图像处理装置的功能构造图；
图2是示出根据第一实施例的图像处理装置的应用示例的图；
图3是根据第一实施例的前景提取处理的流程图；
图4A是示出根据第一实施例的仅存在静止对象的输入图像的示例的图；
图4B是示出根据第一实施例的仅存在静止对象的输入图像的另一示例的图；
图5A是示出根据第一实施例的区域信息的示例的图；
图5B是示出根据第一实施例的区域信息的另一示例的图；
图6A是示出根据第一实施例的存在运动对象和静止对象的输入图像的示例的图；
图6B是示出根据第一实施例的存在运动对象和静止对象的输入图像的另一示例的图；
图7A是示出由根据第一实施例的第一前景区域提取单元处理的图像的示例的图；
图7B是示出由根据第一实施例的第一前景区域提取单元处理的图像的另一示例的图；
图8A是示出由根据第一实施例的第二前景区域提取单元处理的图像的示例的图；
图8B是示出由根据第一实施例的第二前景区域提取单元处理的图像的另一示例的图；
图9A是示出根据第一实施例的第一前景区域的提取结果的示例的图；
图9B是示出根据第一实施例的第一前景区域的提取结果的另一示例的图；
图10A是示出根据第一实施例的第二前景区域的提取结果的示例的图；
图10B是示出根据第一实施例的第二前景区域的提取结果的另一示例的图；
图11是根据第二实施例的图像处理装置的构造图；
图12是示出根据第二实施例的图像处理装置的应用示例的图；
图13是根据第二实施例的前景提取处理的流程图；
图14A是示出根据第二实施例的仅存在静止对象的输入图像的示例的图；
图14B是示出根据第二实施例的仅存在静止对象的输入图像的另一示例的图；
图15A是示出根据第二实施例的区域信息的示例的图；
图15B是示出根据第二实施例的区域信息的另一示例的图；
图16A是示出根据第二实施例的存在运动对象和静止对象的输入图像的示例的图；
图16B是示出根据第二实施例的存在运动对象和静止对象的输入图像的另一示例的图；以及
图17是根据第一和第二实施例的信息处理装置的硬件构造图。
具体实施方式
在下文中，参照附图，根据优选实施例详细解释本公开。以下实施例中所示的构造仅仅是示例性的，并且本发明不限于示意性示出的构造。
尽管将在以下实施例的描述中示出和解释将本公开应用于足球比赛的示例，但是要注意，本公开不仅仅限于该示例。本公开适用于包含运动对象(例如，运动员(人)和球)以及静止对象(例如，足球门和角旗)在一起的任何图像。这里，运动对象可以包括运动员(人)和球中的至少一种，而静止对象可以包括在足球比赛中使用的足球门和角旗中的至少一种。同时，在这些实施例中的静止对象仅可以是在以固定角度安装在固定位置的摄像装置连续拍摄其图像的情况下不改变其位置的静止对象。例如，静止对象可以被定义为安装在预定位置处的对象。此外，至少这样的静止对象可以被安装在作为运动对象的人进行运动的场地上。在室内工作室等中发生拍摄场景的情况下，可以将家具和物件视为静止对象。
在以下实施例中，由带有不同字母后缀的相同附图标记表示的术语指示具有相同功能的不同实例。例如，照相机202A和照相机202b表示具有相同功能的不同实例。
[第一实施例]
第一实施例将描述一个示例，在该示例中，要应用基于机器学习结果的前景提取方法的在输入图像中的区域限于包含静止对象的区域，并且将背景差分技术应用于其余区域。以这种方式，可以在抑制归因于使用基于机器学习结果的前景提取方法的计算处理的处理负荷增加的同时，将静止对象作为前景区域与其中的运动对象一起提取。
图1示出了根据第一实施例的图像处理装置100的功能构造图。图像处理装置100通过使用作为用于提取前景区域的目标的输入图像105并且使用指示要应用于输入图像105中的各个局部区域的前景区域提取单元的区域信息106共同作为输入，来输出第一前景区域图像107和第二前景区域图像108。
图像输入单元101接收输入图像105并将输入图像105输入到图像处理装置100。输入图像105可以通过SDI缆线从诸如照相机的摄像装置输入，或者可以输入通过诸如USB接口和PCIe接口等接口以图像数据的形式输入。
区域信息设置单元102接收并存储区域信息106。区域信息106是用户预先为以固定角度安装在固定位置处的各个摄像装置指定的信息，并且包含关于哪个前景区域提取单元要应用于输入图像105中的哪个区域的信息。例如，在输入图像中，区域信息106可以使用二进制值“0”或“1”来指示两个前景区域提取单元中的哪一个将应用于各个区域。换句话说，区域信息106可以根据以固定角度安装在固定位置处的各摄像装置拍摄的图像来指定要应用各个前景区域提取单元的区域的位置。稍后将参考图像处理装置100的操作示例来讨论更多细节。区域信息106被输出到图像输入单元101。图像输入单元101基于区域信息106将输入图像105中的各个局部区域分配给第一前景区域提取单元103和第二前景区域提取单元104中的任何一个。
关于由图像输入单元101分配的局部区域，第一前景区域提取单元103和第二前景区域提取单元104在使用彼此不同的前景提取方法的同时生成前景区域图像，各个前景区域图像指示存在前景的区域。第一前景区域提取单元103和第二前景区域提取单元104输出作为由相应提取单元生成的前景区域图像的第一前景区域图像107和第二前景区域图像108。例如，各个前景区域图像可以被形成为剪影图像，其中，前景用白色剪影表示，而背景用黑色表示。
图2是示出根据第一实施例的图像处理装置100的应用示例200的图。在应用示例200中存在围绕前景提取目标场地201(其是足球场地)部署的照相机202A至202L以及连接到相应照相机的图像处理装置100A至100L。利用各个照相机202拍摄前景提取目标场地201，并且将拍摄结果作为输入图像105输入到对应的图像处理装置100。各图像处理装置100生成表示从输入图像105提取前景区域的结果的前景区域图像。例如，所生成的前景区域图像可用于从其剪影信息和纹理信息生成三维模型，并从三维空间中的任意虚拟视点生成虚拟视点图像。
接下来，将参照图3至图9B描述根据第一实施例的图像处理装置100的操作示例。在该操作示例的描述中，由图2中的照相机202B和照相机202D拍摄的图像将用作输入图像。在场地上没有任何运动员或球的状态下的相应输入图像变成图4A的输入图像401和图4B的输入图像402。输入图像401和输入图像402包括场地403、球门A404和球门B 405。
同时，在本实施例中，第一前景区域提取单元103通过使用根据非专利文献1中公开的机器学习的方法来提取前景区域，而第二前景区域提取单元104通过使用根据背景差分技术的方法来提取前景区域。非专利文献1公开了可以输出前景区域信息，该前景区域信息将彼此不同的区域分配给包含人和非人的输入图像。本实施例使用通过学习获得的方法，除了能够检测作为静止对象的足球门和角旗之外，还能够将作为运动对象的运动员和球检测为前景区域。
现在，将描述第一前景区域提取单元103的学习。第一前景区域提取单元103由例如包括输入层、中间层和输出层的卷积神经网络构成。而且，获得了响应于输入到神经网络的输入层的输入数据而从神经网络的输出层输出的输出数据与示教数据之间的差。来自神经网络的输出数据与教学数据之间的差可以通过使用损失函数来计算。这里，输入数据是包含静止对象、运动对象和诸如背景的其他数据的图像。同时，示教数据是仅包含表示正确答案的静止对象和运动对象的图像。
关于上述差，以减小该差的方式来更新神经网络中的节点之间的耦合权重系数和其他参数。例如，通过使用反向传播方法来更新耦合权重系数等。反向传播方法是一种调整各个神经网络中的节点之间的耦合权重系数以及其他参数以减小上述差的方法。
这里，这种学习算法的具体示例包括最近邻居算法、朴素贝叶斯算法、决策树算法、支持向量机算法等。另一个示例是深度学习，它可以自己生成耦合权重系数。在这些算法中，可以将可用的算法适当地应用于本实施例。
图3示出了根据第一实施例的前景提取处理的流程图。根据该流程图所示的操作，图像处理装置100接收多个帧的输入图像105，执行前景提取处理，并生成前景区域图像。注意，通过使图像处理装置100中的CPU将存储在ROM或HDD中的控制程序加载到RAM上并执行该程序来执行流程图中所示的一系列处理。或者，可以通过诸如ASIC和电子电路等硬件来实现流程图上的步骤中的所有功能或部分功能。同时，流程图描述中的符号“S”表示流程图中的步骤。这同样适用于其他流程图。
在S301中，区域信息设置单元102接收区域信息106，并针对相应前景区域提取单元进行对应用区域的设置。在本操作示例中与照相机202B相对应的图像处理装置100B接收图5A所示的区域信息501作为区域信息106。同时，在本操作示例中与照相机202D相对应的图像处理装置100D接收图5B所示的区域信息502作为区域信息106。区域信息501包括第一处理区域503，其应用基于机器学习结果的前景提取方法，而区域信息502包括第一处理区域504，其同样应用基于机器学习结果的前景提取方法。在区域信息501和502中，可以通过使用二进制值“0”和“1”来表示第一处理区域503和504以及其余区域。第一处理区域503和504可以由值“1”来指定，并且被定义为要应用第一前景区域提取单元103的区域。同时，除第一处理区域503和504之外的区域可以由值“0”来指定，并且被定义为要应用第二前景区域提取单元104的区域。因此，可以通过使用区域信息106指定要应用相应前景区域提取单元的区域的位置，来不同地使用相应前景区域提取单元。如上所述，本实施例的第一前景区域提取单元103已经学会了能够提取作为静止对象的足球门和角旗。通过如第一处理区域503和504的情况那样将应用基于机器学习结果的前景提取方法的局部区域设置为包括足球门，可以提取在这些区域中的各个区域中所包括的足球门作为前景。同时，本实施例的第一前景区域提取单元103还可以提取作为运动对象的运动员和球。由于此原因，甚至从在运动员和球进入第一处理区域503和504的状态下的输入图像，提取运动员和球作为前景区域。在本实施例中，通过将作为应用基于机器学习结果的前景提取方法的区域的第一处理区域503和504限制为如图5A和图5B所示的包括静止对象的区域，可以抑制计算处理负荷的增加。这里，由于静止对象的位置不变，因此在以固定角度安装在固定位置处的摄像装置连续拍摄图像的情况下，可以在每帧中固定要指定为第一处理区域的各个区域。
在S302中，图像输入单元101输入作为前景区域检测目标的输入图像105。图6A示出了在场地上存在运动员和球的特定帧中输入到图像处理装置100B的输入图像601。图6B示出了在场地上存在运动员和球的该特定帧中输入到图像处理装置100D的输入图像602。在输入图像601和输入图像602中的各个输入图像中存在球603、运动员A 604、运动员B605、运动员C 606和运动员D 607。
在S303中，图像输入单元101基于设置的区域信息106，将输入图像105分配给第一前景区域提取单元103和第二前景区域提取单元104。在输入图像105中，第一处理区域503和504中的图像被输出到第一前景区域提取单元103，而其余区域中的图像被输出到第二前景区域提取单元104。图7A示出了图像处理装置100B中的第一前景区域提取单元103要处理的图像701。图7B示出了图像处理装置100D中的第一前景区域提取单元103要处理的图像702。同时，图8A示出了图像处理装置100B中的第二前景区域提取单元104要处理的图像801。图8B示出了图像处理装置100D中的第二前景区域提取单元104要处理的图像802。
在S304中，图像处理装置100B和100D的第一前景区域提取单元103分别从图像701和702提取前景区域。第一前景区域提取单元103对图像701和702进行基于机器学习结果的前景提取处理，并且分别生成图9A所示的第一前景提取结果901和图9B所示的第一前景提取结果902作为第一前景区域图像107。除了作为静止对象的球门A 404和球门B 405之外，第一前景提取结果901还包括作为运动对象的球603、运动员A 604和运动员D 607。除了作为静止对象的球门A 404和球门B 405之外，第一前景提取结果902还包括作为运动对象的球603。
在S305中，图像处理装置100B和100D的第二前景区域提取单元104分别从图像801和802提取前景区域。图像801和802表示第一区域503和504之外的图像。第二前景区域提取单元104根据背景差分技术对图像801和802进行前景提取处理，并分别生成图10A所示的第二前景提取结果1001和图10B所示的第二前景提取结果1002作为第二前景区域图像。第二前景提取结果1001包括作为运动对象的运动员B 605和运动员C 606。第二前景提取结果1002包括作为运动对象的运动员A 604、运动员B 605、运动员C 606和运动员D 607。尽管在本实施例中由第二前景区域提取单元104处理的区域不包括球，但是在由第二前景区域提取单元104处理的区域中包括球的情况下，还可以根据背景差分技术将作为运动对象的球提取为前景区域。
S304和S305的前景提取处理的顺序并不仅仅限于上述顺序。具体地，可以首先执行S305，或者可以并行执行S304和S305。
在S306中，图像输入单元101确定是否存在后续帧的输入图像。在存在后续帧的输入图像的情况下，处理返回到S302并继续。如果没有后续帧，则处理终止。
这里，还可以将第一前景区域图像107和第二前景区域图像108组合成单个前景区域图像。
如上所述，根据第一实施例的图像处理装置100可以在减小应用需要较高处理负荷的前景区域提取方法的区域并因此抑制了处理负荷的增加的同时，对包括作为前景的提取目标静止对象的输入图像进行前景提取处理。换句话说，该图像处理装置100可以从输入图像中提取静止对象作为前景区域，并且同时抑制前景提取处理中的处理负荷的增加。
[第二实施例]
第二实施例将描述一种方法，其中，在将观众台和观众包括在4A和图4B所示的输入图像中的情况下，从前景提取的处理目标中排除不是前景区域的提取目标的观众台和观众。
图11示出了根据第二实施例的图像处理装置1100的功能构造图。用与第一实施例的图1中的附图标记相同的附图标记表示的图11中的框具有与第一实施例的操作相同的操作，并且将省略其解释。
图像输入单元1101接收作为前景区域的提取目标的输入图像105，并且将输入图像105输入到图像处理装置1100。
区域信息设置单元1102接收区域信息1103。与第一实施例的区域信息106一样，区域信息1103包含关于哪个前景区域提取单元将被应用于输入图像105中的哪个区域的信息。区域信息1103还包含关于不应用前景区域提取单元的区域的信息，换句话说，不进行前景提取处理的区域的信息。稍后将结合图像处理装置1100的操作示例来描述更多细节。区域信息1103被输出到图像输入单元1101。图像输入单元1101基于区域信息1103将输入图像105中的局部区域输出到第一前景区域提取单元103，并且将输入图像105中的另一局部区域输出到第二前景区域提取单元104。图像输入单元1101不输出上述局部区域中未包括的区域。
图12是示出根据第二实施例的图像处理装置1100的应用示例1200的图。在应用示例1200中存在部署在前景提取目标场地201(其是足球场地)的周围的照相机202A至202L以及连接到相应照相机的图像处理装置1100A至1100L。用各个照相机202拍摄前景提取目标场地201，并且将拍摄结果作为输入图像105输入到对应的图像处理装置1100。各个图像处理装置1100生成表示从输入图像105提取的结果的前景区域图像。
接下来，将参照图13至图16B描述根据第二实施例的图像处理装置1100的操作示例。在该操作示例的描述中，由图12中的照相机202B和照相机202D拍摄的图像，与第一实施例中的图像相同，将用作输入图像。在不包含任何人(运动员，观众等)或球的状态下的相应输入图像变成图14A的输入图像1401与图14B的输入图像1402。除了第一实施例中示出的场地403、球门A 404和球门B 405之外，输入图像1401还包括观众台A 1403和观众台B 1404。除了第一实施例中所示的场地403、球门A 404和球门B 405之外，输入图像1402还包括观众台A 1403。
同时，同样在第二实施例中，与第一实施例一样，第一前景区域提取单元103通过使用根据机器学习的方法来提取前景区域，而第二前景区域提取单元104通过使用根据背景差分技术的方法来提取前景区域。
图13示出了根据第二实施例的前景提取处理的流程图。在图13中，用与第一实施例的图3中的附图标记相同的附图标记表示的步骤表示与第一实施例中的操作相同的操作，并且将省略其解释。
在S1301中，区域信息设置单元1102接收区域信息1103，并针对相应前景区域提取单元进行应用区域的设置。在本操作示例中与照相机202B相对应的图像处理装置1100B接收图15A所示的区域信息1501作为区域信息1103。同时，在本操作示例中与照相机202D相对应的图像处理装置1100D接收图15B所示的区域信息1502作为区域信息1103。区域信息1501包括第一处理区域503和第二处理区域1503，而区域信息1502包括第一处理区域504和第二处理区域1504。第一处理区域503和504是应用基于机器学习结果的前景提取方法的区域(即，第一前景区域提取单元103)。第二处理区域1503和1504是应用根据背景差分技术的前景提取方法的区域(即，第二前景区域提取单元104)。未包括在第一处理区域503和504或第二处理区域1503和1504中的区域不进行前景提取处理。在第二实施例中，观众台A 1403和观众台B 1404不包括在任何前景提取处理区域中。
本实施例的区域信息1103可以通过使用两条图像信息来表示。一条信息是指示是否对该区域进行前景提取处理的第一图像信息，另一条信息是指示将哪个前景区域提取单元应用于要进行前景提取处理的区域的第二图像信息。例如，可以通过使用二进制值“0”和“1”来表示这些图像信息中的各条信息。这里，在第二图像信息中，可以通过使用任意值来表示将不进行前景提取处理的区域。这里，在图像输入单元1101在随后的步骤中进行对输入图像105的分配的情况下，首先，图像输入单元1101参考第一图像信息，然后确定是否对该区域进行前景提取处理。其次，关于要进行前景提取处理的区域，图像输入单元1101参考第二图像信息，然后确定该区域将被分配给哪个前景区域提取单元。
或者，还可以通过使用多个值“0”、“1”和“2”来表示区域信息1103。例如，将不进行前景提取处理的区域设置为“0”，将第一处理区域503和504设置为“1”，并且将第二处理区域1503和1504设置为“2”。通过这样做，图像输入单元1101可以将被设置为“1”的区域分配给第一前景区域提取单元103，并且将被设置为“2”的区域分配给第二前景区域提取单元104。这里，被设置为“0”的区域是将不进行前景提取处理的区域，并且不被分配给任何前景区域提取单元。
在S1302中，图像输入单元1101输入作为前景区域检测目标的输入图像105。图16A示出了在场地上存在运动员和球而在观众台中存在观众的特定帧中输入到图像处理装置1100B的输入图像1601。图16B示出了在场地上存在运动员和球而在观众台上存在观众的该特定帧中输入到图像处理装置1100D的输入图像1602。除了球603、运动员A 604、运动员B605、运动员C 606和运动员D 607之外，输入图像1601还包括存在观众的观众台A 1403和观众台B 1404。除了球603、运动员A 604、运动员B 605、运动员C 606和运动员D 607之外，输入图像1602还包括存在观众的观众台A 1403。这里，运动员和球的存在位置被设置为与第一实施例的图6A和图6B所示的位置相同的位置。
在S1303中，图像输入单元1101基于设置的区域信息1103，将输入图像105分配给第一前景区域提取单元103和第二前景区域提取单元104。在输入图像105中，第一处理区域503和504中的图像被输出到第一前景区域提取单元103，而第二处理区域1503和1504中的图像被输出到第二前景区域提取单元104。同时，未包括在第一处理区域503和504以及第二处理区域1503和1504中的任何一个中的区域(例如观众台)不被输出到任何前景区域提取单元。例如，在观众台的图像是根据背景差分技术的前景提取的目标的情况下，由于观众的移动，会提取前景不需要的在观众台中的观众作为前景。然而，通过从前景提取的目标中排除与观众台对应的区域，可以消除对不必要的前景的提取。而且，由于要进行前景提取的区域变小，所以也可以减少计算处理负荷。
S304和S1305的前景提取处理的顺序并不仅仅限于上述顺序。具体地，可以首先执行S1305，或者可以并行执行S304和S1305。
在S1305中，图像处理装置100B和100D的第二前景区域提取单元104分别从第二处理区域1503和1504中的图像提取前景区域。第二前景区域提取单元104根据背景差分技术进行前景提取处理，并生成第二前景区域图像。在第一实施例中，第二前景区域提取单元104的处理目标被设置为第一处理区域之外的区域。与此形成对照，在本实施例中，第二前景区域提取单元104的处理目标是被设置为第二处理区域的区域。
如上所述，在本实施例中，将第一处理区域和第二处理区域设置为输入图像，并且还提供了要从前景处理的目标中排除的区域。因此，在第二实施例中，要输入到第一前景区域提取单元103和第二前景区域提取单元104的图像与图7A和图7B以及图8A和图8B所示的图像相同，作为从输入图像1601和1602中排除观众台的区域的结果。因此，表示由相应前景区域提取单元提取前景区域的结果的第一前景提取结果和第二前景提取结果变成与图9A和图9B以及图10A和图10B所示的前景提取结果相同。
这里，观众台的区域可以应用不同的前景提取处理。例如，观众台的区域可以应用被设计为提取比运动员和观众移动得更快的对象(例如球)的前景提取处理。帧减法是上述前景提取处理的示例。这使得有可能提取诸如球的对象，同时避免了提取观众作为前景。
如上所述，根据第二实施例的图像处理装置1100可以通过在输入图像中设置要从前景提取的目标中排除的区域来防止对不必要的前景的提取并且减轻归因于前景提取处理的处理负荷。
(硬件构造)
将参照图17描述信息处理装置1700的硬件构造。上述实施例中的图像处理装置100的硬件构造与下面将要解释的信息处理装置1700的构造相同。信息处理装置1700包括CPU 1711、ROM 1712、RAM 1713、辅助存储设备1714、显示单元1715、操作单元1716、通信I/F1717和总线1718。
CPU 1711通过使用存储在ROM 1712和RAM 1713中的计算机程序和数据来控制整个信息处理装置1700，实现图1所示的相应功能。在这里，信息处理装置1700可以包括与CPU1711分开的一组或多组专用硬件，并且所述专用硬件可以代表CPU 1711执行至少部分处理。专用硬件的示例包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)等。ROM 1712存储不需要改变的程序等。RAM 1713临时存储从辅助存储设备1714提供的程序和数据、通过通信I/F 1717从外部提供的数据等。辅助存储设备1714由例如硬盘驱动器形成，该硬盘驱动器存储包括图像数据和语音数据的各种数据。
显示单元1715例如由液晶显示单元或LED单元中的任何一个形成，并且此外，还显示用于允许用户操作信息处理装置1700的图形用户界面(GUI)。操作单元1716由键盘、鼠标、操纵杆、触摸面板等形成，并且由用户操作以将各种指令输入到CPU 1711。
通信I/F 1717用于信息处理装置1700与外部设备之间的通信。例如，在信息处理装置1700通过线路连接到外部设备的情况下，通信缆线连接到通信I/F 1717。在信息处理装置1700具有与外部设备无线通信的功能的情况下，通信I/F 1717设有天线。总线1718将信息处理装置1700的相应部件彼此连接以传输信息。
在图17中，显示单元1715和操作单元1716被嵌入在信息处理装置1700中。替代地，显示单元1715和操作单元1716中的至少一个可以被设置在信息处理装置1700的外部作为单独的设备。在这种情况下，CPU 1711可以作为控制显示单元1715的显示控制设备或者作为控制操作单元1716的操作控制单元来操作。
[其它实施例]
第一和第二实施例已经描述了使用两个前景区域提取单元的情况。然而，本公开并不仅仅限于该构造。也可以使用三个或更多个前景区域提取单元。
或者，也可以使用一个前景区域提取单元并设置与其对应的前景提取单元应用区域。该构造等同于在输入图像中设置以前景提取处理为目标的区域和不以前景提取处理为目标的区域。
第一和第二实施例已经描述了第一前景区域提取单元使用基于机器学习结果的前景区域提取方法的情况。然而，本公开并不仅仅限于该构造。例如，还可以应用通过将输入图像中包括的特征量与先前特征量进行比较来预先提取静止对象的特征量并提取静止对象作为前景区域的方法。
也可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多程序)以执行上述实施例中的一个或更多的功能、并且/或者包括用于执行上述实施例中的一个或更多的功能的一个或更多电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本公开的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多的功能、并且/或者控制所述一个或更多电路执行上述实施例中的一个或更多的功能的方法，来实现本公开的实施例。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如，存储介质可以包括如下中的一个或多个：硬盘，随机存取存储器(RAM)，只读存储器(ROM)，分布式计算系统的存储器，光盘(例如，压缩盘(CD)，数字多功能光盘(DVD)，或蓝光光盘(BD)TM)，闪速存储器装置，存储卡，等等。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
根据本公开，可以更适当地提取前景区域。
虽然针对示例性实施例描述了本公开，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类修改以及等同的结构和功能。

Claims (14)

1.一种图像处理装置，包括：
设置单元，其被构造为在输入图像中设置第一区域和不同于第一区域的第二区域；
第一提取单元，其被构造为从第一区域中提取前景区域；以及
第二提取单元，其被构造为通过使用与第一提取单元所使用的提取方法不同的提取方法从第二区域中提取前景区域。
2.根据权利要求1所述的图像处理装置，其中，设置单元基于用户预先指定的区域信息来设置第一区域和第二区域。
3.根据权利要求1或2所述的图像处理装置，其中，
设置单元还设置与第一区域和第二区域不同的第三区域，并且
对第三区域不进行提取前景区域的处理。
4.根据权利要求1或2所述的图像处理装置，其中，第一提取单元通过使用基于机器学习结果的提取方法来提取前景区域。
5.根据权利要求1或2所述的图像处理装置，其中，第一提取单元通过使用基于特征量的提取方法来提取前景区域。
6.根据权利要求1或2所述的图像处理装置，其中，第二提取单元通过使用基于背景差的提取方法来提取前景区域。
7.根据权利要求1或2所述的图像处理装置，其中，
第一提取单元通过使用能够提取静止对象作为前景区域的提取方法来提取前景区域，并且
第二提取单元通过使用能够提取运动对象作为前景区域的提取方法来提取前景区域。
8.根据权利要求7所述的图像处理装置，其中，第一提取单元从第一区域中提取静止对象和运动对象作为前景区域。
9.根据权利要求7所述的图像处理装置，其中，运动对象包括人和球中的至少一种。
10.根据权利要求7所述的图像处理装置，其中，静止对象是安装在预定位置处的对象。
11.根据权利要求7所述的图像处理装置，其中，静止对象的至少一部分被安装在作为运动对象的人进行运动的场地上。
12.根据权利要求7所述的图像处理装置，其中，静止对象包括足球比赛中使用的足球门和角旗中的至少一种。
13.一种图像处理方法，包括：
在输入图像中设置第一区域和不同于第一区域的第二区域；
从第一区域提取前景区域；以及
通过使用与从第一区域提取前景区域的方法不同的方法从第二区域提取前景区域。
14.一种非暂时性计算机可读存储介质，其存储用于使计算机进行包括如下步骤的方法的程序：
在输入图像中设置第一区域和不同于第一区域的第二区域；
从第一区域提取前景区域；以及
通过使用与从第一区域提取前景区域的方法不同的方法从第二区域提取前景区域。
CN202011049848.5A 2019-10-02 2020-09-29 图像处理装置、图像处理方法和存储介质 Pending CN112598691A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-182004 2019-10-02
JP2019182004A JP7446756B2 (ja) 2019-10-02 2019-10-02 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN112598691A true CN112598691A (zh) 2021-04-02

Family

ID=75180288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011049848.5A Pending CN112598691A (zh) 2019-10-02 2020-09-29 图像处理装置、图像处理方法和存储介质

Country Status (4)

Country Link
US (1) US11869196B2 (zh)
JP (1) JP7446756B2 (zh)
KR (1) KR20210039945A (zh)
CN (1) CN112598691A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3951715A1 (en) 2020-08-05 2022-02-09 Canon Kabushiki Kaisha Generation apparatus, generation method, and program
JP7480088B2 (ja) 2021-04-27 2024-05-09 キヤノン株式会社 画像処理装置、画像処理方法、プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471691A (zh) * 2001-06-20 2004-01-28 ���ṫ˾ 图像处理设备和方法,以及图像捕获设备
JP2007316882A (ja) * 2006-05-25 2007-12-06 Mitsubishi Electric Corp 遠隔操作装置及び方法
US20120013713A1 (en) * 2009-03-31 2012-01-19 Hironori Sumitomo Image integration unit and image integration method
CN105320366A (zh) * 2014-07-09 2016-02-10 佳能株式会社 识别拍摄图像中的特定物体的信息处理装置及其控制方法
CN109214265A (zh) * 2017-07-06 2019-01-15 佳能株式会社 图像处理装置、其图像处理方法及存储介质
US20190102643A1 (en) * 2017-09-29 2019-04-04 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and storage medium
JP2019067129A (ja) * 2017-09-29 2019-04-25 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US20190147598A1 (en) * 2017-11-15 2019-05-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium
CN109841024A (zh) * 2014-12-16 2019-06-04 佳能株式会社 图像处理装置和图像处理方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0724229B1 (en) * 1994-12-28 2001-10-10 Canon Kabushiki Kaisha Image processing apparatus and method
JP3490559B2 (ja) * 1995-11-14 2004-01-26 富士写真フイルム株式会社 画像の主要部判定方法及び複写条件決定方法
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
JP4313873B2 (ja) * 1998-01-30 2009-08-12 キヤノン株式会社 電子機器及びデータ処理方法
US6529630B1 (en) * 1998-03-02 2003-03-04 Fuji Photo Film Co., Ltd. Method and device for extracting principal image subjects
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
US7092569B1 (en) * 1999-07-29 2006-08-15 Fuji Photo Film Co., Ltd. Method and device for extracting specified image subjects
US20020085743A1 (en) * 2000-04-04 2002-07-04 Konica Corporation Image processing selecting method, image selecting method and image processing apparatus
KR100443678B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
US20060204036A1 (en) * 2005-03-09 2006-09-14 Dean Huang Method for intelligent video processing
JP4165580B2 (ja) * 2006-06-29 2008-10-15 トヨタ自動車株式会社 画像処理装置及び画像処理プログラム
US7830550B2 (en) * 2006-08-07 2010-11-09 Samsung Electronics Co., Ltd. Image converting method and apparatus, and image forming apparatus having the same
US7929729B2 (en) * 2007-04-02 2011-04-19 Industrial Technology Research Institute Image processing methods
JP4470067B2 (ja) * 2007-08-07 2010-06-02 本田技研工業株式会社 対象物種別判定装置、車両
WO2009067680A1 (en) * 2007-11-23 2009-05-28 Mercury Computer Systems, Inc. Automatic image segmentation methods and apparartus
JP2009271693A (ja) * 2008-05-07 2009-11-19 Canon Inc 画像処理装置、画像処理方法、プログラム、記憶媒体
JP2013008070A (ja) 2009-10-20 2013-01-10 Panasonic Corp 標識認識装置及び標識認識方法
US8941726B2 (en) * 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
KR20110066011A (ko) * 2009-12-10 2011-06-16 한국전자통신연구원 이미지 특성 추출을 이용한 유사 쉐이더 검색장치 및 방법
JP5975598B2 (ja) 2010-08-26 2016-08-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5690688B2 (ja) 2011-09-15 2015-03-25 クラリオン株式会社 外界認識方法，装置，および車両システム
US8774504B1 (en) * 2011-10-26 2014-07-08 Hrl Laboratories, Llc System for three-dimensional object recognition and foreground extraction
US8917934B2 (en) * 2012-06-14 2014-12-23 International Business Machines Corporation Multi-cue object detection and analysis
KR20140031613A (ko) * 2012-09-05 2014-03-13 삼성전자주식회사 영상 처리 장치 및 방법
US9636871B2 (en) * 2013-08-21 2017-05-02 Microsoft Technology Licensing, Llc Optimizing 3D printing using segmentation or aggregation
WO2016172870A1 (zh) * 2015-04-29 2016-11-03 北京旷视科技有限公司 视频监控方法、视频监控系统以及计算机程序产品
CN106600955A (zh) 2015-10-14 2017-04-26 富士通株式会社 检测交通状态的方法、装置和电子设备
JP6821398B2 (ja) * 2016-11-09 2021-01-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR20190004010A (ko) * 2017-07-03 2019-01-11 삼성에스디에스 주식회사 전경 추출 방법 및 장치
JP6425847B1 (ja) * 2017-08-14 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3474228A1 (en) * 2017-10-20 2019-04-24 Koninklijke Philips N.V. Segmenting an image
WO2019150649A1 (ja) 2018-01-30 2019-08-08 株式会社日立国際電気 画像処理装置および画像処理方法
WO2019163699A1 (ja) * 2018-02-20 2019-08-29 日本電気株式会社 特徴抽出装置、特徴抽出方法、照合システム、および記憶媒体
JP7475959B2 (ja) * 2020-05-20 2024-04-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471691A (zh) * 2001-06-20 2004-01-28 ���ṫ˾ 图像处理设备和方法,以及图像捕获设备
JP2007316882A (ja) * 2006-05-25 2007-12-06 Mitsubishi Electric Corp 遠隔操作装置及び方法
US20120013713A1 (en) * 2009-03-31 2012-01-19 Hironori Sumitomo Image integration unit and image integration method
CN105320366A (zh) * 2014-07-09 2016-02-10 佳能株式会社 识别拍摄图像中的特定物体的信息处理装置及其控制方法
CN109841024A (zh) * 2014-12-16 2019-06-04 佳能株式会社 图像处理装置和图像处理方法
CN109214265A (zh) * 2017-07-06 2019-01-15 佳能株式会社 图像处理装置、其图像处理方法及存储介质
US20190102643A1 (en) * 2017-09-29 2019-04-04 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and storage medium
JP2019067129A (ja) * 2017-09-29 2019-04-25 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US20190147598A1 (en) * 2017-11-15 2019-05-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium

Also Published As

Publication number Publication date
US11869196B2 (en) 2024-01-09
JP7446756B2 (ja) 2024-03-11
KR20210039945A (ko) 2021-04-12
US20210104050A1 (en) 2021-04-08
JP2021056960A (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
Zhou et al. Global and local-contrast guides content-aware fusion for RGB-D saliency prediction
US10327045B2 (en) Image processing method, image processing device and monitoring system
CN108520223B (zh) 视频图像的分割方法、分割装置、存储介质和终端设备
CN109214265B (zh) 图像处理装置、其图像处理方法及存储介质
US20210390721A1 (en) Display control apparatus, display control method, and storage medium
US10254854B2 (en) Tracker for cursor navigation
JP6043293B2 (ja) 画像処理装置、撮像装置および画像処理方法
CN105229697A (zh) 多模态前景背景分割
US20150097812A1 (en) Interactive operation method of electronic apparatus
JP2020115351A (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
CN112598691A (zh) 图像处理装置、图像处理方法和存储介质
KR20190130423A (ko) 동영상 내 작은 물체를 실시간으로 세분화하는 방법 및 장치
US11074742B2 (en) Image processing apparatus, image processing method, and storage medium
US20230014448A1 (en) Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus
Raj et al. Feature based video stabilization based on boosted HAAR Cascade and representative point matching algorithm
JP2019153057A (ja) 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラム
CA3061908C (en) Ball trajectory tracking
US11882363B2 (en) Control apparatus and learning apparatus and control method
CN108537819A (zh) 超像素运动目标检测方法
CN116457828A (zh) 针对光流估计的监督学习和遮挡掩蔽
US11361448B2 (en) Image processing apparatus, method of controlling image processing apparatus, and storage medium
TW201631553A (zh) 用於在視訊序列中之輔助物件選擇之方法及裝置
KR20220144889A (ko) 디바이스의 손 제스처 기반 제어를 위한 방법 및 시스템
US20220058452A1 (en) Spatiotemporal recycling network
KR20150094108A (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination