CN115720664A - 物体位置估计设备、物体位置估计方法和记录介质 - Google Patents

物体位置估计设备、物体位置估计方法和记录介质 Download PDF

Info

Publication number
CN115720664A
CN115720664A CN202080102293.8A CN202080102293A CN115720664A CN 115720664 A CN115720664 A CN 115720664A CN 202080102293 A CN202080102293 A CN 202080102293A CN 115720664 A CN115720664 A CN 115720664A
Authority
CN
China
Prior art keywords
likelihood
size
map
unit
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080102293.8A
Other languages
English (en)
Inventor
池田浩雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN115720664A publication Critical patent/CN115720664A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明稳健且高精度地估计物体的相应位置,即使物体在图像中重叠。一种物体位置估计设备(1),设置有:特征提取单元(10),包括第一特征提取单元(21)和第二特征提取单元(22),第一特征提取单元(21)通过使目标图像经受卷积计算处理来生成第一特征图,第二特征提取单元(22)通过还使第一特征图经受卷积计算处理来生成第二特征图;以及似然图估计单元(20),包括第一位置似然估计单元(23)和第二位置似然估计单元(24),第一位置似然估计单元(23)通过使用第一特征图来估计指示目标图像的每个位置中存在具有第一大小的物体的概率的第一似然图,第二位置似然估计单元(24)通过使用第二特征图来估计指示目标图像的每个位置中存在具有大于第一大小的第二大小的物体的概率的第二似然图。

Description

物体位置估计设备、物体位置估计方法和记录介质
技术领域
本发明涉及物体位置估计设备、物体位置估计方法和记录介质,并且更具体地,涉及用于估计物体在图像中的位置的物体位置估计设备、物体位置估计方法和记录介质。
背景技术
用于估计物体在图像中的位置的相关技术是已知的(PTL 1和PTL2)。在NPL 1中描述的相关技术中,估计器通过使用显示整个物体的样本图像来学习物体的识别。由此训练的估计器为了估计物体在图像中的位置而对图像进行扫描。具体地,在NPL 1中描述的相关技术中,例如,估计器估计图像中的物体的类海尔(Haar-Like)特征量,并估计所识别的物体的物体区域。此时,估计器扫描每个部分局域,同时改变图像中每个部分局域的位置和尺寸。
[引用列表]
[专利文献]
[PTL 1]JP 2019-096072 A
[PTL 2]JP 2018-147431 A
[非专利文献]
[NPL 1]"Rapid Object Detection Using a Boosted Cascade of SimpleFeatures",P.Viola等人,CVPR(Conference on Compu ter Vision and PatternRecognition),第511-518页。
发明内容
技术问题
计算机的处理速度是有限的。因此,当估计器扫描图像时,难以连续并全面地改变图像中部分区域的位置和大小。在图像中物体的一部分或全部被另一物体遮挡的情况下,可能难以指定图像中的物体区域,并准确估计每个物体的位置。
本发明是鉴于上述问题而完成的,并且本发明的目的在于提供一种即使当图像中物体彼此重叠时,也能够稳健且高精度地估计每个物体的位置的物体位置估计设备、物体位置估计方法以及记录介质。
问题的解决方案
根据本发明的方面的物体位置估计设备包括:特征提取单元,包括第一特征提取单元和第二特征提取单元,所述第一特征提取单元被配置为通过对目标图像执行卷积处理来生成第一特征图,所述第二特征提取单元被配置为通过对所述第一特征图进一步执行卷积处理来生成第二特征图;以及似然图估计单元,包括第一位置似然估计单元和第二位置似然估计单元,第一位置似然估计单元被配置为通过使用第一特征图来估计指示目标图像的每个位置处存在具有第一大小的物体的概率的第一似然图,第二位置似然估计单元被配置为通过使用第二特征图来估计指示目标图像的每个位置处存在具有大于第一大小的第二大小的物体的概率的第二似然图。
根据本发明的方面的位置估计方法包括:通过对目标图像执行卷积处理来生成第一特征图,并且通过对第一特征图进一步执行卷积处理来生成第二特征图;以及使用第一特征图来估计指示目标图像的每个位置处存在具有第一大小的物体的概率的第一似然图,并使用第二特征图来估计指示目标图像的每个位置处存在具有大于第一大小的第二大小的物体的概率的第二似然图。
根据本发明的方面的记录介质使计算机执行:通过对目标图像执行卷积处理来生成第一特征图,并且通过对第一特征图进一步执行卷积处理来生成第二特征图;以及使用第一特征图来估计指示目标图像的每个位置处存在具有第一大小的物体的概率的第一似然图,并使用第二特征图来估计指示目标图像的每个位置处存在具有大于第一大小的第二大小的物体的概率的第二似然图。
发明的有益效果
根据本发明的一个方面,即使物体在图像中彼此重叠,也可以稳健且高精度地估计每个物体的位置。
附图说明
图1是示出了根据示例实施例1的物体位置估计设备的配置的框图。
图2是示出了根据示例实施例2的包括物体位置估计设备的系统的配置的框图。
图3是示出了根据示例实施例2的由物体位置估计设备的每个单元执行的处理流程的流程图。
图4是示出了根据示例实施例2的修改的物体位置估计设备的配置的框图。
图5是示出了根据示例实施例3的物体位置估计设备的配置的框图。
图6是示出了根据示例实施例4的物体位置估计设备的配置的框图。
图7是示出了根据示例实施例5的物体位置估计设备的配置的框图。
图8是示出了根据示例实施例6的物体位置估计设备的配置的框图。
图9是示出了根据示例实施例6的由物体位置估计设备的每个单元执行的处理流程的流程图。
图10是示出了根据示例实施例6的修改型的物体位置估计设备的配置的框图。
图11是用于说明根据示例实施例6的修改型的物体位置估计设备的训练数据生成单元生成第一正确似然图/第二正确似然图的处理流程的图。
图12是示出了根据示例实施例7的物体位置估计设备的配置的框图。
图13是示出了根据示例实施例7的修改型的物体位置估计设备的配置的框图。
图14是示出了根据示例实施例1至7中的任何一个的物体位置估计设备的硬件配置的图。
具体实施方式
[示例实施例1]
将参照图1来描述示例实施例1。
(系统)
将参照图1来描述根据本示例实施例1的系统。图1示意性地示出了根据本示例实施例1的系统的配置。如图1所示,根据本示例实施例1的系统包括图像获取设备90和物体位置估计设备1。图像获取设备90获取一幅或多幅图像。例如,图像获取设备90获取从诸如相机之类的视频设备输出的静止图像、或从诸如录像机之类的视频设备输出的运动图像的图像帧。
图像获取设备90将所获取的一幅或多幅图像(例如,静止图像或运动图像的图像帧)发送到物体位置估计设备1。在下文中,从图像获取设备90向物体位置估计设备1发送的图像被称为目标图像70。物体位置估计设备1的操作由例如计算机程序控制。
(物体位置估计设备1)
如图1所示,物体位置估计设备1包括特征提取单元10和似然图估计单元20。似然图估计单元20是似然图估计装置的示例。
特征提取单元10包括第一特征提取单元21和第二特征提取单元22。似然图估计单元20包括第一位置似然估计单元23和第二位置似然估计单元24。物体位置估计设备1可以包括三个或更多个特征提取单元和三个或更多个位置似然估计单元。第一特征提取单元21和第二特征提取单元22是第一特征提取装置和第二特征提取装置的示例。第一位置似然估计单元23和第二位置似然估计单元24是第一位置似然估计装置和第二位置似然估计装置的示例。
第一特征提取单元21通过对目标图像70执行卷积处理来生成指示物体的特征的第一特征图。具体地,第一特征提取单元21将第一滤波器应用于其中目标图像70由像素值表示的矩阵,同时将第一滤波器滑动预定移动量。第一滤波器是乘以用像素值表示目标图像70的矩阵的一部分(被称为部分区域)的矩阵(核)。第一特征提取单元21输出通过在用像素值表示目标图像70的矩阵的一部分与表示第一滤波器的矩阵之间的矩阵运算而获得的值的总和作为第一特征图的元素。第一特征提取单元21将包括多个元素的第一特征图输出到似然图估计单元20的第一位置似然估计单元23。
第二特征提取单元22进一步对第一特征图执行卷积处理,以生成指示物体特征的第二特征图。具体地,第二特征提取单元22在将第二滤波器滑动预定移动量的同时将第二滤波器应用于第一特征图,并输出通过第一特征图的矩阵的一部分与表示第二滤波器的矩阵之间的矩阵运算而获得的值的总和作为第二特征图的元素。具体地,第二滤波器是乘以第一特征图的一部分的矩阵。第二特征提取单元22将包括多个元素的第二特征图输出到似然图估计单元20的第二位置似然估计单元24。
使用从第一特征提取单元21接收的第一特征图,第一位置似然估计单元23估计第一似然图,该第一似然图指示目标图像70的每个位置处存在具有第一大小的物体的概率。具体地,作为第一位置似然估计单元23,估计单元(在一个示例中,CNN;卷积神经网络)。训练的估计单元根据第一特征图估计目标图像70中具有第一大小的物体的位置(的似然图)。第一大小指示包括在目标图像70中的第一预定范围(稍后描述)中的任何形状和大小。
第一位置似然估计单元23针对目标图像70的每个部分区域来计算第一大小的物体似然,即,是具有第一大小的物体的概率。第一位置似然估计单元23估计第一似然图,该第一似然图以似然表示针对目标图像70的每个部分区域计算的第一大小的物体似然。第一似然图的每个坐标处的似然指示目标图像70中的相关位置处存在具有第一大小的物体的概率。第一位置似然估计单元23输出以这种方式估计的第一似然图。
第二位置似然估计单元24使用第二特征图来估计第二似然图,该第二似然图指示目标图像70中的每个相关位置处存在具有第二大小的物体的概率。具体地,第二特征提取单元22针对目标图像70的每个部分区域来计算第二大小的物体似然,即,是具有第二大小的物体的概率。第二特征提取单元22估计第二似然图,该第二似然图以似然表示针对目标图像70的每个部分区域的第一大小的物体似然。第二似然图的每个坐标处的似然指示目标图像70中的相关位置处存在具有第二大小的物体的概率。第二位置似然估计单元24输出以这种方式估计的第二似然图。第二大小指示目标图像70中的第二预定范围(稍后描述)内的任何大小。
在下文中,该物体可以被称为“具有第一大小的物体”,其含义与“第一大小的物体”相同。存在以与“第二大小的物体”相同的含义提及“具有第二大小的物体”的情况。
备选地,第一位置似然估计单元23和第二位置似然估计单元24针对预先分类的物体的每个属性来估计具有不同属性的物体的位置。然后,第一位置似然估计单元23和第二位置似然估计单元24针对物体的每个属性来估计第一似然图/第二似然图,并针对物体的每个属性来输出第一似然图/第二似然图。第一位置似然估计单元23和第二位置似然估计单元24可以由不同的网络配置、或者可以针对每个属性由单个网络配置。在这种情况下,第一位置似然估计单元23和第二位置似然估计单元24都输出属性的通道方向上的多个似然图。
(本示例实施例的效果)
根据本示例实施例的配置,特征提取单元10的第一特征提取单元21通过对目标图像70执行卷积处理来生成指示物体的特征的第一特征图。特征提取单元10的第二特征提取单元22进一步对第一特征图执行卷积处理,以生成指示物体的特征的第二特征图。似然图估计单元20的第一位置似然估计单元23使用第一特征图来估计第一似然图,该第一似然图指示图像的每个位置处存在具有第一大小的物体的概率。似然图估计单元20的第二位置似然估计单元24使用第二特征图来估计第二似然图,该第二似然图指示图像的每个位置处存在具有大于第一大小的第二大小的物体的概率。
如上所述,物体位置估计设备1使用第一特征图和第二特征图来分别估计目标图像70中具有第一大小的物体和具有第二大小的物体的位置。因此,即使物体在图像中彼此重叠,也可以稳健且高精度地估计每个物体的位置。
[示例实施例2]
将参照图2和图3来描述示例实施例2。
(物体位置估计设备2)
如图2所示,物体位置估计设备2包括第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23和第二位置似然估计单元24。
物体位置估计设备2从图像获取设备90获取目标图像70。物体位置估计设备2估计目标图像70中包括的预定类型的物体(在下文中,简称为物体)的位置。例如,物体位置估计设备2估计人、汽车、树木、动物、雨伞或其一部分的位置。在下文中,将描述其中物体是人头的示例。
在本示例实施例2中,由物体位置估计设备2输出的第一似然图/第二似然图的每个坐标处的似然指示目标图像70中的每个相关位置处存在具有第一大小/第二大小的人的头部(作为物体的示例)的概率。第一似然图/第二似然图中的似然被归一化,使得第一似然图/第二似然图中的每一个中的似然之和与出现在目标图像70中的具有第一大小/第二大小的人的头部的数量相匹配。结果,第一似然图/第二似然图中的每一个中的全体似然之和与目标图像70中的出现在目标图像70中的具有第一大小/第二大小的人的总数有关。第一似然图中/第二似然图中的似然的归一化不是必需的。
第一特征提取单元21对目标图像70执行卷积处理,以生成指示物体特征的第一特征图80。例如,第一特征提取单元21可以是卷积神经网络(CNN)。第一特征提取单元21将第一特征图80输出到第一位置似然估计单元23和第二特征提取单元22中的每一个。
第一特征图80从第一特征提取单元21输入到第一位置似然估计单元23。第一位置似然估计单元23通过对第一特征图80执行卷积处理来估计第一似然图。例如,第一位置似然估计单元23能够与第一特征提取单元21分开或集成用作卷积神经网络。如上所述,第一似然图的每个坐标处的似然指示目标图像70中的每个相关位置处存在第一大小的物体的概率。如上所述,第一大小指示包括在目标图像70中的第一预定范围(稍后描述)中的任何形状和大小。第一位置似然估计单元23输出估计的第一似然图。
第二特征提取单元22从第一特征提取单元21获取第一特征图80。第二特征提取单元22进一步对第一特征图80执行卷积处理,以生成指示物体特征的第二特征图81。第二特征图81的数据大小小于第一特征图80的数据大小。第二特征提取单元22将第二特征图81输出到第二位置似然估计单元24。
如上所述,第一特征图80的数据大小相对地大于第二特征图81的数据大小。也就是说,第一特征图80的每个元素与目标图像70的小部分区域的特征相关。因此,第一特征图80适用于捕捉目标图像70的精细特征。另一方面,第二特征图81的每个元素与目标图像70的大部分局域的特征相关。因此,第二特征图81适用于捕捉目标图像70的粗略特征。
在图2中,物体位置估计设备2的第一特征提取单元21和第二特征提取单元22被示出为单独的功能块。然而,第一特征提取单元21和第二特征提取单元22可以构成一个集成网络。在这种情况下,集成网络的前半部分对应于第一特征提取单元21,并且集成网络的后半部分对应于第二特征提取单元22。
第二特征图81从第二特征提取单元22输入到第二位置似然估计单元24。第二位置似然估计单元24通过对第二特征图81执行卷积处理来估计第二似然图。如上所述,第二似然图的每个坐标处的似然指示目标图像70中的每个相关位置处存在具有第二大小的物体的概率。如上所述,第二大小指示目标图像70中的第二预定范围(稍后描述)内的任何大小。
备选地,第二特征提取单元22可以根据目标图像70自身生成第二特征图。在这种情况下,第二特征提取单元22获取目标图像70,而不是第一特征图80。第二特征提取单元22通过对目标图像70执行卷积处理来生成第二特征图81。
在图2中,物体位置估计设备2的第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23和第二位置似然估计单元24被示出为单独的功能块。然而,第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23和第二位置似然估计单元24可以构成一个集成网络。
第一位置似然估计单元23估计第一预定范围内的第一大小的物体的位置。换句话说,在目标图像70中存在的物体具有第一大小的情况下,第一位置似然估计单元23估计第一似然图。
另一方面,第二位置似然估计单元24估计第二预定范围内的第二大小的物体的位置。也就是说,在目标图像70中存在的物体具有第二大小的情况下,物体的位置由第二位置似然估计单元24估计。第二大小大于第一大小。定义第一大小的第一预定范围和定义第二大小的第二预定范围被预先确定以便彼此不重叠。
例如,第一预定范围和第二预定范围分别基于相关第一特征图80和相关第二特征图81的数据大小来确定。例如,使用第一特征图80首先确定目标图像70中的物体的参考大小(在下文中,称为第一参考大小)。接着,使用第二特征图81确定目标图像70中的物体的另一参考大小(在下文中,称为第二参考大小)。
具体地,第一参考大小为T1,并且第二参考大小为T2。此时,使用第一参考大小T1以及常数a和b(0<a<b)将第一预定范围确定为a*T1<k≤b*T1。这里,k表示物体的大小。另一方面,使用第二参考大小T2以及常数c和d(0<c<d)将第二预定范围确定为c*T2<k≤d*T2。
用于定义第一预定范围的常数(a,b)和用于定义第二预定范围的常数(c,d)可以彼此相等或不同。优选满足b*T1=c*T2的条件,使得第一预定范围与第二预定范围之间没有间隙。
将补充参考大小和预定范围。如上所述,每个参考大小是基于每个特征图的数据大小来确定的,并且具体地,每个参考大小被确定为与每个特征图的数据大小的倒数成比例的大小。参考大小与预定范围具有比例关系。因此,每个预定范围被确定为具有与每个特征图的数据大小的倒数成比例的大小。
将在稍后要描述的示例实施例6中描述根据本示例实施例2的物体位置估计设备2中包括的每个单元(即,第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23和第二位置似然估计单元24)的训练方法。训练功能可以设置在物体位置估计设备2中,或可以设置在物体位置估计设备2以外的另一设备中。在后者的情况下,物体位置估计设备2获取由另一设备预先训练的每个单元。
本文描述的“获取每个经训练的单元”可以是获取与每个单元相关的网络本身(即,其中设置了训练参数的程序),或可以是仅获取经训练的参数。在后者的情况下,物体位置估计设备2从另一设备获取经训练的参数,并将经训练的参数设置在物体位置估计设备2的记录介质中预先准备的程序中。
如上所述,第一特征图80适用于捕捉目标图像70的精细特征。第一位置似然估计单元23使用第一特征图80来估计目标图像70中具有第一大小的物体(在图像上显得小的物体)的位置。另一方面,第二特征图81适用于捕捉目标图像70的粗略特征。第二位置似然估计单元24使用第二特征图81来估计具有大于第一大小的第二大小的物体(在图像上显得大的物体)的位置。
根据本示例实施例2的物体位置估计设备2可以通过结合使用第一特征图80和第二特征图81来有效地估计目标图像70中具有第一大小的物体和具有第二大小的物体的位置。
第一位置似然估计单元23可以通过对归一化的第一似然图的全体似然求和来计算目标图像70中具有第一大小的物体的总数。第二位置似然估计单元24可以通过对归一化的第二似然图的全体似然求和来计算具有第二大小的物体的总数。此外,物体位置估计设备2可以通过将通过以上方法获得的具有第一大小的物体的总数和具有第二大小的物体的总数相加来计算目标图像70中的第一大小或第二大小的物体的总数。
(物体位置估计设备2的操作)
将参照图3来详细描述根据本示例实施例2的物体位置估计设备2的操作。图3是示出了物体位置估计设备2的操作的流程图。
如图3所示,第一特征提取单元21从图像获取设备90获取目标图像70(步骤S10)。
第一特征提取单元21通过对目标图像70执行卷积处理来生成第一特征图80(步骤S11)。第一特征提取单元21将第一特征图80输出到第一位置似然估计单元23和第二特征提取单元22。
第一位置似然估计单元23通过对第一特征图80执行卷积处理来估计指示具有第一大小的物体的位置的第一似然图(步骤S12)。第一位置似然估计单元23输出估计的第一似然图。
第二特征提取单元22从第一特征提取单元21获取第一特征图80,并通过对第一特征图80执行卷积处理来生成第二特征图81(步骤S13)。
第二位置似然估计单元24通过对第二特征图81执行卷积处理来估计指示具有第二大小的物体的位置的第二似然图(步骤S14)。第二位置似然估计单元24输出估计的第二似然图。
可以顺序执行上述步骤S12、S13和S14。可以转换步骤S12、S13、S14的处理之间的顺序。然而,步骤S14中的处理需要在步骤S13中的处理之后执行。
因此,物体位置估计设备2的操作结束。
以上已经描述了其中物体位置估计设备2包括两个特征提取单元(即,第一特征提取单元21和第二特征提取单元22)和两个似然图估计单元(即,第一位置似然估计单元23和第二位置似然估计单元24)的配置。然而,物体位置估计设备2可以包括三个或更多个特征提取单元和三个或更多个位置似然估计单元(修改型1)。
[修改型1]
图4示出了根据修改型1的物体位置估计设备2a的配置。如图4所示,物体位置估计设备2a包括n个(n是3或更大的整数)特征提取单元和n个位置似然估计单元。第一特征图是通过第一特征提取单元对目标图像执行卷积处理而获得的。第二特征图、第三特征图、…、以及第n特征图是通过第i特征提取单元对前一级的特征图执行卷积处理而获得的。这里,i是从2至n的整数。
具体地,物体位置估计设备2a的第i特征提取单元通过对第(i-1)特征图执行卷积处理来生成第i特征图。在图4所示的修改型1中,可以将其中连接了第一特征提取单元至第n特征提取单元的网络视为一个集成特征提取单元10。
第i特征图(i=1至n)被输入到第i位置似然估计单元。第i位置似然估计单元通过对第i特征图执行卷积处理来估计具有第i大小的物体的位置。然后,第i位置似然估计单元估计并输出指示具有第i大小的物体的位置的第i似然图。在图4所示的修改型1中,可以使所有特征提取单元和所有似然估计单元能够用作一个集成神经网络。
根据修改型1的配置,可以根据目标图像估计并输出指示具有三个或更多个彼此不同大小的物体的位置的三个或更多个似然图。也就是说,根据修改型1的物体位置估计设备2a可以估计具有三个或更多个彼此不同大小的物体的位置。
[修改型2]
在修改型2中,第一位置似然估计单元23和第二位置似然估计单元24针对预先分类的物体的每个属性来估计物体的位置。然后,第一位置似然估计单元23和第二位置似然估计单元24针对物体的每个属性来估计第一似然图/第二似然图,并输出估计的第一似然图/第二似然图。
例如,如果物体是人或人的一部分,则属性可以与人本身有关,例如人的年龄、人的性别、人脸的取向、人移动的速度、或人的从属关系(社会人士、学生、家庭成员等)。备选地,属性可以与由物体构成的组相关,例如包括人的人群的排队或停留,或者包括人的人群的状态(例如,恐慌)。
在一个示例中,人(物体)的属性被分类为儿童和成人两个类别。在这种情况下,第一位置似然估计单元23估计目标图像70中第一大小的儿童和成人的位置。另一方面,第二位置似然估计单元24估计目标图像70中第二大小的儿童和成人的位置。
第一位置似然估计单元23和第二位置似然估计单元24可以被配置为向每个通道输出儿童的位置和成人的位置的神经网络。在这种情况下,第一位置似然估计单元23估计目标图像70中第一大小的儿童的位置和第一大小的成人的位置,并且输出估计的位置作为通道。第二位置似然估计单元24估计目标图像70中第二大小的儿童的位置和第二大小的成人的位置,并且输出估计的位置作为通道。
根据第二修改型,第一位置似然估计单元23和第二位置似然估计单元24将物体的属性(在上述示例中,儿童和成人)设置为神经网络的通道,并且针对每个属性估计具有由每个位置似然估计单元确定的大小的物体的位置作为似然图。结果,第一位置似然估计单元23和第二位置似然估计单元24可以针对物体的每个大小并针对每个属性来估计物体的位置。
(本示例实施例的效果)
根据本示例实施例的配置,特征提取单元10的第一特征提取单元21通过对目标图像70执行卷积处理来生成指示物体的特征的第一特征图。特征提取单元10的第二特征提取单元22进一步对第一特征图执行卷积处理,以生成指示物体的特征的第二特征图。似然图估计单元20的第一位置似然估计单元23使用第一特征图来估计第一似然图,该第一似然图指示图像的每个位置处存在具有第一大小的物体的概率。似然图估计单元20的第二位置似然估计单元24使用第二特征图来估计第二似然图,该第二似然图指示图像的每个位置处存在具有大于第一大小的第二大小的物体的概率。
如上所述,物体位置估计设备1使用第一特征图和第二特征图分别估计目标图像70中具有第一大小的物体和具有第二大小的物体的位置。因此,即使物体在图像中彼此重叠,物体位置估计设备1也可以稳健且高精度地估计物体的位置。
根据本示例实施例的配置,当扫描目标图像70时,不必像相关技术中那样改变检测到物体的部分区域的大小和位置。因此,物体位置估计设备2可以精确地估计物体的位置,而不依赖于部分区域的布置。
此外,根据本示例实施例的配置,第一似然图/第二似然图被归一化,使得第一似然图/第二似然图的全体似然之和等于目标图像70中具有第一大小/第二大小的物体的每个总数。因此,物体位置估计设备2可以通过整个第一似然图中的似然之和与整个第二似然图中的似然之和来获得目标图像70中具有第一大小的物体的总数和具有第二大小的物体的总数、以及图像70中包括的物体的总数。
[示例实施例3]
将参照图5来描述示例实施例3。
(物体位置估计设备3)
图5是示出了根据本示例实施例3的物体位置估计设备3的配置的框图。如图5所示,物体位置估计设备3包括第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23和第二位置似然估计单元24。此外,物体位置估计设备3还包括第一计数单元25和第二计数单元26。与根据示例实施例2的修改型的物体位置估计设备2a类似,根据本示例实施例3的修改型的物体位置估计设备3可以包括三个或更多个特征提取单元和三个或更多个位置似然估计单元。在那种情况下,添加与特征提取单元和位置似然估计的数量一样多的计数单元。第一计数单元25和第二计数单元26是第一计数部件和第二计数部件的示例。
第一特征提取单元21根据目标图像70生成第一特征图80,并且第二特征提取单元22根据由第一特征提取单元21生成的第一特征图80生成第二特征图81。
备选地,第二特征提取单元22可以从目标图像70本身生成第二特征图。在这种情况下,第二特征提取单元22获取目标图像70,而不是第一特征图80。第二特征提取单元22通过对目标图像70本身执行卷积处理来生成第二特征图81。
第一计数单元25从第一特征提取单元21获取第一特征图80,并使用第一特征图80来计算目标图像70中具有第一大小的物体的总数。具体地,第一计数单元25被训练,以便能够确定具有第一大小的物体的特征。完成训练的第一计数单元25检测目标图像70中具有第一大小的每个物体,并对物体进行计数,以计算具有第一大小的物体的总数。
第二计数单元26从第二特征提取单元22获取第二特征图81,并使用第二特征图81计算目标图像70中具有第二大小的物体的总数。具体地,第二计数单元26被训练,以便能够确定具有第二大小的物体的特征。完成训练的第二计数单元26检测目标图像70中具有第二大小的每个物体,并对物体进行计数,以计算具有第二大小的物体的总数。例如,第一计数单元25/第二计数单元26是具有经训练的参数的卷积神经网络。然后,第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23、第二位置似然估计单元24、第一计数单元25和第二计数单元26可以被配置为一个神经网络。第一计数单元25和第二计数单元26的训练方法的示例将在后面的示例实施例中描述。
(本示例实施例的效果)
根据本示例实施例的配置,第一特征提取单元21通过对目标图像70执行卷积处理来生成指示物体的特征的第一特征图80。第二特征提取单元22进一步对第一特征图80执行卷积处理以生成指示物体特征的第二特征图81。第一位置似然估计单元23使用第一特征图80来估计第一似然图,该第一似然图指示目标图像70的每个位置处存在具有第一大小的物体的概率。使用第二特征图81,第二位置似然估计单元24估计第二似然图,该第二似然图指示目标图像70的每个位置处存在具有大于第一大小的第二大小的物体的概率。
如上所述,由于物体位置估计设备3使用第一特征图80和第二特征图81来估计具有第一大小的物体的位置和具有第二大小的物体的位置,因此即使物体在目标图像70中彼此重叠,也可以稳健且高精度地估计每个物体的位置。
此外,根据本示例实施例的配置,第一计数单元25使用第一特征图80对目标图像70中具有第一大小的物体进行计数。第二计数单元26使用第二特征图81对目标图像70中具有第二大小的物体进行计数。结果,物体位置估计设备3可以更精确地估计目标图像70中包括的第一大小的物体/具有第二大小的物体的总数。
[示例实施例4]
将参照图6来描述示例实施例4。
(物体位置估计设备4)
图6是根据本示例实施例4的物体位置估计设备4的配置的框图。如图6所示,物体位置估计设备4包括第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23和第二位置似然估计单元24。此外,物体位置估计设备4还包括第一位置指定单元27和第二位置指定单元28。与根据示例实施例2的修改型的物体位置估计设备2a类似,根据本示例实施例4的修改型的物体位置估计设备4可以包括三个或更多个特征提取单元和三个或更多个位置似然估计单元。在那种情况下,添加与特征提取单元和位置似然估计的数量一样多的位置指定单元。第一位置指定单元27和第二位置指定单元28是第一位置指定部件和第二位置指定部件的示例。
第一位置指定单元27根据指示具有第一大小的物体的位置的第一似然图来指定目标图像70中具有第一大小的物体的位置,该第一似然图从第一位置似然估计单元23获得。
具体地,第一位置指定单元27从第一似然图中提取指示似然的局部最大值的坐标。在从第一似然图中获取指示似然的局部最大值的坐标之后,第一位置指定单元27可以基于指示似然的局部最大值的坐标之间的距离或其中指示似然的局部最大值的坐标周围的似然的扩展是方差值的马哈拉诺比斯距离,将指示似然的局部最大值的多个坐标整合为一个。
例如,在指示似然的局部最大值的坐标之间的马哈拉诺比斯距离小于阈值的情况下,第一位置指定单元27对这些局部最大值进行整合。在这种情况下,第一位置指定单元27可以将多个局部最大值的平均值设置为经整合的局部最大值。备选地,第一位置指定单元27可以将多个指示局部最大值的坐标的中间位置设置为经整合的局部最大值的坐标。
此后,第一位置指定单元27通过对第一似然图中的所有似然进行求和来计算目标图像70中的第一大小的物体的总数(在下文中,被称为物体的第一数量)。
当目标图像70中物体的第一数量不为0时,第一位置指定单元27进一步从第一似然图中指示似然的局部最大值的坐标之中按照似然的降序提取与目标图像70中物体的第一数量相同数量的坐标。结果,即使在第一似然图中出现由噪声引起的大量局部最大值的情况下,第一位置指定单元27也可以排除与具有第一大小的物体无关的局部最大值。在由此提取的一个或多个坐标对应于第一大小的物体的位置的情况下,第一位置指定单元27生成第一物体位置图。第一位置指定单元27可以输出坐标本身,而不是物体位置图。第一物体位置图指示目标图像70中存在具有第一大小的物体的位置。
第一位置指定单元27还可以从第一似然图中所提取的指示似然的局部最大值的坐标之中提取具有预定值或更大的似然的坐标。结果,第一位置指定单元27可以排除与具有第一大小的物体无关的局部最大值。第一位置指定单元27指定目标图像70中与以这种方式提取的坐标相关联的位置处存在第一大小的物体。
具体地,第二位置指定单元28使用第二似然图来指定目标图像70中具有第二大小的物体的位置。例如,第二位置指定单元28从第二似然图中提取指示似然的局部最大值的坐标。在从第二似然图中获取指示似然的局部最大值的坐标之后,第二位置指定单元28可以基于指示似然的局部最大值的坐标之间的距离或其中指示似然的局部最大值的坐标周围的似然的扩展是方差值的马哈拉诺比斯距离,将指示似然的局部最大值的多个坐标整合为一个。
例如,在指示似然的局部最大值的坐标之间的马哈拉诺比斯距离小于阈值的情况下,第二位置指定单元28对这些局部最大值进行整合。在这种情况下,第二位置指定单元28可以将多个局部最大值的平均值设置为经整合的局部最大值。备选地,第二位置指定单元28可以将指示局部最大值的多个坐标的中间位置设置为经整合的局部最大值的坐标。
此后,第二位置指定单元28通过对第二似然图中的所有似然进行求和来计算目标图像70中的第二大小的物体的总数(在下文中,被称为物体的第二数量)。
当目标图像70中物体的第二数量不为0时,第二位置指定单元28进一步从第二似然图中指示似然的局部最大值的坐标之中按照似然的降序提取与目标图像70中物体的第二数量相同数量的坐标。在由此提取的一个或多个坐标对应于第二大小的物体的位置的情况下,第二位置指定单元28生成第二物体位置图。第二位置指定单元28可以输出坐标本身,而不是物体位置图。第二物体位置图指示目标图像70中存在具有第二大小的物体的位置。
第二位置指定单元28还可以从第二似然图中所提取的指示似然的局部最大值的坐标之中提取具有预定值或更大的似然的坐标。结果,第二位置指定单元28可以排除与具有第二大小的物体无关的局部最大值。第二位置指定单元28指定目标图像70中与以这种方式提取的坐标相关联的位置处存在第二大小的物体。
第一位置指定单元27/第二位置指定单元28可以对第一似然图/第二似然图执行诸如模糊处理之类的图像处理作为用于生成第一物体位置图/第二物体位置图的预处理。结果,可以从第一似然图/第二似然图中去除噪声。作为生成第一物体位置图/第二物体位置图的后处理,第一位置指定单元27/第二位置指定单元28可以使用例如指示具有第一大小/第二大小的物体位置的坐标之间的距离、或具有指示具有第一大小/第二大小的物体的位置的坐标周围的似然的扩展作为方差值的马哈拉诺比斯距离,来对指示具有第一大小/第二大小的物体的位置的坐标进行整合。
第一位置指定单元27/第二位置指定单元28可以输出指示通过任何方法如上所述估计的具有第一大小/第二大小的物体的位置的坐标。例如,第一位置指定单元27/第二位置指定单元28可以使显示设备显示表示指示物体位置的坐标的图,或者可以将指示物体位置的坐标的数据存储在存储设备(未示出)中。
(本示例实施例的效果)
根据本示例实施例的配置,第一特征提取单元21通过对目标图像70执行卷积处理来生成指示物体的特征的第一特征图80。第二特征提取单元22进一步对第一特征图80执行卷积处理以生成指示物体特征的第二特征图81。第一位置似然估计单元23使用第一特征图80来估计第一似然图,该第一似然图指示目标图像70的每个位置处存在具有第一大小的物体的概率。使用第二特征图81,第二位置似然估计单元24估计第二似然图,该第二似然图指示目标图像70的每个位置处存在具有大于第一大小的第二大小的物体的概率。
如上所述,由于物体位置估计设备4使用第一特征图80和第二特征图81来估计具有第一大小的物体的位置和具有第二大小的物体的位置,因此即使物体在目标图像70中彼此重叠,也可以稳健且高精度地估计每个物体的位置。
根据本示例实施例的配置,第一似然图/第二似然图被转换为指示所确定的物体位置的第一物体位置图/第二物体位置图。然后,作为估计物体位置的结果,输出第一物体位置图/第二物体位置图或基于第一物体位置图/第二物体位置图的信息。结果,物体位置估计设备4可以以另一设备或另一应用容易处理的形式来提供指示物体的位置的估计结果的信息。
[示例实施例5]
将参照图7来描述示例实施例5。
(物体位置估计设备5)
图7是示出了根据本示例实施例5的物体位置估计设备5的配置的框图。如图7所示,与示例实施例3类似,物体位置估计设备5包括第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23、第二位置似然估计单元24、第一计数单元25和第二计数单元16。此外,物体位置估计设备5还包括第一位置指定单元29和第二位置指定单元30。物体位置估计设备5可以包括三个或更多个特征提取单元、三个或更多个位置似然估计单元、以及三个或更多个计数单元。在那种情况下,添加与特征提取单元、位置似然估计和计数单元的数量一样多的位置指定单元。
第一位置指定单元29从第一位置似然估计单元23获取指示存在具有第一大小的物体的概率的第一似然图。第一位置指定单元29从第一计数单元25获取物体的第一数量(其是具有第一大小的物体的总数)。第一位置指定单元29从第一似然图中指定指示似然的局部最大值的坐标。第一位置指定单元29按照似然的降序从第一似然图中指示似然的局部最大值的坐标之中提取与由物体的第一数量指示的物体的总数相同数量的坐标。然后,第一位置指定单元29生成指示第一大小的物体的位置的第一物体位置图。
第二位置指定单元30从第二位置似然估计单元24获取指示存在具有第二大小的物体的概率的第二似然图。第二位置指定单元30从第二计数单元26获取物体的第二数量(其是第二大小的物体的总数)。第二位置指定单元30从第二似然图中指定指示似然的局部最大值的坐标。第二位置指定单元30按照似然的降序从第二似然图中指示似然的局部最大值的坐标之中提取与由物体的第二数量指示的物体的总数相同数量的坐标。然后,在所提取的坐标对应于第二大小的物体的位置的情况下,第二位置指定单元30生成第二物体位置图。
备选地,第一位置指定单元29和第二位置指定单元30还可以具有示例实施例4中描述的第一位置指定单元27和第二位置指定单元28的功能。
具体地,第一似然图/第二似然图可以包括噪声。因此,作为用于生成第一物体位置图/第二物体位置图的预处理,第一位置指定单元29/第二位置指定单元30可以对第一似然图/第二似然图中的每一个执行诸如模糊处理之类的图像处理。结果,可以使第一似然图/第二似然图中包括的噪声不明显。
作为后处理,第一位置指定单元29/第二位置指定单元30可以从第一物体位置图/第二物体位置图中获取指示似然的局部最大值的坐标,然后基于指示似然的局部最大值的坐标之间的距离、或具有指示似然的局部最大值的坐标周围的似然的扩展作为方差值的马哈拉诺比斯距离,将指示似然的局部最大值的多个坐标整合为一个。
例如,在指示似然的局部最大值的坐标之间的马哈拉诺比斯距离小于阈值的情况下,第一位置指定单元29/第二位置指定单元30对这些局部最大值进行整合。在这种情况下,第一位置指定单元29/第二位置指定单元30可以将多个局部最大值的平均值设置为经整合的局部最大值。备选地,第一位置指定单元29/第二位置指定单元30可以将指示局部最大值的多个坐标的中间位置设置为经整合的局部最大值的坐标。
第一位置指定单元29/第二位置指定单元30可以通过任何方法来输出第一物体位置图/第二物体位置图、或基于第一物体位置图或第二物体位置图的信息。例如,第一位置指定单元29/第二位置指定单元30控制显示设备在显示设备上显示第一物体位置图/第二物体位置图、或基于第一物体位置图/第二物体位置图的信息。备选地,第一位置指定单元29/第二位置指定单元30可以将第一物体位置图/第二物体位置图存储在可从物体位置估计设备5访问的存储设备中。此外,第一位置指定单元29/第二位置指定单元30可以将第一物体位置图/第二物体位置图、或基于第一物体位置图/第二物体位置图的信息发送到可从物体位置估计设备5访问的另一设备。
(本示例实施例的效果)
根据本示例实施例的配置,第一特征提取单元21通过对目标图像70执行卷积处理来生成指示物体的特征的第一特征图80。第二特征提取单元22进一步对第一特征图80执行卷积处理以生成指示物体特征的第二特征图81。第一位置似然估计单元23使用第一特征图80来估计第一似然图,该第一似然图指示目标图像70的每个位置处存在具有第一大小的物体的概率。使用第二特征图81,第二位置似然估计单元24估计第二似然图,该第二似然图指示目标图像70的每个位置处存在具有大于第一大小的第二大小的物体的概率。
如上所述,由于物体位置估计设备5使用第一特征图80和第二特征图81来估计具有第一大小/第二大小的物体的位置,因此即使这些物体在目标图像70中彼此重叠,也可以稳健且高精度地估计每个物体的位置。
根据本示例实施例的配置,第一位置指定单元29/第二位置指定单元30将第一似然图/第二似然图转换为指示所确定的物体位置的第一物体位置图/第二物体位置图。然后,作为估计物体位置的结果,输出第一物体位置图/第二物体位置图或基于第一物体位置图/第二物体位置图的信息。结果,物体位置估计设备5可以以另一设备或另一应用容易处理的形式来提供指示物体的位置的估计结果的信息。
此外,第一位置指定单元29/第二位置指定单元30按照似然的降序从似然图中指示似然的局部最大值的坐标之中获取与由第一计数单元25和第二计数单元26计数的具有第一大小/第二大小的物体的总数相同数量的坐标。因此,即使当第一似然图/第二似然图上出现由噪声引起的大量似然的局部最大值时,物体位置估计设备5也可以精确地获取目标图像70中出现的具有第一大小/第二大小的物体的坐标。
[示例实施例6]
将参照图8和图9来描述示例实施例6。
(物体位置估计设备6)
图8是示出了根据本示例实施例6的物体位置估计设备6的配置的框图。除了以下描述的点以外,物体位置估计设备6具有与根据示例实施例2的物体位置估计设备2的功能等同的功能。
如图8所示,根据本示例实施例6的物体位置估计设备6包括第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23、以及第二位置似然估计单元24。物体位置估计设备6还包括训练单元41。训练单元41是训练部件的示例。
在本示例实施例6的修改型中,物体位置估计设备6可以包括三个或更多个特征提取单元和三个或更多个位置似然估计单元。例如,物体位置估计设备6设置有n(>2)个特征提取单元和n个位置似然估计单元。在这种情况下,训练数据(即,教师数据)包括训练图像、物体信息和从第一正确似然图至第n正确似然图的n个正确似然图。从第一正确似然图至第n正确似然图的n个正确似然图可以被称为正确值。
(学习单元41)
训练单元41通过使用预先准备的训练数据(即,教师数据)来训练物体位置估计设备6的每个单元(训练单元41除外)。训练数据包括训练图像、物体信息、第一正确似然图和第二正确似然图。
第一正确似然图是指示训练图像中第一大小的物体的位置的概率,并且是基于物体区域来确定的。第二正确似然图是指示训练图像中第二大小的物体的位置的概率,并且是基于物体区域来确定的。用于生成第一正确似然图和第二正确似然图的方法不受限制。例如,操作者可以视觉上观察在显示设备上显示的训练图像中的物体区域,并手动生成第一正确似然图和第二正确似然图。物体位置估计设备6还可以包括稍后描述的物体位置估计设备6a中所示的训练数据生成单元42,并且训练数据生成单元42可以生成第一正确似然图和第二正确似然图。
当训练数据由与物体位置估计设备6不同的另一设备生成时,物体位置估计设备6从该另一设备获取训练数据。例如,训练数据被预先存储在可从物体位置估计设备6访问的存储设备中。在这种情况下,物体位置估计设备6从存储设备获取训练数据。备选地,物体位置估计设备6可以获取由训练数据生成单元42生成的训练数据(稍后描述的修改型)。
物体位置估计设备6不学习物体的形状的特征,但在考虑到物体之间的重叠的情况下学习训练图像中物体的位置。结果,物体位置估计设备6可以原样学习训练图像中的物体之间的重叠。
训练单元41将训练图像输入到第一特征提取单元21。第一特征提取单元21从训练图像生成第一特征图80。然后,第一位置似然估计单元23基于第一特征图80输出指示具有第一大小的物体的位置的第一似然图。第一位置似然估计单元23将第一似然图输出到训练单元41。
第一特征提取单元21将第一特征图80输入到第二特征提取单元22。第二特征提取单元22从第一特征图80生成第二特征图81。
备选地,第二特征提取单元22可以从训练图像本身生成第二特征图。在这种情况下,第二特征提取单元22获取训练图像,而不是第一特征图80。第二特征提取单元22通过对训练图像本身执行比第一特征提取单元21更多的卷积处理来生成第二特征图81。
第二位置似然估计单元24基于第二特征图81输出指示训练图像中具有第二大小的物体的位置的第二似然图。第二位置似然估计单元24将第二似然图输出到训练单元41。
训练单元41计算来自第一位置似然估计单元23和第二位置似然估计单元24的每个输出(第一似然图、第二似然图)与训练数据中包括的正确值(第一正确似然图、第二正确似然图)之间的误差作为第一损失。例如,训练单元41计算第一似然图/第二似然图与第一正确似然图/第二正确似然图之间的均方误差。然后,训练单元41将所计算的图之间的均方误差设置为第一损失。训练单元41训练物体位置估计设备6的每个单元(训练单元41除外)以便减少所计算的第一损失。
本文使用的术语“训练”意味着更新物体位置估计设备6的每个单元的参数。例如,训练单元41可以使用诸如反向传播之类的已知技术来执行训练处理。具体地,训练单元41使用预设的第一损失的计算公式(例如,损失函数)来计算第一损失,并训练物体位置估计设备6的每个单元以减小第一损失。备选地,训练单元41获取存储在可访问的存储设备中的第一损失的计算公式,计算第一损失,并训练物体位置估计设备6的每个单元以便减少第一损失。
在一个示例中,训练单元41基于从第一位置似然估计单元23/第二位置似然估计单元24的输出反馈到训练单元41的信息(即,第一似然图/第二似然图)来更新物体位置估计设备6的每个单元(训练单元41除外)的参数。
在更新物体位置估计设备6的每个单元(训练单元41除外)的参数之后,物体位置估计设备6的每个单元使用另一训练数据来估计并输出第一似然图/第二似然图。第一似然图/第二似然图从第一位置似然估计单元23/第二位置似然估计单元24的输出反馈到训练单元41。训练单元41基于反馈的信息(即,第一似然图/第二似然图)再次更新物体位置估计设备6的每个单元(训练单元41除外)的参数。
训练单元41可以通过上述方法重复地执行物体位置估计设备6的每个单元的训练,直到第一损失的幅度变得等于或小于预定阈值。然而,训练单元41结束物体位置估计设备6的每个单元(训练单元41除外)的训练的条件不受限制。以这种方式,训练单元41重复地训练物体位置估计设备6的每个单元的参数以便减少第一损失。结果,由于通过第一特征提取单元21同时训练第一似然图的估计和第二似然图的估计,因此物体位置估计设备6可以更精确地估计物体的位置,并且训练速度可以提高。
(物体位置估计设备6的操作)
将参照图9来描述根据本示例实施例6的物体位置估计设备6的操作。图9是示出了物体位置估计设备6的操作流程的流程图。这里,将描述物体位置估计设备6使用单个训练数据来执行训练的情况。当存在多条训练数据时,物体位置估计设备6重复图9中所示的从步骤S20至S23的处理,并针对每条训练数据来执行处理。
如图9所示,首先,训练单元41获取训练数据(S20)。训练单元41将包括在训练数据中的训练图像输入到第一特征提取单元21(S21)。训练单元41计算指示每个位置似然估计单元的输出与正确值之间的误差的第一损失(S22),并执行物体位置估计设备6的每个单元的训练(参数更新)以便减少所计算的第一损失(S23)。
因此,物体位置估计设备6的操作结束。
[修改型1]
在修改型1中,训练数据的物体信息除了物体的位置和大小之外,还指示物体的属性。训练单元41针对物体的每个属性,准备作为指示第一大小的物体的位置的概率的第一正确似然图和作为指示第二大小的物体的位置的概率的第二正确似然图作为训练数据。然后,训练单元41通过上述方法(图9)使用训练图像、针对每个属性的作为指示第一大小的物体的位置的概率的第一正确似然图、以及针对每个属性的作为指示第二大小的物体的位置的概率的第二正确似然图来执行物体位置估计设备6的每个单元的训练。
根据修改型1的配置,使用针对每个属性的第一正确似然图和第二正确似然图来执行物体位置估计设备6的每个单元的训练。结果,物体位置估计设备6可以针对物体的每个属性估计物体的位置。例如,物体位置估计设备6可以估计大人(物体的属性的示例)的位置,也可以单独估计小孩(物体的位置的另一示例)的位置。
[修改型2]
在训练图像中的物体的总数少或物体的布置的偏差大的情况下,可能无法正确地进行训练。具体地,在作为训练数据的第一正确似然图或第二正确似然图中,可能存在许多似然为0的坐标。
在上述用于最小化第一损失的训练中,根据本修改型2的训练单元41训练物体位置估计设备6的每个单元,以便最小化一些坐标中的误差,而不使用作为训练数据的第一正确似然图/第二正确似然图和作为估计结果的第一似然图/第二似然图中所有坐标中的误差。具体地,根据本修改型2的训练单元41选择作为训练数据的第一正确似然图/第二正确似然图上的一些坐标,使得在作为训练数据的第一正确似然图/第二正确似然图中似然为0的坐标的数量和其他坐标的数量变成预定比率。然后,根据所选择的第一正确似然图/第二正确似然图上的坐标,也选择作为估计结果的第一似然图/第二似然图的坐标。例如,训练单元41从第一正确似然图/第二正确似然图中选择相同数量的似然为0的坐标和其他坐标,并且也根据第一正确似然图/第二正确似然图上的所选择的坐标来选择第一似然图/第二似然图的坐标。训练单元41更新物体位置估计设备6的每个单元的参数,以便最小化所选择的坐标中的第一误差。
(物体位置估计设备6a)
图10是示出了根据本示例实施例6的修改型的物体位置估计设备6a的配置的框图。根据本修改型的物体位置估计设备6a包括第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23、以及第二位置似然估计单元24。物体位置估计设备6a还包括训练单元41和训练数据生成单元42。训练数据生成单元42是训练数据生成部件的示例。物体位置估计设备6a与上述物体位置估计设备6的不同之处在于物体位置估计设备6a还包括训练数据生成单元42。
(学习数据生成单元42)
训练数据生成单元42生成训练数据(教师数据)以用于训练单元41执行训练。
将参照图11来描述根据本修改型的训练数据生成单元42的操作。图11示出了由训练数据生成单元执行以创建作为训练数据的第一正确似然图和第二正确似然图的处理流程。
训练数据生成单元42获取训练图像。例如,训练图像和物体信息由操作者输入到物体位置估计设备6a。这里,训练图像包括作为由物体位置估计设备6a进行的位置估计的目标的具有第一大小的物体/具有第二大小的物体(在图11中作为“目标物体”的头部)。训练图像中的物体区域由与训练图像相关联的物体信息来指定。
物体区域对应于训练图像中物体所占据的区域。例如,物体区域是训练图像中由外接物体的矩形或其他二维形状围绕的区域。例如,物体信息指定训练图像中物体区域(例如,物体的外接矩形)的左上角和右下角的坐标。
训练数据生成单元42通过使用与训练图像相关联的物体信息来指定训练图像中物体的位置和大小。然后,根据下面描述的过程,训练数据生成单元42生成第一正确似然图和第二正确似然图。
如图11所示,训练数据生成单元42首先基于与训练图像相关联的物体信息来检测具有第一大小的物体和具有第二大小的物体中的每一个。训练数据生成单元42指定训练图像中具有第一大小的物体/具有第二大小的物体的位置。
接着,训练数据生成单元42准备其中所有坐标的似然为0的初始第一正确似然图/初始第二正确似然图,并在第一正确似然图/第二正确似然图上生成以具有第一大小的物体/具有第二大小的物体的物体区域的中心或质心为中心的似然的正态分布。在生成似然的正态分布时,训练数据生成单元42在第一正确似然图上生成针对具有第一大小的物体的似然的正态分布,并在第二正确似然图上生成针对具有第二大小的物体的似然的正态分布。
此外,训练数据生成单元42通过参数来定义第一正确似然图/第二正确似然图上的正态分布的扩展。例如,参数可以是指示正态分布的函数的中心(平均)和方差的参数。在这种情况下,指示正态分布的函数的中心可以是指示物体的位置的值(例如,物体区域的中心或质心),并且指示正态分布的函数的方差可以是与物体区域的大小相关的值。指示正态分布的函数的形式可以被设置为使得指示正态分布的函数的中心值变为1。
如上所述,训练数据生成单元42生成指示训练图像的每个位置处存在具有第一大小的物体/具有第二大小的物体的概率的第一正确似然图/第二正确似然图。在第一正确似然图/第二正确似然图中,具有第一大小的物体/具有第二大小的物体的物体区域与似然的正态分布的扩展有关。
在多个似然的正态分布在第一正确似然图和第二正确似然图上的某个部分中重叠的情况下,训练数据生成单元42可以将该部分中的相同坐标处的似然的最大值设置为该坐标处的似然。备选地,训练数据生成单元42可以将多个正态分布重叠的部分的坐标处的似然的平均值设置为该坐标处的似然。然而,训练数据生成单元42可以通过其他方法来计算第一正确似然图和第二正确似然图上多个正态分布重叠的部分中的似然。
训练数据生成单元42基于物体信息来计算训练图像中具有第一大小的物体的总数(物体的第一数量)。训练数据生成单元42对第一正确似然图的似然进行归一化,使得第一正确似然图中的似然之和与训练图像中的物体的第一数量一致。在图11中,省略了归一化的第一正确似然图。备选地,训练数据生成单元42可以通过使用在训练图像中包括的物体区域的比例之和来对物体的第一数量进行计数。
归一化的第一正确似然图的每个坐标处的似然表示由该坐标指示的位置处存在具有第一大小的物体的概率。整个归一化的第一正确似然图的似然之和等于训练图像中包括的具有第一大小的物体的总数。也就是说,整个第一正确似然图的似然之和也具有第一正确似然图中存在的物体的总数的含义。
此外,训练数据生成单元42使归一化的第一正确似然图的大小等于作为第一位置似然估计单元23的输出的第一似然图的大小。换句话说,训练数据生成单元42转换第一正确似然图,使得归一化的第一正确似然图上的每个坐标在一对一的基础上与训练图像中的每个位置相关联。在以上描述中,训练数据生成单元42执行归一化的情况已经被描述为示例,但是归一化处理不是必需的。也就是说,训练数据生成单元42可以不对第一正确似然图和第二正确似然图进行归一化。
训练数据生成单元42使用物体信息从训练图像中指定具有第二大小的物体。训练数据生成单元42生成表示具有指定的第二大小的物体的位置的正态分布。然后,类似于关于第一正确似然图描述的过程,训练数据生成单元42生成第二正确似然图,并对该第二正确似然图进行归一化。在图11中,省略了归一化的第二正确似然图。
此外,训练数据生成单元42将归一化的第二正确似然图的大小与第二似然图的大小相匹配。也就是说,训练数据生成单元42转换第二正确似然图,使得归一化的第二正确似然图上的每个坐标在一对一的基础上与训练图像中的每个位置相关联。第二正确似然图上的每个坐标处的似然指示训练图像上的相关位置处存在具有第二大小的物体的概率。在以上描述中,训练数据生成单元42执行归一化的情况已经被描述为示例,但是归一化处理不是必需的。也就是说,训练数据生成单元42可以不对第一正确似然图和第二正确似然图进行归一化。
训练数据生成单元42将训练图像、物体信息和正确值相关联。正确值包括第一正确似然图和第二正确似然图。
(本示例实施例的效果)
根据本示例实施例的配置,第一特征提取单元21通过对目标图像70执行卷积处理来生成指示物体的特征的第一特征图80。第二特征提取单元22进一步对第一特征图80执行卷积处理以生成指示物体特征的第二特征图81。第一位置似然估计单元23使用第一特征图80来估计第一似然图,该第一似然图指示目标图像70的每个位置处存在具有第一大小的物体的概率。使用第二特征图81,第二位置似然估计单元24估计第二似然图,该第二似然图指示目标图像70的每个位置处存在具有大于第一大小的第二大小的物体的概率。
如上所述,由于物体位置估计设备6(6a)使用第一特征图80和第二特征图81来估计具有第一大小/第二大小的物体的位置,因此即使这些物体在目标图像70中彼此重叠,也可以稳健且高精度地估计每个物体的位置。
物体位置估计设备6(6a)使用第一正确似然图/第二正确似然图来学习具有第一大小的物体/具有第二大小的物体的位置作为物体的包括物体之间的重叠的布置图案。在第一正确似然图/第二正确似然图中,训练图像的每个坐标中存在具有第一大小的物体/具有第二大小的物体的概率由似然表示。结果,即使在目标图像70中物体彼此重叠的情况下,物体位置估计设备6(6a)也可以稳健且高精度地估计目标图像70中的物体的位置。
[示例实施例7]
将参照图12和图13来详细描述示例实施例7。
(物体位置估计设备7)
图12是示出了根据本示例实施例7的物体位置估计设备7的配置的框图。如图12所示,物体位置估计设备7包括第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23和第二位置似然估计单元24。物体位置估计设备7包括训练单元41。此外,物体位置估计设备7还包括第一计数单元25和第二计数单元26。例如,物体位置估计设备7的每个单元能够在诸如卷积神经网络之类的神经网络中独立地或整体地起作用。
(学习单元41)
训练单元41通过使用预先准备的训练数据(即,教师数据)对物体位置估计设备7中包括的每个单元(训练单元41除外)进行训练。
在本示例实施例7中,训练数据包括训练图像和物体信息。训练图像包括针对其估计位置似然的物体。训练单元41使用训练图像来学习对物体的位置的似然和物体的总数的估计。训练数据还包括物体的第一数量的正确值、物体的第二数量的正确值、第一正确似然图和第二正确似然图。在下文中,可以将第一正确似然图、第二正确似然图、物体的第一数量的正确值、以及物体的第二数量的正确值统称为正确值。这些条训练数据用于使物体位置估计设备7的每个单元(训练单元41除外)学习训练单元41估计物体的位置的似然和物体的总数。生成正确值的方法不受限制。
例如,操作者指定训练图像中具有第一大小的物体/具有第二大小的物体的位置,并在所有坐标的似然为零的初始第一正确似然图/第二正确似然图上给出以具有第一大小/第二大小的物体的位置为中心的似然的正态分布。操作者对训练图像中出现的具有第一大小的物体和具有第二大小的物体中的每一个进行计数,并将训练图像中出现的具有第一大小的物体的总数确定为物体的第一数量的正确值,并将训练图像中出现的具有第二大小的物体的总数确定为物体的第二数量的正确值。
第一正确似然图的每个坐标中的似然指示训练图像中的相关位置处存在第一大小的物体的概率。第二正确似然图的每个坐标中的似然指示训练图像中的相关位置处存在第二大小的物体的概率。
物体的第一数量的正确值指示训练图像中包括的具有第一大小的物体的总数。物体的第二数量的正确值指示训练图像中包括的具有第二大小的物体的总数。此外,物体位置估计设备7可以包括要稍后描述的物体位置估计设备7a中所示的训练数据生成单元42,并且训练数据生成单元42可以生成每个正确值。
训练单元41将训练图像输入到第一特征提取单元21,并计算从第一位置似然估计单元23和第二位置似然估计单元24输出的第一似然图/第二似然图与在训练数据中包括的正确值(第一正确似然图/第二正确似然图)之间的误差作为第一损失。训练单元41计算当训练图像被输入到第一特征提取单元21时从第一计数单元25和第二计数单元26输出的第一物体的数量/第二物体的数量与在训练数据中包括的另一正确值(物体的第一数量的正确值和物体的第二数量的正确值)之间的误差作为第二损失。
训练单元41使物体位置估计设备7的每个单元学习,以便减少第一损失和第二损失中的至少一个。
具体地,训练单元41基于第一损失和第二损失中的至少一个来更新物体位置估计设备7的每个单元(训练单元41除外)的参数。在一个示例中,训练单元41使物体位置估计设备7的每个单元学习,以便由第一位置似然估计单元23输出的第一似然图与第一正确似然图相匹配。同时,训练单元41使物体位置估计设备7的每个单元学习,以便由第二位置似然估计单元24输出的第二似然图与第二正确似然图相匹配。
此外,训练单元41使物体位置估计设备7的每个单元学习,以便由第一计数单元25计数的物体的第一数量与物体的第一数量的正确值相匹配。此外,训练单元41使物体位置估计设备7的每个单元学习,以便由第二计数单元26计数的物体的第二数量与物体的第二数量的正确值相匹配。
可以存在训练图像中的物体的布置的偏差较大的情况。在这种情况下,训练单元41可以使物体位置估计设备7的每个单元学习,以便仅最小化第一似然图/第二似然图中的一些坐标中的误差。这里描述的示例在物体位置估计设备6的修改型2中示出。
(物体位置估计设备7a)
图13是示出了根据本示例实施例7的修改型的物体位置估计设备7a的配置的框图。根据本修改型的物体位置估计设备7a包括第一特征提取单元21、第二特征提取单元22、第一位置似然估计单元23、第二位置似然估计单元24、第一计数单元25、第二计数单元26和训练单元41。物体位置估计设备7a还包括训练数据生成单元42。根据本修改型的物体位置估计设备7a与物体位置估计设备7的不同之处在于物体位置估计设备7a还包括训练数据生成单元42。
如上述示例实施例6中,训练数据生成单元42生成训练数据(教师数据),用于执行与目标图像70中具有第一大小的物体的位置/具有第二大小的物体的位置的估计有关的训练。由训练数据生成单元42生成的训练数据包括训练图像、物体信息和正确值。
根据本修改型的训练数据生成单元42生成包括物体的第一数量的正确值和物体的第二数量的正确值的训练数据作为正确值。在这一方面,物体位置估计设备7a的训练数据生成单元42与物体位置估计设备6a的训练数据生成单元42不同。物体位置估计设备7a的训练数据生成单元42使用具有第一大小的物体的总数和具有第二大小的物体的总数来生成物体的第一数量的正确值和物体的第二数量的正确值,该具有第一大小的物体的总数和该具有第二大小的物体的总数在根据示例实施例6的修改型的物体位置估计设备6a的训练数据生成单元42的处理中获得。具有第一大小的物体的总数和具有第二大小的物体的总数是通过用于归一化第一正确似然图和第二正确似然图的计数处理获得的,如针对根据示例实施例6的修改型的物体位置估计设备6a的训练数据生成单元42所描述的。
(本示例实施例的效果)
根据本示例实施例的配置,根据本示例实施例7的物体位置估计设备7和根据示例实施例7的修改型的物体位置估计设备7a被配置为使得多个部分分别同时连接到第一特征提取单元21和第二特征提取单元22中的后级,并且在训练中,第一特征提取单元21和第二特征提取单元22受多个部分的影响,以适当地更新参数。此外,第一特征提取单元21和第二特征提取单元22用作在后级处连接的多个部分的公共部分,并同时训练第一特征提取单元21和第二特征提取单元22。结果,可以改进物体位置估计设备7和7a中估计物体的位置的精度和对物体进行计数的精度,并且可以改进训练速度。
[硬件配置]
图14示出了根据示例实施例1的物体位置估计设备1的硬件配置。物体位置估计设备1的每个配置作为计算机100读取并执行物体位置估计程序101(在下文中,简称为程序101)的功能来实现。参照图14,图像获取设备90连接到计算机100。存储计算机100可读的程序101的记录介质102连接到计算机100。
记录介质102包括磁盘、半导体存储器等。例如,计算机100在启动时读取存储在记录介质102中的程序101。程序101控制计算机100的操作以使计算机100用作根据上述本发明的示例实施例1的物体位置估计设备1中的每个单元。
这里,描述了由计算机100和程序101实现根据示例实施例1的物体位置估计设备1的配置。然而,根据示例实施例2至7的物体位置估计设备2至7(7a)也可以由计算机100和程序101来实现。
[补充注释]
以上参照附图描述了本发明的示例实施例,然而这些是本发明的示例,并且也可以采用其中组合示例实施例的配置的配置或除上述之外的各种配置。上述示例实施例中的一些或全部可以被描述为以下补充注释,但不限于以下。
(补充注释1)
一种物体位置估计设备,包括:
特征提取部件,包括第一特征提取部件和第二特征提取部件,所述第一特征提取部件被配置为通过对目标图像执行卷积处理来生成第一特征图,所述第二特征提取部件被配置为通过进一步对所述第一特征图执行卷积处理来生成第二特征图;以及
似然图估计部件,包括第一位置似然估计部件和第二位置似然估计部件,第一位置似然估计部件被配置为通过使用第一特征图来估计指示目标图像的每个位置处存在具有第一大小的物体的概率的第一似然图,第二位置似然估计部件被配置为通过使用第二特征图来估计指示目标图像的每个位置处存在具有大于第一大小的第二大小的物体的概率的第二似然图。
(补充注释2)
根据补充注释1所述的物体位置估计设备,其中,
第一似然图上的每个坐标对应于目标图像上的一个位置,并且第一似然图上的每个坐标处的似然指示目标图像上的对应一个位置处存在具有第一大小的物体的概率,或指示目标图像上另外存在的具有第一大小的物体的数量,以及
第二似然图上的每个坐标对应于目标图像上的一个位置,并且第二似然图上的每个坐标处的似然指示目标图像上的对应一个位置处存在具有第二大小的物体的概率,或指示目标图像上另外存在的具有第二大小的物体的数量。
(补充注释3)
根据补充注释1或2所述的物体位置估计设备,其中,
第一位置似然估计部件被配置为:针对第一大小的物体的每个属性估计具有第一大小的物体的位置,以及
第二位置似然估计部件被配置为:针对具有第二大小的物体的每个属性估计具有第二大小的物体的位置。
(补充注释4)
根据补充注释1至3中任一项所述的物体位置估计设备,还包括:
第一计数部件,被配置为基于第一特征图来对目标图像中具有第一大小的物体的总数进行计数;以及
第二计数部件,被配置为基于第二特征图来对目标图像中具有第二大小的物体的总数进行计数。
(补充注释5)
根据补充注释1至4中任一项所述的物体位置估计设备,还包括:
第一位置指定部件,被配置为基于第一似然图中指示似然的局部最大值的坐标来指定目标图像中具有第一大小的物体的位置;以及
第二位置指定部件,被配置为基于第二似然图中指示似然的局部最大值的坐标来指定目标图像中具有第二大小的物体的位置。
(补充注释6)
根据补充注释5所述的物体位置估计设备,其中,
第一位置指定部件被配置为:
根据第一似然图的全体似然之和计算目标图像中具有第一大小的物体的总数,或由第一计数部件对目标图像中具有第一大小的物体的总数进行计数,
按照似然的局部最大值的降序,从第一似然图中指示似然的局部最大值的坐标之中提取与具有第一大小的物体的总数相同数量的坐标,以及
基于所提取的指示似然的局部最大值的坐标来指定目标图像中具有第一大小的物体的位置,以及
所述第二位置指定部件被配置为:
根据第二似然图的全体似然之和计算目标图像中具有第二大小的物体的总数,或由第二计数部件对目标图像中具有第一大小的物体的总数进行计数,
按照似然的局部最大值的降序,从第二似然图中指示似然的局部最大值的坐标之中提取与具有第二大小的物体的总数相同数量的坐标,以及
基于所提取的指示似然的局部最大值的坐标来指定目标图像中具有第二大小的物体的位置。
(补充注释7)
根据补充注释1至6中任一项所述的物体位置估计设备,还包括:
训练部件,被配置为使物体位置估计设备的每个单元以以下这种方式执行训练:减少从第一位置似然估计部件和第二位置似然估计部件输出的第一似然图和第二似然图中的相对于预先获得的正确值的误差。
(补充注释8)
根据补充注释7所述的物体位置估计设备,还包括:
训练数据生成部件,被配置为基于训练图像和物体信息来生成要用于由训练部件进行训练的训练数据,其中,
训练数据包括训练图像、物体信息和正确值,
正确值包括第一正确似然图和第二正确似然图,以及
第一正确似然图指示训练图像中第一大小的物体的位置和物体区域的扩展,并且第二正确似然图指示训练图像中第二大小的物体的位置和物体区域的扩展。
(补充注释9)
根据补充注释8所述的物体位置估计设备,其中,
训练部件被配置为:通过使用训练数据中包括的第一正确似然图和第二正确似然图作为正确值来计算指示第一似然图和第二似然图与正确值之间的误差的第一损失。
(补充注释10)
根据补充注释1至9中任一项所述的物体位置估计设备,其中,
第一大小是从第一最小大小至第一最大大小的第一预定范围内的任何大小,
第二大小是从第二最小大小至第二最大大小的第二预定范围内的任何大小,第一预定范围与第二预定范围不重叠,并且第二大小大于第一大小。
(补充注释11)
根据补充注释1至10中任一项所述的物体位置估计设备,其中,
第一大小和第二大小与第一特征图和第二特征图的数据大小的倒数成比例。
(补充注释12)
一种物体位置估计方法,包括:
通过对目标图像执行卷积处理来生成第一特征图,并且通过进一步对第一特征图执行卷积处理来生成第二特征图;以及
使用第一特征图来估计指示目标图像的每个位置处存在具有第一大小的物体的概率的第一似然图,并使用第二特征图来估计指示目标图像的每个位置处存在具有大于第一大小的第二大小的物体的概率的第二似然图。
(补充注释13)
一种非暂时性记录介质,用于使计算机执行:
通过对目标图像执行卷积处理来生成第一特征图,并且通过进一步对第一特征图执行卷积处理来生成第二特征图;以及
使用第一特征图来估计指示目标图像的每个位置处存在具有第一大小的物体的概率的第一似然图,并使用第二特征图来估计指示目标图像的每个位置处存在具有大于第一大小的第二大小的物体的概率的第二似然图。
[工业实用性]
本发明可以在视频监控系统中例如用于以下目的:从捕捉或记录的视频中发现可疑人物或可疑物体,或者检测可疑行为或状态。本发明可以应用于行销中的应用,例如交通线分析或行为分析。另外,本发明可以应用于诸如用户界面之类的应用,用于从捕捉或记录的图像中估计物体的位置,并输入估计的二维空间或三维空间的位置信息。另外,本发明还可以应用于使用物体的位置的估计结果和该位置作为触发键的视频/视频搜索设备或视频搜索功能。
[附图标记列表]
1物体位置估计设备
2(2a)物体位置估计设备
3 物体位置估计设备
4 物体位置估计设备
5 物体位置估计设备
6(6a)物体位置估计设备
7 物体位置估计设备
10 特征提取单元
20 似然图估计单元
21 第一特征提取单元
22 第二特征提取单元
23 第一位置似然估计单元
24 第二位置似然估计单元
25 第一计数单元
26 第二计数单元
27 第一位置指定单元
28 第二位置指定单位
29 第一位置指定单元
30 第二位置指定单位
41 训练单元
42 训练数据生成单元
80 第一特征图
81 第二特征图
90 图像获取单元。

Claims (13)

1.一种物体位置估计设备,包括:
特征提取部件,包括第一特征提取部件和第二特征提取部件,所述第一特征提取部件被配置为通过对目标图像执行卷积处理来生成第一特征图,所述第二特征提取部件被配置为通过进一步对所述第一特征图执行卷积处理来生成第二特征图;以及
似然图估计部件,包括:
第一位置似然估计部件,被配置为通过使用所述第一特征图来估计第一似然图,所述第一似然图指示所述目标图像的每个位置处存在具有第一大小的物体的概率,以及
第二位置似然估计部件,被配置为通过使用所述第二特征图来估计第二似然图,所述第二似然图指示所述目标图像的每个位置处存在具有大于所述第一大小的第二大小的物体的概率。
2.根据权利要求1所述的物体位置估计设备,其中,
所述第一似然图上的每个坐标对应于所述目标图像上的一个位置,并且所述第一似然图上的每个坐标处的似然指示所述目标图像上的对应一个位置处存在具有所述第一大小的物体的概率,或指示所述目标图像上另外存在的具有所述第一大小的物体的数量,以及
所述第二似然图上的每个坐标对应于所述目标图像上的一个位置,并且所述第二似然图上的每个坐标处的似然指示所述目标图像上的对应一个位置处存在具有所述第二大小的物体的概率,或指示所述目标图像上另外存在的具有所述第二大小的物体的数量。
3.根据权利要求1或2所述的物体位置估计设备,其中,
所述第一位置似然估计部件被配置为:针对所述第一大小的物体的每个属性估计具有所述第一大小的物体的位置,以及
所述第二位置似然估计部件被配置为:针对所述第二大小的物体的每个属性估计具有所述第二大小的物体的位置。
4.根据权利要求1至3中任一项所述的物体位置估计设备,还包括:
第一计数部件,被配置为基于所述第一特征图来对所述目标图像中具有所述第一大小的物体的总数进行计数;以及
第二计数部件,被配置为基于所述第二特征图来对所述目标图像中具有所述第二大小的物体的总数进行计数。
5.根据权利要求1至4中任一项所述的物体位置估计设备,还包括:
第一位置指定部件,被配置为基于所述第一似然图中指示似然的局部最大值的坐标来指定所述目标图像中具有所述第一大小的物体的位置;以及
第二位置指定部件,被配置为基于所述第二似然图中指示似然的局部最大值的坐标来指定所述目标图像中具有所述第二大小的物体的位置。
6.根据权利要求5所述的物体位置估计设备,其中,
所述第一位置指定部件被配置为:
根据所述第一似然图的全体似然之和来计算所述目标图像中具有所述第一大小的物体的总数,或对所述目标图像中具有所述第一大小的物体的总数进行计数,
按照所述似然的局部最大值的降序,从所述第一似然图中指示所述似然的局部最大值的坐标之中提取与具有所述第一大小的物体的总数相同数量的坐标,以及
基于所提取的指示所述似然的局部最大值的坐标来指定所述目标图像中具有所述第一大小的物体的位置,以及
所述第二位置指定部件被配置为:
根据所述第二似然图的全体似然之和来计算所述目标图像中具有所述第二大小的物体的总数,或对所述目标图像中具有所述第二大小的物体的总数进行计数,
按照所述似然的局部最大值的降序,从所述第二似然图中指示所述似然的局部最大值的坐标之中提取与具有所述第二大小的物体的总数相同数量的坐标,以及
基于所提取的指示所述似然的局部最大值的坐标来指定所述目标图像中具有所述第二大小的物体的位置。
7.根据权利要求1至6中任一项所述的物体位置估计设备,还包括:
训练部件,被配置为使所述物体位置估计设备的每个单元以如下这种方式执行训练:减少从所述第一位置似然估计部件和所述第二位置似然估计部件输出的所述第一似然图和所述第二似然图中的相对于预先获得的正确值的误差。
8.根据权利要求7所述的物体位置估计设备,还包括:
训练数据生成部件,被配置为基于训练图像和物体信息来生成要用于由所述训练部件进行训练的训练数据,其中,
所述训练数据包括所述训练图像、所述物体信息和所述正确值,
所述正确值包括第一正确似然图和第二正确似然图,以及
所述第一正确似然图指示所述训练图像中所述第一大小的物体的位置和物体区域的扩展,并且所述第二正确似然图指示所述训练图像中所述第二大小的物体的位置和物体区域的扩展。
9.根据权利要求8所述的物体位置估计设备,其中,
所述训练部件被配置为:通过使用所述训练数据中包括的所述第一正确似然图和所述第二正确似然图作为所述正确值来计算第一损失,所述第一损失指示所述第一似然图和所述第二似然图与所述正确值之间的误差。
10.根据权利要求1至9中任一项所述的物体位置估计设备,其中,
所述第一大小是从第一最小大小至第一最大大小的第一预定范围内的任何大小,
所述第二大小是从第二最小大小至第二最大大小的第二预定范围内的任何大小,所述第一预定范围与所述第二预定范围不重叠,并且所述第二大小大于所述第一大小。
11.根据权利要求1至10中任一项所述的物体位置估计设备,其中,
所述第一大小和所述第二大小与所述第一特征图和所述第二特征图的数据大小的倒数成比例。
12.一种物体位置估计方法,包括:
通过对目标图像执行卷积处理来生成第一特征图,并且通过进一步对所述第一特征图执行卷积处理来生成第二特征图;以及
使用所述第一特征图来估计指示所述目标图像的每个位置处存在具有第一大小的物体的概率的第一似然图,并使用所述第二特征图来估计指示所述目标图像的每个位置处存在具有大于所述第一大小的第二大小的物体的概率的第二似然图。
13.一种非暂时性记录介质,用于使计算机执行:
通过对目标图像执行卷积处理来生成第一特征图,并且通过进一步对所述第一特征图执行卷积处理来生成第二特征图;以及
使用所述第一特征图来估计指示所述目标图像的每个位置处存在具有第一大小的物体的概率的第一似然图,并使用所述第二特征图来估计指示所述目标图像的每个位置处存在具有大于所述第一大小的第二大小的物体的概率的第二似然图。
CN202080102293.8A 2020-06-23 2020-06-23 物体位置估计设备、物体位置估计方法和记录介质 Pending CN115720664A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/024494 WO2021260780A1 (ja) 2020-06-23 2020-06-23 物体位置推定装置、物体位置推定方法、および記録媒体

Publications (1)

Publication Number Publication Date
CN115720664A true CN115720664A (zh) 2023-02-28

Family

ID=79282715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080102293.8A Pending CN115720664A (zh) 2020-06-23 2020-06-23 物体位置估计设备、物体位置估计方法和记录介质

Country Status (4)

Country Link
US (1) US20230230277A1 (zh)
JP (1) JP7448006B2 (zh)
CN (1) CN115720664A (zh)
WO (1) WO2021260780A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7490359B2 (ja) * 2019-12-24 2024-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
JP7077046B2 (ja) 2018-02-14 2022-05-30 キヤノン株式会社 情報処理装置、被写体の判別方法及びコンピュータプログラム
JP7010783B2 (ja) 2018-07-23 2022-01-26 株式会社東芝 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2020027405A (ja) 2018-08-10 2020-02-20 コニカミノルタ株式会社 物体検出プログラム、および物体検出装置

Also Published As

Publication number Publication date
US20230230277A1 (en) 2023-07-20
JPWO2021260780A1 (zh) 2021-12-30
WO2021260780A1 (ja) 2021-12-30
JP7448006B2 (ja) 2024-03-12

Similar Documents

Publication Publication Date Title
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
US9092662B2 (en) Pattern recognition method and pattern recognition apparatus
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
JP5010905B2 (ja) 顔認証装置
Bergasa et al. Unsupervised and adaptive Gaussian skin-color model
US7925093B2 (en) Image recognition apparatus
KR100969298B1 (ko) 얼굴인식을 통한 영상에서의 사람 상호관계 추론 방법
CN109858375B (zh) 活体人脸检测方法、终端及计算机可读存储介质
US20080123975A1 (en) Abnormal Action Detector and Abnormal Action Detecting Method
US20090226044A1 (en) Real-time body segmentation system
JP2004199669A (ja) 顔検出
JP2004192637A (ja) 顔検出
KR20020037660A (ko) 객체 활동 모델링 방법
JP2019109709A (ja) 画像処理装置、画像処理方法およびプログラム
KR20130106256A (ko) 생체 정보 처리 장치
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
Kumbhar et al. Facial expression recognition based on image feature
US20220237943A1 (en) Method and apparatus for adjusting cabin environment
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
WO2019111550A1 (ja) 人物照合装置、方法、及び非一時的なコンピュータ可読媒体
JPWO2008126790A1 (ja) 物体認識システム、物体認識方法および物体認識用プログラム
CN109934129B (zh) 一种人脸特征点定位方法、装置、计算机设备及存储介质
Ponce-López et al. Non-verbal communication analysis in victim–offender mediations
CN112183504B (zh) 一种基于非接触式手掌静脉图像的视频注册方法及装置
US20230230277A1 (en) Object position estimation device, object position estimation method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40084860

Country of ref document: HK