CN118103866A - 估计程序、估计方法以及信息处理装置 - Google Patents

估计程序、估计方法以及信息处理装置 Download PDF

Info

Publication number
CN118103866A
CN118103866A CN202180103161.1A CN202180103161A CN118103866A CN 118103866 A CN118103866 A CN 118103866A CN 202180103161 A CN202180103161 A CN 202180103161A CN 118103866 A CN118103866 A CN 118103866A
Authority
CN
China
Prior art keywords
head
player
information
unit
joints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180103161.1A
Other languages
English (en)
Inventor
铃木达也
石川优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN118103866A publication Critical patent/CN118103866A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

信息处理装置通过将比赛者的头部为规定的状态的图像输入到机器学习模型，来确定比赛者的面部所包含的多个关节的位置。信息处理装置使用多个关节的位置中的每个位置，估计比赛者的头顶部的位置。

Description

估计程序、估计方法以及信息处理装置
技术领域
本发明涉及估计程序等。
背景技术
关于三维的人的动作的检查，建立了从多台3D激光传感器以±1cm的精度检查人的3D骨骼坐标的3D感测技术。该3D感测技术期待向体操打分辅助系统的应用、或者向其它的体育运动、其它领域的展开。将使用了3D激光传感器的方式表述为激光方式。
在激光方式中，在一秒期间大约照射二百万次激光，基于激光的飞行时间(TimeofFlight：ToF)，包括成为对象的人在内，求出各照射点的深度、信息。激光方式能够获取高精度的深度数据，但由于激光扫描、ToF测定的构成以及处理复杂，所以有硬件复杂以及高价这样的缺点。
也有代替激光方式，而通过图像方式进行3D骨骼识别的情况。在图像方式中，是通过CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)成像器，获取各像素的RGB(Red Green Blue：红绿蓝)数据的方式，能够使用廉价的RGB照相机。
这里，对基于多个照相机的使用了2D特征的3D骨骼识别的现有技术进行说明。在现有技术中，根据预先定义的人体模型，通过各照相机获取2D特征，之后使用综合各2D特征的结果，识别3D骨骼。例如，2D特征能够列举2D骨骼信息、heatmap(热图)信息。
图37是表示人体模型的一个例子的图。如图37所示，人体模型M1由二十一个关节构成。在人体模型M1中，以节点表示各关节，并分配0～20的编号。节点的编号与关节名的关系成为表格Te1所示的关系。例如，与节点0对应的关节名为“SPINE_BASE”。省略对于节点1～20的关节名的说明。
现有技术有使用机器学习进行3D骨骼识别的技术。图38是用于说明使用了机器学习的方法的图。在使用了机器学习的现有技术中，通过对各照相机拍摄到的各输入图像21实施2D backbone处理21a，来获取表示各关节特征的2D特征(2D features)22。在现有技术中，通过根据照相机参数将各2D特征22反投影到3Dcube，来获取aggregated volumes23。
在现有技术中，通过将aggregated volumes23输入到V2V(神经网络，P3)24，来获取表示各关节的似然的processed volumes25。processed volumes25与表示各关节的3D中的似然的heatmap对应。在现有技术中，通过对processed volumes25执行soft-argmax26，来获取3D骨骼信息27。
专利文献1：日本特开2018－57596号公报
专利文献2：日本特开2021－26265号公报
然而，在上述的现有技术中，有不能够正确地确定比赛者的头顶部的位置这样的问题。
也有在评价比赛者的表演是否成立时，正确地确定头顶部的位置较重要的情况。例如，在体操表演的结环跳的评价中，比赛者的头顶部的位置比脚的位置低是结环跳的成立条件。
此时，根据图像的状态，成为3D骨骼识别的结果的头部的轮廓与实际的头部的轮廓不同，而不能够正确地确定头顶部的位置。
图39是表示不能够精度良好地确定头顶部的位置的图像的一个例子的图。在图39中，使用产生了“外表”的图像10a、产生了“头发蓬乱”的图像10b、产生了“遮挡”的图像10c进行说明。将比赛者的头融入背景，即使是人也难以辨别头的区域的情况定义为外表。将比赛者的头发蓬乱的情况定义为头发蓬乱。将由比赛者的躯体或者手臂遮住头顶部的情况定义为遮挡。
若基于现有技术进行图像10a的3D骨骼识别确定头顶部的位置，则由于外表的影响，而确定位置1a。在图像10a中，头顶部的正确的位置为1b。
若基于现有技术，进行图像10b的3D骨骼识别确定头顶部的位置，则由于头发蓬乱的影响，而确定位置1c。在图像10b中，头顶部的正确的位置为1d。
若基于现有技术，进行图像10c的3D骨骼识别确定头顶部的位置，则由于遮挡的影响，而确定位置1e。在图像10c中，头顶部的正确的位置为1f。
如在图39中说明的那样，在现有技术中，若在图像产生外表、头发蓬乱、遮挡等，则不能够正确地确定比赛者的头顶部的位置，而不能够适当地评价比赛者的表演。因此，要求正确地估计人物的头顶部的位置。
发明内容
在一个侧面，本发明的目的在于提供能够正确地估计比赛者的头顶部的位置的估计程序、估计方法以及信息处理装置。
在第一方案中，使计算机执行以下的处理。计算机通过将比赛者的头部为规定的状态的图像输入到机器学习模型，来确定比赛者的面部所包含的多个关节的位置。计算机使用多个关节的位置中的每个位置，估计比赛者的头顶部的位置。
能够正确地估计人物的头顶部的位置。
附图说明
图1是表示本实施例1的体操打分辅助系统的一个例子的图。
图2是用于说明源信息的一个例子的图。
图3是用于说明目标信息的一个例子的图。
图4是用于对计算转换参数的方法进行补充说明的图。
图5是用于对估计比赛者的头顶部的方法进行补充说明的图。
图6是用于说明本实施例1的信息处理装置的效果的图。
图7是表示本实施例1的学习装置的构成的功能框图。
图8是表示学习数据的数据结构的一个例子的图。
图9是表示本实施例1的信息处理装置的构成的功能框图。
图10是表示测定表格的数据结构的一个例子的图。
图11是表示骨骼识别结果表格的数据结构的一个例子的图。
图12是用于说明第二特征的图。
图13是表示一个第二特征的图。
图14是用于对RANSAC进行补充说明的图。
图15是用于说明RANSAC的问题的图。
图16是用于说明本实施例1的估计部的处理的图。
图17是用于说明检测骨长度异常的处理的图。
图18是用于说明检测反向·横向弯曲异常的处理的图。
图19是用于对在反向·横向弯曲异常检测中使用的各向量进行补充说明的图(1)。
图20是用于对在反向·横向弯曲异常检测中使用的各向量进行补充说明的图(2)。
图21是用于对在反向·横向弯曲异常检测中使用的各向量进行补充说明的图(3)。
图22是用于对在反向·横向弯曲异常检测中使用的各向量进行补充说明的图(4)。
图23是用于说明检测弯曲过度异常的处理的图。
图24是用于说明骨长度修正的图。
图25是用于说明反向·横向弯曲修正的图。
图26是用于说明弯曲过度修正的图。
图27是表示本实施例1的学习装置的处理顺序的流程图。
图28是表示本实施例1的信息处理装置的处理顺序的流程图。
图29是表示转换参数估计处理的处理顺序的流程图(1)。
图30是表示转换参数估计处理的处理顺序的流程图(2)。
图31是用于说明头顶部估计的误差的比较结果的图。
图32是表示本实施例2的源信息的一个例子的图。
图33是用于说明确定头顶部的处理的图。
图34是表示本实施例2的信息处理装置的构成的功能框图。
图35是表示本实施例2的信息处理装置的处理顺序的流程图。
图36是表示实现与信息处理装置相同的功能的计算机的硬件构成的一个例子的图。
图37是表示人体模型的一个例子的图。
图38是用于说明使用了机器学习的方法的图。
图39是表示不能够精度良好地确定头顶部的位置的图像的一个例子的图。
具体实施方式
以下，基于附图对本申请公开的估计程序、估计方法以及信息处理装置的实施例进行详细说明。此外，并不通过该实施例对该发明进行限定。
实施例1
图1是表示本实施例1的体操打分辅助系统的一个例子的图。如图1所示，该体操打分辅助系统35具有照相机30a、30b、30c、30d、学习装置50、以及信息处理装置100。照相机30a～30d与信息处理装置100分别通过有线或者无线连接。学习装置50与信息处理装置100分别通过有线或者无线连接。
在图1中，示出照相机30a～30d，但该体操打分辅助系统35也可以还具有其它的照相机。
在本实施例1中作为一个例子，比赛者H1在器械上进行一系列的表演但并不限定于此。例如，比赛者H1也可以在不存在器械的场所进行表演，也可以进行表演以外的动作。
照相机30a是拍摄比赛者H1的图像的照相机。照相机30a与CMOS成像器、RGB照相机等对应。照相机30a以规定的帧速率(frames per second：FPS)连续地拍摄图像，并按照时间序列将图像的数据发送到信息处理装置100。在以下的说明中，将连续的多个图像的数据中某一个图像的数据表述为“图像帧”。在图像帧按照时间序列附加有帧编号。
关于照相机30b、30c、30d的说明与关于照相机30a的说明相同。在以下的说明中，适当地将照相机30a～30d统一表述为“照相机30”。
学习装置50基于预先准备的学习数据，对根据图像帧估计面部关节的位置的机器学习模型进行机器学习。在面部关节包含有左右眼、左右耳、鼻、下颚、嘴角等。在以下的说明中，将根据图像帧估计面部关节的位置的机器学习模型表述为“面部关节估计模型”。学习装置60将机器学习完毕的面部关节估计模型的信息输出到信息处理装置100。
信息处理装置100基于预先准备的源(source)信息、和成为使用了面部关节估计模型的面部关节的识别结果的目标(target)信息，估计比赛者H1的头顶部的位置。以下，对源信息和目标信息进行说明。
图2是用于说明源信息的一个例子的图。如图2所示，在源信息60a中，分别对3D的人体模型M2设定多个面部关节p1的位置、头顶部关节tp1的位置。源信息60a预先设定于信息处理装置100。
图3是用于说明目标信息的一个例子的图。通过将从照相机获取的图像帧输入到面部关节估计模型来生成目标信息。如图3所示，在目标信息60b中分别确定多个面部关节p2。
信息处理装置100计算用于使源信息60a的面部关节的各位置与目标信息60b的面部关节的各位置相匹配的转换参数。信息处理装置100通过将计算出的转换参数应用于源信息60a的头顶部的位置，来估计比赛者H1的头顶部的位置。
图4是用于对计算转换参数的方法进行补充说明的图。在转换参数包含有旋转R、平移t、比例c。旋转R、平移t是向量值。比例c是标量值。按照步骤S1～S5的顺序进行说明。
对步骤S1进行说明。将源信息60a所包含的多个面部关节p1的位置设为x(x为向量值)。
对步骤S2进行说明。通过对面部关节的位置x施加旋转R，从而面部关节p1的位置成为“Rx”。
对步骤S3进行说明。通过对面部关节p1的更新后的位置“Rx”施加比例c，从而面部关节p1的位置成为“cRx”。
对步骤S4进行说明。通过对面部关节p1的更新后的位置“cRx”加上平移t，从而面部关节p1的位置成为“cRx+t”。
对步骤S5进行说明。若将目标信息60b的面部关节p2的位置设为y，则通过计算|y－(cRx+t)|，能够确定应用了转换参数的源信息60a与目标信息60b之差。
具体而言，通过式(1)定义应用了转换参数的源信息60a与目标信息60b之差e2。在式(1)中，x表示源信息60a的面部关节的位置。y表示目标信息60b的面部关节的位置。
[式1]
信息处理装置100使用最小平方法等，计算式(1)的差e2最小的转换参数R、t、c。
信息处理装置100若计算出转换参数，则通过将转换参数应用于源信息60a的头顶部的位置，来估计比赛者H1的头顶部的位置。
图5是用于对估计比赛者的头顶部的方法进行补充说明的图。信息处理装置100基于式(2)，根据源信息60a的面部坐标的位置x(包含头顶部的位置tp1)，计算比赛者的面部关节的位置y(包含头顶部的位置tp2)。式(2)的转换参数是通过上述处理计算出的差e2最小的转换参数。信息处理装置100获取计算出的位置y所包含的头顶部的位置tp2。
[式2]
y＝cRx+t …(2)
如上述那样，信息处理装置100计算用于使源信息60a的面部关节的位置与目标信息60b的面部关节的位置相匹配的转换参数。信息处理装置100通过将计算出的转换参数应用于源信息60a的头顶部，来计算比赛者的头顶部的位置。由于面部关节与头顶部的关系处于刚体关系，所以通过利用这样的关系估计比赛者的头顶部的位置，能够使估计精度提高。
图6是用于说明本实施例1的信息处理装置的效果的图。在图6中，使用产生了“外表”的图像10a、产生了“头发蓬乱”的图像10b、以及产生了“遮挡”的图像10c进行说明。
若基于现有技术进行图像10a的3D骨骼识别确定头顶部的位置，则由于外表的影响，而确定出头顶部的位置1a。与此相对，信息处理装置100通过执行上述的处理，确定出头顶部的位置2a。在图像10a中，头顶部的正确的位置为1b，所以与现有技术相比较，头顶部的估计精度提高。
若基于现有技术进行图像10b的3D骨骼识别确定头顶部的位置，则由于头发蓬乱的影响，而确定出头顶部的位置1c。与此相对，信息处理装置100通过执行上述的处理，确定出头顶部的位置2b。在图像10b中，头顶部的正确的位置为1d，所以与现有技术相比较，头顶部的估计精度提高。
若基于现有技术，进行图像10c的3D骨骼识别确定头顶部的位置，则由于遮挡的影响，而确定出位置1e。与此相对，信息处理装置100通过执行上述的处理，确定出头顶部的位置2c。在图像10c中，头顶部的正确的位置为1f，所以与现有技术相比较，头顶部的估计精度提高。
如上述那样，信息处理装置100通过利用观测不良的影响较低的面部关节，能够使头顶部估计的精度提高。另外，在使用头顶部评价比赛者的表演的情况下，也能够适当地评价表演的成立不成立。比赛者使用头顶部的表演包含有平衡木的结环跳、地板运动的一部分的表演。
接下来，对在图1中进行了说明的学习装置50的构成进行说明。图7是表示本实施例1的学习装置的构成的功能框图。如图7所示，学习装置50具有通信部51、输入部52、显示部53、存储部54以及控制部55。
通信部51在与信息处理装置100之间执行数据通信。例如，通信部51将机器学习完毕的面部关节估计模型54b的信息发送到信息处理装置100。通信部51也可以从外部装置接收在机器学习中利用的学习数据54a。
输入部52与对学习装置50输入各种信息的输入装置对应。
显示部53显示从控制部55输出的信息。
存储部54存储学习数据54a、面部关节估计模型54b。存储部54与RAM(RandomAccess Memory：随机存储器)、闪存(Flash Memory)等半导体存储器元件、或者HDD(HardDisk Drive：硬盘驱动器)等存储装置对应。
学习数据54a保持用于对面部关节估计模型54b进行机器学习的信息。例如，作为用于进行机器学习的信息，保持有面部关节的注释的图像帧。图8是表示学习数据的数据结构的一个例子的图。如图8所示，学习数据将项号、输入数据、以及正解数据(标签)建立对应关系。作为输入数据，设定包含人物的面部图像的图像帧。作为正解数据，设定图像帧所包含的面部关节的位置。
面部关节估计模型54b与NN(Neural Network：神经网络)等对应。面部关节估计模型54b在输入了图像帧的情况，基于机器学习完毕的参数，输出面部关节的位置。
控制部55具有获取部55a、学习部55b、输出部55c。控制部55与CPU(CentralProcessing Unit：中央处理器)等对应。
获取部55a从通信部51等获取学习数据54a。获取部55a将获取的学习数据54a登记于存储部54。
学习部55b基于误差反向传播法，使用学习数据54a，执行面部关节估计模型54b的机器学习。例如，学习部55b对面部关节估计模型54b的参数进行训练，以使得对面部关节估计模型54b输入了学习数据54a的输入数据的结果接近与输入数据成对的正解数据。
输出部55c将机器学习完成的面部关节估计模型54b的信息输出到信息处理装置100。
接下来，对在图1中进行了说明的信息处理装置100的构成进行说明。图9是表示本实施例1的信息处理装置的构成的功能框图。如图9所示，信息处理装置100具有通信部110、输入部120、显示部130、存储部140、以及控制部150。
通信部110在照相机30与信息处理装置100之间执行数据通信。例如，通信部110从照相机30接收图像帧。通信部110将机器学习完毕的面部关节估计模型54b的信息发送到信息处理装置100。
输入部120与对信息处理装置100输入各种信息的输入装置对应。
显示部130显示从控制部150输出的信息。
存储部140具有面部关节估计模型54b、源信息60a、测定表格141、骨骼识别结果表格142、以及技巧识别表格143。存储部140与RAM、闪存等半导体存储器元件、或者HDD等存储装置对应。
面部关节估计模型54b是机器学习执行完毕的面部关节估计模型54b。面部关节估计模型54b通过上述的学习装置50进行训练。
如在图2中进行了说明的那样，源信息60a是分别设定了多个面部关节p1的位置、头顶部关节tp1的位置的信息。
测定表格141是按照时间序列储存通过照相机30拍摄到的图像帧的表格。图10是表示测定表格的数据结构的一个例子的图。如图10所示，测定表格141将照相机识别信息与图像帧建立对应关系。
照相机识别信息是唯一地识别照相机的信息。例如，照相机识别信息“C30a”与照相机30a对应，照相机识别信息“C30b”与照相机30b对应，照相机识别信息“C30c”与照相机30c对应，照相机识别信息“C30d”与照相机30d对应。图像帧是相应的照相机30拍摄到的时间序列的图像帧。在各图像帧按照时间序列设定有帧编号。
骨骼识别结果表格142是储存比赛者H1的3D骨骼的识别结果的表格。图11是表示骨骼识别结果表格的数据结构的一个例子的图。如图11所示，该骨骼识别结果表格142将帧编号与3D骨骼信息建立对应关系。帧编号是对在估计3D骨骼信息的情况下使用的图像帧附加的帧编号。3D骨骼信息包含被图37所示的各节点0～20定义的关节的位置、和包含头顶部的多个面部关节的位置。
技巧识别表格143是将各3D骨骼信息所包含的各关节位置的时间序列变化与技巧的种类建立对应关系的表格。另外，技巧识别表格143将技巧的种类的组合与得分建立对应关系。通过D(Difficulty：难度)得分与E(Execution：完成度)得分的合计计算得分。例如，D得分是基于技巧的难易度计算出的得分。E得分是根据技巧的完成度，通过扣分法计算出的得分。
例如，在技巧识别表格143也包含有如平衡木的结环跳、地板运动的一部分的表演那样，将头顶部的时间序列转换与技巧的种类建立对应关系的信息。
返回到图9的说明。控制部150具有获取部151、前处理部152、目标信息生成部153、估计部154、异常检测部155、修正部156、以及技巧识别部157。控制部150与CPU等对应。
获取部151经由通信部110，从学习装置50获取机器学习执行完毕的面部关节估计模型54b，并将面部关节估计模型54b登记于存储部140。
获取部151经由通信部110，从照相机30按照时间序列获取图像帧。获取部151将从照相机30获取的图像帧与照相机识别信息建立对应关系，并储存于测定表格141。
前处理部152根据登记于测定表格141的图像帧(多视点的图像帧)，执行比赛者H1的3D骨骼识别。前处理部152可以使用任何的现有技术，来生成比赛者H1的3D骨骼信息。以下，对前处理部152的处理的一个例子进行说明。
前处理部152从测定表格141获取照相机30的图像帧，并基于图像帧，生成分别与比赛者H1的关节对应的多个第二特征。第二特征是表示各关节位置的似然的heatmap。根据从一个照相机获取的一个图像帧，生成与各关节对应的第二特征。例如，若关节数为二十一个，照相机的数目为四个，则对每个图像帧，生成八十四个第二特征。
图12是用于说明第二特征的图。图12所示的图像帧Im30a1是照相机30a拍摄到的图像帧。图像帧Im30b1是照相机30b拍摄到的图像帧。图像帧Im30c1是照相机30c拍摄到的图像帧。图像帧Im30d1是照相机30d拍摄到的图像帧。
前处理部152基于图像帧Im30a1，生成第二特征组信息G1a。在第二特征组信息G1a包含有与各关节对应的二十一个第二特征。前处理部152基于图像帧Im30b1，生成第二特征组信息G1b。在第二特征组信息G1b包含有与各关节对应的二十一个第二特征。
前处理部152基于图像帧Im30c1，生成第二特征组信息G1c。在第二特征组信息G1c包含有与各关节对应的二十一个第二特征。前处理部152基于图像帧Im30d1，生成第二特征组信息G1d。在第二特征组信息G1d包含有与各关节对应的二十一个第二特征。
图13是表示一个第二特征的图。图13所示的第二特征Gc1－3是第二特征组信息G1d所包含的第二特征中，与关节“HEAD”对应的第二特征。在第二特征Gc1－3的各像素设定有似然。在图13中，设定与似然的值对应的颜色。似然最大的部位成为相应的关节的坐标。例如，在特征Gc1－3中，能够确定似然的值最大的区域Ac1－3为关节“HEAD”的坐标。
前处理部152从第二特征组信息G1a所包含的第二特征，检测有异常的第二特征，并从第二特征组信息G1a除去检测出的有异常的第二特征。前处理部152从第二特征组信息G1b所包含的第二特征，检测有异常的第二特征，并从第二特征组信息G1b除去检测出的有异常的第二特征。
前处理部152从第二特征组信息G1c所包含的第二特征，检测有异常的第二特征，并从第二特征组信息G1c除去检测出的有异常的第二特征。前处理部152从第二特征组信息G1d所包含的第二特征，检测有异常的第二特征，并从第二特征组信息G1d除去检测出的有异常的第二特征。
前处理部152综合除去了有异常的第二特征的第二特征组信息G1a、G1b、G1c、G1d，基于综合的结果，生成比赛者H1的3D骨骼信息。在通过前处理部152生成的3D骨骼信息包含有在图37中进行了说明的各关节的位置(三维坐标)。此外，前处理部152也可以使用在图38中进行了说明的现有技术，生成比赛者H1的3D骨骼信息。另外，在图37的说明中，将编号3的关节设为“HEAD”，但也可以是包含头顶部的多个面部关节。
前处理部152每当生成3D骨骼信息，则将3D骨骼信息输出到估计部154。另外，前处理部152将3D骨骼信息的生成所使用的图像帧输出到目标信息生成部153。
返回到图9的说明。目标信息生成部153通过在面部关节估计模型54b输入图像帧，来生成目标信息。这样的目标信息与在图3中进行了说明的目标信息60b对应。目标信息生成部153将目标信息输出到估计部154。
目标信息生成部153在对同一帧编号获取了多个图像帧的情况下，选择任意一个图像帧，输入到面部关节估计模型54b。目标信息生成部153每当获取图像帧，则反复执行上述处理。
估计部154基于源信息60a和目标信息60b(图像帧固有的目标信息)，估计比赛者H1的头顶部的位置。
这里，在对估计部154的处理进行说明之前，对除去面部关节的离群值的现有技术(RANSAC：RANdom Sample Consensus：随机采样一致性)进行说明。在RANSAC中，离群值除去的辨别使用取得inlier数的最大值的关节的组合作为离群值除去后的结果，但在该inlier数相同的情况下，不能够选择哪个关节组合更好。
图14是用于对RANSAC进行补充说明的图。按照图14的步骤S10～S13的顺序进行说明。
对步骤S10进行说明。假设在通过将图像帧输入到面部关节估计模型54b等而得到的目标信息包含面部关节p3－1、p3－2、p3－3、p3－4。例如，面部关节p3－1是右耳的面部关节。面部关节p3－2是鼻子的面部关节。面部关节p3－3是脖颈的面部关节。面部关节p3－4是左耳的面部关节。
对步骤S11进行说明。在RANSAC中，随机地对面部关节进行取样。这里，对三个面部关节进行取样，对面部关节p3－2、p3－3、p3－4进行取样。
对步骤S12进行说明。在RANSAC中，进行基于源信息与目标信息的刚体关系的对位，计算旋转、平移、比例。在RANSAC中，通过将计算结果(旋转、平移、比例)应用于源信息并重新投影，来确定面部关节p4－1、p4－2、p4－3、p4－4。
对步骤S13进行说明。在RANSAC中，设定以面部关节p4－1～p4－4为中心的圆圈cir1、cir2、cir3、cir4。预先设定圆圈cir1～cir4的半径(阈值)。
在RANSAC中，将面部关节p3－1、p3－2、p3－3、p3－4中包含于圆圈cir1、cir2、cir3、cir4的面部关节设为inlier，并将不包含于圆圈cir1、cir2、cir3、cir4的面部关节设为outlier。在图14的步骤S13所示的例子中，面部关节p3－2、p3－3、p3－4为inlier，面部关节p3－1为outlier。
在RANSAC中，对inlier的数目(以下，称为inlier数)进行计数。在步骤S13所示的例子中，inlier数为“3”。在RANSAC中，变更在步骤S11中进行了说明的取样的对象，并且反复执行步骤S11～S13的处理，确定inlier数最大的取样对象的面部关节的组合。例如，在步骤S11中，对面部关节p3－2、p3－3、p3－4进行了取样时的inlier数最大的情况下，输出面部关节p3－2、p3－3、p3－4作为离群值除去后的结果。
然而，在图14中进行了说明的RANSAC中，有图15所示那样的问题。图15是用于说明RANSAC的问题的图。在RANSAC中，在inlier数相同的情况下，难以判定哪个组合更好。
对图15的“事例1”进行说明。在事例1的步骤S11中，对面部关节p3－1、p3－2、p3－3进行取样。省略步骤S12的说明。
对事例1的步骤S13进行说明。设定以将源信息重新投影得到的面部关节p4－1～p4－4为中心的圆圈cir1、cir2、cir3、cir4。在事例1的步骤S13所示的例子中，面部关节p3－1、p3－2、p3－3为inlier，inlier数为“3”。
对图15的“事例2”进行说明。在事例2的步骤S11中，对面部关节p3－2、p3－3、p3－4进行取样。省略步骤S12的说明。
对事例2的步骤S13进行说明。设定以将源信息重新投影得到的面部关节p4－1～p4－4为中心的圆圈cir1、cir2、cir3、cir4。在事例2的步骤S13所示的例子中，面部关节p3－2、p3－3、p3－4为inlier，inlier数为“3”。
若对事例1与事例2进行比较，则面部关节p3－2、p3－3、p3－4接近cir2、cir3、cir4的中心位置，综合而言，可以说事例2是更好的结果。但是，由于事例1的inlier数与事例2的inlier数相同，所以不能够通过RANSAC自动地采用事例2的结果。
接着，对本实施例1的估计部154的处理进行说明。首先，估计部154对源信息60a的面部关节的位置与目标信息60b的面部关节的位置进行比较，计算上述的式(1)的差e2最小的转换参数(旋转R、平移t、比例c)。估计部154在计算转换参数的情况下，从目标信息60b所包含的面部关节随机地对三个面部关节进行取样，并对取样的面部关节计算转换参数。在以下的说明中，将取样的三个面部关节适当地表述为“三个关节”。
图16是用于说明本实施例1的估计部的处理的图。在图16所示的例子中，假设在源信息60a设定面部关节p1－1、p1－2、p1－3、p1－4。假设在目标信息60b设定有面部关节p2－1、p2－2、p2－3、p2－4。另外，假设对面部关节p2－1、p2－2、p2－3、p2－4中p2－1、p2－2、p2－3进行取样。
估计部154通过将转换参数应用于源信息60a的面部关节p1－1、p1－2、p1－3、p1－4，来向目标信息60b进行重新投影。这样一来，源信息60a的面部关节p1－1、p1－2、p1－3、p1－4分别重新投影至目标信息60b的位置pr1－1、pr1－2、pr1－3、pr1－4。
估计部154分别对目标信息60b上的面部关节p2－1、p2－2、p2－3、p2－4与位置pr1－1、pr1－2、pr1－3、pr1－4进行比较，对inlier数进行计数。例如，若面部关节p2－1与位置pr1－1的距离、面部关节p2－2与位置pr1－2的距离、面部关节p3－1与位置pr3－1的距离小于阈值，面部关节p4－1与位置pr4－1的距离在阈值以上，则inlier数为“3”。
这里，将对应的面部关节与位置的距离(例如，将源信息60a的右耳的面部关节p1－1重新投影后的位置pr1－1与目标信息60b的右耳的关节位置p2－1的距离)定义为重新投影误差ε。
估计部154基于式(3)，计算离群值评价指标E。在式(3)中，“εmax”与多个重新投影误差ε中的最大值对应。“μ”表示多个重新投影误差ε中除了εmax之外的剩余的重新投影误差ε的平均值。
[式3]
估计部154在改变三个关节的组合的同时，反复执行对目标信息60b的面部关节进行取样，计算转换参数，并计算inlier数和离群值评价指数E的处理。估计部154将三个关节的组合中inlier数取最大值时的转换参数确定为最终的转换参数。
估计部154在存在多个inlier数取最大值的三个关节的组合的情况下，确定离群值评价指数E较小的一方的三个关节的组合，并将通过确定出的三个关节得到的转换参数确定为最终的转换参数。
在以下的说明中，将估计部154基于inlier数以及离群值评价指数E从多个转换参数确定出的最终的转换参数仅表述为转换参数。
估计部154将转换参数应用于式(2)，根据源信息60a的多个面部坐标的位置x(包含头顶部的位置tp1)，计算比赛者H1的多个面部关节的位置y(包含头顶部的位置tp2)。这样的估计部154的处理与使用图5进行了说明的处理对应。
通过上述处理，估计部154估计比赛者H1的面部坐标的位置(面部关节的位置、头顶部的位置)，通过将通过前处理部152估计出的3D骨骼信息的头部的信息置换为面部坐标的位置的信息，来生成3D骨骼信息。估计部154将生成的3D骨骼信息输出到异常检测部155。另外，估计部154也将置换为面部坐标的位置的信息之前的3D骨骼信息输出到异常检测部155。
估计部154反复执行上述处理。在以下的说明中，适当地将通过将通过前处理部152估计出的3D骨骼信息的头部的信息置换为面部坐标的位置的信息而生成的3D骨骼信息表述为“置换后骨骼信息”。与此相对，将置换之前的3D骨骼信息表述为“置换前骨骼信息”。另外，在并不分别区分置换后骨骼信息、置换前骨骼信息的情况下，仅表述为3D骨骼信息。
返回到图9的说明。异常检测部155检测通过估计部154生成的3D骨骼信息的头顶部的异常。例如，在异常检测的种类包含有“骨长度异常检测”、“反向·横向弯曲异常检测”、以及“弯曲过度异常检测”。在进行异常检测部155的说明的情况下，使用图37所示的关节的编号进行说明。在以下的说明中，将编号n的关节表述为关节n。
对“骨长度异常检测”进行说明。图17是用于说明检测骨长度异常的处理的图。异常检测部155计算置换前骨骼信息所包含的各关节中，从关节18朝向关节3的向量bhead。异常检测部155根据向量bhead计算其范数|bhead|。
将与置换前骨骼信息相关的骨长度异常检测的结果设为C1。例如，异常检测部155在根据置换前骨骼信息计算出的范数|bhead|包含于Th1 low～Th1 high的范围的情况下，设为正常而对C1设定0。异常检测部155在根据置换前骨骼信息计算出的范数|bhead|不包含于Th1 low～Th1 high的范围的情况下，设为异常而对C1设定1。
异常检测部155对置换后骨骼信息也同样地计算范数|bhead|。将与置换后骨骼信息相关的骨长度异常检测的结果设为Cˊ1。例如，异常检测部155在根据置换后骨骼信息计算出的范数|bhead|包含于Th1 low～Th1 high的范围的情况下，设为正常而对Cˊ1设定0。异常检测部155在根据置换后骨骼信息计算出的范数|bhead|不包含于Th1 low～Th1 high的范围的情况下，设为异常而对Cˊ1设定1。
这里，能够使用3σ法定义Th1 low～Th1 high。能够使用根据多人的头长度数据计算出的平均μ、标准偏差，如式(4)那样定义Th1 low。能够如式(5)那样定义Th1 high。
[式4]
[式5]
3σ法是将对象数据偏离标准偏差的三倍以上的情况设为异常的辨别方法。通过使用3σ法，正常为99.74％而几乎符合所有人的头长度，所以能够检测头极端地长、短等异常。
对“反向·横向弯曲异常检测”进行说明。图18是用于说明检测反向·横向弯曲异常的处理的图。异常检测部155计算置换前骨骼信息所包含的各关节中，从关节18朝向关节3的向量bhead。异常检测部155计算置换前骨骼信息所包含的各关节中，从关节2朝向关节18的向量bneck。异常检测部155计算置换前骨骼信息所包含的各关节中，从关节4朝向关节7的向量bshoulder。
异常检测部155根据bneck和bhead，计算其法线向量bneck×bhead。“×”表示外积。异常检测部155计算由“bneck×bhead”与“bshoulder”所成的角θ(bneck×bhead，bshoulder)。
将与置换前骨骼信息相关的反向·横向弯曲异常检测的结果设为C2。例如，异常检测部155在所成的角θ(bneck×bhead，bshoulder)在Th2以下的情况下，设为正常而对C2设定0。异常检测部155在所成的角θ(bneck×bhead，bshoulder)比Th2大的情况下，设为异常而对C2设定1。
异常检测部155对置换后骨骼信息也同样地计算所成的角θ(bneck×bhead，bshoulder)。将与置换后骨骼信息相关的反向·横向弯曲异常检测的结果设为Cˊ2。例如，异常检测部155在所成的角θ(bneck×bhead，bshoulder)在Th2以下的情况，设为正常而对Cˊ2设定0。异常检测部155在所成的角θ(bneck×bhead，bshoulder)比Th2大的情况下，设为异常而对Cˊ2设定1。
图19～图22是用于对反向·横向弯曲异常检测所使用的各向量进行补充说明的图。对于图19所示的各坐标系，x的坐标系与比赛者H1的正面的方向对应。y的坐标系与比赛者H1的左方向对应。z的坐标系表示与bneck相同的方向。图18所示的bneck、bhead、bshoulder的关系为图19所示的bneck、bhead、bshoulder所示的关系。
移至图20的说明。在图20中示出“正常”的一个例子。图20所示的各坐标系与在图19中进行了说明的坐标系相同。在图20所示的例子中，所成的角θ(bneck×bhead，bshoulder)为0(deg)。
移至图21的说明。在图21中示出“反向弯曲”的一个例子。图21所示的各坐标系与在图19中进行了说明的坐标系相同。在图21所示的例子中，所成的角θ(bneck×bhead，bshoulder)为180(deg)。
移至图22的说明。在图22中示出“横向弯曲”的一个例子。图22所示的各坐标系与在图19中进行了说明的坐标系相同。在图22所示的例子中，所成的角θ(bneck×bhead，bshoulder)为90(deg)。
这里，对于与阈值Th2进行比较的所成的角θ(bneck×bhead，bshoulder)，若为想要视为正常的向后的弯曲则取0(deg)，在想要视为异常的反向弯曲时取180(deg)，在横向弯曲时取90(deg)。因此，在想要将反向、横向弯曲双方设为异常的情况下，设定为Th2＝90(deg)。
对“弯曲过度异常检测”进行说明。图23是用于说明检测弯曲过度异常的处理的图。计算置换前骨骼信息所包含的各关节中，从关节18朝向关节3的向量bhead。异常检测部155计算置换前骨骼信息所包含的各关节中，从关节2朝向关节18的向量bneck。
异常检测部155根据bneck和bhead，计算其所成的角θ(bneck，bhead)。
将与置换前骨骼信息相关的弯曲过度异常检测的结果设为C3。例如，异常检测部155在所成的角θ(bneck，bhead)在Th3以下的情况，设为正常而对C3设定0。异常检测部155在所成的角θ(bneck，bhead)比Th3大的情况下，设为异常而对C3设定1。
例如，由于头部的可动区域最大为60(deg)，所以设定为Th3＝60(deg)。
异常检测部155也对置换后骨骼信息同样地计算所成的角θ(bneck，bhead)。将与置换后骨骼信息相关的弯曲过度异常检测的结果设为Cˊ3。例如，异常检测部155在所成的角θ(bneck，bhead)在Th3以下的情况下，设为正常而对Cˊ3设定0。异常检测部155在所成的角θ(bneck，bhead)比Th3大的情况下，设为异常而对Cˊ3设定1。
如上述那样，异常检测部155对于骨长度异常检测，基于式(6)的条件，对C1(Cˊ1)设定值。异常检测部155对反向·横向弯曲异常检测，基于式(7)的条件，对C2(Cˊ2)设定值。异常检测部155对于弯曲过度异常检测，基于式(8)的条件，对C3(Cˊ3)设定值。
[式6]
[式7]
[式8]
异常检测部155在执行了“骨长度异常检测”、“反向·横向弯曲异常检测”、“弯曲过度异常检测”之后，计算判定结果D1、D2、D3。异常检测部155基于式(9)计算判定结果D1。异常检测部155基于式(10)计算判定结果D2。基于式(11)计算判定结果D3。
[式9]
[式10]
[式11]
异常检测部155在对判定结果D1～D3中任意一个判定结果设定“1”的情况下，关于3D骨骼信息，检测头顶部的异常。异常检测部155在检测到头顶部的异常的情况下，将3D骨骼信息输出到修正部156。
另一方面，异常检测部155在对判定结果D1～D3中全部的判定结果设定“0”的情况下，关于3D骨骼信息，判定为未产生头顶部的异常。异常检测部155在未检测到头顶部的异常的情况下，将帧编号与3D骨骼信息(置换后骨骼信息)建立对应关系，并登记于骨骼识别结果表格142。
异常检测部155每当从估计部154获取3D骨骼信息，则反复执行上述处理。
返回到图9的说明。修正部156在获取了通过异常检测部155检测到头顶部的异常的3D骨骼信息的情况下，修正获取的3D骨骼信息。这里，作为3D骨骼信息，使用置换后骨骼信息进行说明。
例如，在修正部156执行的修正包含有“骨长度修正”、“反向·横向弯曲修正”、以及“弯曲过度修正”。
对“骨长度修正”进行说明。图24是用于说明骨长度修正的图。如图24所示，修正部156按照步骤S20、步骤S21、步骤S22的顺序进行处理。
对步骤S20进行说明。修正部156计算置换后骨骼信息所包含的各关节中，从关节18朝向关节3的向量bhead。
对步骤S21进行说明。修正部156根据向量bhead，计算其单位向量nhead(nhead＝bhead/|bhead|)。
对步骤S22进行说明。修正部156输出以关节18为基准，向单位向量nhead的方向延长了根据过去的图像帧计算出的骨长度的平均μ的量后的关节，作为修正后的头顶部(更新置换后骨骼信息的头顶部的位置)。因为μ为正常范围，所以骨长度正常。
对“反向·横向弯曲修正”进行说明。图25是用于说明反向·横向弯曲修正的图。如图25所示，修正部156按照步骤S30、步骤S31、步骤S32的顺序进行处理。
对步骤S30进行说明。修正部156计算置换后骨骼信息所包含的各关节中，从关节2朝向关节18的向量bneck。
对步骤S31进行说明。修正部156根据向量bneck，计算其单位向量nneck(nneck＝bneck/|bneck|)。
对步骤S32进行说明。修正部156输出以关节18为基准，向单位向量nneck的方向延长标准骨长度μ的量而修正为收敛在阈值内的结果，作为头顶部(更新置换后骨骼信息的头顶部的位置)。由于head向与neck相同的方向延伸，所以修正反向·横向的异常。
对“弯曲过度修正”进行说明。图26是用于说明弯曲过度修正的图。如图26所示，修正部156按照步骤S40、步骤S41、步骤S42的顺序进行处理。
对步骤S40进行说明。修正部156计算置换后骨骼信息所包含的各关节中，从关节18朝向关节3的向量bhead。修正部156计算置换后骨骼信息所包含的各关节中，从关节2朝向关节18的向量bneck。修正部156计算置换后骨骼信息所包含的各关节中，从关节4朝向关节7的向量bshoulder。
对步骤S41进行说明。修正部156根据向量bneck和向量bhead，计算其法线向量bneck×bhead。
对步骤S42进行说明。法线向量bneck×bhead为从近前朝向里侧延伸的向量。修正部156输出以法线向量bneck×bhead为轴，使向量bhead旋转距阈值Th3的残差“Th3－所成的角θ(bneck，bhead)”(deg)而修正为收敛在阈值内的结果，作为头顶部(更新置换后骨骼信息的头顶部的位置)。由于角度收敛在阈值以内，所以修正弯曲过度的异常。
修正部156通过执行上述修正，来执行“骨长度修正”、“反向·横向弯曲修正”、以及“弯曲过度修正”，修正3D骨骼信息。修正部156将帧编号与修正后的3D骨骼信息建立对应关系，并登记于骨骼识别结果表格142。
返回到图9的说明。技巧识别部157按照帧编号的顺序从骨骼识别结果表格142获取3D骨骼信息，并基于连续的3D骨骼信息，确定各关节坐标的时间序列变化。技巧识别部157对各关节位置的时间序列变化与技巧识别表格143进行比较，确定技巧的种类。另外，技巧识别部157对技巧的种类的组合与技巧识别表格143进行比较，计算比赛者H1的表演的得分。
在技巧识别部157计算出的比赛者H1的表演的得分也包含有如平衡木的结环跳、地板运动的一部分的表演那样评价头顶部的时间序列转换的表演的得分。
技巧识别部157基于表演的得分、和从表演的开始到结束为止的3D骨骼信息，生成画面信息。技巧识别部157使生成的画面信息输出到显示部130并显示。
接下来，对本实施例1的学习装置50的处理顺序的一个例子进行说明。图27是表示本实施例1的学习装置的处理顺序的流程图。如图27所示，学习装置50的获取部55a获取学习数据54a，并登记于存储部54(步骤S101)。
学习装置50的学习部55b基于学习数据54a，执行与面部关节估计模型54b对应的机器学习(步骤S102)。
学习装置50的输出部55c将面部关节估计模型发送到信息处理装置100(步骤S103)。
接下来，对本实施例1的信息处理装置100的处理顺序的一个例子进行说明。图28是表示本实施例1的信息处理装置的处理顺序的流程图。如图28所示，信息处理装置100的获取部151从学习装置50获取面部关节估计模型54b，并登记于存储部140(步骤S201)。
获取部151从照相机接收时间序列的图像帧，并登记于测定表格141(步骤S202)。
信息处理装置100的前处理部152基于测定表格141的多视点的图像帧，生成3D骨骼信息(步骤S203)。信息处理装置100的目标信息生成部153将图像帧输入到面部关节估计模型54b，生成目标信息(步骤S204)。
信息处理装置100的估计部154执行转换参数估计处理(步骤S205)。估计部154将转换参数应用于源信息60a，估计头顶部(步骤S206)。估计部154将3D骨骼信息的头顶部的信息置换为估计出的头顶部的信息(步骤S207)。
信息处理装置100的异常检测部155判定是否检测到头顶部的异常(步骤S208)。异常检测部155在未检测到头顶部的异常的情况下(步骤S208，否)，将置换后骨骼信息登记于骨骼识别结果表格142(步骤S209)，并移至步骤S212。
另一方面，异常检测部155在检测到头顶部的异常的情况下(步骤S208，是)，移至步骤S210。信息处理装置100的修正部156修正置换后骨骼信息(步骤S210)。修正部156将修正后的置换后骨骼信息登记于骨骼识别结果表格142(步骤S211)，并移至步骤S212。
信息处理装置100的技巧识别部157从骨骼识别结果表格142读出时间序列的3D骨骼信息，执行基于技巧识别表格143的技巧识别(步骤S212)。
接下来，对图28的步骤S206所示的转换参数估计处理的处理顺序的一个例子进行说明。图29以及图30是表示转换参数估计处理的处理顺序的流程图。
对图29进行说明。信息处理装置100的估计部154对最大inlier数以及基准评价指标设定初始值(步骤S301)。例如，估计部154对最大inlier数设定“0”，对基准评价指标设定“∞(较大的值)”。
估计部154获取目标信息和源信息(步骤S302)。估计部154从目标信息对三个关节进行取样(步骤S303)。估计部154基于式(1)，计算目标信息与源信息的差e2最小的转换参数(R，t，c)(步骤S304)。
估计部154将转换参数应用于源信息，进行重新投影以使得与目标信息匹配(步骤S305)。估计部154计算源信息的投影结果与目标信息的三个关节的重新投影误差ε(步骤S306)。
估计部154将重新投影误差ε在阈值以下的面部关节的数目设定为inlier数(步骤S307)。估计部154计算离群值评价指标(步骤S308)。估计部154移至图30的步骤S309。
移至图30的说明。估计部154在inlier数比最大inlier数大的情况下(步骤S309，是)，移至步骤S312。另一方面，估计部154在inlier数不比最大inlier数大的情况下(步骤S309，否)，移至步骤S310。
估计部154在inlier数与最大inlier数相同的情况下(步骤S310，是)，移至步骤S311。另一方面，估计部154在inlier数与最大inlier数不相同的情况下(步骤S310，否)，移至步骤S314。
估计部154在离群值评价指标E不比基准评价指数小的情况下(步骤S311，否)，移至步骤S314。另一方面，估计部154在离群值评价指标E比基准评价指数小的情况下(步骤S311，是)，移至步骤S312。
估计部154将最大inlier数更新为这次计算出的inlier数，并根据离群值评价指标的值，更新基准评价指标(步骤S312)。估计部154更新与最大inlier数对应的转换参数(步骤S313)。
估计部154在未达到取样次数的上限的情况下(步骤S314，否)，移至图29的步骤S303。另一方面，估计部154在达到取样次数的上限的情况下(步骤S314，是)，输出与最大inlier数对应的转换参数(步骤S315)。
接下来，对本实施例1的信息处理装置100的效果进行说明。信息处理装置100计算用于使源信息60a的面部关节的位置与目标信息60b的面部关节的位置相匹配的转换参数。信息处理装置100通过将计算出的转换参数应用于源信息60a的头顶部，来计算比赛者的头顶部的位置。由于面部关节与头顶部的关系处于刚体关系，所以通过利用这样的关系，估计比赛者的头顶部的位置，能够使估计精度提高。
例如，如在图6中进行了说明的那样，即使在图像产生了外表、头发蓬乱、遮挡等的情况下，与现有技术相比较，头顶部的估计精度也提高。由于通过信息处理装置100，头顶部的估计精度提高，所以在使用头顶部评价比赛者的表演的情况下，也能够适当地评价表演的成立不成立。在比赛者的使用头顶部的表演包含有平衡木的结环跳、地板运动的一部分的表演。
另外，本实施例1的信息处理装置100基于inlier数和离群值误差指标E，确定转换参数。因此，即使在存在多个inlier数相同的转换参数的情况下，也能够使用离群值误差指标E，选择最佳的转换参数。
图31是用于说明头顶部估计的误差的比较结果的图。图31的图表G1表示不执行RANSAC而进行了头顶部的估计的情况下的误差。图表G2表示执行RANSAC并进行了头顶部的估计的情况下的误差。图表G3表示本实施例1的估计部154进行了头顶部的估计的情况下的误差。图表G1～G2的横轴与目标信息的面部关节和GT(正确的面部关节的位置)的误差的最大值对应。图表G1～G2的纵轴表示头顶部的估计结果与GT(正确的头顶部的位置)的误差。
在图表G1中，头顶部的估计结果与GT的误差的平均误差为“30mm”。在图表G2中，头顶部的估计结果与GT的误差的平均误差为“22mm”。在图表G3中，头顶部的估计结果与GT的误差的平均误差为“15mm”。即，在本实施例1的信息处理装置100中，与RANSAC等现有技术相比较，能够高精度地估计头顶部的位置。例如，在图表G2的区域ar1中，示出离群值的除去失败。
本实施例1的信息处理装置100在检测到3D骨骼信息的头顶部的异常的情况下，执行修正头顶部的位置的处理。由此，能够进一步提高3D骨骼信息的估计精度。
此外，在本实施例1中作为一个例子，对修正部156修正置换后骨骼信息的情况进行了说明，但也可以修正置换前骨骼信息，并输出修正后的置换前骨骼信息。另外，修正部156也可以实际不进行修正，而直接输出置换前骨骼信息作为修正后的骨骼信息。
实施例2
接下来，对本实施例2进行说明。与本实施例2相关的系统与实施例1的系统相同。接着，对本实施例2的信息处理装置进行说明。本实施例2的信息处理装置与实施例1的源信息不同，具有多个头顶部的候补。
图32是表示本实施例2的源信息的一个例子的图。如图32所示，该源信息60c在3D的人体模型M2具有多个头顶部关节候补tp1－1、tp1－2、tp1－3、tp1－4、tp1－5、tp1－6。虽然在图32中省略图示，但源信息60c与实施例1所示的源信息60a相同，设定多个面部关节的位置。
信息处理装置与实施例1相同地计算转换参数。信息处理装置将计算出的转换参数应用于源信息60c，分别对多个头顶部关节候补tp1－1～tp1－6的z轴方向的值进行比较，并将z轴方向的值最小的头顶部关节候补确定为头顶部。
图33是用于说明确定头顶部的处理的图。在图33所示的例子中，示出将转换参数应用于源信息60c的结果。由于多个头顶部关节候补tp1－1～tp1－6的z轴方向的值中头顶部关节候补tp1－2的值最小，所以信息处理装置选择头顶部关节候补tp1－2作为头顶部。
这样，本实施例2的信息处理装置将转换参数应用于源信息60c，分别对多个头顶部关节候补tp1－1～tp1－6的z轴方向的值进行比较，并将z轴方向的值最小的头顶部关节候补的位置确定为头顶部的位置。由此，能够更适当地选择对结环跳等那样使头顶部朝下的表演进行评价的情况下的头顶部的位置。
接下来，对本实施例2的信息处理装置的构成进行说明。图34是表示本实施例2的信息处理装置的构成的功能框图。如图34所示，该信息处理装置200具有通信部110、输入部120、显示部130、存储部240、控制部250。
关于通信部110、输入部120、以及显示部130的说明与在图9中进行了说明的关于通信部110、输入部120、以及显示部130的说明相同。
存储部240具有面部关节估计模型54b、源信息60c、测定表格141、骨骼识别结果表格142、以及技巧识别表格143。存储部240与RAM、闪存等半导体存储器元件、或者HDD等存储装置对应。
关于面部关节估计模型54b、测定表格141、骨骼识别结果表格142、以及技巧识别表格143的说明与在图9中进行了说明的关于面部关节估计模型54b、测定表格141、骨骼识别结果表格142、以及技巧识别表格143的说明相同。
如在图32中进行了说明的那样，源信息60c是分别设定了多个面部关节的位置、和多个头顶部关节候补的位置的信息。
控制部250具有获取部151、前处理部152、目标信息生成部153、估计部254、异常检测部155、修正部156、以及技巧识别部157。控制部250与CPU等对应。
关于获取部151、前处理部152、目标信息生成部153、异常检测部155、修正部156、以及技巧识别部157的说明与在图9中进行了说明的关于获取部151、前处理部152、目标信息生成部153、异常检测部155、修正部156、以及技巧识别部157的说明相同。
估计部254基于源信息60c和目标信息60b(图像帧固有的目标信息)，估计比赛者H1的头顶部的位置。
估计部254对源信息60c的面部关节的位置与目标信息60b的面部关节(三个关节)的位置进行比较，计算上述的式(1)的差e2最小的转换参数(旋转R、平移t、比例c)。估计部254计算转换参数的处理与实施例1的估计部154相同。
如在图33中进行了说明的那样，估计部254将转换参数应用于源信息60c。估计部254分别对多个头顶部关节候补tp1－1～tp1－6的z轴方向的值进行比较，将z轴方向的值最小的头顶部关节候补的位置确定为头顶部的位置。
通过上述处理，估计部254估计出比赛者H1的面部坐标的位置(面部关节的位置、头顶部的位置)，通过将通过前处理部252估计出的3D骨骼信息的头部的信息置换为面部坐标的位置的信息，来生成3D骨骼信息。估计部254将生成的3D骨骼信息输出到异常检测部255。另外，估计部254也将置换为面部坐标的位置的信息之前的3D骨骼信息输出到异常检测部155。
接下来，对本实施例2的信息处理装置200的处理顺序的一个例子进行说明。图35是表示本实施例2的信息处理装置的处理顺序的流程图。如图35所示，信息处理装置200的获取部151从学习装置50获取面部关节估计模型54b，并登记于存储部240(步骤S401)。
获取部151从照相机接收时间序列的图像帧，并登记于测定表格141(步骤S402)。
信息处理装置200的前处理部152基于测定表格141的多视点的图像帧，生成3D骨骼信息(步骤S403)。信息处理装置200的目标信息生成部153将图像帧输入到面部关节估计模型54b，生成目标信息(步骤S404)。
信息处理装置200的估计部254执行转换参数估计处理(步骤S405)。估计部154将转换参数应用于源信息60a，从多个头顶部关节候补估计头顶部(步骤S406)。估计部254将3D骨骼信息的头顶部的信息置换为估计出的头顶部的信息(步骤S407)。
信息处理装置200的异常检测部155判定是否检测到头顶部的异常(步骤S408)。异常检测部155在未检测到头顶部的异常的情况下(步骤S408，否)，将置换后骨骼信息登记于骨骼识别结果表格142(步骤S409)，并移至步骤S412。
另一方面，异常检测部155在检测到头顶部的异常的情况下(步骤S408，是)，移至步骤S410。信息处理装置200的修正部156修正置换后骨骼信息(步骤S410)。修正部156将修正后的置换后骨骼信息登记于骨骼识别结果表格142(步骤S411)，并移至步骤S412。
信息处理装置200的技巧识别部157从骨骼识别结果表格142读出时间序列的3D骨骼信息，执行基于技巧识别表格143的技巧识别(步骤S412)。
图35的步骤S405所示的转换参数估计处理与实施例1的图29、图30所示的转换参数估计处理对应。
接下来，对本实施例2的信息处理装置200的效果进行说明。信息处理装置200将转换参数应用于源信息60c，并分别对多个头顶部关节候补的z轴方向的值进行比较，将z轴方向的值最小的头顶部关节候补确定为头顶部。由此，能够更适当地选择对结环跳等那样使头顶部朝下的表演进行评价的情况下的头顶部的位置。
接下来，对实现与上述实施例所示的信息处理装置100(200)相同的功能的计算机的硬件构成的一个例子进行说明。图36是表示实现与信息处理装置相同的功能的计算机的硬件构成的一个例子的图。
如图36所示，计算机300具有执行各种运算处理的CPU301、受理来自用户的数据的输入的输入装置302、以及显示器303。另外，计算机300具有从照相机30接收距离图像的数据的通信装置304、和与各种装置连接的接口装置305。计算机300具有暂时存储各种信息的RAM306和硬盘装置307。而且，各装置301～307与总线308连接。
硬盘装置307具有获取程序307a、前处理程序307b、目标信息生成程序307c、估计程序307d、异常检测程序307e、修正程序307f、以及技巧识别程序307g。CPU301读出获取程序307a、前处理程序307b、目标信息生成程序307c、估计程序307d、异常检测程序307e、修正程序307f、以及技巧识别程序307g并在RAM306中展开。
获取程序307a作为获取工序306a发挥作用。前处理程序307b作为前处理工序306b发挥作用。目标信息生成程序307c作为目标信息生成工序306c发挥作用。估计程序307d作为估计工序306d发挥作用。异常检测程序307e作为异常检测工序306e发挥作用。修正程序307f作为修正工序306f发挥作用。技巧识别程序307g作为技巧识别工序306g发挥作用。
获取工序306a的处理与获取部151的处理对应。前处理工序306b的处理与前处理部152的处理对应。目标信息生成工序306c的处理与目标信息生成部153的处理对应。估计工序306d的处理与估计部154、254的处理对应。异常检测工序306e的处理与异常检测部155的处理对应。修正工序306f的处理与修正部156的处理对应。技巧识别工序306g的处理与技巧识别部157的处理对应。
此外，各程序307a～307g也可以并不一定从最初起就存储于硬盘装置307。例如，也可以预先使各程序存储于能够插入到计算机300的软盘(FD)、CD－ROM、DVD盘、光磁盘、IC卡等“移动物理介质”。然后，计算机300读出各程序307a～307e并执行。
附图标记说明
100、200…信息处理装置，110…通信部，120…输入部，130…显示部，140、240…存储部，141…测定表格，142…骨骼识别结果表格，143…技巧识别表格，150、250…控制部，151…获取部，152…前处理部，153…目标信息生成部，154、254…估计部，155…异常检测部，156…修正部，157…技巧识别部。

Claims (18)

1.一种估计程序，其特征在于，使计算机执行如下处理：
通过将比赛者的头部为规定的状态的图像输入到机器学习模型，来确定上述比赛者的面部所包含的多个关节的位置；以及
使用上述多个关节的位置中的每个位置，估计上述比赛者的头顶部的位置。
2.根据权利要求1所述的估计程序，其特征在于，还使计算机执行如下处理：
基于定义信息和识别信息，估计使上述定义信息的多个关节的位置与上述识别信息的多个关节的位置相匹配的参数，其中，上述定义信息定义了人物的面部所包含的多个关节的位置和上述人物的头顶部，上述识别信息表示上述比赛者的面部所包含的多个关节的位置，
估计上述头顶部的位置的处理基于上述参数、和上述定义信息的头顶部的坐标，估计上述比赛者的头顶部的位置。
3.根据权利要求1所述的估计程序，其特征在于，
输入到上述机器学习模型的图像是背景的颜色与上述比赛者的头发的颜色相似的状态的图像、上述比赛者的头发蓬乱的状态的图像、或者上述比赛者的头部隐藏的状态的图像中的任意一种图像。
4.根据权利要求1所述的估计程序，其特征在于，还使计算机执行如下处理：
基于上述头顶部的位置，对与平衡木或者地板运动相关的表演进行评价。
5.根据权利要求1所述的估计程序，其特征在于，还使计算机执行如下处理：
判定通过上述估计的处理估计出的上述比赛者的头顶部的位置是否异常，在上述比赛者的头顶部的位置异常的情况下，修正上述上述比赛者的头顶部的位置。
6.根据权利要求2所述的估计程序，其特征在于，
上述定义信息具有多个头顶部的候补，估计上述头顶部的位置的处理将在将上述参数应用于上述定义信息的情况下，上述多个头顶部的候补中垂直方向的值最小的头顶部的候补的位置估计为上述比赛者的头顶部的位置。
7.一种估计方法，其特征在于，计算机执行如下处理：
通过将比赛者的头部为规定的状态的图像输入到机器学习模型，来确定上述比赛者的面部所包含的多个关节的位置；以及
使用上述多个关节的位置中的每个位置，估计上述比赛者的头顶部的位置的处理。
8.根据权利要求7所述的估计方法，其特征在于，计算机还执行如下处理：
基于定义信息和识别信息，估计使上述定义信息的多个关节的位置与上述识别信息的多个关节的位置相匹配的参数，其中，上述定义信息定义了人物的面部所包含的多个关节的位置和上述人物的头顶部，上述识别信息表示上述比赛者的面部所包含的多个关节的位置，
估计上述头顶部的位置的处理基于上述参数、和上述定义信息的头顶部的坐标，估计上述比赛者的头顶部的位置。
9.根据权利要求7所述的估计方法，其特征在于，
输入到上述机器学习模型的图像是背景的颜色与上述比赛者的头发的颜色相似的状态的图像、上述比赛者的头发蓬乱的状态的图像、或者上述比赛者的头部隐藏的状态的图像中的任意一种图像。
10.根据权利要求7所述的估计方法，其特征在于，计算机还执行如下处理：
基于上述头顶部的位置，对与平衡木或者地板运动相关的表演进行评价。
11.根据权利要求7所述的估计方法，其特征在于，计算机还执行如下处理：
判定通过上述估计的处理估计出的上述比赛者的头顶部的位置是否异常，在上述比赛者的头顶部的位置异常的情况下，修正上述比赛者的头顶部的位置。
12.根据权利要求8所述的估计方法，其特征在于，
上述定义信息具有多个头顶部的候补，估计上述头顶部的位置的处理将在将上述参数应用于上述定义信息的情况下，上述多个头顶部的候补中垂直方向的值最小的头顶部的候补的位置估计为上述比赛者的头顶部的位置。
13.一种信息处理装置，其特征在于，具有：
生成部，通过将比赛者的头部为规定的状态的图像输入到机器学习模型，来确定上述比赛者的面部所包含的多个关节的位置；以及
估计部，使用上述多个关节的位置中的每个位置，估计上述比赛者的头顶部的位置。
14.根据权利要求13所述的信息处理装置，其特征在于，
上述估计部基于定义信息和识别信息，估计使上述定义信息的多个关节的位置与上述识别信息的多个关节的位置相匹配的参数，并基于上述参数、和上述定义信息的头顶部的坐标，估计上述比赛者的头顶部的位置，其中，上述定义信息定义了人物的面部所包含的多个关节的位置和上述人物的头顶部，上述识别信息表示上述比赛者的面部所包含的多个关节的位置。
15.根据权利要求13所述的信息处理装置，其特征在于，
输入到上述机器学习模型的图像是背景的颜色与上述比赛者的头发的颜色相似的状态的图像、上述比赛者的头发蓬乱的状态的图像、或者上述比赛者的头部隐藏的状态的图像中的任意一种图像。
16.根据权利要求13所述的信息处理装置，其特征在于，还具有：
技巧识别部，基于上述头顶部的位置，对与平衡木或者地板运动相关的表演进行评价。
17.根据权利要求13所述的信息处理装置，其特征在于，还具有：
异常检测部，判定通过上述估计部估计出的上述比赛者的头顶部的位置是否异常；以及
修正部，在上述比赛者的头顶部的位置异常的情况下，修正上述比赛者的头顶部的位置。
18.根据权利要求14所述的信息处理装置，其特征在于，
上述定义信息具有多个头顶部的候补，上述估计部将在将上述参数应用于上述定义信息的情况下，上述多个头顶部的候补中垂直方向的值最小的头顶部的候补的位置估计为上述比赛者的头顶部的位置。
CN202180103161.1A 2021-10-13 2021-10-13 估计程序、估计方法以及信息处理装置 Pending CN118103866A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/037972 WO2023062762A1 (ja) 2021-10-13 2021-10-13 推定プログラム、推定方法および情報処理装置

Publications (1)

Publication Number Publication Date
CN118103866A true CN118103866A (zh) 2024-05-28

Family

ID=85987666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180103161.1A Pending CN118103866A (zh) 2021-10-13 2021-10-13 估计程序、估计方法以及信息处理装置

Country Status (4)

Country Link
US (1) US20240242375A1 (zh)
JP (1) JPWO2023062762A1 (zh)
CN (1) CN118103866A (zh)
WO (1) WO2023062762A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877334A (ja) * 1994-09-09 1996-03-22 Konica Corp 顔画像の特徴点自動抽出方法
JP4706849B2 (ja) * 2006-03-23 2011-06-22 花王株式会社 ヘアスタイルシミュレーション画像の形成方法
JP2018057596A (ja) 2016-10-05 2018-04-12 コニカミノルタ株式会社 関節位置推定装置および関節位置推定プログラム
JP2021026265A (ja) 2019-07-31 2021-02-22 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法

Also Published As

Publication number Publication date
US20240242375A1 (en) 2024-07-18
WO2023062762A1 (ja) 2023-04-20
JPWO2023062762A1 (zh) 2023-04-20

Similar Documents

Publication Publication Date Title
JP4349367B2 (ja) 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム
US9842405B2 (en) Visual target tracking
JP4829141B2 (ja) 視線検出装置及びその方法
US8565476B2 (en) Visual target tracking
US8577084B2 (en) Visual target tracking
JP4585471B2 (ja) 特徴点検出装置及びその方法
JP7367764B2 (ja) 骨格認識方法、骨格認識プログラムおよび情報処理装置
US8577085B2 (en) Visual target tracking
US8565477B2 (en) Visual target tracking
CN110544302A (zh) 基于多目视觉的人体动作重建系统、方法和动作训练系统
JP7164045B2 (ja) 骨格認識方法、骨格認識プログラムおよび骨格認識システム
JPWO2018207365A1 (ja) 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム
CN110546679B (zh) 识别装置、识别系统，识别方法以及存储介质
CN111832386A (zh) 一种估计人体姿态的方法、装置及计算机可读介质
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
JP7318814B2 (ja) データ生成方法、データ生成プログラムおよび情報処理装置
CN118103866A (zh) 估计程序、估计方法以及信息处理装置
JP5688514B2 (ja) 視線計測システム、方法およびプログラム
JP2007272578A (ja) 画像処理装置および画像処理方法
JP7419993B2 (ja) 信頼度推定プログラム、信頼度推定方法、および信頼度推定装置
WO2023188796A1 (ja) 姿勢評価装置、姿勢評価システム、姿勢評価方法、及び非一時的なコンピュータ可読媒体
WO2024116252A1 (ja) 補正方法、補正プログラムおよび情報処理装置
US11972549B2 (en) Frame selection for image matching in rapid target acquisition
CN115546876B (zh) 一种瞳孔追踪方法及装置
WO2023188217A1 (ja) 情報処理プログラム、情報処理方法、および情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination