CN110622217A - 距离图像处理装置、距离图像处理系统、距离图像处理方法以及距离图像处理程序 - Google Patents

距离图像处理装置、距离图像处理系统、距离图像处理方法以及距离图像处理程序 Download PDF

Info

Publication number
CN110622217A
CN110622217A CN201780090521.2A CN201780090521A CN110622217A CN 110622217 A CN110622217 A CN 110622217A CN 201780090521 A CN201780090521 A CN 201780090521A CN 110622217 A CN110622217 A CN 110622217A
Authority
CN
China
Prior art keywords
distance image
human body
learning
subject
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780090521.2A
Other languages
English (en)
Other versions
CN110622217B (zh
Inventor
桝井昇一
藤本博昭
吉村和浩
佐藤卓也
佐佐木和雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN110622217A publication Critical patent/CN110622217A/zh
Application granted granted Critical
Publication of CN110622217B publication Critical patent/CN110622217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

学习装置(100)基于合成了人体的三维模型和物体的三维模型的合成模型，来生成将距离图像和部位图像建立对应的多个学习图像，该距离图像表示从基准位置到人体的各位置或者物体的各位置的距离，该部位图像识别人体的各部位或者物体的部位。学习装置(100)基于多个学习图像来学习将距离图像的特征和人体的部位或者物体的部位建立对应的识别器。

Description

距离图像处理装置、距离图像处理系统、距离图像处理方法以 及距离图像处理程序
技术领域
本发明涉及距离图像处理装置等。
背景技术
图14是用于说明进行姿势识别的现有系统的图。如图14所示，现有系统使用距离传感器6来获取对象者5a的距离图像7。现有系统通过基于距离图像7来进行关节位置推定，从而确定对象者5a的骨格位置5b，并推定对象者5a的姿势。
图15是用于说明现有系统的应用例的图。在图15所示的例子中，使用距离传感器6来获取对象者5a的距离图像，识别对象者5a的姿势，游戏上的网络虚拟形象(avatar)5c采取与对象者5a相同的姿势。
图16是用于说明姿势识别的现有技术的一个例子的图。现有技术获取包括人体的一个以上的距离图像(步骤S10)。例如，距离图像1包括与确定的人体有关的前景像素1a、和除此以外的背景像素1b。
现有技术通过从距离图像1分离出背景像素1b来获得仅包括前景像素的距离图像1c(步骤S11)。现有技术通过向识别人物的部位的“识别器”输入距离图像1c而将距离图像1c的人体的区域分成多个部位标签bp1～bp14(步骤S12)。
现有技术基于人体的各部位标签bp1～bp14，提出具有多个三维的骨格位置的人体的多个骨格模型(步骤S13)。现有技术从多个骨格模型中选择似然度最高的骨格模型，并基于选择出的骨格模型来识别人物的姿势(步骤S14)。
此处，在图16等现有技术中所使用的识别器通过执行图17所示的处理来学习。图17是表示现有的学习识别器的处理顺序的流程图。如图17所示，现有技术获取动作捕捉数据(步骤S20)。现有技术通过基于动作捕捉数据进行人体模型重新定位，从而生成多个各种姿势的人体模型(步骤S21)。
现有技术通过从各人体模型去除相似的人体模型姿势，仅留下独特的人体模型姿势，从而去除冗余性(步骤S22)。现有技术基于独特的人体模型姿势分别生成以假设的距离传感器的位置为基准的部位标签图像以及距离图像(步骤S23)。现有技术通过基于部位标签图像和距离图像的组反复学习距离图像的各位置的特征(以及周边位置的特征)和部位标签的对应关系，来生成识别器(步骤S24)。
专利文献1:日本特开2016－212688号公报
专利文献2:日本特开2015－167008号公报
专利文献3:日本特开2012－120647号公报
专利文献4:日本特开2016－091108号公报
专利文献5:美国专利申请公开第2015/0036879号说明书
专利文献6:美国专利申请公开第2016/0125243号说明书
然而，在上述的现有技术中，存在不能够适当地判定人体的部位这样的问题。
例如，在利用图14中所说明的现有系统进行人体的姿势识别的情况下，产生由物体引起的遮挡。由物体引起的遮挡是成为识别对象的人体的一部分因其它物体而不能看到的状态。
图18是表示由物体引起的遮挡的一个例子的图。在图18所示的例子中，在鞍马表演中，在鞍马8b的后方对象者8a的身体的一部分以隐藏的状态存在。在图18所示那样的状态下，如果使用图16中所说明的现有技术来进行对象者8a的姿势识别，则无法分配正常的部位标签，不能够进行准确的姿势识别。
图19以及图20是用于说明现有技术的问题点的图。例如，现有技术如果获取包括对象者8a以及鞍马8b的距离图像，从距离图像去除背景，并分配部位标签，则成为图19所示的部位标签识别结果9A。在现有技术中，将包括对象者8a以及鞍马8b的区域8c设为对象者8a的区域，将鞍马8b作为人体的一部分，分配部位标签。
另一方面，可以预先在不存在对象者8a的状态下，拍摄仅被固定的鞍马8b的距离图像，从实际对象者8a在鞍马8b上进行运动时所拍摄到的距离图像去除仅鞍马8b的距离图像。若这样去除仅鞍马8b的距离图像，则不能够检测到隐藏在鞍马8b的里侧的脚的部分的距离图像，所以只能够获得被鞍马8b断开的距离图像。
例如，若对去除了鞍马8b的距离图像而得的距离图像分配部位标签，则成为图20所示的部位标签识别结果9B。若人体的区域被断开，则将被断开的各区域B1、B2分别识别为一个对象者的区域，分配了部位标签。例如，有时对于区域B1，对部分b1分配脚的部位标签，对区域B2分配人体的脚以外(例如，手)的部位标签。
如上述那样，若不能够适当地判定部位标签，则基于部位标签的判定结果的姿势识别的精度降低。
发明内容
在一个方面，本发明的目的在于提供能够适当地判定人体的部位的距离图像处理装置、距离图像处理系统、距离图像处理方法以及距离图像处理程序。
在第一方面中，距离图像处理装置具有生成部和学习部。生成部基于将人体的三维模型和物体的三维模型合成而得的合成模型，来生成将距离图像和部位图像建立对应的多个学习图像，该距离图像表示从基准位置到人体的各位置或者物体的各位置的距离，该部位图像识别人体的各部位或者物体的部位。学习部基于多个学习图像，学习将距离图像的特征和人体的部位或者物体的部位建立对应的识别器。
本发明能够适当地判定人体的部位。
附图说明
图1是表示本实施例所涉及的距离图像处理系统的一个例子的图。
图2是表示学习装置的结构的一个例子的图。
图3是用于说明捕捉相机的图。
图4是表示物体模型数据的一个例子的图。
图5是表示合成模型表的数据结构的一个例子的图。
图6是表示学习图像表的数据结构的一个例子的图。
图7是用于说明部位标签图像和距离图像的关系的图。
图8是表示识别器数据的数据结构的一个例子的图。
图9是表示识别装置的结构的一个例子的图。
图10是表示本实施例所涉及的学习装置的处理顺序的流程图。
图11是表示本实施例所涉及的识别装置的处理顺序的流程图。
图12是表示实现与学习装置同样的功能的计算机的硬件构成的一个例子的图。
图13是表示实现与识别装置同样的功能的计算机的硬件构成的一个例子的图。
图14是用于说明进行姿势识别的现有系统的图。
图15是用于说明现有系统的应用例的图。
图16是用于说明姿势识别的现有技术的一个例子的图。
图17是表示现有的学习识别器的处理顺序的流程图。
图18是表示由物体引起的遮挡的一个例子的图。
图19是用于说明现有技术的问题点的图(1)。
图20是用于说明现有技术的问题点的图(2)。
具体实施方式
以下，基于附图，详细地对本发明所涉及的距离图像处理装置、距离图像处理系统、距离图像处理方法以及距离图像处理程序的实施例进行说明。此外，并不是通过该实施例限定该发明。
实施例
图1是表示本实施例所涉及的距离图像处理系统的一个例子的图。如图1所示，该距离图像处理系统包括学习装置100和识别装置200。学习装置100与动作捕捉装置10连接。识别装置200与距离传感器20连接。另外，学习装置100和识别装置200相互连接。
学习装置100是学习在识别装置200识别对象者的姿势的情况下所使用的识别器数据的装置。识别装置200是使用学习装置100学习到的识别器数据来识别对象者的姿势的装置。学习装置100以及识别装置200是距离图像处理装置的一个例子。
图2是表示学习装置的结构的一个例子的图。如图2所示，该学习装置100与动作捕捉装置10连接。学习装置100具有输入部110、显示部120、存储部130以及控制部140。
动作捕捉装置10与多个捕捉相机10a连接。图3是用于说明捕捉相机的图。如图3所示，捕捉相机10a被配置在对象者11的周围。在对象者11的各关节位置分别安装有标记12。
例如，动作捕捉装置10使用各相机10a来记录对象者11的标记12的移动，根据各标记12求出三维的关节位置。动作捕捉装置10通过依次记录根据各标记12的位置坐标求出的三维的关节位置，来生成动作捕捉数据。动作捕捉装置10将动作捕捉数据输出至学习装置100。
返回到图2的说明。输入部110是用于对学习装置100输入各种信息的输入装置。例如，输入部110与键盘、鼠标、触摸面板等对应。
显示部120是对从控制部140输出的信息进行显示的显示装置。例如，显示部120与液晶显示器、触摸面板等对应。
存储部130具有动作捕捉数据130a、人体模型数据130b、物体模型数据130c、合成模型表130d、学习图像表130e以及识别器数据130f。存储部130与RAM(Random AccessMemory：随机存取存储器)、ROM(Read Only Memory：只读存储器)、闪存(Flash Memory)等半导体存储器元件、HDD(Hard Disk Drive：硬盘驱动器)等存储装置对应。
动作捕捉数据130a是记录由动作捕捉装置10生成的、记录人物的三维的关节位置的移动的数据。例如，动作捕捉数据130a具有每帧的关节位置的信息。
人体模型数据130b是人体的三维模型的数据。人体模型数据130b是通过将三维的人体模型与基于动作捕捉130a的人物的各关节位置的骨格结合而生成的信息。
物体模型数据130c是与人物不同的物体的三维模型。图4是表示物体模型数据的一个例子的图。此处，作为一个例子，将物体设为鞍马，但如果就体操而言，吊环的环、单杠、双杠、跳马等也相当，并不限于这些。
合成模型表130d是具有合成了人体模型数据130b和物体模型数据130c的多个合成模型数据的表。图5是表示合成模型表的数据结构的一个例子的图。如图5所示，该合成模型表130d将合成模型编号和合成模型数据建立对应。合成模型编号是识别合成模型数据的编号。合成模型数据是合成了一系列的移动中的定时(帧)的人体模型数据130b和物体模型数据130c的结果所获得的数据。
学习图像表130e是具有用于生成识别器数据130f的多个学习图像数据的表。图6是表示学习图像表的数据结构的一个例子的图。如图6所示，该学习图像表130e将学习图像编号、部位标签图像数据以及距离图像数据建立对应。学习图像编号是唯一地识别成为学习图像的部位标签图像数据和距离图像数据的组的编号。部位标签图像数据是用独特的部位标签表示合成模型数据(人体+物体)的各部位以及物体的信息。距离图像数据是根据合成模型数据(人体+物体)生成的距离图像。根据同一合成模型数据生成对应的部位标签图像数据和距离图像数据。
图7是用于说明部位标签图像和距离图像的关系的图。图7表示与某个学习图像编号对应的部位标签图像数据131A和距离图像数据131B的组。距离图像数据131B例如是针对每个像素表示从相机等的基准位置到合成模型数据的各位置的距离的距离图像数据。部位标签图像数据131A是用独特的部位标签表示距离图像131B所包括的人物的各部位以及物体的信息。例如，基于规定的分割策略将人物的区域分割成多个部位，对与各部位对应的区域分配固有的部位标签。另外，对于物体，对与物体对应的区域分配与人物的部位不同的部位标签。
识别器数据130f构成例如基于距离图像数据的某个位置的周边的特征量将距离图像的各像素与部位标签建立对应的识别器。在确定距离图像数据的某个位置的部位标签的情况下，通过将距离图像数据的某个位置的周边的特征量输入到识别器，从而输出某个位置的部位标签。
图8是表示识别器数据的数据结构的一个例子的图。如图8所示，该识别器数据130f具有多个分支节点f1－1、f2－1～f2－n、f3－1～f3－n、以及叶节点R1～Rn。在以下的说明中，将分支节点f1－1、f2－1～f2－n、f3－1～f3－n集中记载为分支节点f。将叶节点R1～Rn集中记载为叶节点R。
分支节点f是通过距离图像数据的某个位置的周边的特征量指示下属的分支节点f中任意一个的分支目的地的节点。在分支节点f为分支节点f3－1～f3－n的情况下，通过距离图像数据的某个位置的特征量和某个位置的周边的特征量指示下属的叶节点R中任意一个分支目的地。
叶节点R是储存表示人体的部位或者物体的部位的数据的节点。
返回到图2的说明。控制部140具有获取部140a、生成部140b、学习部140c以及通知部140d。控制部140能够通过CPU(Central Processing Unit：中央处理器)、MPU(MicroProcessing Unit：微处理器)等来实现。另外，控制部140也能够通过ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等硬连线逻辑来实现。
获取部140a是从动作捕捉装置10获取动作捕捉数据130a的处理部。获取部140a将获取到的动作捕捉数据130a储存至存储部130。
生成部140b是生成学习图像表130e的处理部。例如，生成部140b执行生成人体模型数据130b的处理、生成合成模型表130d的处理、生成学习图像表130e的处理。此外，生成部140b可以重新生成物体模型数据130c，也可以将现有的物体模型数据用作物体模型数据130c。
对生成部140b生成人体模型数据130b的处理进行说明。生成部140b根据动作捕捉数据130a所包括的人物的关节位置的一系列的移动获取人物的关节位置的信息，并利用骨架连接各关节位置，从而生成人物的骨格信息。生成部140b通过将预先准备的人体模型的部件与骨格信息组合，来生成与骨格信息对应的人体模型。换句话说，生成部140b进行的处理与将动作捕捉数据130a和人体模型结合的处理对应。
对生成部140b生成合成模型表130d的处理进行说明。生成部140b通过针对一系列的动作捕捉数据130a，从人体模型数据130b获取人体模型，并将获取到的人体模型和物体模型数据130c的物体模型合成，从而生成合成模型数据。生成部140b通过反复将与其它帧对应的人体模型和物体模型合成的处理，来生成多个合成模型数据。生成部140b与合成模型编号建立对应地将合成模型数据登记至合成模型表130d。
此外，生成部140b也可以在登记到合成模型表130d的多个合成模型数据中包括类似的合成模型数据的情况下，进行去除冗余性的处理。例如，生成部140b将合成模型数据的各关节位置之差的合计值小于阈值的合成模型数据判定为类似的合成模型数据。生成部140b进行留下类似的合成模型数据中的一个合成模型数据，删除其它合成模型数据的处理。
对生成部140b生成学习图像表130e的处理进行说明。生成部140b参照合成模型表130d，获取某个合成模型编号的合成模型数据。生成部140b基于获取到的合成模型数据来生成部位标签图像数据以及距离图像数据。生成部140b与学习图像编号建立对应地将部位标签图像数据以及距离图像数据登记至学习图像表130e。
例如，生成部140b预先在合成模型数据配置识别人体的部位的部位标签。生成部140b在三维上设定虚拟的基准位置，生成从该基准位置观察合成模型数据的情况下的距离图像数据。另外，生成部140b通过将从基准位置观察合成模型数据的情况下的合成模型数据的区域分类为多个部位标签，来生成部位标签图像数据。例如，根据某个相同的合成模型数据生成的部位标签图像数据以及距离图像数据与图7中所说明的部位标签图像数据131A、距离图像数据131B对应。
生成部140b通过也对合成模型表130d中储存的其它合成模型数据反复执行上述处理，从而生成部位标签图像数据以及距离图像数据，并储存至学习图像表130e。
学习部140c是基于学习图像表130e所包括的多个部位标签图像数据以及距离图像数据的组反复执行机器学习而生成识别器数据130f的处理部。学习部140c确定距离图像数据的某个位置(x1，y1)的周边的特征量和与某个位置(x1，y1)对应的部位标签。例如，某个位置(x1，y1)周边的特征量可以是以距离图像数据上的某个位置(x1，y1)为基准的周边的距离图像数据的凹凸，也可以是其它特征量。与某个位置(x1，y1)对应的部位标签与分配给部件标签图像数据的某个位置(x1，y1)的部位标签对应。
同样地，学习部140c针对每个不同的位置确定距离图像数据的某个位置(xn，yn)周边的特征量、和与某个位置(xn，yn)对应的部位标签的图案。学习部140c通过反复对不同的位置的各图案进行机器学习，来生成识别器数据130f。
通知部140d是将由学习部140c生成的识别器数据130f发送至识别装置200的处理部。
接着，移至识别装置200的说明。图9是表示识别装置的结构的一个例子的图。如图9所示，该识别装置200与距离传感器20连接。识别装置200具有输入部210、显示部220、存储部230以及控制部240。
距离传感器20在姿势的识别处理时，测定对象者以及规定的物体(鞍马等，图示省略)的距离图像，并将测定到的距离图像的数据输出至识别装置200。在以下的说明中，将从距离传感器20获取的距离图像的数据记载为识别距离图像数据230a。在本实施例中，将规定的物体设为鞍马进行说明。
输入部210是用于对识别装置200输入各种信息的输入装置。例如，输入部210与键盘、鼠标、触摸面板等对应。
显示部220是对从控制部240输出的信息进行显示的显示装置。例如，显示部220与液晶显示器、触摸面板等对应。
存储部230具有识别距离图像数据230a、背景距离图像数据230b以及识别器数据130f。存储部130与RAM、ROM、闪存等半导体存储器元件、HDD等存储装置对应。
识别距离图像数据230a是在识别时由距离传感器20测定到的距离图像数据。识别距离图像数据230a是针对每个位置(像素)表示从距离传感器20到对象者以及物体的距离的数据。
背景距离图像数据230b是不存在对象者以及规定的物体的状态下，由距离传感器20拍摄到的仅背景的距离图像数据。获取部240a预先从距离传感器20获取背景距离图像数据230b，并储存至存储部230。
识别器数据130f是由学习装置100生成的识别器数据。识别器数据130f的数据结构与图8中说明的数据结构对应。
控制部240具有获取部240a、去除部240b、判定部240c、识别部240d。控制部240能够通过CPU、MPU等来实现。另外，控制部240也能够通过ASIC、FPGA等硬连线逻辑来实现。
获取部240a从距离传感器20获取识别距离图像数据230a，并储存至存储部230。获取部240a从学习装置100获取识别器数据130f，并将获取到的识别器数据130f储存至存储部230。
去除部240b是通过取得识别距离图像数据230a和背景距离图像数据230b的差异而从识别距离图像数据230a去除背景的信息的处理部。去除部240b将从识别距离图像数据230a去除背景的信息而得的距离图像数据输出至判定部240c。在以下的说明中，将从识别距离图像数据230a去除背景的信息而得的距离图像数据仅记载为“距离图像数据”。
判定部240c是基于从去除部240b获取到的距离图像数据、和识别器数据130f，针对距离图像数据的每个位置(像素)，判定对应的部位标签的处理部。例如，判定部240c对距离图像数据的周边的特征量和识别器数据130f的各分支节点f进行比较，追踪各分支节点f，将追踪到的目的地的叶节点R所示的部位标签设为判定结果的部位标签。判定部240c通过也对其它像素反复执行上述处理，来判定与全部距离图像数据对应的部位标签。与各位置对应的部位标签包括唯一地识别人体的部位的部位标签、和表示是物体(鞍马)的部位标签。
判定部240c向识别部240d输出将距离图像数据的各位置和部位标签建立对应的判定结果。
识别部240d是基于判定部240c的判定结果来识别对象者的姿势的处理部。例如，识别部240d去除物体的部位标签，基于人体的部位标签，提出具有多个三维位置的人体的多个骨格模型。识别部240d从多个骨格模型中选择似然度最高的骨格模型，并基于所选择的骨格模型来识别人物的姿势。
接下来，针对本实施例所涉及的学习装置的处理顺序以及识别装置200的处理顺序，示出一个例子并进行说明。图10是表示本实施例所涉及的学习装置的处理顺序的流程图。如图10所示，学习装置100的获取部140a从动作捕捉装置10获取动作捕捉数据130a(步骤S101)。
学习装置100的生成部140b生成人体模型数据130b(步骤S102a)。生成部140b生成物体模型数据130c(步骤S102b)。此外，生成部140b也可以将预先生成的物体模型数据用作物体模型数据130c。
生成部140b生成合成了与移动对应的多个人体模型和物体模型的合成模型数据(步骤S103)。生成部140b从合成模型表130d去除冗余性(步骤S104)。
生成部140b基于合成模型数据在学习图像表130e中登记部位标签图像数据以及距离图像数据(步骤S105)。
学习装置100的学习部140c参照学习图像表130e，对距离图像数据的特征和部位标签的关系进行机器学习，生成识别器数据130f(步骤S106)。学习装置100的通知部140d将识别器数据130f通知给识别装置100(步骤S107)。
图11是表示本实施例所涉及的识别装置的处理顺序的流程图。如图11所示，识别装置200的获取部240a从距离传感器20获取识别距离图像数据230a(步骤S201)。
识别装置200的去除部240b从识别距离图像数据230a去除背景(步骤S202)。识别装置200的判定部240c基于识别数据130f和距离图像数据来判定距离图像数据所包括的人体的各部位标签以及物体的部位标签(步骤S203)。
识别装置200的识别部240d去除物体的部位标签(步骤S204)。识别部240d基于人体的各部位标签来识别对象者的姿势(步骤S205)。
接下来，对本实施例所涉及的学习装置100以及识别装置200的效果进行说明。学习装置100的生成部140b基于合成了人体模型数据130b和物体模型数据130c的合成模型数据来生成将距离图像数据和部位标签图像建立对应的多个学习图像。学习装置100通过对多个学习图像进行机器学习，来生成将距离图像数据的特征和人体的部位标签或者物体的部位标签建立对应的识别器数据130f。由于该识别器数据130f是将距离图像数据的特征和人体的部位标签或者物体的部位标签建立对应的识别器，所以即使在距离图像获取时同时存在人体和物体的情况下，也能够分别加以区分，根据距离图像数据，分类为人体的部位标签以及物体的部位标签。
识别装置200使用从距离传感器20获取的识别距离图像数据230去除背景的距离图像数据以及识别器数据130f来判定对象者和物体的部位标签。因此，即使在距离图像数据包括人体和物体的情况下，也能够分别加以区分，将距离图像数据分类为人体的部位标签以及物体的部位标签。即，即使存在由物体引起的遮挡，也能够进行正确的部位识别。
识别装置200在去除对象者的部位标签和物体的部位标签中的物体的部位标签后识别对象者的姿势，所以能够精度良好地识别对象者的姿势。
然而，上述的实施例的内容是一个例子，学习装置100以及识别装置200的处理并不限于上述的处理。在以下，对其它处理1～3进行说明。
对其它处理1进行说明。在上述的处理中，学习装置130使用存在于固定的位置的鞍马的物体模型作为物体模型数据130c，但并不限于此。例如，作为物体模型，也可以将与人的部位具有特定的关系而移动的物体用作物体模型。例如，生成部140b与鞍马同样地生成吊环的三维模型。生成部140b在生成合成模型数据的情况下，以帧为单位，使吊环移动到人体模型的手的部位，基于手的方向(向上、向下、横向等)在准确的抓握位置配置吊环。生成部140b以每帧反复执行上述处理，从而生成多个合成模型数据，并储存至合成模型表130d。其它处理与实施例中所说明的处理相同。
对其它处理2进行说明。在上述的处理中，学习装置100生成识别器数据130f，识别装置200使用识别器数据130f来识别对象者的姿势，但并不限于此。例如，进行学习装置100以及识别装置200的处理的距离图像处理装置可以执行与上述实施例对应的处理。例如，距离图像处理装置通过在“学习阶段”执行与图2的控制部140同样的处理，来生成识别器数据130f。距离图像处理装置在“识别阶段”使用在学习阶段学习到的识别器数据130f，执行与图9所示的控制部240同样的处理，识别对象者的姿势。
对其它处理3进行说明。在图8中记载了基于二叉树的部位标签识别的手法，但二叉树的数量可以有多个，另外，也可以不使用二叉树，而通过深度学习根据距离图像进行包括物体的部位标签识别。
接下来，对实现与上述实施例所示的学习装置100以及识别装置200同样的功能的计算机的硬件构成的一个例子进行说明。图12是表示实现与学习装置同样的功能的计算机的硬件构成的一个例子的图。
如图12所示，计算机300具有执行各种运算处理的CPU301、接受来自用户的数据的输入的输入装置302以及显示器303。另外，计算机300具有从存储介质读取程序等的读取装置304、和经由有线或者无线网络与其它计算机(动作捕捉装置10等)之间进行数据的授受的接口装置305。另外，计算机300具有暂时存储各种信息的RAM306、和硬盘装置307。而且，各装置301～307与总线308连接。
硬盘装置307具有获取程序307a、生成程序307b、学习程序307c、通知程序307d。CPU301读出获取程序307a、生成程序307b、学习程序307c、通知程序307d并展开至RAM306。
获取程序307a作为获取处理306a发挥作用。生成程序307b作为生成处理306b发挥作用。学习程序307c作为学习处理306c发挥作用。通知程序307d作为通知处理306d发挥作用。
获取处理306a的处理与获取部140a的处理对应。生成处理306b的处理与生成部140b的处理对应。学习处理306c的处理与学习部140c的处理对应。通知部处理306d的处理与通知部140d的处理对应。
此外，对于各程序307a～307d，可以不必从最初存储至硬盘装置307。例如，使各程序存储至插入到计算机300的软盘(FD)、CD－ROM、DVD盘、光磁盘、IC卡等“可移动物理介质”。而且，计算机300也可以读出各程序307a～307d并执行。
图13是表示实现与识别装置同样的功能的计算机的硬件构成的一个例子的图。
如图13所示，计算机400具有执行各种运算处理的CPU401、接受来自用户的数据的输入的输入装置402以及显示器403。另外，计算机400具有从存储介质读取程序等的读取装置404、和经由有线或者无线网络与其它计算机(动作捕捉装置10等)之间进行数据的授受的接口装置405。另外，计算机400具有暂时存储各种信息的RAM406、和硬盘装置407。而且，各装置401～407与总线408连接。
硬盘装置407具有获取程序407a、去除程序407b、判定程序407c、识别程序407d。CPU401读出获取程序407a、去除程序407b、判定程序407c、识别程序407d并展开至RAM406。
获取程序407a作为获取处理406a发挥作用。去除程序407b作为去除处理406b发挥作用。判定程序407c作为判定处理406c发挥作用。识别程序407d作为识别处理406d发挥作用。
获取处理406a的处理与获取部240a的处理对应。去除处理406b的处理与去除部240b的处理对应。判定处理406c的处理与判定部240c的处理对应。识别部处理406d的处理与识别部240d的处理对应。
此外，各程序407a～407d可以不必从最初存储至硬盘装置307。例如，使各程序存储至插入到计算机400的软盘(FD)、CD－ROM、DVD盘、光磁盘、IC卡等“可移动的物理介质”。而且，计算机400也可以读出各程序407a～407d并执行。
附图标记的说明
10…动作捕捉装置；20…距离传感器；100…学习装置；200…识别装置。

Claims (10)

1.一种距离图像处理装置，其特征在于，具有：
生成部，基于将人体的三维模型和物体的三维模型合成而得的合成模型，来生成将距离图像和部位图像建立对应的多个学习图像，所述距离图像表示从基准位置到所述人体的各位置或者所述物体的各位置的距离，所述部位图像识别所述人体的各部位或者所述物体的部位；以及
学习部，基于多个学习图像，学习将所述距离图像的特征和所述人体的部位或者所述物体的部位建立对应的识别器。
2.根据权利要求1所述的距离图像处理装置，其特征在于，
所述距离图像处理装置还具有：获取部，从距离传感器获取包括对象者、物体以及背景的距离图像；去除部，通过从包括所述对象者、物体以及背景的距离图像去除背景来生成对象者距离图像；以及判定部，基于所述对象者距离图像和所述识别器，对所述对象者距离图像的位置和所述人体的部位或者所述物体的部位判定关系。
3.根据权利要求2所述的距离图像处理装置，其特征在于，
所述距离图像处理装置还具有识别部，所述识别部基于所述判定部的判定结果来确定所述对象者距离图像所包括的所述人体的各部位，并根据除了所述物体的部位之外的剩下的各部位的关系来识别所述对象者的姿势。
4.一种距离图像处理系统，具有学习装置和识别装置的距离图像处理系统，其特征在于，
所述学习装置具有：
生成部，基于将人体的三维模型和物体的三维模型合成而得的合成模型，来生成将距离图像和部位图像建立对应的多个学习图像，所述距离图像表示从基准位置到所述人体的各位置或者所述物体的各位置的距离，所述部位图像识别所述人体的各部位或者所述物体的部位；以及
学习部，基于多个学习图像，学习将所述距离图像的特征和所述人体的部位或者所述物体的部位建立对应的识别器，
所述识别装置具有：
获取部，从距离传感器获取包括对象者以及背景的距离图像；
去除部，通过从包括所述对象者以及背景的距离图像去除背景来生成对象者距离图像；以及
判定部，基于所述对象者距离图像和所述识别器，对所述对象者距离图像的位置和所述人体的部位或者所述物体的部位判定关系。
5.一种距离图像处理方法，其是计算机执行的距离图像处理方法，其特征在于，
执行如下的处理：
基于将人体的三维模型和物体的三维模型合成而得的合成模型，来生成将距离图像和部位图像建立对应的多个学习图像，所述距离图像表示从基准位置到所述人体的各位置或者所述物体的各位置的距离，所述部位图像识别所述人体的各部位或者所述物体的部位；以及
基于多个学习图像，学习将所述距离图像的特征和所述人体的部位或者所述物体的部位建立对应的识别器。
6.根据权利要求5所述的距离图像处理方法，其特征在于，
还执行以下的处理：通过从距离传感器获取包括对象者、物体以及背景的距离图像，从包括所述对象者、物体以及背景的距离图像去除背景来生成对象者距离图像，并基于所述对象者距离图像和所述识别器，对所述对象者距离图像的位置和所述人体的部位或者所述物体的部位判定关系。
7.根据权利要求6所述的距离图像处理方法，其特征在于，
还执行以下的处理：基于所述判定的处理的判定结果来确定所述对象者距离图像所包括的所述人体的各部位，并根据除了所述物体的部位之外的剩下的各部位的关系识别所述对象者的姿势。
8.一种距离图像处理程序，其特征在于，
使计算机执行以下的处理：
基于将人体的三维模型和物体的三维模型合成而得的合成模型，来生成将距离图像和部位图像建立对应的多个学习图像，所述距离图像表示从基准位置到所述人体的各位置或者所述物体的各位置的距离，所述部位图像识别所述人体的各部位或者所述物体的部位；以及
基于多个学习图像，学习将所述距离图像的特征和所述人体的部位或者所述物体的部位建立对应的识别器。
9.根据权利要求8所述的距离图像处理程序，其特征在于，
还执行以下的处理：通过从距离传感器获取包括对象者、物体以及背景的距离图像，从包括所述对象者、物体以及背景的距离图像去除背景来生成对象者距离图像，并基于所述对象者距离图像和所述识别器，对所述对象者距离图像的位置和所述人体的部位或者所述物体的部位判定关系。
10.根据权利要求9所述的距离图像处理程序，其特征在于，
还执行以下的处理：基于所述判定的处理的判定结果来确定所述对象者距离图像所包括的所述人体的各部位，并根据除了所述物体的部位之外的剩下的各部位的关系识别所述对象者的姿势。
CN201780090521.2A 2017-05-12 2017-05-12 距离图像处理装置以及距离图像处理系统 Active CN110622217B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/018034 WO2018207351A1 (ja) 2017-05-12 2017-05-12 距離画像処理装置、距離画像処理システム、距離画像処理方法および距離画像処理プログラム

Publications (2)

Publication Number Publication Date
CN110622217A true CN110622217A (zh) 2019-12-27
CN110622217B CN110622217B (zh) 2023-04-18

Family

ID=64105072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780090521.2A Active CN110622217B (zh) 2017-05-12 2017-05-12 距离图像处理装置以及距离图像处理系统

Country Status (5)

Country Link
US (1) US11087493B2 (zh)
EP (1) EP3624051A4 (zh)
JP (1) JP6860066B2 (zh)
CN (1) CN110622217B (zh)
WO (1) WO2018207351A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3624052A4 (en) 2017-05-12 2020-03-18 Fujitsu Limited DISTANCE IMAGE PROCESSING DEVICE, DISTANCE IMAGE PROCESSING SYSTEM, DISTANCE IMAGE PROCESSING METHOD AND DISTANCE IMAGE PROCESSING PROGRAM
EP3579138B1 (en) * 2018-06-04 2020-11-11 CogVis Software und Consulting GmbH Method for determining a type and a state of an object of interest
JP7294402B2 (ja) * 2019-03-04 2023-06-20 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
JP2020166485A (ja) 2019-03-29 2020-10-08 本田技研工業株式会社 運転支援装置
JP2021064320A (ja) * 2019-10-17 2021-04-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11120280B2 (en) * 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
JP7482471B2 (ja) * 2019-12-23 2024-05-14 住友ゴム工業株式会社 学習モデルの生成方法
CN113096337B (zh) * 2021-04-08 2022-11-11 中国人民解放军军事科学院国防工程研究院工程防护研究所 用于复杂背景的移动目标识别处理方法及智能安防系统
CN113822182B (zh) * 2021-09-08 2022-10-11 河南理工大学 一种运动动作检测方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251078A (ja) * 1998-12-22 2000-09-14 Atr Media Integration & Communications Res Lab 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置
CN102194105A (zh) * 2010-03-19 2011-09-21 微软公司 用于人体跟踪的代表训练数据
US20120120073A1 (en) * 2009-05-11 2012-05-17 Universitat Zu Lubeck Method for the Real-Time-Capable, Computer-Assisted Analysis of an Image Sequence Containing a Variable Pose
JP2013058174A (ja) * 2011-09-09 2013-03-28 Fujitsu Ltd 画像処理プログラム、画像処理方法および画像処理装置
US20130101170A1 (en) * 2011-10-21 2013-04-25 Industry-University Cooperation Foundation Hanyang University Method of image processing and device therefore
CN103718175A (zh) * 2011-07-27 2014-04-09 三星电子株式会社 检测对象姿势的设备、方法和介质
CN103907123A (zh) * 2011-09-30 2014-07-02 英特尔公司 深度图像中的人的头部的检测
US20150036879A1 (en) * 2013-07-30 2015-02-05 Canon Kabushiki Kaisha Posture estimating apparatus, posture estimating method and storing medium
WO2015186436A1 (ja) * 2014-06-06 2015-12-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US20160125243A1 (en) * 2014-10-30 2016-05-05 Panasonic Intellectual Property Management Co., Ltd. Human body part detection system and human body part detection method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004226197A (ja) 2003-01-22 2004-08-12 Seiko Epson Corp 物体識別方法および物体識別装置、並びに物体識別プログラム
JP2007310707A (ja) 2006-05-19 2007-11-29 Toshiba Corp 姿勢推定装置及びその方法
WO2009128783A1 (en) * 2008-04-14 2009-10-22 Xid Technologies Pte Ltd An image synthesis method
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8625897B2 (en) 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
JP2012120647A (ja) 2010-12-07 2012-06-28 Alpha Co 姿勢検出装置
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US8666149B2 (en) * 2012-08-01 2014-03-04 Chevron U.S.A. Inc. Method for editing a multi-point facies simulation
US10248993B2 (en) * 2015-03-25 2019-04-02 Optitex Ltd. Systems and methods for generating photo-realistic images of virtual garments overlaid on visual images of photographic subjects
JP2016212688A (ja) 2015-05-11 2016-12-15 日本電信電話株式会社 関節位置推定装置、方法、及びプログラム
US10368062B2 (en) * 2017-04-13 2019-07-30 Facebook, Inc. Panoramic camera systems
EP3624052A4 (en) 2017-05-12 2020-03-18 Fujitsu Limited DISTANCE IMAGE PROCESSING DEVICE, DISTANCE IMAGE PROCESSING SYSTEM, DISTANCE IMAGE PROCESSING METHOD AND DISTANCE IMAGE PROCESSING PROGRAM

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000251078A (ja) * 1998-12-22 2000-09-14 Atr Media Integration & Communications Res Lab 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置
US20120120073A1 (en) * 2009-05-11 2012-05-17 Universitat Zu Lubeck Method for the Real-Time-Capable, Computer-Assisted Analysis of an Image Sequence Containing a Variable Pose
CN102194105A (zh) * 2010-03-19 2011-09-21 微软公司 用于人体跟踪的代表训练数据
CN103718175A (zh) * 2011-07-27 2014-04-09 三星电子株式会社 检测对象姿势的设备、方法和介质
JP2013058174A (ja) * 2011-09-09 2013-03-28 Fujitsu Ltd 画像処理プログラム、画像処理方法および画像処理装置
CN103907123A (zh) * 2011-09-30 2014-07-02 英特尔公司 深度图像中的人的头部的检测
US20130101170A1 (en) * 2011-10-21 2013-04-25 Industry-University Cooperation Foundation Hanyang University Method of image processing and device therefore
US20150036879A1 (en) * 2013-07-30 2015-02-05 Canon Kabushiki Kaisha Posture estimating apparatus, posture estimating method and storing medium
WO2015186436A1 (ja) * 2014-06-06 2015-12-10 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US20160125243A1 (en) * 2014-10-30 2016-05-05 Panasonic Intellectual Property Management Co., Ltd. Human body part detection system and human body part detection method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GREGORY ROGEZ: "Understanding Everyday Hands in Action from RGB-D Images", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
张鸿宇等: "基于深度图像的多学习者姿态识别", 《计算机科学》 *
林鹏等: "基于深度图像学习的人体部位识别", 《计算机工程》 *

Also Published As

Publication number Publication date
US20200074679A1 (en) 2020-03-05
JPWO2018207351A1 (ja) 2020-03-12
EP3624051A4 (en) 2020-03-25
WO2018207351A1 (ja) 2018-11-15
EP3624051A1 (en) 2020-03-18
CN110622217B (zh) 2023-04-18
JP6860066B2 (ja) 2021-04-14
US11087493B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
CN110622217B (zh) 距离图像处理装置以及距离图像处理系统
CN110651298B (zh) 距离图像处理装置以及距离图像处理系统
KR101378216B1 (ko) 모션 캡처 라벨링 시스템, 방법, 저장 매체, 장치
US11232556B2 (en) Surgical simulator providing labeled data
JP6950692B2 (ja) 人流推定装置、人流推定方法およびプログラム
JP4686595B2 (ja) クリティカルポイント解析に基づくポーズ推定
CN102725038B (zh) 组合多传感输入以用于数字动画
JP2009265732A (ja) 画像処理装置及びその方法
JP2017204094A (ja) 視線特定プログラム、視線特定装置、及び視線特定方法
JP7236694B2 (ja) 情報処理方法、及び情報処理システム
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
KR102564849B1 (ko) 복수의 사용자의 모션을 인식하는 시스템, 장치 및 방법
WO2014006786A1 (ja) 特徴量抽出装置および特徴量抽出方法
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置
JP5826890B1 (ja) 運動可視化装置およびプログラム
KR20220027003A (ko) 엑스선 데이터 생성을 위한 장치 및 방법
JP2018097795A (ja) 法線推定装置、法線推定方法、及び法線推定プログラム
CN111368853A (zh) 一种标签的构建方法、系统、装置及存储介质
CN113836990B (zh) 行为识别方法、行为识别装置和记录介质
Mathur et al. Real Time Multi-Object Detection for Helmet Safety
WO2023148968A1 (ja) 画像処理システム、画像処理方法、およびコンピュータ可読媒体
EP4246438A1 (en) Information processing device, generation method, and generation program
Khan et al. Classification of markers in the ARTool kit library to reduce inter-marker confusion
Reddy et al. Crowd Control and Monitoring using Deep Learning
JP2022130227A (ja) 設定方法、設定プログラム及び設定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant