CN111507176A - 姿势估计装置、行动估计装置、记录介质、姿势估计方法 - Google Patents

姿势估计装置、行动估计装置、记录介质、姿势估计方法 Download PDF

Info

Publication number
CN111507176A
CN111507176A CN202010078489.XA CN202010078489A CN111507176A CN 111507176 A CN111507176 A CN 111507176A CN 202010078489 A CN202010078489 A CN 202010078489A CN 111507176 A CN111507176 A CN 111507176A
Authority
CN
China
Prior art keywords
posture
unit
geometric relationship
estimating
detection information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010078489.XA
Other languages
English (en)
Other versions
CN111507176B (zh
Inventor
池田直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of CN111507176A publication Critical patent/CN111507176A/zh
Application granted granted Critical
Publication of CN111507176B publication Critical patent/CN111507176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

提供能够提高基于从俯瞰对象的位置拍摄到的拍摄图像来检测对象的姿势的检测精度的姿势估计装置。具有：获取部，获取用于表示基于由拍摄部从俯瞰对象的位置拍摄到的图像检测出的对象的特征的检测信息；特征量计算部，基于检测信息，计算特征量；切换部，根据时序的特征量，通过机器学习，基于拍摄部和对象的几何关系而切换用于估计对象的姿势的模型参数；以及估计部，利用切换后的模型参数，估计对象的姿势。

Description

姿势估计装置、行动估计装置、记录介质、姿势估计方法
技术领域
本发明涉及姿势估计装置、行动估计装置、保存了姿势估计程序的计算机可读取的记录介质、以及姿势估计方法。
背景技术
我国(译注：指日本)因伴随战后的高度经济发展的生活水平的提高、卫生环境的改善、以及医疗水平的提高等，人们的寿命显著变长。因此，加之出生率的下降，成为了老龄化率较高的老龄化社会。设想在如这样的老龄化社会中，因疾病、受伤、以及高龄等而需要护理等应对措施的需护理者等增加。
在医院、老人福利设施等设施中，存在需护理者等在步行中跌倒或者从床上跌落而受伤的担忧。因此，为了使当需护理者等处于如这样的状态时，护理人员、护士等工作人员立即赶到，正在推进开发用于从配备于需护理者等的居室的天花板等的照相机所拍摄到的拍摄图像来检测需护理者等的姿势、行动的技术。
与这样的技术关联地，作为从拍摄图像来判定对象的动作等的技术，有在下述专利文献中公开的技术。即，通过对由摄像装置输出的图像的认知处理，从该图像的多个帧来认知反映到该图像的状况，从而检测规定的事件。而且，从该多个帧来检测与规定的事件关联的种类的目标(object)，基于目标的检测位置来判断目标彼此之间在现实空间中是否接触。由此，能够详细地解释在影像中发生的事件。
现有技术文献
专利文献
专利文献1：日本特愿2013-232181号公报
发明内容
发明要解决的课题
但是，就从俯瞰对象的位置拍摄到的拍摄图像而言，基于拍摄到了拍摄图像的照相机的特性等，根据照相机和对象的位置关系等，能够从拍摄图像获取的信息会发生变化。由此，从拍摄图像认知的对象的姿势的精度可能下降。上述现有技术无法应对如这样的问题。
本发明是为了解决上述的问题而作出的。即，其目的在于，提供能够提高基于从俯瞰对象的位置拍摄到的拍摄图像来检测对象的姿势的检测精度的姿势估计装置、行动估计装置、保存了姿势估计程序的计算机可读取的记录介质、以及姿势估计方法。
用于解决课题的手段
通过以下手段来解决本发明的上述课题。
(1)一种姿势估计装置，具有：获取部，获取规定的检测信息，所述规定的检测信息用于表示基于由拍摄部从俯瞰对象的位置拍摄到的图像而检测出的所述对象的特征；特征量计算部，基于由所述获取部获取到的所述检测信息，计算规定的特征量；切换部，基于所述拍摄部与所述对象的几何关系来切换模型参数，所述模型参数用于根据由所述特征计算部计算出的时序上的所述特征量通过机器学习来估计所述对象的姿势；以及姿势估计部，利用所述切换部进行切换后的所述模型参数，估计所述对象的姿势。
(2)上述(1)所述的姿势估计装置，所述姿势估计部通过隐马尔可夫模型来估计所述对象的姿势，所述切换部基于所述拍摄部和所述对象的几何关系，切换所述隐马尔可夫模型的用于计算输出概率的所述模型参数。
(3)上述(1)或(2)所述的姿势估计装置，所述几何关系是所述对象相对于所述拍摄部的位置、朝向、以及姿势中的至少一种，所述姿势估计装置还具有指标计算部，所述指标计算部计算与所述拍摄部和所述对象的所述几何关系对应的指标，所述切换部基于由所述指标计算部计算出的所述指标，切换用于估计所述对象的姿势的所述模型参数。
(4)上述(1)～(3)中任一项所述的姿势估计装置，所述检测信息是从所述图像检测出的人矩形、头部矩形、以及关节点中的至少一个。
(5)一种行动估计装置，具有：上述(1)～(4)中任一项所述的姿势估计装置；以及行动估计部，基于由所述姿势估计部估计出的所述对象的姿势，估计所述对象的行动。
(6)一种姿势估计程序，用于使计算机执行处理，该处理具有：过程(a)，获取规定的检测信息，所述规定的检测信息用于表示基于由拍摄部从俯瞰对象的位置拍摄到的图像而检测出的所述对象的特征；过程(b)，基于在所述过程(a)中获取到的所述检测信息，计算规定的特征量；过程(c)，基于所述拍摄部与所述对象的几何关系来切换模型参数，所述模型参数用于根据在所述过程(b)中计算出的时序上的所述特征量通过机器学习来估计所述对象的姿势；以及过程(d)，利用所述过程(c)中的切换后的所述模型参数，估计所述对象的姿势。
(7)上述(6)所述的姿势估计程序，在所述过程(d)中，通过隐马尔可夫模型来估计所述对象的姿势，在所述过程(c)中，基于所述拍摄部和所述对象的几何关系，切换所述隐马尔可夫模型的用于计算输出概率的所述模型参数。
(8)上述(6)或(7)所述的姿势估计程序，所述几何关系是所述对象相对于所述拍摄部的位置、朝向、以及姿势中的至少一种，所述处理还具有过程(e)，在所述过程(e)中，计算与所述拍摄部和所述对象的所述几何关系对应的指标，在过程(c)中，基于在所述过程(e)中计算出的所述指标，切换用于估计所述对象的姿势的所述模型参数。
(9)上述(6)～(8)中任一项所述的姿势估计程序，所述检测信息是从所述图像检测出的人矩形、头部矩形、以及关节点中的至少一个。
(10)一种姿势估计方法，具有：步骤(a)，获取规定的检测信息，所述规定的检测信息用于表示基于由拍摄部从俯瞰对象的位置拍摄到的图像而检测出的所述对象的特征；步骤(b)，基于在所述步骤(a)中获取的所述检测信息，计算规定的特征量；步骤(c)，基于所述拍摄部与所述对象的几何关系来切换模型参数，所述模型参数用于根据在所述步骤(b)中计算出的时序上的所述特征量通过机器学习来估计所述对象的姿势；以及步骤(d)，利用所述步骤(c)中的切换后的所述模型参数，估计所述对象的姿势。
(11)上述(10)所述的姿势估计方法，在所述过程(d)中，通过隐马尔可夫模型来估计所述对象的姿势，在所述过程(c)中，基于所述拍摄部和所述对象的几何关系，切换所述隐马尔可夫模型的用于计算输出概率的所述模型参数。
(12)上述(10)或(11)所述的姿势估计方法，所述几何关系是所述对象相对于所述拍摄部的位置、朝向、以及姿势中的至少一种，所述处理还具有过程(e)，在所述过程(e)中，计算与所述拍摄部和所述对象的所述几何关系对应的指标，在过程(c)中，基于在所述过程(e)中计算出的所述指标，切换用于估计所述对象的姿势的所述模型参数。
(13)上述(10)～(12)中任一项所述的姿势估计方法，所述检测信息是从所述图像检测出的人矩形、头部矩形、以及关节点中的至少一个。
发明效果
根据用于表示从由拍摄部从俯瞰对象的位置拍摄到的拍摄图像检测出的对象的特征的、规定的检测信息，计算对象的特征量。而且，基于拍摄部与对象的几何关系，切换用于根据时序上的特征量通过机器学习来估计对象的姿势的模型参数。由此，能够提高基于从俯瞰对象的位置拍摄到的拍摄图像来检测对象的姿势等的检测精度。
附图说明
图1是示出姿势估计系统的概略结构的图。
图2是示出检测部的硬件结构的框图。
图3是示出照相机和对象者的位置关系的说明图。
图4是示出拍摄图像的说明图。
图5是用于示出对象者的映像根据对象者相对于照相机的朝向和姿势而变化的情况的说明图。
图6是示出用于基于机器学习的姿势估计的学习时的控制部的功能的功能框图。
图7是示出人矩形的示意图。
图8是示出人矩形、头部矩形、以及关节点的示意图。
图9是用于说明距离划分的说明图。
图10是用于对利用了隐马尔可夫模型的、按距离划分的学习进行说明的说明图。
图11是示出上半身与下半身的重心距离相对于到对象者的距离的分布这一特征量的图表。
图12是示出当基于机器学习来估计姿势时的控制部的功能的功能框图。
图13是示出检测部的动作的流程图。
标号说明
10 姿势估计系统，
100 检测部，
110 控制部，
120 通信部，
130 照相机，
140 体动传感器，
200 通信网络，
210 接入点，
300 便携式终端，
500 对象者，
505 拍摄图像，
510 人矩形，
520 头部矩形，
530 关节点，
700 床。
具体实施方式
以下，参照附图，对本发明的实施方式所涉及的姿势估计装置、行动估计装置、姿势估计程序、以及姿势估计方法进行说明。另外，在附图中，对同一要素标记同一标号，并省略重复的说明。此外，附图的尺寸比率会为了说明的方便而被夸大，有与实际的比率不同的情况。
图1是示出姿势估计系统10的概略结构的图。
姿势估计系统10包含检测部100、通信网络200、以及便携式终端300。检测部100构成姿势估计装置和行动估计装置，并通过通信网络200经由接入点210而与便携式终端300相互可通信地连接。检测部100可以是1个一体化的装置，也可以是分开配置的多个装置。另外，也可以设置能够经由通信网络200与检测部100及便携式终端300相互通信的服务器(未图示)，使得该服务器实施检测部100的功能的一部分。
检测部100被配置于对象者500(对象)的居室的天花板等。对象者500是例如需要由工作人员等护理或看护的人。检测部100通过拍摄规定的观察区域，获取图像(以下，也简称为“拍摄图像505”(参照图4等))，并将拍摄图像505中包含的对象者500检测为人。检测部100通过在拍摄图像505上检测存在物体(目标)的区域，并估计所检测到的区域中包含的物体的类别，从而检测对象者500。存在物体的区域作为在拍摄图像505上包含物体的候选矩形而被检测。通过将被检测出的候选矩形中的、物体的类别被估计为人的候选矩形作为人矩形510(参照图7)进行检测，来检测对象者500。检测部100基于人矩形510来进一步检测(估计)头部矩形520(参照图8)和关节点530(参照图8)。详细情况将后述；进一步，检测部100基于人矩形510、头部矩形520、以及关节点530来计算对象者500的特征量。以下，将用于表示对象者500的特征且作为特征量的计算的基础的人矩形510、头部矩形520、以及关节点530也称为“检测信息”。检测部100基于检测部100(更具体而言，照相机)与对象者500的几何关系，切换用于根据时序的特征量通过机器学习来估计对象者500的姿势的模型参数，利用切换后的模型参数来估计对象者500的姿势。而且，检测部100基于估计出的姿势，来估计对象者500的行动。以下，作为例子，将检测部100设为通过利用了隐马尔可夫模型的机器学习来估计对象者500的姿势的检测部来进行说明。检测部100和对象者500的几何关系包括对象者500相对于照相机的位置、朝向、以及姿势中的至少一种。以下，为了简化说明，将检测部100和对象者500的几何关系设为对象者500相对于照相机的位置来进行说明。
检测部100可以根据估计出的姿势和/或行动来检测与对象者500相关的事件。事件是指，与对象者500相关的状态、状况的变化，例如起床、离床、跌倒、跌落、以及微体动异常等应该向工作人员进行发送(报告)的事项。在检测到了事件的情况下，检测部100将用于通知事件的内容的事件通知发送给便携式终端300。
便携式终端300由对对象者500进行包括护理和看护的照料的工作人员等携带。便携式终端300通过从检测部100接收事件通知，显示事件通知的内容，从而将事件的发生及其内容报告给工作人员等。
图2是示出检测部100的硬件结构的框图。如图2所示，检测部100具备控制部110、通信部120、照相机130、以及体动传感器140，它们通过总线而相互连接。
控制部110由CPU(中央处理单元(Central Processing Unit))、以及RAM(随机存取存储器(Random Access Memory))、ROM(只读存储器(Read Only Memory))等存储器构成，按照程序来进行对检测部100的各部分的控制和运算处理。关于控制部110的功能的详细情况将后述。
通信部120是用于经由通信网络200与便携式终端300等进行通信的接口电路(例如LAN卡等)。
照相机130例如被配置于对象者500的居室的天花板或墙壁的上部，作为规定的观察区域，从能够俯瞰对象者500的位置拍摄对象者500的居室的尽可能宽广的范围，并输出拍摄图像505(图像数据)。拍摄图像505包括含有对象者500的图像。拍摄图像505包括静态图像和动态图像。照相机130可以是广角照相机。广角照相机是能够拍摄比较广的视角的拍摄图像505的照相机，是失真的大小与在拍摄图像505上的位置对应地变化的照相机。广角照相机包括例如鱼眼透镜照相机。为了将比较广的范围设为拍摄范围，照相机130也可以是通过调整照相机的设置高度等来使视角变广的广域拍摄用照相机。广域拍摄用照相机是拍摄如下的拍摄图像505的照相机，该拍摄图像505上的物体的大小与该物体的实际的大小之比与从照相机到拍摄方向上的物体的距离对应地变化。作为广域拍摄用照相机，能够利用不使失真的大小与拍摄图像505上的位置对应地变化的一般的照相机。照相机130是近红外线照相机，但也可以用可见光照相机来取代近红外线照相机，还可以两者并用。
图3是示出照相机130和对象者500的位置关系的说明图。图4是示出拍摄图像505的说明图。图5是用于示出对象者500的映像根据对象者500相对于照相机的朝向和姿势而变化的情况的说明图。在图4、5中示出了利用广角照相机拍摄的拍摄图像505。在以下的说明中，作为例子，设为拍摄图像505是由广角照相机拍摄到的图像来进行说明。
在图3中，位于照相机130正下方即A位置的对象者500被拍摄在图4的拍摄图像505的位置a。位于A位置的对象者500由于离照相机130近，因此在拍摄图像505中，头部和肩部映得比较大，手臂、脚被肩部遮挡。位于B位置的对象者500由于离照相机130远，因此映得小，但映出了全身。在图5的A的例子中，由于对象者500相对于照相机130的朝向是横向，席地而坐的姿势的对象者500的脚不会被上半身遮挡而映出。另一方面，在图5的B的例子中，由于对象者500相对于照相机130的朝向是背向，因此席地而坐的姿势的对象者500的脚被上半身遮挡而大部分未映出。如此，拍摄图像505中的对象者500的映像(外观)根据对象者500相对于照相机130的位置、朝向、以及姿势而变化。
图6是示出用于基于机器学习的姿势估计的学习时的控制部110的功能的功能框图。
如图6所示，在学习时，控制部110发挥关节点等检测部111、特征量生成部112、分割判定部113、模型参数生成部114、以及类别分类部115的功能。
关节点等检测部111从拍摄图像505检测在拍摄图像505上存在物体(目标)的区域作为候选矩形，并计算所检测到的候选矩形中包含的物体的各个类别的可靠度得分。关节点等检测部111将人的类别的可靠度得分最高的候选区域检测为人矩形510。
关节点等检测部111从人矩形510中检测包含对象者500的头部的区域作为头部矩形520。
关节点等检测部111从人矩形510中检测对象者500的关节点530。
关节点等检测部111可以通过反映了用于从拍摄图像505检测人矩形510的词典(模型参数)神经网络(以下，称为“NN”)，从拍摄图像505来检测人矩形。关节点等检测部111可以通过反映了用于从人矩形510检测头部矩形520的词典的NN，从人矩形510检测头部矩形520。关节点等检测部111可以通过反映了用于从人矩形510检测对象者500的关节点530的词典的NN，检测对象者500的关节点530。
关节点等检测部111可以输出人矩形510作为拍摄图像505与该人矩形510的相向的2个顶点的坐标的组合。关节点等检测部111可以输出头部矩形520作为拍摄图像505与该头部矩形520的相向的2个顶点的坐标的组合。关节点等检测部111可以输出关节点530作为拍摄图像505上的各自的坐标。人矩形、头部矩形520、以及关节点530按拍摄图像505的每个帧彼此关联。
在学习时，检测出的关节点530被用户赋予姿势标签，而与姿势标签关联。姿势标签是与关节点530对应的姿势的正确解释。姿势标签是用于表示例如“站姿”、“坐姿”、以及“卧姿”的姿势中的一种的标签。
类别分类部115将与人矩形对应的姿势标签分类为例如3个标签类别。标签类别是1～3的数值，并分别与姿势标签的“站姿”、“坐姿”、以及“卧姿”对应。
在学习时，检测出的关节点530和与分别被赋予的姿势标签对应的标签类别一起作为用于学习的教师数据被使用。
图7是示出人矩形510的示意图。
在图7中，从拍摄图像505检测出的、包含在椅子上坐姿的姿势的对象者500的人矩形510被表示为粗线的矩形框内的区域。
图8是示出人矩形510、头部矩形520、以及关节点530的示意图。
在图8中，示出包含站姿的姿势的对象者500的人矩形510被表示为粗线的矩形框内的区域，头部矩形520被表示为细线的矩形框内的区域。关节点530被表示为黑色的点。关节点530中的“a”表示右肩的关节点530，“b”表示左肩的关节点530，“c”表示右腰的关节点530，“d”表示左腰的关节点530。
特征量生成部112基于人矩形510、头部矩形520、以及关节点530中的至少一个来计算对象者500的特征量。特征量包括例如上半身与下半身的重心距离等。
返回至图6，继续进行说明。
分割判定部113计算拍摄图像505中的人矩形510的位置(例如，人矩形510的中心的坐标)与拍摄图像505的中心的距离作为照相机130与对象者500的距离(以下，也称为“到对象者500的距离”)。此外，分割判定部113通过计算与检测部100(更详细地，照相机130)和对象者500的几何关系对应的指标，从而按每个指标来分割(划分)特征量。该指标可以是例如“近距离”、“中距离”、以及“远距离”，具体而言，可以是与它们对应的数值(例如，1～3)。即，分割判定部113通过计算该指标，按每个指标来将特征量分割(划分)为“近距离”、“中距离”、“远距离”中的一种距离划分(以下，也简称为“距离划分”)。与此相伴，与分割后的特征量关联的标签类别也与特征量一起被分割。
在将检测部100和对象者500的几何关系设为对象者500相对于照相机130的朝向的情况下，分割判定部113计算例如对象者500相对于照相机130是“背向”还是“面向”作为与检测部100和对象者500的几何关系对应的指标。具体而言，该指标可以是与相对于照相机130是背向还是面向对应的数值(例如，1、2)。对象者500相对于照相机130是“背向”还是“面向”可以根据关节点320中的肩的关节点(a、b(参照图8))与腰的关节点(c、d(参照图8))的相对的位置关系来估计。另外，在将除了“背向”和“面向”以外的对象者500的朝向(例如，相对于照相机130倾斜的朝向)设为指标的情况下，可以进一步地考虑连结肩的关节点(a、b)的线段的角度而计算指标。分割判定部113通过计算该指标，按每个该指标，将特征量分割(划分)为“背向”或“面向”中的一种朝向划分。与此相伴，与分割后的特征量关联的标签类别也与特征量一起被分割。
在将检测部100和对象者500的几何关系设为对象者500的姿势的情况下，分割判定部113计算例如对象者500的姿势是“站姿”、“坐姿”、以及“卧姿”中的哪一个作为与检测部100和对象者500的几何关系对应的指标。具体而言，该指标可以是与“站姿”、“坐姿”、以及“卧姿”的姿势分别对应的数值(例如，1～3)。该指标可以通过用于根据人矩形510估计姿势的、利用了NN的公知技术来计算(估计)。分割判定部113通过计算该指标，按每个该指标将特征量分割(划分)为“站姿”、“坐姿”、以及“卧姿”中的一种姿势划分。与此相伴，与分割后的特征量关联的标签类别也与特征量一起被分割。
图9是用于说明距离划分的说明图。
拍摄图像505的中心a与照相机130的正下方对应。在图9的例子中，包含拍摄图像505的中心a的近距离的距离划分对应于由A表示的区域。而且，中距离的距离划分对应于由B表示的区域，远距离的距离划分对应于由C表示的区域。
模型参数生成部114将分割后的特征量以及与该特征量对应的标签类别作为教师数据，按每个距离划分进行学习。模型参数生成部输出通过学习而生成的每个距离划分的模型参数π、A、φ。
图10是用于对利用了隐马尔可夫模型的每个距离划分的学习进行说明的说明图。
图10的A是一般的隐马尔可夫模型的示意图。
隐马尔可夫模型是基于观测变量xi来估计隐藏变量(潜在变量)zi的序列的模型。特征量相当于观测变量xi，标签类别相当于隐藏变量zi。i是按时序拍摄的拍摄图像的帧的编号，编号越小表示越是过去的帧。
通过下述数学式给出基于隐马尔可夫模型的观测变量x和隐藏变量z的同时概率分布p(X，Z)。
[数学式1]
Figure BDA0002379367170000111
在上述数学式中，p(z1)是初始状态的概率。p(zi|zi-1)是按时序在以帧(i-1)的隐藏变量zi-1作为条件时向帧(i)的隐藏变量zi转移的转移概率。p(xi|zi)是在以隐藏变量zi作为条件时变成观测变量xi的发射概率。
上述数学式能够表达为下述数学式。
[数学式2]
在上述数学式中，πZ1(π)是描述初始状态的模型参数。A是描述隐藏变量的转移概率的模型参数。φ是描述发射概率(输出概率)的模型参数(以下，称为“输出概率参数”)。
利用了隐马尔可夫模型的学习通过将观测变量xi和隐藏变量zi的已知的值作为教师数据来进行学习，从而估计(生成)模型参数π、A、φ。具体地，在由上述数学式表示的观测变量xi和隐藏变量zi的同时概率分布中，估计作为教师数据的观测变量xi和隐藏变量zi的已知的值的组合出现的概率为最大的模型参数π、A、φ(最大似然估计法)。
在图10的A所示的利用了一般的隐马尔可夫模型的估计中，使用通过学习而生成的模型参数π、A、φ，根据观测变量xi估计隐藏变量zi。
图10的B是实施方式中的隐马尔可夫模型的示意图。
如图10的B所示，在实施方式中，通过按每个距离划分进行学习，从而按每个距离划分生成输出概率参数φA、φB、φC。φA是通过利用了“近距离”的距离划分的教师数据的学习而生成的输出概率参数。φB是通过利用了“中距离”的距离划分的教师数据的学习而生成的输出概率参数。φC是通过利用了“远距离”的距离划分的教师数据的学习而生成的输出概率参数。在学习中，作为教师数据，分别使用按每个距离划分来分割的分割后的特征量、以及与该特征量对应的标签类别。
在实施方式中的估计中，使用按每个距离划分而学习到的学习后的模型参数π、A、φ(关于φ，根据距离划分，为φA、φB、φC中的一个)，按每个距离划分，根据作为观测变量xi的特征量来估计作为隐藏变量zi的标签类别。
以按每个距离划分而不同的输出概率参数φA、φB、φC，根据特征量来估计标签类别，是基于以下的理由。拍摄图像505中的对象者500的映像根据对象者500相对于照相机130的位置(即，到对象者500的距离)而变化(参照图4、5)，因此特征量依赖于到对象者500的距离而比较大地变化。因此，无论到对象者500的距离如何，若使用相同的输出概率参数φ，则姿势的估计精度有可能会下降。另外，由于模型参数π、A不依赖于拍摄图像505中的对象者500的映像(外观)，所以不需要按每个距离划分而使用不同的模型参数π、A。
图11是示出作为特征量的上半身与下半身的重心距离相对于到对象者500的距离的分布的图表。比较浓的灰色的分布是距离划分为近距离的分布，比较浅的灰色的分布是远距离的分布，它们的中间浓度的灰色的分布是中距离的分布。
在图11的例子中，与各距离划分对应地出现3个峰，并针对每个距离划分分别呈以峰为中心的大致正态分布。如此，按每个距离划分来明确地划分分布是因为距离划分已被恰当地设定。
可以通过参考根据照相机130和对象者500的光学上的射影关系而计算出的理论值，来确认实际上分割出的数据(例如，教师数据)的分布，从而决定距离划分。例如，中距离和远距离的边界可以以到如下的拍摄图像中心的距离作为理论值来得到，即，在该拍摄图像中在站姿的姿势和卧姿的姿势下体轴的长度颠倒。
图12是示出基于机器学习来估计姿势时的控制部110的功能的功能框图。
如图12所示，在估计时，控制部110发挥关节点等检测部111、特征量生成部112、分割判定部113、推论部116、以及跌倒判定部117的功能。关节点等检测部111构成获取部。特征量生成部112构成特征量计算部。分割判定部113构成切替部和指标计算部。推论部116构成姿势估计部。跌倒判定部117构成行动估计部。
关节点等检测部111和特征量生成部112在估计时也与学习时同样地发挥功能，因此省略说明。
分割判定部113计算拍摄图像505中的人矩形510的位置(例如，人矩形的中心的坐标)与拍摄图像505的中心的距离作为到对象者500的距离。此外，分割判定部113通过计算与检测部100和对象者500的几何关系对应的指标，按每个指标来分割(划分)特征量。即，分割判定部113通过计算该指标，按每个指标将特征量分割(划分)为“近距离”、“中距离”、“远距离”中的一种距离划分。与此相伴，与分割后的特征量关联的标签类别也与特征量一起被分割。
分割判定部113确定每个距离划分的模型参数((π、A、φA)、(π、A、φB)、(π、A、φC))中的、与分割后的特征量的距离划分对应的模型参数。
推论部116通过应用了由分割判定部113确定出的与分割后的特征量对应的模型参数的隐马尔可夫模型，根据分割后的特征量，估计例如“站姿”、“坐姿”、以及“卧姿”这3个类别中的一种(具体而言，与3个类别对应的1～3的数值中的一个)作为姿势。
跌倒判定部117基于由推论部116估计出的姿势，判定对象者500是否跌倒了，并输出判定结果。例如，在由推论部116根据从时序上连续的帧生成的特征量分别估计出了站姿的姿势与卧姿的姿势的情况下，跌倒判定部117判定为对象者500跌倒了。或者，例如，在由推论部116根据从在时序上连续的帧生成的特征量分别估计出了坐姿的姿势和卧姿的姿势的情况下，跌倒判定部117也可以判定为对象者500跌倒了。
另外，跌倒判定部117也可以判定(估计)对象者500的除了跌倒以外的行动。例如，在由推论部116根据从在时序上连续的帧生成的特征量分别估计出了站姿的姿势的情况下，可以判定(估计)为对象者500正在步行。
图13是示出检测部100的动作的流程图。本流程图由控制部110按照程序来执行。
控制部110获取从拍摄图像505检测出的人矩形510、头部矩形520、以及关节点530(S101)。控制部110是通过利用了NN的机器学习，根据拍摄图像505估计人矩形510、头部矩形520、以及关节点530从而获取的。
控制部110按时序上的每个帧，根据人矩形510、头部矩形520、以及关节点530中的至少一个来计算特征量(S102)。
控制部110根据拍摄图像505上的人矩形510的坐标，计算到对象者500的距离(S103)。
控制部110基于到对象者500的距离，将用于估计姿势的隐马尔可夫模型的模型参数切换为(π、A、φA)、(π、A、φB)、(π、A、φC)中的任一个(S104)。
控制部110根据切换后的隐马尔可夫模型，基于时序上的帧来估计对象者500的姿势(S105)。
本发明所涉及的实施方式具有以下的效果。
根据用于表示从由拍摄部从俯瞰对象的位置拍摄到的拍摄图像中检测出的对象的特征的、规定的检测信息，计算对象的特征量。而且，基于拍摄部与对象的几何关系，切换用于根据时序上的特征量通过机器学习来估计对象的姿势的模型参数。由此，能够提高基于从俯瞰对象的位置拍摄到的拍摄图像来检测对象的姿势等的检测精度。
进一步地，通过隐马尔可夫模型来估计对象的姿势，基于拍摄部和对象的几何关系来切换隐马尔可夫模型的用于计算输出概率的模型参数。由此，能够更加简单且恰当地提高对象的姿势等的检测精度。此外，即使在如对象从远方移动到拍摄部正下方这样的情况下，也能够进行考虑了时序的对象的姿势和行动的高精度的估计。
进一步地，将上述几何关系设为对象相对于拍摄部的位置、朝向、以及姿势中的至少一种，还设置计算与该几何关系对应的指标的指标计算部，基于由指标计算部计算出的指标来切换用于估计对象的姿势的模型参数。由此，能够进一步地提高对象的姿势等的检测精度。
进一步地，将规定的检测信息设为从拍摄图像检测到的人矩形、头部矩形520、以及关节点中的至少一个。由此，能够高效且恰当地计算对象的特征量。
关于以上进行了说明的姿势估计装置、行动估计装置等的结构，在说明上述的实施方式的特征时说明了其主要结构，但不限于上述的结构，在权利要求的范围内能够进行各种各样的改变。此外，并不排除一般的姿势估计装置等所具备的结构。
例如，上述的流程图可以省略一部分的步骤，也可以追加其他的步骤。此外，各步骤的一部分可以同时执行，一个步骤也可以被分割成多个步骤来执行。
此外，在实施方式中，设为估计人的姿势等情况进行了说明，但也可以估计动物的姿势等。
此外，在实施方式中，当利用隐马尔可夫模型来估计对象者500的姿势等时，也可以将根据观测变量(特征量)来估计隐藏变量(类别)的部分替换为基于神经网络的机器学习来执行。
此外，在实施方式中，由检测部基于所估计出的姿势来判定跌倒等的行动，并输出判定结果。但是，行动的判定、以及判定结果的输出也可以不是由检测部进行，而是与检测部可通信地连接的服务器从检测部接收姿势的估计结果，并基于该姿势的估计结果来判定跌倒等行动，从而输出判定结果。
此外，实施方式的姿势估计系统中的进行各种处理的手段和方法即使通过专用的硬件电路或被编程的计算机中的任一种也能够实现。上述程序可以通过例如USB存储器、DVD(数字多功能盘(Digital Versatile Disc))-ROM等计算机可读取的记录介质来提供，也可以经由互联网等网络而在线上提供。在这种情况下，在计算机可读取的记录介质中记录的程序通常被转发并存储至硬盘等存储部中。此外，上述程序可以作为单独的应用软件而被提供，也可以作为一个功能而纳入其检测部等装置的软件中。

Claims (15)

1.一种姿势估计装置，具有：
获取部，获取规定的检测信息，所述规定的检测信息用于表示基于由拍摄部从俯瞰对象的位置拍摄到的图像而检测出的所述对象的特征；
特征量计算部，基于由所述获取部获取到的所述检测信息，计算规定的特征量；
切换部，基于所述拍摄部与所述对象的几何关系来切换模型参数，所述模型参数用于根据由所述特征计算部计算出的时序上的所述特征量通过机器学习来估计所述对象的姿势；以及
姿势估计部，利用所述切换部进行切换后的所述模型参数，估计所述对象的姿势。
2.根据权利要求1所述的姿势估计装置，
所述姿势估计部通过隐马尔可夫模型来估计所述对象的姿势，
所述切换部基于所述拍摄部和所述对象的几何关系，切换所述隐马尔可夫模型的用于计算输出概率的所述模型参数。
3.根据权利要求1或2所述的姿势估计装置，
所述几何关系是所述对象相对于所述拍摄部的位置、朝向、以及姿势中的至少一种，
所述姿势估计装置还具有指标计算部，所述指标计算部计算与所述拍摄部和所述对象的所述几何关系对应的指标，
所述切换部基于由所述指标计算部计算出的所述指标，切换用于估计所述对象的姿势的所述模型参数。
4.根据权利要求1至3中的任一项所述的姿势估计装置，
所述检测信息是从所述图像检测出的人矩形、头部矩形、以及关节点中的至少一个。
5.一种行动估计装置，具有：
权利要求1至4中的任一项所述的姿势估计装置；以及
行动估计部，基于由所述姿势估计部估计出的所述对象的姿势，估计所述对象的行动。
6.一种保存了姿势估计程序的计算机可读取的记录介质，所述姿势估计程序用于使计算机执行处理，该处理具有：
过程(a)，获取规定的检测信息，所述规定的检测信息用于表示基于由拍摄部从俯瞰对象的位置拍摄到的图像而检测出的所述对象的特征；
过程(b)，基于在所述过程(a)中获取到的所述检测信息，计算规定的特征量；
过程(c)，基于所述拍摄部与所述对象的几何关系来切换模型参数，所述模型参数用于根据在所述过程(b)中计算出的时序上的所述特征量通过机器学习来估计所述对象的姿势；以及
过程(d)，利用所述过程(c)中的切换后的所述模型参数，估计所述对象的姿势。
7.根据权利要求6所述的保存了姿势估计程序的计算机可读取的记录介质，
在所述过程(d)中，通过隐马尔可夫模型来估计所述对象的姿势，
在所述过程(c)中，基于所述拍摄部和所述对象的几何关系，切换所述隐马尔可夫模型的用于计算输出概率的所述模型参数。
8.根据权利要求6或7所述的保存了姿势估计程序的计算机可读取的记录介质，
所述几何关系是所述对象相对于所述拍摄部的位置、朝向、以及姿势中的至少一种，
所述处理还具有过程(e)，在所述过程(e)中，计算与所述拍摄部和所述对象的所述几何关系对应的指标，
在过程(c)中，基于在所述过程(e)中计算出的所述指标，切换用于估计所述对象的姿势的所述模型参数。
9.根据权利要求6至8中的任一项所述的保存了姿势估计程序的计算机可读取的记录介质，
所述检测信息是从所述图像检测出的人矩形、头部矩形、以及关节点中的至少一个。
10.根据权利要求6至9中的任一项所述的保存了姿势估计程序的计算机可读取的记录介质，
所述处理还具有过程(f)，在所述过程(f)中，基于在所述过程(d)中估计出的所述对象的姿势，估计所述对象的行动。
11.一种姿势估计方法，具有：
步骤(a)，获取规定的检测信息，所述规定的检测信息用于表示基于由拍摄部从俯瞰对象的位置拍摄到的图像而检测出的所述对象的特征；
步骤(b)，基于在所述步骤(a)中获取到的所述检测信息，计算规定的特征量；
步骤(c)，基于所述拍摄部与所述对象的几何关系来切换模型参数，所述模型参数用于根据在所述步骤(b)中计算出的、时序上的所述特征量通过机器学习来估计所述对象的姿势；以及
步骤(d)，利用所述步骤(c)中的切换后的所述模型参数，估计所述对象的姿势。
12.根据权利要求11所述的姿势估计方法，
在所述步骤(d)中，通过隐马尔可夫模型来估计所述对象的姿势，
在所述步骤(c)中，基于所述拍摄部和所述对象的几何关系，切换所述隐马尔可夫模型的用于计算输出概率的所述模型参数。
13.根据权利要求11或12所述的姿势估计方法，
所述几何关系是所述对象相对于所述拍摄部的位置、朝向、以及姿势中的至少一种，
所述姿势估计方法还具有步骤(e)，在所述步骤(e)中计算与所述拍摄部和所述对象的所述几何关系对应的指标，
在所述步骤(c)中，基于在所述步骤(e)中计算出的所述指标，切换用于估计所述对象的姿势的所述模型参数。
14.根据权利要求11至13中的任一项所述的姿势估计方法，
所述检测信息是从所述图像检测出的人矩形、头部矩形、以及关节点中的至少一个。
15.根据权利要求11至13中的任一项所述的姿势估计方法，
还具有步骤(f)，在所述步骤(f)中，基于在所述步骤(d)中估计出的所述对象的姿势，估计所述对象的行动。
CN202010078489.XA 2019-01-31 2020-02-03 姿势估计装置、行动估计装置、记录介质、姿势估计方法 Active CN111507176B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019015905A JP7196645B2 (ja) 2019-01-31 2019-01-31 姿勢推定装置、行動推定装置、姿勢推定プログラム、および姿勢推定方法
JP2019-015905 2019-01-31

Publications (2)

Publication Number Publication Date
CN111507176A true CN111507176A (zh) 2020-08-07
CN111507176B CN111507176B (zh) 2024-01-16

Family

ID=69187645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010078489.XA Active CN111507176B (zh) 2019-01-31 2020-02-03 姿势估计装置、行动估计装置、记录介质、姿势估计方法

Country Status (4)

Country Link
US (1) US11298050B2 (zh)
EP (1) EP3689236A1 (zh)
JP (1) JP7196645B2 (zh)
CN (1) CN111507176B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7271915B2 (ja) * 2018-11-22 2023-05-12 コニカミノルタ株式会社 画像処理プログラムおよび画像処理装置
US11450192B2 (en) 2020-01-06 2022-09-20 National Cheng Kung University Fall detection system
WO2021186655A1 (ja) * 2020-03-19 2021-09-23 株式会社日立製作所 転倒リスク評価システム
CN113040755B (zh) * 2020-10-28 2022-01-04 北京新赛点体育投资股份有限公司 应用网络监控的状态调整平台及方法
CN112597956B (zh) * 2020-12-30 2023-06-02 华侨大学 基于人体锚点集合与感知增强网络的多人姿态估计方法
CN112990089B (zh) * 2021-04-08 2023-09-26 重庆大学 一种判断人体运动姿态的方法
WO2023058155A1 (ja) * 2021-10-06 2023-04-13 日本電気株式会社 運転手監視装置、運転手監視方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162218A1 (en) * 2010-12-23 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for generating digital clone
CN103207985A (zh) * 2012-01-13 2013-07-17 索尼公司 图像处理装置及其方法和程序
US20140163424A1 (en) * 2011-03-02 2014-06-12 Panasonic Corporation Posture estimation device, posture estimation system, and posture estimation method
US20150169947A1 (en) * 2012-07-26 2015-06-18 Panasonic Corporation Posture estimation device, posture estimation method, and posture estimation program
CN107451524A (zh) * 2016-06-01 2017-12-08 丰田自动车株式会社 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质
US20180174320A1 (en) * 2015-03-06 2018-06-21 Konica Minolta, Inc. Posture Detection Device and Posture Detection Method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3196805A3 (en) * 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
CN102821730B (zh) * 2010-09-13 2015-09-30 松下知识产权经营株式会社 搭乘型移动体及搭乘型移动体的控制方法
JP2012113369A (ja) * 2010-11-19 2012-06-14 Nikon Corp 姿勢状態判定装置
JP6148480B2 (ja) 2012-04-06 2017-06-14 キヤノン株式会社 画像処理装置、画像処理方法
JP2014090841A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
US20160278683A1 (en) * 2015-03-24 2016-09-29 Fuji Xerox Co., Ltd. Standing position evaluation apparatus, standing position evaluation method, and non-transitory computer readable medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162218A1 (en) * 2010-12-23 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for generating digital clone
US20140163424A1 (en) * 2011-03-02 2014-06-12 Panasonic Corporation Posture estimation device, posture estimation system, and posture estimation method
CN103207985A (zh) * 2012-01-13 2013-07-17 索尼公司 图像处理装置及其方法和程序
US20150169947A1 (en) * 2012-07-26 2015-06-18 Panasonic Corporation Posture estimation device, posture estimation method, and posture estimation program
US20180174320A1 (en) * 2015-03-06 2018-06-21 Konica Minolta, Inc. Posture Detection Device and Posture Detection Method
CN107451524A (zh) * 2016-06-01 2017-12-08 丰田自动车株式会社 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
K.K. DELIBASIS: "geodesically-corrected zernike descriptors for pose recognition in omni-directional images", 《INTEGRATED COMPUTER-AIDED ENGINEERING》 *
KHUE TRA等: "Human Fall Detection Based On Adaptive Background Mixture Model and HMM", 《THE 2013 INTERNATIONAL CONFERENCE ON ADVANCED TECHNOLOGIES FOR COMMUNICATIONS》 *
NICOLAS THOME等: "A Real-Time, Multiview Fall Detection System: A LHMM-Based Approach", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Also Published As

Publication number Publication date
JP2020123239A (ja) 2020-08-13
US11298050B2 (en) 2022-04-12
JP7196645B2 (ja) 2022-12-27
CN111507176B (zh) 2024-01-16
EP3689236A1 (en) 2020-08-05
US20200245904A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
CN111507176B (zh) 姿势估计装置、行动估计装置、记录介质、姿势估计方法
Huang et al. Multimodal sleeping posture classification
Zhu et al. Motion-and location-based online human daily activity recognition
JP3361980B2 (ja) 視線検出装置及びその方法
KR102441171B1 (ko) 다시점 얼굴 영상 기반 사용자 모니터링 장치 및 방법
JP2004504684A (ja) 顔画像処理システム
Schwarz et al. Learning gestures for customizable human-computer interaction in the operating room
JP5001930B2 (ja) 動作認識装置及び方法
JP6288770B2 (ja) 顔検出方法、顔検出システム、および顔検出プログラム
Akashi et al. Using genetic algorithm for eye detection and tracking in video sequence
JP5482412B2 (ja) ロボット、位置推定方法及びプログラム
WO2020261403A1 (ja) 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7347577B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2020261404A1 (ja) 人物状態検出装置、人物状態検出方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2020134971A (ja) 現場学習評価プログラム、現場学習評価方法、および現場学習評価装置
Carrasco et al. Exploiting eye–hand coordination to detect grasping movements
EP3819864A1 (en) Target object detection program and target object detection device
TWI686775B (zh) 利用影像偵測閱讀姿勢之方法及系統、電腦可讀取之記錄媒體及電腦程式產品
Pavllo et al. Real-time marker-based finger tracking with neural networks
JP2019204464A (ja) 行動推定装置
JP6525179B1 (ja) 行動推定装置
CN112528714A (zh) 基于单光源的注视点估计方法、系统、处理器及设备
JP7314939B2 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
US20220398867A1 (en) Information processing apparatus and facial expression determination method
JP7365729B1 (ja) 姿勢推定システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant