CN112602100B - 动作分析装置、动作分析方法、存储介质及动作分析系统 - Google Patents

动作分析装置、动作分析方法、存储介质及动作分析系统 Download PDF

Info

Publication number
CN112602100B
CN112602100B CN201980052728.XA CN201980052728A CN112602100B CN 112602100 B CN112602100 B CN 112602100B CN 201980052728 A CN201980052728 A CN 201980052728A CN 112602100 B CN112602100 B CN 112602100B
Authority
CN
China
Prior art keywords
time series
information
series information
division
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980052728.XA
Other languages
English (en)
Other versions
CN112602100A (zh
Inventor
西田一贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN112602100A publication Critical patent/CN112602100A/zh
Application granted granted Critical
Publication of CN112602100B publication Critical patent/CN112602100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Factory Administration (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种动作分析装置、动作分析方法、存储介质及动作分析系统，可更准确地进行动作时间的测量。动作分析装置包括：获取部，获取表示作业者进行的动作的时序信息；对应部，使基准时序信息以保持时间顺序的方式与时序信息对应，所述基准时序信息被赋予有表示动作的分割点的一个或多个分割信息；以及测量部，基于与被赋予有一个或多个分割信息的基准时序信息对应的时序信息，测量将动作在分割点分割所得的多个分割动作各自的动作时间。

Description

动作分析装置、动作分析方法、存储介质及动作分析系统
技术领域
本发明涉及一种动作分析装置、动作分析方法、存储介质及动作分析系统。
背景技术
以往，有时在制品的制造线中设置一个或多个摄像机，通过图像或视频来记录作业者的动作。而且，有时对所拍摄的图像或视频进行图像识别处理，对作业者的动作进行解析。
例如下述专利文献1中记载了一种动作分析装置，在各动作的划分时机间获取基准被摄物的动作的基准轨迹信息，提取各动作的划分时机的、特征性的特征轨迹信息，根据拍摄其他被摄物所得的比较影像而获取其他被摄物的动作的比较轨迹信息，从比较轨迹信息中搜索特征轨迹信息而提取与对基准被摄物所设定的动作相同的动作，进而基于连续动作的划分时机将所述动作汇集，测量各连续动作的所需时间并显示。
现有技术文献
专利文献
专利文献1：日本专利第5525202号
发明内容
发明所要解决的问题
在测量作业者的动作时间的情况下，例如有时如专利文献1所记载的技术那样，提取基准轨迹所含的特征性的轨迹信息，从测定对象的轨迹中搜索同样的特征轨迹信息，测量各连续动作的所需时间。
但是，基准轨迹所含的特征性轨迹有时未必出现在测定对象的轨迹中，或难以与特征性轨迹在多个时机出现的情况对应。因此，有时未准确地进行动作时间的测量。
因此，本发明提供一种动作分析装置、动作分析方法、存储介质及动作分析系统，可更准确地进行动作时间的测量。
解决问题的技术手段
本公开的一实施例的动作分析装置包括：获取部，获取表示作业者进行的动作的时序信息；对应部，将基准时序信息以保持时间顺序的方式与时序信息对应，所述基准时序信息被赋予有表示动作的分割点的一个或多个分割信息；以及测量部，基于与被赋予有一个或多个分割信息的基准时序信息对应的时序信息，测量将动作在分割点分割所得的多个分割动作各自的动作时间。
根据所述实施例，使表示作业者进行的动作的时序信息与被赋予有一个或多个分割信息的基准时序信息对应，将动作分割为多个分割动作，由此可更准确地进行多个分割动作各自的动作时间的测量。
所述实施例中，获取部也可获取作业者进行动作时所记录的、表示作业者的多个部位的动作的多个时序信息，对应部针对多个部位，分别使基准时序信息以保持时间顺序的方式与时序信息对应。
根据所述实施例，可将作业者进行的动作依多个部位分别分割为多个分割动作，可针对多个部位分别进行动作时间的测量。
所述实施例中，测量部也可有关多个部位将基于时序信息所算出的动作时间平均，测量动作时间，所述时序信息与被赋予有一个或多个分割信息的基准时序信息对应。
根据所述实施例，有关多个部位将动作时间平均，由此可更稳定地测量多个分割动作各自的动作时间。
所述实施例中，获取部也可获取表示作业者的左右的部位的动作的、多个时序信息。
根据所述实施例，可将作业者进行的动作依作业者的左右的部位分别分割为多个分割动作，可针对左右的部位分别进行动作时间的测量。
所述实施例中，时序信息也可包含将作业者的多个部位的速度或加速度的大小相加的值。
根据所述实施例，有关多个部位将速度或加速度的大小相加，由此可更稳定地测量多个分割动作各自的动作时间。
所述实施例中，基准时序信息也可针对作业者的每个类型而准备，对应部使与获取了时序信息的作业者的类型为相同的类型的作业者有关的、基准时序信息，以保持时间顺序的方式与时序信息对应。
根据所述实施例，使用与获取了时序信息的作业者的类型为相同类型的作业者有关的、基准时序信息，来测量分割动作的动作时间，由此可更准确地进行多个分割动作各自的动作时间的测量。
所述实施例中，对应部可也通过动态时间规整法，使基准时序信息以保持时间顺序的方式与时序信息对应。
根据所述实施例，即便在时序信息与基准时序信息的长度或相位不同的情况下，也可使时序信息与基准时序信息适当地对应，可更准确地进行多个分割动作各自的动作时间的测量。
本公开的另一实施例的动作分析方法包括：获取表示作业者进行的动作的时序信息；使基准时序信息以保持时间顺序的方式与时序信息对应，所述基准时序信息被赋予有表示动作的分割点的一个或多个分割信息；以及基于与被赋予有一个或多个分割信息的基准时序信息对应的时序信息，测量将动作在分割点分割所得的多个分割动作各自的动作时间。
根据所述实施例，使表示作业者进行的动作的时序信息与被赋予有一个或多个分割信息的基准时序信息对应，将动作分割为多个分割动作，由此可更准确地进行多个分割动作各自的动作时间的测量。
本公开的另一实施例的存储介质，包括动作分析程序使动作分析装置所包括的运算部作为下述部分发挥功能：获取部，获取表示作业者进行的动作的时序信息；对应部，使基准时序信息以保持时间顺序的方式与时序信息对应，所述基准时序信息被赋予有表示动作的分割点的一个或多个分割信息；以及测量部，基于与被赋予有一个或多个分割信息的基准时序信息对应的时序信息，测量将动作在分割点分割所得的多个分割动作各自的动作时间。
根据所述实施例，使表示作业者进行的动作的时序信息与被赋予有一个或多个分割信息的基准时序信息对应，将动作分割为多个分割动作，由此可更准确地进行多个分割动作各自的动作时间的测量。
本公开的另一实施例的动作分析系统包括：摄影部，拍摄作业者进行动作的视频；解析部，基于视频而输出表示动作的时序信息；对应部，使基准时序信息以保持时间顺序的方式与时序信息对应，所述基准时序信息被赋予有表示动作的分割点的一个或多个分割信息；以及测量部，基于与被赋予有一个或多个分割信息的基准时序信息对应的时序信息，测量将动作在分割点分割所得的多个分割动作各自的动作时间。
根据所述实施例，使表示作业者进行的动作的时序信息与被赋予有一个或多个分割信息的基准时序信息对应，将动作分割为多个分割动作，由此可更准确地进行多个分割动作各自的动作时间的测量。
发明的效果
根据本发明，可提供一种动作分析装置、动作分析方法、存储介质及动作分析系统，可更准确地进行动作时间的测量。
附图说明
图1为表示本发明的实施方式的动作分析系统的概要的图。
图2为表示本实施方式的动作分析系统的功能块的图。
图3为表示本实施方式的动作分析装置的物理结构的图。
图4为表示由本实施方式的动作分析装置执行的时序信息与基准时序信息的对应的一例的图。
图5为表示由本实施方式的动作分析装置执行的动作时间的测量的一例的图。
图6为由本实施方式的动作分析系统执行的动作时间测量处理的第一例的流程图。
图7为由本实施方式的动作分析系统执行的动作时间测量处理的第二例的流程图。
具体实施方式
以下，基于附图对本发明的一侧面的实施方式(以下表述为“本实施方式”)进行说明。另外，各图中标注有相同符号的部分具有相同或同样的结构。
§1适用例
首先，使用图1对适用本发明的场景的一例进行说明。本实施方式的动作分析系统100包括：第一摄影部20a、第二摄影部20b及第三摄影部20c，拍摄表示在某个作业区域R中执行的作业者的动作的视频。本示例的作业区域R为包含整个制造线的区域，但作业区域R可为任意区域，例如可为进行规定工序的区域，或为进行规定的要素动作的区域。此处，所谓要素动作，为由作业者执行的一单位的动作，例如包含零件的抓取(picking)、零件的配置、零件的固定、制品的捆包等动作。本实施方式中，在作业区域R中进行三个工序，第一摄影部20a、第二摄影部20b及第三摄影部20c可分别拍摄执行规定工序的作业者的手头的视频。
本示例中，对第一作业者A1及第二作业者A2在作业区域R中进行预定动作的情况进行说明。第一作业者A1例如可执行第一零件的抓取、配置、固定等动作，第二作业者A2例如可执行第二零件的抓取、配置、固定等动作。以下，将第一作业者A1及第二作业者A2统称而记载为作业者A。
动作分析系统100包含动作分析装置10。动作分析装置10获取视频等表示作业者A的动作的时序信息，使用例如动态时间规整法(Dynamic Time Warping，也称为DTW)使时序信息与基准时序信息对应。对基准时序信息赋予有表示动作的分割点的一个或多个分割信息，通过使基准时序信息与时序信息对应，从而可对时序信息求出动作的分割点。并且，动作分析装置10测量将时序信息所示的动作以分割点进行分割所得的多个分割动作各自的动作时间。
显示部10f显示时序信息、基准时序信息、以及时序信息与基准时序信息的对应。而且，显示部10f也可显示时序信息的分割点，也可显示多个分割动作各自的动作时间。进而，显示部10f也可针对多个分割动作分别显示表示作业者A的动作的视频。
如此，根据本实施方式的动作分析装置10，使表示作业者A进行的动作的时序信息与被赋予有一个或多个分割信息的基准时序信息对应，将动作分割为多个分割动作，由此可更准确地进行多个分割动作各自的动作时间的测量。
§2结构例
[功能结构]
接下来，使用图2对本实施方式的动作分析系统100的功能结构的一例进行说明。动作分析系统100包括第一摄影部20a、第二摄影部20b、第三摄影部20c及动作分析装置10。并且，动作分析装置10包括获取部11、解析部12、存储部13、对应部14、测量部15、赋予部16及显示部10f。
＜摄影部＞
第一摄影部20a、第二摄影部20b及第三摄影部20c分别可包含通用的摄像机，可拍摄包含第一作业者A1及第二作业者A2在作业区域R中执行动作的场景的视频。第一摄影部20a、第二摄影部20b及第三摄影部20c可分别拍摄作业区域R的一部分，可拍摄较作业区域R更窄的区域的视频。具体而言，可拍摄将由第一作业者A1及第二作业者A2执行的动作放大(close up)的视频。第一摄影部20a、第二摄影部20b及第三摄影部20c例如可拍摄将第一作业者A1及第二作业者A2的手头放大的视频。
而且，第一摄影部20a、第二摄影部20b及第三摄影部20c可拍摄分别对作业区域R的多个部分进行拍摄的多个视频。例如，可为第一摄影部20a主要拍摄第一作业者A1执行动作的视频，第三摄影部20c主要拍摄第二作业者A2执行动作的视频，第二摄影部20b拍摄第一作业者A1执行动作的视频及第二作业者A2执行动作的视频两者。而且，第一摄影部20a、第二摄影部20b及第三摄影部20c可拍摄在作业区域R的多个位置执行各不相同的工序的视频。
＜获取部＞
获取部11获取表示作业者A进行的动作的时序信息。此处，时序信息可为表示作业者A的动作的视频。此外，时序信息可为与通过运动捕捉器所测定的表示作业者A的动作的坐标值有关的信息，或可为通过使作业者A佩戴加速度传感器或陀螺传感器从而测定的、表示作业者A的动作的信息。由获取部11获取的时序信息(本示例中为视频)传输至存储部13，作为视频历程13a而存储。
获取部11可获取作业者A进行动作时记录的、表示作业者A的多个部位的动作的多个时序信息。作业者A的多个部位例如可为头、双眼、双肩、双肘、双手腕、双手的各指关节、腰、双膝及双脚腕等。而且，获取部11可获取表示作业者A的左右的部位的动作的、多个时序信息。作业者A的左右的部位可为双眼、双肩、双肘、双手腕、双手的各指关节、双膝及双脚腕等。通过获取表示作业者A的左右的部位的动作的、多个时序信息，从而可将作业者A进行的动作依作业者A的左右的部位分别分割为多个分割动作，可针对左右的部位分别进行动作时间的测量。此处，左右的部位可包含作业者A的双手。此时，可针对作业者A的双手将作业者A进行的动作分割为多个分割动作，可针对双手进行动作时间的测量。
＜解析部＞
解析部12对表示作业者A的动作的视频进行解析，算出包含表示作业者A的动作的坐标值的、动作信息。动作信息为时序信息的一例。动作信息可为表示作业者A的身体的代表性位置的位移的信息。作业者的身体的代表性位置也可为身体的一个位置，但典型而言可有多个。动作信息可为通过骨架模型来表示作业者A的关节的位置的信息。解析部12例如可使用曹哲(Zhe Cao)等三人通过《基于部分亲和字段的实时多人2D姿势估计(RealtimeMulti-Person 2D Pose Estimation using Part Affinity Fields)》(arXiv:1611.08050,2016)所公开的技术，根据视频来算出包含表示作业者A的动作的坐标值的、动作信息。另外，在使作业者A佩戴加速度传感器或陀螺传感器而测定表示作业者A的动作的信息的情况下，无需下述处理，即：由解析部12根据视频来算出包含表示作业者A的动作的坐标值的、动作信息。
解析部12可算出包含将作业者A的多个部位的速度或加速度的大小相加的值的、动作信息。解析部12例如可算出包含将作业者A的双手的速度或加速度的大小相加的值的、动作信息。通过有关多个部位将速度或加速度的大小相加，从而可更稳定地测量多个分割动作各自的动作时间。
＜存储部＞
存储部13存储视频历程13a、动作信息历程13b及基准动作信息13c。视频历程13a包含由第一摄影部20a、第二摄影部20b及第三摄影部20c所拍摄的视频的历程。动作信息历程13b包含由解析部12算出的动作信息的历程。此处，动作信息历程13b也可针对作业者的每个类型而存储。所谓作业者的类型，为表示作业者的特征的分类，例如可为有关作业的熟练者与初学者，或为惯用右手与惯用左手，或为男性与女性，或有关体格而为大个子与小个子。基准动作信息13c包含基准动作信息的历程，所述基准动作信息包含表示成为基准的动作的时序信息。基准动作信息为基准时序信息的一例，包含表示动作的分割点的一个或多个分割信息。
＜对应部＞
对应部14使基准时序信息以保持时间顺序的方式与时序信息对应，所述基准时序信息被赋予有表示动作的分割点的一个或多个分割信息。本实施方式中，对应部14使被赋予有表示动作的分割点的一个或多个分割信息的、基准动作信息，以保持时间顺序的方式与针对作业者A所获取的动作信息对应。
对应部14可依作业者A的多个部位，分别使基准时序信息以保持时间顺序的方式与时序信息对应。对应部14例如可使作业者A的右手的时序信息与右手的基准时序信息对应，或使作业者A的左手的时序信息与左手的基准时序信息对应。由此，可将作业者A进行的动作依多个部位分别分割为多个分割动作，可针对多个部位分别进行动作时间的测量。
在针对作业者A的每个类型准备了基准时序信息的情况下，对应部14可使与获取了时序信息的作业者A的类型为相同类型的作业者有关的、基准时序信息，以保持时间顺序的方式与时序信息对应。对应部14例如在分有关作业的熟练者与初学者准备了基准时序信息的情况下，可使熟练者的基准时序信息与熟练者的时序信息对应，使初学者的基准时序信息与初学者的时序信息对应。而且，对应部14例如可将体格类似的作业者视为相同类型的作业者，使相同类型的作业者的基准时序信息与所获取的时序信息对应。此处，体格是否类似例如可通过比较关节间的长度从而判定。而且，在针对每个作业者A准备了基准时序信息的情况下，对应部14可使与获取了时序信息的作业者A相同的作业者有关的、基准时序信息，以保持时间顺序的方式与时序信息对应。通过使用与获取了时序信息的作业者A的类型为相同类型的作业者有关的、基准时序信息，来测量分割动作的动作时间，从而可更准确地进行多个分割动作各自的动作时间的测量。
对应部14可通过动态时间规整法使基准时序信息以保持时间顺序的方式与时序信息对应。通过使用动态时间规整法，从而即便在时序信息与基准时序信息的长度或相位不同的情况下，也可使时序信息与基准时序信息适当地对应，可更准确地进行多个分割动作各自的动作时间的测量。
＜测量部＞
测量部15基于与被赋予有一个或多个分割信息的基准时序信息对应的时序信息，测量将作业者A的动作在分割点分割所得的多个分割动作各自的动作时间。测量部15例如在时序信息为视频的情况下，可基于视频的帧率算出分割点间的时间，测量多个分割动作各自的动作时间。
测量部15可有关多个部位将基于时序信息所算出的动作时间平均，测量动作时间，所述时序信息与被赋予有一个或多个分割信息的基准时序信息对应。测量部15例如也可将针对作业者A的双手所算出的动作时间平均，由此测量综合性的动作时间。如此，通过有关多个部位将动作时间平均，从而可更稳定地测量多个分割动作各自的动作时间。
＜赋予部＞
赋予部16对基准时序信息赋予一个或多个分割信息。赋予部16可提取基准时序信息所含的一个或多个特征点，基于一个或多个特征点而赋予一个或多个分割信息。而且，赋予部16也可基于输入而对基准时序信息赋予一个或多个分割信息。
[硬件结构]
接下来，使用图3对本实施方式的动作分析装置10的硬件结构的一例进行说明。动作分析装置10具有相当于运算装置的中央处理器(Central Processing Unit，CPU)10a、相当于存储部13的随机存取存储器(Random Access Memory，RAM)10b、相当于存储部13的只读存储器(Read only Memory，ROM)10c、通信部10d、输入部10e及显示部10f。这些各结构经由总线而可相互收发数据地连接。另外，本示例中对动作分析装置10包含一台计算机的情况进行说明，但动作分析装置10也可使用多个计算机来实现。
CPU10a为进行与存储于RAM10b或ROM10c的程序的执行有关的控制或数据的运算、加工的控制部。CPU10a为执行将时序信息分割而测量多个分割动作的动作时间的程序(动作分析程序)的运算装置。CPU10a从输入部10e或通信部10d接收各种输入数据，将输入数据的运算结果显示于显示部10f，或者保持于RAM10b或ROM10c。
RAM10b在存储部13中可改写数据，例如可包含半导体存储元件。RAM10b存储CPU10a执行的动作分析程序或视频历程13a、动作信息历程13b及基准动作信息13c等数据。
ROM10c在存储部13中可读出数据，例如可包含半导体存储元件。ROM10c例如存储动作分析程序、或不进行改写的数据。
通信部10d为将动作分析装置10连接于外部设备的接口。通信部10d例如可通过局域网(Local Area Network，LAN)而与第一摄影部20a、第二摄影部20b及第三摄影部20c连接，从第一摄影部20a、第二摄影部20b及第三摄影部20c接收视频。而且，通信部10d也可连接于国际互联网，经由国际互联网接收视频或接收动作信息。
输入部10e从用户受理数据的输入，例如可包含键盘、鼠标及触控面板。
显示部10f以视觉方式显示CPU10a的运算结果，例如可包含液晶显示器(LiquidCrystal Display，LCD)。
动作分析程序可存储于RAM10b或ROM10c等可由计算机读取的存储介质而提供，也可经由通过通信部10d连接的通信网络而提供。动作分析装置10中，通过CPU10a执行动作分析程序，从而实现使用图2所说明的获取部11、解析部12、对应部14、测量部15及赋予部16的动作。另外，这些物理结构为例示，且也可未必为独立的结构。例如，动作分析装置10也可包括CPU10a与RAM10b或ROM10c一体化的大规模集成电路(Large-Scale Integration，LSI)。
§3动作例
图4为表示由本实施方式的动作分析装置10执行的时序信息与基准时序信息的对应的一例的图。此图中，图示表示时序信息的第一图表G1、表示基准时序信息的第二图表G2、以及表示时序信息与基准时序信息的对应关系的第三图表G3。
第一图表G1中，横轴表示时间，纵轴表示作业者A的动作信息的值，而表示动作信息的时间变化。本示例中，动作信息为将作业者A的双手的速度的大小相加的值。动作信息例如在作业者A为了握持零件而伸出手时大幅度地变动，在进行零件的装配作业等时大致固定。
第二图表G2中，横轴(图4中沿铅垂方向延伸的轴)表示时间，纵轴(图4中沿水平方向延伸的轴)表示作业者A的基准动作信息的值，而表示基准动作信息的时间变化。本示例中，基准动作信息为将作业者A的双手的速度的大小相加的值。基准动作信息例如可为作业者A反复进行特定动作时获取的多个动作信息中代表性的动作信息。
对基准动作信息赋予有多个分割信息。本示例中，对基准动作信息赋予有第一分割信息D1、第二分割信息D2及第三分割信息D3。
基准时序信息为成为时序信息的基准的数据，分割信息为表示分割点的位置(即时刻)的数据。分割信息例如可作为元数据而包含于基准时序信息，也能以不成为基准时序信息的一部分的形态而关联于基准时序信息。
第三图表G3表示通过动作分析装置10使用动态时间规整法算出的、使动作信息与基准动作信息对应的规整路径(warping path)。通过第三图表G3所示的规整路径，基准动作信息的点与动作信息的点对应。此处，对应有时成为一对一，也有时成为一对多或成为多对一。
关于基准动作信息中被赋予有第一分割信息D1的点，使用第三图表G3所示的规整路径而使其与动作信息的一点对应。同样地，关于基准动作信息中被赋予有第二分割信息D2的点，使用第三图表G3所示的规整路径而使其与动作信息的另一点对应。而且，关于基准动作信息中被赋予有第三分割信息D3的点，使用第三图表G3所示的规整路径而使其与动作信息的另一点对应。
图5为表示由本实施方式的动作分析装置10执行的动作时间的测量的一例的图。此图中，图示通过图4所示的对应而进行了第一分割信息D1、第二分割信息D2及第三分割信息D3的对应的动作信息。
动作分析装置10基于动作信息的、进行了第一分割信息D1、第二分割信息D2及第三分割信息D3的对应的点的时间间隔，测量多个分割动作的动作时间。本示例的情况下，测量第一分割信息D1对应的点到第二分割信息D2对应的点的第一动作时间、及第二分割信息D2对应的点到第三分割信息D3对应的点的第二动作时间。
如此，根据本实施方式的动作分析装置10，即便在时序信息与基准时序信息的长度或相位不同的情况下，也可使时序信息与基准时序信息适当对应，可更准确地进行多个分割动作各自的动作时间的测量。
图6为由本实施方式的动作分析系统100执行的动作时间测量处理的第一例的流程图。首先，动作分析系统100拍摄作业者A进行动作时的视频(S10)。
随后，动作分析装置10基于视频，算出包含将作业者A的双手的速度的大小相加的值的、时序信息(S11)。接着，动作分析装置10搜索同一作业者的基准时序信息(S12)。另外，在未存储有同一作业者的基准动作信息的情况下，可搜索与体格类似的作业者有关的基准时序信息。
动作分析装置10通过动态时间规整法使基准时序信息与时序信息对应(S13)。接着，动作分析装置10基于与被赋予有分割信息的基准时序信息对应的时序信息，测量多个动作的动作时间(S14)。通过以上步骤，动作时间测量处理的第一例结束。
图7为由本实施方式的动作分析系统100执行的动作时间测量处理的第二例的流程图。首先，动作分析系统100拍摄作业者A进行动作时的视频(S20)。
随后，动作分析装置10基于视频，算出包含作业者A的双手的X坐标、Y坐标的时序信息(S21)。接着，动作分析装置10搜索同一作业者的基准时序信息(S22)。另外，在未存储有同一作业者的基准动作信息的情况下，可搜索与体格类似的作业者有关的基准时序信息。
动作分析装置10通过动态时间规整法，针对双手的X坐标、Y坐标，分别使基准时序信息与时序信息对应(S23)。接着，动作分析装置10基于与被赋予有分割信息的基准时序信息对应的时序信息，算出时间(S24)，将针对双手的X坐标、Y坐标所算出的时间平均，测量动作时间(S25)。通过以上步骤，动作时间测量处理的第二例结束。
本发明的实施方式也可如以下的附注那样记载。但是，本发明的实施方式不限定于以下的附注所记载的形态。而且，本发明的实施方式可为将附注间的记载替换或组合的形态。
[附注1]
一种动作分析装置10，包括：
获取部11，获取表示作业者进行的动作的时序信息；
对应部14，使基准时序信息以保持时间顺序的方式与所述时序信息对应，所述基准时序信息被赋予有表示所述动作的分割点的一个或多个分割信息；
以及测量部15，基于与被赋予有所述一个或多个分割信息的所述基准时序信息对应的所述时序信息，测量将所述动作在所述分割点分割所得的多个分割动作各自的动作时间。
[附注2]
根据附注1所记载的动作分析装置10，其中，
所述获取部11获取所述作业者进行所述动作时记录的、表示所述作业者的多个部位的动作的多个时序信息，
所述对应部14针对所述多个部位，分别使所述基准时序信息以保持时间顺序的方式与所述时序信息对应。
[附注3]
根据附注2所记载的动作分析装置10，其中，
所述测量部15有关所述多个部位将基于所述时序信息而算出的所述动作时间平均，测量所述动作时间，所述时序信息与被赋予有所述一个或多个分割信息的所述基准时序信息对应。
[附注4]
根据附注2或3所记载的动作分析装置10，其中，
所述获取部11获取表示所述作业者的左右的部位的动作的、所述多个时序信息。
[附注5]
根据附注4所记载的动作分析装置10，其中，
所述左右的部位包含所述作业者的双手。
[附注6]
根据附注1至5中任一项所记载的动作分析装置10，其中，
所述时序信息包含将所述作业者的多个部位的速度或加速度的大小相加的值。
[附注7]
根据附注1至6中任一项所记载的动作分析装置10，其中，
所述基准时序信息是针对所述作业者的每个类型而准备，
所述对应部14使与获取了所述时序信息的作业者的类型为相同类型的作业者有关的、所述基准时序信息，以保持时间顺序的方式与所述时序信息对应。
[附注8]
根据附注1至7中任一项所记载的动作分析装置10，其中，
所述对应部14通过动态时间规整法，使所述基准时序信息以保持时间顺序的方式与所述时序信息对应。
[附注9]
一种动作分析方法，包括：
获取表示作业者进行的动作的时序信息；
使基准时序信息以保持时间顺序的方式与所述时序信息对应，所述基准时序信息被赋予有表示所述动作的分割点的一个或多个分割信息；以及
基于与被赋予有所述一个或多个分割信息的所述基准时序信息对应的所述时序信息，测量将所述动作在所述分割点分割所得的多个分割动作各自的动作时间。
[附注10]
一种动作分析程序，使动作分析装置10所包括的运算部作为下述部分发挥功能：
获取部11，获取表示作业者进行的动作的时序信息；
对应部14，使基准时序信息以保持时间顺序的方式与所述时序信息对应，所述基准时序信息被赋予有表示所述动作的分割点的一个或多个分割信息；以及
测量部15，基于与被赋予有所述一个或多个分割信息的所述基准时序信息对应的所述时序信息，测量将所述动作在所述分割点分割所得的多个分割动作各自的动作时间。
[附注11]
一种动作分析系统100，包括：
摄影部，拍摄作业者进行动作的视频；
解析部，基于所述视频而输出表示所述动作的时序信息；
对应部14，使基准时序信息以保持时间顺序的方式与所述时序信息对应，所述基准时序信息被赋予有表示所述动作的分割点的一个或多个分割信息；以及
测量部15，基于与被赋予有所述一个或多个分割信息的所述基准时序信息对应的所述时序信息，测量将所述动作在所述分割点分割所得的多个分割动作各自的动作时间。

Claims (10)

1.一种动作分析装置，包括：
获取部，获取表示作业者进行的动作的时序信息；
对应部，使基准时序信息以保持时间顺序的方式与所述时序信息对应，所述基准时序信息被赋予有表示所述动作的分割点的一个或多个分割信息；以及
测量部，基于与被赋予有所述一个或多个分割信息的所述基准时序信息对应的所述时序信息，测量将所述动作在所述分割点分割所得的多个分割动作各自的动作时间。
2.根据权利要求1所述的动作分析装置，其中，
所述获取部获取所述作业者进行所述动作时记录的、表示所述作业者的多个部位的动作的多个时序信息，
所述对应部针对所述多个部位，分别使所述基准时序信息以保持时间顺序的方式与所述时序信息对应。
3.根据权利要求2所述的动作分析装置，其中，
所述测量部有关所述多个部位将基于所述时序信息所算出的所述动作时间平均，测量所述动作时间，所述时序信息与被赋予有所述一个或多个分割信息的所述基准时序信息对应。
4.根据权利要求2或3所述的动作分析装置，其中，
所述获取部获取表示所述作业者的左右的部位的动作的、所述多个时序信息。
5.根据权利要求1至3中任一项所述的动作分析装置，其中，
所述时序信息包含将所述作业者的多个部位的速度或加速度的大小相加的值。
6.根据权利要求1至3中任一项所述的动作分析装置，其中，
所述基准时序信息是针对所述作业者的每个类型而准备，
所述对应部使与获取了所述时序信息的作业者的类型为相同类型的作业者有关的、所述基准时序信息，以保持时间顺序的方式与所述时序信息对应。
7.根据权利要求1至3中任一项所述的动作分析装置，其中，
所述对应部通过动态时间规整法，使所述基准时序信息以保持时间顺序的方式与所述时序信息对应。
8.一种动作分析方法，包括：
获取表示作业者进行的动作的时序信息；
使基准时序信息以保持时间顺序的方式与所述时序信息对应，所述基准时序信息被赋予有表示所述动作的分割点的一个或多个分割信息；以及
基于与被赋予有所述一个或多个分割信息的所述基准时序信息对应的所述时序信息，测量将所述动作在所述分割点分割所得的多个分割动作各自的动作时间。
9.一种存储介质，包括动作分析程序，使动作分析装置所包括的运算部作为下述部分发挥功能：
获取部，获取表示作业者进行的动作的时序信息；
对应部，使基准时序信息以保持时间顺序的方式与所述时序信息对应，所述基准时序信息被赋予有表示所述动作的分割点的一个或多个分割信息；以及
测量部，基于与被赋予有所述一个或多个分割信息的所述基准时序信息对应的所述时序信息，测量将所述动作在所述分割点分割所得的多个分割动作各自的动作时间。
10.一种动作分析系统，包括：
摄影部，拍摄作业者进行动作的视频；
解析部，基于所述视频而输出表示所述动作的时序信息；
对应部，使基准时序信息以保持时间顺序的方式与所述时序信息对应，所述基准时序信息被赋予有表示所述动作的分割点的一个或多个分割信息；以及
测量部，基于与被赋予有所述一个或多个分割信息的所述基准时序信息对应的所述时序信息，测量将所述动作在所述分割点分割所得的多个分割动作各自的动作时间。
CN201980052728.XA 2019-01-23 2019-03-06 动作分析装置、动作分析方法、存储介质及动作分析系统 Active CN112602100B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-009264 2019-01-23
JP2019009264A JP7061272B2 (ja) 2019-01-23 2019-01-23 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
PCT/JP2019/008946 WO2020152879A1 (ja) 2019-01-23 2019-03-06 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Publications (2)

Publication Number Publication Date
CN112602100A CN112602100A (zh) 2021-04-02
CN112602100B true CN112602100B (zh) 2023-08-01

Family

ID=71736279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052728.XA Active CN112602100B (zh) 2019-01-23 2019-03-06 动作分析装置、动作分析方法、存储介质及动作分析系统

Country Status (4)

Country Link
EP (1) EP3916655A4 (zh)
JP (1) JP7061272B2 (zh)
CN (1) CN112602100B (zh)
WO (1) WO2020152879A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7169665B2 (ja) * 2019-06-13 2022-11-11 株式会社大一商会 遊技機
CN113221678A (zh) * 2021-04-26 2021-08-06 深圳市商汤科技有限公司 一种标准工时确定方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325582A (ja) * 2000-05-17 2001-11-22 Chugoku Electric Power Co Inc:The 時系列データ学習・予測装置
JP2007094494A (ja) * 2005-09-27 2007-04-12 Ricoh Co Ltd 生産計画支援システム、生産計画支援方法及びプログラム
JP2011034234A (ja) * 2009-07-30 2011-02-17 Kozo Keikaku Engineering Inc 動作分析装置、動作分析方法及び動作分析プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5525202B2 (zh) 1972-05-30 1980-07-04
DE10104163A1 (de) * 2001-01-30 2002-08-14 Rexroth Indramat Gmbh Steuerungs-und/oder Überwachungsanlage von Maschinen und/oder Anlagen mit Aktionskomponenten unterschiedlicher Aktionsgruppen
JP4264368B2 (ja) * 2004-02-24 2009-05-13 日本ナレッジ株式会社 実技分析システム及びプログラム
JP4752721B2 (ja) * 2006-10-24 2011-08-17 オムロン株式会社 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
JP5680160B1 (ja) * 2013-09-05 2015-03-04 株式会社東芝 サービス分析装置及びその動作方法
JP6451142B2 (ja) * 2014-08-20 2019-01-16 オムロン株式会社 品質管理装置および品質管理装置の制御方法
US10037504B2 (en) * 2015-02-12 2018-07-31 Wipro Limited Methods for determining manufacturing waste to optimize productivity and devices thereof
JP6630065B2 (ja) * 2015-06-05 2020-01-15 アズビル株式会社 スケジュール管理システムおよびスケジュール管理方法
WO2017064766A1 (ja) * 2015-10-14 2017-04-20 株式会社日立製作所 管理装置、管理方法、および、管理プログラム
JP6849312B2 (ja) * 2016-03-02 2021-03-24 株式会社日立製作所 作業動作認識システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325582A (ja) * 2000-05-17 2001-11-22 Chugoku Electric Power Co Inc:The 時系列データ学習・予測装置
JP2007094494A (ja) * 2005-09-27 2007-04-12 Ricoh Co Ltd 生産計画支援システム、生産計画支援方法及びプログラム
JP2011034234A (ja) * 2009-07-30 2011-02-17 Kozo Keikaku Engineering Inc 動作分析装置、動作分析方法及び動作分析プログラム

Also Published As

Publication number Publication date
EP3916655A1 (en) 2021-12-01
EP3916655A4 (en) 2022-11-30
WO2020152879A1 (ja) 2020-07-30
CN112602100A (zh) 2021-04-02
JP7061272B2 (ja) 2022-04-28
JP2020119198A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
CN104933734B (zh) 一种基于多kinect的人体姿态数据融合方法
WO2022002133A1 (zh) 手势追踪方法及装置
US11403882B2 (en) Scoring metric for physical activity performance and tracking
WO2016084285A1 (ja) 歩行解析システムおよび歩行解析プログラム
CN112602100B (zh) 动作分析装置、动作分析方法、存储介质及动作分析系统
JP6951685B2 (ja) 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム
CN112528957A (zh) 人体运动基础信息检测方法、系统及电子设备
KR20120134488A (ko) 제스처 인식 기반 사용자 상호 작용 방법 및 이를 위한 장치
CN112083801A (zh) 基于vr虚拟办公的手势识别系统及方法
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置
EP3940598A1 (en) Motion analysis device, motion analysis method, and motion analysis program
Hoang et al. Towards a comprehensive solution for a vision-based digitized neurological examination
US10964005B2 (en) Operation analysis apparatus, operation analysis method, operation analysis program, and operation analysis system
CN112149531A (zh) 一种行为识别中人体骨骼数据的建模方法
WO2015167081A1 (ko) 신체 부분 검출 방법 및 장치
WO2022137450A1 (ja) 情報処理装置、情報処理方法およびプログラム
Guidolin et al. Hi-ROS: Open-source multi-camera sensor fusion for real-time people tracking
JP2022006708A (ja) 動作認識システム、方法及びプログラム
JP2021077230A (ja) 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
CN113836991B (zh) 动作识别系统、动作识别方法及存储介质
JP2020008981A (ja) 支援装置及びプログラム
WO2021153207A1 (ja) 情報処理装置、プログラム及び方法
WO2020152878A1 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
WO2022209286A1 (ja) 判定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant