CN115485737A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN115485737A
CN115485737A CN202180031936.9A CN202180031936A CN115485737A CN 115485737 A CN115485737 A CN 115485737A CN 202180031936 A CN202180031936 A CN 202180031936A CN 115485737 A CN115485737 A CN 115485737A
Authority
CN
China
Prior art keywords
information
virtual object
digital twin
person
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180031936.9A
Other languages
English (en)
Inventor
高木悟郎
马修·福里斯特
江下就介
中岛贤造
野野山阳
赤川聪
宫泽克次
伊藤圭祐
渡边祥次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115485737A publication Critical patent/CN115485737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10—Athletes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)

Abstract

本发明涉及一种信息处理装置、信息处理方法和程序，使得在学习身体运动时提供更有效的学习内容成为可能。调整部基于包括在第一虚拟对象中的关于第一人员的特征点信息，调整反映第二人员的身体运动的、要被叠加在第一虚拟对象上的第二虚拟对象，以生成调整后的第二虚拟对象，第一虚拟对象反映第一人员的身体运动。例如，本技术可以应用于诸如智能电话的信息处理装置。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序，并且更具体地，涉及能够在学习身体的运动中提供更有效的学习内容的信息处理装置、信息处理方法和程序。
背景技术
以往，存在以下技术：并排显示拍摄了进行健美操、瑜伽、舞蹈等锻炼的教练的状态的视频图像和拍摄了进行锻炼的用户的状态的视频图像，使得用户可以容易地学习教练的锻炼。
此外，近年来，运动员锻炼佩戴能够通过网络从外部接收各种类型的信息的装置。例如，在专利文献1中公开了如下技术：在一名运动员进行运动的场所，将过去进行运动的其他运动员的虚拟对象叠加并显示在展示周围的显示单元上。
引用列表
专利文献
专利文献1：日本专利申请公开号2013-167941
发明内容
本发明要解决的问题
顺便提及，如果能够以叠加的方式显示教练正在锻炼的视频和用户正在锻炼的视频，则用户能够更准确地学习教练的运动。
鉴于这种情况做出本公开，并且本公开的目的是在学习身体的运动时提供更有效的学习内容。
解决问题的方法
根据本公开的信息处理装置包括调整单元，该调整单元被配置为通过基于包括在反映第一人员的身体运动的第一虚拟对象中的第一人员的特征点信息调整要被叠加在第一虚拟对象上的反映第二人员的身体运动的第二虚拟对象来生成调整的第二虚拟对象。
根据本公开的信息处理方法是一种信息处理方法，包括：通过信息处理装置，通过基于包括在反映第一人员的身体运动的第一虚拟对象中的第一人员的特征点信息调整要被叠加在第一虚拟对象上的反映第二人员的身体运动的第二虚拟对象，来生成所调整的第二虚拟对象。
根据本公开的程序是使得计算机执行以下处理的程序：通过基于包括在反映第一人员的身体运动的第一虚拟对象中的第一人员的特征点信息调整要被叠加在第一虚拟对象上的反映第二人员的身体运动的第二虚拟对象，来生成所调整的第二虚拟对象。
根据本公开，通过基于包括在反映第一人员的身体运动的第一虚拟对象中的第一人员的特征点信息调整要被叠加在第一虚拟对象上的反映第二人员的身体运动的第二虚拟对象来生成所调整的第二虚拟对象。
附图说明
图1是示出应用了根据本公开的技术的信息处理系统的概要的示例的示图。
图2是示出叠加视频的示例的示图。
图3是示出叠加视频的示例的示图。
图4是用于描述数字孪生适用的使用案例的示图。
图5是示出信息处理系统的功能配置示例的框图。
图6是用于说明数字孪生生成单元的细节的示图。
图7是用于说明指示信息生成单元的细节的示图。
图8是用于说明数字孪生调整单元的细节的示图。
图9是用于说明叠加视频生成单元的细节的示图。
图10是用于说明评估单元的细节的示图。
图11是用于说明效果生成单元的细节的示图。
图12是用于说明教师侧的装置的操作的流程图。
图13是用于说明学生侧的装置的操作的流程图。
图14是用于说明教师侧的装置的操作的流程图。
图15是示出5G网络切片的应用示例的示图。
图16是示出5G网络切片的应用示例的示图。
图17是示出5G网络切片的应用示例的示图。
图18是示出5G网络切片的应用示例的示图。
图19为示出5G网络切片的应用示例的示图；
图20是示出5G网络切片的应用示例的示图。
图21为示出5G网络切片的应用示例的示图；
图22是示出信息处理系统的另一功能配置示例的框图。
图23是用于说明存储装置的细节的示图。
图24是示出5G网络切片的应用示例的示图。
图25是示出5G网络切片的应用示例的示图。
图26是示出5G网络切片的应用示例的示图。
图27是示出5G网络切片的应用示例的示图。
图28是示出5G网络切片的应用示例的示图。
图29是示出数字孪生的显示示例的示图。
图30示出了字符信息的呈现示例。
图31示出了字符信息的呈现示例。
图32示出了字符信息的呈现示例。
图33是示出计算机的配置示例的框图。
具体实施方式
现在描述用于执行本公开的实施例(在下文中称为实施例)。此外，按照以下顺序给出描述。
1.根据本发明的技术的概述和使用案例
2.信息处理系统的配置和操作
3.5G网络切片的应用示例
4.变形例
5.计算机的配置示例
<1.根据本发明的技术的概述和使用案例>
(信息处理系统的概要)
图1为示出应用了根据本公开的技术的信息处理系统的概要的示例的示图。
在图1的信息处理系统中，将作为反映工作室SU中的参考人员的教练TE的身体运动(诸如有氧健身、瑜伽和舞蹈)的虚拟对象的参考数字孪生叠加在作为反映家庭HO中用户ST的身体运动的虚拟对象的用户数字孪生上，并将参考数字孪生显示在家庭HO中的装置DE上。
通常，数字孪生是指真实空间中的对象或环境，指示虚拟空间中实时构造和表示的对象或环境的状态的信息等，或其技术。本实施例中的数字孪生是指其中真实空间中的人员的骨架、身体形状和运动被实时反映在虚拟空间上的虚拟对象。具体地，数字孪生是在虚拟空间上显示的人员的三维信息的三维建模计算机图形(3DCG)。基于通过安装在工作室SU或家庭HO中的一个或多个传感器感测教练TE和用户ST而获取的传感器数据生成数字孪生。数字孪生可以用对应人员的骨架、身体形状和比例照原样绘制，或者可以用为了保护人员的隐私的目的而调整的骨架、身体形状和比例绘制。
在下文中，视情况而定，教练TE的参考数字孪生被称为教师数字孪生，并且用户ST的用户数字孪生被称为学生数字孪生。
用户ST能够通过在观看叠加在学生数字孪生上的教师数字孪生的运动的同时移动自己的身体来更准确地学习教练TE的运动。
此外，教练TE可以通过在工作室SU中观看叠加在教师数字孪生上的学生数字孪生的运动向用户ST给出关于用户ST的运动的指示。
工作室SU和家庭HO可以通过有线通信或无线通信直接交换(传输和接收)信息，或者可以经由移动边缘计算(MEC)服务器10或云服务器20交换(传输和接收)信息。在通过无线通信执行信息的传输和接收的情况下，诸如长期演进(LTE)、Wi-Fi(注册商标)、4G、或5G的通信系统可应用于无线通信的一部分或全部。
(叠加视频的示例)
将参考图2和图3描述叠加视频的示例，其中，在家庭HO中在装置DE上显示的教师数字孪生被叠加到学生数字孪生上。
在图2的屏幕#1的状态下，在直立的学生数字孪生30ST上，叠加也是直立的格状教师数字孪生30TE。在该图中，在屏幕#1的右上方显示按钮41，该按钮是用于开始工作室SU中的教练TE的课程的图形用户界面(GUI)。
如在屏幕#2的状态中所示，如果用户ST举起一只手并且确定对应学生数字孪生30ST的手与按钮41的区域重叠，则开始教练TE的课程。这里，执行基于虚拟空间中的按钮41的坐标和学生数字孪生30ST的手的坐标之间的位置关系的确定处理。因此，即使如在屏幕#2中，学生数字孪生30ST的手在前视图中与按钮41的区域重叠，在学生数字孪生30ST的手在深度方向上偏离按钮41的区域的情况下，也不开始课程。
在图3的屏幕#3的状态下，显示教师数字孪生30TE，其中，教练TE从直立状态弯曲一个膝盖并单腿站立以弯曲相应的膝盖并单腿站立。此外，指示将在锻炼中移动的身体部位的关注点(拟合点)被叠加并显示在教师数字孪生30TE和学生数字孪生30ST上。具体地，显示指示在教师数字孪生30TE的单腿站立的状态下的腰部、膝盖和脚跟的位置的拟合点和指示学生数字孪生30ST的直立状态下(单腿站立之前)的腰部、膝盖和脚跟的位置的拟合点。
以这种方式，可通过显示教师数字孪生30TE和学生数字孪生30ST的拟合点来引导用户ST的运动。应注意，除了拟合点之外，帮助和引导用户ST的运动的线和图可被叠加并显示在教师数字孪生30TE和学生数字孪生30ST上。
在屏幕#4的状态下，用户ST根据教师数字孪生30TE的运动单腿站立，使得学生数字孪生30ST的拟合点与教师数字孪生30TE的拟合点匹配。此时，在学生数字孪生30ST周围(在背景中)显示推荐保持姿势的效果视频43。此外，指示用户ST(学生数字孪生30ST)保持姿势的时间的指示符45被显示在屏幕#4的左上部。
在屏幕#3和#4上，显示前视图中的叠加视频(学生数字孪生30ST和教师数字孪生30TE)，但是也可显示不同视点(角度)的叠加视频。由此，用户ST能够更详细地确认与教练TE的运动的偏差。
此外，效果视频可被叠加在学生数字孪生30ST与教师数字孪生30TE之间的运动存在差异的部分(部分)上，从而该部分被加亮。此外，相反，效果视频可被叠加在学生数字孪生30ST与教师数字孪生30TE之间的运动匹配的部分(部分)上，从而该部分被加亮。
当重复如屏幕#3和#4所示的锻炼并且课程结束时，如屏幕#5的状态中所示，显示示出课程结果的弹出窗口47。在弹出窗口47中，将运动的匹配率示出为学生数字孪生30ST相对于教师数字孪生30TE的运动的评估结果。锻炼的评估结果不限于匹配率，并且可对根据锻炼的水平等的实现程度进行评分和指示。
这样，用户ST能够学习教练TE的锻炼，能够一边观看叠加视频一边识别用户自身的锻炼达成度。
(适用的使用案例)
此处，将参考图4描述如上所述的数字孪生可以适用的使用案例。图4示出五种使用案例UC1至UC5。
在使用案例UC1中，实时反映教师身体运动的数字孪生被应用为教师数字孪生。此外，将实时反映学生的身体运动的数字孪生应用为学生数字孪生。
例如，使用案例UC1可应用于作为教师的教练从工作室向作为家中的用户的学生(实时工作室课程)实时处理诸如健美操、瑜伽和舞蹈的课程的情况。注意，在该使用案例中，教师不仅可处理来自工作室的实时课程，还可处理来自家庭或任何其他空间的实时课程，这同样适用于随后的使用案例。使用案例UC1可以由包括教师侧和学生侧的装置和MEC服务器10的系统配置实现。
在使用案例UC2中，应用其中实时反映教师的身体运动的数字孪生或者其中反映提前捕获的视频内容(重新编码的内容)中反映教师的身体运动的数字孪生作为教师数字孪生。此外，将实时反映学生的身体运动的数字孪生应用为学生数字孪生。
类似于使用案例UC1，使用案例UC2可应用于诸如健美操、瑜伽和舞蹈的实时课程。然而，在使用案例UC2的实时课程中，教师可通过在教师实时执行的情况与教师示出视频内容(基于视频内容呈现数字孪生)的情况之间切换来继续。此外，使用案例UC2还可以应用于例如其中专业足球运动员教初级运动员如何射门(踢)或运球的足球学校。可以通过包括在教师侧和学生侧的装置、MEC服务器10和能够处理视频内容的云服务器20的系统配置来实现使用案例UC2。
在使用案例UC3中，实时反映教师身体运动的数字孪生被应用为教师数字孪生。此外，作为学生数字孪生，应用反映学生的身体运动的数字孪生出现在预先捕获的视频内容中。
类似于使用案例UC1，使用案例UC3也可应用于诸如健美操、瑜伽和舞蹈的实时课程。然而，在使用案例UC3的实时课程中，教师基于学生的视频内容确认学生数字孪生的运动，使得可实时添加诸如针对学生的视频内容的指示和建议的指示信息。使用案例UC3还可以应用于例如足球学校，其中专业足球运动员教导初级运动员如何射门或运球。使用案例UC3可以由包括教师侧和学生侧的装置、MEC服务器10和能够处理视频内容的云服务器20的系统配置来实现。
在使用案例UC4中，应用其中实时反映教师的身体运动的数字孪生或其中反映在预先捕获的视频内容中反映教师的身体运动的数字孪生作为教师数字孪生。此外，作为学生数字孪生，应用反映学生的身体运动的数字孪生出现在预先捕获的视频内容中。
类似于使用案例UC1，使用案例UC4还可应用于诸如健美操、瑜伽和舞蹈的实时课程。然而，在使用案例UC3的实时课中，教师可通过切换添加诸如针对学生的视频内容的指示或建议的指示信息的情况和实时显示视频内容的情况来进行。使用案例UC4还可以应用于例如足球学校，其中专业足球运动员教初级运动员如何射门或运球。使用案例UC4可以由包括教师侧和学生侧的装置、MEC服务器10和能够处理视频内容的云服务器20的系统配置来实现。
在使用案例UC5中，作为教师数字孪生和学生数字孪生两者，应用反映学生的身体运动的数字孪生出现在提前捕获的视频内容中。
使用案例UC5可以应用于例如高尔夫的自我调节(确认动作，如由自己进行的挥杆)。具体地，学生可通过将基于当前视频内容的数字孪生叠加在基于自己的过去视频内容的数字孪生上作为模型(将基于过去视频内容的数字孪生视为教师数字孪生)来自己确认动作。使用案例UC5也可以应用于例如专业足球运动员的射门和运球的自我调节。使用案例UC5可以通过包括在学生侧的装置、MEC服务器10和能够处理视频内容的云服务器20的系统配置来实现。
<2.信息处理系统的配置和操作>
在下文中，将描述应用根据本公开的技术的信息处理系统的具体配置和操作。
(信息处理系统的配置示例)
图5是示出应用根据本公开的技术的信息处理系统的配置示例的框图。
图5中的信息处理系统包括在教师侧的装置100和在学生侧的装置200。在图5的示例中，教师侧的装置100和学生侧的装置200被配置为彼此直接通信，但是也可经由MEC服务器10或云服务器20通信。
教师侧的装置100安装在教师(教练等)所在的诸如工作室或房子的空间中。
另一方面，在学生侧的装置200被安装在学生(用户)所在的诸如工作室或房子的空间中。
例如，在教师侧的装置100和学生侧的装置200被安装在诸如工作室的宽广空间中的情况下，它们被配置为相对大的装置(或系统)，诸如具有围绕人员的周边的隔间型壳体的装置或具有其中反映人员的整个身体的全身镜面型显示表面的装置。另一方面，例如，在教师侧的装置100和学生侧的装置200被安装在诸如家庭的狭窄空间中的情况下，它们被配置为诸如包括可连接到智能电话的各种传感器或显示器的智能电话的小型装置(或系统)。注意，教师侧的装置100和学生侧的装置200可被配置为相同规模的装置(或系统)。
教师侧的装置100包括显示单元110、操作单元120、存储单元130、通信单元140、传感器单元150和控制单元160。
显示单元110包括液晶显示器、有机电致发光(EL)显示器等，并且基于控制单元160的控制显示数字孪生和各种类型的信息。
操作单元120包括与构成显示单元110的显示器集成的触摸面板、设置在装置100的壳体上的物理按钮、麦克风等。操作单元120接收教师的操作，并将与操作相应的操作信息提供给控制单元160。
存储单元130存储用于操作装置100所需的程序、由教师预先设置并期望在课程中使用的各种数据等。
通信单元140包括网络接口等，并且基于控制单元160的控制与学生侧的装置200通信。
传感器单元150包括一个或多个传感器，并将通过感测教师的身体运动获取的各种传感器数据提供给控制单元160。
例如，传感器单元150包括一个或多个飞行时间(ToF)传感器和RGB传感器。控制单元160基于由ToF传感器获取的ToF数据和由RGB传感器获取的RGB数据(视频数据)生成教师数字孪生。在传感器单元150包括多个ToF传感器和RGB传感器的情况下，控制单元160还可使用获取的传感器数据基于通过体积捕获生成的体积捕获数据来生成教师数字孪生。传感器单元150可以包括能够获取除ToF数据和RGB数据之外的传感器数据的各种传感器。
控制单元160基于存储在存储单元130中的程序、来自操作单元120的操作信息和经由通信单元140获取的信息执行各种处理。
控制单元160包括数字孪生生成单元161和指示信息生成单元162。通过执行存储在存储单元130中的程序来实现包括在控制单元160中的每个功能单元。
同时，在学生侧的装置200包括显示单元210、操作单元220、存储单元230、通信单元240、传感器单元250和控制单元260。
显示单元210包括液晶显示器、有机EL显示器等，并且基于控制单元260的控制显示数字孪生和各种类型的信息。
操作单元220包括与构成显示单元210的显示器集成的触摸面板、设置在装置200的壳体上的物理按钮、麦克风等。操作单元220接收学生的操作，并将与操作相应的操作信息提供给控制单元260。
存储单元230存储操作装置200所需的程序、由学生预先准备的各种数据等。
通信单元240包括网络接口等，并且基于控制单元260的控制在教师侧与装置100通信。
传感器单元250包括多个传感器，并将通过感测学生的身体运动而获得的各种传感器数据提供给控制单元260。
具体地，传感器单元250包括一个或多个ToF传感器和RGB传感器。在学生侧的装置200的传感器单元250可与在教师侧的装置100中包括的传感器类似地配置，或者可从具有与在教师侧的装置100中包括的传感器不同的数量或类型的传感器校准。
控制单元260基于存储在存储单元230中的程序、来自操作单元220的操作信息和经由通信单元240获取的信息执行各种处理。
控制单元260包括数字孪生生成单元261、数字孪生调整单元262、叠加视频生成单元263、评估单元264、效果生成单元265和显示控制单元266。包括在控制单元260中的每个功能单元通过执行存储在存储单元230中的程序来实现。
如图5所示，包括在教师侧的装置100的控制单元160中的每个功能单元和包括在学生侧的装置200的控制单元260中的每个功能单元通过如由图中的箭头指示的彼此发送和接收信息来执行每个处理。在图5中，经由教师侧的装置100的通信单元140和学生侧的装置200的通信单元240实际发送和接收与虚线箭头对应的信息。
以下，将描述包括在教师侧的装置100(控制单元160)中的每个功能单元和包括在学生侧的装置200(控制单元260)中的每个功能单元的细节。
(数字孪生生成单元的细节)
图6是用于说明教师侧的装置100的数字孪生生成单元161和学生侧的装置200的数字孪生生成单元261的细节的简图。
需注意，以类似方式配置教师侧的装置100的数字孪生生成单元161和学生侧的装置200的数字孪生生成单元261，并因此将描述为如图6所示的数字孪生生成单元N61。此外，将在教师侧的装置100的传感器单元150和在学生侧的装置200的传感器单元250被类似地描述为传感器单元N50。
数字孪生生成单元N61基于人员的身体运动生成执行与人员的身体运动相似的身体运动的虚拟对象，即，反映人员的身体运动的数字孪生。数字孪生生成单元N61包括特征点提取单元N71、背景处理单元N72和3D模型生成单元N73。
基于来自传感器单元N50的传感器数据，特征点提取单元N71提取指示人员(教师或学生)的骨架和关节点的骨架信息、指示人员的三维轮廓的三维轮廓信息以及指示人员的身体的运动的加速度信息作为人员的特征点信息。特征点信息被设置为随着时间连续变化的时间轴上的数据。
例如，通过使用机器学习等执行骨架估计来提取骨架信息。骨架估计可以仅使用ToF数据和RGB数据中的一个来执行，或者可以使用ToF数据和RGB数据两者来执行。
三维轮廓信息例如基于包括ToF数据的深度图像提取。
加速度信息是基于例如骨架的位移和骨架信息所指示的关节点来计算的。在人员佩戴加速度传感器作为身体的每个部位上的传感器单元N50之一的情况下，可以基于来自加速度传感器的传感器数据来获取加速度信息。加速度信息还包括指示在左侧和右侧的身体部位(手、手臂、腿等)中的哪一个正在运动的左右信息。
将这些特征点信息与RGB数据(视频数据)一起提供给背景处理单元N72。
背景处理单元N72根据来自特征点提取单元N71的特征点信息和视频数据去除视频数据中的人员的背景。将去除了背景的视频数据和特征点信息一起提供给3D模型生成单元N73。
3D模型生成单元N73基于从中去除了背景的视频数据以及来自背景处理单元N72的特征点信息来生成人员的数字孪生。
首先，3D模型生成单元N73基于三维轮廓信息对目标人员进行建模，以创建三维模型(3D模型)。接着，3D模型生成单元N73将骨架和由骨架信息指示的关节点与创建的3D模型相关联。结果，人员的身体运动可被反映在3D模型中。然后，3D模型生成单元N73将与人员体皮肤相对应的皮肤数据与3D模型进行合成。
作为皮肤数据，为了人员的身体运动的每个目的，准备具有不同视觉纹理的皮肤数据。身体运动的目的包括例如健美操、瑜伽、舞蹈、高尔夫、足球等，并且由教师或学生预先选择。此外，身体运动的目的不限于上述运动，并且可包括艺术创作活动，诸如演奏乐器(诸如吉他或钢琴)以及在陶艺中操作陶轮。
然后，3D模型生成单元N73对3D模型合成与所选择的身体运动的目的相对应的皮肤数据，生成与目的相对应的类型的数字孪生。例如，在选择足球作为身体运动的目的的情况下，通过相对于3D模型合成用于足球的皮肤数据来生成用于足球的数字孪生。此时，对于所生成的数字孪生，指示身体运动(例如，足球)目的的元信息可以与传感器数据相关联地存储。
如上所述，数字孪生生成单元N61基于传感器数据提取特征点信息，并基于提取的特征点信息生成数字孪生作为3D模型。基于传感器数据提取的特征点信息被添加到所生成的数字孪生装置并输出到后续阶段。
(指示信息生成单元的细节)
图7是示出教师侧的装置100的指示信息生成单元162的细节的示图。
指示信息生成单元162基于与教师对操作单元120的操作相应的操作信息来生成指示针对学生的指示等的指示信息，并将指示信息提供给在学生侧的装置200的显示控制单元266。
操作信息在这里包括例如用于设置GUI的设置信息(诸如在图2的屏幕#1和#2中示出的按钮41)以及用于设置在图3的屏幕#3中示出的拟合点的设置信息。也就是说，教师可通过操作操作单元120在学生侧设置显示在装置200的显示单元210上的GUI和拟合点。
在这种情况下，指示信息生成单元162基于操作信息(设置信息)生成用于显示如图2所示的GUI或拟合点的显示信息作为指示信息。例如，可以基于存储在存储单元130中的显示数据或者基于经由通信单元140获取的显示数据生成这种显示信息。
此外，指示信息生成单元162可基于来自学生侧的装置200的评估单元264的评估值生成指示信息。例如，评估值表示在图3中的屏幕#5上的弹出窗口47中示出的课程的评估结果(例如，运动的匹配率)，并且自动生成与评估值对应的评论作为指示信息。可以预先为每个评估值准备该评论，并且可以选择与评估值对应的评论。可将作为指示信息生成的评论与作为与操作单元120的操作相应的操作信息的由教师输入的评论集成。注意，存在教师不能仅用诸如运动的匹配率的评估结果输入适当的评论的可能性。因此，指示信息生成单元162可基于来自装置200在学生侧或单学生数字孪生或学生的RGB数据(视频数据)上的叠加视频或效果视频来生成指示信息或接收教师的评论的输入。
在显示控制单元266的控制下，在学生侧的装置200上的显示单元210上显示这些条指示信息。
(数字孪生调整单元的细节)
图8是用于说明在学生侧的装置200的数字孪生调整单元262的细节的简图。
数字孪生调整单元262通过将来自数字孪生生成单元161的教师数字孪生调整为与来自数字孪生生成单元261的学生数字孪生叠加来生成调整的教师数字孪生(调整的参考数字孪生)。生成的调整的教师数字孪生被提供给叠加视频生成单元263和评估单元264。
在这里，基于学生数字孪生调整教师数字孪生，使得教师数字孪生与学生数字孪生匹配，使得作为用户的学生可比较学生的运动和作为教师的教师的运动并容易地复制教师的运动。
具体地，数字孪生调整单元262基于包括在学生数字孪生中的学生的特征点信息改变包括在教师数字孪生中的教师的特征点信息以便接近学生的特征点信息。
例如，通过根据学生数字孪生的骨架信息改变教师数字孪生的骨架信息来调整教师数字孪生的大小(比例)。根据学生数字孪生的左右信息改变教师数字孪生的左右信息，从而调整教师数字孪生的主臂和主腿。根据学生数字孪生的三维轮廓信息改变教师数字孪生的三维轮廓信息，从而调整教师数字孪生的身体形状。
然后，数字孪生调整单元262基于教师的改变的特征点信息创建3D模型，从而生成调整的教师数字孪生，调整的教师数字孪生包括调整的特征点信息作为调整的3D模型。数字孪生调整单元262能够以与图6中的数字孪生生成单元N61类似的方式生成调整的教师数字孪生。
(叠加图像生成单元的详细内容)
图9是用于解释在学生侧的装置200的叠加视频生成单元263的细节的简图。
叠加视频生成单元263生成通过将来自数字孪生生成单元261的学生数字孪生叠加在来自数字孪生调整单元262的调整的教师数字孪生上而获得的叠加视频，并将生成的叠加视频提供给效果生成单元265和显示控制单元266。
具体地，叠加视频生成单元263将调整的教师数字孪生和学生数字孪生映射到虚拟空间上的预定参考位置，并通过在预定参考时间同步它们来生成叠加视频。
在显示控制单元266的控制下，在显示单元210上显示叠加视频。
(评估单元的细节)
图10是用于解释在学生侧的装置200的评估单元264的细节的简图。
评估单元264通过将来自数字孪生生成单元261的学生数字孪生与来自数字孪生调整单元262的调整的教师数字孪生进行比较来计算学生数字孪生的评估值(即，学生的身体运动)。
例如，评估单元264获得在学生数字孪生和调整的教师数字孪生之间的轮廓信息的差(姿势的偏差)作为评估值。此外，评估单元264获得学生数字孪生和调整的教师数字孪生之间的加速度信息的差(运动的偏差)作为评估值。此外，评估单元264获得在学生数字孪生和调整的教师数字孪生之间的拟合点的差值(姿势的偏差)作为评估值。
在以这种方式计算的评估值之中，通过3D模型表示(可视化)差异的3D模型信息被提供给效果生成单元265。此外，在所计算的评估值之中，通过将差值转换成数值或文本而获得的元信息(偏差量、偏差部件等)被提供给显示控制单元266和指示信息生成单元162(教师侧的装置100)。
(效果生成单元的细节)
图11是用于解释在学生侧的装置200的效果生成单元265的细节的简图。
效果生成单元265基于来自评估单元264的评估值(3D模型信息)，生成用于来自叠加视频生成单元263的叠加视频的效果视频。效果视频是例如用于以预定颜色或纹理突出在学生数字孪生和调整的教师数字孪生之间的3D模型中偏离的部分(部分)的视频、在存在偏离的情况下与学生数字孪生的背景组合的预定图形或图案、以及指示学生数字孪生或调整的教师数字孪生的运动的轨迹的线或残像的视频。
效果生成单元265将效果视频映射到虚拟空间内的规定的基准位置，在规定的基准时刻使效果视频同步，在叠加视频上叠加效果视频，提供给显示控制单元266。
在效果视频中，类似于皮肤数据，为人员的身体运动的每个目的准备具有不同视觉纹理的效果视频。也就是说，效果生成单元265生成与选择的身体运动的目的相应的类型的效果视频图像。例如，在选择足球作为身体运动的目的的情况下，生成与足球对应的效果视频的类型，并且在选择健美操作为身体运动的目的的情况下，生成与健美操对应的效果视频的类型。
如上所述，显示控制单元266可以使显示单元210仅显示来自被叠加视频生成单元263的被叠加视频，也可以使显示单元210显示来自效果生成单元265的被叠加了效果视频的被叠加视频。
此外，在显示单元210上显示效果视频的情况下，显示控制单元266也可例如根据用户(学生)的操作将显示单元210上显示的效果视频切换为另一纹理的效果视频等。在这种情况下，为了一个人员体运动的目的，准备具有不同纹理的多种类型的效果视频。
(信息处理系统的操作)
接下来，将描述包括在上述信息处理系统中的教师侧的装置100和学生侧的装置200的操作。
图12是用于说明当教师在实时课堂中执行时在教师侧的装置100的操作的流程图。例如，响应于从学生开始课程的指示执行图12的处理。
在步骤S11，数字孪生生成单元161基于由传感器单元150感测的教师的传感器数据来生成教师数字孪生。
在步骤S12，控制单元160控制通信单元140将由数字孪生生成单元161生成的教师数字孪生发送到学生侧的装置200。
图13是用于说明当教师在实时课堂中执行时在学生侧的装置200的操作的流程图。图13的处理结合图12的处理执行。
在步骤S21中，数字孪生生成单元261基于由传感器单元250感测的学生的传感器数据生成学生数字孪生。
在步骤S22中，数字孪生调整单元262通过基于由数字孪生生成单元261生成的学生数字孪生在学生侧调整来自装置200的教师数字孪生来生成调整的教师数字孪生。
在步骤S23中，叠加视频生成单元263生成将学生数字孪生叠加在调整的教师数字孪生上的叠加视频。
在步骤S24中，评估单元264通过使用调整的教师数字孪生评估学生数字孪生来计算学生数字孪生的评估值。
在步骤S25中，效果生成单元265基于由评估单元264计算的评估值中的3D模型信息生成用于叠加图像的效果视频。
在步骤S26中，显示控制单元266使显示单元210显示由叠加图像生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。
同时，由评估单元264计算的评估值中的元信息也被发送到教师侧的装置100。
图14是用于解释基于来自学生侧的装置200的评估值在教师侧的装置100的操作的流程图。图14的处理与图13的处理并行执行。
在步骤S31中，指示信息生成单元162基于来自学生侧的装置200的评估值(元信息)生成指示信息。具体地讲，指示信息生成单元162生成指示学生的运动相对于教师的运动的偏离量或偏离部分的显示信息作为指示信息。显示信息可包括根据评估值自动生成的评论(元信息)或由教师输入的评论。
在步骤S32中，控制单元160控制通信单元140将由指示信息生成单元162生成的指示信息发送到学生侧的装置200。
在学生侧的装置200中，通过显示控制单元266将来自教师侧的装置100的指示信息与叠加的视频和效果视频一起显示在显示单元210上。
根据以上处理，由于根据学生数字孪生调整教师数字孪生，所以学生可通过在观看叠加视频的同时将自己的运动与教师的运动进行比较来容易地复制教师的运动。
此外，因为基于与教师的运动的差异的效果视频被叠加并显示在叠加的视频上，所以学生可容易地识别自己的运动与教师的运动之间的偏差。
此外，由于指示学生的运动的偏离量和偏离部分的指示信息和与偏离量和偏离部分对应的评论与效果视频一起被显示，因此学生可理解自己的运动如何被具体地偏离以及如何运动。
如上所述，可以为学生提供更有效的学习内容以学习身体的运动。
注意，在以上描述中，仅将由评估单元264计算的评估值从学生侧的装置200发送到教师侧的装置100。可选择地，可将由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频从学生侧的装置200发送到教师侧的装置100。在这种情况下，在教师侧的装置100中，在控制单元160的控制下，在显示单元110上显示叠加视频和效果视频。
结果，教师可容易地识别教师的运动与学生的运动之间的偏差，并可将更合适的指示或建议作为指示信息(评论)呈现给学生。注意，针对学生的评论不仅可被呈现为字符信息，还可被输出为语音信息。
<3.5G网络切片的应用示例>
如上所述，在应用根据本公开的技术的信息处理系统中，5G可应用于装置之间的通信方法。
5G具有“高速大容量”、“低延迟”以及“多重同时连接”三个特征。这些功能能够通过称为用于虚拟划分(slicing)网络的网络切片的技术来实现。在5G中，可根据数据的类型和应用在高速大容量网络切片(在下文中，简称为切片)中传输数据，或者可在低延迟网络切片中传输数据。
(3-1.5G网络切片1的应用示例)
在下文中，将描述应用于应用了根据本公开的技术的信息处理系统的5G网络切片的应用示例。
(3-1-1.装置-装置配置1)
图15是示出了将5G网络切片应用于上述信息处理系统的示例的示图。图中粗线箭头表示5G支持的传输路径。
在图15的示例中，在由数字孪生生成单元161生成的教师数字孪生中，从教师侧向学生侧(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并经由大容量切片发送3D模型。
此外，从学生侧向教师侧(指示信息生成单元162)，经由低延迟切片发送由评估单元264计算的评估值，并且经由大容量切片发送由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。
在这种情况下，指示信息生成单元162可基于来自叠加视频生成单元263的叠加视频或来自效果生成单元265的效果视频来生成针对学生的指示信息。此外，提供给指示信息生成单元162的叠加视频和效果视频可以在控制单元160的控制下显示在显示单元110上。
如上所述，由于经由低延迟切片发送实时性所需的特征点信息和评估值，因此可确保数字孪生对于教师的身体运动的跟随性和关于学生的身体运动的反馈的快速性。
附带地，包括在控制单元160中的每个功能单元和包括在控制单元260中的每个功能单元可以不分别在教师侧的装置100和学生侧的装置200上实现。
(3-1-2.装置-装置配置2)
如图16所示，数字孪生调整单元262可在教师侧的装置100上实现。
在图16的示例中，从教师侧到学生侧(叠加视频生成单元263和评估单元264)，在由数字孪生调整单元262生成的调整的教师数字孪生中，经由低延迟切片发送调整的特征点信息，并经由大容量切片发送调整的3D模型。
此外，从学生侧向教师侧(指示信息生成单元162)，经由低延迟切片发送由评估单元264计算的评估值，并且经由大容量切片发送由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。注意，由数字孪生生成单元261生成的学生数字孪生的特征点信息可经由低延迟切片被发送到教师侧(数字孪生调整单元262)。
虽然上面已经描述了在教师侧的装置100上或者在学生侧的装置200上实现数字孪生调整单元262的示例，但是可以在装置100和200两者上实现数字孪生调整单元262。此外，可在预定定时切换教师侧的装置100的功能和学生侧的装置200的功能。
(3-1-3.MEC装置配置1)
如图17所示，数字孪生生成单元161和指示信息生成单元162可以在靠近教师侧的装置100的MEC服务器10TE上实现，并且数字孪生生成单元261到效果生成单元265可以在靠近学生侧的装置200的MEC服务器10ST上实现。
在这种情况下，教师侧的装置100将由传感器单元150获取的感测数据发送到MEC服务器10TE(数字孪生生成单元161)。类似地，学生侧的装置200向MEC服务器10ST(MEC服务器10ST)发送由传感器单元250获取的感测数据。
注意，MEC服务器10TE(数字孪生生成单元161)可以通过从存储在云服务器20中的重新编码的内容中提取特征点来生成教师数字孪生。结果，实现图4中的使用案例UC2和使用案例UC4。
在图17的示例中，在由数字孪生生成单元161生成的教师数字孪生中，从教师侧的MEC服务器10TE到学生侧的MEC服务器10ST(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并且经由大容量切片发送3D模型。
此外，从学生侧的MEC服务器10ST到教师侧的MEC服务器10TE(指示信息生成单元162)，经由低延迟切片发送由评估单元264计算的评估值，并且经由大容量切片发送由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。
(3-1-4.MEC装置配置2)
如图18所示，数字孪生生成单元161和指示信息生成单元162可以在靠近教师侧的装置100的MEC服务器10TE上实现，并且数字孪生生成单元261、数字孪生调整单元262和评估单元264可以在靠近学生侧的装置200的MEC服务器10ST上实现。
在图18的示例中，在由数字孪生生成单元161生成的教师数字孪生中，从教师侧的MEC服务器10TE到学生侧的MEC服务器10ST(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并且经由大容量切片发送3D模型。
在由数字孪生生成单元261生成的学生数字孪生中，从学生侧的MEC服务器10ST到学生侧的装置200(叠加视频生成单元263)，经由低延迟切片发送特征点信息，并经由大容量切片发送3D模型。类似地，对于学生侧的装置200(叠加视频生成单元263)，在由数字孪生调整单元262生成的调整的教师数字孪生中，经由低延迟切片发送调整的特征点信息，并经由大容量切片发送调整的3D模型。
此外，通过评估单元264计算的评估值经由低延迟切片从学生侧的MEC服务器10ST发送到教师侧的MEC服务器10TE(指示信息生成单元162)。此外，从学生侧的装置200到教师侧的MEC服务器10TE(指示信息生成单元162)，经由大容量切片发送由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。
(3-1-5.MEC装置配置3)
如图19所示，数字孪生生成单元161可以在靠近教师侧的装置100的MEC服务器10TE上实现，并且数字孪生生成单元261和数字孪生调整单元262可以在靠近学生侧的装置200的MEC服务器10ST上实现。
在图19的示例中，在由数字孪生生成单元161生成的教师数字孪生中，从教师侧的MEC服务器10TE到学生侧的MEC服务器10ST(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并且经由大容量切片发送3D模型。
在由数字孪生生成单元261生成的学生数字孪生中，从学生侧的MEC服务器10ST到学生侧的装置200(叠加视频生成单元263和评估单元264)，经由低延迟切片发送特征点信息，并且经由大容量切片发送3D模型。类似地，对于学生侧的装置200(叠加视频生成单元263和评估单元264)，在由数字孪生调整单元262生成的调整的教师数字孪生中，经由低延迟切片发送调整的特征点信息，并经由大容量切片发送调整的3D模型。
此外，从学生侧的装置200到教师侧的装置100(指示信息生成单元162)，经由低延迟切片发送由评估单元264计算的评估值，并且经由大容量切片发送由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。
(3-1-6.MEC装置配置4)
如图20所示，数字孪生生成单元161可以在靠近教师侧的装置100的MEC服务器10TE上实现，并且数字孪生生成单元261到评估单元264可以在靠近学生侧的装置200的MEC服务器10ST上实现。
在图20的示例中，在由数字孪生生成单元161生成的教师数字孪生中，从教师侧的MEC服务器10TE到学生侧的MEC服务器10ST(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并且经由大容量切片发送3D模型。
此外，经由低延迟切片将由评估单元264计算的评估值从学生侧的MEC服务器10ST发送到教师侧的装置100(指示信息生成单元162)。此外，从学生侧的装置200到教师侧的装置100(指示信息生成单元162)，经由大容量切片发送由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。
注意，由叠加视频生成单元263生成的叠加视频可以经由大容量切片从学生侧的MEC服务器10ST发送到学生侧的装置200(效果生成单元265)。此外，由评估单元264计算的评估值(3D模型信息)可以经由大容量切片从学生侧的MEC服务器10ST发送到学生侧的装置200(效果生成单元265)。
(3-1-7.MEC装置配置5)
如在图21中所示，可以在靠近学生侧的装置200的MEC服务器10ST上仅实现数字孪生调整单元262。
在图21的示例中，在由数字孪生生成单元161生成的教师数字孪生中，从教师侧的装置100到学生侧的MEC服务器10ST(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并经由大容量切片发送3D模型。
从学生侧的MEC服务器10ST向学生侧的装置200(叠加视频生成单元263和评估单元264)，在由数字孪生调整单元262生成的调整的教师数字孪生中，经由低延迟切片发送调整的特征点信息，并经由大容量切片发送调整的3D模型。
此外，从学生侧的装置200到教师侧的装置100(指示信息生成单元162)，经由低延迟切片发送由评估单元264计算的评估值，并且经由大容量切片发送由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。
注意，由数字孪生生成单元261生成的学生数字孪生的特征点信息可以经由低延迟切片发送给学生侧的MEC服务器10ST(数字孪生调整单元262)。
在图21的示例中，数字孪生调整单元262在靠近学生侧的装置200的MEC服务器10ST上实现，但是可以在靠近教师侧的装置100的MEC服务器10TE上实现。
(3-2.信息处理系统的其他配置示例)
上面主要描述了实现实时类别的信息处理系统的配置。另一方面，如果可再现预先生成的教师数字孪生，则家中的用户(学生)可在期望的时间取得非实时课程而不是实时课程。
图22是示出应用了根据本公开的技术的信息处理系统的另一配置示例的框图。
图22中的信息处理系统包括云服务器20和在学生侧的装置200。图22中的在学生侧的装置200与上述在学生侧的装置200类似地配置，但是在图22中仅示出主要功能单元。
云服务器20包括存储装置310和指示信息生成单元320。
存储装置310存储预先生成的教师数字孪生，并响应于来自学生侧的装置200的请求将教师数字孪生提供给学生侧的装置200。
指示信息生成单元320基本上具有与上述指示信息生成单元162相同的功能，但是在基于人员工智能(AI)自动生成指示信息这一点上与指示信息生成单元162不同。
图23是用于解释存储装置310的细节的示图。
如图23所示，存储装置310包括通信单元311、存储单元312和控制单元313。
通信单元311包括网络接口等，并且基于控制单元313的控制与学生侧的装置200通信。
存储单元312存储操作存储装置310所需的程序、预先准备的各种数据等。
具体地，存储单元312存储基于重新编码的内容生成的个人员和教师数字孪生的实时表现，并且响应于来自学生侧的装置200的请求读取存储的教师数字孪生。
此外，存储单元312可存储预先获取的传感器数据和特征点信息，并可基于传感器数据和特征点信息来生成教师数字孪生。此外，预定的重新编码的内容可被存储在存储单元312中，教师数字孪生可基于重新编码的内容生成。
控制单元313基于存储在存储单元312中的程序执行各种处理。例如，响应于来自学生侧的装置200的请求，控制单元313将存储在存储单元312中的教师数字孪生提供至学生侧的装置200，并基于存储在存储单元312中的传感器数据和特征点信息生成教师数字孪生。
此外，在以上配置中，由于根据学生数字孪生调整教师数字孪生，所以学生可在观看叠加视频的同时通过将自己的运动与教师的运动进行比较来容易地复制教师的运动。
此外，因为基于与教师的运动的差异的效果视频被叠加并显示在叠加的视频上，所以学生可容易地识别自己的运动与教师的运动之间的偏差。
此外，由于指示学生的运动的偏离量和偏离部分的指示信息和与偏离量和偏离部分对应的评论与效果视频一起被显示，因此学生可理解自己的运动如何被具体地偏离以及如何运动。
如上所述，可以为学生提供更有效的学习内容以学习身体的运动。
注意，在存储装置310中，可与执行了反映在数字孪生中的身体运动的人员、传感器数据和特征点信息相关联地管理存储在存储装置310中的教师数字孪生、传感器数据和特征点信息。此外，在存储装置310中，例如，可从职业足球运动员的游戏视频中提取特征点信息，并且可与职业足球运动员关联地管理基于使用机器学习等的骨架估计而生成的教师数字孪生。
例如，用于指定特定人员的人员ID、指示生成数字孪生时的日期和时间的时间信息、指示身体运动的目的和类型的类型信息等与反映特定人员的身体运动的数字孪生相关联。
结果，要成为学生的用户可以选择期望的人员或数字孪生人员身体运动，并采取非实时课程。
此外，与人员ID相关联的数字孪生可以是市场(电子市场)中的电子商务目标。在这种情况下，在存储装置310中，包括数字孪生的人员ID、销售价格、销售期限等的版权信息的元数据被存储为数据库并且被集中管理。
因此，可以管理数字孪生供应商的版权，例如，保护供应商自身的运动，诸如已经提供数字孪生作为作品的教师或者由供应商与预定公司或组签订许可协议。
(3-3.5G网络切片2的应用示例)
5G网络切片也可应用于图22的信息处理系统。
(3-3-1.装置MEC云配置1)
图24是示出了将5G网络切片应用于图22的信息处理系统的示例的示图。图中粗线箭头表示5G支持的传输路径。
在图24的示例中，数字孪生生成单元261到效果生成单元265在学生侧的靠近装置200的MEC服务器10ST上实现。
在这种情况下，学生侧的装置200向MEC服务器10ST(数字孪生生成单元261)发送由传感器单元250获取的感测数据。
在图24的示例中，在存储装置310中存储的教师数字孪生中，从云服务器20到学生侧的MEC服务器10ST(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并经由大容量切片发送3D模型。
此外，从学生侧的MEC服务器10ST到云服务器20(指示信息生成单元320)，经由低延迟切片发送由评估单元264计算的评估值，并且经由大容量切片发送由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。
(3-3-2.装置MEC云配置2)
如图25所示，数字孪生生成单元261、数字孪生调整单元262和评估单元264可以在学生侧的靠近装置200的MEC服务器10ST上实现。
在图25的示例中，在存储装置310中存储的教师数字孪生中，从云服务器20到学生侧的MEC服务器10ST(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并经由大容量切片发送3D模型。
在由数字孪生生成单元261生成的学生数字孪生中，从学生侧的MEC服务器10ST到学生侧的装置200(叠加视频生成单元263)，经由低延迟切片发送特征点信息，并经由大容量切片发送3D模型。类似地，对于学生侧的装置200(叠加视频生成单元263)，在由数字孪生调整单元262生成的调整的教师数字孪生中，经由低延迟切片发送调整的特征点信息，并经由大容量切片发送调整的3D模型。
此外，通过评估单元264计算的评估值经由低延迟切片从学生侧的MEC服务器10ST发送到云服务器20(指示信息生成单元320)。此外，经由大容量切片将由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频从学生侧的装置200发送到云服务器20(指示信息生成单元320)。
(3-3-3.装置MEC云配置3)
如图26所示，数字孪生生成单元261和数字孪生调整单元262可以在靠近学生侧的装置200的MEC服务器10ST上实现。
在图26的示例中，在存储装置310中存储的教师数字孪生中，从云服务器20到学生侧的MEC服务器10ST(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并经由大容量切片发送3D模型。
在由数字孪生生成单元261生成的学生数字孪生中，从学生侧的MEC服务器10ST到学生侧的装置200(叠加视频生成单元263和评估单元264)，经由低延迟切片发送特征点信息，并且经由大容量切片发送3D模型。类似地，对于学生侧的装置200(叠加视频生成单元263和评估单元264)，在由数字孪生调整单元262生成的调整的教师数字孪生中，经由低延迟切片发送调整的特征点信息，并经由大容量切片发送调整的3D模型。
此外，从学生侧的装置200到云服务器20(指示信息生成单元320)，经由低延迟切片发送由评估单元264计算的评估值，并且经由大容量切片发送由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。
(3-3-4.装置MEC云配置4)
如图27所示，数字孪生生成单元261至评估单元264可以在学生侧靠近装置200的MEC服务器10ST上实现。
在图27的示例中，在存储装置310中存储的教师数字孪生中，从云服务器20到学生侧的MEC服务器10ST(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并经由大容量切片发送3D模型。
此外，通过评估单元264计算的评估值经由低延迟切片从学生侧的MEC服务器10ST发送到云服务器20(指示信息生成单元320)。此外，经由大容量切片将由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频从学生侧的装置200发送到云服务器20(指示信息生成单元320)。
注意，由叠加视频生成单元263生成的叠加视频可以经由大容量切片从学生侧的MEC服务器10ST发送到学生侧的装置200(效果生成单元265)。此外，由评估单元264计算的评估值(3D模型信息)可以经由大容量切片从学生侧的MEC服务器10ST发送到学生侧的装置200(效果生成单元265)。
(3-3-5.装置MEC云配置5)
如图28所示，可以在靠近学生侧的装置200的MEC服务器10ST上仅实现数字孪生调整单元262。
在图28的示例中，在存储装置310中存储的教师数字孪生中，从云服务器20到学生侧的MEC服务器10ST(数字孪生调整单元262)，经由低延迟切片发送特征点信息，并经由大容量切片发送3D模型。
从学生侧的MEC服务器10ST向学生侧的装置200(叠加视频生成单元263和评估单元264)，在由数字孪生调整单元262生成的调整的教师数字孪生中，经由低延迟切片发送调整的特征点信息，并经由大容量切片发送调整的3D模型。
此外，从学生侧的装置200到云服务器20(指示信息生成单元320)，经由低延迟切片发送由评估单元264计算的评估值，并且经由大容量切片发送由叠加视频生成单元263生成的叠加视频和由效果生成单元265生成的效果视频。
注意，由数字孪生生成单元261生成的学生数字孪生的特征点信息可经由低延迟切片被发送到教师侧(数字孪生调整单元262)。
如上所述，5G网络切片也可应用于图22的信息处理系统。
<4.变形例>
在下文中，将描述上述实施例的变形例。
(数字孪生的显示例)
在以上描述中，作为数字孪生，在学生侧的装置200等上显示与皮肤数据组合的3D模型。此外，如图29所示，基于骨架信息的骨架图像可作为数字孪生被叠加并显示在3D模型上。
在图29的示例中，表示作为学生的人员的骨架和关节点的骨架图像430叠加并显示在直立学生数字孪生30ST(3D模型)上。在图29的示例中，在图2中示出的教师数字孪生30TE没有叠加，但是教师数字孪生30TE可进一步叠加并显示在骨架图像430上。
(字符信息的呈现示例)
在以上描述中，在教师侧的装置100与学生侧的装置200之间发送和接收诸如数字孪生、指示信息和评估值的信息。此外，例如，可在教师侧的装置100与学生侧的装置200之间发送和接收指示学生所采取的课程的进度状态和在该课程中执行身体运动的学生的状态的状态信息。
图30至图32是示出在学生侧的装置200中指示上述状态信息的字符信息的呈现示例的示图。
(呈现示例1)
在图30的示例中，将指示由学生执行用于开始课程的操作的课程开始的状态信息从学生侧的装置200发送到教师侧的装置100。
例如，在图30的屏幕#11的状态下，与直立站立的学生数字孪生30ST一起显示指示要开始的课程的名称的字符信息441。此外，如图2所示，在屏幕#11的右上方，显示用于开始课程的GUI按钮41。
如在屏幕#12的状态中所示，如果学生举起一只手并且确定对应学生数字孪生30ST的手与按钮41的区域叠加，则开始教练TE的课。此时，字符信息441改变为颗粒视频442。
此后，将指示课程的开始的状态信息发送到教师侧的装置100，并且构成颗粒视频442的颗粒运动以被吸入到屏幕#13的上侧，如在屏幕#13的状态中所示。
如上所述，字符信息441改变为颗粒视频442并运动到屏幕#13的上侧，从而学生可被用户直观地理解指示课程开始的状态信息已被发送到教师侧的装置100。
(呈现示例2)
在图31的示例中，将指示上课的学生过于靠近显示器(显示单元210)并且危险的状态信息从学生侧的装置200发送到教师侧的装置100。
例如，在图31中的屏幕#21的状态下，指示学生和显示器之间的距离的字符信息451与学生数字孪生30ST一起被显示。在屏幕#21上，字符信息451指示学生和显示之间的距离为146cm。
当学生和显示器之间的距离低于预定阈值(例如，145cm)时，如屏幕#22的状态中所示，字符信息451改变为颗粒视频452。
此后，将指示学生离显示器太近的状态信息发送到教师侧的装置100，并且构成颗粒视频452的颗粒运动以被吸入到屏幕#23的上侧，如在屏幕#23的状态中所示。
如上所述，字符信息451改变为颗粒视频452并运动到屏幕#23的上侧，从而用户可直观地理解指示学生他/她自己过于靠近显示的状态信息已被发送到教师侧的装置100。
(呈现示例3)
在图32的示例中，将指示课程的学生的身体负荷的状态信息从学生侧的装置200发送到教师侧的装置100。例如，基于由被设置为传感器单元250的生命传感器获取的生命体征来生成指示学生的体重的状态信息。
例如，在图32中的屏幕#31的状态下，指示学生的体力负荷的字符信息461与学生数字孪生30ST一起被显示。在屏幕#31上，字符信息461指示学生的体力负荷状态是“HARD”。
当学生的生命体征超过预定限制值时，如屏幕#32的状态中所示，字符信息461改变为颗粒视频462。
此后，将指示学生的体力负荷超过预定限制值的状态信息发送到教师侧的装置100，并且构成颗粒视频462的颗粒运动以被吸入到屏幕#33的上侧，如在屏幕#33的状态中所示。
如上所述，字符信息461改变为颗粒视频462并运动到屏幕#33的上侧，使得作为用户的学生能够直观地理解指示学生他/她自己的身体负荷超过限制的状态信息已被发送到教师侧的装置100。
在上述示例中，将指示课程的进展状态或学生的状态的字符信息改变为颗粒视频，但是可将叠加并显示在学生数字孪生30ST上的骨架图像430的一部分改变为颗粒视频。
例如，当与已与教师数字孪生不同地运动的学生数字孪生的部分对应的骨架图像430改变为颗粒视频时，学生可识别他/她已做出错误运动。
要注意的是，在字符信息变成颗粒视频时，显示颜色可改变，例如，黑色字符信息可变成红色颗粒视频。
(应用示例)
上述呈现示例还可以应用于例如工厂的生产线管理者单独监控现场生产线工作人员的状态的配置。在这种情况下，生产线管理者能够集中掌握现场工作人员的工作状况、体力、精神压力等，如果存在现场工作人员的状态妨碍工作的可能性，则生产线管理者能够立即将该可能性通知给工厂的管理经理。
(面部认证的应用)
在上述实施例中，例如，当开始课程时或当开始工厂工作时，可执行面部认证。因此，教师可以避免向错误的学生提供课程，并且工厂的生产线经理可以容易地掌握现场工作人员的出勤状态。
(数字孪生的调整)
在上述实施例中，主要基于反映作为用户(第一人员)的学生的身体运动的学生数字孪生，调整教师数字孪生，使得反映作为参考人员(第二人员)的教师的身体运动的教师数字孪生与学生数字孪生匹配。相反，可基于教师数字孪生来调整学生数字孪生，以使学生数字孪生与教师数字孪生匹配，或者可在学生与教师之间切换要被参考的人员(参考人员)。
<5.计算机的配置示例>
上述一系列处理可以通过硬件执行，并且还可以在软件中执行。在通过软件执行所述一系列处理的情况下，在计算机上安装形成所述软件的程序。这里，术语计算机包括内置到专用硬件中的计算机、能够通过在其上安装各种程序来执行各种功能的计算机(例如，通用个人员计算机)等。
图33是示出根据程序执行上述一系列处理的计算机的硬件配置示例的框图。
在计算机中，中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004互连。
此外，输入/输出接口1005连接至总线1004。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010连接至输入/输出接口1005。
输入单元1006包括例如键盘、鼠标、麦克风等。输出单元1007包括例如显示器、扬声器等。存储单元1008包括例如硬盘、非易失性存储器等。通信单元1009包括例如网络接口。驱动器1010驱动可移除介质1011，诸如磁盘、光盘、磁光盘或半导体存储器。
在如上配置的计算机中，例如，通过使CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003中，并且执行该程序，来执行上述一系列处理。
例如，由计算机(CPU1001)执行的程序可以被记录并提供在作为封装介质等的可移除介质1011中。此外，可经由有线或无线传输介质(诸如局域网、互联网或数字卫星广播)提供程序。
在计算机中，通过将可移除介质1011安装到驱动器1010上，程序可以通过输入/输出接口1005安装到存储单元1008中。程序还可经由有线或无线传输介质由通信单元1009接收并安装到存储单元1008中。此外，程序可以提前安装到ROM 1002或存储单元1008中。
应注意，由计算机执行的程序可以是其中处理按照本文中描述的顺序在时间序列中按时间顺序执行的程序，或者可以是其中处理并行或在必要定时(诸如当处理被调用时)执行的程序。
在本说明书中，描述在记录介质中记录的程序的步骤不仅包括根据描述的顺序按照时间顺序执行的处理，而且包括并行或单独执行的处理，即使该处理不一定按照时间顺序执行。
此外，在本说明书中，系统具有一组多个结构元件(诸如装置或模块(部分))的含义，并且不考虑所有结构元件是否在同一壳体中。因此，系统可以是存储在单独的壳体中并且通过网络连接的多个装置，或者是在单个壳体内包括多个模块的单个装置。
此外，根据本公开内容的本技术的实施例不限于上述实施例，并且在不背离根据本公开内容的技术的范围的情况下，可以做出各种变化和修改。
此外，本说明书中描述的效果仅是示例并且不受限制，并且可以施加其他效果。
此外，根据本公开的技术还可被配置为如下。
(1)
一种信息处理装置，包括：
调整单元，被配置为通过基于反映第一人员的身体运动的第一虚拟对象中所包括的第一人员的特征点信息，调整要被叠加在所述第一虚拟对象上的反映第二人员的身体运动的第二虚拟对象，来生成调整的第二虚拟对象。
(2)
根据(1)所述的信息处理装置，其中
所述调整单元基于包含在所述第一虚拟对象中的所述第一人员的所述特征点信息，改变包含在所述第二虚拟对象中的所述第二人员的所述特征点信息。
(3)
根据(2)所述的信息处理装置，其中
特征点信息包括骨架信息、左右信息或三维轮廓信息中的至少一个。
(4)
根据(1)至(3)中任一项所述的信息处理装置，其中
所述调整单元基于所述特征点信息至少调整所述第二虚拟对象的比例。
(5)
根据(1)至(4)中任一项所述的信息处理装置，还包括：
生成单元，被配置为基于人员的特征点信息生成反映人员的身体运动的虚拟对象。
(6)
根据(5)所述的信息处理方法，其中，
所述生成单元基于通过感测所述人员而获得的传感器数据来提取所述人员的特征点信息。
(7)
根据(6)所述的信息处理装置，其中
所述传感器数据包括ToF数据、RGB数据或体积捕获数据中的至少一个。
(8)
根据(6)或(7)所述的信息处理装置，还包括：
传感器，被配置为感测所述人员。
(9)
根据(5)所述的信息处理装置，其中
所述生成单元基于显示所述人员的视频提取所述人员的所述特征点信息。
(10)
根据(5)至(9)中任一项所述的信息处理装置，其中
生成单元
基于人员的特征点信息以及通过感测人员获得的RGB数据，在RGB数据中去除人员的背景；并且
基于去除所述背景的所述RGB数据和所述人员的所述特征点信息生成所述虚拟对象。
(11)
根据(5)至(10)中任一项所述的信息处理装置，其中
生成单元生成根据人员的身体运动的目的的类型的虚拟对象。
(12)
根据(1)至(11)中任一项所述的信息处理装置，还包括：
视频生成单元，被配置为生成将第一虚拟对象叠加在调整的第二虚拟对象上的叠加视频。
(13)
根据(12)所述的信息处理装置，还包括：
评估单元，被配置为通过将所述第一虚拟对象与所述调整的第二虚拟对象进行比较来生成所述第一虚拟对象的评估值。
(14)
根据(13)所述的信息处理装置，其中
所述评估值包括所述第一虚拟对象和所述调整的第二虚拟对象之间的三维轮廓信息的差、所述第一虚拟对象和所述调整的第二虚拟对象之间的加速度信息的差或所述第一虚拟对象和所述调整的第二虚拟对象之间的预定拟合点的差中的至少一个。
(15)
根据(13)或(14)所述的信息处理装置，还包括：
效果生成单元，被配置为基于所述评估值生成所述叠加视频的效果视频。
(16)
根据(15)所述的信息处理装置，其中
所述效果生成单元根据所述第一人员的身体运动的目的生成所述效果视频。
(17)
根据(15)或(16)所述的信息处理装置，还包括：
显示控制单元，被配置为将所述叠加视频和所述效果视频显示在显示单元上。
(18)
根据(17)所述的信息处理装置，其中
所述显示控制单元根据所述第一人员的操作切换要在所述显示单元上显示的所述效果视频。
(19)
根据(17)或(18)所述的信息处理装置，还包括：
指示信息生成单元，被配置为基于所述评估值，生成用于所述第二人员对所述第一人员的身体运动提供预定指示的指示信息。
(20)
根据(19)所述的信息处理装置，其中
显示控制单元还将指示信息显示在显示单元上。
(21)
根据(1)至(20)中任一项所述的信息处理装置，其中
虚拟对象包括人员的特征点信息以及基于所述特征点信息的三维模型，以及
特征点信息和三维模型通过不同的网络切片进行传输。
(22)
根据(21)所述的信息处理装置，其中
所述特征点信息经由低延迟网络切片来传输，并且
所述三维模型经由大容量网络切片来传输。
(23)
根据(1)至(22)中任一项所述的信息处理装置，其中
包含该调整单元的功能单元通过移动边缘计算(MEC)来实现。
(24)
根据(1)至(23)中任一项所述的信息处理装置，其中
所述第二虚拟对象基于包括用于指定所述第二人员的人员ID的版权信息来管理。
(25)
一种信息处理方法，包括：
通过信息处理装置，
通过基于包括在反映第一人员的身体运动的第一虚拟对象中的第一人员的特征点信息调整将被叠加在所述第一虚拟对象上的反映第二人员的身体运动的第二虚拟对象，来生成调整的第二虚拟对象。
(26)
一种程序，使得计算机
执行以下处理：
通过基于包括在反映第一人员的身体运动的第一虚拟对象中的第一人员的特征点信息，调整将被叠加在所述第一虚拟对象上的反映第二人员的身体运动的第二虚拟对象，来生成调整的第二虚拟对象。
参考标号列表
10、10TE、10ST MEC服务器
20 云服务器
100 装置
150 传感器单元
160 控制单元
161 数字孪生生成单元
162 指示信息生成单元
200 装置
250 传感器单元
260 控制单元
261 数字孪生生成单元
262 数字孪生调整单元
263 叠加视频生成单元
264 评估单元
265 效果生成单元
266 显示控制单元
310 存储装置
320 指示信息生成单元
312 存储单元
313 控制单元
1001 CPU

Claims (20)

1.一种信息处理装置，包括：
调整单元，被配置为通过基于包括在反映第一人员的身体运动的第一虚拟对象中的第一人员的特征点信息，调整要被叠加在所述第一虚拟对象上的反映第二人员的身体运动的第二虚拟对象，来生成所调整的第二虚拟对象。
2.根据权利要求1所述的信息处理装置，其中，
所述调整单元基于包括在所述第一虚拟对象中的所述第一人员的特征点信息，改变包括在所述第二虚拟对象中的所述第二人员的特征点信息。
3.根据权利要求2所述的信息处理装置，其中，
所述特征点信息包括骨架信息、左右信息或三维轮廓信息中的至少一个。
4.根据权利要求2所述的信息处理装置，还包括，
生成单元，被配置为基于人员的所述特征点信息生成反映所述人员的身体运动的虚拟对象。
5.根据权利要求4所述的信息处理装置，其中，
所述生成单元基于通过感测所述人员而获得的传感器数据来提取所述人员的特征点信息。
6.根据权利要求5所述的信息处理装置，其中，
所述传感器数据包括ToF数据、RGB数据或体积捕获数据中的至少一个。
7.根据权利要求4所述的信息处理装置，其中，
所述生成单元基于显示所述人员的视频提取所述人员的特征点信息。
8.根据权利要求4所述的信息处理装置，其中，
所述生成单元生成根据所述人员的身体运动的目的的类型的虚拟对象。
9.根据权利要求1所述的信息处理装置，还包括
视频生成单元，被配置为生成所述第一虚拟对象被叠加在所调整的第二虚拟对象上的叠加视频。
10.根据权利要求9所述的信息处理装置，还包括
评估单元，被配置为通过将所述第一虚拟对象与所调整的第二虚拟对象进行比较来生成所述第一虚拟对象的评估值。
11.根据权利要求10所述的信息处理装置，其中，
所述评估值包括所述第一虚拟对象与所调整的第二虚拟对象之间的三维轮廓信息的差、所述第一虚拟对象与所调整的第二虚拟对象之间的加速度信息的差或所述第一虚拟对象与所调整的第二虚拟对象之间的预定拟合点的差中的至少一个。
12.根据权利要求10所述的信息处理装置，还包括
效果生成单元，被配置为基于所述评估值生成所述叠加视频的效果视频。
13.根据权利要求12所述的信息处理装置，还包括
显示控制单元，被配置为将所述叠加视频和所述效果视频显示在显示单元上。
14.根据权利要求13所述的信息处理装置，还包括
指示信息生成单元，被配置为基于所述评估值，生成用于所述第二人员对所述第一人员的身体运动提供预定指示的指示信息。
15.根据权利要求1所述的信息处理装置，其中，
虚拟对象包括人员的特征点信息以及基于所述特征点信息的三维模型，并且
所述特征点信息和所述三维模型经由不同的网络切片来传输。
16.根据权利要求15所述的信息处理装置，其中，
所述特征点信息经由低延迟网络切片来传输，并且
所述三维模型经由大容量网络切片来传输。
17.根据权利要求1所述的信息处理装置，其中，
包括所述调整单元的功能单元通过移动边缘计算(MEC)来实现。
18.根据权利要求1所述的信息处理装置，其中，
所述第二虚拟对象基于包括用于指定所述第二人员的人员ID的版权信息来管理。
19.一种信息处理方法，包括：
通过信息处理装置，
通过基于包括在反映第一人员的身体运动的第一虚拟对象中的第一人员的特征点信息，调整要被叠加在所述第一虚拟对象上的反映第二人员的身体运动的第二虚拟对象，来生成所调整的第二虚拟对象。
20.一种程序，使得计算机
执行以下处理：
通过基于包括在反映第一人员的身体运动的第一虚拟对象中的第一人员的特征点信息，调整要被叠加在所述第一虚拟对象上的反映第二人员的身体运动的第二虚拟对象，来生成所调整的第二虚拟对象。
CN202180031936.9A 2020-05-13 2021-04-30 信息处理装置、信息处理方法和程序 Pending CN115485737A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-084483 2020-05-13
JP2020084483 2020-05-13
PCT/JP2021/017146 WO2021230101A1 (ja) 2020-05-13 2021-04-30 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN115485737A true CN115485737A (zh) 2022-12-16

Family

ID=78525748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180031936.9A Pending CN115485737A (zh) 2020-05-13 2021-04-30 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US20230162458A1 (zh)
EP (1) EP4151291A4 (zh)
JP (1) JPWO2021230101A1 (zh)
CN (1) CN115485737A (zh)
WO (1) WO2021230101A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12062245B2 (en) * 2021-08-31 2024-08-13 Vilnius Gediminas Technical University System and method for real-time creation and execution of a human digital twin
US20230103805A1 (en) * 2021-09-29 2023-04-06 Verizon Patent And Licensing Inc. System and Method of Machine Vision Assisted Task Optimization

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090146378A1 (en) * 2007-12-06 2009-06-11 Leviathan Entertainment Real Time Trivia Match with Audience Votes and Rewards
JP5927966B2 (ja) 2012-02-14 2016-06-01 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
KR20140116740A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 안무 영상을 표시하는 디스플레이 장치 및 표시 방법
JP2015146980A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 運動支援システム、運動支援装置及び運動支援方法

Also Published As

Publication number Publication date
JPWO2021230101A1 (zh) 2021-11-18
EP4151291A4 (en) 2023-11-01
WO2021230101A1 (ja) 2021-11-18
US20230162458A1 (en) 2023-05-25
EP4151291A1 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
US11132533B2 (en) Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
Chen et al. Computer-assisted yoga training system
CN109191588B (zh) 运动教学方法、装置、存储介质及电子设备
KR101711488B1 (ko) 동작 기반 인터랙티브 서비스 방법 및 시스템
US8314840B1 (en) Motion analysis using smart model animations
Alexiadis et al. Evaluating a dancer's performance using kinect-based skeleton tracking
US8217995B2 (en) Providing a collaborative immersive environment using a spherical camera and motion capture
US20180374383A1 (en) Coaching feedback system and method
US20140078137A1 (en) Augmented reality system indexed in three dimensions
Wu et al. How to vizski: Visualizing captured skier motion in a vr ski training simulator
CN111050863A (zh) 练习辅助程序、练习辅助方法以及练习辅助系统
CN106457045A (zh) 用于在大尺寸显示系统上描绘具有用户可选图标的入口的方法和系统
CN110782482A (zh) 运动评估方法、装置、计算机设备及存储介质
CN115485737A (zh) 信息处理装置、信息处理方法和程序
WO2008023250A1 (en) Motion coaching device, method and system
CN113409651B (zh) 直播健身方法、系统、电子设备、存储介质
Grammatikopoulou et al. An adaptive framework for the creation of bodymotion-based games
KR102095647B1 (ko) 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법
JP7390640B2 (ja) 運動教育システム、サーバ装置、運動教育支援サービス提供方法及びプログラム
Brownridge Real-time motion capture for analysis and presentation within virtual environments
JP6899105B1 (ja) 動作表示装置、動作表示方法及び動作表示プログラム
Yang et al. Personal active choreographer: improving the performance of the Tujia hand-waving dance
KR102393241B1 (ko) 교습방법 및 이를 구현하기 위한 프로그램이 저장된 기록매체
US20240346736A1 (en) Information processing device, information processing method, and program
WO2024159402A1 (en) An activity tracking apparatus and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination