CN116250015A - 向终端提供3d人物图像的边缘数据网络及其运行方法 - Google Patents

向终端提供3d人物图像的边缘数据网络及其运行方法 Download PDF

Info

Publication number
CN116250015A
CN116250015A CN202180056888.9A CN202180056888A CN116250015A CN 116250015 A CN116250015 A CN 116250015A CN 202180056888 A CN202180056888 A CN 202180056888A CN 116250015 A CN116250015 A CN 116250015A
Authority
CN
China
Prior art keywords
information
keypoint
similarity
viewpoint
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180056888.9A
Other languages
English (en)
Inventor
朱宁贤
金善熙
金永起
金贞焄
禹孝敬
赵效莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116250015A publication Critical patent/CN116250015A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/289—Intermediate processing functionally located close to the data consumer application, e.g. in same machine, in same home or in same sub-network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了一种用于向终端提供三维(3D)人物图像的边缘数据网络及其运行方法。本公开的实施例公开了一种边缘数据网络，该边缘数据网络：经由网络从第一终端获取关键点信息，该关键点信息包括第一用户的身体部位的特征点坐标；从第二终端获取观察点信息，该观察点信息包括有关第二用户观察3D人物图像的虚拟观察点的虚拟位置坐标值信息；通过将所获取的关键点信息和观察点信息与缓存在数据缓存中的关键点信息和观察点信息进行比较来测量关键点相似度和观察点相似度；基于所测量的关键点相似度和所测量的观察点相似度，读出缓存在数据缓存中的3D人物图像；以及向第二终端发送所读出的3D人物图像。

Description

向终端提供3D人物图像的边缘数据网络及其运行方法
技术领域
本公开涉及一种用于向用户设备提供三维(3D)人物图像的边缘数据网络及其运行方法。更具体地，本公开涉及一种由与第一用户设备和第二用户设备一起执行增强现实远程呈现(Augmented Reality Telepresence)的边缘数据网络执行的向第二用户设备提供用户的3D人物图像的方法以及这种边缘数据网络。
背景技术
最近，已经讨论了使用边缘服务器来发送数据的边缘计算技术。边缘计算技术可以包括例如多接入边缘计算(MEC)或雾计算(FOC)。边缘计算技术可以指通过安装在地理上与电子装置相邻的位置处(例如，在基站内部或附近)的单独的服务器(以下称为“边缘数据网络”或“MEC服务器”)来向电子装置提供数据的技术。例如，安装在电子装置中的至少一个应用当中要求低时延的应用可以在不经过位于外部数据网络(DN)(例如，因特网)中的服务器的情况下，经由安装在地理上相邻的位置处的边缘服务器发送或者接收数据。
最近，已经讨论了使用边缘计算技术的服务(以下，称为“基于MEC的服务”或“MEC服务”)，并且对支持基于MEC的服务的电子装置的研究和开发在进行中。特别地，电子装置可以通过应用在边缘服务器(或边缘服务器的应用)和应用层上执行基于边缘计算的增强现实远程呈现(AR远程呈现)。在增强现实远程呈现应用中，行动者装置和观察者装置通过MEC服务器(边缘数据网络)使用3D化身图像来举行会议。因为为了渲染3D化身图像，增强现实远程呈现应用要求高质量和高性能，所以由于由MEC服务器进行的大量计算，需要很长的处理时间，并且通过网络发送的数据量大，因此增加了使用网络的成本。特别地，由于会议的性质，用户的移动的程度或频率较小，并且某些动作是经常重复的，但是因为是针对用户的所有动作或移动来渲染3D化身图像的，因此计算能力被低效率地消耗。
上述信息仅作为背景技术信息被呈现以帮助对本公开的理解。至于上述任何项对于本公开是否可能适用作为现有技术，尚未做出确定，并且未做出断言。
发明内容
技术问题
本公开的各方面是为了解决至少以上提及的问题和/或缺点并提供至少下述优点。因此，本公开的一个方面是为了提供一种用于通过使用边缘计算服务来向用户设备提供3D人物图像的方法和设备。
本公开的另一方面是为了提供一种用于为了节省计算资源并缩短3D人物图像渲染的处理时间而将先前生成的3D人物图像存储在数据缓存中、并且针对用户设备的用户的相同或相似运动或动作向用户设备发送缓存的3D人物图像的方法和设备。
额外方面将在接着的描述中被部分地阐述，并且部分地将从说明书中清楚，或者可以通过对所呈现的实施例的实践而习得。
技术方案
根据本公开的一个方面，提供了一种由边缘数据网络执行的向用户设备提供三维(3D)人物图像的方法。所述方法包括：获得第一关键点信息和第一观察点信息，所述第一关键点信息包括从使用第一用户设备捕获的第一图像帧中提取的与第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值，所述第一观察点信息包括观察经由第二用户设备显示的3D人物图像的虚拟观察点的虚拟位置坐标值信息；基于所获得的第一关键点信息和第一观察点信息来渲染指示所述第一用户的外貌、动作或运动的3D人物图像；将所渲染的3D人物图像与所述第一关键点信息和所述第一观察点信息关联地存储在数据缓存中；获得有关在所述第一图像帧之后获得的第二图像帧的第二关键点信息和第二观察点信息；通过将所获得的第二关键点信息和第二观察点信息分别与先前存储在所述数据缓存中的所述第一关键点信息和所述第一观察点信息进行比较来测量关键点相似度和观察点相似度；以及基于所测量的关键点相似度和所测量的观察点相似度来将先前存储在所述数据缓存中的所述3D人物图像作为有关所述第二图像帧的3D人物图像提供给所述第二用户设备。
在实施例中，获得所述第一关键点信息和所述第一观察点信息可以包括从位于远程的另一边缘数据网络接收所述第一关键点信息。
在实施例中，获得所述第一关键点信息和所述第一观察点信息可以包括：从所述第一用户设备接收通过使用所述第一用户设备捕获所述第一用户的图像所获得的所述第一图像帧；从所接收到的第一图像帧中提取与所述第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值的多个位置坐标值；以及获得包括所提取的多个位置坐标值的所述第一关键点信息。
在实施例中，渲染所述3D人物图像可以包括：接收所述第一用户的用户标识信息；以及根据所接收到的用户标识信息通过使用先前生成的3D人物图像来渲染所述3D人物图像。
在实施例中，将所述3D人物图像存储在所述数据缓存中可以包括：将以下信息中的至少一者与所述3D人物图像一起存储在所述数据缓存中：所述第一用户的用户标识信息、有关所述第一用户的外貌、过去进行的动作、运动、姿态或方向的多条先前获得的关键点信息、用于确定关键点相似度的优先级信息、以及关于电话会议类型的信息。
在实施例中，测量所述关键点相似度可以包括：获得第三关键点信息，所述第三关键点信息包括从第三图像帧中提取的多个第三特征坐标值；分别计算所述第三关键点信息中包括的所述多个第三特征坐标值与所述第二关键点信息中包括的多个第二特征坐标值之间的差值；识别所计算出的差值超过预设阈值的至少一个第三特征坐标值；从存储在所述数据缓存中的所述第一关键点信息中包括的多个第一特征坐标值当中识别与所识别的至少一个第三特征坐标值相对应的至少一个第一特征坐标值；以及通过测量所识别的至少一个第三特征坐标值与所述至少一个第一特征坐标值之间的相似度来测量所述第三关键点信息与所述第一关键点信息之间的关键点相似度。
在实施例中，测量所述关键点相似度可以包括：根据预定优先级，从所述第二关键点信息中包括的多个第二特征坐标值当中选择从身体部位中提取的具有高优先级的至少一个第二特征坐标值；从所述第一关键点信息中包括的多个第一特征坐标值当中识别与所选择的至少一个第二特征坐标值相对应的至少一个第一特征坐标值；以及通过测量所述至少一个第一特征坐标值与所述至少一个第二特征坐标值之间的相似度来测量所述关键点相似度。
在实施例中，可以根据经由所述边缘数据网络进行的电话会议的类型基于所述第一用户的身体部位的运动的程度和频率来确定所述优先级。
在实施例中，所述方法还可以包括：计算通过先前进行的电话会议先前获得并存储在所述数据缓存中的多条关键点信息中分别包括的多个特征坐标值之间的差值；按从大到小的顺序列举所计算出的差值；以及基于所列举的差值的顺序，根据分别与多个位置坐标值相对应的身体部位确定优先级。
在实施例中，构成运动的多条关键点信息可以根据运动信息被分类并存储在所述数据缓存中，其中，测量所述关键点相似度包括：接收分别从根据时间流依次获得的多个图像帧中提取的多条关键点信息；以及测量多条输入的关键点信息与先前存储在所述数据缓存中的所述多条关键点信息之间的相似度，其中，所述方法还包括：基于所测量的相似度识别与所述多条输入的关键点信息相对应的运动信息；以及从所述数据缓存获得与所识别的运动信息相对应的多个3D人物图像帧。
根据本公开的另一方面，提供了一种用于向用户设备提供3D人物图像的边缘数据网络。所述边缘数据网络包括：网络接口；存储器，所述存储器存储有包括一个或更多个指令的程序；以及处理器，所述处理器被配置为执行存储在所述存储器中的所述程序的所述一个或更多个指令，其中，所述处理器被配置为：控制所述网络接口通过使用所述网络接口来获得第一关键点信息和第一观察点信息，所述第一关键点信息包括从使用第一用户设备捕获的第一图像帧中提取的与第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值，所述第一观察点信息包括有关观察经由第二用户设备显示的3D人物图像的虚拟观察点的虚拟位置坐标值信息；基于所获得的第一关键点信息和第一观察点信息来渲染指示所述第一用户的外貌、动作或运动的3D人物图像；将所渲染的3D人物图像与所述第一关键点信息和所述第一观察点信息关联地存储在所述存储器中的数据缓存中；通过使用所述网络接口，分别获得在所述第一图像帧之后获得的第二图像帧的第二关键点信息和第二观察点信息；通过将所获得的第二关键点信息和第二观察点信息分别与先前存储在所述数据缓存中的所述第一关键点信息和所述第一观察点信息进行比较来测量关键点相似度和观察点相似度；以及基于所测量的关键点相似度和所测量的观察点相似度来将先前存储在所述数据缓存中的3D人物图像作为有关所述第二图像帧的3D人物图像提供给所述第二用户设备。
在实施例中，所述处理器可以被配置为：通过使用所述网络接口，从位于远程的另一边缘数据网络接收所述第一关键点信息。
在实施例中，所述处理器可以被配置为：通过使用所述网络接口，从所述第一用户设备接收通过使用所述第一用户设备捕获所述第一用户的图像所获得的所述第一图像帧；从所接收到的第一图像帧中提取与所述第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值的多个位置坐标值；以及获得包括所提取的多个位置坐标值的所述第一关键点信息。
在实施例中，所述处理器可以被配置为：通过使用所述网络接口，接收所述第一用户的用户标识信息；以及根据所接收到的用户标识信息通过使用先前生成的3D人物图像来渲染所述3D人物图像。
在实施例中，所述处理器可以被配置为：将以下信息中的至少一者与所述3D人物图像一起存储在所述数据缓存中：所述第一用户的用户标识信息、有关所述第一用户的外貌、过去进行的动作、运动、姿态或方向的多条先前获得的关键点信息、用于确定关键点相似度的优先级信息、以及关于电话会议类型的信息。
在实施例中，所述处理器可以被配置为：通过使用所述网络接口，获得第三关键点信息，所述第三关键点信息包括从第三图像帧中提取的多个第三特征坐标值；分别计算所述第三关键点信息中包括的所述多个第三特征坐标值与所述第二关键点信息中包括的多个第二特征坐标值之间的差值；识别所计算出的差值超过预设阈值的至少一个第三特征坐标值；从存储在所述数据缓存中的所述第一关键点信息中包括的多个第一特征坐标值当中识别与所识别的至少一个第三特征坐标值相对应的至少一个第一特征坐标值；以及通过测量所识别的至少一个第三特征坐标值与所述至少一个第一特征坐标值之间的相似度来测量所述第三关键点信息与所述第一关键点信息之间的关键点相似度。
在实施例中，所述处理器可以被配置为：根据预定优先级，从所述第二关键点信息中包括的多个第二特征坐标值当中选择从身体部位中提取的具有高优先级的至少一个第二特征坐标值；从所述第一关键点信息中包括的多个第一特征坐标值当中识别与所选择的至少一个第二特征坐标值相对应的至少一个第一特征坐标值；以及通过测量所述至少一个第一特征坐标值与所述至少一个第二特征坐标值之间的相似度来测量所述关键点相似度。
在实施例中，所述处理器可以被配置为：计算通过先前进行的电话会议先前获得并存储在所述数据缓存中的多条关键点信息中分别包括的多个特征坐标值之间的差值；按从大到小的顺序列举所计算出的差值；以及基于所列举的差值的顺序，根据分别与多个位置坐标值相对应的身体部位确定优先级。
在实施例中，构成运动的多条关键点信息可以根据运动信息被分类并存储在所述数据缓存中，其中，所述处理器被配置为：接收分别从根据时间流依次获得的多个图像帧中提取的多条关键点信息；测量多条输入的关键点信息与先前存储在所述数据缓存中的所述多条关键点信息之间的相似度；基于所测量的相似度识别与所述多条输入的关键点信息相对应的运动信息；以及从所述数据缓存获得与所识别的运动信息相对应的多个3D人物图像帧。
根据本公开的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机可读存储介质，在其上记录有用于在计算机上执行上述方法的程序。
根据以下详细描述，本公开的其他方面、优点和显著特征将变得对本领域的技术人员而言是清楚的，该详细描述结合附图公开了本公开的各种实施例。
附图说明
根据结合附图进行的以下描述，本公开的某些实施例的上述及其他方面、特征和优点将更清楚，在附图中：
图1是示出了根据本公开的实施例的网络中的多接入边缘计算(MEC)技术的示意图。
图2是用于描述根据本公开的实施例的边缘数据网络和用户设备中的每一者的模块的结构及其中的数据发送和接收的图。
图3是用于描述根据本公开的实施例的边缘数据网络与用户设备之间的运行方法的图。
图4是示出了根据本公开的实施例的边缘数据网络的组件的框图。
图5是示出了根据本公开的实施例的运行方法的图，在所述运行方法中根据本公开的实施例的边缘数据网络基于关键点相似度和观察点相似度来向第二用户设备提供存储在数据缓存中的3D人物图像。
图6是根据本公开的实施例的边缘数据网络的操作过程的流程图。
图7示出了根据本公开的实施例的由边缘数据网络执行的测量关键点相似度的方法。
图8是根据本公开的实施例的由边缘数据网络执行的测量关键点相似度的方法的流程图。
图9是用于描述由根据本公开的实施例的边缘数据网络确定的、关键点信息中包括的多个特征坐标值的优先级的图。
图10是根据本公开的实施例的由边缘数据网络执行的基于关键点信息中包括的多个特征坐标值的优先级确定关键点相似度的方法的流程图。
图11是根据本公开的实施例的由边缘数据网络执行的测量以运动为单位存储在数据缓存中的多个关键点信息与多条输入的关键点信息之间的相似度、并且基于所测量的相似度向第二用户设备提供3D人物图像的方法。
图12是根据本公开的实施例的由边缘数据网络执行的测量以运动为单位存储在数据缓存中的多个关键点信息与多条输入的关键点信息之间的相似度、并且基于所测量的相似度向第二用户设备提供3D人物图像的方法的流程图。
图13是示出了根据本公开的实施例的由边缘数据网络执行的通过使用与每个身体部位相对应的图像来渲染3D人物图像的方法的图。
图14是用于描述根据本公开的实施例的边缘数据网络和用户设备中的每一者的模块的结构及其中的数据发送和接收的图。
在整个附图中，相似的附图标记将被理解为指相似的部分、组件和结构。
具体实施方式
提供参照附图的以下描述来帮助全面理解如由权利要求及其等同形式所限定的本公开的各种实施例。它包括各种特定细节以帮助该理解，但是这些细节应被视为仅仅示例性的。因此，本领域的普通技术人员将认识到，在不背离本公开的范围和精神的情况下，能够对本文描述的各种实施例做出各种改变和修改。另外，为了清楚和简明，可以省略公知功能和构造的描述。
以下描述和权利要求中使用的术语和单词不限于书面含义，而是仅仅由本发明人使用来实现本公开的清楚且一致的理解。因此，对本领域的技术人员而言应当清楚的是，本公开的各种实施例的以下描述是仅出于说明目的而提供的，而不是为了限制如由所附权利要求及其等同形式所限定的公开内容而提供的。
应当理解，除非上下文另外清楚地规定，否则单数形式“一”、“一个”和“该”包括复数指代。因此，例如，对“组件表面”的引用包括对一个或更多个此类表面的引用。
在整个公开中，表述“a、b或c中的至少一者”表示仅a、仅b、仅c、a和b二者、a和c二者、b和c二者、a、b和c中的全部、或它们的变化。
出于相同原因，在附图中，每个组成元素被夸大、省略或示意性地示出。另外，每个组成元素的大小不完全地反映实际大小。相同或对应的那些组件被渲染有相同的附图标记，而不管图号如何。
参照在下面参照附图详细地描述的本公开的实施例，本公开的优点和特征以及实现这些优点和特征的方法将变得清楚。然而，本公开可以以许多不同的形式体现，而不应当被解释为限于本文阐述的实施例；相反，这些实施例被提供为使得本公开将是彻底且完整的，并且会将本公开的构思充分地传达给本领域的技术人员。在权利要求中仅限定本公开的范围。在整个说明书中，相似的附图标记或字符指相似的元素。
应理解，可以通过计算机程序指令来实现流程图图示的每个块和流程图图示中的各块的组合。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器，使得经由该计算机或其他可编程数据处理设备的处理器执行的指令生成用于执行流程图块中指定的功能的手段。这些计算机程序指令也可以被存储在计算机可用或计算机可读存储器中，该计算机可用或计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定方式起作用，使得存储在该计算机可用或计算机可读存储器中的指令产生包括执行流程图块中指定的功能的指令手段的制品。计算机程序指令也可以被加载到计算机或其他可编程数据处理设备上，以使得在该计算机或其他可编程数据处理设备上执行一系列操作以产生计算机可执行过程，使得在该计算机或其他可编程数据处理设备上执行的指令提供用于实现流程图块中指定的功能的操作。
另外，每个块可以表示代码的模块、段或部分，所述代码包括用于实现指定的逻辑功能的一个或更多个可执行指令。还应当注意，在一些替代实现方式中，各块中指出的功能可以不按所呈现的顺序发生。例如，根据所涉及的功能，实际上可以基本上并发地执行相继示出的两个块，或者有时可以按相反顺序执行各块。
在本公开中，诸如“……单元”、“……模块”等的术语指执行至少一个功能或操作的单元，并且可以将单元作为硬件或软件或者作为硬件和软件的组合来实现。然而，“……单元”或“……模块”不限于软件或硬件。术语“……单元”或“……模块”可以被配置为被包括在可寻址存储介质中或者再现一个或更多个处理器。因此，根据实施例，作为示例，术语“……单元”或“……模块”可以包括面向对象的软件组件、类组件和任务组件、以及进程、函数、属性、过程、子例程、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。
在本公开中，“用户设备”指由用户使用的电子装置。用户设备可以指例如用户设备(UE)、移动站、用户站、远程用户设备、无线用户设备或用户装置。根据本公开的实施例，“用户设备”可以指显示三维(3D)人物图像以使得进行增强现实(AR)远程呈现的电子装置。
在本公开中，“边缘数据网络”可以指由用户设备接入以使用移动边缘计算服务的服务器。在实施例中，可以将边缘数据网络称为MEC主机、边缘计算服务器、移动边缘主机、边缘计算平台、MEC服务器等。
在本公开中，“图像帧”是运动图片或视频中包括的静止图像的单元。
在本公开中，“三维人物图像”指示了用户的外貌、动作或运动的图像，并且可以是化身图像、卡通人物图像或表情符号图像中的至少一者。
图1是示出了根据本公开的实施例的网络中的多接入边缘计算(MEC)技术的示意图。
参照图1，本公开的网络环境100可以包括边缘数据网络1000、用户设备2000、远程服务器3000和接入网络(AN)4000。然而，网络环境100中包括的配置不限于此。
根据实施例，网络环境100中包括的每个组件可以指物理实体单元或能够执行单独的功能的软件单元或模块单元。
根据实施例，接入网络4000可以为边缘数据网络1000与用户设备2000之间的无线通信提供信道。例如，接入网络4000可以指无线接入网络(RAN)、基站、eNodeB(eNB)、第五代(5G)节点、发送/接收点(TRP)或第五代NodeB(5GNB)。
根据实施例，边缘数据网络1000可以指用户设备2000接入来使用MEC服务的服务器。边缘数据网络1000可以安装在地理上与用户设备2000相邻的位置处，例如，在基站内部或附近。根据实施例，边缘数据网络1000可以在不经过外部数据网络(DN)(例如，因特网)的情况下向用户设备2000发送数据或者从用户设备2000接收数据。在实施例中，可以将MEC称为多接入边缘计算或移动边缘计算。
根据实施例，可以将边缘数据网络1000称为MEC主机、边缘计算服务器、移动边缘主机、边缘计算平台、MEC服务器等。为了方便，在本公开中，在下面将MEC服务器称为边缘数据网络1000。参照图1，边缘数据网络1000可以包括第一边缘应用1312、第二边缘应用1314和边缘使能器服务器(或MEP(MEC平台)1316。边缘使能器服务器1316可以是在边缘数据网络1000中提供MEC服务或者执行业务控制的配置，并且将被稍后详细地描述。
根据实施例，边缘数据网络1000可以执行多个应用。例如，边缘数据网络1000可以执行第一边缘应用1312和第二边缘应用1314。根据实施例，边缘应用可以指由第三方在提供了MEC服务的边缘数据网络中提供的应用，并且可以被称为边缘应用。可以在与应用客户端建立数据会话以发送或接收与应用客户端相关的数据时使用边缘应用。也就是说，边缘应用可以与应用客户端建立数据会话。根据实施例，数据会话可以指为用户设备2000的应用客户端和边缘数据网络1000的边缘应用建立用于发送或接收数据的通信路径。
根据实施例，可以将边缘数据网络1000的应用称为MEC应用(MEC App)、ME(MEC)App、边缘应用服务器或边缘应用。为了方便，现在将边缘数据网络1000的应用称为边缘应用。这里，虽然将边缘应用描述为“应用”，但是边缘应用可以指存在于边缘数据网络中的应用服务器。
根据本公开的实施例，当在用户设备2000上执行第一应用客户端2312或第二应用客户端2314时，用户设备2000可以经由接入网络4000接入边缘数据网络1000以发送或接收用于执行边缘应用的数据。
根据实施例，用户设备2000可以指由用户使用的装置。例如，用户设备2000可以包括终端、用户设备(UE)、移动站、用户站、远程用户设备、无线用户设备或用户装置。
根据实施例，用户设备2000可以指显示3D人物图像以使得执行增强现实远程呈现(AR远程呈现)的电子装置。用户设备2000可以是例如包括以下至少一者的移动装置：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式个人计算机(PC)、膝上型个人计算机(PC)、上网本计算机、工作站、个人数字助理(PDA)、便携式多媒体播放器(PMP)、移动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗装置或可穿戴装置。然而，本公开不限于此，并且用户设备2000可以是为虚拟现实、增强现实或混合现实提供内容的头戴式显示器(HMD)或虚拟现实头盔(VRH)。
参照图1，用户设备2000可以包括第一应用客户端(或应用客户端)2312、第二应用客户端2314和边缘使能器客户端(或MEC使能层(MEL))2316。用户设备2000可以通过使用边缘使能器客户端2316来执行所需操作以使用MEC服务。将稍后描述边缘使能器客户端2316的详细描述。
根据实施例，用户设备2000可以执行多个应用。例如，用户设备2000可以执行第一应用客户端2312和第二应用客户端2314。多个应用可以基于以下中的至少一者要求彼此不同的网络服务：所需数据传输速率、时延(或延迟速率)、可靠性、接入网络的用户设备的数目、网络接入时段或用户设备2000的平均数据使用率。不同的网络服务可以包括例如增强型移动宽带(eMBB)、超可靠和低时延通信(URLLC)或大规模机器类型通信(mMTC)。
用户设备2000的应用客户端可以指预先安装在用户设备2000中的基本应用或由第三方提供的应用。也就是说，用户设备2000的应用客户端可以指在用户设备2000中运行的特定应用服务的客户端应用。可以在用户设备2000中运行若干应用客户端。这些应用客户端中的至少一个应用客户端可以使用从边缘数据网络1000提供的服务。例如，应用客户端可以是在用户设备2000中安装和执行的应用，并且可以提供通过边缘数据网络1000发送和接收数据的功能。用户设备2000的应用客户端可以指在用户设备2000上运行以便使用由一个或更多个特定边缘应用提供的功能的应用软件。
根据实施例，用户设备2000的多个应用2312和2314可以基于所需网络服务类型与远程服务器3000执行数据传输，或者基于边缘计算与边缘数据网络1000执行数据传输。例如，当第一应用客户端2312不请求低时延时，第一应用客户端2312可以与远程服务器3000执行数据传输。作为另一示例，当第二应用客户端2314请求低时延时，第二应用客户端2314可以与边缘数据网络1000执行基于MEC的数据传输。
根据实施例，可以将用户设备2000的应用称为应用客户端、客户端应用(客户端App)或UE应用(UE App)。为了方便，以下，在本公开中，用户设备2000的应用被称为应用客户端。
根据实施例，远程服务器3000可以提供与应用相关的内容。例如，远程服务器3000可以由内容提供商进行管理。根据实施例，远程服务器3000可以经由外部数据网络(DN)(例如，因特网)向用户设备2000发送数据或者从用户设备2000接收数据。
尽管在图1中未示出，但是在接入网络4000与边缘数据网络1000之间可以存在核心网络(CN)和数据网络(DN)。根据实施例，数据网络可以通过经由核心网络和接入网络4000向用户设备2000发送数据(或数据分组)或者从用户设备2000接收数据(或数据分组)来提供服务(例如，因特网服务、IP多媒体子系统(IMS)服务)。例如，数据网络可以由通信提供商进行管理。在实施例中，边缘数据网络1000可以通过数据网络(例如，本地DN)连接到接入网络4000或核心网络。
图2是用于描述根据本公开的实施例的网络环境中的边缘数据网络和用户设备之间的操作过程的示意视图。
参照图2，网络环境110可以包括第一边缘数据网络1000a、第二边缘数据网络1000b、第一用户设备2000a和第二用户设备2000b。然而，网络环境110的配置不限于图2中示出的那些配置。根据本公开的实施例，网络环境110中包括的每个组件可以指物理实体单元或能够执行单独的功能的软件单元或模块单元。
第一用户设备2000a和第二用户设备2000b可以经由第一边缘数据网络1000a和第二边缘数据网络1000b执行通信。例如，第一用户设备2000a和第二用户设备2000b可以经由第一边缘数据网络1000a和第二边缘数据网络1000b进行电话会议，进行视频呼叫，或者递送在线讲座。
在实施例中，当第一用户设备2000a和第二用户设备2000b进行电话会议时，第一用户设备2000a可以是由执行运动或动作的第一用户使用的用户设备，第二用户设备2000b可以是显示了示出第一用户的外貌、运动或动作的三维(3D)人物图像的用户设备。第二用户可以经由第二用户设备2000b观察第一用户的3D人物图像。在这种情况下，第一用户设备2000a可以是行动者装置，第二用户设备2000b可以是观察者装置。然而，本公开不限于此。
第一用户设备2000a可以包括相机2110和网络接口2410。图1仅示出了第一用户设备2000a的一些组件，并且第一用户设备2000a不仅包括相机2110和网络接口2410。
第一用户设备2000a可以执行例如能够进行电话会议的应用客户端。在这种情况下，由第一用户设备2000a执行的应用客户端可以是第一边缘数据网络1000a和第二边缘数据网络1000b可以向其提供服务的电话会议应用。通过执行应用客户端，第一用户设备2000a可以通过使用相机2110来捕获第一用户的图像并且获得行动者图像。第一用户设备2000a可以向网络接口2410提供使用相机2110获得的行动者图像。
第一用户设备2000a可以通过使用网络接口2410来向第一边缘数据网络1000a发送行动者图像。在实施例中，第一用户设备2000a可以拍摄与第一用户的外貌、动作或运动相关的运动图片或视频，并且向第一边缘数据网络1000a依次发送所拍摄的运动图片或视频中包括的多个行动者图像。在实施例中，第一用户设备2000a可以向第一边缘数据网络1000a发送以下信息中的至少一者以及行动者图像：第一用户设备2000a的用户设备标识信息(例如，装置id)、第一用户的标识信息(例如，用户id)、正在运行的应用客户端的信息、以及电话会议室的标识信息(例如，会议室位置信息、会议室标识号等)。
第一边缘数据网络1000a可以从第一用户设备2000a接收行动者图像，并且通过使用关键点提取模块1320来从行动者图像中提取多个特征点的特征坐标值。“多个特征点”可以是行动者图像中指示与第一用户的身体部位、姿态或骨骼结构相关的特征的点。可以从例如诸如人体的面部、肩部、臂、大腿和小腿的身体部位或骨骼结构的特征中提取多个特征点。
关键点提取模块1320是被配置为通过使用特征点提取算法来从行动者图像中提取多个特征点并且输出包括所述多个特征点的关键点信息的模块。关键点提取模块1320可以通过使用例如诸如以下特征点提取算法或者通过使用机器学习来从行动者图像中提取多个特征点：尺度不变特征变换(Scale Invariant Feature Transform，SIFT)、加速段测试获得特征(Features from Accelerated Segment Test，FAST)、基于加速段测试的自适应通用角点检测(Adaptive and Generic corner detection based on the AcceleratedSegment Test，AGAST)、或二元鲁棒独立基本特征(Binary robust independentelementary features，Brief)。“关键点信息”可以包括关于多个提取的特征点中的每一个特征点的多个三维位置坐标值的信息。
关键点提取模块1320可以向网络接口1110提供包括关于多个特征点的信息的关键点信息。
第一边缘数据网络1000a通过使用网络接口1110来向第二边缘数据网络1000b发送关键点信息。
第二用户设备2000b获得观察点信息。“观察点信息”是关于在三维虚拟空间中经由虚拟相机观察通过第二用户设备2000b的显示器2620显示的3D人物图像的虚拟观察点的信息。观察点信息可以包括指示了虚拟相机观察3D人物图像的位置和方向的虚拟位置坐标值信息。
在实施例中，第二用户设备2000b可以通过使用相机2120来捕获第二用户、第二用户所在的会议室的墙壁、或物体的图像，并且可以通过使用所捕获的图像和使用传感器2520获得的感测信息来将第二用户的位置与三维虚拟空间联系起来。例如，第二用户设备2000b可以通过使用同时定位和映射(SLAM)技术来用真实位置的位置信息来映射三维虚拟空间并且设置与用户的位置相映射的3D人物图像(例如，化身图像)的位置。
传感器2520可以包括例如全球定位系统(GPS)传感器、陀螺仪传感器、加速度传感器和惯性测量单元(IMU)中的至少一者。在实施例中，第二用户设备2000b可以，基于使用传感器2520获得的感测信息，通过基于第二用户的位置和3D人物图像的位置来计算出三维位置坐标值，来获得观察点信息。
第二用户设备2000b经由网络接口2420向第二边缘数据网络1000b发送所获得的观察点信息。在实施例中，第二用户设备2000b可以向第二边缘数据网络1000b发送其他信息以及观察点信息。在实施例中，第二用户设备2000b可以向第二边缘数据网络1000b发送以下信息中的至少一者：第二用户设备2000b的用户设备标识信息(例如，装置id)、第二用户的标识信息(例如，用户id)、由第二用户设备2000b运行的应用客户端的信息、以及电话会议室的标识信息(例如，会议室位置信息、会议室标识号等)。
参照图2，第二用户设备2000b被示出为通过使用网络接口2420来向第二边缘数据网络1000b发送观察点信息，但是本公开的实施例不限于此。根据另一实施例，第二用户设备2000b可以向第二边缘数据网络1000b发送通过使用相机2120来捕获第二用户的图像所获得的图像和通过传感器2520获得的感测信息。在这种情况下，第二边缘数据网络1000b可以从自第二用户设备2000b接收到的图像和感测信息来获得观察点信息。例如，第二边缘数据网络1000b可以通过使用SLAM技术来从图像和感测信息获得观察点信息。
第二边缘数据网络1000b可以包括网络接口1120、3D人物图像生成模块1330和数据缓存1360。然而，第二边缘数据网络1000b中包括的组件不限于图2中示出的那些组件。
第二边缘数据网络1000b可以经由网络接口1120从第一用户设备2000a接收关键点信息并且从第二用户设备2000b接收观察点信息。网络接口1120将关键点信息和观察点信息提供给3D人物图像生成模块1330。
3D人物图像生成模块1330是被配置为基于关键点信息和观察点信息来生成表示第一用户的外貌、动作或运动的3D人物图像的模块。这里，“3D人物图像”可以是由三维图像、卡通人物图像或表情符号图像组成的化身图像。3D人物图像生成模块1330可以包括渲染模块1340和相似度确定模块1350。
渲染模块1340是被配置为通过使用从第一边缘数据网络1000a接收到的关键点信息和从第二用户设备2000b接收到的观察点信息来渲染3D人物图像的模块。在实施例中，渲染模块1340可以通过调整关键点信息中包括的多个特征坐标值的大小并且调整关键点信息中包括的多个特征坐标值的尺度来渲染预设大小的3D人物图像。在实施例中，渲染模块1340可以基于观察点信息中包括的用于观察3D人物图像的虚拟观察点信息来确定显示3D人物图像的位置和方向，并且根据所确定的位置和方向来渲染要显示的3D人物图像。
在实施例中，渲染模块1340可以将所渲染的3D人物图像存储在数据缓存1360中。
数据缓存1360是第二边缘数据网络1000b中包括的缓冲存储器。数据缓存1360可以以缓存的形式存储关键点信息1362、观察点信息1364和3D人物图像1366。“缓存”指先前从数据提供设备(例如，用户设备或边缘数据网络)获得数据并存储该数据的技术。在实施例中，数据缓存1360可以将关键点信息1362、观察点信息1364和3D人物图像1366存储为键-值类型。也就是说，存储在数据缓存1360中的3D人物图像1366可以是值，并且可以是基于关键点信息1362和观察点信息1364中包括的键而生成的图像。
数据缓存1360可以根据预设数目的逻辑索引对观察点信息进行分类并存储该观察点信息。例如，数据缓存1360可以将观察点信息中包括的数据分类成12或27个逻辑索引并且通过归一化经分类的逻辑索引来存储数据。
在实施例中，数据缓存1360可以根据LRU策略(最近最少使用策略)来去除最长时间未使用的数据并存储新输入的数据。
相似度确定模块1350是被配置为进行以下操作的模块：通过将先前存储在数据缓存1360中的关键点信息1362和观察点信息1364分别与从第一边缘数据网络1000a接收到的关键点信息和从第二用户设备2000b接收到的观察点信息进行比较来测量关键点相似度和观察点相似度，并且确定是否向第二用户设备2000b提供缓存的3D人物图像。相似度确定模块1350可以包括相似度测量模块1352和比较模块1354。
相似度测量模块1352是被配置为通过将从第一边缘数据网络1000a接收到的关键点信息和从第二用户设备2000b接收到的观察点信息分别与先前存储在数据缓存1360中的关键点信息1362和观察点信息1364进行比较来测量关键点相似度和观察点相似度的模块。在实施例中，相似度测量模块1352可以通过使用欧几里德距离或余弦相似度测量方法来在从第一边缘数据网络1000a接收到的关键点信息和先前存储在数据缓存1360中的关键点信息1362中分别包括的多个特征坐标值当中测量关键点相似度。在实施例中，相似度测量模块1352可以通过将从第二用户设备2000b接收到的观察点信息中包括的数值与存储在数据缓存1360中的观察点信息1364中包括的数值进行比较来测量观察点相似度。
比较模块1354是被配置为将使用相似度测量模块1352测量的关键点相似度和观察点相似度与预设阈值进行比较的模块。比较模块1354可以分别将关键点相似度与预设第一阈值α进行比较并且将观察点相似度与预设第二阈值β进行比较。
在实施例中，当关键点相似度大于第一阈值α并且观察点相似度大于第二阈值β时，比较模块1354可以确定所接收到的关键点信息与先前存储在数据缓存1360中的关键点信息1362相似，并且所接收到的观察点信息与先前存储在数据缓存1360中的观察点信息1364相似。在这种情况下，比较模块1354可以访问数据缓存1360以识别与关键点信息1362和观察点信息1364关联地缓存在数据缓存1360中的3D人物图像1366。3D人物图像生成模块1330可以读出所识别的3D人物图像1366并且将所读出的3D人物图像1366提供给网络接口1120。第二边缘数据网络1000b可以通过使用网络接口1120来向第二用户设备2000b发送3D人物图像。
在实施例中，当关键点相似度等于或小于第一阈值α或者观察点相似度等于或小于第二阈值β时，比较模块1354可以确定所接收到的关键点信息与先前存储在数据缓存1360中的关键点信息1362不相似，并且所接收到的观察点信息与先前存储在数据缓存1360中的观察点信息1364不相似。在这种情况下，比较模块1354可以将从第一边缘数据网络1000a接收到的关键点信息和从第二用户设备2000b接收到的观察点信息提供给渲染模块1340。渲染模块1340可以通过使用所提供的关键点信息和观察点信息来渲染3D人物图像。第二边缘数据网络1000b可以通过使用网络接口1120来向第二用户设备2000b发送所渲染的3D人物图像。
第二用户设备2000b可以经由网络接口2420从第二边缘数据网络1000b接收3D人物图像并且将所接收到的3D人物图像显示在显示器2620上。
在经由第一用户设备2000a和第二用户设备2000b进行的增强现实远程呈现中，可以经由第二用户设备2000b的显示器2620显示示出了第一用户的外貌、动作或运动的3D人物图像。在一般会议中，人的运动不频繁且不大，并且在许多情况下，某些动作是经常重复的。在根据相关技术的增强现实远程呈现中，边缘数据网络通过基于从通过使用第一用户设备2000a的相机2110拍摄所获得的行动者图像中提取的关键点信息和与第二用户观察第二用户设备2000b的观察点相关的观察点信息对所有图像帧重复地执行渲染来生成3D人物图像，因此，由于重复性渲染处理，消耗了大量计算能力并且其处理时间较长。
在本公开的实施例中，第二边缘数据网络1000b将从第一边缘数据网络1000a获得的关键点信息和从第二用户设备2000b获得的观察点信息分别与存储在数据缓存1360中的关键点信息1362和观察点信息1364进行比较，测量关键点相似度和观察点相似度，并且当所测量的关键点相似度和所测量的观察点相似度大于预设阈值时，第二边缘数据网络1000b不执行渲染，而是读出所缓存的3D人物图像1366并将其提供给第二用户设备2000b，从而防止重复性渲染。因此，根据本公开的第二边缘数据网络1000b可以节省计算能力并缩短处理时间。
另外，在本公开的实施例中，第一用户设备2000a可以向布置在地理上与其相邻的位置处的第一边缘数据网络1000a发送数据或者从布置在地理上与其相邻的位置处的第一边缘数据网络1000a接收数据，而第二用户设备2000b可以向布置在地理上与其相邻的位置处的第二边缘数据网络1000b发送数据或者从布置在地理上与其相邻的位置处的第二边缘数据网络1000b接收数据，因此，第一用户设备2000a和第二用户设备2000b可以通过使用MEC方法并在不经过外部数据网络的情况下向彼此发送数据或者从彼此接收数据。特别地，在地理上彼此相邻的第一用户设备2000a与第一边缘数据网络1000a之间发送诸如行动者图像的相对较大的文件，而在地理上彼此相距甚远的第一边缘数据网络1000a与第二边缘数据网络1000b之间发送诸如关键点信息的相对较小的文件，因此，可以高效地发送数据并且也可以减少使用网络的成本方面的负担。在根据本公开的实施例的网络环境110中，与第一用户设备2000a和第二用户设备2000b通过使用外部数据网络(例如，因特网网络)来向云服务器发送数据或者从云服务器接收数据的情况相比，可以减少时延并且可以加快处理速度，因此，可以实时地实现诸如电话会议的应用客户端。
图3是用于描述根据本公开的实施例的边缘数据网络与用户设备之间的运行方法的图。
参照图3，在操作S310中，第一用户设备2000a可以通过捕获第一用户的图像来获得行动者图像。在实施例中，第一用户设备2000a可以执行应用客户端，并且可以通过使用相机来拍摄第一用户的外貌、动作或运动的运动图片或视频，以及获得所拍摄的运动图片或视频中包括的多个行动者图像。
在操作S312中，第一用户设备2000a向第一边缘数据网络1000a发送行动者图像和第一用户设备2000a的标识信息(例如，装置id)。在实施例中，第一用户设备2000a可以向第一边缘数据网络1000a依次发送多个行动者图像。在实施例中，第一用户设备2000a不仅可以向第一边缘数据网络1000a发送多个行动者图像和第一用户设备2000a的用户设备标识信息，还可以发送关于以下信息中的至少一者的信息：第一用户的标识信息(例如，用户id)、由第一用户设备2000a运行的应用客户端的信息、以及电话会议室的标识信息(例如，会议室位置信息、会议室标识号等)。
在操作S320中，第一边缘数据网络1000a从行动者图像中提取多个特征点的关键点信息。“多个特征点”可以是行动者图像中指示与第一用户的身体部位、姿态或骨骼结构相关的特征的点。可以从例如诸如人体的面部、肩部、臂、大腿和小腿的身体部位的特征或骨骼结构的特征中提取多个特征点。第一边缘数据网络1000a可以通过使用特征点提取算法来从行动者图像中提取多个特征点并且输出包括所述多个特征点的关键点信息。第一边缘数据网络1000a可以通过使用例如诸如以下特征点提取算法或者通过使用机器学习来从行动者图像中提取多个特征点：尺度不变特征变换(SIFT)、加速段测试获得特征(FAST)、基于加速段测试的自适应通用角点检测)、或二元鲁棒独立基本特征(Brief)。“关键点信息”可以包括关于多个提取的特征点中的每一个特征点的多个三维位置坐标值的信息。
在操作S322中，第一边缘数据网络1000a向第二边缘数据网络1000b发送关键点信息和第一用户设备2000a的标识信息(例如，装置id)。在实施例中，第一边缘数据网络1000a可以向第二边缘数据网络1000b发送以下信息中的至少一者：第一用户的标识信息、由第一用户设备运行的应用客户端的信息、以及关于远程会议室的信息。
在操作S330中，第二用户设备2000b通过使用传感器来获得第二用户的观察点信息。“观察点信息”是关于在三维虚拟空间中经由虚拟相机观察由第二用户设备2000b显示的3D人物图像(例如，化身图像)的虚拟观察点的信息。观察点信息可以包括指示虚拟相机观察3D人物图像的位置和方向的虚拟位置坐标值信息。
在实施例中，第二用户设备2000b可以通过使用相机来捕获第二用户、第二用户所在的会议室的墙壁、或物体的图像，并且可以通过使用所捕获的图像和使用传感器获得的感测信息来将第二用户的位置与三维虚拟空间联系起来。例如，第二用户设备2000b可以通过使用SLAM(同时定位和映射)技术来映射真实位置的位置信息与映射三维虚拟空间并且设置与用户的位置映射的3D人物图像(例如，化身图像)的位置。感测信息指通过使用例如GPS传感器、陀螺仪传感器、加速度传感器和惯性测量单元(IMU)中的至少一者执行的感测所获得的信息。在实施例中，第二用户设备2000b可以，基于感测信息，通过相对于第二用户的位置和3D人物图像的位置计算出三维位置坐标值来获得观察点信息。
在操作S332中，第二用户设备2000b向第二边缘数据网络1000b发送观察点信息和第二用户设备2000b的标识信息(例如，装置id)。在实施例中，第二用户设备2000b不仅可以向第二边缘数据网络1000b发送观察点信息和第二用户设备2000b的标识信息，还可以发送关于以下信息中的至少一者的信息：第二用户的标识信息(例如，用户id)、由第二用户设备2000b运行的应用客户端的信息、以及电话会议室的标识信息(例如，会议室位置信息、会议室标识号等)。
虽然操作S322和操作S332被说明为被在时间上同时地执行，但这是示例，并且本公开不限于此。例如，可以在操作S332之前执行操作S322，或者可以在操作S322之前执行操作S332。也就是说，第二边缘数据网络1000b可以首先从第一边缘数据网络1000a接收关键点信息或者首先从第二用户设备2000b接收观察点信息。在这种情况下，第二边缘数据网络1000b可以在请求队列中临时存储来自关键点信息和观察点信息当中的较早地接收到的数据。在实施例中，通过在请求队列中临时存储关键点信息和观察点信息，即使当关键点信息和观察点信息是在不同的时间点接收到，第二边缘数据网络1000b也可以使关键点信息和观察点信息彼此同步。
在操作S340中，第二边缘数据网络1000b可以通过分别将所获得的关键点信息和观察点信息与先前存储在数据缓存中的关键点信息和观察点信息进行比较来测量关键点相似度和观察点相似度。第二边缘数据网络1000b可以包括被配置有正在缓存关键点信息和观察点信息的缓冲存储器的数据缓存。“缓存”指先前从数据提供设备(例如，用户设备或边缘数据网络)获得数据并存储该数据的技术。在实施例中，在数据缓存中，可以将关键点信息、观察点信息和3D人物图像存储为键-值类型。这里，“3D人物图像”可以是由三维图像、卡通人物图像或表情符号图像组成的化身图像。
第二边缘数据网络1000b可以通过将缓存在数据缓存中的关键点信息和观察点信息分别与从第一边缘数据网络1000a获得的关键点信息和从第二用户设备2000b获得的观察点信息进行比较来测量关键点相似度和观察点相似度。例如，第二边缘数据网络1000b可以通过使用欧几里德距离或余弦相似度测量方法来测量从第一边缘数据网络1000a接收到的关键点信息与缓存在数据缓存中的关键点信息之间的相似度。在实施例中，第二边缘数据网络1000b可以测量从第二用户设备2000b接收到的观察点信息中包括的数值与缓存在数据缓存中的观察点信息中包括的数值之间的相似度。
在操作S350中，第二边缘数据网络1000b将所测量的关键点相似度与预设第一阈值α进行比较，并且将所测量的观察点相似度与预设第二阈值β进行比较。
作为比较的结果，当在操作S360中关键点相似度大于第一阈值α并且观察点相似度大于第二阈值β时，第二边缘数据网络1000b从数据缓存中识别所缓存的3D人物图像。在操作S360中，第二边缘数据网络1000b可以确定从第一边缘数据网络1000a获得的关键点信息与缓存在数据缓存中的关键点信息相似，并且从第二用户设备2000b获得的观察点信息与缓存在数据缓存中的观察点信息相似。在这种情况下，第二边缘数据网络1000b可以访问数据缓存以在多个缓存的3D人物图像当中识别与关键点信息和观察点信息关联地缓存的3D人物图像。
在操作S362中，第二边缘数据网络1000b向第二用户设备2000b发送所缓存的3D人物图像。在实施例中，第二边缘数据网络1000b可以从数据缓存读出在操作S360中识别的3D人物图像，并且向第二用户设备2000b发送所读出的3D人物图像。
作为比较的结果，当在操作S370中关键点相似度等于或小于第一阈值α或者观察点相似度等于或小于第二阈值β时，第二边缘数据网络1000b通过使用关键点信息和观察点信息来渲染3D人物图像。在操作S370中，第二边缘数据网络1000b可以确定从第一边缘数据网络1000a获得的关键点信息与缓存在数据缓存中的关键点信息不相似，并且从第二用户设备2000b获得的观察点信息与缓存在数据缓存中的观察点信息不相似。在这种情况下，第二边缘数据网络1000b可以通过使用从第一边缘数据网络1000a获得的关键点信息和从第二用户设备2000b获得的观察点信息来渲染3D人物图像。
在操作S372中，第二边缘数据网络1000b向第二用户设备2000b发送所渲染的3D人物图像。
在操作S380中，第二用户设备2000b显示3D人物图像。
图4是示出了根据本公开的实施例的边缘数据网络的组件的框图。
参照图4，边缘数据网络1000可以包括网络接口1100、处理器1200和存储器1300。然而，边缘数据网络1000的组件不限于图4中示出的那些组件。例如，边缘数据网络1000可以包括比示出的组件更多的组件或更少的组件。此外，可以以单个芯片的形式实现网络接口1100、处理器1200和存储器1300。
网络接口1100可以向以下外部装置发送信号或者从以下外部装置接收信号：例如，用户设备、接入网络、远程服务器或3GPP网络。向外部装置发送或从外部装置接收的信号可以包括控制信息和数据。网络接口1100可以包括用于对发送的信号的频率进行上变频和放大的RF发送器，以及用于对接收到的信号执行低噪声放大并对所接收到的信号的频率进行下变频的RF接收器。然而，网络接口1100不限于上述示例。网络接口1100可以通过使用包括无线局域网(LAN)、Wi-Fi、Wi-Fi直连(WFD)和无线千兆联盟(WiGig)的至少一种无线数据通信方法来向外部装置发送信号或者从外部装置接收信号。网络接口1100可以向处理器1200输出接收到的信号并且向外部装置发送从处理器1200输出的信号。
尽管在附图中未示出，但是网络接口1100可以包括第一网络接口和第二网络接口，所述第一网络接口被配置为向另一边缘数据网络(例如，第一边缘数据网络1000a，参见图2)发送数据或者从另一边缘数据网络接收数据，所述第二网络接口被配置为向用户设备(例如，第二用户设备2000b(参见图2))发送数据或者从用户设备接收数据。
网络接口1100可以通过由处理器1200进行的控制来从外部装置接收关键点信息和观察点信息。在实施例中，网络接口1100中包括的第一网络接口可以从第一边缘数据网络1000a(参照图2)接收第一用户的关键点信息。“关键点信息”可以包括关于从通过第一用户设备2000a(参见图2)拍摄的行动者图像中提取的、表示第一用户的身体部位、姿态或骨骼结构的特性的多个特征点的多个三维位置坐标值。在实施例中，网络接口1100可以从第一用户设备2000a接收以下信息中的至少一者：用户设备的标识信息(例如，装置id)、第一用户的用户标识信息、以及正在运行的应用客户端的信息(例如，会议室位置信息、会议室标识号等)。
网络接口1100中包括的第二网络接口可以从第二用户设备2000b(参见图2)接收观察点信息。“观察点信息”可以包括关于有关经由第二用户设备2000b显示的3D人物图像的虚拟观察点的虚拟位置坐标值的信息。在实施例中，网络接口1100可以从第二用户设备2000b接收以下信息中的至少一者：用户设备的标识信息(例如，装置id)、第二用户的用户标识信息、以及正在运行的应用客户端的信息(例如，会议室位置信息、会议室标识号等)。
处理器1200可以执行存储在存储器1300中的程序的一个或更多个指令。处理器1200可以由执行算术、逻辑和输入/输出操作以及信号处理的硬件组件组成。处理器1200可以由以下中的至少一者组成：例如，中央处理单元、微处理器、神经处理器单元(NPU)、图形处理器、图形处理单元(GPU)、专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)和现场可编程门阵列(FPGA)，但是不限于此。
存储器1300可以由以下中的至少一者组成：例如，闪存类型、硬盘类型、多媒体卡微型、卡型存储器(例如，安全数字(SD)或极限数字(XD)存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘和光盘。
存储器1300可以被存储有程序，该程序包括与执行以下功能或操作相关的指令：获得关键点信息和观察点信息、测量所获得的关键点信息和观察点信息与先前存储在数据缓存1360中的关键点信息和观察点信息之间的相似度、基于所测量的相似度读出缓存在数据缓存1360中的3D人物图像、以及将3D人物图像提供给第二用户设备2000b(参见图2)。存储器1300可以存储可由处理器1200读取的指令、算法、数据结构和程序代码中的至少一者。存储在存储器1300中的指令、算法、数据结构和程序代码可以用例如诸如C、C++、Java、汇编语言等的编程或脚本语言加以实现。
在实施例中，存储器1300可以存储包括操作系统(OS)、中间件或应用客户端的软件。在实施例中，可以将图1中示出的第一应用客户端(例如，第一边缘应用1312)和第二应用客户端(例如，第二边缘应用1314)存储在存储器1300中。
在下面的实施例中，可以通过执行存储在存储器中的程序的指令或程序代码来实现处理器1200。
存储器1300可以包括3D人物图像生成模块1330和数据缓存1360。3D人物图像生成模块1330可以包括渲染模块1340和相似度确定模块1350。存储器1300中包括的多个“模块”指用于处理由处理器1200执行的功能或操作的单元，这些单元可以用诸如指令或程序代码的软件加以实现。
3D人物图像生成模块1330是被配置为基于关键点信息和观察点信息来生成示出了通过第一用户设备2000a(参见图2)获得的第一用户的外貌、动作或运动的3D人物图像的模块。这里，“3D人物图像”可以是由三维图像、卡通人物图像或表情符号图像组成的化身图像。3D人物图像生成模块1330可以包括渲染模块1340和相似度确定模块1350。
渲染模块1340是被配置为基于通过网络接口1100接收到的关键点信息和观察点信息来渲染示出了第一用户的外貌、动作或运动的3D人物图像的模块。在实施例中，处理器1200可以通过使用与渲染模块1340相关的数据或程序代码来通过调整关键点信息中包括的多个特征坐标值的大小并且调整关键点信息中包括的多个特征坐标值的尺度来渲染预设大小的3D人物图像。
处理器1200可以基于用于观察3D人物图像的虚拟观察点信息来确定显示3D人物的位置和方向，其中，虚拟观察点信息被包括在观察点信息中。在实施例中，处理器1200可以将与观察点信息中包括的虚拟观察点信息相关的数据分类成预设数目的逻辑索引，并且根据所分类的逻辑索引来确定显示3D人物的位置和方向。在实施例中，处理器1200可以通过使用渲染模块1340的数据或程序代码来渲染3D人物图像，使得根据所确定的位置和方向来显示3D人物图像。
在实施例中，处理器1200可以基于经由网络接口1100接收到的第一用户的用户标识信息来渲染3D人物图像。例如，处理器1200可以根据用户标识信息对至少一个先前生成的3D人物图像进行分类并将其存储在存储器1300中的存储单元(未示出)中，而且可以基于第一用户的用户标识信息从所存储的至少一个3D人物图像当中选择与第一用户相对应的3D人物图像。处理器1200可以通过使用所选择的3D人物图像根据所接收到的关键点信息和观察点信息来渲染3D人物图像。
处理器1200可以将所渲染的3D人物图像存储在数据缓存1360中。
数据缓存1360是临时存储由处理器1200读取的指令或数据的缓冲存储器，并且可以被配置为非易失性存储器。数据缓存1360可以包括来自以下当中的至少一个非易失性存储器：例如，闪存类型、硬盘类型、多媒体卡微型和卡型存储器(例如，SD或XD存储器等)、磁性存储器、磁盘和光盘。然而，本公开不限于此。
处理器1200可以将所渲染的3D人物图像以及在渲染3D人物图像时使用的关键点信息和观察点信息存储在数据缓存1360中。在实施例中，处理器1200可以将关键点信息1362、观察点信息1364和3D人物图像1366作为键-值类型存储在数据缓存1360中。也就是说，存储在数据缓存1360中的3D人物图像可以是值，并且可以是基于关键点信息和观察点信息而生成的图像。
在实施例中，处理器1200可以在数据缓存1360中以图像帧为单位存储通过使用从第一边缘数据网络1000a(参见图2)接收到的多个关键点信息和从第二用户设备2000b(参见图2)接收到的多个观察点渲染所生成的多个3D人物图像。例如，处理器1200可以在数据缓存1360中存储使用第一关键点信息和第一观察点信息作为第一索引渲染的第一3D人物图像，以及使用第二关键点信息和第二观察点信息作为第二索引渲染的第二3D人物图像。
在实施例中，处理器1200可以将以下信息中的至少一者与渲染的3D人物图像一起存储在数据缓存1360中：第一用户的用户标识信息、有关第一用户的外貌、过去进行的动作、运动、姿态或方向的多条先前获得的关键点信息、用于确定关键点相似度的优先级信息、以及关于电话会议类型的信息。
在实施例中，处理器1200可以通过使用最近最少使用(LRU)策略来去除最长时间未使用的数据并且将新输入的数据存储在数据缓存1360中。
相似度确定模块1350是被配置为进行以下操作的模块：通过将先前存储在数据缓存1360中的关键点信息和观察点信息分别与从第一边缘数据网络1000a接收到的关键点信息和从第二用户设备2000b(参见图2)接收到的观察点信息进行比较来测量关键点相似度和观察点相似度，并且确定要提供给第二用户设备2000b的3D人物图像。相似度确定模块1350可以包括相似度测量模块1352和比较模块1354。
相似度测量模块1352是被配置为通过将从第一边缘数据网络1000a接收到的关键点信息和从第二用户设备2000b接收到的观察点信息分别与先前存储在数据缓存1360中的关键点信息和观察点信息进行比较来测量关键点相似度和观察点相似度的模块。在实施例中，处理器1200可以通过使用与相似度测量模块1352相关的数据或程序代码来测量在从第一边缘数据网络1000a接收到的关键点信息和先前存储在数据缓存1360中的关键点信息中分别包括的多个特征坐标值之间的关键点相似度。在实施例中，处理器1200可以通过使用与相似度测量模块1352相关的数据或程序代码通过将从第二用户设备2000b接收到的观察点信息中包括的虚拟位置坐标值与存储在数据缓存1360中的虚拟位置坐标值进行比较来测量观察点相似度。在实施例中，处理器1200可以通过使用欧几里德距离或余弦相似度测量方法来测量关键点相似度和观察点相似度。
处理器1200可以通过测量先前存储在数据缓存1360中的关键点信息中包括的多个第一特征坐标值当中的至少一个特征坐标值与从第一边缘数据网络1000a输入的关键点信息中包括的多个特征坐标值当中选择的至少一个特征坐标值之间的相似度来测量输入的关键点信息与缓存的关键点信息之间的关键点相似度。在实施例中，处理器1200可以通过以下操作来测量关键点相似度：分别计算根据时间流从第一边缘数据网络1000a连续地输入的多条关键点信息中分别包括的多个特征坐标值当中的差值，并且将计算出的差值超过预设阈值的至少一个特征坐标值与来自缓存在数据缓存1360中的多个特征坐标值当中的对应的特征坐标值进行比较。将参照图7和图8对此进行进一步详细的描述。
处理器1200可以根据预定优先级从自第一边缘数据网络1000a接收到的关键点信息中包括的多个第二特征坐标值当中选择从身体部位中提取的具有最高优先级的至少一个第二特征坐标值。这里，可以基于第一用户的身体部位在经由边缘数据网络1000进行的增强现实远程呈现中的运动或移动的程度和频率来确定“优先级”。在实施例中，可以基于增强现实远程呈现的类型来确定优先级。例如，当增强现实远程呈现是商务会议时，第一用户的身体部位当中的诸如臂、手或面部表情的上身部位的运动的程度可以是相对较大的并且其频率可以高于下身部位的频率。作为另一示例，当增强现实远程呈现与锻炼相关时，运动的程度和频率可以高于商务会议中的运动的程度和频率。
处理器1200可以识别至少一个第一特征坐标值，所述至少一个第一特征坐标值对应于从先前存储在数据缓存1360中的关键点信息中包括的多个第一特征坐标值中选择的至少一个第一特征坐标值。在实施例中，处理器1200可以通过使用相似度测量模块1352来测量至少一个第一特征坐标值与至少一个第二特征坐标值之间的相似度。将参照图9和图10对此进行进一步详细的描述。
处理器1200可以通过测量一些特征坐标值的相似度而不是测量从第一边缘数据网络1000a获得的关键点信息中包括的所有多个第二特征坐标值与缓存在数据缓存1360中的关键点信息中包括的所有多个第一特征坐标值之间的相似度来减少计算量。因此，根据本公开的实施例的处理器1200可以减少计算能力消耗并减少处理时间。
比较模块1354是被配置为将使用相似度测量模块1352测量的关键点相似度和观察点相似度与预设阈值进行比较的模块。处理器1200可以通过使用与比较模块1354相关的数据或程序代码来分别将关键点相似度与预设第一阈值进行比较并且将观察点相似度与预设第二阈值进行比较。
在实施例中，当关键点相似度超过第一阈值并且观察点相似度超过第二阈值时，处理器1200可以确定从第一边缘数据网络1000a接收到的关键点信息与先前存储在数据缓存1360中的关键点信息相似，并且从第二用户设备2000b接收到的观察点信息与先前存储在数据缓存1360中的观察点信息相似。在这种情况下，处理器1200可以访问数据缓存1360以识别出与缓存在数据缓存1360中的关键点信息和观察点信息关联地存储的3D人物图像。处理器1200可以从数据缓存1360读出所识别的3D人物图像并且经由网络接口1100向第二用户设备2000b发送所读出的3D人物图像。
当关键点相似度等于或小于第一阈值或者观察点相似度小于或等于第二阈值时，处理器1200可以确定从第一边缘数据网络1000a接收到的关键点信息与缓存在数据缓存1360中的关键点信息不相似，并且从第二用户设备2000b接收到的观察点信息与缓存在数据缓存1360中的观察点信息不相似。在这种情况下，处理器1200可以将从第一边缘数据网络1000a接收到的关键点信息和从第二用户设备2000b接收到的观察点信息提供给渲染模块1340。处理器1200可以经由渲染模块1340通过使用所提供的关键点信息和观察点信息来渲染3D人物图像。处理器1200可以通过使用网络接口1100来向第二用户设备2000b发送所渲染的3D人物图像。
图5是示出了根据本公开的实施例的运行方法的图，在所述运行方法中边缘数据网络基于关键点相似度和观察点相似度来向第二用户设备提供存储在数据缓存中的3D人物图像。
参照图5，第一用户设备2000a(参见图2)可以通过捕获第一用户的图像来获得多个图像帧i1至in。可以根据时间流依次获得多个图像帧i1至in。多个图像帧i1至in可以构成示出了第一用户的动作或运动的运动图片。
在操作S510中，边缘数据网络1000接收从第一图像帧i1中提取的第一关键点信息。边缘数据网络1000可以从第一边缘数据网络1000a(参见图2)接收第一关键点信息，但是不限于此。第一关键点信息可以包括有关第一图像帧i1中包括的第一用户的多个特征点kp1至kpn的特征坐标值。“多个特征点kp1至kpn”可以是第一图像帧i1中包括的指示与第一用户图像的身体部位、姿态或骨骼结构相关的特征的点。可以从例如诸如人体的面部、肩部、臂、大腿和小腿的身体部位的特征或人体的骨骼结构的特征中提取多个特征点kp1至kpn。
在实施例中，边缘数据网络1000可以包括关键点提取模块1320(参见图2)。在这种情况下，边缘数据网络1000可以从第一用户设备2000a获得多个图像帧i1至in，并且从多个图像帧i1至in当中的第一图像帧i1中提取第一关键点信息。
在操作S512中，边缘数据网络1000获得第一观察点信息。在实施例中，边缘数据网络1000可以从第二用户设备2000b获得第一观察点信息。“第一观察点信息”是关于通过虚拟相机观察经由第二用户设备2000b的显示器2620显示的3D人物图像的虚拟观察点的信息。观察点信息可以包括指示在三维虚拟空间中经由虚拟相机观察3D人物图像的位置和方向的虚拟位置坐标值信息。
在操作S520中，边缘数据网络1000的渲染模块1340通过使用第一关键点信息和第一观察点信息来渲染第一3D人物图像。
在操作S530中，边缘数据网络1000将第一关键点信息、第一观察点信息和所渲染的第一3D人物图像存储在数据缓存1360中。在实施例中，边缘数据网络1000可以将第一关键点信息1362-1、第一观察点信息1364-1和第一3D人物图像1366-1作为键-值类型存储在数据缓存1360中。也就是说，第一关键点信息1362-1和第一观察点信息1364-1可以作为键1360k被存储在数据缓存1360中，基于第一关键点信息1362-1和第一观察点信息1364-1渲染的第一3D人物图像1366-1可以作为值1360v被存储在数据缓存1360中。键1360k和值1360v可以形成一对并且被存储在数据缓存1360中。
在操作S540中，边缘数据网络1000获得从第二图像帧i2中提取的第二关键点信息。
在操作S542中，边缘数据网络1000从第二用户设备2000b获得第二观察点信息。
在操作S550中，边缘数据网络1000通过使用相似度确定模块1350来通过将第二关键点信息与存储在数据缓存1360中的第一关键点信息1362-1进行比较来测量关键点相似度。
在操作S552中，边缘数据网络1000通过使用相似度确定模块1350来通过将第二观察点信息与存储在数据缓存1360中的第一观察点信息1364-1进行比较来测量观察点相似度。
边缘数据网络1000可以分别将关键点相似度与预设第一阈值进行比较并且将观察点相似度与预设第二阈值进行比较。当关键点相似度大于第一阈值并且观察点相似度大于第二阈值时，边缘数据网络1000在操作S570中向第二用户设备2000b提供存储在数据缓存1360中的第一3D人物图像1366-1。
图6是根据本公开的实施例的边缘数据网络的操作过程的流程图。
参照图6，在操作S610中，边缘数据网络1000获得第一关键点信息和第一观察点信息，所述第一关键点信息是从使用第一用户设备2000a(参见图2)捕获的第一用户的第一图像帧中提取到的，所述第一观察点信息包括有关观察经由第二用户设备2000b(参见图2)显示的3D人物图像的虚拟观察点的虚拟位置坐标值。第一关键点信息可以包括与指示有关第一用户的身体部位、姿态或骨骼结构的特征的多个特征点相关的特征坐标值。在实施例中，边缘数据网络1000可以从位于远程的另一边缘数据网络获得第一关键点信息，但是不限于此。
在另一实施例中，边缘数据网络1000可以包括关键点提取模块，并且可以通过使用关键点提取模块来从自第一用户设备2000a(参见图2)获得的第一图像帧中提取第一关键点。在这种情况下，边缘数据网络1000可以通过使用特征点提取算法来从第一图像帧中提取多个特征点并且获得包括所述多个特征点的关键点信息。边缘数据网络1000可以通过使用例如诸如以下特征点提取算法或者通过使用机器学习来从第一图像帧中提取多个特征点：尺度不变特征变换(SIFT)、加速段测试获得特征(FAST)、基于加速段测试的自适应通用角点检测(AGAST)、或二元鲁棒独立基本特征(Brief)。
第一观察点信息是关于在三维虚拟空间中通过虚拟相机观察经由第二用户设备2000b的显示器2620(参见图2)显示的3D人物图像的虚拟观察点的信息。第一观察点信息可以包括指示虚拟相机观察3D人物图像的位置和方向的虚拟位置坐标值信息。
在操作S620中，边缘数据网络1000基于第一关键点信息和第一观察点信息来渲染示出了第一用户的外貌、动作或运动的3D人物图像。在实施例中，边缘数据网络1000可以通过调整关键点信息中包括的多个特征坐标值的大小并且调整关键点信息中包括的多个特征坐标值的尺度来渲染预设大小的3D人物图像。在实施例中，边缘数据网络1000可以基于观察点信息中包括的用于观察3D人物图像的虚拟观察点信息来确定显示3D人物图像的位置和方向，并且根据所确定的位置和方向来渲染要显示的3D人物图像。
在实施例中，边缘数据网络1000可以接收第一用户的用户标识信息，并且基于该用户标识信息，从先前存储在存储器1300(参见图4)中的多个3D人物图像当中选择与第一用户相对应的3D人物图像。在实施例中，边缘数据网络1000可以通过使用所选择的3D人物图像根据第一关键点信息和第一观察点信息来渲染3D人物图像。
在操作S630中，边缘数据网络1000将所渲染的3D人物图像存储在数据缓存中。在实施例中，边缘数据网络1000可以将第一关键点信息、第一观察点信息和3D人物图像作为键-值类型存储在数据缓存1360中。边缘数据网络1000可以将第一关键点信息和第一观察点信息作为键存储在数据缓存1360中并且将所渲染的3D人物图像作为值存储在数据缓存1360中。
在实施例中，边缘数据网络1000可以将以下信息中的至少一者与渲染的3D人物图像一起存储在数据缓存中：第一用户的用户标识信息、有关第一用户的外貌、过去进行的动作、运动、姿态或方向的多条先前获得的关键点信息、用于确定关键点相似度的优先级信息、以及关于电话会议类型的信息。
在操作S640中，边缘数据网络1000获得有关第二图像帧的第二关键点信息和第二观察点信息。第二图像帧是在第一图像帧之后由第一用户设备2000a获得的图像。获得第二关键点信息并且获得第二观察点信息的详细方法与参照操作S610描述的方法相同，因此，将省略重复描述。
在操作S650中，边缘数据网络1000可以通过分别将所获得的第二关键点信息和第二观察点信息与先前存储在数据缓存中的第一关键点信息和第一观察点信息进行比较来测量关键点相似度和观察点相似度。在实施例中，边缘数据网络1000可以通过使用欧几里德距离或余弦相似度测量方法来测量关键点相似度和观察点相似度。
在操作S660中，边缘数据网络1000基于所测量的关键点相似度和观察点相似度来向第二用户设备2000b(参见图2)提供先前存储在数据缓存中的3D人物图像。在实施例中，边缘数据网络1000可以将所测量的关键点相似度与预设第一阈值进行比较并且将所测量的观察点相似度与预设第二阈值进行比较。当关键点相似度大于第一阈值并且观察点相似度大于第二阈值时，边缘数据网络1000可以确定第二关键点信息与先前存储在数据缓存中的第一关键点信息相似，并且第二观察点信息与先前存储在数据缓存中的第一观察点信息相似。在这种情况下，边缘数据网络1000可以访问数据缓存以识别与所缓存的关键点信息和观察点信息关联地缓存的3D人物图像。边缘数据网络1000可以从数据缓存读出所识别的3D人物图像并且经由网络接口1100(参见图4)向第二用户设备2000b发送所读出的3D人物图像。
图7示出了根据本公开的实施例的由边缘数据网络执行的测量关键点相似度的方法。
参照图7，边缘数据网络1000可以根据时间流依次获得包括从行动者图像700中提取的多个特征点P1至Pn的关键点信息710和720。在实施例中，边缘数据网络1000可以从另一边缘数据网络(例如，第一边缘数据网络1000a(参见图2))接收关键点信息710和720，但是不限于此。在实施例中，边缘数据网络1000可以通过从第一用户设备2000a(参见图2)获得行动者图像并且从所获得的行动者图像中提取多个特征点来获得关键点信息710和720。
可以从通过根据时间流连续地捕获用户的图像所获得的多个行动者图像700中的每一个行动者图像中提取第一关键点信息710和第二关键点信息720。第一关键点信息710是在第一时间点t1获得的信息，并且可以包括有关从通过在第一时间点t1记录所获得的行动者图像700中提取的多个特征点P1至Pn的三维位置坐标值710-1至710-n。第二关键点信息720是在第二时间点t2获得的信息，并且可以包括从通过在第二时间点t2记录所获得的行动者图像700中提取的多个特征点P1至Pn的三维位置坐标值720-1至720-n。
在实施例中，边缘数据网络1000可以分别计算第一关键点信息710中包括的多个三维位置坐标值710-1至710-n与第二关键点信息720中包括的多个三维位置坐标值720-1至720-n之间的差值。例如，边缘数据网络1000(参见图4)的处理器1200可以计算针对第一关键点信息710中包括的第一特征点P1的第一位置坐标值710-1与针对第二关键点信息720中包括的第一特征点P1的第一位置坐标值720-1之间的差值Δ1。类似地，处理器1200可以计算针对第一关键点信息710中包括的第二特征点P2的第二位置坐标值710-2与针对第二关键点信息720中包括的第二特征点P2的第二位置坐标值720-2之间的差值△2。根据上述方法，处理器1200可以计算针对第一关键点信息710中包括的第n特征点Pn的第n位置坐标值710-n与针对第二关键点信息720中包括的第n特征点Pn的第n位置坐标值720-n之间的差值△n。
边缘数据网络1000可以将针对多个特征点P1至Pn中的每一个特征点计算出的差值△1至△n与预设阈值进行比较，并且识别所计算出的差值△1至△n超过阈值的至少一个特征点。在图7所示的实施例中，△2和△3超过预设阈值，因此，边缘数据网络1000的处理器1200可以从第二关键点信息720中包括的多个位置坐标值720-1至720-n当中识别差值超过阈值的第二特征点P2的三维位置坐标值720-2和第三特征点P3的三维位置坐标值720-3。
边缘数据网络1000可以从数据缓存1360中识别与针对至少一个识别的特征点的位置坐标值(图7中的720-2、720-3)相对应的位置坐标值。在图7所示的实施例中，针对多个特征点P1至Pn的三维位置坐标值(例如，关键点信息1362-1至1362-n)分别被缓存在数据缓存1360中，并且边缘数据网络1000的处理器1200可以从缓存在数据缓存1360中的关键点信息中包括的多个三维位置坐标值(例如，关键点信息1362-1至1362-n)当中识别分别与差值超过预设阈值的第二位置坐标值720-2和第三位置坐标值720-3相对应的位置坐标值(例如，关键点信息1362-2和1362-3)。
边缘数据网络1000可以通过测量从第二关键点信息720识别的第二位置坐标值720-2和第三位置坐标值720-3与从数据缓存1360中识别的第二位置坐标值(例如，第一关键点信息1362-1)和第三位置坐标值1362-3之间的相似度来测量关键点相似度。
图8是根据本公开的实施例的由边缘数据网络执行的测量关键点相似度的方法的流程图。
参照图8，在操作S810中，边缘数据网络1000计算第一关键点信息中包括的多个第一特征坐标值与第二关键点信息中包括的多个第二特征坐标值之间的差值。在实施例中，边缘数据网络1000可以从位于远程位置处的另一边缘数据网络接收第一关键点信息和第二关键点信息，但是不限于此。在另一实施例中，边缘数据网络1000可以通过根据时间流从用户设备依次获得多个行动者图像并且从所获得的多个行动者图像中的每一个行动者图像中提取多个特征点来获得第一关键点信息和第二关键点信息。
边缘数据网络1000可以针对多个特征坐标值中的每一个特征坐标值分别计算第一关键点信息中包括的多个第一特征坐标值与第二关键点信息中包括的多个第二特征坐标值之间的差值。
在操作S820中，边缘数据网络1000识别计算出的差值超过预设阈值的至少一个第二特征坐标值。边缘数据网络1000可以从第二关键点信息中包括的多个第二特征坐标值当中识别计算出的差值超过预设阈值的至少一个第二特征坐标值。
在操作S830中，边缘数据网络1000从先前存储在数据缓存中的关键点信息中包括的多个特征坐标值中识别与所识别的至少一个第二特征坐标值相对应的至少一个特征坐标值。针对多个特征点中的每一个特征点的多个特征坐标值被缓存在数据缓存中，并且边缘数据网络1000可以从缓存在数据缓存中的多个特征坐标值当中识别与在操作S820中识别的至少一个第二特征坐标值相对应的至少一个特征坐标值。
在操作S840中，边缘数据网络1000测量从数据缓存中识别的至少一个特征坐标值与至少一个第二特征坐标值之间的相似度。边缘数据网络1000可以通过使用所测量的相似度信息来测量第二关键点信息与缓存在数据缓存中的关键点信息之间的相似度。
边缘数据网络1000可以通过使用在操作S840中测量的相似度来确定是否使用缓存在数据缓存中的3D人物图像。
在以高FPS(每秒帧数)获得多个行动者图像的环境中，先前图像帧的关键点信息和当前图像帧的关键点信息中分别包括的多个特征坐标值中的差不大。例如，在用户举起他/她的右手或者移动他/她的左臂的运动的情况下，在先前图像帧与当前图像帧之间，除了手或臂之外，与身体部位相对应的特征点的位置坐标值没有实质性的变化。然而，与运动身体部位(例如，右手或左臂)相对应的特征点的位置坐标值的变化值取决于图像帧可能相对较大。
在图7和图8所示的实施例中，边缘数据网络1000可以不通过将根据时间流连续地获得的多条关键点信息710和720中分别包括的所有多个三维位置坐标值与缓存在数据缓存1360中的多个位置坐标值(例如，关键点信息1362-1至1362-n)进行比较来测量相似度，而是可以通过仅将差值超过预设阈值的一些三维位置坐标值720-2和720-3与所缓存的位置坐标值(例如，关键点信息1362-2和1362-3)进行比较来测量相似度，从而减少计算量。因此，根据图7和图8所示的实施例的边缘数据网络1000可以减少由处理器1200消耗的计算能力并减少处理时间。
图9是用于描述由根据本公开的实施例的边缘数据网络确定的、关键点信息中包括的多个特征坐标值的优先级的图。
参照图9，边缘数据网络1000可以获得有关行动者图像900中包括的多个特征点P1至P13中的每一个特征点的三维位置坐标值的关键点信息。在实施例中，边缘数据网络1000可以根据预定优先级从多个特征点P1至P13当中选择从身体部位中提取的具有高优先级的至少一个特征点，并且选择针对所选择的至少一个特征点的三维位置坐标值。
在实施例中，可以根据经由边缘数据网络1000进行的远程会议的类型或属性基于用户的身体部位的移动的程度和频率来确定优先级。可以事先基于电话会议的类型确定优先级，并且可以将关于优先级的信息存储在边缘数据网络1000的存储器1300中。例如，当远程会议的类型是坐在桌子处时进行的会议时，用户的身体部位当中的腿、腰和骨盆的移动不会显著地影响会议内容或意见沟通，但是手移动、面部表情、头部的角度和凝视方向是相对重要的因素。例如，当电话会议是坐在桌子处时进行的类型时，边缘数据网络1000(参见图4)的处理器1200可以在多个特征点P1至Pn中为与手、臂、头部或凝视相对应的至少一个特征点分配比与腿、腰或骨盆相对应的特征点更高的优先级。
作为另一示例，在站立会议、用于递送锻炼信息的会议或体育的情况下，用户的身体部位当中的腿、腰、骨盆等的移动的程度和频率的重要性与手、臂、面部等的移动的程度和频率的重要性相似。当例如电话会议是站立会议或递送锻炼信息的会议类型时，处理器1200可以不向多个特征点P1至Pn分配特定优先级。
在实施例中，边缘数据网络1000可以根据在过去的时间点的电话会议执行历史来确定针对多个特征点P1至P13的优先级。处理器1200可以计算先前通过在过去的时间点进行的电话会议获得的多条关键点信息中分别包括的并存储在数据缓存中的多个特征坐标值之间的差值，从大到小列举所计算出的差值，并且基于所列举的差值的顺序，根据分别与多个特征坐标值相对应的身体部位来确定优先级。
在图9的实施例中，可以按从与肩部相对应的第六特征点P6、与臂相对应的第七特征点P7、与肘部相对应的第八特征点P8、与手相对应的第四特征点P4以及与小腿相对应的第十三特征点P13的顺序确定多个特征点P1至Pn的优先级。图9中示出的实施例仅是示例，并且本公开的优先级不限于所示出的优先级。
边缘数据网络1000的处理器1200可以仅从根据优先级列举的多个特征点P1至Pn当中选择至少一个特征点(P3、P6、P7、P8)。处理器1200可以获得针对所选择的至少一个特征点P3、P6、P7、P8中的每一个特征点的至少一个三维位置坐标值，并且从缓存在数据缓存中的关键点信息中包括的多个三维位置坐标值当中识别与针对至少一个特征点P3、P6、P7、P8中的每一个特征点的至少一个三维位置坐标值相对应的至少一个三维位置坐标值。处理器1200可以测量针对至少一个特征点P3、P6、P7、P8中的每一个特征点的至少一个三维位置坐标值与从所缓存的多个缓存的三维位置坐标值中识别的至少一个三维位置坐标值之间的相似度。处理器1200可以通过使用所测量的相似度来确定是否使用缓存在数据缓存中的3D人物图像。
图10是根据本公开的实施例的由边缘数据网络执行的基于关键点信息中包括的多个特征坐标值的优先级确定关键点相似度的方法的流程图。
参照图10，在操作S1010中，边缘数据网络1000根据预定优先级从第二关键点信息中包括的多个第二特征坐标值当中选择具有高优先级的至少一个第二特征坐标值。第二关键点信息是在第一关键点信息之后依次获得的关键点信息。可以将第一关键点信息以“缓存”方式存储在数据缓存中。
可以事先基于远程会议的类型确定多个特征坐标值的优先级。在实施例中，可以根据经由边缘数据网络1000进行的远程会议的类型或属性基于用户的身体部位的移动的程度和频率来确定优先级。
然而，本公开不限于此，并且可以根据由边缘数据网络1000在过去的时间点执行的电话会议的执行历史来确定多个特征坐标值的优先级。在实施例中，边缘数据网络1000可以计算先前通过在过去的时间点进行的电话会议获得的多条关键点信息中分别包括的并存储在数据缓存中的多个特征坐标值之间的差值，从大到小列举所计算出的差值，并且基于所列举的差值的顺序，根据分别与多个特征坐标值相对应的身体部位确定优先级。
边缘数据网络1000可以从第二关键点信息中包括的多个第二特征坐标值当中选择具有高优先级的至少一个第二特征坐标值。在实施例中，边缘数据网络1000可以按从高优先级到低优先级的顺序列举多个第二特征坐标值，并且仅选择在所列举的多个第二特征坐标值当中具有高优先级的预设数目的特征坐标值。例如，边缘数据网络1000可以仅选择多个第二特征坐标值当中具有高优先级的四个特征坐标值，但是要选择的特征坐标值的数目不限于四个。
在操作S1020中，从所缓存的第一关键点信息中包括的多个第一特征坐标值当中识别与所选择的至少一个第二特征坐标值相对应的至少一个第一特征坐标值。在实施例中，边缘数据网络1000可以从缓存在数据缓存中的第一关键点信息中包括的多个第一特征坐标值当中识别与所选择的在操作S1010中从第二关键点信息中选择的至少一个第二特征坐标值相对应的至少一个第一特征坐标值。边缘数据网络1000可以从缓存在数据缓存中的多个第一特征坐标值中识别至少一个特征坐标值，即，针对与从按最高优先级顺序选择的至少一个身体部位提取的特征点相同的特征点的至少一个特征坐标值。
在操作S1030中，边缘数据网络1000测量至少一个第一特征坐标值与至少一个第二特征坐标值之间的相似度。在实施例中，边缘数据网络1000可以测量在操作S1010中选择的至少一个第二特征坐标值与在操作S1020中识别的至少一个第一特征坐标值之间的相似度。边缘数据网络1000可以通过使用所测量的相似度来确定是否使用缓存在数据缓存中的3D人物图像。
一般而言，由于经常在坐姿状态下进行电话会议，因此手、臂、面部等的移动的频率高于腰或腿的移动的频率，并且其移动的程度也较大。也就是说，根据用户的身体部位的运动或移动的频率和程度可以根据会议的类型而变化。在图9和图10所示的实施例中，边缘数据网络1000不通过将从用户的身体部位中提取的多个特征坐标值与缓存在数据缓存中的多个特征坐标值进行比较来测量相似度，而是可以测量选择的至少一个特征坐标值的相似度，因此，可以减少处理器1200的计算量。因此，根据图9和图10所示的实施例的边缘数据网络1000可以减少由处理器1200消耗的计算能力并减少处理时间。
图11是根据本公开的实施例的由边缘数据网络执行的测量以运动为单位存储在数据缓存中的多个关键点信息与多条输入的关键点信息之间的相似度、并且基于所测量的相似度向第二用户设备提供3D人物图像的方法。
参照图11，在数据缓存1360中，多条关键点信息1362-1至1362-10和多个3D人物图像1366-1至1366-10可以根据运动信息被分类并存储。在图11所示的实施例中，有关运动A和B的信息被存储在数据缓存1360中，并且运动A可以包括第一关键点信息1362-1至第五关键点信息1362-5和第一3D人物图像1366-1至第五3D人物图像1366-5，运动B可以包括第六关键点信息1362-6至第十关键点信息1362-10和第六3D人物图像1366-6至第十3D人物图像1366-10。可以将分别与多条关键点信息1362-1至1362-10和多个3D人物图像1366-1至1366-10相对应的关键点信息和3D人物图像存储为键-值类型。例如，存储在数据缓存1360中的第一3D人物图像1366-1可以是值，并且可以是基于与第一关键点信息1362-1相对应的键而生成的图像帧。
运动A和运动B指示了关于由用户重复地进行的运动的信息。例如，运动A可以指示其中用户将他或她的右手从参考位置移动到特定位置然后返回到参考位置的运动。在这种情况下，边缘数据网络1000可以根据用户的运动来获得多个行动者图像帧(例如，五个图像帧)，提取关于分别从多个行动者图像中提取的多个特征点的多条关键点信息(例如，第一关键点信息1362-1至第五关键点信息1362-5)，并且将所提取的多条关键点信息分组为运动A并将其存储在数据缓存1360中。
边缘数据网络1000可以通过从布置在远程位置中的另一边缘数据网络或用户设备接收关键点信息并且将所输入的关键点信息与以运动为单位分类并存储在数据缓存1360中的多条关键点信息中的每一条关键点信息进行比较来测量关键点相似度。在实施例中，边缘数据网络1000可以经由网络接口1100(参见图4)接收关键点信息。所输入的关键点信息可以包括根据时间流依次输入的第一输入关键点信息1370-1至第五输入关键点信息1370-5。处理器1200可以将第一输入关键点信息1370-1至第五输入关键点信息1370-5提供给相似度确定模块1350。处理器1200(参见图4)可以将所输入的关键点信息提供给数据缓存1360并且通过执行与3D人物图像生成模块1330中包括的相似度确定模块1350相关的数据或程序代码来测量所输入的关键点信息与缓存在数据缓存1360中的关键点信息之间的相似度。
处理器1200可以从数据缓存1360获得其测量的关键点相似度大于预设阈值的多条关键点信息。在图11所示的实施例中，作为测量关键点相似度的结果，被识别为与所输入的关键点信息中包括的第一输入关键点信息1370-1至第五输入关键点信息1370-5中的每一者相似的关键点信息可以是第一关键点信息1362-1至第五关键点信息1362-5。第一关键点信息1362-1至第五关键点信息1362-5被分类为运动A并存储在数据缓存1360中，并且处理器1200可以从数据缓存1360获得运动信息，即，指示与所输入的关键点信息具有高相似度的运动是运动A的信息。
处理器1200可以通过执行与3D人物图像生成模块1330相关的数据或程序代码来从数据缓存1360中识别与运动信息相对应的多个3D人物图像。在图11所示的实施例中，处理器1200可以识别与运动A相对应的第一3D人物图像1366-1至第五3D人物图像1366-5。
处理器1200可以从数据缓存1360读出所识别的多个3D人物图像1366-1至1366-5，并且向第二用户设备2000b发送所读出的多个3D人物图像1366-1至1366-5。在实施例中，处理器1200可以通过使用网络接口1100来向第二用户设备2000b发送多个3D人物图像1366-1至1366-5。
图12是由根据本公开的实施例的边缘数据网络1000执行的测量多条关键点之间的相似度的方法的流程图。
图12是根据本公开的实施例的由边缘数据网络执行的测量以运动为单位存储在数据缓存中的多个关键点信息与多条输入的关键点信息之间的相似度并且基于所测量的相似度向第二用户设备提供3D人物图像的方法的流程图。
图12中示出的操作S1210至S1230是图6中示出的操作S650的具体操作，并且操作S1240和S1250是图6中示出的操作S660的具体操作。
参照图12，在操作S1210中，边缘数据网络1000接收多条关键点信息。在实施例中，边缘数据网络1000可以根据时间流从位于远程位置中的另一边缘数据网络或用户设备依次接收多条关键点信息。
在操作S1230中，边缘数据网络1000基于相似度的测量的结果来获得与多条输入的关键点信息件相对应的运动信息。在实施例中，边缘数据网络1000可以从数据缓存中识别测量的关键点相似度超过预设阈值的多条关键点信息。在实施例中，边缘数据网络1000可以获得其中对所识别的多个关键点信息件进行了分类的运动信息。
在操作S1240中，边缘数据网络1000从数据缓存中识别与运动信息相对应的多个3D人物图像帧。在实施例中，可以将关键点信息和3D人物图像作为分别对应的关键点信息与3D人物图像帧之间的键-值类型存储在数据缓存中。边缘数据网络1000可以从数据缓存中识别多个3D人物图像帧，所述多个3D人物图像帧被存储为键-值类型，以对应于被分类为运动信息并存储的多条关键点信息。
在操作S1250中，边缘数据网络1000向第二用户设备发送所识别的多个3D人物图像帧。
一般而言，在电话会议中，用户可能重复地进行某些动作，例如，用他或她的右手指向具体物体、举起双手等。在经由边缘数据网络1000进行电话会议的情况下，从针对重复动作通过拍摄用户获得的多个行动者图像中的每一个行动者图像中提取特征点并且通过使用特征点的三维位置坐标值来渲染多个3D人物图像需要花费大量计算和计算能力。
在图11和图12所示的实施例中，边缘数据网络1000可以对针对重复动作获得的多条关键点信息和使用多条关键点信息渲染的多个3D人物图像进行分类并将其存储在数据缓存1360中；当相同运动重复时，边缘数据网络1000可以通过将关于运动输入的多条关键点信息与缓存在数据缓存1360中的多条关键点信息进行比较来测量关键点相似度，并且可以基于所测量的关键点相似度提供多个缓存的3D人物图像。依照根据本公开的边缘数据网络1000，不需要针对每个重复运动执行渲染，从而节省不必要的计算能力并减少处理时间。
图13是示出了根据本公开的实施例的由根据本公开的实施例的边缘数据网络执行的通过使用与每个身体部位相对应的图像来渲染3D人物图像并且组合这些图像的方法的图。
参照图13，关键点信息1362和3D局部图像1370被存储在数据缓存1360中。3D局部图像1370是使用包括从用户的身体部位的一部分中提取的特征点的关键点信息1362渲染的局部图像。在图13所示的实施例中，3D局部图像1370可以是上身部位的图像，该图像使用包括从包括用户的头部和胸部的上身部位的特征中提取的多个特征点的关键点信息1362来渲染。可以将关键点信息1362和3D局部图像1370作为键-值类型存储在数据缓存1360中。
边缘数据网络1000(参见图4)的处理器1200可以从位于远程位置中的另一边缘数据网络或用户设备接收关键点信息。通过经执行与3D人物图像生成模块1330中包括的相似度确定模块1350相关的数据或程序代码来将所输入的关键点信息提供给数据缓存1360，可以测量所输入的关键点信息与所缓存的关键点信息1362之间的相似度。在实施例中，仅所输入的关键点信息中包括的多个特征坐标值当中的至少一个特征坐标值可以与所缓存的关键点信息中包括的多个特征坐标值当中的至少一个特征坐标值相似。作为测量的结果，其相似度被测量为大于或等于预设阈值的至少一个特征坐标值可以是从与用户的上身部位相关的特征点中提取的特征坐标值。处理器1200可以识别所缓存的作为键-值类型存储的关键点信息1362和3D局部图像1370。处理器1200可以从数据缓存1360获得所识别的3D局部图像1370。
处理器1200可以通过使用包括在输入关键点信息中的多个特征坐标值中的除了至少一个特征坐标值以外的与缓存在数据缓存1360中的关键点信息1362的相似度超过预设阈值的其余特征坐标值来渲染整个3D人物图像1380的关于其他身体部位的3D局部图像。在图13所示的实施例中，通过执行与渲染模块1340相关的数据或程序代码，处理器1200可以通过使用除了所输入的关键点信息当中的从用户的上身部位的特征点中提取的至少一个特征坐标值以外的其余特征坐标值来渲染包括左臂1382、右臂1384、左腿1386和右腿1388的整个3D人物图像1380的3D局部图像。
处理器1200可以通过组合使用渲染模块1340渲染的整个3D人物图像1380的3D局部图像和从数据缓存1360获得的3D局部图像1370来生成整个3D人物图像1380。处理器1200可以经由网络接口1100(参见图4)向第二用户设备2000b发送整个3D人物图像1380。
根据图13所示的实施例的边缘数据网络1000可以在数据缓存1360中缓存关于其移动的频率或程度相对较小的上身部位的3D局部图像1370，并且仅渲染关于具有相对较高的频率或程度的臂和腿的整个3D人物图像1380的3D局部图像，因此，处理器1200用于渲染的计算能力消耗可以减小，并且可以缩短渲染时间。
图14是用于描述根据本公开的实施例的边缘数据网络和用户设备中的每一者的模块的结构及其中的数据发送和接收的图。
参照图14，当第一用户设备2000a和第二用户设备2000b举行电话会议时，第一用户设备2000a可以是由做出运动或动作的第一用户使用的用户设备，第二用户设备2000b可以是显示了示出第一用户的外貌、运动或动作的3D人物图像的用户设备。第二用户可以经由第二用户设备2000b观察第一用户的3D人物图像。在这种情况下，第一用户设备2000a可以是行动者装置，第二用户设备2000b可以是观察者装置。然而，本公开不限于此，并且当随着第一用户设备2000a和第二用户设备2000b在两个方向上执行应用客户端而举行双向电话会议时，第二用户设备2000b可以是行动者装置，第一用户设备2000a可以是观察者装置。
以下，将描述第一用户设备2000a是行动者装置而第二用户设备2000b是观察者装置的实施例。
在操作S1410中，第一用户设备2000a通过捕获第一用户的图像来获得行动者图像。在实施例中，第一用户设备2000a可以执行应用客户端，并且可以通过使用相机来拍摄第一用户的外貌、动作或运动的运动图片或视频，并且获得所拍摄的运动图片或视频中包括的多个行动者图像。
在操作S1412中，第一用户设备2000a向边缘数据网络1000发送行动者图像和第一用户设备2000a的标识信息(例如，装置id)。在实施例中，第一用户设备2000a可以向边缘数据网络1000依次发送多个行动者图像。在实施例中，第一用户设备2000a不仅可以向边缘数据网络1000发送多个行动者图像和第一用户设备2000a的用户设备标识信息，还可以发送关于以下信息中的至少一者的信息：第一用户的标识信息(例如，用户id)、由第一用户设备2000a运行的应用客户端的信息、以及电话会议室的标识信息(例如，会议室位置信息、会议室标识号等)。
在操作S1420中，边缘数据网络1000从行动者图像中提取多个特征点的关键点信息。“多个特征点”可以是行动者图像中指示与第一用户的身体部位、姿态或骨骼结构相关的特征的点。可以从例如诸如人体的面部、肩部、臂、大腿和小腿的身体部位的特征或骨骼结构的特征中提取多个特征点。边缘数据网络1000可以通过使用特征点提取算法来从行动者图像中提取多个特征点并且输出包括所述多个特征点的关键点信息。由边缘数据网络1000执行的通过使用特征点提取算法来提取多个特征点并且获得关键点信息的详细方法与图3中示出的操作S320相同，因此，这里将省略重复描述。
在操作S1430中，第二用户设备2000b通过使用传感器来获得第二用户的观察点信息。“观察点信息”是关于在三维虚拟空间中经由虚拟相机观察经由第二用户设备2000b显示的3D人物图像(例如，化身图像)的虚拟观察点的信息。观察点信息可以包括指示虚拟相机观察3D人物图像的位置和方向的虚拟位置坐标值信息。
由第二用户设备2000b执行的通过使用利用传感器获得的感测信息来获得观察点信息的详细方法与图3中示出的操作S330相同，因此，将省略重复描述。
在操作S1432中，第二用户设备2000b向边缘数据网络1000发送观察点信息和第二用户设备2000b的标识信息(例如，装置id)。在实施例中，第二用户设备2000b不仅可以向边缘数据网络1000发送观察点信息和第二用户设备2000b的标识信息，还可以发送关于以下信息中的至少一者的信息：第二用户的标识信息(例如，用户id)、由第二用户设备2000b运行的应用客户端的信息、以及电话会议室的标识信息(例如，会议室位置信息、会议室标识号等)。
虽然操作S1432被示出为在时间上在图14中的操作S1420之后被执行，但这是示例，不一定按所示出的时间顺序执行操作S1420和S1432。例如，可以在操作S1420之前执行操作S1432，或者可以同时地执行操作S1420和S1432。也就是说，边缘数据网络1000可以首先提取关键点信息，或者首先从第二用户设备2000b获得观察点信息。在这种情况下，边缘数据网络1000可以在请求队列中临时存储来自关键点信息和观察点信息当中的较早地获得的数据。在实施例中，通过在请求队列中临时存储关键点信息和观察点信息，即使当关键点信息和观察点信息是在不同的时间点获得时，边缘数据网络1000也可以使关键点信息和观察点信息彼此同步。
在操作S1440中，边缘数据网络1000可以通过分别将所获得的关键点信息和观察点信息与先前存储在数据缓存中的关键点信息和观察点信息进行比较来测量关键点相似度和观察点相似度。
在操作S1450中，边缘数据网络1000将所测量的关键点相似度与预设第一阈值α进行比较，并且将所测量的观察点相似度与预设第二阈值β进行比较。
作为比较的结果，当关键点相似度大于第一阈值α并且观察点相似度大于第二阈值β(操作S1460)时，边缘数据网络1000从数据缓存中识别所缓存的3D人物图像。
在操作S1462中，边缘数据网络1000向第二用户设备2000b发送所缓存的3D人物图像。
作为比较的结果，当关键点相似度等于或小于第一阈值α或者观察点相似度等于或小于第二阈值β(操作S1470)时，边缘数据网络1000通过使用关键点信息和观察点信息来渲染3D人物图像。
在操作S1472中，边缘数据网络1000向第二用户设备2000b发送所渲染的3D人物图像。
操作S1440至S1472分别与图3中示出的操作S340至S372相同，只是执行操作的主体是边缘数据网络1000，因此将省略重复描述。
在操作S1480中，第二用户设备2000b显示3D人物图像。
可以将由本公开中描述的边缘数据网络1000、1000a和1000b执行的程序实现为硬件组件、软件组件和/或硬件组件和软件组件的组合。程序可以由能够执行计算机可读指令的任何系统执行。
软件可以包括计算机程序、代码、指令或这些中的一者或更多者的组合，并且可以配置处理装置或者独立地或共同地指示处理装置执行期望的操作。
可以将软件实现为包括存储在计算机可读存储介质中的指令的计算机程序。计算机可读记录介质包括例如磁性存储介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、软盘、硬盘等)和光学可读介质(例如，CD-ROM、DVD(数字通用盘)等)。计算机可读记录介质也能够分布在网络连接的计算机系统之上，使得计算机可读代码被以分布式方式存储和执行。此媒体能够由计算机读取，存储在存储器中，并且由处理器执行。
能够以非暂时性存储介质的形式提供计算机可读存储介质。这里，“非暂时性”意味着存储介质不包括信号并是有形的，但是不区分数据是半永久地还是临时存储在存储介质中的。
另外，根据本公开中公开的实施例的程序可以被包括在计算机程序产品中并以该形式提供。计算机程序产品能够作为商品在卖方与买方之间交易。
计算机程序产品可以包括软件程序、存储有该软件程序的计算机可读存储介质。例如，计算机程序产品可以以通过装置制造商或电子市场(例如，Google Play StoreTM、AppStoreTM)以电子方式分发的软件程序(例如，可下载应用)的形式包括产品。对于电子分发，软件程序的至少一部分可以被存储在存储介质中或者可以被临时生成。在这种情况下，存储介质可以是制造商的服务器、电子市场的服务器、或临时存储软件程序的中继服务器的存储介质。
在由服务器和装置构成的系统中，计算机程序产品可以包括服务器的存储介质或装置的存储介质。或者，当存在通过通信连接到服务器或装置的第三装置(例如，智能电话)时，计算机程序产品可以包括第三装置的存储介质。或者，计算机程序产品可以包括从服务器发送到装置或第三装置或者从第三装置发送到装置的软件程序它本身。
在这种情况下，服务器、装置和第三装置中的一者可以执行计算机程序产品以执行根据所公开的实施例的方法。或者，服务器、装置和第三装置中的两者或更多者可以执行计算机程序产品以以分布式方式实现根据所公开的实施例的方法。
例如，服务器可以执行存储在服务器中的计算机程序产品以控制通过通信与服务器连接的装置执行根据所公开的实施例的方法。
作为另一示例，第三装置可以执行计算机程序产品以控制通过通信与第三装置连接的装置执行根据所公开的实施例的方法。
当第三装置执行计算机程序产品时，第三装置可以从服务器下载计算机程序产品并执行所下载的计算机程序产品。或者，第三装置可以执行在预加载状态下提供的计算机程序产品以执行根据所公开的实施例的方法。
虽然已经参照本公开的各种实施例示出和描述了本公开，但是本领域的技术人员将理解，在不背离如由所附权利要求书及其等同形式所限定的本公开的精神和范围的情况下，可以在其中做出形式和细节上的各种改变。

Claims (15)

1.一种由边缘数据网络执行的向用户设备提供三维(3D)人物图像的方法，所述方法包括：
获得第一关键点信息和第一观察点信息，所述第一关键点信息包括从使用第一用户设备捕获的第一图像帧中提取的与第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值，所述第一观察点信息包括观察经由第二用户设备显示的3D人物图像的虚拟观察点的虚拟位置坐标值信息；
基于所获得的第一关键点信息和第一观察点信息来渲染指示所述第一用户的外貌、动作或运动的3D人物图像；
将所渲染的3D人物图像与所述第一关键点信息和所述第一观察点信息关联地存储在数据缓存中；
获得有关在所述第一图像帧之后获得的第二图像帧的第二关键点信息和第二观察点信息；
通过将所获得的第二关键点信息和第二观察点信息分别与先前存储在所述数据缓存中的所述第一关键点信息和所述第一观察点信息进行比较来测量关键点相似度和观察点相似度；以及
基于所测量的关键点相似度和所测量的观察点相似度来将先前存储在所述数据缓存中的所述3D人物图像作为有关所述第二图像帧的3D人物图像提供给所述第二用户设备。
2.根据权利要求1所述的方法，其中，获得所述第一关键点信息和所述第一观察点信息包括：
从所述第一用户设备接收通过使用所述第一用户设备捕获所述第一用户的图像所获得的所述第一图像帧；
从所接收到的第一图像帧中提取与所述第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值的多个位置坐标值；以及
获得包括所提取的多个位置坐标值的所述第一关键点信息。
3.根据权利要求1所述的方法，其中，将所述3D人物图像存储在所述数据缓存中包括：
将以下信息中的至少一者与所述3D人物图像一起存储在所述数据缓存中：所述第一用户的用户标识信息、有关所述第一用户的外貌、过去进行的动作、运动、姿态或方向的多条先前获得的关键点信息、用于确定关键点相似度的优先级信息、以及关于电话会议类型的信息。
4.根据权利要求1所述的方法，其中，测量所述关键点相似度包括：
获得第三关键点信息，所述第三关键点信息包括从第三图像帧中提取的多个第三特征坐标值；
分别计算所述第三关键点信息中包括的所述多个第三特征坐标值与所述第二关键点信息中包括的多个第二特征坐标值之间的差值；
识别所计算出的差值超过预设阈值的至少一个第三特征坐标值；
从存储在所述数据缓存中的所述第一关键点信息中包括的多个第一特征坐标值当中识别与所识别的至少一个第三特征坐标值相对应的至少一个第一特征坐标值；以及
通过测量所识别的至少一个第三特征坐标值与所述至少一个第一特征坐标值之间的相似度来测量所述第三关键点信息与所述第一关键点信息之间的关键点相似度。
5.根据权利要求1所述的方法，其中，测量所述关键点相似度包括：
根据预定优先级，从所述第二关键点信息中包括的多个第二特征坐标值当中选择从身体部位中提取的具有高优先级的至少一个第二特征坐标值；
从所述第一关键点信息中包括的多个第一特征坐标值当中识别与所选择的至少一个第二特征坐标值相对应的至少一个第一特征坐标值；以及
通过测量所述至少一个第一特征坐标值与所述至少一个第二特征坐标值之间的相似度来测量所述关键点相似度。
6.根据权利要求5所述的方法，所述方法还包括：
计算通过先前进行的电话会议先前获得并存储在所述数据缓存中的多条关键点信息中分别包括的多个特征坐标值之间的差值；
按从大到小的顺序列举所计算出的差值；以及
基于所列举的差值的顺序，根据分别与多个位置坐标值相对应的身体部位确定优先级。
7.根据权利要求1所述的方法，
其中，构成运动的多条关键点信息根据运动信息被分类并存储在所述数据缓存中，
其中，测量所述关键点相似度包括：
接收分别从根据时间流依次获得的多个图像帧中提取的多条关键点信息；以及
测量多条输入的关键点信息与先前存储在所述数据缓存中的所述多条关键点信息之间的相似度，并且
其中，所述方法还包括：
基于所测量的相似度识别与所述多条输入的关键点信息相对应的运动信息；以及
从所述数据缓存获得与所识别的运动信息相对应的多个3D人物图像帧。
8.一种用于向用户设备提供三维(3D)人物图像的边缘数据网络，所述边缘数据网络包括：
网络接口；
存储器，所述存储器存储有包括一个或更多个指令的程序；以及
处理器，所述处理器被配置为执行存储在所述存储器中的程序的所述一个或更多个指令，
其中，所述处理器还被配置为：
通过使用所述网络接口来获得第一关键点信息和第一观察点信息，所述第一关键点信息包括从使用第一用户设备捕获的第一图像帧中提取的与第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值，所述第一观察点信息包括观察经由第二用户设备显示的3D人物图像的虚拟观察点的虚拟位置坐标值信息；
基于所获得的第一关键点信息和第一观察点信息来渲染指示所述第一用户的外貌、动作或运动的3D人物图像；
将所渲染的3D人物图像与所述第一关键点信息和所述第一观察点信息关联地存储在所述存储器中的数据缓存中；
通过使用所述网络接口，分别获得在所述第一图像帧之后获得的第二图像帧的第二关键点信息和第二观察点信息；
通过将所获得的第二关键点信息和第二观察点信息分别与先前存储在所述数据缓存中的所述第一关键点信息和所述第一观察点信息进行比较来测量关键点相似度和观察点相似度；以及
基于所测量的关键点相似度和所测量的观察点相似度来将先前存储在所述数据缓存中的3D人物图像作为有关所述第二图像帧的3D人物图像提供给所述第二用户设备。
9.根据权利要求8所述的边缘数据网络，其中，所述处理器还被配置为：
通过使用所述网络接口，接收通过使用所述第一用户设备捕获所述第一用户的图像所获得的所述第一图像帧；
从自所述第一用户设备接收到的第一图像帧中提取与所述第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值的多个位置坐标值；以及
获得包括所提取的多个位置坐标值的所述第一关键点信息。
10.根据权利要求8所述的边缘数据网络，其中，所述处理器还被配置为将以下信息中的至少一者与所述3D人物图像一起存储在所述数据缓存中：所述第一用户的用户标识信息、有关所述第一用户的外貌、过去进行的动作、运动、姿态或方向的多条先前获得的关键点信息、用于确定关键点相似度的优先级信息、以及关于电话会议类型的信息。
11.根据权利要求8所述的边缘数据网络，其中，所述处理器还被配置为：
通过使用所述网络接口获得第三关键点信息，所述第三关键点信息包括从第三图像帧中提取的多个第三特征坐标值；
分别计算所述第三关键点信息中包括的所述多个第三特征坐标值与所述第二关键点信息中包括的多个第二特征坐标值之间的差值；
识别所计算出的差值超过预设阈值的至少一个第三特征坐标值；
从存储在所述数据缓存中的所述第一关键点信息中包括的多个第一特征坐标值当中识别与所识别的至少一个第三特征坐标值相对应的至少一个第一特征坐标值；以及
通过测量所识别的至少一个第三特征坐标值与所述至少一个第一特征坐标值之间的相似度来测量所述第三关键点信息与所述第一关键点信息之间的关键点相似度。
12.根据权利要求8所述的边缘数据网络，其中，所述处理器还被配置为：
根据预定优先级，从所述第二关键点信息中包括的多个第二特征坐标值当中选择从身体部位中提取的具有高优先级的至少一个第二特征坐标值；
从所述第一关键点信息中包括的多个第一特征坐标值当中识别与所选择的至少一个第二特征坐标值相对应的至少一个第一特征坐标值；以及
通过测量所述至少一个第一特征坐标值与所述至少一个第二特征坐标值之间的相似度来测量所述关键点相似度。
13.根据权利要求12所述的边缘数据网络，其中，所述处理器还被配置为：
计算通过先前进行的电话会议先前获得并存储在所述数据缓存中的多条关键点信息中分别包括的多个特征坐标值之间的差值；
按从大到小的顺序列举所计算出的差值；以及
基于所列举的差值的顺序，根据分别与多个位置坐标值相对应的身体部位确定优先级。
14.根据权利要求8所述的边缘数据网络，
其中，构成运动的多条关键点信息根据运动信息被分类并存储在所述数据缓存中，并且
其中，所述处理器还被配置为：
接收分别从根据时间流依次获得的多个图像帧中提取的多条关键点信息；
测量多条输入的关键点信息与先前存储在所述数据缓存中的所述多条关键点信息之间的相似度；
基于所测量的相似度识别与所述多条输入的关键点信息相对应的运动信息；以及
从所述数据缓存获得与所识别的运动信息相对应的多个3D人物图像帧。
15.一种计算机程序产品，所述计算机程序产品包括非暂时性计算机可读存储介质，其中，所述存储介质包括由边缘数据网络运行以执行以下操作的指令：
获得第一关键点信息和第一观察点信息，所述第一关键点信息包括从使用第一用户设备捕获的第一图像帧中提取的与第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值，所述第一观察点信息包括观察经由第二用户设备显示的三维(3D)人物图像的虚拟观察点的虚拟位置坐标值信息；
基于所获得的第一关键点信息和第一观察点信息来渲染指示所述第一用户的外貌、动作或运动的3D人物图像；
将所渲染的3D人物图像与所述第一关键点信息和所述第一观察点信息关联地存储在数据缓存中；
获得有关在所述第一图像帧之后获得的第二图像帧的第二关键点信息和第二观察点信息；
通过将所获得的第二关键点信息和第二观察点信息分别与先前存储在所述数据缓存中的所述第一关键点信息和所述第一观察点信息进行比较来测量关键点相似度和观察点相似度；以及
基于所测量的关键点相似度和所测量的观察点相似度来将先前存储在所述数据缓存中的3D人物图像作为有关所述第二图像帧的3D人物图像提供给所述第二用户设备。
CN202180056888.9A 2020-08-07 2021-08-04 向终端提供3d人物图像的边缘数据网络及其运行方法 Pending CN116250015A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0099260 2020-08-07
KR1020200099260A KR20220018760A (ko) 2020-08-07 2020-08-07 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법
PCT/KR2021/010276 WO2022031041A1 (ko) 2020-08-07 2021-08-04 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법

Publications (1)

Publication Number Publication Date
CN116250015A true CN116250015A (zh) 2023-06-09

Family

ID=80118264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180056888.9A Pending CN116250015A (zh) 2020-08-07 2021-08-04 向终端提供3d人物图像的边缘数据网络及其运行方法

Country Status (5)

Country Link
US (1) US11694383B2 (zh)
EP (1) EP4167188A4 (zh)
KR (1) KR20220018760A (zh)
CN (1) CN116250015A (zh)
WO (1) WO2022031041A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3092416B1 (fr) * 2019-01-31 2022-02-25 Univ Grenoble Alpes Système et procédé d’interaction avec des robots dans des applications de réalité mixte
US20220165024A1 (en) * 2020-11-24 2022-05-26 At&T Intellectual Property I, L.P. Transforming static two-dimensional images into immersive computer-generated content

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120018479A (ko) 2010-08-23 2012-03-05 에스케이플래닛 주식회사 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법
JP5866728B2 (ja) * 2011-10-14 2016-02-17 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
CN104170358B (zh) * 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
US8970656B2 (en) 2012-12-20 2015-03-03 Verizon Patent And Licensing Inc. Static and dynamic video calling avatars
EP3335418A1 (en) 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
TWI632812B (zh) * 2016-12-16 2018-08-11 財團法人工業技術研究院 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置
KR20180123248A (ko) * 2017-05-08 2018-11-16 (주)몬스터즈랩 가상 공간 캐릭터의 모션데이터 생성을 위한 모션인식피규어 장치 및 모션데이터 생성 방법
KR102565755B1 (ko) * 2018-02-23 2023-08-11 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법
CN110531846B (zh) * 2018-05-24 2023-05-23 卡兰控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
WO2020009800A1 (en) * 2018-07-02 2020-01-09 Magic Leap, Inc. Methods and systems for interpolation of disparate inputs
KR102181859B1 (ko) * 2018-12-12 2020-11-23 한국전자기술연구원 홀로포테이션 제공 시스템 및 방법
CN111353930B (zh) 2018-12-21 2022-05-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
KR20190005144A (ko) 2018-12-28 2019-01-15 에스케이플래닛 주식회사 캐릭터 서비스 시스템, 그 시스템에서의 캐릭터 서비스를 제공하기 위한 방법 및 장치

Also Published As

Publication number Publication date
EP4167188A1 (en) 2023-04-19
KR20220018760A (ko) 2022-02-15
EP4167188A4 (en) 2023-12-13
US20220309725A1 (en) 2022-09-29
US11694383B2 (en) 2023-07-04
WO2022031041A1 (ko) 2022-02-10

Similar Documents

Publication Publication Date Title
KR102293008B1 (ko) 정보 디스플레이 방법, 디바이스, 및 시스템
US9473780B2 (en) Video transmission using content-based frame search
US11782272B2 (en) Virtual reality interaction method, device and system
US11887235B2 (en) Puppeteering remote avatar by facial expressions
CN108875539B (zh) 表情匹配方法、装置和系统及存储介质
US11455765B2 (en) Method and apparatus for generating virtual avatar
EP4167188A1 (en) Edge data network for providing 3d character image to terminal and operation method therefor
WO2014094199A1 (en) Facial movement based avatar animation
CN111353336B (zh) 图像处理方法、装置及设备
KR20170048137A (ko) 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
CN115222862B (zh) 虚拟人衣物生成方法、装置、设备、介质及程序产品
Indrawan et al. Face recognition for social media with mobile cloud computing
CN105830429A (zh) 处理被相机运动损坏的视频帧
CN114998935A (zh) 图像处理方法、装置、计算机设备及存储介质
CN107733874B (zh) 信息处理方法、装置、计算机设备和存储介质
CN110431838B (zh) 提供人脸识别摄像机的动态内容的方法及系统
TWI711004B (zh) 圖片處理方法和裝置
CN110084306B (zh) 用于生成动态图像的方法和装置
CN116403285A (zh) 动作识别方法、装置、电子设备以及存储介质
JP2020112895A (ja) 情報処理装置の制御プログラム、情報処理装置の制御方法、及び、情報処理装置
CN110390234B (zh) 图像处理装置和方法及存储介质
US11843829B1 (en) Systems and methods for recommending content items based on an identified posture
WO2023185241A1 (zh) 数据处理方法、装置、设备以及介质
US11386532B2 (en) Blue noise mask for video sampling
US11430085B2 (en) Efficient motion-compensated spatiotemporal sampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination