CN111353930B - 数据处理方法及装置、电子设备及存储介质 - Google Patents

数据处理方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111353930B
CN111353930B CN201811572680.9A CN201811572680A CN111353930B CN 111353930 B CN111353930 B CN 111353930B CN 201811572680 A CN201811572680 A CN 201811572680A CN 111353930 B CN111353930 B CN 111353930B
Authority
CN
China
Prior art keywords
coordinate
coordinates
image
coordinate system
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811572680.9A
Other languages
English (en)
Other versions
CN111353930A (zh
Inventor
郑聪瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201811572680.9A priority Critical patent/CN111353930B/zh
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to SG11202010312QA priority patent/SG11202010312QA/en
Priority to PCT/CN2019/092866 priority patent/WO2020124976A1/zh
Priority to KR1020207031294A priority patent/KR102461232B1/ko
Priority to JP2020561756A priority patent/JP7026825B2/ja
Priority to TW108143268A priority patent/TWI701941B/zh
Publication of CN111353930A publication Critical patent/CN111353930A/zh
Priority to US17/038,273 priority patent/US20210012530A1/en
Application granted granted Critical
Publication of CN111353930B publication Critical patent/CN111353930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/08—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Abstract

本发明实施例提供一种数据处理方法及装置、电子设备及存储介质。所述方法包括：获取目标对象的2D图像；根据所述2D图像，获取第一关键点的第一2D坐标和第二关键点的第二2D坐标，其中，所述第一关键点为所述目标对象的第一局部在所述2D图像中的成像点；所述第二关键点为所述目标对象的第二局部在所述2D图像中的成像点；基于第一2D坐标及所述第二2D坐标，确定相对坐标，其中，所述相对坐标用于表征所述第一局部和所述第二局部之间的相对位置；将所述相对坐标投影到虚拟三维空间内并获得与所述相对坐标对应的3D坐标，其中，所述3D坐标用于控制受控设备执行预定操作。

Description

数据处理方法及装置、电子设备及存储介质
技术领域
本发明涉及信息技术领域，尤其涉及一种数据处理方法及装置、电子设备及存储介质。
背景技术
随着信息技术的发展，出现了3D视频和3D体感游戏等基于所述3D坐标的交互。3D坐标相对于2D坐标多了一个方向的坐标值，如此，3D坐标比2D 坐标能够具有多一个维度的交互。
例如，采集用户在3D空间内的移动，并转换为对游戏角色在前后、左右、上下等三个相互垂直方向上的控制。若采用2D坐标来控制，用户可能需要输入至少两个操作，如此，简化了用户控制，提升了用户体验。
但是这种基于所述3D坐标的交互，需要相应的3D设备，例如，用户需要佩戴检测其在三维空间内运动的3D体感设备(可穿戴设备)；或者，需要利用 3D摄像头来采集用户在3D空间内的移动。不管是通过3D体感设备还是3D 摄像头来确定用户在3D空间内的移动，显然硬件成本都比较高。且利用3D摄像头来获取用户在3D空间内的移动，由于深度采集的精确度自身不高时，会导致基于所述3D坐标的交互的精确度下降。
发明内容
有鉴于此，本发明实施例期望提供一种数据处理方法及装置、电子设备及存储介质。
本发明的技术方案是这样实现的：
一种数据处理方法，包括：
获取目标对象的2D图像；
根据所述2D图像，获取第一关键点的第一2D坐标和第二关键点的第二 2D坐标，其中，所述第一关键点为所述目标对象的第一局部在所述2D图像中的成像点；所述第二关键点为所述目标对象的第二局部在所述2D图像中的成像点；
基于第一2D坐标及所述第二2D坐标，确定相对坐标，其中，所述相对坐标用于表征所述第一局部和所述第二局部之间的相对位置；
将所述相对坐标投影到虚拟三维空间内并获得与所述相对坐标对应的3D 坐标，其中，所述3D坐标用于控制受控设备执行预定操作。
基于上述方案，所述第一2D坐标和所述第二2D坐标为位于第一2D坐标系内的2D坐标。
基于上述方案，所述基于第一关键点信息及所述第二关键点信息，确定所述第一局部的成像相对于所述第二局部的成像的相对坐标，包括：
根据所述第二2D坐标，构建第二2D坐标系；
将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
基于上述方案，所述基于第一关键点信息及所述第二关键点信息，确定所述第一局部的成像相对于所述第二局部的成像的相对坐标，还包括：
根据所述第一2D坐标系和第二2D坐标系，确定从所述第一2D坐标系映射到所述第二2D坐标系的转换参数；基于所述转换参数，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
基于上述方案，所述根据所述第一2D坐标系和第二2D坐标系，确定从第一2D坐标系映射到所述第二2D坐标系的转换参数，包括：确定所述2D图像在第一方向上的第一尺寸，确定所述第二局部在第一方向上的第二尺寸；
根据所述第一尺寸及所述第二尺寸之间的第一比值；
根据所述第一比值确定所述转换参数。
基于上述方案，所述根据所述第一2D坐标系和第二2D坐标系，确定从第一2D坐标系映射到所述第二2D坐标系的转换参数，还包括：
确定所述2D图像在第二方向上的第三尺寸，确定所述第二局部在第二方向上的第四尺寸，其中，所述第二方向垂直于所述第一方向；
根据所述第三尺寸与所述第四尺寸之间的第二比值；
所述根据所述第一比值确定所述转换参数，包括：
结合所述第一比值和第二比值，确定所述转换参数。
基于上述方案，所述基于所述转换参数，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标，包括：
基于所述转换参数及所述第一2D坐标系的中心坐标，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
基于上述方案，所述将所述相对坐标投影到虚拟三维空间内并获得与所述相对坐标对应的3D坐标，包括：
对所述第三2D坐标进行归一化处理得到第四2D坐标；
结合所述第四2D坐标及所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标。
基于上述方案，所述对所述第三2D坐标进行归一化处理得到第四2D坐标，包括：
结合所述第二局部的尺寸及所述第二2D坐标系的中心坐标，对所述第三 2D坐标进行归一化处理得到所述第四2D坐标。
基于上述方案，所述结合所述第四2D坐标及所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标，包括：
结合所述第四2D坐标、所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离及缩放比例，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标。
基于上述方案，所述方法还包括：
确定所述2D图像上所述目标对象的数目M；
所述根据所述2D图像，获取第一关键点的第一2D坐标和第二关键点的第二2D坐标，包括：
根据所述2D图像，获得每一个所述目标对象的所述第一关键点的第一2D 坐标和所述第二关键点的第二2D坐标，以获得M组所述3D坐标。
基于上述方案，所述方法包括：
在第一显示区域内显示基于所述3D坐标的控制效果；
在与所述第一显示区域对应的第二显示区域内显示所述2D图像。
基于上述方案，所述在与所述第一显示区域对应的第二显示区域内显示所述2D图像，包括：
根据所述第一2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第一关键点的第一指代图形；
和/或，
根据所述第二2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第二关键点的第二指代图形。
一种数据处理装置，包括：
第一获取模块，用于获取目标对象的2D图像；
第二获取模块，用于根据所述2D图像，获取第一关键点的第一2D坐标和第二关键点的第二2D坐标，其中，所述第一关键点为所述目标对象的第一局部在所述2D图像中的成像点；所述第二关键点为所述目标对象的第二局部在所述2D图像中的成像点；
第一确定模块，用于基于第一2D坐标及所述第二2D坐标，确定相对坐标，其中，所述相对坐标用于表征所述第一局部和所述第二局部之间的相对位置；
投影模块，用于将所述相对坐标投影到虚拟三维空间内并获得与所述相对坐标对应的3D坐标，其中，所述3D坐标用于控制受控设备执行预定操作。
基于上述方案，所述第一2D坐标和所述第二2D坐标为位于第一2D坐标系内的2D坐标。
基于上述方案，所述第一确定模块，具体用于根据所述第二2D坐标，构建第二2D坐标系；将所述第一2D坐标映射到所述第二2D坐标系，获得第三 2D坐标。
基于上述方案，所述第一确定模块还用于根据所述第一2D坐标系和第二 2D坐标系，确定从所述第一2D坐标系映射到所述第二2D坐标系的转换参数；基于所述转换参数，将所述第一2D坐标映射到所述第二2D坐标系，获得第三 2D坐标。
基于上述方案，所述第一确定模块，具体用于确定所述2D图像在第一方向上的第一尺寸，确定所述第二局部在第一方向上的第二尺寸；根据所述第一尺寸及所述第二尺寸之间的第一比值；根据所述第一比值确定所述转换参数。
基于上述方案，所述第一确定模块，还用于确定所述2D图像在第二方向上的第三尺寸，确定所述第二局部在第二方向上的第四尺寸，其中，所述第二方向垂直于所述第一方向；根据所述第三尺寸与所述第四尺寸之间的第二比值；结合所述第一比值和第二比值，确定所述转换参数。
基于上述方案，所述第一确定模块，具体用于基于所述转换参数及所述第一2D坐标系的中心坐标，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
基于上述方案，所述投影模块，具体用于对所述第三2D坐标进行归一化处理得到第四2D坐标；结合所述第四2D坐标及所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离，确定所述第一关键点投影到所述虚拟三维空间内的 3D坐标。
基于上述方案，所述投影模块，具体用于结合所述第二局部的尺寸及所述第二2D坐标系的中心坐标，对所述第三2D坐标进行归一化处理得到所述第四 2D坐标。
基于上述方案，所述投影模块，具体用于结合所述第四2D坐标、所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离及缩放比例，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标。
基于上述方案，所述装置还包括：
第二确定模块，用于确定所述2D图像上所述目标对象的数目M；
所述第二获取模块，具体用于根据所述2D图像，获得每一个所述目标对象的所述第一关键点的第一2D坐标和所述第二关键点的第二2D坐标，以获得 M组所述3D坐标。
基于上述方案，所述装置包括：
第一显示模块，用于在第一显示区域内显示基于所述3D坐标的控制效果；
第二显示模块，用于在与所述第一显示区域对应的第二显示区域内显示所述2D图像。
基于上述方案，所述第二显示模块，还用于根据所述第一2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第一关键点的第一指代图形；和/或，根据所述第二2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第二关键点的第二指代图形。
一种电子设备，包括：
存储器；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令实现前述任意技术方案提供的数据处理方法。
一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述任意技术方案提供的数据处理方法。
本发明实施例提供的技术方案，直接利用2D图像中目标对象的第一局部的第一关键点和第二局部的第二关键点之间的相对坐标，转换到虚拟三维空间内，从而得到相对坐标所对应的3D坐标；利用这种3D坐标与受控设备进行交互；而不用3D人体感应设备或者是深度摄像头来采集3D坐标，简化了基于 3D坐标进行交互的硬件结构，节省了硬件成本。
附图说明
图1为本发明实施例提供的第一种数据处理方法的流程示意图；
图2为本发明实施例提供的一种视锥的示意图；
图3为本发明实施例提供的一种相对坐标的确定流程示意图；
图4为本发明实施例提供的第二种数据处理方法的流程示意图；
图5A为本发明实施例提供的一种显示效果示意图；
图5B为本发明实施例提供的另一种显示效果示意图；
图6为本发明实施例提供的一种数据处理装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
如图1所示，本实施例提供一种数据处理方法，包括：
步骤S110：获取目标对象的2D图像；
步骤S120：根据所述2D图像，获取第一关键点的第一2D坐标和第二关键点的第二2D坐标，其中，所述第一关键点为所述目标对象的第一局部在所述2D图像中的成像点；所述第二关键点为所述目标对象的第二局部在所述2D 图像中的成像点；
步骤S130：基于第一2D坐标及所述第二2D坐标，确定相对坐标，其中，所述相对坐标用于表征所述第一局部和所述第二局部之间的相对位置；
步骤S140：将所述相对坐标投影到虚拟三维空间内并获得与所述相对坐标对应的3D坐标；其中，所述3D坐标用于控制受控设备执行预定操作。
在本实施例中，获取的目标对象的2D图像，此处的2D图像可以用任意一个2D摄像头采集的图像。例如，利用普通RGB的摄像头采集的RGB图像或者，YUV图像；再例如，所述2D图像还可为BGRA格式的2D图像。在本实施例中，可以利用位于受控设备上的单目摄像头就可以完成所述2D图像的采集。或者，该单目摄像头还可以与所述受控设备连接的摄像头。该摄像头的采集区域和所述受控设备的观看区域至少部分重叠。例如，所述受控设备为智能电视等游戏设备，游戏设备包括显示屏，能够观看到所述显示屏的区域为所述观看区域，而所述采集区域为摄像头能够采集到的区域。优选地，所述摄像头的采集区域与所述观看区域重叠。
在本实施例中，所述步骤S110获取2D图像可包括：利用二维(2D)摄像头采集2D图像，或者，从采集设备接收2D图像。
所述目标对象可为：人体的手部和躯干部分。所述2D图像可为包含有人体的手部和躯干部分的成像。例如，所述第一局部为所述人体的手部，所述第二局部为所述躯干部分。再例如，所述第一局部可为眼睛的眼珠，所述第二局部可为整个眼睛。再例如，所述第一局部可为人体的脚部，第二局部可为人体的躯干。
在本实施例中，所述第二局部的成像可为提供所述第一局部的成像的参考面。在一些实施例中，在所述2D图像中所述第一局部的成像面积小于所述第二局部在所述2D图像中的成像面积。
在本实施例中，所述第一2D坐标和第二2D坐标均可为在第一2D坐标系中的坐标值。例如，所述第一2D坐标系可为所述2D图像所在平面构成的2D 坐标系。
在步骤S130中结合，第一2D坐标和第二2D坐标确定出表征第一关键点与第二关键点之间相对位置的相对坐标。然后将该相对坐标投影到虚拟三维空间内。该虚拟三维空间可为预设的三维空间，得到该相对坐标在虚拟三维空间内的3D坐标。该3D坐标可以用于与显示界面相关的基于所述3D坐标的交互。
所述虚拟三维空间可为各种类型的虚拟三维空间，该虚拟三维空间的坐标范围可以从负无穷大一直到正无穷大。在该虚拟三维空间内可以设置有虚拟摄像机。图2所示为一种虚拟摄像机的视角所对应的视锥。该虚拟摄像机在本实施例中可为所述2D图像的物理摄像机在虚拟三维空间内的映射。所述视锥可包括：近夹面、顶面、右面及在图2中未标注的左面等。在本实施例中，所述虚拟三维空间的虚拟视点可位于所述近夹面上，例如，所述虚拟视点位于所述近夹面的中心点。根据如图2所示的视锥可以虚拟摄像机和视锥，可以将相对坐标转换到虚拟三维空间内得到所述3D坐标。
所述基于所述3D坐标的交互为：根据目标对象两个时刻在虚拟三维空间内的坐标变换进行操作控制。例如，以游戏角色的控制为例，所述基于所述3D 坐标的交互包括：
基于前后两个时刻在虚拟三维空间内三个坐标轴上的变化量或变化率，控制游戏角色在对应的三个坐标轴上的参数。例如，以游戏角色的移动控制为例，游戏角色在三维空间内移动，可以前后移动、左右移动及上下跳动。用户的手部相对于躯干的相对坐标转换到三维空间内之后，根据两个时刻相对坐标转换到虚拟三维空间内的坐标变换量或变化率，分别控制游戏角色前后移动、左右移动及上下跳动。具体如，将相对坐标投影到虚拟三维空间内的x轴上的坐标，用于控制游戏角色前后移动，将相对坐标投影到虚拟三维空间内y轴上的坐标，用于控制游戏角色的左右移动，将相对坐标投影到虚拟三维空间内的z轴上的坐标，用于控制游戏角色上下跳动的高度。
在一些实施例中，显示界面内的显示图像至少可以分为：背景图层及前景图层，可以根据当前3D坐标在虚拟三维空间上z轴坐标位置，确定出该3D坐标是控制背景图层上的图形元素变换或执行对应的响应操作，还是控制前景图层上的图形元素变换或执行对应的响应操作。
在另一些实施例中，显示界面内的显示图像还可以分为：背景图层、前景图层位于背景图层和前景图层之间的一个或多个中间图层。同样地，根据当前得到的3D坐标中z轴的坐标值，确定3D坐标所作用的图层；再结合3D坐标在x轴和y轴的坐标值，确定3D坐标所作用的是该图层中的哪一个图形元素，从而进一步控制被3D坐标所作用的图形元素的变换或执行对应的响应操作。
当然以上，仅是对根据3D坐标进行基于所述3D坐标的交互的举例，具体的实现方式有很多种，不局限于上述任意一种。
所述虚拟三维空间可为预先定义的一个三维空间。具体如，根据所述采集 2D图像的采集参数，预先定义了虚拟三维空间。所述虚拟三维空间可包括：虚拟成像平面及虚拟视点构成。所述虚拟视点与所述虚拟成像平面之间的垂直距离可根据所述采集参数中的焦距来确定。在一些实施例中，所述虚拟成像平面的尺寸可根据受控设备的控制平面的尺寸来确定。例如，所述虚拟成像平面的尺寸与所述受控设备的控制平面的尺寸正相关。该控制平面可等于接收基于所述3D坐标的交互的显示界面的尺寸。
如此，在本实施例中，通过相对坐标投影到虚拟三维空间内，就可以模拟获得了基于深度摄像头或者3D体感设备得到3D坐标进行基于所述3D坐标的交互的控制效果，直接沿用2D摄像头即可，显然降低了基于所述3D坐标的交互的成本，且实现了基于3D坐标的交互。故在一些实施例中，所述方法还包括：基于所述3D坐标与受控设备进行交互，该交互可包括：用户与受控设备之间的交互。所述3D坐标可视作用户输入从而使得控制受控设备执行特定的操作，实现用户与受控设备之间的交互。
在一些实施例中，所述步骤S120可包括：获取所述第一关键点在所述2D 图像所对应的第一2D坐标系内所述第一2D坐标，并获取所述第二关键点在所述第一2D坐标系内的所述第二2D坐标。即所述第一2D坐标和第二2D坐标都是基于第一2D坐标系确定的。
在一些实施例中，所述步骤S130可包括：相对于所述第二局部的成像的相对坐标，包括：根据所述第二2D坐标，构建第二2D坐标系；将所述第一2D 坐标映射到所述第二2D坐标系，获得第三2D坐标。
具体地如，如图3所示，所述步骤S130可包括：
步骤S131：根据所述第二2D坐标，构建第二2D坐标系；
步骤S132：根据所述第一2D坐标系和第二2D坐标系，确定从第一2D坐标系映射到所述第二2D坐标系的转换参数；其中，所述转换参数，用于确定所述相对坐标。
在一些实施例中，所述步骤S130还可包括：
步骤S133：基于所述转换参数，将所述第一2D坐标映射到所述第二2D 坐标系，获得第三2D坐标。
在本实施例中，所述第二局部的第二关键点至少两个，例如，所述第二关键点可为第二局部成像的外轮廓点。根据所述第二关键点的坐标可以构建一个第二2D坐标系。该第二2D坐标系的原点可为多个所述第二关键点连接形成的外轮廓的中心点。
在本发明实施例中，所述第一2D坐标系和所述第二2D坐标系都是有边界的坐标系。
在确定出所述第一2D坐标系和所述第二2D坐标系之后，就可以根据两个 2D坐标系的尺寸和/或中心坐标，得到第一2D坐标系内的坐标映射到第二2D 坐标系内的转换参数。
基于该转换参数，就可以直接将所述第一2D坐标映射到所述第二2D坐标系，得到所述第三2D坐标。例如，该第三2D坐标为第一2D坐标映射到第二 2D坐标系之后的坐标。
在一些实施例中，所述步骤S132可包括：
确定所述2D图像在第一方向上的第一尺寸，确定所述第二局部在第一方向上的第二尺寸；
根据所述第一尺寸及所述第二尺寸之间的第一比值；
基于所述第一比值确定所述转换参数。
在另一些实施例中，所述步骤S132还可包括：
确定所述2D图像在第二方向上的第三尺寸，确定所述第二局部在第二方向上的第四尺寸，其中，所述第二方向垂直于所述第一方向；
根据所述第三尺寸与所述第四尺寸之间的第二比值；
结合所述第一比值和所述第二比值，确定所述第一2D坐标系和所述第二 2D坐标系之间的转换参数。
例如，所述第一比值可为：所述第一2D坐标系和所述第二2D坐标系在第一方向上的转换比值；所述第二比值可为：所述第一2D坐标系和所述第二2D 坐标系在第二方向上的转换比值。
在本实施例中，若所述第一方向为x轴所在的方向，则第二方向为y轴所在的方向；若所述第一方向为y轴所在的方向，则第二方向为x轴所在的方向。
在本实施例中，所述转换参数包括两个转换比值，分别是第一方向上第一尺寸和第二尺寸得到第一比值，和第二方向上第三尺寸与第四尺寸之间的转换比值。
在一些实施例中，所述步骤S132可包括：
利用如下函数关系，确定所述转换参数：
Figure GDA0003532012980000121
其中，camw为所述第一尺寸；torsow为所述第二尺寸；camh为所述第三尺寸；torsoh为所述第四尺寸；K为所述第一2D坐标映射到第二2D坐标系在所述第一方向上的转换参数；S为所述第一2D坐标映射到第二2D坐标系在所述第二方向上的转换参数。
所述camw在2D图像第一方向上两个边缘之间的距离。camh为2D图像第二方向上两个边缘之间的距离。第一方向和第二方向相互垂直。
所述K即为前述第一比值；所述S即为前述第二比值。在一些实施例中，所述转换参数除了所述第一比值和所述第二比值以外，还可以引入调整因子，例如，所述调整因子包括：第一调整因子和/或第二调整因子。所述调整因子可包括：加权因子和/或比例因子。若所述调整因子为比例因子，则所述转换参数可为：所述第一比值和/或第二比值与比例因子的乘积。若所述调整因子为加权因子，则所述转换参数可为：所述第一比值和/或第二比值与加权因子的加权和。
在一些实施例中，所述步骤S134可包括：基于所述转换参数及所述第一 2D坐标系的中心坐标，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。在一定程度上，所述第三2D坐标可以表示所述第一局部相对于所述第二局部的位置。
具体地如，所述步骤S134可包括：利用如下函数关系确定所述第三2D坐标：
(x3,y3)＝((x1-xt)*K+xi,(y1-yt)*S+yi)
(x3,y3)为所述第三2D坐标；(x1,y1)为所述第一2D坐标；(xt,yt)为所述第二局部的中心点在所述第一2D坐标系内的坐标。
在本实施例中，x均表示第一方向上的坐标值；y为表示第二方向上的坐标值。
在一些实施例中，所述步骤S140可包括：
对所述第三2D坐标进行归一化处理得到第四2D坐标；
结合所述第四2D坐标及所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标。
在一些实施例中，可以直接对第三2D坐标进行投影，以将第三2D坐标投影到虚拟成像平面内。在本实施例中，为了方便计算，会对第三2D坐标进行归一化处理，在归一化处理之后再投影到虚拟成像平面内。
在本实施例中，虚拟视点与虚拟成像平面之间的距离可为已知的距离。
在进行归一化处理时，可以基于2D图像的尺寸来进行，也可以是基于某一个预先定义的尺寸来确定。所述归一化处理的方式有多种，通过归一化处理，减少不同采集时刻采集的2D图像的第三2D坐标变化过大导致的数据处理不变的现象，简化了手续的数据处理。
在一些实施例中，所述对所述第三2D坐标进行归一化处理得到第四2D坐标，包括：结合所述第二局部的尺寸及所述第二2D坐标系的中心坐标，对所述第三2D坐标进行归一化处理得到所述第四2D坐标。
例如，所述结合所述第二局部的尺寸及所述第二2D坐标系的中心坐标，对所述第三2D坐标进行归一化处理得到所述第四2D坐标，包括：
(x4,y4)＝[((x1-xt)*K+xi)/torsow,(1-((y1-yt)*S+yi)) /torsoh]
其中，(x4,y4)为所述第四2D坐标；(x1,y1)为所述第一2D坐标；(xt,yt)为所述第二局部的中心点在所述第一2D坐标系内的坐标；(xi,yi)为所述2D图像的中心点在所述第一2D坐标系内的坐标。所述2D图像通常为矩形的，此处的 2D图像的中心点为矩形的中心点。torsow为所述第二局部在第一方向上的尺寸； torsoh为所述第二局部在第二方向上的尺寸；K为所述第一2D坐标映射到第二 2D坐标系在所述第一方向上的转换参数；S为所述第一2D坐标映射到第二2D 坐标系在所述第二方向上的转换参数；所述第一方向垂直于所述第二方向。
由于第二2D坐标系的中心坐标值为：(0.5*torsow，0.5*torsoh)。故所述第四2D坐标的求解函数可如下所示：
Figure GDA0003532012980000141
在一些实施例中，所述结合所述第四2D坐标及所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标，包括：结合所述第四2D坐标、所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离及缩放比例，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标；具体地如，可利用如下函数关系，确定所述3D坐标：
(x4*dds,y4*dds,d)
其中，x4为所述第四2D坐标在第一方向上的坐标值；y4为所述第四2D 坐标在第二方向上的坐标值；dds为缩放比例；d为所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离。
在本实施例中，所述缩放比例可为预先确定的静态值，也可以是动态根据被采集对象(例如，被采集用户)距离摄像头的距离确定的。
在一些实施例中，所述方法还包括：
确定所述2D图像上所述目标对象的数目M；
所述步骤S120可包括：
根据所述2D图像，获得每一个所述目标对象的所述第一关键点的第一2D 坐标和所述第二关键点的第二2D坐标，以获得M组所述3D坐标。
例如，通过轮廓检测等处理，例如，人脸检测可以检测出一个2D图像中有多少个控制用户在，然后基于每一个控制用户得到对应的3D坐标。
例如，若在一个2D图像中检测到3个用户的成像，则需要分别获得3个用户在该2D图像内的成像，然后基于3个用户的手部和躯干部分的关键点的 2D坐标，并通过步骤S130至步骤S150的执行，可以得到3个用户分别对应虚拟三维空间内的3D坐标。
在一些实施例中，如图4所示，所述方法包括：
步骤S210：在第一显示区域内显示基于所述3D坐标的控制效果；
步骤S220：在与所述第一显示区域对应的第二显示区域内显示所述2D图像。
为了提升用户体验，方便用户根据第一显示区域和第二显示区域的内容，修正自己的动作，会在第一显示区域显示控制效果，而第二区域显示所述2D 图像。
在一些实施例中，所述第一显示区域和所述第二显示区域可以对应不同的显示屏，例如，第一显示区域可对应于第一显示屏，第二显示区域可对应于第二显示屏；所述第一显示屏和第二显示屏并列设置。
在另一些实施例中，所述第一显示区域和第二显示区域可为同一个显示屏的不同显示区域。所述第一显示区域和所述第二显示区域可为并列设置的两个显示区域。
如图5A所示，在第一显示区域内显示有控制效果的图像，并在与第一显示区域并列的第二显示区域内显示有2D图像。在一些实施例中，第二显示区域显示的2D图像为当前实时采集的2D图像或者2D视频中当前实时采集的视频帧。
在一些实施例中，所述在与所述第一显示区域对应的第二显示区域内显示所述2D图像，包括：
根据所述第一2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第一关键点的第一指代图形；
和/或，
根据所述第二2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第二关键点的第二指代图形。
在一些实施例中，第一指代图形是叠加显示在所述第一关键点上的，通过第一指代图形的显示，可以突出显示所述第一关键点的位置。例如，所述第一指代图像使用的色彩和/或亮度等显示参数区分于所述目标对象其他部分成像的色彩和/或亮度等显示参数。
在另一些实施例中，所述第二指代图形同样是叠加显示在所述第二关键点上的，如此，方便用户根据第一指代图形和第二指代图形从视觉上判断出自身的第一局部和第二局部之间的相对位置关系，从而后续有针对性的调整。
同样地，例如，所述第二指代图形使用的色彩和/或亮度等显示参数区分于所述目标对象其他部分成像的色彩和/或亮度等显示参数。
在一些实施例中，为了区分所述第一指代图形和所述第二指代图形，所述第一指代图形和所述第二指代图形的显示参数不同，方便用户通过视觉效果简便进行区分，提升用户体验。
在还有一些实施例中，所述方法还包括：
生成关联指示图形，其中，所述关联指示图形的一端指向所述第一指代图形，所述第二关联指示图形的另一端指向所述受控设备上受控元素。
该受控元素可包括：受控设备上显示的游戏对象或光标等受控对象。
如图5B所示，在第二显示区域显示的2D图像上还显示有第一指代图形和 /或第二指代图形。并在第一显示区域和第二显示区域上共同显示有关联指示图形。
如图6所示，本实施例提供一种数据处理装置，包括：
第一获取模块110，用于获取目标对象的2D图像；
第二获取模块120，用于根据所述2D图像，获取第一关键点的第一2D坐标和第二关键点的第二2D坐标，其中，所述第一关键点为所述目标对象的第一局部在所述2D图像中的成像点；所述第二关键点为所述目标对象的第二局部在所述2D图像中的成像点；
第一确定模块130，用于基于第一2D坐标及所述第二2D坐标，确定相对坐标，其中，所述相对坐标用于表征所述第一局部和所述第二局部之间的相对位置；
投影模块140，用于将所述相对坐标投影到虚拟三维空间内并获得与所述相对坐标对应的3D坐标，其中，所述3D坐标用于控制受控设备执行预定操作。
在一些实施例中，所述第一获取模块110、第二获取模块120、第一确定模块130及投影模块140可为程序模块，所述程序模块被处理器执行后，能够实现上述各个模块的功能。
在另一些实施例中，所述第一获取模块110、第二获取模块120、第一确定模块130及投影模块140可为软硬结合模块，该软硬结合模块可包括：各种可编程阵列；例如，复杂可编程阵列或者现场可编程阵列。
在还有一些实施例中，所述第一获取模块110、第二获取模块120、第一确定模块130及投影模块140可为纯硬件模块，该纯硬件模块可为专用集成电路。
在一些实施例中，所述第一2D坐标和所述第二2D坐标为位于第一2D坐标系内的2D坐标。
在一些实施例中，所述第二获取模块120，具体用于获取所述第一关键点在所述2D图像所对应的第一2D坐标系内所述第一2D坐标，并获取所述第二关键点在所述第一2D坐标系内的所述第二2D坐标；
所述第一确定模块130，具体用于根据所述第二2D坐标，构建第二2D坐标系；将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
在另一些实施例中，所述第一确定模块130，还用于根据所述第一2D坐标系和第二2D坐标系，确定从第一2D坐标系映射到所述第二2D坐标系的转换参数；基于所述转换参数，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
在一些实施例中，所述第一确定模块130，具体用于确定所述2D图像在第一方向上的第一尺寸，确定所述第二局部在第一方向上的第二尺寸；根据所述第一尺寸及所述第二尺寸之间的第一比值；根据所述第一比值确定转换参数。
在另一些实施例中，所述第一确定模块130，还用于确定所述2D图像在第二方向上的第三尺寸，确定所述第二局部在第二方向上的第四尺寸，其中，所述第二方向垂直于所述第一方向；根据所述第二尺寸与所述第三尺寸之间的第二比值；结合所述第一比值及所述第二比值确定所述第一2D坐标系和所述第二2D坐标系之间的转换参数。
在一些实施例中，所述第一确定模块130，具体用于利用如下函数关系，确定所述转换参数：
Figure GDA0003532012980000181
其中，camw为所述第一尺寸；torsow为所述第二尺寸；camh为所述第三尺寸；torsoh为所述第四尺寸；K为所述第一2D坐标映射到第二2D坐标系在所述第一方向上的转换参数；S为所述第一2D坐标映射到第二2D坐标系在所述第二方向上的转换参数。
在一些实施例中，所述第一确定模块130，具体用于利用如下函数关系确定所述第三2D坐标：
(x3,y3)＝((x1-xt)*K+xi,(y1-yt)*S+yi)
(x3,y3)为所述第三2D坐标；(x1,y1)为所述第一2D坐标；(xt,yt)为所述第二局部的中心点在所述第一2D坐标系内的坐标。
在一些实施例中，所述投影模块140，具体用于对所述第三2D坐标进行归一化处理得到第四2D坐标；结合所述第四2D坐标及所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标。
在一些实施例中，所述投影模块140，具体用于结合所述第二局部的尺寸及所述第二2D坐标系的中心坐标，对所述第三2D坐标进行归一化处理得到所述第四2D坐标。
在一些实施例中，所述投影模块140，具体用于结合所述第四2D坐标、所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离及缩放比例，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标。
进一步地，所述投影模块140，可具体用于基于以下函数关系确定所述3D 坐标：
(x4,y4)＝[((x1-xt)*K+xi)/torsow,(1-((y1-yt)*S+yi)) /torsoh]
其中，(x1,y1)为所述第一2D坐标；(xt,yt)为所述第二局部的中心点在所述第一2D坐标系内的坐标；(xi,yi)为所述2D图像的中心点在所述第一2D坐标系内的坐标；torsow为所述第二局部在第一方向上的尺寸；torsoh为所述第二局部在第二方向上的尺寸；K为所述第一2D坐标映射到第二2D坐标系在所述第一方向上的转换参数；S为所述第一2D坐标映射到第二2D坐标系在所述第二方向上的转换参数；所述第一方向垂直于所述第二方向。
在一些实施例中，所述投影模块140，具体用于结合所述第四2D坐标、所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离及缩放比例，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标。
进一步地，所述投影模块140，可具体用于利用如下函数关系，确定所述 3D坐标：
(x4*dds,y4*dds,d)
其中，x4为所述第四2D坐标在第一方向上的坐标值；y4为所述第四2D 坐标在第二方向上的坐标值；dds为缩放比例；d为所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离。
在一些实施例中，所述装置还包括：
第二确定模块，用于确定所述2D图像上所述目标对象的数目M；
所述第二获取模块120，具体用于根据所述2D图像，获得每一个所述目标对象的所述第一关键点的第一2D坐标和所述第二关键点的第二2D坐标，以获得M组所述3D坐标。
在一些实施例中，所述装置包括：
第一显示模块，用于在第一显示区域内显示基于所述3D坐标的控制效果；
第二显示模块，用于在与所述第一显示区域对应的第二显示区域内显示所述2D图像。
在一些实施例中，所述第二显示模块，还用于根据所述第一2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第一关键点的第一指代图形；和/或，根据所述第二2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第二关键点的第二指代图形。
以下结合上述任意实施例提供一个具体示例：
示例1：
本示例提供一种数据处理方法包括：
实时识别人体姿势关键点，通过公式与算法实现无需手握或穿戴设备的在虚拟环境中做出精度较高的操作。
读取脸部识别模型与人体姿势关键点识别模型并建立相对应句柄，同时配置追踪参数。
打开视频流，每一帧将当前帧转换为BGRA格式，并根据需要进行翻转，数据流存为带有时间戳的对象。
通过人脸句柄检测当前帧并得到人脸识别结果及人脸数量，此结果协助特人体姿势(human pose)关键点追踪。
检测当前帧的人体姿势，并通过追踪句柄追踪实时人体关键点。
得到人体姿势关键点后定位到手部关键点，从而得到手部位于摄像头识别图像中的像素点。该手部关键点为前述第一关键点，具体如，该手部关键点具体可为手腕关键点。
此处假设手部将成为之后的操作光标。
通过同样方式定位人体肩膀关键点及腰部关键点，计算出身体中心位置的像素坐标。人体肩部关键点及腰部关键点可为躯干关键点，为前述实施例中提到的第二关键点。
以图片正中心为原点重新标定上述坐标，以用于后期三维转换。
设定人体上半身为参照，求出场景与人体的相对系数。
为了使姿势操控系统保持不同场景中稳定的表现，即无论用户在镜头中任何方位或者离镜头多远，都能达到同样的操控效果，我们使用操纵光标与身体中心的相对位置。
通过相对系数与重新标定的手部坐标、身体中心坐标计算出手部相对于身体的新坐标。
保留新坐标与识别空间，即摄像头图像尺寸的X和Y比例。
在虚拟三维空间中生成需要投影操作空间，计算出观察点和接收操作物体的距离D，通过X、Y和D将视点坐标转为操作光标在三维空间中的坐标。
如存在虚拟操作平面，则取操作光标坐标的x和y值，代入透视投影和屏幕映射公式得到操作屏幕空间中的像素点。
可以应用到多个用户多个光标同时操作。
假设摄像机所采集的2D图像对应的第一2D坐标系中左下角为(0,0)且右上角为(camw,camh)；
假设手部关键点在2D图像所对应的第一2D坐标系内的坐标为：(x1,y1)；
假设躯干中心点在第一2D坐标系内的坐标为：(xt,yt)；
假设2D图像的中心点在第一2D坐标系内的坐标为：(xi,yi)。
则存在转换参数如下：
所述转换参数：
Figure GDA0003532012980000211
手部关键点转换到躯干所对应的第二2D坐标系内的转换函数可如下：
(x3,y3)＝((x1-xt)*K+xi,(y1-yt)*S+yi)。
若摄像机所采集的2D图像对应的第一2D坐标系中左下角为(0,0)且右下角为(camw,camh)；
则手部关键点转换到躯干所对应的第二2D坐标系内的转换函数可如下： (x3,y3)＝((x1-xt)*K+xi,(yt -y1 )*S+yi)。
综合之后，手部关键点转换到躯干所对应的第二2D坐标系内的转换函数可为：
(hand-torso)*(cam/torse)+cam-center；其中，hand表示手部关键点在第一
2D坐标系内的坐标；torso表示躯干关键点在第一2D坐标系内的坐标；cam-center为2D图像对应的第一2D坐标的中心坐标。
在归一化的处理过程中，可以引入缩放比例，所述缩放比例的取值范围可为1至3之间，也可以是1.5至2之间。
在三维虚拟空间内可以根据构建的三维虚拟空间得到如下坐标：
虚拟视点的坐标:(xc,yc,zc)
虚拟控制平面的坐标:(xj,yj,zj)
d的可为(xc,yc,zc)与(xj,yj,zj)之间距离。
通过归一化处理之后，将得到归一化后的第四2D坐标为：
(x4,y4)＝[(x1-xt)*camw+0.5,0.5-(y1-yt)*camh]。
而转换到虚拟三维空间内的3D坐标可为：
Figure GDA0003532012980000221
如图7所示，本申请实施例提供了一种图像处理设备，包括：
存储器，用于存储信息；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的数据处理方法，例如，如图1、图3及图4所示的方法中的一个或多个。
该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。
所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。
在一些实施例中，所述图像处理设备还包括摄像头，该摄像头可为2D 摄像头，可以采集2D图像。
在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。
本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述一个或多个技术方案提供的数据处理方法，例如，如图1、图3及图4所示的方法中的一个或多个。
所述存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述存储介质可为非瞬间存储介质。
本申请实施例提供一种计算机程序产品，所述程序产品包括计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意实施提供的数据处理方法，例如，如图1、图3及图4所示的方法中的一个或多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (28)

1.一种数据处理方法，其特征在于，包括：
获取目标对象的2D图像；
根据所述2D图像，获取第一关键点的第一2D坐标和第二关键点的第二2D坐标，其中，所述第一关键点为所述目标对象的第一局部在所述2D图像中的成像点；所述第二关键点为所述目标对象的第二局部在所述2D图像中的成像点；
基于第一2D坐标及所述第二2D坐标，确定相对坐标，其中，所述相对坐标用于表征所述第一局部和所述第二局部之间的相对位置；
将所述相对坐标投影到虚拟三维空间内并获得与所述相对坐标对应的3D坐标，其中，所述3D坐标用于控制受控设备执行预定操作。
2.根据权利要求1所述的方法，其特征在于，
所述第一2D坐标和所述第二2D坐标为位于第一2D坐标系内的2D坐标。
3.根据权利要求2所述的方法，其特征在于，所述相对坐标为第三2D坐标；
所述基于第一2D坐标及所述第二2D坐标，确定相对坐标，包括：
根据所述第二2D坐标，构建第二2D坐标系；
将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标，还包括：
根据所述第一2D坐标系和第二2D坐标系，确定从所述第一2D坐标系映射到所述第二2D坐标系的转换参数；基于所述转换参数，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
5.根据权利要求4所述的方法，其特征在于，
所述根据所述第一2D坐标系和第二2D坐标系，确定从所述第一2D坐标系映射到所述第二2D坐标系的转换参数，包括：确定所述2D图像在第一方向上的第一尺寸，确定所述第二局部在第一方向上的第二尺寸；
根据所述第一尺寸及所述第二尺寸之间的第一比值；
根据所述第一比值确定所述转换参数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一2D坐标系和第二2D坐标系，确定从所述第一2D坐标系映射到所述第二2D坐标系的转换参数，还包括：
确定所述2D图像在第二方向上的第三尺寸，确定所述第二局部在第二方向上的第四尺寸，其中，所述第二方向垂直于所述第一方向；
根据所述第三尺寸与所述第四尺寸之间的第二比值；
结合所述第一比值和第二比值，确定所述转换参数。
7.根据权利要求4至6任一项所述的方法，其特征在于，
所述基于所述转换参数，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标，包括：
基于所述转换参数及所述第一2D坐标系的中心坐标，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
8.根据权利要求3至6任一项所述的方法，其特征在于，
所述将所述相对坐标投影到虚拟三维空间内并获得与所述相对坐标对应的3D坐标，包括：
对所述第三2D坐标进行归一化处理得到第四2D坐标；
结合所述第四2D坐标及所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标。
9.根据权利要求8所述的方法，其特征在于，
所述对所述第三2D坐标进行归一化处理得到第四2D坐标，包括：
结合所述第二局部的尺寸及所述第二2D坐标系的中心坐标，对所述第三2D坐标进行归一化处理得到所述第四2D坐标。
10.根据权利要求8所述的方法，其特征在于，所述结合所述第四2D坐标及所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标，包括：
结合所述第四2D坐标、所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离及缩放比例，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标；所述缩放比例用于对所述第四2D坐标进行缩放。
11.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
确定所述2D图像上所述目标对象的数目M；
所述根据所述2D图像，获取第一关键点的第一2D坐标和第二关键点的第二2D坐标，包括：
根据所述2D图像，获得每一个所述目标对象的所述第一关键点的第一2D坐标和所述第二关键点的第二2D坐标，以获得M组所述3D坐标。
12.根据权利要求1至6任一项所述的方法，其特征在于，所述方法包括：
在第一显示区域内显示基于所述3D坐标的控制效果；
在与所述第一显示区域对应的第二显示区域内显示所述2D图像。
13.根据权利要求12所述的方法，其特征在于，所述在与所述第一显示区域对应的第二显示区域内显示所述2D图像，包括：
根据所述第一2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第一关键点的第一指代图形；
和/或，
根据所述第二2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第二关键点的第二指代图形。
14.一种数据处理装置，其特征在于，包括：
第一获取模块，用于获取目标对象的2D图像；
第二获取模块，用于根据所述2D图像，获取第一关键点的第一2D坐标和第二关键点的第二2D坐标，其中，所述第一关键点为所述目标对象的第一局部在所述2D图像中的成像点；所述第二关键点为所述目标对象的第二局部在所述2D图像中的成像点；
第一确定模块，用于基于第一2D坐标及所述第二2D坐标，确定相对坐标，其中，所述相对坐标用于表征所述第一局部和所述第二局部之间的相对位置；
投影模块，用于将所述相对坐标投影到虚拟三维空间内并获得与所述相对坐标对应的3D坐标，其中，所述3D坐标用于控制受控设备执行预定操作。
15.根据权利要求14所述的装置，其特征在于，
所述第一2D坐标和所述第二2D坐标为位于第一2D坐标系内的2D坐标。
16.根据权利要求15所述的装置，其特征在于，所述相对坐标为第三2D坐标；
所述第一确定模块，具体用于根据所述第二2D坐标，构建第二2D坐标系；
将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
17.根据权利要求16所述的装置，其特征在于，
所述第一确定模块还用于根据所述第一2D坐标系和第二2D坐标系，确定从所述第一2D坐标系映射到所述第二2D坐标系的转换参数，基于所述转换参数，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
18.根据权利要求17所述的装置，其特征在于，
所述第一确定模块，具体用于确定所述2D图像在第一方向上的第一尺寸，确定所述第二局部在第一方向上的第二尺寸；根据所述第一尺寸及所述第二尺寸之间的第一比值；根据所述第一比值确定所述转换参数。
19.根据权利要求18所述的装置，其特征在于，
所述第一确定模块，还用于确定所述2D图像在第二方向上的第三尺寸，确定所述第二局部在第二方向上的第四尺寸，其中，所述第二方向垂直于所述第一方向；根据所述第三尺寸与所述第四尺寸之间的第二比值；结合所述第一比值和第二比值，确定所述转换参数。
20.根据权利要求17至19中任一项所述的装置，其特征在于，
所述第一确定模块，具体用于基于所述转换参数及所述第一2D坐标系的中心坐标，将所述第一2D坐标映射到所述第二2D坐标系，获得第三2D坐标。
21.根据权利要求16至19任一项所述的装置，其特征在于，
所述投影模块，具体用于对所述第三2D坐标进行归一化处理得到第四2D坐标；结合所述第四2D坐标及所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标。
22.根据权利要求21所述的装置，其特征在于，
所述投影模块，具体用于结合所述第二局部的尺寸及所述第二2D坐标系的中心坐标，对所述第三2D坐标进行归一化处理得到所述第四2D坐标。
23.根据权利要求21所述的装置，其特征在于，
所述投影模块，具体用于结合所述第四2D坐标、所述虚拟三维空间内虚拟视点到虚拟成像平面内的距离及缩放比例，确定所述第一关键点投影到所述虚拟三维空间内的3D坐标；所述缩放比例用于对所述第四2D坐标进行缩放。
24.根据权利要求14至19任一项所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于确定所述2D图像上所述目标对象的数目M；
所述第二获取模块，具体用于根据所述2D图像，获得每一个所述目标对象的所述第一关键点的第一2D坐标和所述第二关键点的第二2D坐标，以获得M组所述3D坐标。
25.根据权利要求14至19任一项所述的装置，其特征在于，所述装置包括：
第一显示模块，用于在第一显示区域内显示基于所述3D坐标的控制效果；
第二显示模块，用于在与所述第一显示区域对应的第二显示区域内显示所述2D图像。
26.根据权利要求25所述的装置，其特征在于，所述第二显示模块，还用于根据所述第一2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第一关键点的第一指代图形；和/或，根据所述第二2D坐标，在所述第二显示区域内显示的所述2D图像上显示所述第二关键点的第二指代图形。
27.一种电子设备，其特征在于，包括：
存储器；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令实现权利要求1至13任一项提供的方法。
28.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现权利要求1至13任一项提供的方法。
CN201811572680.9A 2018-12-21 2018-12-21 数据处理方法及装置、电子设备及存储介质 Active CN111353930B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201811572680.9A CN111353930B (zh) 2018-12-21 2018-12-21 数据处理方法及装置、电子设备及存储介质
PCT/CN2019/092866 WO2020124976A1 (zh) 2018-12-21 2019-06-25 图像处理方法及装置、电子设备及存储介质
KR1020207031294A KR102461232B1 (ko) 2018-12-21 2019-06-25 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
JP2020561756A JP7026825B2 (ja) 2018-12-21 2019-06-25 画像処理方法及び装置、電子機器並びに記憶媒体
SG11202010312QA SG11202010312QA (en) 2018-12-21 2019-06-25 Image processing method and apparatus, electronic device and storage medium
TW108143268A TWI701941B (zh) 2018-12-21 2019-11-27 圖像處理方法及裝置、電子設備及儲存介質
US17/038,273 US20210012530A1 (en) 2018-12-21 2020-09-30 Image processing method and apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811572680.9A CN111353930B (zh) 2018-12-21 2018-12-21 数据处理方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111353930A CN111353930A (zh) 2020-06-30
CN111353930B true CN111353930B (zh) 2022-05-24

Family

ID=71100233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811572680.9A Active CN111353930B (zh) 2018-12-21 2018-12-21 数据处理方法及装置、电子设备及存储介质

Country Status (7)

Country Link
US (1) US20210012530A1 (zh)
JP (1) JP7026825B2 (zh)
KR (1) KR102461232B1 (zh)
CN (1) CN111353930B (zh)
SG (1) SG11202010312QA (zh)
TW (1) TWI701941B (zh)
WO (1) WO2020124976A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109675315B (zh) * 2018-12-27 2021-01-26 网易（杭州）网络有限公司 游戏角色模型的生成方法、装置、处理器及终端
KR20220018760A (ko) 2020-08-07 2022-02-15 삼성전자주식회사 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법
CN111985384A (zh) * 2020-08-14 2020-11-24 深圳地平线机器人科技有限公司 获取脸部关键点的3d坐标及3d脸部模型的方法和装置
CN111973984A (zh) * 2020-09-10 2020-11-24 网易（杭州）网络有限公司 虚拟场景的坐标控制方法、装置、电子设备及存储介质
US11461975B2 (en) * 2020-12-03 2022-10-04 Realsee (Beijing) Technology Co., Ltd. Method and apparatus for generating guidance among viewpoints in a scene
TWI793764B (zh) * 2021-09-14 2023-02-21 大陸商北京集創北方科技股份有限公司 屏下光學指紋鏡頭位置補償方法、屏下光學指紋採集裝置及資訊處理裝置
CN114849238B (zh) * 2022-06-02 2023-04-07 北京新唐思创教育科技有限公司 动画执行方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240289A (zh) * 2014-07-16 2014-12-24 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN108648280A (zh) * 2018-04-25 2018-10-12 深圳市商汤科技有限公司 虚拟角色驱动方法及装置、电子设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
CN103778635B (zh) * 2006-05-11 2016-09-28 苹果公司 用于处理数据的方法和装置
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US9032334B2 (en) * 2011-12-21 2015-05-12 Lg Electronics Inc. Electronic device having 3-dimensional display and method of operating thereof
US8571351B2 (en) * 2012-06-03 2013-10-29 Tianzhi Yang Evaluating mapping between spatial point sets
US20140181759A1 (en) * 2012-12-20 2014-06-26 Hyundai Motor Company Control system and method using hand gesture for vehicle
KR102068048B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 3차원 영상 제공 시스템 및 방법
CN104134235B (zh) * 2014-07-25 2017-10-10 深圳超多维光电子有限公司 真实空间和虚拟空间的融合方法和融合系统
CN104778720B (zh) * 2015-05-07 2018-01-16 东南大学 一种基于空间不变特性的快速体积测量方法
CN106559660B (zh) * 2015-09-29 2018-09-07 杭州海康威视数字技术股份有限公司 2d视频中展示目标3d信息的方法及装置
US20220036646A1 (en) * 2017-11-30 2022-02-03 Shenzhen Keya Medical Technology Corporation Methods and devices for performing three-dimensional blood vessel reconstruction using angiographic image
CN109191507B (zh) * 2018-08-24 2019-11-05 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
CN110909580B (zh) * 2018-09-18 2022-06-10 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN110248148B (zh) * 2018-09-25 2022-04-15 浙江大华技术股份有限公司 一种确定定位参数的方法及装置
CN111340932A (zh) * 2018-12-18 2020-06-26 富士通株式会社 图像处理方法以及信息处理设备
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240289A (zh) * 2014-07-16 2014-12-24 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN108648280A (zh) * 2018-04-25 2018-10-12 深圳市商汤科技有限公司 虚拟角色驱动方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
KR102461232B1 (ko) 2022-10-28
WO2020124976A1 (zh) 2020-06-25
TWI701941B (zh) 2020-08-11
KR20200138349A (ko) 2020-12-09
TW202025719A (zh) 2020-07-01
JP2021520577A (ja) 2021-08-19
JP7026825B2 (ja) 2022-02-28
US20210012530A1 (en) 2021-01-14
SG11202010312QA (en) 2020-11-27
CN111353930A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111353930B (zh) 数据处理方法及装置、电子设备及存储介质
US9342142B2 (en) Display control apparatus, display control method, and display control program
US8933886B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
US7755608B2 (en) Systems and methods of interfacing with a machine
JP5739674B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
WO2014016987A1 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
JPWO2014141504A1 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
US8952956B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JPWO2005119591A1 (ja) 表示制御方法および装置、プログラム、並びに携帯機器
CN108090463B (zh) 对象控制方法、装置、存储介质和计算机设备
CN108830186B (zh) 文本图像的内容提取方法、装置、设备及存储介质
US20150009119A1 (en) Built-in design of camera system for imaging and gesture processing applications
EP3128413A1 (en) Sharing mediated reality content
US20130057574A1 (en) Storage medium recorded with program, information processing apparatus, information processing system, and information processing method
JP5791434B2 (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
US20190266798A1 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
CN107145822B (zh) 偏离深度相机的用户体感交互标定的方法和系统
KR101256046B1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
US20180158171A1 (en) Display apparatus and controlling method thereof
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
US20130187852A1 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, and program
CN111813214A (zh) 虚拟内容的处理方法、装置、终端设备及存储介质
CN108401452B (zh) 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法
CN106200911A (zh) 一种基于双摄像头的体感控制方法、移动终端及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023070

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 1101-1117, 11 / F, No. 58, Beisihuan West Road, Haidian District, Beijing 100080

Patentee after: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.

Address before: Room 710-712, 7th floor, No. 1 Courtyard, Zhongguancun East Road, Haidian District, Beijing

Patentee before: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.