CN108022301B - 一种图像处理方法、装置以及存储介质 - Google Patents

一种图像处理方法、装置以及存储介质 Download PDF

Info

Publication number
CN108022301B
CN108022301B CN201711184883.6A CN201711184883A CN108022301B CN 108022301 B CN108022301 B CN 108022301B CN 201711184883 A CN201711184883 A CN 201711184883A CN 108022301 B CN108022301 B CN 108022301B
Authority
CN
China
Prior art keywords
image
coordinate information
virtual
shot
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711184883.6A
Other languages
English (en)
Other versions
CN108022301A (zh
Inventor
魏嘉
沙鹰
张哲川
张宏
潘晓
范传康
范晓玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201711184883.6A priority Critical patent/CN108022301B/zh
Publication of CN108022301A publication Critical patent/CN108022301A/zh
Priority to JP2020526628A priority patent/JP7035185B2/ja
Priority to KR1020197036057A priority patent/KR102259210B1/ko
Priority to PCT/CN2018/114167 priority patent/WO2019100936A1/zh
Priority to US16/655,356 priority patent/US11004272B2/en
Application granted granted Critical
Publication of CN108022301B publication Critical patent/CN108022301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

本发明公开了一种图像处理方法、装置以及存储介质，该图像处理方法包括：获取拍摄图像；从该拍摄图像中提取出至少一个拍摄物的拍摄物信息；根据该拍摄物信息确定对应拍摄物的虚拟物品；根据该拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息；根据该坐标信息、虚拟物品和拍摄图像生成虚拟场景，从而能根据多个现实物品的相对位置关系将对应虚拟物品呈现在现实场景中，实现大型游戏场景的构建，丰富游戏交互方式，灵活性高。

Description

一种图像处理方法、装置以及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像处理方法、装置以及存储介质。
背景技术
增强现实技术(Augmented Reality，AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、三维模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
AR游戏是将真实的环境和虚拟的物体实时地叠加到同一个画面或空间的电子游戏，可以令使用者充分感知和操控虚拟的立体图像。AR游戏的实现需要有包含摄像头的游戏硬件设备的支持，该硬件设备包括但不限于电脑、手机、游戏主机、AR头盔、AR眼镜等。现有的AR游戏主要是通过摄像头识别游戏卡上的图像信息，之后将该图像信息所对应的物品，比如帆船、精灵等三维模型渲染到现实场景中。现有AR游戏无法同时识别多个游戏卡，从而在单个游戏中只能呈现一个或一组特定的游戏物品，交互方式简单，游戏内容局限性强。
发明内容
本发明的目的在于提供一种图像处理方法、装置以及存储介质，以解决现有增强现实游戏交互方式简单，局限性强的技术问题。
为解决上述技术问题，本发明实施例提供以下技术方案：
一种图像处理方法，包括：
获取拍摄图像；
从所述拍摄图像中提取出至少一个拍摄物的拍摄物信息；
根据所述拍摄物信息确定对应拍摄物的虚拟物品；
根据所述拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息；
根据所述坐标信息、虚拟物品和拍摄图像生成虚拟场景。
为解决上述技术问题，本发明实施例还提供以下技术方案：
一种图像处理装置，包括：
获取模块，用于获取拍摄图像；
提取模块，用于从所述拍摄图像中提取出至少一个拍摄物的拍摄物信息；
第一确定模块，用于根据所述拍摄物信息确定对应拍摄物的虚拟物品；
第二确定模块，用于根据所述拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息；
生成模块，用于根据所述坐标信息、虚拟物品和拍摄图像生成虚拟场景。
为解决上述技术问题，本发明实施例还提供以下技术方案：
一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述任一项所述的图像处理方法中的步骤。
本发明该的图像处理方法、装置以及存储介质，通过获取拍摄图像，并从该拍摄图像中提取出至少一个拍摄物的拍摄物信息，之后根据该拍摄物信息确定对应拍摄物的虚拟物品，并根据该拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息，之后根据该坐标信息、虚拟物品和拍摄图像生成虚拟场景，从而能根据多个现实物品的相对位置关系将对应虚拟物品呈现在现实场景中，实现大型游戏场景的构建，丰富游戏交互方式，灵活性高。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1为本发明实施例提供的图像处理方法的流程示意图；
图2a为本发明实施例提供的图像处理方法的流程示意图；
图2b为本发明实施例提供的AR游戏交互场景的示意图；
图2c为本发明实施例提供的海战游戏的虚拟场景示意图；
图3a为本发明实施例提供的图像处理装置的结构示意图；
图3b为本发明实施例提供的第二确定模块的结构示意图；
图3c为本发明实施例提供的生成模块的结构示意图；
图3d为本发明实施例提供的更新模块的结构示意图；
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像处理方法、装置以及存储介质，以下分别进行详细说明。
一种图像处理方法，包括：获取拍摄图像；从该拍摄图像中提取出至少一个拍摄物的拍摄物信息；根据该拍摄物信息确定对应拍摄物的虚拟物品；根据该拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息；根据该坐标信息、虚拟物品和拍摄图像生成虚拟场景。
如图1所示，该图像处理方法的具体流程可以如下：
S101、获取拍摄图像。
本实施例中，可以通过终端内置的图像采集装置(比如摄像头)来获取该拍摄图像。该图像采集装置可以内置于AR游戏设备中，该AR游戏设备主要应用于AR游戏，每一AR游戏的玩家参与人数可以根据实际需求而定，其可以为单人或多人，当参与某一AR游戏的玩家为多人时，可以指定一个玩家的AR游戏设备为主设备，将该主设备采集的图像确定为拍摄图像。
S102、从该拍摄图像中提取出至少一个拍摄物的拍摄物信息。
本实施例中，该拍摄物可以为具有指代特定虚拟物品功能的实物，比如官方发布的游戏卡，每一游戏卡对应一个虚拟物品，该虚拟物品是从虚拟的网络世界里衍生出来的物品，比如游戏中的人物角色、武器装备或道具等。具体可以利用分类器，比如randomforest随机森林、SVM(Support Vector Machine，支持向量机)等分类器来从拍摄图像中提取出拍摄物信息。
S103、根据该拍摄物信息确定对应拍摄物的虚拟物品。
例如，上述步骤S103具体可以包括：
1-1、从该拍摄物信息中提取出特征信息。
本实施例中，该特征信息可以包括颜色特征、纹理特征、形状特征和/或空间关系特征等信息，不同的特征可以通过不同的算法进行提取，比如颜色特征通过颜色直方图法来提取，纹理特征通过几何法来提取等。
1-2、根据该特征信息确定对应拍摄物的物品标识。
本实施例中，该物品标识是虚拟物品的唯一识别标识，而该虚拟物品通常是由三维模型渲染而成的立体图像，其中，该物品标识可以是虚拟物品在网络平台注册时人为设定的名称，或者系统自动分配的字符串等，每一个(或一组)虚拟物品对应一个物品标识。具体的，用户可以预先对准备好的所有拍摄物(比如游戏卡牌)进行图像采集并提取特征信息，然后将提取出的特征信息与其所指代的虚拟物品的物品标识进行关联后存储，这样，后续就可以根据特征信息查找到对应的物品标识了。
1-3、根据该物品标识从已存储的虚拟物品库中获取对应的虚拟物品。
本实施例中，用户可以预先为每个设计的虚拟物品设置物品标识，并将其关联存储在虚拟物品库中。
S104、根据该拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息。
例如，上述步骤S104具体可以包括：
2-1、检测该拍摄物信息在拍摄图像中的显示位置。
本实施例中，该显示位置可以为距离拍摄图像上下边界以及左右边界的相对位置，由于拍摄物在拍摄图像中的投影并非单个像素点，而是一个像素区域，这里可以取区域中心点的显示位置代表整个拍摄物的显示位置，当然，也可以是其他方式，此处不做限制。
2-2、根据该显示位置从该至少一个拍摄物中选择目标拍摄物。
本实施例中，该目标拍摄物的选择可以根据实际需求而定，比如可以将距离某个固定点最远或最近的拍摄物确定为目标拍摄物，该固定点可以为拍摄图像的左上角顶点、中心点或右下角顶点等，也可以是取位于某个边界的拍摄物作为目标拍摄物。
例如，上述步骤2-2具体可以包括：
获取该显示位置最靠近该拍摄图像的预设边缘的拍摄物；
将获取的该拍摄物作为目标拍摄物。
本实施例中，该预设边缘可以是用户设定的任意一个边缘，比如左边缘、右边缘、上边缘或下边缘等。
2-3、根据该目标拍摄物和显示位置确定每一虚拟物品的坐标信息。
例如，上述步骤2-3具体可以包括：
以该目标拍摄物的显示位置为坐标原点构建三维坐标系；
获取每一显示位置在该三维坐标系中的坐标信息，作为对应虚拟物品的坐标信息。
本实施例中，可以以目标拍摄物的显示位置为坐标原点，以拍摄图像所在的平面作为其中两个坐标轴(比如X轴和Y轴)所在的平面建立三维坐标系，之后根据每一显示位置相对于X轴、Y轴和Z轴的投影位置确定对应的三维坐标值，并将该三维坐标值作为虚拟物品的坐标信息，需要说明的是，每一坐标信息中第三个坐标轴(比如Z轴)的值通常为0。
S105、根据该坐标信息、虚拟物品和拍摄图像生成虚拟场景。
例如，上述步骤S105具体可以包括：
根据该坐标信息在拍摄图像上叠加对应的虚拟物品，以生成虚拟场景。
本实施例中，该虚拟场景是指将虚拟影像和现实影像经过一定的变换处理后，在规定的共同空间坐标系内生成的新图像，该共同空间坐标系主要指已构建的三维坐标系，该变换处理可以包括叠加。该虚拟场景中的虚拟物品可以直接叠加在拍摄图像上，也可以间接叠加在拍摄图像上，主要根据实际游戏侧重点而定，若侧重点偏向真实环境体验，则可以直接叠加，若侧重点偏向真实交互操作在虚拟世界的呈现，则可以间接叠加。
例如，当该虚拟物品是间接叠加时，上述步骤“根据该坐标信息在拍摄图像上叠加对应的虚拟物品”具体可以包括：
3-1、根据该物品标识从已存储的场景图像库中确定目标场景图像。
本实施例中，该场景图像库中的场景图像通常是根据游戏内容提前设计好的，主要充当游戏背景的作用，不同的游戏可以具有不同的场景图像。由于不同游戏中所需的虚拟物品存在差别，每一虚拟物品又可以通过物品标识进行辨别，故可以根据虚拟物品的物品标识确定当前运行游戏的场景图像。
3-2、根据该坐标信息在拍摄图像上叠加该目标场景图像。
本实施例中，可以根据位于边缘的虚拟物品的坐标信息调整目标场景图像的尺寸大小和叠加位置，以确保每一虚拟物品都能位于目标场景图像上方。
3-3、根据该坐标信息在目标场景图像上叠加对应的虚拟物品。
本实施例中，可以先确定每个坐标信息在目标场景图像上的对应位置，之后在该对应位置处叠加对应的虚拟物品。
当然，在生成虚拟场景之后，可以进一步将该虚拟场景呈现给用户，以便用户根据呈现的图像进行互动。需要说明的是，由于每个用户所站立的位置不同，其视觉角度也必然存在不同，在将虚拟场景呈现给用户的时候，需要根据每个用户的视觉角度灵活调整虚拟物品以及目标场景图像的摆放方向，以加深用户的身临其境感，而每个用户的视觉角度可以由各自采集的背景图像的朝向可知。
此外，在将虚拟场景呈现给用户之后，还要实时跟踪每个拍摄物的移动情况，根据该移动情况更新对应虚拟场景，也即，在上述步骤3-3之后，该图像处理方法还可以包括：
计算每一坐标信息与其余的坐标信息之间的差值，得到差值集，每一坐标信息对应一个差值集；
检测每一差值集中差值的变化量；
基于该变化量对虚拟场景进行更新。
本实施例中，该差值为两个虚拟物品之间的坐标差，其变化量可以反映这两个虚拟物品之间的相对运动情况，比如相对移动或相对转动等，一旦检测到变化量不为零，则需要根据未发生移动的虚拟物品的坐标信息固定游戏场景，根据发生移动的虚拟物品的坐标信息更新虚拟物品。
例如，当需要根据未发生移动的虚拟物品固定目标场景图像的呈现时，上述步骤“基于该变化量对虚拟场景进行更新”可以包括:
统计每一差值集中变化量等于零的差值的个数；
根据统计的个数从该差值集中确定目标差值集；
以该目标差值集对应的坐标信息为锚点固定该虚拟场景中的目标场景图像。
本实施例中，该变化量为0(也即未发生相对移动)存在两种情况：两个虚拟物品同时发生等距离移动，或者两个虚拟物品均未发生移动。此时，可以进一步根据变化量为0的差值的数量来判断哪些虚拟物品未发生移动，比如，可以将数量位于前几位(也即相对于大多数虚拟物品的移动量为0)的差值集确定为目标差值集，将该目标差值集对应的虚拟物品确定为未发生移动的虚拟物品，并以该虚拟物品的坐标为锚点继续固定目标场景图像。
与此同时，当需要根据发生移动的虚拟物品的坐标信息更新虚拟物品时，上述步骤“基于该变化量对虚拟场景进行更新”可以包括：
获取每一差值集中变化量大于零的所有差值；
判断获取的所有差值中是否存在不大于预设阀值的差值；
若存在，则将不大于预设阀值的差值对应的坐标信息确定为交互对象坐标信息，并将该交互对象坐标信息对应的物品标识确定为交互对象标识；
根据该交互对象坐标信息及交互对象标识对该目标场景图像上叠加的虚拟物品进行更新。
本实施例中，并非所有发生移动的虚拟物品都要进行更新，只有在两个虚拟物品之间发生交互的情况下，才有必要进行更新。该预设阀值主要用于界定交互状态和非交互状态，其具体数值可以根据实际需求而定。该交互状态中的交互方式可以包括靠近、拉远、碰撞、旋转等，不同的交互方式通常指示不同的交互指令，比如靠近可以指示攻击、拉远指示撤退、旋转指示防御等，且同一种交互方式在不同的游戏中指示的交互指令也可以不同。
当两个虚拟物品之间的距离在预设阀值之内时，可以定义为处于交互状态，此时需要进一步根据双方的距离值确定交互方式，根据交互方式更新虚拟物品，也即，上述步骤“根据该交互对象坐标信息及交互对象标识对该目标场景图像上叠加的虚拟物品进行更新”具体可以包括：
4-1、根据该交互对象标识获取对应虚拟物品的物品参数。
本实施例中，该物品参数主要包括虚拟物品本身的属性参数，比如在游戏中不同人物角色的攻击范围值、攻击力值、防御力值、生命值等。
4-2、根据该物品参数和交互对象坐标信息计算交互值。
例如，上述步骤4-2具体可以包括：
根据该不大于预设阀值的差值确定目标交互函数；
利用该目标交互函数、物品参数和交互对象坐标信息计算交互值。
本实施例中，两个虚拟物品之间的不同间距对应不同的交互方式，每一交互方式都有指定的交互函数来计算交互值。需要说明的是，这些交互函数一般由用户提前设置好，并与一个指定距离范围关联后存储在数据库中，从而后续可以根据间距确定对应的交互函数。
4-3、根据该交互值对相应物品参数进行更新，以更新虚拟物品。
本实施例中，该物品参数的更新方法可以根据实际需求而定，比如可以为简单的加减法，也即在物品参数上增加或减少该交互值。通常，不同的交互值作用在虚拟物品上的交互影响力不同，交互值越大，交互影响力越大。不同的交互影响力会导致不同的交互结果，该交互结果可以包括游戏中的击败、死亡和失血等，每一交互结果需要根据更新后的物品参数而定，比如若某虚拟物品交互后的生命值为0，会造成该虚拟物品死亡的交互结果。另外，对于不同的交互结果，虚拟物品可以呈现不同的图像，比如死亡时虚拟物品周边可以生成死亡特效，失血时虚拟物品头顶的血条框可以相应改变，等等。
由上述可知，本实施例提供的图像处理方法，通过获取拍摄图像，并从该拍摄图像中提取出至少一个拍摄物的拍摄物信息，之后根据该拍摄物信息确定对应拍摄物的虚拟物品，并根据该拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息，之后根据该坐标信息、虚拟物品和拍摄图像生成虚拟场景，从而能根据多个现实物品的相对位置关系将对应虚拟物品呈现在现实场景中，实现大型游戏场景的构建，丰富游戏交互方式，灵活性高。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以图像处理装置集成在电子设备中为例进行详细说明。
如图2a所示，一种图像处理方法，具体流程可以如下：
S201、电子设备获取拍摄图像，并从该拍摄图像中提取出至少一个拍摄物的拍摄物信息。
譬如，请参见图2b，同时参与某个AR游戏的玩家可以包括A和B，玩家A和B都穿戴有各自的AR游戏设备，且每个AR游戏设备都会实时采集图像信息，此时，若A为主控玩家，则可以将A玩家采集的图像确定为拍摄图像，之后，电子设备可以通过SVM分类器进行去背景处理，将拍摄物信息提取出来。
S202、电子设备从该拍摄物信息中提取出特征信息。
譬如，若拍摄物包括游戏卡{card1、card2、card3…cardN}，则可以提取出每一游戏卡对应的特征信息，该特征信息可以包括颜色特征、纹理特征、形状特征和/或空间关系特征等。
S203、电子设备根据该特征信息确定对应拍摄物的物品标识，并根据该物品标识从已存储的虚拟物品库中获取对应的虚拟物品。
譬如，该物品标识可以包括{ID1、ID2、ID3…IDn}，每一物品标识可以是系统分配的字符串。该虚拟物品可以为从虚拟的网络游戏世界中衍生出来的物品，比如游戏中的人物角色或武器等，每一虚拟物品在设计时会通过立体图像呈现给用户。
S204、电子设备检测该拍摄物信息在拍摄图像中的显示位置，并获取该显示位置最靠近该拍摄图像的预设边缘的拍摄物，作为目标拍摄物。
譬如，可以将每一拍摄物在图像上的中心投影点所在位置定义为显示位置，并将显示位置离拍摄框左下角最近的拍摄物确定为目标拍摄物。
S205、电子设备以该目标拍摄物的显示位置为坐标原点构建三维坐标系，并获取每一显示位置在该三维坐标系中的坐标信息，作为对应虚拟物品的坐标信息。
譬如，可以以目标拍摄物的显示位置为坐标原点，以拍摄图像所在的平面作为XY轴所在的平面建立三维坐标系，此时，该目标拍摄物的显示位置为(0，0，0)，且每个显示位置在纵轴Z上的值均为0。
S206、电子设备根据该物品标识从已存储的场景图像库中确定目标场景图像。
譬如，可以结合当前虚拟物品来确定所需运行的游戏内容，进而获取对应的场景图像作为目标场景图像，比如，若当前虚拟物品包括多艘不同类型的战舰，则可以确定该游戏为海战游戏，进而可以将海战游戏对应的场景图像确定为目标场景图像。
S207、电子设备根据该坐标信息在拍摄图像上叠加该目标场景图像，并根据该坐标信息在目标场景图像上叠加对应的虚拟物品。
譬如，请参见图2c，可以根据位于边缘的战舰的坐标信息调整海战场景图像的尺寸大小，以确保每一战舰都能位于海战场景图像上方，之后，将其叠加在拍摄图像上，并以拍摄物中心点的坐标作为战舰投影中心点的坐标将战舰叠加在海战场景图像上。
S208、电子设备计算每一坐标信息与其余的坐标信息之间的差值，得到差值集，每一坐标信息对应一个差值集。
譬如，可以计算每一战舰与其他战舰之间的坐标差值，通常，对于在同一海平面移动的战舰来说，该坐标差值即为两战舰之间的相对距离。
S209、电子设备检测每一差值集中差值的变化量。
譬如，由于任一战舰发生移动时，虚拟场景都需要进行更新，比如需要根据未发生移动的战舰的坐标信息继续固定游戏场景，根据发生移动的战舰更新虚拟物品等等，故需要实时检测每一战舰相对于其他战舰的距离的变化量，根据变化量来判断是否发生移动。
S210、电子设备统计每一差值集中变化量等于零的差值的个数，并根据统计的个数从所有差值集中确定目标差值集。
譬如，差值的变化量为0(也即未发生相对移动)存在两种情况：该差值对应的两个战舰同时发生等距离移动，或者两个战舰均未发生移动，此时，可以进一步根据变化量为0的差值的数量来判断哪些战舰未发生移动，比如可以将变化量为0的差值的数量超过指定值的差值集确定为目标差值集，则该目标差值集对应的战舰为未发生移动的战舰。
S211、电子设备以该目标差值集对应的坐标信息为锚点固定该虚拟场景中的目标场景图像。
譬如，可以以未发生移动的战舰的坐标信息为锚点固定游戏场景，也即确保该游戏场景与未发生移动的战舰的相对位置不变，并以该坐标信息为参考更新其他发生移动的战舰的坐标信息。
S212、电子设备获取每一差值集中变化量大于零的所有差值，并判断获取的所有差值中是否存在不大于预设阀值的差值，若是，则执行下述步骤S213～S215，若否，则返回执行上述步骤S209。
譬如，该预设阀值可以为1cm，也即当两个战舰之间的距离在1cm之内时，可以判定它们发生了交互，该交互方式可以包括靠近、拉远、碰撞、旋转等，当两个战舰之间的距离大于1cm时，可以判定它们未发生交互。
S213、电子设备将不大于预设阀值的差值对应的坐标信息确定为交互对象坐标信息，并将该交互对象坐标信息对应的物品标识确定为交互对象标识。
譬如，当两个战舰之间的距离在1cm之内，也即发生交互时，可以获取这两个战舰的坐标信息和物品标识，比如该发生交互的战舰可以是ID1和ID2。
S214、电子设备根据该交互对象标识获取对应虚拟物品的物品参数，并根据该物品参数和交互对象坐标信息计算交互值。
譬如，可以分别获取ID1和ID2各自的物品参数，该物品参数可以包括攻击力值、防御力值和生命值等，之后根据ID1和ID2之间的相对距离确定交互方式，该交互方式可以包括靠近、拉远、碰撞、旋转等，不同的相对距离可以代表不同的交互方式，每一交互方式都有指定的交互函数来计算交互值，该交互值主要指伤害值，其通常施加在被伤害方。通常，相对距离越小或者攻击方的攻击力值越大，对另一方造成的伤害越大，相对距离越大或者防御方的防御力值越大，对另一方造成的伤害越小，比如，当ID1靠近ID2时，若两者之间的相对距离缩小到5cm，可以认为交互方式为“靠近”，此时，获取“靠近”对应的交互函数，并将ID1的攻击力值以及ID2的防御力值代入交互函数中计算伤害值。
S215、电子设备根据该交互值对相应物品参数进行更新，以更新虚拟物品。
譬如，可以将防御方战舰对应的生命值减去该伤害值，得到最新的生命值，并根据最新的生命值更新该虚拟物品，比如当生命值为0时，可以宣布该战舰死亡，并将该战舰从虚拟场景中移除。
需要说明的是，上述步骤S210-S211与S212-S215之前并不存在明显的先后执行顺序，其可以同时执行。
由上述可知，本实施例提供的图像处理方法，其中电子设备获取拍摄图像，并从该拍摄图像中提取出至少一个拍摄物的拍摄物信息，接着，从该拍摄物信息中提取出特征信息，并根据该特征信息确定对应拍摄物的物品标识，之后根据该物品标识从已存储的虚拟物品库中获取对应的虚拟物品，接着，检测该拍摄物信息在拍摄图像中的显示位置，并获取该显示位置最靠近该拍摄图像的预设边缘的拍摄物，作为目标拍摄物，接着，以该目标拍摄物的显示位置为坐标原点构建三维坐标系，并获取每一显示位置在该三维坐标系中的坐标信息，作为对应虚拟物品的坐标信息，之后，根据该物品标识从已存储的场景图像库中确定目标场景图像，接着，根据该坐标信息在拍摄图像上叠加该目标场景图像，并根据该坐标信息在目标场景图像上叠加对应的虚拟物品，从而能根据多个现实物品的相对位置关系将对应虚拟物品呈现在现实场景中，实现大型游戏场景的构建，之后，电子设备可以计算每一坐标信息与其余的坐标信息之间的差值，得到差值集，每一坐标信息对应一个差值集，并检测每一差值集中差值的变化量，接着，统计每一差值集中变化量等于零的差值的个数，并根据统计的个数从所有差值集中确定目标差值集，接着，以该目标差值集对应的坐标信息为锚点固定该虚拟场景中的目标场景图像，与此同时，获取任一差值集中变化量大于零的所有差值，并判断获取的所有差值中是否存在不大于预设阀值的差值，若是，则将不大于预设阀值的差值对应的坐标信息确定为交互对象坐标信息，并将该交互对象坐标信息对应的物品标识确定为交互对象标识，接着，根据该交互对象标识获取对应虚拟物品的物品参数，并根据该物品参数和交互对象坐标信息计算交互值，之后，根据该交互值对相应物品参数进行更新，以更新虚拟物品，从而可以根据玩家在真实环境中的操作信息实时更新虚拟场景，实现虚拟世界与现实世界之间、玩家与玩家之间的互动，极大地丰富了游戏交互方式，灵活性高，体验性好。
根据上述实施例所描述的方法，本实施例将从图像处理装置的角度进一步进行描述，该图像处理装置具体可以作为独立的实体来实现，也可以集成终端或服务器等电子设备中来实现，该终端可以包括智能手机、平板电脑和个人计算机等。
请参阅图3a，图3a具体描述了本实施例提供的图像处理装置，其可以包括：获取模块10、提取模块20、第一确定模块30、第二确定模块40和生成模块50，其中：
(1)获取模块10
获取模块10，用于获取拍摄图像。
本实施例中，获取模块10可以通过终端内置的图像采集装置(比如摄像头)来获取该拍摄图像。该图像采集装置可以内置于AR游戏设备中，该AR游戏设备主要应用于AR游戏，每一AR游戏的玩家参与人数可以根据实际需求而定，其可以为单人或多人，当参与某一AR游戏的玩家为多人时，可以指定一个玩家的AR游戏设备为主设备，将该主设备采集的图像确定为拍摄图像。
(2)提取模块20
提取模块20，用于从该拍摄图像中提取出至少一个拍摄物的拍摄物信息。
本实施例中，该拍摄物可以为具有指代特定虚拟物品功能的实物，比如官方发布的游戏卡，每一游戏卡对应一个虚拟物品，该虚拟物品是从虚拟的网络世界里衍生出来的物品，比如游戏中的人物角色、武器装备或道具等。具体可以利用分类器，比如randomforest随机森林、SVM(Support Vector Machine，支持向量机)等分类器来从拍摄图像中提取出拍摄物信息。
(3)第一确定模块30
第一确定模块30，用于根据该拍摄物信息确定对应拍摄物的虚拟物品。
例如，该第一确定模块30具体可以用于：
1-1、从该拍摄物信息中提取出特征信息。
本实施例中，该特征信息可以包括颜色特征、纹理特征、形状特征和/或空间关系特征等信息，不同的特征可以通过不同的算法进行提取，比如颜色特征通过颜色直方图法来提取，纹理特征通过几何法来提取等。
1-2、根据该特征信息确定对应拍摄物的物品标识。
本实施例中，该物品标识是虚拟物品的唯一识别标识，而该虚拟物品通常是由三维模型渲染而成的立体图像，其中，该物品标识可以是虚拟物品在网络平台注册时人为设定的名称，或者系统自动分配的字符串等，每一个(或一组)虚拟物品对应一个物品标识。具体的，用户可以预先对准备好的所有拍摄物(比如游戏卡牌)进行图像采集并提取特征信息，然后将提取出的特征信息与其所指代的虚拟物品的物品标识进行关联后存储，这样，后续就可以根据特征信息查找到对应的物品标识了。
1-3、根据该物品标识从已存储的虚拟物品库中获取对应的虚拟物品。
本实施例中，用户可以预先为每个设计的虚拟物品设置物品标识，并将其关联存储在虚拟物品库中。
(4)第二确定模块40
第二确定模块40，用于根据该拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息。
例如，请参见图3b，该第二确定模块40具体可以包括第一检测子模块41、选择子模块42和第一确定子模块43，其中：
第一检测子模块41，用于检测该拍摄物信息在拍摄图像中的显示位置。
本实施例中，该显示位置可以为距离拍摄图像上下边界以及左右边界的相对位置，由于拍摄物在拍摄图像中的投影并非单个像素点，而是一个像素区域，这里可以取区域中心点的显示位置代表整个拍摄物的显示位置，当然，也可以是其他方式，此处不做限制。
选择子模块42，用于根据该显示位置从该至少一个拍摄物中选择目标拍摄物。
本实施例中，该目标拍摄物的选择可以根据实际需求而定，比如选择子模块42可以将距离某个固定点最远或最近的拍摄物确定为目标拍摄物，该固定点可以为拍摄图像的左上角顶点、中心点或右下角顶点等，也可以是取位于某个边界的拍摄物作为目标拍摄物。
例如，该选择子模块42进一步可以用于：
获取该显示位置最靠近该拍摄图像的预设边缘的拍摄物；
将获取的该拍摄物作为目标拍摄物。
本实施例中，该预设边缘可以是用户设定的任意一个边缘，比如左边缘、右边缘、上边缘或下边缘等。
第一确定子模块43，用于根据该目标拍摄物和显示位置确定每一虚拟物品的坐标信息。
例如，该第一确定子模块43具体可以用于：
以该目标拍摄物的显示位置为坐标原点构建三维坐标系；
获取每一显示位置在该三维坐标系中的坐标信息，作为对应虚拟物品的坐标信息。
本实施例中，可以以目标拍摄物的显示位置为坐标原点，以拍摄图像所在的平面作为其中两个坐标轴(比如X轴和Y轴)所在的平面建立三维坐标系，之后根据每一显示位置相对于X轴、Y轴和Z轴的投影位置确定对应的三维坐标值，并将该三维坐标值作为虚拟物品的坐标信息，需要说明的是，每一坐标信息中第三个坐标轴(比如Z轴)的值通常为0。
(5)生成模块50
生成模块50，用于根据该坐标信息、虚拟物品和拍摄图像生成虚拟场景。
例如，该生成模块50可以用于：
根据该坐标信息在拍摄图像上叠加对应的虚拟物品，以生成虚拟场景。
本实施例中，该虚拟场景是指将虚拟影像和现实影像经过一定的变换处理后，在规定的共同空间坐标系内生成的新图像，该共同空间坐标系主要指已构建的三维坐标系，该变换处理可以包括叠加。该虚拟场景中的虚拟物品可以直接叠加在拍摄图像上，也可以间接叠加在拍摄图像上，主要根据实际游戏侧重点而定，若侧重点偏向真实环境体验，则可以直接叠加，若侧重点偏向真实交互操作在虚拟世界的呈现，则可以间接叠加。
例如，请参见图3c，当该虚拟物品是间接叠加时，该生成模块50具体可以包括第二确定子模块51、第一叠加子模块52和第二叠加子模块53，其中：
第二确定子模块51，用于根据该物品标识从已存储的场景图像库中确定目标场景图像。
本实施例中，该场景图像库中的场景图像通常是根据游戏内容提前设计好的，主要充当游戏背景的作用，不同的游戏可以具有不同的场景图像。由于不同游戏中所需的虚拟物品存在差别，每一虚拟物品又可以通过物品标识进行辨别，故可以根据虚拟物品的物品标识确定当前运行游戏的场景图像。
第一叠加子模块52，用于根据该坐标信息在拍摄图像上叠加该目标场景图像。
本实施例中，可以根据位于边缘的虚拟物品的坐标信息调整目标场景图像的尺寸大小和叠加位置，以确保每一虚拟物品都能位于目标场景图像上方。
第二叠加子模块53，用于根据该坐标信息在目标场景图像上叠加对应的虚拟物品。
本实施例中，可以先确定每个坐标信息在目标场景图像上的对应位置，之后在该对应位置处叠加对应的虚拟物品。
当然，在生成虚拟场景之后，可以进一步将该虚拟场景呈现给用户，以便用户根据呈现的图像进行互动。需要说明的是，由于每个用户所站立的位置不同，其视觉角度也必然存在不同，在将虚拟场景呈现给用户的时候，需要根据每个用户的视觉角度灵活调整虚拟物品以及目标场景图像的摆放方向，以加深用户的身临其境感，而每个用户的视觉角度可以由各自采集的背景图像的朝向可知。
此外，在将虚拟场景呈现给用户之后，还要实时跟踪每个拍摄物的移动情况，根据该移动情况更新对应虚拟场景，也即，请参见图3d，该图像处理装置还可以包括更新模块60，该更新模块60具体可以包括计算子模块61、第二检测子模块62以及更新子模块63，其中：
计算子模块61，用于在该第二叠加子模块53根据该坐标信息在目标场景图像上叠加对应虚拟物品之后，计算每一坐标信息与其余的坐标信息之间的差值，得到差值集，每一坐标信息对应一个差值集；
第二检测子模块62，用于检测每一差值集中差值的变化量；
更新子模块63，用于基于该变化量对虚拟场景进行更新。
本实施例中，该差值为两个虚拟物品之间的坐标差，其变化量可以反映这两个虚拟物品之间的相对运动情况，比如相对移动或相对转动等，一旦检测到变化量不为零，则需要根据未发生移动的虚拟物品的坐标信息固定游戏场景，根据发生移动的虚拟物品的坐标信息更新虚拟物品。
例如，当需要根据未发生移动的虚拟物品固定目标场景图像的呈现时，该更新子模块63具体可以用于：
统计每一差值集中变化量等于零的差值的个数；
根据统计的个数从该差值集中确定目标差值集；
以该目标差值集对应的坐标信息为锚点固定该虚拟场景中的目标场景图像。
本实施例中，该变化量为0(也即未发生相对移动)存在两种情况：两个虚拟物品同时发生等距离移动，或者两个虚拟物品均未发生移动。此时，可以进一步根据变化量为0的差值的数量来判断哪些虚拟物品未发生移动，比如，可以将数量位于前几位(也即相对于大多数虚拟物品的移动量为0)的差值集确定为目标差值集，将该目标差值集对应的虚拟物品确定为未发生移动的虚拟物品，并以该虚拟物品的坐标为锚点继续固定目标场景图像。
与此同时，当需要根据发生移动的虚拟物品的坐标信息更新虚拟物品时，该更新子模块63具体可以用于：
获取每一差值集中变化量大于零的所有差值；
判断获取的所有差值中是否存在不大于预设阀值的差值；
若存在，则将不大于预设阀值的差值对应的坐标信息确定为交互对象坐标信息，并将该交互对象坐标信息对应的物品标识确定为交互对象标识；
根据该交互对象坐标信息及交互对象标识对该目标场景图像上叠加的虚拟物品进行更新。
本实施例中，并非所有发生移动的虚拟物品都要进行更新，只有在两个虚拟物品之间发生交互的情况下，才有必要进行更新。该预设阀值主要用于界定交互状态和非交互状态，其具体数值可以根据实际需求而定。该交互状态中的交互方式可以包括靠近、拉远、碰撞、旋转等，不同的交互方式通常指示不同的交互指令，比如靠近可以指示攻击、拉远指示撤退、旋转指示防御等，且同一种交互方式在不同的游戏中指示的交互指令也可以不同。
当两个虚拟物品之间的距离在预设阀值之内时，可以定义为处于交互状态，此时需要进一步根据双方的距离值确定交互方式，根据交互方式更新虚拟物品，也即，该更新子模块63可以用于：
4-1、根据该交互对象标识获取对应虚拟物品的物品参数。
本实施例中，该物品参数主要包括虚拟物品本身的属性参数，比如在游戏中不同人物角色的攻击范围值、攻击力值、防御力值、生命值等。
4-2、根据该物品参数和交互对象坐标信息计算交互值。
例如，上述步骤4-2具体可以包括：
根据该不大于预设阀值的差值确定目标交互函数；
利用该目标交互函数、物品参数和交互对象坐标信息计算交互值。
本实施例中，两个虚拟物品之间的不同间距对应不同的交互方式，每一交互方式都有指定的交互函数来计算交互值。需要说明的是，这些交互函数一般由用户提前设置好，并与一个指定距离范围关联后存储在数据库中，从而后续可以根据间距确定对应的交互函数。
4-3、根据该交互值对相应物品参数进行更新，以更新虚拟物品。
本实施例中，该物品参数的更新方法可以根据实际需求而定，比如可以为简单的加减法，也即在物品参数上增加或减少该交互值。通常，不同的交互值作用在虚拟物品上的交互影响力不同，交互值越大，交互影响力越大。不同的交互影响力会导致不同的交互结果，该交互结果可以包括游戏中的击败、死亡和失血等，每一交互结果需要根据更新后的物品参数而定，比如若某虚拟物品交互后的生命值为0，会造成该虚拟物品死亡的交互结果。另外，对于不同的交互结果，虚拟物品可以呈现不同的图像，比如死亡时虚拟物品周边可以生成死亡特效，失血时虚拟物品头顶的血条框可以相应改变，等等。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上述可知，本实施例提供的图像处理装置，通过获取模块10获取拍摄图像，提取模块20从该拍摄图像中提取出至少一个拍摄物的拍摄物信息，接着，第一确定模块30根据该拍摄物信息确定对应拍摄物的虚拟物品，第二确定模块40根据该拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息,之后，生成模块50根据该坐标信息、虚拟物品和拍摄图像生成虚拟场景，从而能根据多个现实物品的相对位置关系将对应虚拟物品呈现在现实场景中，实现大型游戏场景的构建，丰富游戏交互方式，灵活性高。
相应的，本发明实施例还提供一种图像处理系统，包括本发明实施例所提供的任一种图像处理装置，该图像处理装置可以集成在电子设备中。
其中，电子设备可以获取拍摄图像；从该拍摄图像中提取出至少一个拍摄物的拍摄物信息；根据该拍摄物信息确定对应拍摄物的虚拟物品；根据该拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息；根据该坐标信息、虚拟物品和拍摄图像生成虚拟场景。
以上各个设备的具体实施可参见前面的实施例，在此不再赘述。
由于该网页授权系统可以包括本发明实施例所提供的任一种图像处理装置，因此，可以实现本发明实施例所提供的任一种图像处理装置所能实现的有益效果，详见前面的实施例，在此不再赘述。
相应的，本发明实施例还提供一种电子设备，如图4所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、电源703和输入单元704等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器701是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。
存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。
电子设备还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能，如下：
获取拍摄图像；
从该拍摄图像中提取出至少一个拍摄物的拍摄物信息；
根据该拍摄物信息确定对应拍摄物的虚拟物品；
根据该拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息；
根据该坐标信息、虚拟物品和拍摄图像生成虚拟场景。
该电子设备可以实现本发明实施例所提供的任一种图像处理装置所能实现的有效效果，详见前面的实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像处理方法中的步骤。其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像处理方法、装置、存储介质、电子设备和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (19)

1.一种图像处理方法，其特征在于，包括：
获取拍摄图像；
从所述拍摄图像中提取出至少一个拍摄物的拍摄物信息；
根据所述拍摄物信息确定对应拍摄物的虚拟物品；
根据所述拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息；
根据所述坐标信息、虚拟物品和拍摄图像生成虚拟场景；
计算每一所述坐标信息与其余的所述坐标信息之间的差值，得到差值集，每一所述坐标信息对应一个所述差值集；
检测每一所述差值集中差值的变化量；
基于所述变化量对虚拟场景进行更新。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述拍摄物信息确定对应拍摄物的虚拟物品，包括：
从所述拍摄物信息中提取出特征信息；
根据所述特征信息确定对应拍摄物的物品标识；
根据所述物品标识从已存储的虚拟物品库中获取对应的虚拟物品。
3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息，包括：
检测所述拍摄物信息在拍摄图像中的显示位置；
根据所述显示位置从所述至少一个拍摄物中选择目标拍摄物；
根据所述目标拍摄物和显示位置确定每一虚拟物品的坐标信息。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述显示位置从所述至少一个拍摄物中选择目标拍摄物，包括：
获取所述显示位置最靠近所述拍摄图像的预设边缘的拍摄物；
将获取的所述拍摄物作为目标拍摄物。
5.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述目标拍摄物和显示位置确定每一虚拟物品的坐标信息，包括：
以所述目标拍摄物的显示位置为坐标原点构建三维坐标系；
获取每一显示位置在所述三维坐标系中的坐标信息，作为对应虚拟物品的坐标信息。
6.根据权利要求1-5中任意一项所述的图像处理方法，其特征在于，所述根据所述坐标信息、虚拟物品和拍摄图像生成虚拟场景，包括：
根据所述坐标信息在拍摄图像上叠加对应的虚拟物品，以生成虚拟场景。
7.根据权利要求6所述的图像处理方法，其特征在于，根据所述坐标信息在拍摄图像上叠加对应的虚拟物品，包括：
根据所述物品标识从已存储的场景图像库中确定目标场景图像；
根据所述坐标信息在拍摄图像上叠加所述目标场景图像；
根据所述坐标信息在目标场景图像上叠加对应的虚拟物品。
8.根据权利要求7所述的图像处理方法，其特征在于，所述基于所述变化量对虚拟场景进行更新，包括：
统计每一差值集中变化量等于零的差值的个数；
根据统计的个数从所述差值集中确定目标差值集；
以所述目标差值集对应的坐标信息为锚点固定所述虚拟场景中的目标场景图像。
9.根据权利要求7所述的图像处理方法，其特征在于，所述基于所述变化量对虚拟场景进行更新，包括：
获取每一差值集中变化量大于零的所有差值；
判断获取的所有差值中是否存在不大于预设阀值的差值；
若存在，则将不大于预设阀值的差值对应的坐标信息确定为交互对象坐标信息，并将所述目标坐标信息对应的物品标识确定为交互对象标识；
根据所述交互对象坐标信息及交互对象标识对所述目标场景图像上叠加的虚拟物品进行更新。
10.根据权利要求9所述的图像处理方法，其特征在于，所述根据所述交互对象坐标信息及交互对象标识对所述目标场景图像上叠加的虚拟物品进行更新，包括：
根据所述交互对象标识获取对应虚拟物品的物品参数；
根据所述物品参数和交互对象坐标信息计算交互值；
根据所述交互值对相应物品参数进行更新，以更新虚拟物品。
11.根据权利要求10所述的图像处理方法，其特征在于，所述根据所述物品参数和交互对象坐标信息计算交互值，包括：
根据所述不大于预设阀值的差值确定目标交互函数；
利用所述目标交互函数、物品参数和交互对象坐标信息计算交互值。
12.一种图像处理装置，其特征在于，包括：
获取模块，用于获取拍摄图像；
提取模块，用于从所述拍摄图像中提取出至少一个拍摄物的拍摄物信息；
第一确定模块，用于根据所述拍摄物信息确定对应拍摄物的虚拟物品；
第二确定模块，用于根据所述拍摄物信息和拍摄图像确定每一虚拟物品的坐标信息；
生成模块，用于根据所述坐标信息、虚拟物品和拍摄图像生成虚拟场景；
更新模块，所述更新模块具体包括：计算子模块，用于计算每一坐标信息与其余的坐标信息之间的差值，得到差值集，每一坐标信息对应一个差值集；第二检测子模块，用于检测每一差值集中差值的变化量；更新子模块，用于基于所述变化量对虚拟场景进行更新。
13.根据权利要求12所述的图像处理装置，其特征在于，所述第二确定模块具体包括：
第一检测子模块，用于检测所述拍摄物信息在拍摄图像中的显示位置；
选择子模块，用于根据所述显示位置从所述至少一个拍摄物中选择目标拍摄物；
第一确定子模块，用于根据所述目标拍摄物和显示位置确定每一虚拟物品的坐标信息。
14.根据权利要求13所述的图像处理装置，其特征在于，所述第一确定子模块具体用于：
以所述目标拍摄物的显示位置为坐标原点构建三维坐标系；
获取每一显示位置在所述三维坐标系中的坐标信息，作为对应虚拟物品的坐标信息。
15.根据权利要求12-14中任意一项所述的图像处理装置，其特征在于，所述生成模块具体用于：
根据所述坐标信息在拍摄图像上叠加对应的虚拟物品，以生成虚拟场景。
16.根据权利要求15所述的图像处理装置，其特征在于，所述生成模块具体包括：
第二确定子模块，用于根据所述物品标识从已存储的场景图像库中确定目标场景图像；
第一叠加子模块，用于根据所述坐标信息在拍摄图像上叠加所述目标场景图像；
第二叠加子模块，用于根据所述坐标信息在目标场景图像上叠加对应的虚拟物品。
17.根据权利要求16所述的图像处理装置，其特征在于，所述更新子模块具体用于：
统计每一差值集中变化量等于零的差值的个数；
根据统计的个数从所述差值集中确定目标差值集；
以所述目标差值集对应的坐标信息为锚点固定所述虚拟场景中的目标场景图像。
18.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至11任一项所述的图像处理方法中的步骤。
19.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行权利要求1至11任一项所述的图像处理方法中的步骤。
CN201711184883.6A 2017-11-23 2017-11-23 一种图像处理方法、装置以及存储介质 Active CN108022301B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201711184883.6A CN108022301B (zh) 2017-11-23 2017-11-23 一种图像处理方法、装置以及存储介质
JP2020526628A JP7035185B2 (ja) 2017-11-23 2018-11-06 画像処理方法、電子機器、及び記憶媒体
KR1020197036057A KR102259210B1 (ko) 2017-11-23 2018-11-06 영상 처리 방법, 전자 장치, 및 저장 매체
PCT/CN2018/114167 WO2019100936A1 (zh) 2017-11-23 2018-11-06 图像处理方法、电子设备以及存储介质
US16/655,356 US11004272B2 (en) 2017-11-23 2019-10-17 Image processing method, electronic apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711184883.6A CN108022301B (zh) 2017-11-23 2017-11-23 一种图像处理方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN108022301A CN108022301A (zh) 2018-05-11
CN108022301B true CN108022301B (zh) 2020-05-19

Family

ID=62080175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711184883.6A Active CN108022301B (zh) 2017-11-23 2017-11-23 一种图像处理方法、装置以及存储介质

Country Status (5)

Country Link
US (1) US11004272B2 (zh)
JP (1) JP7035185B2 (zh)
KR (1) KR102259210B1 (zh)
CN (1) CN108022301B (zh)
WO (1) WO2019100936A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022301B (zh) 2017-11-23 2020-05-19 腾讯科技（上海）有限公司 一种图像处理方法、装置以及存储介质
CN109260705A (zh) * 2018-08-06 2019-01-25 光锐恒宇（北京）科技有限公司 游戏的实现方法、装置、智能终端和计算机可读存储介质
CN109360275B (zh) * 2018-09-30 2023-06-20 北京观动科技有限公司 一种物品的展示方法、移动终端及存储介质
CN109782901A (zh) * 2018-12-06 2019-05-21 网易（杭州）网络有限公司 增强现实交互方法、装置、计算机设备及存储介质
CN111383344A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 一种虚拟场景的生成方法及装置、计算机设备、存储介质
CN109771943A (zh) * 2019-01-04 2019-05-21 网易（杭州）网络有限公司 一种游戏场景的构造方法和装置
CN110060611A (zh) * 2019-03-15 2019-07-26 深圳壹账通智能科技有限公司 智能互动导游方法、装置及存储介质、服务器
CN109862276B (zh) * 2019-03-31 2020-11-20 联想(北京)有限公司 一种信息处理方法及装置
CN109961523B (zh) * 2019-04-18 2023-07-04 广州市百果园信息技术有限公司 虚拟目标的更新方法、装置、系统、设备及存储介质
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
CN110389703A (zh) * 2019-07-25 2019-10-29 腾讯数码（天津）有限公司 虚拟物品的获取方法、装置、终端和存储介质
CN111223192B (zh) * 2020-01-09 2023-10-03 北京华捷艾米科技有限公司 一种图像处理方法及其应用方法、装置及设备
CN111429348A (zh) * 2020-03-20 2020-07-17 中国铁建重工集团股份有限公司 一种图像生成方法、装置、系统及可读存储介质
CN111773658B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN111880664A (zh) * 2020-08-03 2020-11-03 深圳传音控股股份有限公司 Ar互动方法、电子设备及可读存储介质
CN112312111A (zh) * 2020-10-30 2021-02-02 北京字节跳动网络技术有限公司 虚拟图像的显示方法、装置、电子设备及存储介质
CN112650422B (zh) * 2020-12-17 2022-07-29 咪咕文化科技有限公司 设备的ar交互方法、装置、电子设备及存储介质
CN112791396B (zh) * 2020-12-31 2023-05-30 上海米哈游天命科技有限公司 一种拍摄画面的生成方法、装置、电子设备及存储介质
CN112843713B (zh) * 2020-12-31 2023-04-18 上海米哈游天命科技有限公司 一种视野中心点的确定方法、装置、设备及介质
CN112973122A (zh) * 2021-03-02 2021-06-18 网易（杭州）网络有限公司 游戏角色上妆方法、装置及电子设备
CN112957732B (zh) * 2021-04-08 2023-03-31 腾讯科技（深圳）有限公司 搜索方法、装置、终端及存储介质
CN114115528B (zh) * 2021-11-02 2024-01-19 深圳市雷鸟网络传媒有限公司 虚拟对象控制方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156808A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟饰品试戴系统及方法
CN102646275A (zh) * 2012-02-22 2012-08-22 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106383587A (zh) * 2016-10-26 2017-02-08 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
CN107272889A (zh) * 2017-05-23 2017-10-20 武汉秀宝软件有限公司 一种基于三维坐标的ar界面交互方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3904562B2 (ja) 2004-02-18 2007-04-11 株式会社ソニー・コンピュータエンタテインメント 画像表示システム、記録媒体及びプログラム
JP3844482B2 (ja) 2004-09-01 2006-11-15 株式会社ソニー・コンピュータエンタテインメント 画像処理装置
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
KR101669119B1 (ko) * 2010-12-14 2016-10-25 삼성전자주식회사 다층 증강 현실 시스템 및 방법
JP5812628B2 (ja) 2011-02-25 2015-11-17 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置、及び情報処理システム
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和系统
CN103310099A (zh) * 2013-05-30 2013-09-18 佛山电视台南海分台 一种利用图像捕获和识别技术实现增强现实的方法和系统
KR101583286B1 (ko) 2014-05-16 2016-01-07 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
CN104270577A (zh) * 2014-08-22 2015-01-07 北京德馨同创科技发展有限责任公司 用于移动智能终端的图像处理方法和装置
US9864460B2 (en) * 2014-09-26 2018-01-09 Sensel, Inc. Systems and methods for manipulating a virtual environment
KR101600456B1 (ko) * 2015-12-31 2016-03-08 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
CN105975080A (zh) * 2016-05-19 2016-09-28 常州市筑友展示器材有限公司 一种陈列系统及其工作方法
US10001901B2 (en) * 2016-06-14 2018-06-19 Unity IPR ApS System and method for texturing in virtual reality and mixed reality environments
CN106200914B (zh) * 2016-06-28 2019-04-05 Oppo广东移动通信有限公司 增强现实的触发方法、装置及拍照设备
WO2018031621A1 (en) * 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
CN107065164B (zh) * 2017-04-20 2019-09-20 深圳市元征科技股份有限公司 图像展示方法及装置
CN108022301B (zh) * 2017-11-23 2020-05-19 腾讯科技（上海）有限公司 一种图像处理方法、装置以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156808A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟饰品试戴系统及方法
CN102646275A (zh) * 2012-02-22 2012-08-22 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106383587A (zh) * 2016-10-26 2017-02-08 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
CN107272889A (zh) * 2017-05-23 2017-10-20 武汉秀宝软件有限公司 一种基于三维坐标的ar界面交互方法及系统

Also Published As

Publication number Publication date
JP7035185B2 (ja) 2022-03-14
KR20200005598A (ko) 2020-01-15
JP2021503138A (ja) 2021-02-04
US20200051339A1 (en) 2020-02-13
CN108022301A (zh) 2018-05-11
US11004272B2 (en) 2021-05-11
WO2019100936A1 (zh) 2019-05-31
KR102259210B1 (ko) 2021-06-01

Similar Documents

Publication Publication Date Title
CN108022301B (zh) 一种图像处理方法、装置以及存储介质
US20200393953A1 (en) Method and apparatus, computer device, and storage medium for picking up a virtual item in a virtual environment
CN111638793B (zh) 飞行器的展示方法、装置、电子设备及存储介质
US8094928B2 (en) Stereo video for gaming
CN107341827B (zh) 一种视频处理方法、装置和存储介质
CN111880657A (zh) 一种虚拟对象的控制方法、装置、电子设备及存储介质
CN111408132B (zh) 一种游戏画面显示方法、装置、设备和存储介质
CN112637665B (zh) 增强现实场景下的展示方法、装置、电子设备及存储介质
CN111249742B (zh) 一种作弊用户检测方法、装置、存储介质和电子设备
US20220032194A1 (en) Information display method and apparatus, device, and storage medium
US20220040582A1 (en) Virtual object control method and apparatus in virtual scene, device, and storage medium
CN111651057A (zh) 一种数据展示方法、装置、电子设备及存储介质
CN111617471A (zh) 虚拟射击的展示方法、装置、电子设备及存储介质
CN111389004A (zh) 虚拟角色的控制方法、存储介质及处理器
EP3137177A1 (en) An augmented gaming platform
US20220032188A1 (en) Method for selecting virtual objects, apparatus, terminal and storage medium
US20210142511A1 (en) Method of generating 3-dimensional model data
US11501577B2 (en) Information processing apparatus, information processing method, and storage medium for determining a contact between objects
US11741621B2 (en) Method and system for detecting plane information
CN112090071A (zh) 虚拟环境的加载方法、装置、电子设备及计算机存储介质
CN113577766A (zh) 对象处理方法及装置
CN114011069A (zh) 虚拟对象的控制方法、存储介质和电子设备
CN114429484A (zh) 一种图像处理方法、装置、智能设备及存储介质
CN114022567A (zh) 位姿跟踪方法、装置、电子设备及存储介质
CN111241990A (zh) 图像处理方法及装置、计算机设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant