CN109089038B - 增强现实拍摄方法、装置、电子设备及存储介质 - Google Patents
增强现实拍摄方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109089038B CN109089038B CN201810887682.0A CN201810887682A CN109089038B CN 109089038 B CN109089038 B CN 109089038B CN 201810887682 A CN201810887682 A CN 201810887682A CN 109089038 B CN109089038 B CN 109089038B
- Authority
- CN
- China
- Prior art keywords
- frame
- target object
- shooting
- video image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供一种增强现实拍摄方法、装置、电子设备及存储介质，通过采集现实世界的视频图像，并将采集到的现实世界的视频图像实时展示在拍摄框中，然后实时对拍摄框中显示的现实世界的视频图像进行AR处理，将经过AR处理的视频图像作为最终的拍摄结果，从而得到AR视频，实现在拍摄过程中对摄像机采集到的现实世界的视频图像进行AR处理，避免先拍摄再处理时需要专业的人员进行后期处理，降低了拍摄成本和影视制作周期。
Description
技术领域
本发明实施例涉及增强现实技术领域，尤其涉及一种增强现实拍摄方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Realty，AR)技术，是一种在用户看到的现实世界的视图上叠加计算机生成图像从而得到复合视图的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的技术，把原本在现实世界一定时间和空间范围内很难体验到的实体信息，如视觉、声音，甚至味道和触觉等，通过模拟仿真后，得到相应的虚拟信息，在显示屏上将该虚拟信息套现在现实世界，以被用户感官感知，从而达到超越现实的感官体验。
目前，AR技术在影视行业中也得到了广泛的应用，各种AR电影纷纷涌现。拍摄AR影视时，通常是拍摄影视，然后对影视进行AR处理，从而对影视添加特定场景、技能特效等视觉效果。
上述拍摄过程中，需要后期对已拍摄的影视进行AR处理，操作繁琐，耗费的时间多，导致影视拍摄成本高、周期长。
发明内容
本发明提供一种增强现实拍摄方法、装置、电子设备及存储介质，通过在拍摄过程中对影视实时进行AR处理，实现克服AR影视拍摄成本高、周期长的目的。
第一方面，本申请实施例提供一种增强现实拍摄方法，包括：
采集现实世界的视频图像；
将所述视频图像展示在拍摄框中；
对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理；
根据经过AR处理的至少一帧图像得到AR视频。
一种可行的实现方式中，所述采集现实世界的视频图像之前，还包括：
通过AR处理，建立AR模型库，所述AR模型库包括下述模型库中的至少一个：AR道具模型库、AR场景模型库和AR技能特效模型库。
一种可行的实现方式中，
所述对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理，包括：
确定所述拍摄框中展示的视频图像的目标帧中是否包含目标对象，所述目标帧是所述至少一帧图像中的任意一帧图像；
若包含目标对象，则提取所述目标对象的着装特征；
根据所述着装特征，从所述场景模型库中确定与所述着装特征匹配的AR场景；
合成所述AR场景和所述目标对象，以使所述拍摄框中显示的目标帧包括所述AR场景和所述目标对象。
一种可行的实现方式中，
所述对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理，包括：
确定所述拍摄框中展示的现实世界图像中是否包含目标对象；
若包含目标对象，则提取所述目标对象的肢体运动特征；
根据所述肢体运动特征，从所述技能特效模型库中确定与所述肢体运动特征匹配的AR技能特效；
为所述目标对象添加所述AR技能特效，以使所述拍摄框中显示的目标帧包括添加所述AR技能特效后的目标对象。
一种可行的实现方式中，
所述对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理，包括：
确定所述拍摄框中展示的现实世界图像中是否包含目标对象；
若包含目标对象，则提取所述目标对象的肢体运动特征；
根据所述肢体运动特征，从所述道具模型库中确定与所述肢体运动特征匹配的AR道具；
为所述目标对象添加所述AR道具，以使所述拍摄框中显示的目标帧包括添加所述AR道具后的目标对象。
一种可行的实现方式中，所述对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理，包括：
从所述视频图像中提取出关键帧，不同关键帧中所述目标对象的肢体运动特征不同；
对所述关键帧进行AR处理。
第二方面，本申请实施例提供一种增强现实的拍摄装置，包括：
采集模块，用于集现实世界的视频图像；
显示模块，用于将所述视频图像展示在拍摄框中；
处理模块，用于对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理；
生成模块，用于根据经过AR处理的至少一帧图像得到AR视频。
一种可行的实现方式中，所述装置还包括：
建立模块，用于在所述采集模块采集现实世界的视频图像之前，通过AR处理，建立AR模型库，所述AR模型库包括下述模型库中的至少一个：AR道具模型库、AR场景模型库和AR技能特效模型库。
一种可行的实现方式中，所述处理模块，具体用于确定所述拍摄框中展示的视频图像的目标帧中是否包含目标对象，所述目标帧是所述至少一帧图像中的任意一帧图像；若包含目标对象，则提取所述目标对象的着装特征；根据所述着装特征，从所述场景模型库中确定与所述着装特征匹配的AR场景；合成所述AR场景和所述目标对象，以使所述拍摄框中显示的目标帧包括所述AR场景和所述目标对象。
一种可行的实现方式中，所述处理模块，具体用于确定所述拍摄框中展示的现实世界图像中是否包含目标对象；若包含目标对象，则提取所述目标对象的肢体运动特征；根据所述肢体运动特征，从所述技能特效模型库中确定与所述肢体运动特征匹配的AR技能特效；为所述目标对象添加所述AR技能特效，以使所述拍摄框中显示的目标帧包括添加所述AR技能特效后的目标对象。
一种可行的实现方式中，所述处理模块，具体用于确定所述拍摄框中展示的现实世界图像中是否包含目标对象；若包含目标对象，则提取所述目标对象的肢体运动特征；根据所述肢体运动特征，从所述道具模型库中确定与所述肢体运动特征匹配的AR道具；为所述目标对象添加所述AR道具，以使所述拍摄框中显示的目标帧包括添加所述AR道具后的目标对象。
一种可行的实现方式中，所述处理模块，具体用于从所述视频图像中提取出关键帧，不同关键帧中所述目标对象的肢体运动特征不同；对所述关键帧进行AR处理。
第三方面，本发明实施例提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的方法。
第四方面，本发明实施例一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上第一方面所述的方法。
本发明实施例提供的增强现实拍摄方法、装置、电子设备及存储介质，通过采集现实世界的视频图像，并将采集到的现实世界的视频图像实时展示在拍摄框中，然后实时对拍摄框中显示的现实世界的视频图像进行AR处理，将经过AR处理的视频图像作为最终的拍摄结果，从而得到AR视频，实现在拍摄过程中对摄像机采集到的现实世界的视频图像进行AR处理，避免先拍摄再处理时需要专业的人员进行后期处理，降低了拍摄成本和影视制作周期。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的增强现实的拍摄方法所适用的场景示意图；
图2为本发明一实施例提供的增强现实的拍摄方法的流程图；
图3为本发明一个实施例提供的增强现实的拍摄装置的结构示意图；
图4为本发明另一个实施例提供的增强现实的拍摄装置的结构示意图；
图5为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例提供的增强现实的拍摄方法所适用的场景示意图。如图1所示，左边是采用目前视频拍摄方法拍摄的图像，右边是采用本申请AR拍摄方法拍摄的图像。根据右边的拍摄示意图可知：电子设备的拍摄装置捕捉现实世界的视频图像，将捕捉到的现实世界中小女孩在草地上跳舞的视频图像展示在拍摄框，然后，对拍摄框中展示的视频图像中的每一帧图像进行AR处理，例如，在小女孩的周围增加虚拟的、飞来飞去的蝴蝶，从而增加视频画面的唯美感。然后，根据经过AR处理的至少一帧图像得到AR视频。其中，虚拟的、飞来飞去的蝴蝶是预先采用AR技术，对通过对现实世界中的蝴蝶进行建模，得到真实蝴蝶的各种姿态的虚拟模型，并将该些虚拟模型存储在模型库中得到的。AR拍摄时，根据用户的选择或者根据拍摄框中的现实世界的视频图像，自动到虚拟模型库中匹配具有AR效果的模型，并将该模型对应的效果叠加在拍摄框中的现实世界的视频图像上，从而得到AR视频。
下面，在上述图1的基础上，对本申请增强现实的拍摄方法进行详细说明。具体的，可参见图2。
图2为本发明一实施例提供的增强现实的拍摄方法的流程图。本实施例的执行主体是增强现实拍摄装置，该装置可以通过软件、硬件或者软硬件结合的方式实现，该装置可以是电子设备的部分或者全部。该装置可以通过应用程序(APP，Application)或小工具的方式显示在电子设备的桌面上，供用户使用。如图2所示，本实施例包括：
101、采集现实世界的视频图像。
本申请实施例中，电子设备是具备摄像头的电子设备，如手机、平板电脑、移动互联网设备(Mobile Internet Device，MID)等电子设备。本步骤中，电子设备的摄像头开启后，增强现实拍摄装置开始采集视野中的现实世界的视频图像。
102、将所述视频图像展示在拍摄框中。
本步骤中，增强现实拍摄装置将摄像头采集到的现实世界的视频图像，实时显示在拍摄框中。
103、对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理。
本步骤中，增强现实拍摄装置实时对拍摄框中展示的现实世界的视频图像进行AR处理。
104、根据经过AR处理的至少一帧图像得到AR视频。
本步骤中，将经过AR处理的至少一帧图像进行合成，从而得到AR视频。
本发明实施例提供的增强现实拍摄方法，通过采集现实世界的视频图像，并将采集到的现实世界的视频图像实时展示在拍摄框中，然后实时对拍摄框中显示的现实世界的视频图像进行AR处理，将经过AR处理的视频图像作为最终的拍摄结果，从而得到AR视频，实现在拍摄过程中对摄像机采集到的现实世界的视频图像进行AR处理，避免先拍摄再处理时需要专业的人员进行后期处理，降低了拍摄成本和影视制作周期。
上述实施例中，为了实现在拍摄过程中对拍摄框中展示的现实世界图像进行增强现实AR处理，需要预先建立存储各种AR模型的模型库。下面，对如何建立存储各种AR模型的模型库进行详细说明。
具体的，拍摄一部影视作品时，该影视作品的场景、技能特效以及道具是确定。本申请实施例中，针对场景、技能特效和道具，分别通过AR处理建立AR模型库，从而得到AR场景模型库、AR技能特效模型库和AR道具模型库。其中，AR场景模型库中存储多个AR场景，每个AR场景分别对应不同的着装特征，AR技能特效模型库中存储多个AR技能特效，每个AR技能特效分别对应不同的肢体动作特征，AR道具模型库中存储多个AR道具，每个AR道具分别对应不同的肢体动作特征。
下面，对本申请实施例中，如何依据AR模型库，对拍摄框中展示的现实世界的视频图像进行增强现实处理进行详细说明。
一种可行的实现方式中，增强现实拍摄装置对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理时，具体是确定所述拍摄框中展示的视频图像的目标帧中是否包含目标对象，所述目标帧是所述至少一帧图像中的任意一帧图像；若包含目标对象，则提取所述目标对象的着装特征；根据所述着装特征，从所述场景模型库中确定与所述着装特征匹配的AR场景；合成所述AR场景和所述目标对象，以使所述拍摄框中显示的目标帧包括所述AR场景和所述目标对象。
具体的，增强现实处理装置确定拍摄框中展示的现实世界的视频图像的目标帧是否包含目标对象，如动物或人物等。例如，通过人脸识别技术，确定拍摄框中展示的目标帧是否包含人脸，若包含，将人物作为目标对象；若不包含，则确定拍摄框中展示的目标帧中是否包含动物，若包含，则将动物作为目标对象；若不包含，则对拍摄框中目标帧的其他图像进行提取，将提取出的对象作为目标对象。
当提取出的目标对象为人物时，进一步提取目标目标对象，即人物的着装特征，该着装特征例如为古装、现代装、卡通装等，其中，古装又包括唐装、宋朝装扮、清朝装扮等。
本申请实施例中，不同的着装特征对应不同的AR场景。因此，在确定出着装特征后，进一步的，根据着装特征从AR场景模型库中确定出与该着装特征匹配的AR场景。例如，若人物着装为唐装，则场景应该是大唐盛世的AR场景；若着装为21世纪的现代装，则场景应该是经济飞速发展的现代AR场景。
本申请实施例中，拍摄框中显示的现实世界的视频图像包含背景图像和目标对象。在确定出场景后，增强现实拍摄装置将确定出的AR场景叠加在目标对象的背景图像上，从而合成AR场景和目标对象。例如，当背景图像与AR场景偏差较大时，直接用确定出的AR场景覆盖背景图像；再如，当背景图像与AR场景偏差较小时，根据AR场景对背景图像进行渲染，使得背景图像与AR场景接近。
一种可行的实现方式中，增强现实拍摄装置对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理时，具体是确定所述拍摄框中展示的现实世界图像中是否包含目标对象；若包含目标对象，则提取所述目标对象的肢体运动特征；根据所述肢体运动特征，从所述技能特效模型库中确定与所述肢体运动特征匹配的AR技能特效；为所述目标对象添加所述AR技能特效，以使所述拍摄框中显示的目标帧包括添加所述AR技能特效后的目标对象。
具体的，增强现实处理装置确定拍摄框中展示的现实世界的视频图像的目标帧是否包含目标图像，如动物或人物等。例如，通过人脸识别技术，确定拍摄框中展示的图像是否包含人脸，若包含，将人物作为目标对象；若不包含，则确定拍摄框中展示的目标帧中是否包含动物图像，若包含，则将动物作为目标对象；若不包含，则对拍摄框中的目标帧的其他图像进行提取，将提取出的图像作为目标对象。
当提取出的目标对象为人物或动物时，进一步提取人物或动物的肢体动作特征，该肢体动作特征例如为奔跑、打斗、静坐、慢行等。
本申请实施例中，不同的肢体动作对应不同的AR技能特效。因此，在确定出肢体动作特征后，进一步的，根据该肢体动作特征从AR技能特效模型库中确定出与该着肢体动作特征匹配的AR技能特效，并将确定出的AR技能特效添加在拍摄框内目标帧中的目标对象上。例如，若人物的肢体动作特征表示拍摄框中的人物在奔跑，则为人物添加脚底生风，类似于凌波微步的AR技能特效；再如，若目标对象为动物，例如为一只飞翔的小鸟，且该动物的肢体特征表示拍摄框中的小鸟在飞翔，则为小鸟添加大鹏展翅的AR技能特效。
一种可行的实现方式中，增强现实拍摄装置对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理时，具体是确定所述拍摄框中展示的现实世界图像中是否包含目标对象；若包含目标对象，则提取所述目标对象的肢体运动特征；根据所述肢体运动特征，从所述道具模型库中确定与所述肢体运动特征匹配的AR道具；为所述目标对象添加所述AR道具，以使所述拍摄框中显示的目标帧包括添加所述AR道具后的目标对象。
具体的，增强现实处理装置确定拍摄框中展示的现实世界的视频图像内是否包含目标对象，如动物或人物等。例如，通过人脸识别技术，确定拍摄框中展示的图像是否包含人脸，若包含，将人物作为目标对象；若不包含，则确定拍摄框中展示的目标帧中是否包含动物，若包含，则将动物作为目标对象；若不包含，则对拍摄框中目标帧的其他图像进行提取，将提取出的图像作为目标对象。
当提取出的目标对象为人物或动物时，进一步提取目标对象，即人物或动物的肢体动作特征，该肢体动作特征例如为奔跑、打斗、静坐、慢行等。
本申请实施例中，不同的肢体动作对应不同的AR道具。因此，在确定出肢体动作特征后，进一步的，根据该肢体动作特征从AR道具模型库中确定出与该着肢体动作特征匹配的AR道具，并将确定出的AR道具添加在拍摄框内目标帧的目标对象上。例如，若人物的肢体动作特征表示拍摄框中的人物的手处于“捧”的状态，将该肢体动作特征遍历AR道具模型库发现：该肢体动作特征对应的AR道具是一个旋转的水晶球，则将该虚拟的旋转水晶球道具添加在目标对象的手上。
需要说明的是，上述实施例中，拍摄框中的目标帧中的目标对象处于运动状态，肢体动作不断的发生变化。因此，不同帧中，目标对象的AR道具和AR技能特效随着目标对象的肢体动作的变化也不断发生新的变化。也就是说，拍摄框中不同帧包含的目标对象的AR道具和AR技能特效可以相同或不同，并不是一成不变的，而是和目标对象的动作相关。
一种可行的实现方式中，增强现实的拍摄装置对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理时，从所述视频图像中提取出关键帧，不同关键帧中所述目标对象的肢体运动特征不同；对所述关键帧进行AR处理。
具体的，拍摄框中展示的现实时间的视频图像中，目标对象的肢体动作是不断变化的。但是，相邻的几个帧中，目标对象的肢体动作相同或相近。为了避免对每一帧图像都进行AR处理，导致中央处理单元(Central Processing Unit，CPU)占用率过高，本发明实施例中，可以从肢体动作相近的几帧图像中提取住一个关键帧，不同关键帧中目标对象的肢体运动特征不同。然后，仅对关键帧中的目标对象进行AR处理。AR处理后，根据关键帧中的处理，对该关键帧相同或相似的其他帧进行简单的AR效果叠加，无需再次提取目标对象到模型库中寻找肢体特征对应的AR技能特效或AR道具。这样，可以在一定程度上减轻CPU的占用。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图3为本发明一个实施例提供的增强现实的拍摄装置的结构示意图，该增强现实的拍摄装置可以通过软件和/或硬件的方式实现。如图3所示，增强现实的拍摄10包括：
采集模块11，用于集现实世界的视频图像；
显示模块12，用于将所述采集模块11采集到的所述视频图像展示在拍摄框中；
处理模块13，用于对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理；
生成模块14，用于根据经过AR处理的至少一帧图像得到AR视频。
本申请实施例提供的增强现实的拍摄装置，通过采集现实世界的视频图像，并将采集到的现实世界的视频图像实时展示在拍摄框中，然后实时对拍摄框中显示的现实世界的视频图像进行AR处理，将经过AR处理的视频图像作为最终的拍摄结果，从而得到AR视频，实现在拍摄过程中对摄像机采集到的现实世界的视频图像进行AR处理，避免先拍摄再处理时需要专业的人员进行后期处理，降低了拍摄成本和影视制作周期。
图4为本发明另一个实施例提供的增强现实的拍摄装置的结构示意图，如图4所示，本发明实施例提供的增强现实的拍摄装置，在上述图3的基础上，进一步的还包括：
建立模块15，用于在所述采集模块11采集现实世界的视频图像之前，通过AR处理，建立AR模型库，所述AR模型库包括下述模型库中的至少一个：AR道具模型库、AR场景模型库和AR技能特效模型库。
一种可行的实现方式中，所述处理模块13，具体用于确定所述拍摄框中展示的视频图像的目标帧中是否包含目标对象，所述目标帧是所述至少一帧图像中的任意一帧图像；若包含目标对象，则提取所述目标对象的着装特征；根据所述着装特征，从所述场景模型库中确定与所述着装特征匹配的AR场景；合成所述AR场景和所述目标对象，以使所述拍摄框中显示的目标帧包括所述AR场景和所述目标对象。
一种可行的实现方式中，所述处理模块13，具体用于确定所述拍摄框中展示的现实世界图像中是否包含目标对象；若包含目标对象，则提取所述目标对象的肢体运动特征；根据所述肢体运动特征，从所述技能特效模型库中确定与所述肢体运动特征匹配的AR技能特效；为所述目标对象添加所述AR技能特效，以使所述拍摄框中显示的目标帧包括添加所述AR技能特效后的目标对象。
一种可行的实现方式中，所述处理模块13，具体用于确定所述拍摄框中展示的现实世界图像中是否包含目标对象；若包含目标对象，则提取所述目标对象的肢体运动特征；根据所述肢体运动特征，从所述道具模型库中确定与所述肢体运动特征匹配的AR道具；为所述目标对象添加所述AR道具，以使所述拍摄框中显示的目标帧包括添加所述AR道具后的目标对象。
一种可行的实现方式中，所述处理模块13，具体用于从所述视频图像中提取出关键帧，不同关键帧中所述目标对象的肢体运动特征不同；对所述关键帧进行AR处理。
图5为本发明一实施例提供的电子设备的结构示意图。如图5所示，该电子设备20包括：
至少一个处理器21和存储器22；
所述存储器22存储计算机执行指令；
所述至少一个处理器21执行所述存储器22存储的计算机执行指令，使得所述至少一个处理器21执行如上所述的增强现实的拍摄方法。
处理器21的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
可选地，该用户设备20还包括通信部件23。其中，处理器21、存储器22以及通信部件23可以通过总线24连接。
本发明实施例还提供一种存储介质，所述存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的增强现实的拍摄方法。
在上述的实施例中，应该理解到，所描述的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种增强现实拍摄方法，其特征在于，包括：
采集现实世界的视频图像；
将所述视频图像展示在拍摄框中；
对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理；
根据经过AR处理的至少一帧图像得到AR视频；
所述对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理，包括：
确定所述拍摄框中展示的现实世界图像中是否包含目标对象；
若包含目标对象，则提取所述目标对象的肢体运动特征；
根据所述肢体运动特征，从技能特效模型库中确定与所述肢体运动特征匹配的AR技能特效，其中，在不同帧中，不同的肢体动作对应不同的AR技能特效，所述AR技能特效是根据各个帧中的所述目标对象的肢体运动特征实时确定的；
为所述目标对象添加所述AR技能特效，以使所述拍摄框中显示的目标帧包括添加所述AR技能特效后的目标对象；
所述对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理，包括：
从所述视频图像中提取出关键帧，不同关键帧中所述目标对象的肢体运动特征不同；
对所述关键帧进行AR处理。
2.根据权利要求1所述的方法，其特征在于，所述采集现实世界的视频图像之前，还包括：
通过AR处理，建立AR模型库，所述AR模型库包括下述模型库中的至少一个：AR道具模型库、AR场景模型库和AR技能特效模型库。
3.根据权利要求2所述的方法，其特征在于，所述对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理，还包括：
确定所述拍摄框中展示的视频图像的目标帧中是否包含目标对象，所述目标帧是所述至少一帧图像中的任意一帧图像；
若包含目标对象，则提取所述目标对象的着装特征；
根据所述着装特征，从所述场景模型库中确定与所述着装特征匹配的AR场景；
合成所述AR场景和所述目标对象，以使所述拍摄框中显示的目标帧包括所述AR场景和所述目标对象。
4.根据权利要求2所述的方法，其特征在于，所述对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理，还包括：
确定所述拍摄框中展示的现实世界图像中是否包含目标对象；
若包含目标对象，则提取所述目标对象的肢体运动特征；
根据所述肢体运动特征，从所述道具模型库中确定与所述肢体运动特征匹配的AR道具；
为所述目标对象添加所述AR道具，以使所述拍摄框中显示的目标帧包括添加所述AR道具后的目标对象。
5.一种增强现实的拍摄装置，其特征在于，包括：
采集模块，用于集现实世界的视频图像；
显示模块，用于将所述视频图像展示在拍摄框中；
处理模块，用于对所述拍摄框中展示的视频图像包含的至少一帧图像进行增强现实AR处理；
生成模块，用于根据经过AR处理的至少一帧图像得到AR视频；
所述处理模块，具体用于确定所述拍摄框中展示的现实世界图像中是否包含目标对象；若包含目标对象，则提取所述目标对象的肢体运动特征；根据所述肢体运动特征，从技能特效模型库中确定与所述肢体运动特征匹配的AR技能特效；为所述目标对象添加所述AR技能特效，以使所述拍摄框中显示的目标帧包括添加所述AR技能特效后的目标对象，其中，在不同帧中，不同的肢体动作对应不同的AR技能特效，所述AR技能特效是根据各个帧中的所述目标对象的肢体运动特征实时确定的；
所述处理模块，具体用于从所述视频图像中提取出关键帧，不同关键帧中所述目标对象的肢体运动特征不同；对所述关键帧进行AR处理。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
建立模块，用于在所述采集模块采集现实世界的视频图像之前，通过AR处理，建立AR模型库，所述AR模型库包括下述模型库中的至少一个：AR道具模型库、AR场景模型库和AR技能特效模型库。
7.根据权利要求6所述的装置，其特征在于，
所述处理模块，还用于确定所述拍摄框中展示的视频图像的目标帧中是否包含目标对象，所述目标帧是所述至少一帧图像中的任意一帧图像；若包含目标对象，则提取所述目标对象的着装特征；根据所述着装特征，从所述场景模型库中确定与所述着装特征匹配的AR场景；合成所述AR场景和所述目标对象，以使所述拍摄框中显示的目标帧包括所述AR场景和所述目标对象。
8.根据权利要求6所述的装置，其特征在于，
所述处理模块，还用于确定所述拍摄框中展示的现实世界图像中是否包含目标对象；若包含目标对象，则提取所述目标对象的肢体运动特征；根据所述肢体运动特征，从所述道具模型库中确定与所述肢体运动特征匹配的AR道具；为所述目标对象添加所述AR道具，以使所述拍摄框中显示的目标帧包括添加所述AR道具后的目标对象。
9.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述权利要求1-4任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810887682.0A CN109089038B (zh) | 2018-08-06 | 2018-08-06 | 增强现实拍摄方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810887682.0A CN109089038B (zh) | 2018-08-06 | 2018-08-06 | 增强现实拍摄方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109089038A CN109089038A (zh) | 2018-12-25 |
| CN109089038B true CN109089038B (zh) | 2021-07-06 |
Family
ID=64834155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810887682.0A Active CN109089038B (zh) | 2018-08-06 | 2018-08-06 | 增强现实拍摄方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109089038B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114584684A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 信息展示方法、装置、电子设备及存储介质 |
| CN112637665B (zh) * | 2020-12-23 | 2022-11-04 | 北京市商汤科技开发有限公司 | 增强现实场景下的展示方法、装置、电子设备及存储介质 |
| CN112653848B (zh) * | 2020-12-23 | 2023-03-24 | 北京市商汤科技开发有限公司 | 增强现实场景下的展示方法、装置、电子设备及存储介质 |
| CN112884909A (zh) * | 2021-02-23 | 2021-06-01 | 浙江商汤科技开发有限公司 | Ar特效的显示方法、装置、计算机设备及存储介质 |
| CN113181636A (zh) * | 2021-04-20 | 2021-07-30 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟现实动作触发方法及相关装置 |
| CN113329218A (zh) * | 2021-05-28 | 2021-08-31 | 青岛鳍源创新科技有限公司 | 水下拍摄的增强现实结合方法、装置、设备及存储介质 |
| CN113612923B (zh) * | 2021-07-30 | 2023-02-03 | 重庆电子工程职业学院 | 一种动态视觉效果增强系统及控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105975071A (zh) * | 2016-04-28 | 2016-09-28 | 努比亚技术有限公司 | 一种信息处理方法及电子设备 |
| CN106155315A (zh) * | 2016-06-28 | 2016-11-23 | 广东欧珀移动通信有限公司 | 一种拍摄中增强现实效果的添加方法、装置及移动终端 |
| CN107437272A (zh) * | 2017-08-31 | 2017-12-05 | 深圳锐取信息技术股份有限公司 | 基于增强现实的互动娱乐方法、装置及终端设备 |
| CN107613310A (zh) * | 2017-09-08 | 2018-01-19 | 广州华多网络科技有限公司 | 一种直播方法、装置及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104240277B (zh) * | 2013-06-24 | 2019-07-19 | 腾讯科技（深圳）有限公司 | 基于人脸检测的增强现实交互方法和系统 |
| US20160371884A1 (en) * | 2015-06-17 | 2016-12-22 | Microsoft Technology Licensing, Llc | Complementary augmented reality |
-
2018
- 2018-08-06 CN CN201810887682.0A patent/CN109089038B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105975071A (zh) * | 2016-04-28 | 2016-09-28 | 努比亚技术有限公司 | 一种信息处理方法及电子设备 |
| CN106155315A (zh) * | 2016-06-28 | 2016-11-23 | 广东欧珀移动通信有限公司 | 一种拍摄中增强现实效果的添加方法、装置及移动终端 |
| CN107437272A (zh) * | 2017-08-31 | 2017-12-05 | 深圳锐取信息技术股份有限公司 | 基于增强现实的互动娱乐方法、装置及终端设备 |
| CN107613310A (zh) * | 2017-09-08 | 2018-01-19 | 广州华多网络科技有限公司 | 一种直播方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109089038A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109089038B (zh) | 增强现实拍摄方法、装置、电子设备及存储介质 | |
| CN112348969B (zh) | 增强现实场景下的展示方法、装置、电子设备及存储介质 | |
| CN108377334B (zh) | 短视频拍摄方法、装置及电子终端 | |
| CN106161939B (zh) | 一种照片拍摄方法及终端 | |
| US10776981B1 (en) | Entertaining mobile application for animating a single image of a human body and applying effects | |
| JP6918455B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN107316020A (zh) | 人脸替换方法、装置及电子设备 | |
| CN108986016B (zh) | 图像美化方法、装置及电子设备 | |
| CN111694430A (zh) | 一种ar场景画面呈现方法、装置、电子设备和存储介质 | |
| CN109816766A (zh) | 图像处理装置、图像处理方法及存储介质 | |
| WO2019237745A1 (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
| EP3091510B1 (en) | Method and system for producing output images | |
| CN108668050B (zh) | 基于虚拟现实的视频拍摄方法和装置 | |
| CN112950751B (zh) | 姿态动作的展示方法及装置、存储介质、系统 | |
| CN113298858A (zh) | 一种虚拟形象的动作生成方法、装置、终端以及存储介质 | |
| CN109743584B (zh) | 全景视频合成方法、服务器、终端设备及存储介质 | |
| WO2022027447A1 (zh) | 图像处理方法、相机及移动终端 | |
| CN111640184A (zh) | 古建筑物重现方法、装置、电子设备及存储介质 | |
| CN112036209A (zh) | 一种人像照片处理方法及终端 | |
| US20130050190A1 (en) | Dressing simulation system and method | |
| US11087514B2 (en) | Image object pose synchronization | |
| CN111968206B (zh) | 动画对象的处理方法、装置、设备及存储介质 | |
| CN112511815B (zh) | 图像或视频生成方法及装置 | |
| CN112073632A (zh) | 图像处理方法、设备及存储介质 | |
| CN108010038B (zh) | 基于自适应阈值分割的直播服饰装扮方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181225 Assignee: Beijing Intellectual Property Management Co.,Ltd. Assignor: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. Contract record no.: X2023110000095 Denomination of invention: Augmented reality shooting methods, devices, electronic devices, and storage media Granted publication date: 20210706 License type: Common License Record date: 20230821 |