CN108614638B - Ar成像方法和装置 - Google Patents

Ar成像方法和装置 Download PDF

Info

Publication number
CN108614638B
CN108614638B CN201810366133.9A CN201810366133A CN108614638B CN 108614638 B CN108614638 B CN 108614638B CN 201810366133 A CN201810366133 A CN 201810366133A CN 108614638 B CN108614638 B CN 108614638B
Authority
CN
China
Prior art keywords
model
limb
target
augmented reality
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810366133.9A
Other languages
English (en)
Other versions
CN108614638A (zh
Inventor
李建亿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pacific Future Technology Shenzhen Co ltd
Original Assignee
Pacific Future Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pacific Future Technology Shenzhen Co ltd filed Critical Pacific Future Technology Shenzhen Co ltd
Priority to CN201810366133.9A priority Critical patent/CN108614638B/zh
Priority to PCT/CN2018/094077 priority patent/WO2019205284A1/zh
Publication of CN108614638A publication Critical patent/CN108614638A/zh
Application granted granted Critical
Publication of CN108614638B publication Critical patent/CN108614638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Abstract

本发明实施例提供一种AR成像方法和装置,包括:采集人物图像,并标识所述人物图像中的五官特征点和肢体特征点;利用第一模型确定所述五官特征点对应的五官特征信息,利用第二模型确定所述肢体特征点对应的肢体特征信息;在虚拟形象数据库中,根据所述五官特征信息和所述肢体特征信息生成与所述人物图像匹配的虚拟形象;将所述虚拟形象和所述增强现实设备的标识发送至所述服务器,以使所述服务器将所述虚拟形象添加至目标视频帧中进行增强现实处理,并将处理后的所述目标视频帧发送至所述增强现实设备。

Description

AR成像方法和装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种AR成像方法和装置。
背景技术
AR(Augmented Reality,增强现实技术)是一种基于虚拟现实的改进技术,能够将现实场景与虚拟场景进行实时叠加,为用户提供更加逼真的场景,进一步增强了用户的沉浸感。
然而,发明人在实现本发明的过程中发现,现有技术中一般都是由视频提供方指导用户如何进行增强现实的交互,当用户遇到自己感兴趣的视频时,如果该视频没有增强现实功能,则用户不能与该视频进行增强现实的交互,更不能通过自己的虚拟形象与视频进行交互,降低了用户体验,同时限制了增强现实与其他技术的融合发展。
发明内容
本发明实施例提供的AR成像方法、装置及电子设备,用以至少解决相关技术中的上述问题。
本发明实施例一方面提供了一种AR成像方法,应用于增强现实设备,包括:
采集人物图像,并标识所述人物图像中的五官特征点和肢体特征点;利用预设的第一模型确定所述五官特征点对应的五官特征信息,利用预设的第二模型确定所述肢体特征点对应的肢体特征信息;在虚拟形象数据库中,根据所述五官特征信息和所述肢体特征信息生成与所述人物图像匹配的虚拟形象;将所述虚拟形象和所述增强现实设备的标识发送至所述服务器,以使所述服务器将所述虚拟形象添加至目标视频帧中进行增强现实处理,并将处理后的所述目标视频帧发送至所述增强现实设备;其中,所述目标视频帧来自移动终端拍摄的视频。
进一步地,所述虚拟形象库中包括多个虚拟形象的模型文件,每个虚拟形象的模型文件中包括肢体模型子文件和五官模型子文件,所述肢体模型子文件中的每个肢体模型携带有对应的肢体特征信息,所述五官模型子文件中的每个五官模型携带有对应的五官特征信息。
进一步地,所述在虚拟形象数据库中,根据所述五官特征信息和所述肢体特征信息生成与所述人物图像匹配的虚拟形象,包括:确定目标虚拟形象;在所述目标虚拟形象对应的模型文件中,根据所述五官特征信息查找匹配的目标五官模型,根据所述肢体特征信息查找匹配的目标肢体模型;将所述目标五官模型和所述目标肢体模型进行组合,得到与人物图像匹配的虚拟形象。
进一步地,所述五官特征信息包括五官的角度信息或五官的特征名称信息,所述肢体特征信息包括肢体的角度信息或肢体的特征名称信息。
进一步的,
所述AR成像方法中,通过移动终端的摄像头来拍摄视频,所述目标视频帧来自所述摄像头拍摄的视频;
所述摄像头包括镜头、自动聚焦音圈马达、图像传感器以及微型记忆合金光学防抖器,所述镜头固装在所述自动聚焦音圈马达上,所述图像传感器将所述镜头获取的光学场景转换为图像数据,所述自动聚焦音圈马达安装在所述微型记忆合金光学防抖器上,移动终端的处理器根据陀螺仪检测到的镜头抖动数据驱动所述微型记忆合金光学防抖器的动作,实现镜头的抖动补偿;
所述微型记忆合金光学防抖器包括活动板和基板,所述自动聚焦音圈马达安装在所述活动板上,所述基板的尺寸大于所述活动板,所述活动板安装在所述基板上,所述活动板和所述基板之间设有多个活动支撑,所述基板的四周具有四个侧壁,每个所述侧壁的中部设有一缺口,所述缺口处安装有微动开关,所述微动开关的活动件可以在所述处理器的指令下打开或封闭所述缺口,所述活动件靠近所述活动板的侧面设有沿所述活动件宽度方向布设的条形的电触点,所述基板设有与所述电触点相连接的温控电路,所述处理器根据陀螺仪检测到的镜头抖动方向控制所述温控电路的开闭,所述活动板的四个侧边的中部均设有形状记忆合金丝,所述形状记忆合金丝一端与所述活动板固定连接,另一端与所述电触点滑动配合,所述基板的四周的内侧壁与所述活动板之间均设有弹性件,当所述基板上的一个温控电路连通时,与该电路相连接的形状记忆合金丝伸长,同时,远离该形状记忆合金丝的微动开关的活动件打开所述缺口,与该形状记忆合金丝同侧的弹性件收缩,远离该形状记忆合金丝的弹性件伸长。
进一步的,所述弹性件为弹簧。
进一步的,所述移动终端安装于支架上,所述支架包括安装座、支撑轴、三个铰装在所述支撑轴上的支撑架;
所述安装座包括相互垂直的第一安装板和第二安装板,所述第一安装板和第二安装板均可用于安装所述摄像机,所述支撑轴垂直安装在所述第一安装板的底面,所述支撑轴远离所述安装座的底端设有径向尺寸大于所述支撑轴的圆周面,三个所述支撑架由上至下安装在所述支撑轴上,且每两个所述支撑架展开后的水平投影呈一夹角,所述支撑轴为伸缩杆件,其包括与所述安装座相连接的管体和部分可收缩至所述管体内的杆体,所述杆体伸入所述管体的部分包括依次铰接的第一段、第二段、第三段和第四段,所述第一段与所述管体相连接,所述第一段靠近所述第二段的端部设有安装槽,所述安装槽内铰接有锁止件,所述第二段靠近所述第一段的端部设有与锁止件可拆卸配合的锁止孔,所述第二段靠近所述第三段的端部设有安装槽,所述安装槽内铰接有锁止件,所述第三段靠近所述第二段的端部设有与锁止件可拆卸配合的锁止孔,所述第三段靠近所述第四段的端部设有安装槽,所述安装槽内铰接有锁止件,所述第四段靠近所述第三段的端部设有与锁止件可拆卸配合的锁止孔。
进一步的,每个所述支撑架的底端还连接有调距装置,所述调距装置包括安装在所述支撑架底部的轴承圈、与所述轴承圈相连接的转动环、管体、螺杆、螺套及支撑杆,所述管体的一端设有封堵,所述螺杆部分通过所述封堵安装在所述管体内,所述封堵设有与所述螺杆相适配的内螺纹,所述螺杆另一部分与所述转动环相连接,所述螺套一端安装在所述管体内并与所述螺杆螺纹连接,所述螺套的另一端伸出所述管体外并与所述支撑杆固定连接,所述螺套的内壁设有一凸起,所述螺套的外侧壁沿其长度方向设有与所述凸起相适配的滑道,所述管体包括相邻的第一部分和第二部分,所述第一部分的内径小于所述第二部分的内径,所述封堵设置在所述第二部分的外端上,所述螺套靠近所述螺杆的端部设有外径大于所述第一部分内径的限位端。
本发明实施例又一方面提供了一种AR成像方法,应用于服务器,包括:
接收增强现实设备发送的虚拟形象和所述增强现实设备的标识;接收移动终端拍摄的视频帧图像和所述移动终端的标识;根据预先建立的增强现实设备的标识与所述移动终端的标识的对应关系表,确定与所述虚拟形象对应的目标视频帧图像;根据所述虚拟形象对所述目标视频帧图像进行处理,并将处理后的所述目标视频帧图像发送至所述增强现实设备。
进一步地,所述根据所述虚拟形象对所述目标视频帧图像进行处理,包括:判断所述视频帧图像中是否存在与所述虚拟形象姿态或表情相近的目标对象;若存在,则将所述目标对象替换成所述虚拟形象。
进一步的,
通过移动终端的摄像头来拍摄视频帧图像;
所述摄像头包括镜头、自动聚焦音圈马达、图像传感器以及微型记忆合金光学防抖器,所述镜头固装在所述自动聚焦音圈马达上,所述图像传感器将所述镜头获取的光学场景转换为图像数据,所述自动聚焦音圈马达安装在所述微型记忆合金光学防抖器上,移动终端的处理器根据陀螺仪检测到的镜头抖动数据驱动所述微型记忆合金光学防抖器的动作,实现镜头的抖动补偿;
所述微型记忆合金光学防抖器包括活动板和基板,所述自动聚焦音圈马达安装在所述活动板上,所述基板的尺寸大于所述活动板,所述活动板安装在所述基板上,所述活动板和所述基板之间设有多个活动支撑,所述基板的四周具有四个侧壁,每个所述侧壁的中部设有一缺口,所述缺口处安装有微动开关,所述微动开关的活动件可以在所述处理器的指令下打开或封闭所述缺口,所述活动件靠近所述活动板的侧面设有沿所述活动件宽度方向布设的条形的电触点,所述基板设有与所述电触点相连接的温控电路,所述处理器根据陀螺仪检测到的镜头抖动方向控制所述温控电路的开闭,所述活动板的四个侧边的中部均设有形状记忆合金丝,所述形状记忆合金丝一端与所述活动板固定连接,另一端与所述电触点滑动配合,所述基板的四周的内侧壁与所述活动板之间均设有弹性件,当所述基板上的一个温控电路连通时,与该电路相连接的形状记忆合金丝伸长,同时,远离该形状记忆合金丝的微动开关的活动件打开所述缺口,与该形状记忆合金丝同侧的弹性件收缩,远离该形状记忆合金丝的弹性件伸长。
进一步的,所述弹性件为弹簧。
进一步的,所述移动终端安装于支架上,所述支架包括安装座、支撑轴、三个铰装在所述支撑轴上的支撑架;
所述安装座包括相互垂直的第一安装板和第二安装板,所述第一安装板和第二安装板均可用于安装所述摄像机,所述支撑轴垂直安装在所述第一安装板的底面,所述支撑轴远离所述安装座的底端设有径向尺寸大于所述支撑轴的圆周面,三个所述支撑架由上至下安装在所述支撑轴上,且每两个所述支撑架展开后的水平投影呈一夹角,所述支撑轴为伸缩杆件,其包括与所述安装座相连接的管体和部分可收缩至所述管体内的杆体,所述杆体伸入所述管体的部分包括依次铰接的第一段、第二段、第三段和第四段,所述第一段与所述管体相连接,所述第一段靠近所述第二段的端部设有安装槽,所述安装槽内铰接有锁止件,所述第二段靠近所述第一段的端部设有与锁止件可拆卸配合的锁止孔,所述第二段靠近所述第三段的端部设有安装槽,所述安装槽内铰接有锁止件,所述第三段靠近所述第二段的端部设有与锁止件可拆卸配合的锁止孔,所述第三段靠近所述第四段的端部设有安装槽,所述安装槽内铰接有锁止件,所述第四段靠近所述第三段的端部设有与锁止件可拆卸配合的锁止孔。
进一步的,每个所述支撑架的底端还连接有调距装置,所述调距装置包括安装在所述支撑架底部的轴承圈、与所述轴承圈相连接的转动环、管体、螺杆、螺套及支撑杆,所述管体的一端设有封堵,所述螺杆部分通过所述封堵安装在所述管体内,所述封堵设有与所述螺杆相适配的内螺纹,所述螺杆另一部分与所述转动环相连接,所述螺套一端安装在所述管体内并与所述螺杆螺纹连接,所述螺套的另一端伸出所述管体外并与所述支撑杆固定连接,所述螺套的内壁设有一凸起,所述螺套的外侧壁沿其长度方向设有与所述凸起相适配的滑道,所述管体包括相邻的第一部分和第二部分,所述第一部分的内径小于所述第二部分的内径,所述封堵设置在所述第二部分的外端上,所述螺套靠近所述螺杆的端部设有外径大于所述第一部分内径的限位端。
本发明实施例的另一方面提供了一种AR成像装置,应用于增强现实设备,包括:
采集模块,用于采集人物图像,并标识所述人物图像中的五官特征点和肢体特征点;确定模块,用于利用预设的第一模型确定所述五官特征点对应的五官特征信息,利用预设的第二模型确定所述肢体特征点对应的肢体特征信息;生成模块,用于在虚拟形象数据库中,根据所述五官特征信息和所述肢体特征信息确定与所述人物图像匹配的虚拟形象;发送模块,用于将所述虚拟形象和所述增强现实设备的标识发送至所述服务器,以使所述服务器将所述虚拟形象添加至目标视频帧中进行增强现实处理,并将处理后的所述目标视频帧发送至所述增强现实设备;其中,所述目标视频帧来自移动终端拍摄的视频。
进一步地,所述虚拟形象库中包括多个虚拟形象的模型文件,每个虚拟形象的模型文件中包括肢体模型子文件和五官模型子文件,所述肢体模型子文件中的每个肢体模型携带有对应的肢体特征信息,所述五官模型子文件中的每个五官模型携带有对应的五官特征信息。
进一步地,所述生成模块包括:确定单元,用于确定目标虚拟形象;查找单元,用于在所述目标虚拟形象对应的模型文件中,根据所述五官特征信息查找匹配的目标五官模型,根据所述肢体特征信息查找匹配的目标肢体模型;组合单元,用于将所述目标五官模型和所述目标肢体模型进行组合,得到与人物图像匹配的虚拟形象。
本发明实施例的再一方面提供了一种AR成像装置,应用于服务器,包括:
第一接收模块,用于接收增强现实设备发送的虚拟形象和所述增强现实设备的标识;第二接收模块,用于接收移动终端拍摄的视频帧图像和所述移动终端的标识;确定模块,用于根据预先建立的增强现实设备的标识与所述移动终端的标识的对应关系表,确定与所述虚拟形象对应的目标视频帧图像;处理模块,用于根据所述虚拟形象对所述目标视频帧图像进行处理,并将处理后的所述目标视频帧图像发送至所述增强现实设备。
进一步地,所述处理模块包括:
判断单元,用于判断所述视频帧图像中是否存在与所述虚拟形象姿态或表情相近的目标对象;替换单元,用于存在与所述虚拟形象姿态或表情相近的目标对象时,则将所述目标对象替换成所述虚拟形象。
本发明实施例的又一方面提供一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明实施例上述增强设备侧的任一项AR成像方法。
本发明实施例的再一方面提供一种服务器,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明实施例上述服务器侧的任一项AR成像方法。
由以上技术方案可见,本发明实施例提供的AR成像方法、装置及电子设备,能够基于用户自身的意愿确定增强现实场景,同时能够生成用户对应的虚拟形象,使该虚拟形象置身于当前移动终端播放的视频中,增强用户的沉浸感和交互的趣味性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的AR成像方法流程图;
图2为本发明一个实施例提供的AR成像方法中步骤S103的具体流程图;
图3为本发明一个实施例提供的AR成像方法流程图;
图4为本发明一个实施例提供的AR成像方法中步骤S303的具体流程图;
图5为本发明一个实施例提供的AR成像装置结构图;
图6为本发明一个实施例提供的AR成像装置结构图;
图7为本发明一个实施例提供的AR成像装置结构图;
图8为本发明一个实施例提供的AR成像装置结构图;
图9为执行本发明方法实施例提供的AR成像方法的电子设备的硬件结构示意图;
图10为本发明一个实施例提供的摄像头的结构图;
图11为本发明一个实施例提供的微型记忆合金光学防抖器的结构图;
图12为本发明一个实施例提供的微型记忆合金光学防抖器的一种工作状态结构图;
图13为本发明一个实施例提供的支架结构图;
图14为本发明一个实施例提供的支撑轴结构图;
图15为本发明一个实施例提供的调距装置结构图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明实施例一部分实施例,而不是全部的实施例。基于本发明实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本发明实施例保护的范围。
首先介绍一下本发明实施例的应用场景,当用户佩戴增强现实设备观看移动终端中自己拍摄的视频时,当看到自己感兴趣的视频片段,可以与该片段进行增强现实的交互,即将用户的虚拟形象添加到该视频片段上,使该虚拟形象置身于当前播放的视频中。具体地,可以利用增强现实设备采集自己的人物头像,并处理得到与该人物图像相匹配的虚拟形象并发送至服务器,同时服务器获取该视频片段,利用该虚拟形象对该视频片段的帧图像进行增强现实处理,将处理好的视频帧图像返回至增强现实设备,从而使用户通过增强现实设备看到自己与视频的交互。
本发明实施例中的增强现实设备可以包括可被用户佩戴的眼睛和头盔。该增强现实设中设置有人脸图像采集组件,当该设备主体被用户佩戴时,该脸部图像采集组件朝向用户脸部,且与该用户脸部存在预设距离,即不直接与用户的脸部接触。本发明实施例中的移动终端包括但不限于手机、平板电脑等。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。
图1为本发明实施例提供的AR成像方法流程图。如图1所示,本发明实施例提供的AR成像方法,应用于增强现实设备,包括:
S101,采集人物图像,并标识所述人物图像中的五官特征点和肢体特征点。
增强现实设备可以通过其设置的人脸图像采集组件来采集用户的人物图像。对人物图像的采集时机可以是响应于用户对增强设备的指令,即该指令为用户希望与当前播放的视频内容进行增强现实交互时,对增强设备的操作指令。
在采集到人物图像时,增强设备可以识别人物图像中的五官特征点和肢体特征点并进行标记。具体地识别方法可以是通过预先训练的模型、或者通过预先设定的特征点识别规则,本发明在此不做限定。肢体特征点可以包括:头部、脖子、手部、胳臂、躯干、腿部、以及脚部等。五官特征点可以包括:眉毛、眼睛、嘴巴等。
S102,利用预设的第一模型确定所述五官特征点对应的五官特征信息,利用预设的第二模型确定所述肢体特征点对应的肢体特征信息。
预设的第一模型和第二模型,是用来根据五官特征点和肢体特征点来确定五官特征信息和肢体特征信息的模型。该预设的第一模型和第二模型可以采用例如卷积神经网络算法等现有现有算法实现,具体实现过程属于本领域技术人员的常用技术手段,此处不再赘述。其中,第一模型输入标识了五官特征点的人物图像,输出五官特征信息;第二模型输入标识了肢体特征点的人物图像,输出肢体特征信息。
可选地,五官特征信息可以包括五官的角度信息或五官的特征名称信息,肢体特征信息可以包括肢体的角度信息或肢体的特征名称信息。即第一模型能够通过标识的五官特征点确定人物图像中五官的角度(比如嘴角上扬15度,眉毛下弯5度等),或,直接根据标识的五官特征点得到五官的特征名称信息(比如嘴巴是微笑的、嘴巴是露齿大小的、眉毛的舒展的等等)。相对应的,第二模型能够通过标识的五官特征点确定人物图像中各肢体的角度(比如左臂向上45度,右腿向前迈开20度等),或,直接根据标识的肢体特征点得到各肢体的特征名称信息(比如双臂水平举起、脚尖抬起、头向左歪等等)。
S103,在虚拟形象数据库中,根据所述五官特征信息和所述肢体特征信息生成与所述人物图像匹配的虚拟形象。
虚拟形象可以指游戏角色、卡通人物、动漫人物等,本发明在此不做限制。其中,虚拟形象库中包括多个虚拟形象的模型文件,每个虚拟形象的模型文件中包括肢体模型子文件和五官模型子文件,肢体模型子文件中的每个肢体模型携带有对应的肢体特征信息,所述五官模型子文件中的每个五官模型携带有对应的五官特征信息。也就是说,肢体模型子文件中可以包括各肢体模型,其中每个肢体模型包括该肢体多个不同角度信息的肢体模型或包括多个不同肢体特征信息的肢体模型,以左臂为例,左臂模型中可以包括左臂上扬45度模型,左臂前伸90度模型,左臂后摆30度模型,或,包括左臂平举模型,左臂向内弯曲模型等。对应的,五官模型子文件中可以包括五官模型,其中每个五官模型包括多个不同角度信息的五官模型或包括多个不同五官特征信息的五官模型,例子与肢体模型相似,在此不做赘述。
具体地,如图2所示,步骤S103可以包括如下子步骤:
S1031,确定目标虚拟形象。
本步骤是为人物图像选定虚拟形象作为目标虚拟形象。可以是通过对用户历史行为数据的分析,自动为其选定目标虚拟形象;也可以是通过对人物图像的分析,自动为其选定目标虚拟形象;还可以是用户预先自主设定的,本发明在此不做限制。
S1032,在所述目标虚拟形象对应的模型文件中,根据所述五官特征信息查找匹配的目标五官模型,根据所述肢体特征信息查找匹配的目标肢体模型。
通过步骤S102中确定的五官特征信息,在目标虚拟形象的五官模型子文件中,根据每个模型携带的五官特征信息,查找到匹配的五官模型(即查找到与人物图像匹配的眼睛、鼻子、嘴等)。通过步骤S102中确定的肢体特征信息,在目标虚拟形象的肢体模型子文件中,根据每个模型携带的肢体特征信息,查找到匹配的肢体模型(即查找到与人物图像中人物动作匹配的胳臂、腿、躯干等)。
S1033,将所述目标五官模型和所述目标肢体模型进行组合,得到与人物图像匹配的虚拟形象。
由于人物的表情是通过五官反映出来的,将各目标五官模型组合在一起,即得到与人物图像中人物表情相匹配的虚拟人物表情;人物的动作是通过肢体放映出来的,将各目标肢体模型组合在一起,即得到与人物图像中人物动作相匹配的虚拟人物动作。最后,将两者集合在一起,即得到与人物图像相匹配的虚拟形象。
S104,将所述虚拟形象和所述增强现实设备的标识发送至所述服务器,以使所述服务器将所述虚拟形象添加至目标视频帧中进行增强现实处理,并将处理后的所述目标视频帧发送至所述增强现实设备。
由于想要进行增强现实的设备可能有多个,因此向服务器发送的虚拟形象的同时,还应携带有该增强现实设备的标识,用来确定该虚拟形象来自哪一个增强现实设备。
此外,用户想要和当前播放的视频画面进行增强现实的交互时,可以向移动终端发出操作指令,该操作指令可以是双击移动终端的屏幕、长按移动终端的屏幕或触发移动终端的预设位置等,本发明在此不做限定。移动终端响应于用户的操作指令,将当前播放视频的视频帧图像和该移动终端的标识发送至服务器。
服务器中预先存储有增强现实设备标识与移动终端标识的对应关系表,即通过该对应关系表可以确定存在交互关系的增强现实设备和移动终端。服务器根据该对应关系表,来查找与接收到的虚拟形象对应的视频帧图像,将该视频帧图像确定为目标视频帧图像。然后,服务器根据将所述虚拟形象添加至目标视频帧中,对目标视频帧进行增强现实处理,将增强现实处理后的所述视频帧图像发送至所述增强现实设备中。
在通过上述对视频帧图像进行增强现实处理后,服务器将增强现实处理后的所述视频帧图像发送至所述增强现实设备。由于接收到用户的操作指令后,会不断重复上述步骤来对每帧视频帧图像进行增强现实的处理,因此佩戴该目标增强现实设备的用户即可以看到自己的虚拟形象出现在播放的视频中,完成增强现实的交互。
本发明实施例提供的AR成像方法,能够基于用户自身的意愿确定增强现实场景,同时能够生成用户对应的虚拟形象,使该虚拟形象置身于当前移动终端播放的视频中,增强用户的沉浸感和交互的趣味性。
图3为本发明实施例提供的AR成像方法流程图。如图3所示,本发明实施例提供的AR成像方法,包括:
S301,接收增强现实设备发送的虚拟形象和所述增强现实设备的标识。
具体地,虚拟形象的生成过程如图1、图2所示的实施例所述,本发明在此不做赘述。
S302,接收移动终端拍摄的视频帧图像和所述移动终端的标识。
由于想要进行增强现实的设备可能有多个,因此向服务器发送的虚拟形象的同时,还应携带有该增强现实设备的标识,用来确定该虚拟形象来自哪一个增强现实设备。
此外,用户想要和当前播放的视频画面进行增强现实的交互时,可以向移动终端发出操作指令,该操作指令可以是双击移动终端的屏幕、长按移动终端的屏幕或触发移动终端的预设位置等,本发明在此不做限定。移动终端响应于用户的操作指令,将当前播放视频的视频帧图像和该移动终端的标识发送至服务器。
S303,根据预先建立的增强现实设备的标识与所述移动终端的标识的对应关系表,确定与所述虚拟形象对应的目标视频帧图像。
服务器中预先存储有增强现实设备标识与移动终端标识的对应关系表,即通过该对应关系表可以确定存在交互关系的增强现实设备和移动终端。服务器根据该对应关系表,来查找与接收到的虚拟形象对应的视频帧图,将该视频帧图像确定为目标视频帧图像。
S304,根据所述虚拟形象对所述目标视频帧图像进行处理,并将处理后的所述目标视频帧图像发送至所述增强现实设备。
服务器将所述虚拟形象添加至目标视频帧中,对目标视频帧进行增强现实处理,将增强现实处理后的所述视频帧图像发送至所述增强现实设备中。
可选地,如图4所示,本步骤可以包括如下子步骤:
S3041,判断所述视频帧图像中是否存在与所述虚拟形象姿态或表情相近的目标对象。
具体地,用户在观看通过移动终端拍摄的视频时,可能希望把视频中的某个目标人物替换自己,从而完成与视频的增强现实交互,此时,用户会做出和该目标人物相近的动作或与该目标人物相近的表情,并给增强现实设备发出指令,增强现实设备随即相应该指令采集包括该动作或该表情的人物图像,并根据图1或图2所示实施例的方法进行虚拟形象的生成。服务器可以将虚拟形象的姿态或表情与视频帧图像中出现的人物的姿态或表情进行对比。具体的对比方式可以是计算肢体姿态的重合度或表情的重合度,也可以通过预先训练的模型,将每个视频帧图像中出现的人物和虚拟形象输入该模型中,输出两者的重合度。当视频帧图像中某个人物与虚拟形象的重合度大于预设的阈值时,则说明该人物为与虚拟形象相近的目标对象。此时,则执行步骤S3042。
进一步地,当重合度小于预设的阈值时,说明用户并没有想要替换的目标人物。此时服务器可以根据虚拟形象的表情和/或虚拟形象的姿态在视频帧图像上找到与其匹配的目标位置,例如,视频帧图像为大海,虚拟形象的表情为微笑,则可以把海边沙滩的某一处作为与该虚拟形象匹配的目标位置。然后,将该目标位置对应的像素点替换成虚拟形象的像素点,从而完成视频帧图像的增强现实的处理。
S3042,将所述目标对象替换成所述虚拟形象。
服务器可以将该目标对象对应的像素点替换成虚拟形象的像素点,从而完成视频帧图像的增强现实的处理。
在通过上述对视频帧图像进行增强现实处理后,服务器将增强现实处理后的所述视频帧图像发送至所述增强现实设备。由于接收到用户的操作指令后,会不断重复上述步骤来对每帧视频帧图像进行增强现实的处理,因此佩戴该目标增强现实设备的用户即可以看到自己的虚拟形象出现在播放的视频中,完成增强现实的交互。
本发明实施例提供的AR成像方法,能够基于用户自身的意愿确定增强现实场景,同时能够生成用户对应的虚拟形象,使该虚拟形象置身于当前移动终端播放的视频中,增强用户的沉浸感和交互的趣味性。
图5、图6为本发明实施例提供的AR成像装置结构图。如图5、图6所示,该装置具体包括:采集模块1000,确定模块2000,生成模块3000和发送模块4000。其中,
所述采集模块1000,用于采集人物图像,并标识所述人物图像中的五官特征点和肢体特征点;所述确定模块2000,用于利用预设的第一模型确定所述五官特征点对应的五官特征信息,利用预设的第二模型确定所述肢体特征点对应的肢体特征信息;所述生成模块3000,用于在虚拟形象数据库中,根据所述五官特征信息和所述肢体特征信息确定与所述人物图像匹配的虚拟形象;所述发送模块4000,用于将所述虚拟形象和所述增强现实设备的标识发送至所述服务器,以使所述服务器将所述虚拟形象添加至目标视频帧中进行增强现实处理,并将处理后的所述目标视频帧发送至所述增强现实设备;其中,所述目标视频帧来自移动终端拍摄的视频。
进一步地,所述虚拟形象库中包括多个虚拟形象的模型文件,每个虚拟形象的模型文件中包括肢体模型子文件和五官模型子文件,所述肢体模型子文件中的每个肢体模型携带有对应的肢体特征信息,所述五官模型子文件中的每个五官模型携带有对应的五官特征信息。
进一步地,所述生成模块3000包括:确定单元310,查找单元320,组合单元330。其中,
所述确定单元310,用于确定目标虚拟形象;所述查找单元320,用于在所述目标虚拟形象对应的模型文件中,根据所述五官特征信息查找匹配的目标五官模型,根据所述肢体特征信息查找匹配的目标肢体模型;所述组合单元330,用于将所述目标五官模型和所述目标肢体模型进行组合,得到与人物图像匹配的虚拟形象。
本发明实施例提供的AR成像装置具体用于执行图1、图2所示实施例提供的所述方法,其实现原理、方法和功能用途等与图1、图2所示实施例类似,在此不再赘述。
图7、图8为本发明实施例提供的AR成像装置结构图。如图7、图8所示,该装置具体包括:第一接收模块50,第二接收模块60,确定模块70和处理模块80。其中,
所述第一接收模块50,用于接收增强现实设备发送的虚拟形象和所述增强现实设备的标识;所述第二接收模块60,用于接收移动终端拍摄的视频帧图像和所述移动终端的标识;所述确定模块70,用于根据预先建立的增强现实设备的标识与所述移动终端的标识的对应关系表,确定与所述虚拟形象对应的目标视频帧图像;所述处理模块80,用于根据所述虚拟形象对所述目标视频帧图像进行处理,并将处理后的所述目标视频帧图像发送至所述增强现实设备。
进一步地,所述处理模块80包括:判断单元810和替换单元820。其中,所述判断单元810,用于判断所述视频帧图像中是否存在与所述虚拟形象姿态或表情相近的目标对象;所述替换单元820,用于存在与所述虚拟形象姿态或表情相近的目标对象时,则将所述目标对象替换成所述虚拟形象。
本发明实施例提供的AR成像装置具体用于执行图3、图4所示实施例提供的所述方法,其实现原理、方法和功能用途等与图3、图4所示实施例类似,在此不再赘述。
上述这些本发明实施例的AR成像装置可以作为其中一个软件或者硬件功能单元,独立设置在上述电子设备中,也可以作为整合在处理器中的其中一个功能模块,执行本发明实施例的AR成像方法。
图9为执行本发明方法实施例提供的AR成像方法的电子设备的硬件结构示意图。根据图9所示,该电子设备包括:
一个或多个处理器910以及存储器920,图9中以一个处理器910为例。
执行所述的AR成像方法的设备还可以包括:输入装置930和输出装置930。
处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接,图9中以通过总线连接为例。
存储器920作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的所述AR成像方法对应的程序指令/模块。处理器910通过运行存储在存储器920中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现所述AR成像方法。
存储器920可以包括存储程序区和存储数据区,其中,存储程序区可存储操作装置、至少一个功能所需要的应用程序;存储数据区可存储根据本发明实施例提供的AR成像装置的使用所创建的数据等。此外,存储器920可以包括高速随机存取存储器920,还可以包括非易失性存储器920,例如至少一个磁盘存储器920件、闪存器件、或其他非易失性固态存储器920件。在一些实施例中,存储器920可选包括相对于处理器99远程设置的存储器920,这些远程存储器920可以通过网络连接至所述AR成像装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置930可接收输入的数字或字符信息,以及产生与AR成像装置的用户设置以及功能控制有关的键信号输入。输入装置930可包括按压模组等设备。
所述一个或者多个模块存储在所述存储器920中,当被所述一个或者多个处理器910执行时,执行所述AR成像方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
本发明实施例提供了一种非暂态计算机可读存存储介质,所述计算机存储介质存储有计算机可执行指令,其中,当所述计算机可执行指令被电子设备执行时,使所述电子设备上执行上述任意方法实施例中的AR成像方法。
本发明实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,其中,当所述程序指令被电子设备执行时,使所述电子设备执行上述任意方法实施例中的AR成像方法。
在另一实施例中,为了使上述实施例所述的AR成像的方法或装置获得更高的AR成像质量,有必要令移动终端输出质量更高的视频数据,因此本实施例提供了一种具有更好防抖性能的移动终端的摄像头,通过该摄像头获取的图片或视频相比于普通摄像头更加清晰,更能满足用户的高质量需求。特别是本实施例中的摄像头获取的视频用于上述实施例中的AR成像方法或装置时,增强现实的效果更佳。
具体的,现有的移动终端摄像头(移动终端为手机或摄像机等)包括镜头1、自动聚焦音圈马达2、图像传感器3为本领域技术人员公知的现有技术,因此这里不过多描述。通常采用微型记忆合金光学防抖器是因为现有的防抖器大多由通电线圈在磁场中产生洛伦磁力驱动镜头移动,而要实现光学防抖,需要在至少两个方向上驱动镜头,这意味着需要布置多个线圈,会给整体结构的微型化带来一定挑战,而且容易受外界磁场干扰,进而影响防抖效果,一些现有技术通过温度变化实现记忆合金丝的拉伸和缩短,以此拉动自动聚焦音圈马达移动,实现镜头的抖动补偿,微型记忆合金光学防抖致动器的控制芯片可以控制驱动信号的变化来改变记忆合金丝的温度,以此控制记忆合金丝的伸长和缩短,并且根据记忆合金丝的电阻来计算致动器的位置和移动距离。当微型记忆合金光学防抖致动器上移动到指定位置后反馈记忆合金丝此时的电阻,通过比较这个电阻值与目标值的偏差,可以校正微型记忆合金光学防抖致动器上的移动偏差。但是申请人发现,由于抖动的随机性和不确定性,仅仅依靠上述技术方案的结构是无法实现在多次抖动发生的情况下能够对镜头进行精确的补偿,这是由于形状记忆合金的升温和降温均需要一定的时间,当抖动向第一方向发生时,上述技术方案可以实现镜头对第一方向抖动的补偿,但是当随之而来的第二方向的抖动发生时,由于记忆合金丝来不及在瞬间变形,因此容易造成补偿不及时,无法精准实现对多次抖动和不同方向的连续抖动的镜头抖动补偿,这导致了获取的图片质量不佳,因此需要对摄像头或摄像机结构上进行改进。
如图10所示,本实施例的所述摄像头包括镜头1、自动聚焦音圈马达2、图像传感器3以及微型记忆合金光学防抖器4,所述镜头1固装在所述自动聚焦音圈马达2上,所述图像传感器3将所述镜头1获取的图像传输至所述识别模块100,所述自动聚焦音圈马达2安装在所述微型记忆合金光学防抖器4上,所述移动终端内部处理器根据移动终端内部陀螺仪(图中未示出)检测到的镜头抖动驱动所述微型记忆合金光学防抖器4的动作,实现镜头的抖动补偿;
结合附图11所示,对所述微型记忆合金光学防抖器的改进之处介绍如下:
所述微型记忆合金光学防抖器包括活动板5和基板6,活动板5和基板6均为矩形板状件,所述自动聚焦音圈马达2安装在所述活动板5上,所述基板6的尺寸大于所述活动板5的尺寸,所述活动板5安装在所述基板6上,所述活动板5和所述基板6之间设有多个活动支撑7,所述活动支撑7具体为设置在所述基板6四个角处凹槽内的滚珠,便于活动板5在基板6上的移动,所述基板6的四周具有四个侧壁,每个所述侧壁的中部均设有一缺口8,所述缺口8处安装有微动开关9,所述微动开关9的活动件10可以在所述处理模块的指令下打开或封闭所述缺口,所述活动件10靠近所述活动板5的侧面设有沿所述活动件10宽度方向布设的条形的电触点11,所述基板6设有与所述电触点11相连接的温控电路(图中未示出),所述处理模块可以根据陀螺仪检测到的镜头抖动方向控制所述温控电路的开闭,所述活动板5的四个侧边的中部均设有形状记忆合金丝12,所述形状记忆合金丝12一端与所述活动板5固定连接,另一端与所述电触点11滑动配合,所述基板6的四周的内侧壁与所述活动板5之间均设有用于复位的弹性件13,具体的,本实施例的所述弹性件优选为微型的弹簧。
下面结合上述结构对本实施例的微型记忆合金光学防抖器的工作过程进行详细的描述:以镜头两次方向相反的抖动为例,当镜头发生向第一方向抖动时,陀螺仪将检测到的镜头抖动方向和距离反馈给所述处理器,处理器计算出需要控制可以补偿该抖动的形状记忆合金丝的伸长量,并驱动相应的温控电路对该形状记忆合金丝进行升温,该形状记忆合金丝伸长并带动活动板向可补偿第一方向抖动的方向运动,与此同时与该形状记忆合金丝相对称的另一形状记忆合金丝没有变化,但是与该另一形状记忆合金丝相连接的活动件会打开与其对应的缺口,便于所述另一形状记忆合金丝在活动板的带动下向缺口外伸出,此时,两个形状记忆合金丝附近的弹性件分别拉伸和压缩(如图12所示),当微型记忆合金光学防抖致动器上移动到指定位置后反馈该形状记忆合金丝的电阻,通过比较这个电阻值与目标值的偏差,可以校正微型记忆合金光学防抖致动器上的移动偏差;而当第二次抖动发生时,处理器首先通过与另一形状以及合金丝相抵接的活动件关闭缺口,并且打开与处于伸长状态的该形状记忆合金丝相抵接的活动件,与另一形状以及合金丝相抵接活动件的转动可以推动另一形状记忆合金丝复位,与处于伸长状态的该形状记忆合金丝相抵接的活动件的打开可以便于伸长状态的形状记忆合金丝伸出,并且在上述的两个弹性件的弹性作用下可以保证活动板迅速复位,同时处理器再次计算出需要控制可以补偿第二次抖动的形状记忆合金丝的伸长量,并驱动相应的温控电路对另一形状记忆合金丝进行升温,另一形状记忆合金丝伸长并带动活动板向可补偿第二方向抖动的方向运动,由于在先伸长的形状记忆合金丝处的缺口打开,因此不会影响另一形状以及合金丝带动活动板运动,而由于活动件的打开速度和弹簧的复位作用,因此在发生多次抖动时,本实施例的微型记忆合金光学防抖器均可做出精准的补偿,其效果远远优于现有技术中的微型记忆合金光学防抖器。
当然上述仅仅为简单的两次抖动,当发生多次抖动时,或者抖动的方向并非往复运动时,可以通过驱动两个相邻的形状记忆合金丝伸长以补偿抖动,其基础工作过程与上述描述原理相同,这里不过多赘述,另外关于形状记忆合金电阻的检测反馈、陀螺仪的检测反馈等均为现有技术,这里也不做赘述。
另一实施例中,移动终端为摄像机,所述摄像机可以安装于所述摄像机的支架上,但是申请人在使用过程中发现,现有的摄像机的支架具有以下缺陷:1、现有的摄像机支架均采用三脚架支撑,但是三脚架结构在地面不平整存在较大凹凸不平的位置进行安装时无法保证支架安装座的水平,容易发生抖动或者倾斜,对拍摄容易产生不良的影响;2、现有的支架无法作为肩抗式摄影机支架,结构和功能单一,在需要肩抗拍摄时必须单独配备肩抗式摄影机支架。
因此,申请人对支架结构进行改进,如图13和14所示,本实施例的所述支架包括安装座14、支撑轴15、三个铰装在所述支撑轴上的支撑架16;所述安装座14包括相互垂直的第一安装板141和第二安装板142,所述第一安装板141和第二安装板142均可用于安装所述摄像机,所述支撑轴15垂直安装在所述第一安装板141的底面,所述支撑轴15远离所述安装座14的底端设有径向尺寸略大于所述支撑轴的圆周面17,三个所述支撑架16由上至下安装在所述支撑轴15上,且每两个所述支撑架16展开后的水平投影呈一倾角,上述结构在进行支架的架设时,首先将圆周面17假设在凹凸不平的平面较平整的一小块区域,在通过打开并调整三个可伸缩的支撑架的位置实现支架的架设平整,因此即使是凹凸不平的地面也能迅速将支架架设平整,适应各种地形,保证安装座处于水平状态。
更有利的,本实施例的所述支撑轴15也是伸缩杆件,其包括与所述安装座14相连接的管体151和部分可收缩至所述管体151内的杆体152,所述杆体152伸入所述管体的部分包括依次铰接的第一段1521、第二段1522、第三段1523和第四段1524,所述第一段1521与所述管体151相连接,所述第一段1521靠近所述第二段1522的端部设有安装槽18,所述安装槽18内铰接有锁止件19,所述第二段1522靠近所述第一段1521的端部设有与锁止件19可拆卸配合的锁止孔20,同理,所述第二段1522靠近所述第三段1523的端部设有安装槽18,所述安装槽18内铰接有锁止件19,所述第三段1523靠近所述第二段1522的端部设有与锁止件19可拆卸配合的锁止孔20,所述第三段1523靠近所述第四段1524的端部设有安装槽18,所述安装槽18内铰接有锁止件19,所述第四段1524靠近所述第三段1523的端部设有与锁止件19可拆卸配合的锁止孔20,所述锁止件可以隐藏在安装槽内,当需要使用锁止件时可以通过转动锁止件,将锁止件扣合在所述锁止孔20上,具体的,所述锁止件19可以是具有一个凸起的条形件,该凸起与所述锁止孔20的大小尺寸相适配,将凸起压紧在锁止孔20内完整相邻两个段(例如第一段和第二段)位置的固定,防止相对转动,而通过第一段1521、第二段1522、第三段1523和第四段1524的配合可以将该部分形成一
Figure BDA0001637167050000241
形结构,并且通过锁止件19固定各个段的相对位置,还可以在该结构的底部设有软质材料,当需要将支架作为肩抗式摄像机支架时,该部分放置在用户的肩部,通过把持三个支撑架中的一个作为肩抗式支架的手持部,可以快速的实现由固定式支架到肩抗式支架的切换,十分方便。
另外,申请人还发现,可伸缩的支撑架伸大多通过人力拉出伸缩部分以实现伸缩长度的调节,但是该距离不可控制,随机性较大,因此常常出现调节不便的问题,特别是需要将伸缩长度部分微调时,往往不容易实现,因此申请人还对支撑架的16结构进行优化,结合附图15所示,本实施例的每个所述支撑架16的底端还连接有调距装置21,所述调距装置21包括安装在所述支撑架16底部的轴承圈211、与所述轴承圈211相连接的转动环212、管体213、螺杆214、螺套215及支撑杆216,所述管体213的一端设有封堵217,所述螺杆215部分通过所述封堵217安装在所述管体213内,所述封堵217设有与所述螺杆214相适配的内螺纹,所述螺杆214另一部分与所述转动环212相连接,所述螺套215一端安装在所述管体213内并与所述螺杆214螺纹连接,所述螺套215的另一端伸出所述管体213外并与所述支撑杆216固定连接,所述螺套215的内壁设有一凸起218,所述螺套215的外侧壁沿其长度方向设有与所述凸起相适配的滑道219,所述管体213包括相邻的第一部分2131和第二部分2132,所述第一部分2131的内径小于所述第二部分2132的内径,所述封堵217设置在所述第二部分2132的外端上,所述螺套215靠近所述螺杆214的端部设有外径大于所述第一部分内径的限位端2151,通过转动所述转动环212带动螺杆214在管体213内转动,并将转动趋势传递给所述螺套215,而由于螺套受凸起218和滑道219的配合影响,无法转动,因此将转动力化为向外的直线移动,进而带动支撑杆216运动,实现支撑架底端的长度微调节,便于用户架平支架及其安装座,为后续的拍摄工作提供良好的基础保障。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如,机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等,该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种AR成像方法,应用于增强现实设备,其特征在于,包括:
采集用户自身的人物图像,并标识所述人物图像中的五官特征点和肢体特征点;
利用预设的第一模型确定所述五官特征点对应的五官特征信息,利用预设的第二模型确定所述肢体特征点对应的肢体特征信息;
在虚拟形象数据库中,确定目标虚拟形象;在所述目标虚拟形象对应的模型文件中,根据所述五官特征信息查找匹配的目标五官模型,根据所述肢体特征信息查找匹配的目标肢体模型;将所述目标五官模型和所述目标肢体模型进行组合,得到与人物图像匹配的虚拟形象;
将所述虚拟形象和所述增强现实设备的标识发送至服务器,以使所述服务器将所述虚拟形象添加至目标视频帧中进行增强现实处理,并将处理后的所述目标视频帧发送至所述增强现实设备;
其中,所述目标视频帧来自移动终端拍摄的视频。
2.根据权利要求1所述的方法,其特征在于,所述虚拟形象数据库中包括多个虚拟形象的模型文件,每个虚拟形象的模型文件中包括肢体模型子文件和五官模型子文件,所述肢体模型子文件中的每个肢体模型携带有对应的肢体特征信息,所述五官模型子文件中的每个五官模型携带有对应的五官特征信息。
3.根据权利要求1或2所述的方法,其特征在于,所述五官特征信息包括五官的角度信息或五官的特征名称信息,所述肢体特征信息包括肢体的角度信息或肢体的特征名称信息。
4.一种AR成像装置,应用于增强现实设备,其特征在于,包括:
采集模块,用于采集用户自身的人物图像,并标识所述人物图像中的五官特征点和肢体特征点;
确定模块,用于利用预设的第一模型确定所述五官特征点对应的五官特征信息,利用预设的第二模型确定所述肢体特征点对应的肢体特征信息;
生成模块,用于在虚拟形象数据库中,确定目标虚拟形象;在所述目标虚拟形象对应的模型文件中,根据所述五官特征信息查找匹配的目标五官模型,根据所述肢体特征信息查找匹配的目标肢体模型;将所述目标五官模型和所述目标肢体模型进行组合,得到与人物图像匹配的虚拟形象;
发送模块,用于将所述虚拟形象和所述增强现实设备的标识发送至服务器,以使所述服务器将所述虚拟形象添加至目标视频帧中进行增强现实处理,并将处理后的所述目标视频帧发送至所述增强现实设备;
其中,所述目标视频帧来自移动终端拍摄的视频。
5.根据权利要求4所述的装置,其特征在于,所述虚拟形象库中包括多个虚拟形象的模型文件,每个虚拟形象的模型文件中包括肢体模型子文件和五官模型子文件,所述肢体模型子文件中的每个肢体模型携带有对应的肢体特征信息,所述五官模型子文件中的每个五官模型携带有对应的五官特征信息。
CN201810366133.9A 2018-04-23 2018-04-23 Ar成像方法和装置 Active CN108614638B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810366133.9A CN108614638B (zh) 2018-04-23 2018-04-23 Ar成像方法和装置
PCT/CN2018/094077 WO2019205284A1 (zh) 2018-04-23 2018-07-02 Ar成像方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810366133.9A CN108614638B (zh) 2018-04-23 2018-04-23 Ar成像方法和装置

Publications (2)

Publication Number Publication Date
CN108614638A CN108614638A (zh) 2018-10-02
CN108614638B true CN108614638B (zh) 2020-07-07

Family

ID=63660625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810366133.9A Active CN108614638B (zh) 2018-04-23 2018-04-23 Ar成像方法和装置

Country Status (2)

Country Link
CN (1) CN108614638B (zh)
WO (1) WO2019205284A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200143238A1 (en) * 2018-11-07 2020-05-07 Facebook, Inc. Detecting Augmented-Reality Targets
CN109740476B (zh) * 2018-12-25 2021-08-20 北京琳云信息科技有限责任公司 即时通讯方法、装置和服务器
CN112511815B (zh) * 2019-12-05 2022-01-21 中兴通讯股份有限公司 图像或视频生成方法及装置
CN113126746A (zh) * 2019-12-31 2021-07-16 中移(成都)信息通信科技有限公司 一种虚拟对象模型控制方法、系统及计算机可读存储介质
CN111104927B (zh) * 2019-12-31 2024-03-22 维沃移动通信有限公司 一种目标人物的信息获取方法及电子设备
CN111583355B (zh) * 2020-05-09 2024-01-23 维沃移动通信有限公司 面部形象生成方法、装置、电子设备及可读存储介质
CN111638794A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种虚拟文物的显示控制方法及装置
CN111694431A (zh) * 2020-06-09 2020-09-22 浙江商汤科技开发有限公司 一种人物形象生成的方法及装置
CN112053370A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
KR102593043B1 (ko) 2021-02-09 2023-10-24 베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품
CN113507573A (zh) * 2021-08-13 2021-10-15 维沃移动通信(杭州)有限公司 视频生成方法、视频生成装置、电子设备和可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179437A (zh) * 2013-03-15 2013-06-26 苏州跨界软件科技有限公司 虚拟人物视频录制及播放系统和方法
CN105657294A (zh) * 2016-03-09 2016-06-08 北京奇虎科技有限公司 在移动终端上呈现虚拟特效的方法及装置
CN106127167A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN106775198A (zh) * 2016-11-15 2017-05-31 捷开通讯(深圳)有限公司 一种基于混合现实技术实现陪伴的方法及装置
CN106993195A (zh) * 2017-03-24 2017-07-28 广州创幻数码科技有限公司 虚拟人物角色直播方法及系统
CN107613310A (zh) * 2017-09-08 2018-01-19 广州华多网络科技有限公司 一种直播方法、装置及电子设备
CN107728787A (zh) * 2017-10-30 2018-02-23 太平洋未来科技(深圳)有限公司 全景视频中的信息显示方法和装置
CN107749075A (zh) * 2017-10-26 2018-03-02 太平洋未来科技(深圳)有限公司 视频中虚拟对象光影效果的生成方法和装置
CN107749076A (zh) * 2017-11-01 2018-03-02 太平洋未来科技(深圳)有限公司 增强现实场景中生成现实光照的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8743244B2 (en) * 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US20140176661A1 (en) * 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
CN105608745B (zh) * 2015-12-21 2019-01-29 大连新锐天地文化科技有限公司 应用于图像或视频的ar显示系统
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
CN106803921A (zh) * 2017-03-20 2017-06-06 深圳市丰巨泰科电子有限公司 基于ar技术的即时音视频通信方法及装置
CN107248195A (zh) * 2017-05-31 2017-10-13 珠海金山网络游戏科技有限公司 一种增强现实的主播方法、装置和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179437A (zh) * 2013-03-15 2013-06-26 苏州跨界软件科技有限公司 虚拟人物视频录制及播放系统和方法
CN105657294A (zh) * 2016-03-09 2016-06-08 北京奇虎科技有限公司 在移动终端上呈现虚拟特效的方法及装置
CN106127167A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
CN106775198A (zh) * 2016-11-15 2017-05-31 捷开通讯(深圳)有限公司 一种基于混合现实技术实现陪伴的方法及装置
CN106993195A (zh) * 2017-03-24 2017-07-28 广州创幻数码科技有限公司 虚拟人物角色直播方法及系统
CN107613310A (zh) * 2017-09-08 2018-01-19 广州华多网络科技有限公司 一种直播方法、装置及电子设备
CN107749075A (zh) * 2017-10-26 2018-03-02 太平洋未来科技(深圳)有限公司 视频中虚拟对象光影效果的生成方法和装置
CN107728787A (zh) * 2017-10-30 2018-02-23 太平洋未来科技(深圳)有限公司 全景视频中的信息显示方法和装置
CN107749076A (zh) * 2017-11-01 2018-03-02 太平洋未来科技(深圳)有限公司 增强现实场景中生成现实光照的方法和装置

Also Published As

Publication number Publication date
WO2019205284A1 (zh) 2019-10-31
CN108614638A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
CN108614638B (zh) Ar成像方法和装置
CN109151340B (zh) 视频处理方法、装置及电子设备
CN108596827B (zh) 三维人脸模型生成方法、装置及电子设备
CN108377398B (zh) 基于红外的ar成像方法、系统、及电子设备
CN111698390B (zh) 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统
KR102087690B1 (ko) 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치
CN108573480B (zh) 基于图像处理的环境光补偿方法、装置及电子设备
US9838597B2 (en) Imaging device, imaging method, and program
US20160088286A1 (en) Method and system for an automatic sensing, analysis, composition and direction of a 3d space, scene, object, and equipment
CN107770452B (zh) 一种拍照方法及终端和相关介质产品
CN109271911B (zh) 基于光线的三维人脸优化方法、装置及电子设备
CN107749952B (zh) 一种基于深度学习的智能无人摄影方法和系统
US8514285B2 (en) Image processing apparatus, image processing method and program
CN109285216B (zh) 基于遮挡图像生成三维人脸图像方法、装置及电子设备
WO2019200718A1 (zh) 图像处理方法、装置及电子设备
JP2014143545A (ja) 撮影機器
CN109214351B (zh) 一种ar成像方法、装置及电子设备
US20190208124A1 (en) Methods and apparatus for overcapture storytelling
CN105960801A (zh) 增强视频会议
CN109474801B (zh) 一种交互对象的生成方法、装置及电子设备
CN109521869B (zh) 一种信息交互方法、装置及电子设备
CN107623796B (zh) 拍照方法、装置及系统
CN109447924B (zh) 一种图片合成方法、装置及电子设备
CN107250895A (zh) 头戴式显示设备及其摄像头的调节方法
WO2022226745A1 (zh) 拍摄方法、控制装置、拍摄设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant