CN113507575B - 一种人体自拍镜头生成方法及系统 - Google Patents

一种人体自拍镜头生成方法及系统 Download PDF

Info

Publication number
CN113507575B
CN113507575B CN202111047333.6A CN202111047333A CN113507575B CN 113507575 B CN113507575 B CN 113507575B CN 202111047333 A CN202111047333 A CN 202111047333A CN 113507575 B CN113507575 B CN 113507575B
Authority
CN
China
Prior art keywords
human body
picture
lens
user side
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111047333.6A
Other languages
English (en)
Other versions
CN113507575A (zh
Inventor
袁炜
沈辉
孙宏熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Intelligence Visual Electronics Co ltd
Original Assignee
Shanghai Intelligence Visual Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Intelligence Visual Electronics Co ltd filed Critical Shanghai Intelligence Visual Electronics Co ltd
Priority to CN202111047333.6A priority Critical patent/CN113507575B/zh
Publication of CN113507575A publication Critical patent/CN113507575A/zh
Application granted granted Critical
Publication of CN113507575B publication Critical patent/CN113507575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种人体自拍镜头生成方法及系统,方法包括:获取目标影像及镜头参数集;所述目标影像包括视频或图像;所述镜头参数集包括镜头位移参考点B和人体景别参数Hm;获取用户端画面及实际人体景别参数Hn,计算人体缩放比例S=Hm/Hn;获取镜头位移参数E;对用户端画面中的实际人体和所述目标影像的画面进行镜头合成处理,所述镜头合成处理包括:基于人体缩放比例S和镜头位移参数E,对用户端画面或用户端画面中的实际人体进行缩放、移动,将用户端画面中的实际人体覆盖至所述目标影像的画面中。本发明实现了自动的将用户端画面中的人体覆盖到目标影像中,让虚拟背景和拍摄的人体实现符合情节需要的良好融合。

Description

一种人体自拍镜头生成方法及系统
技术领域
本发明属于电子自拍技术领域,尤其涉及一种人体自拍镜头生成方法及系统。
背景技术
在日常生活中,自拍和拍照是非常普遍的行为,让虚拟背景和拍摄的自拍人体实现符合情节需要的良好融合,一直是拍照中的难点所在。目前,将拍摄到的人体放置在背景图像中并达到良好的融合效果,主要还是依靠人工修图实现,工作量较大,缺乏自动化的实现方式,普通用户较难实现。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种人体自拍镜头生成方法及系统,基于目标影像及镜头参数集和用户端画面中的实际人体,计算出人体缩放比例S和镜头位移参数E,自动的将用户端画面中的实际人体覆盖到目标影像中,让虚拟背景和拍摄的人体实现符合情节需要的良好融合。
本发明第一方面公开了一种人体自拍镜头生成方法,包括以下步骤:
获取目标影像及镜头参数集;所述目标影像包括视频或图像;所述镜头参数集包括镜头位移参考点B和人体景别参数Hm;所述人体景别参数Hm为人体景别参考点C之间的相对位置距离,Hm>0;所述镜头位移参考点B 和人体景别参考点C均是目标影像的画面中的目标人体对应的人体特征点;
获取用户端画面及实际人体景别参数Hn,所述实际人体景别参数Hn为人体景别参考点C’之间的相对位置距离,所述人体景别参考点C’为用户端画面中与人体景别参考点C对应的人体特征点;
计算人体缩放比例S=Hm/Hn;
获取镜头位移参数E,所述镜头位移参数E指镜头位移参考点B和镜头位移参考点B’之间的相对位置参数,所述镜头位移参考点B’为用户端画面中与镜头位移参考点B对应的人体特征点;
对用户端画面中的实际人体和所述目标影像的画面进行镜头合成处理,所述镜头合成处理包括:基于人体缩放比例S和镜头位移参数E,对用户端画面或用户端画面中的实际人体进行缩放、移动,将用户端画面中的实际人体覆盖至所述目标影像的画面中。
上述人体自拍镜头生成方法,“所述镜头位移参数E是基于镜头位移参考点B的水平位置和高度位置,与镜头位移参考点B’的水平位置和高度位置取得;或,所述镜头位移参数E是基于镜头位移参考点B的水平位置与镜头位移参考点B’的水平位置取得;或,所述镜头位移参数E是基于镜头位移参考点B的高度位置与镜头位移参考点B’的高度位置取得;”,“所述Hm是基于人体景别参考点C之间的高度位置差异取得;或,所述Hm是基于人体景别参考点C之间的水平位置差异取得;或,所述Hm是基于人体景别参考点C之间的水平位置差异和高度位置差异取得;”,“所述Hn是基于人体景别参考点C’之间的高度位置差异取得;或,所述Hn是基于人体景别参考点C’之间的水平位置差异取得;或,所述Hn是基于所述人体景别参考点C’之间的水平位置差异和高度位置差异取得”。
上述人体自拍镜头生成方法,设显示在目标影像的画面中的目标人体部份的底端所处的水平线为人体镜头衔接线D;一个所述人体景别参考点C为人体镜头衔接线D上一点,一个所述人体景别参考点C不为人体镜头衔接线D上一点,且其中一个所述人体景别参考点C与镜头位移参考点B的高度位置相同。
上述人体自拍镜头生成方法,所述镜头合成处理还包括:如果用户端画面中的实际人体的底端线在所述缩放、移动后低于人体镜头衔接线D,则基于人体镜头衔接线D生成用户端画面中的实际人体可显示在目标影像的画面中的底端线。
上述人体自拍镜头生成方法,所述镜头位移参考点B’或人体景别参考点C’,通过以下步骤取得:
步骤1:获取镜头位移参考点B或人体景别参考点C与目标人体对应的人体特征点之间的相对关系K;
步骤2:获取实际人体对应的人体特征点;
步骤3:基于相对关系K和实际人体对应的人体特征点,获取镜头位移参考点B’或人体景别参考点C’。
上述人体自拍镜头生成方法,获取的用户端画面为多帧,所述人体缩放比例S基于一帧用户端画面计算得到,所述镜头位移参数E基于一帧用户端画面计算得到;多帧用户端画面构成用户端视频,对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频。
上述人体自拍镜头生成方法,所述目标影像为镜头段落,所述镜头段落为由摄像机连续拍摄的画面构成的视频;所述“对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频”包括:以镜头段落的自拍预览起始画面为镜头段落当前画面,以用户端自拍起始画面为用户端当前画面;循环执行以下步骤形成预览播放视频:基于用户端当前画面和镜头段落当前画面执行所述镜头合成处理,形成预览播放视频的画面;以读取的镜头段落的下一画面作为镜头段落当前画面,以读取的用户端视频的下一画面作为用户端当前画面。
上述人体自拍镜头生成方法,所述形成预览播放视频,还包括:当镜头段落当前画面包含人体显示标志时,基于用户端当前画面和镜头段落当前画面执行所述镜头合成处理,形成预览播放视频的画面;当镜头段落当前画面未包含人体显示标志时,将镜头段落当前画面作为预览播放视频的画面。
上述人体自拍镜头生成方法,还包括读取自拍起始指令,所述自拍起始指令包括定格拍照片指令和/或动态拍电影指令,当读取到的自拍起始指令为定格拍照片指令则将基于当前帧用户端画面得到的实际人体覆盖至所述目标影像对应的全部或部分画面中并存储覆盖后的画面;当读取到的自拍起始指令为动态拍电影指令则存储当前预览播放视频的画面之后的多帧预览播放视频的对应画面。
上述人体自拍镜头生成方法,将用户端画面中的实际人体覆盖至所述目标影像的画面中包括:将用户端画面中的实际人体根据人体倾斜参数旋转后覆盖至所述目标影像的画面中。
上述人体自拍镜头生成方法,将用户端画面中的实际人体覆盖至所述目标影像的画面中包括:将根据运动参数调整后的用户端画面中的实际人体覆盖至所述目标影像的画面中。
上述人体自拍镜头生成方法,所述镜头合成处理包括:在所述目标影像的画面中动态生成显示内容。
本发明第二方面还公开了一种人体自拍镜头生成系统,包括:影像处理模块、信息采集模块、视野换算模块和镜头合成模块;
影像处理模块,用于获取目标影像及镜头参数集;所述目标影像包括视频或图像;所述镜头参数集包括镜头位移参考点B和人体景别参数Hm;所述人体景别参数Hm为人体景别参考点C之间的相对位置距离,Hm>0;所述镜头位移参考点B 和人体景别参考点C均是目标影像的画面中的目标人体对应的人体特征点;
信息采集模块,用于获取用户端画面及实际人体景别参数Hn,所述实际人体景别参数Hn为人体景别参考点C’之间的相对位置距离,所述人体景别参考点C’为用户端画面中与人体景别参考点C对应的人体特征点;
视野换算模块,用于计算人体缩放比例S=Hm/Hn和获取镜头位移参数E,所述镜头位移参数E指镜头位移参考点B和镜头位移参考点B’之间的相对位置参数,所述镜头位移参考点B’为用户端画面中与镜头位移参考点B对应的人体特征点;
镜头合成模块,用于对用户端画面中的实际人体和所述目标影像的画面进行镜头合成处理,所述镜头合成处理包括:基于人体缩放比例S和镜头位移参数E,对用户端画面或用户端画面中的实际人体进行缩放、移动,将用户端画面中的实际人体覆盖至所述目标影像的画面中。
上述人体自拍镜头生成系统,所述信息采集模块获取的用户端画面为多帧,所述人体缩放比例S基于一帧用户端画面计算得到,所述镜头位移参数E基于一帧用户端画面计算得到;多帧用户端画面构成用户端视频,所述镜头合成模块对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频。
上述人体自拍镜头生成系统,所述目标影像为镜头段落,所述镜头段落为由摄像机连续拍摄的画面构成的视频;所述“对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频”包括:以镜头段落的自拍预览起始画面为镜头段落当前画面,以用户端自拍起始画面为用户端当前画面;循环执行以下步骤形成预览播放视频:基于用户端当前画面和镜头段落当前画面执行所述镜头合成处理,形成预览播放视频的画面;以读取的镜头段落的下一画面作为镜头段落当前画面,以读取的用户端视频的下一画面作为用户端当前画面。
上述人体自拍镜头生成系统,还包括拍照模块,所述拍照模块用于读取自拍起始指令,所述自拍起始指令包括定格拍照片指令和/或动态拍电影指令,当读取到的自拍起始指令为定格拍照片指令则将基于当前帧用户端画面得到的实际人体覆盖至所述目标影像对应的全部或部分画面中并存储覆盖后的画面;当读取到的自拍起始指令为动态拍电影指令则存储当前预览播放视频的画面之后的多帧预览播放视频的对应画面。
本发明与现有技术相比具有以下优点:实现了自动的将自拍得到的用户端画面中的实际人体覆盖到目标影像中,让虚拟背景和拍摄的实际人体实现符合情节需要的良好融合,提升了自拍效果和效率,且应用场景广泛,自拍者还可以进一步在电视等大屏上观察到自身影像和虚拟背景融合后的效果并据此调整自身姿态以进一步降低自拍难度。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明实施例1的方法流程图。
图2为本发明实施例2的系统模块框图。
图3为本发明全身人体镜头合成的示例图。
图4为本发明第一种半身人体镜头合成的示例图。
图5为本发明第二种半身人体镜头合成的示例图。
图6为本发明实际人体显示在目标影像画面中底端线的示例图。
图7为本发明用户端视频中多帧用户端画面的示例图。
图8为本发明预览播放视频合成的示例图。
具体实施方式
实施例1。
如图1和图3所示,一种人体自拍镜头生成方法,包括以下步骤:
步骤1、获取目标影像及镜头参数集;所述目标影像包括视频或图像;所述镜头参数集包括镜头位移参考点B和人体景别参数Hm;所述人体景别参数Hm为人体景别参考点C之间的相对位置距离,Hm>0;所述镜头位移参考点B和人体景别参考点C均是目标影像的画面中的目标人体对应的人体特征点。
需要说明的是,镜头位移参考点B和人体景别参考点C可以是目标人体上直接取得的人体特征点如头顶点等,也可以是基于目标人体换算得到的特征点;如图3中所示,镜头位移参考点B和一个人体景别参考点C均是头顶点,另一个人体景别参考点C为脚底点。
步骤2、获取用户端画面及实际人体景别参数Hn;所述实际人体景别参数Hn为人体景别参考点C’之间的相对位置距离,所述人体景别参考点C’为用户端画面中与人体景别参考点C对应的人体特征点。
步骤3、计算人体缩放比例S=Hm/Hn和获取镜头位移参数E;所述镜头位移参数E指镜头位移参考点B和镜头位移参考点B’之间的相对位置参数,所述镜头位移参考点B’为用户端画面中与镜头位移参考点B对应的人体特征点。
需要说明的是,本实施例中镜头位移参考点B’和人体景别参考点C’分别与镜头位移参考点B和人体景别参考点C对应,是指基于相同特征选取方法分别在目标影像画面和用户端画面中取得的点,比如镜头位移参考点B和人体景别参考点C分别是目标人体中的头顶点和膝关节点,那么镜头位移参考点B’和人体景别参考点C’就分别是实际人体中识别出来的头顶点和膝关节点。
步骤4、对用户端画面中的实际人体和所述目标影像的画面进行镜头合成处理,所述镜头合成处理包括:基于人体缩放比例S和镜头位移参数E,对用户端画面或用户端画面中的实际人体进行缩放、移动,将用户端画面中的实际人体覆盖至所述目标影像的画面中。
需要说明的是,此处的移动、缩放和覆盖操作,前后顺序可以调整;另外,本实施例中,将用户端画面中的实际人体覆盖至所述目标影像的画面中,是将用户端画面中的实际人体提取后覆盖至所述目标影像的画面中;需要说明的是,上述对用户端画面或用户端画面中的人体的缩放、移动、覆盖操作既可以基于用户端数据直接计算所得,也可以通过对摄像装置的摄像参数等调整所得如数字变焦、光学变焦等,还可以是上述方式结合后计算所得等多种方式。
需要说明的是,用于计算人体缩放比例S的用户端画面、用于计算镜头位移参数E的用户端画面、用于进行镜头合成处理的用户端画面可以相同,也可以不相同。
需要说明的是,镜头位移参数E及人体缩放比例S可以是多个,如可以将用户端画面中的实际人体在目标影像的画面中不同位置进行覆盖,或者将用户端画面中的实际人体以不同大小覆盖在目标影像的画面中,以获得更具趣味性的自拍结果等。
需要说明的是,所得人体缩放比例S、镜头位移参数E可以根据经验值进行一定的调整,以获得更好的人体显示效果;所述镜头参数集可以预先基于目标影像画面中的目标人体进行标注,然后在自拍时将画面中的目标人体抹除或遮挡,也可以直接对目标影像进行标注,此时目标人体只是为了表述方便的一个虚拟概念。需要说明的是,所述用户端画面中的实际人体可以是用户端画面中的人体的全部或部份。
通过采用上述技术方案,其取得如下技术效果:
目标影像中需要表现的人体情节如“远近”是通过人体在目标影像画面(如电影画面)中的大小及高度、位置等要素来体现的,它依靠摄影师针对特定的演员进行特定拍摄或者基于目标影像画面进行特定构思所产生,俗称“目标人体”或“样板人体”;
而傻瓜式自拍系统面临众多使用者及拍摄环境,所拍摄的自拍人体会和所述目标人体存在明显差异,如人体高度、人体各部份比例、人体位置等,同时,自拍人体离摄像机的远近以及摄像装置的差异等也会进一步造成拍摄所得人体的大小等差异,导致无法准确地表达镜头情节;
通过获取目标影像及镜头参数集,将用户端画面中的自拍人体以合适的人体缩放比例、镜头位移参数缩放并叠加到目标影像的合适位置,使出现在目标影像中的自拍人体部位和目标人体对应部位的大小基本吻合,出现在目标影像中的自拍人体位置和目标人体对应位置基本一致,可以大大降低自拍的难度,否则,靠使用者在五花八门的拍摄环境中自行调整位置如距离摄像装置的远近、在目标影像画面中的位置等,要想达到上述效果,是非常困难的。
通过人体景别参考点C的相对位置距离和对应的用户端画面中的人体景别参考点C’的相对位置距离的比值来求得人体缩放比例,目的是让自拍人体特定部位出现在目标影像画面中的大小和目标影像画面中根据情节设计的目标人体对应部位的大小基本一样,这样可以让自拍人体覆盖至目标影像的画面中后和周围背景相适配,不会产生很突兀的感觉;
譬如当选取目标人体头顶点和目标人体显示在目标影像画面中的最低点作为人体景别参考点C时,可以实现显示在目标影像画面中的自拍人体的大小和对应目标人体在目标影像中的大小基本一样,以符合目标影像的情节需要。
而如当画面中有某个特写镜头,比如人的脸部边上有一朵比较大的花,它们占了屏幕的较大比例,为了烘托气氛,人脸需要和花的大小基本一样,此时可以选取头顶关键点和下巴关键点作为人体景别参考点C并求得其相对位置距离进而计算出相应的人体缩放比例S,以符合目标影像的另一种情节需要。
需要说明的是,所述人体景别参考点C之间的相对位置距离,可以采用人体特征点之间的相对高度位置距离计算,或人体特征点之间的相对水平距离计算,或人体特征点之间的相对直线距离计算,例如人体特征点之间对应线段的长度,或人体特征点之间基于人体图像/目标影像的画面/用户端画面形成的相对位置距离计算,如人体特征点之间对应人体轮廓线的长度等方式,本领域技术人员应该清楚:还有其它类似的相对位置距离获取方法,目的是让自拍人体对应部位显示在目标影像画面中的大小和目标人体对应部位的大小基本一样。
通过镜头位移参考点B和镜头位移参考点B’之间的相对位置参数来获取镜头位移参数E,所述镜头位移参考点B’为用户端画面中与镜头位移参考点B对应的人体特征点,这样可以将用户端画面中的自拍人体叠加到目标影像画面的合适位置,使出现在目标影像画面中的自拍人体位置和目标人体对应位置基本一致。譬如可以通过将用户端画面和目标影像的画面放置在同一坐标系下来求得镜头位移参数E。
所述人体特征点为通过图像识别可取得的人体部位对应特征点,包括通过图像识别可取得的人体部位对应特征点或基于所述人体部位对应特征点与“其他人体部位对应特征点”/“人体图像上的点或线”/“目标影像的画面上的点或线”/“用户端画面上的点或线”的相对位置关系换算所得的特征点等。
通过图像识别取得人体部位对应特征点为本领域常用技术,如可以通过基于深度学习等方式实现的人体识别软件获取用户端画面中的人体部位对应特征点,也可以通过基于深度学习等方式实现的人体识别软件获取人体图像再通过图像分析获取人体部位对应特征点,还可以通过设置标记线或标记物来获取人体部位对应特征点,譬如在显示屏幕上设置标记线、提示用户基于自身感知让人体部位对应特征点如头顶点/人体垂直中线和对应的标记线重合以获取人体部位对应特征点或者在自拍人体特定部位标记特定标记物再通过图像分析来获取人体部位对应特征点等。
人体景别参考点C和镜头位移参考点B可以重叠,也可以不重叠,如头顶点可以同时作为人体景别参考点C和镜头位移参考点B。
镜头位移参考点B可以是多个或一个;如可以选择头顶点作为镜头位移参考点B以让人的头顶点一开始就出现在画面的合适位置;也可以选择喉节点作为镜头位移参考点B以减少因为使用者头部晃动所带来的镜头位移参数E的偏差;还可以同时选择头顶点和喉节点作为镜头位移参考点B,譬如可以两者之间的某个相对位置作为计算镜头位移参数E的依据,以根据目标影像情节需要提高镜头位移参数E的准确性,此时前述某个相对位置实际上是基于多个镜头位移参考点B或人体特征点换算所得的镜头位移参考点B,此处一般技术人员应该知道还有其它基于多个点的相对位置计算方法。
人体景别参考点C可以是两个或更多个,如可以通过头顶点和下巴点的高度差来求得人体缩放比例S,再如可以通过头顶点、基于头顶点与人体图像/用户端画面/目标影像的画面等的相对位置关系获取的另外一个人体特征点的高度差来求得人体缩放比例S;
举例来说,根据现代解剖学理论,人体各节段区域如头(头部顶端到底端)、肩胸(头部底端到胸部)、胸腰(胸部到腰部)等各区域长度会和人体身长之间保持一个相对恒定的比例,通过头顶点以及头部节段区域长度和人体身长之间的相对恒定比例,就能计算出头部节段区域的最高点和最低点,再进而基于所述和人体身长保持相对恒定比例的节段区域长度来计算人体缩放比例S,可以在一定程度上解决由于自拍人体各部位比例和目标人体各部位比例不一致所带来的显示在目标影像画面中的自拍人体底端部位和目标影像画面中的目标人体底端部位不一致的问题。
当然还可以选择更多个人体特征点作为人体景别参考点C,譬如选择下巴点、喉节点之间的某个相对位置,再通过所述某个相对位置和头顶点之间的高度差来求得人体缩放比例,以更好地满足目标影像情节的各种需要,此时前述某个相对位置实际上是基于多个人体景别参考点C或人体特征点换算所得的人体景别参考点C,此处一般技术人员应该知道还有其它基于多个点的相对位置计算方法。
需要说明的是,当全身人体都显示在目标影像画面中并选取人体最高点和最低点作为人体景别参考点C,再通过两者之间的相对距离来确定人体缩放比例S,此处也可以表述为出现在目标影像画面中的人体的高度,再譬如当通过头顶点和下巴点的高度差来求得人体缩放比例S时,此处也可以表述为出现在目标影像画面中的人脸长度。
需要说明的是,所述用户端画面可以是用户端视频中的一帧画面,也可以是单独的一帧用户端图像如照片。
本实施例中,“所述镜头位移参数E是基于镜头位移参考点B的水平位置和高度位置,与镜头位移参考点B’的水平位置和高度位置取得,即镜头位移参考点B和镜头位移参考点B’之间的直线距离为镜头位移参数E;或,所述镜头位移参数E是基于镜头位移参考点B的水平位置与镜头位移参考点B’的水平位置取得,即镜头位移参考点B和镜头位移参考点B’之间的水平位置差为镜头位移参数E;或,所述镜头位移参数E是基于镜头位移参考点B的高度位置与镜头位移参考点B’的高度位置取得,即镜头位移参考点B和镜头位移参考点B’之间的高度位置差为镜头位移参数E;”“所述Hm是基于人体景别参考点C之间的高度位置差异取得;或,所述Hm是基于人体景别参考点C之间的水平位置差异取得;或,所述Hm是基于人体景别参考点C之间的水平位置差异和高度位置差异取得;”,“所述Hn是基于人体景别参考点C’之间的高度位置差异取得;或,所述Hn是基于人体景别参考点C’之间的水平位置差异取得;或,所述Hn是基于所述人体景别参考点C’之间的水平位置差异和高度位置差异取得”。
需要说明的是,本实施例中,镜头位移参考点B’、人体景别参考点C’、镜头位移参考点B和人体景别参考点C的位置,是通过将用户端画面和目标影像的画面放置在同一坐标系下取得的。另外,所述用户端画面是通过拍摄装置拍摄取得,如通过手机、摄像机等设备对实际人体进行拍摄得到。
通过采用上述技术方案,其取得如下技术效果:
通过使用人体特征点不同的位置参数计算人体缩放比例S和镜头位移参数E来适应不同的自拍场景并尽量提高便捷性。
举例来说:人体景别参考点C可以仅知道其在画面中的绝对高度位置,再通过绝对高度位置差获取不同人体景别参考点C之间的相对位置距离,也可通过绝对水平位置差获取不同人体景别参考点C之间的相对位置距离,还可以通过人体景别参考点C的水平位置和高度位置,获取不同人体景别参考点C之间的直线距离为相对位置距离,均可以实现需要的效果。
举例来说:镜头位移参数E基于镜头位移参考点B的水平位置和高度位置计算时,可以让自拍者影像显示在目标影像画面中更加精确的水平位置和高度位置,以满足自拍的情节需要如拍电影或拍照片;而当镜头位移参数E仅基于镜头位移参考点B的高度位置计算时,可以让自拍者影像显示在目标影像画面中合适的高度位置上,此时自拍者影像显示在目标影像画面中的水平位置也可以对应于用户端数据中自拍者人体的水平位置如用户端数据水平中央附近,可以让使用者正对屏幕中的自身影像以满足另一类自拍的情节需要,如自拍类游戏健身等。
需要说明的是,在实操中,人体特征点的位置还可以有更多种方式获得,如基于人体特征点在目标影像的画面或用户端图像或人体图像中的相对位置或以上方式的组合取得等。此外在实际中,在取得人体景别参考点C之间位置差异后,还可以根据经验值加一个变量或减一个变量后作为Hm,同样的,在取得人体景别参考点C’之间位置差异后,还可以根据经验值加一个变量或减一个变量后作为Hn。
如图4所示,本实施例中,设显示在目标影像的画面中的目标人体部份的底端所处的水平线为人体镜头衔接线D;相对位置距离为Hm的两个所述人体景别参考点C,其中一个所述人体景别参考点C为人体镜头衔接线D上一点;另一个所述人体景别参考点C和镜头位移参考点B的高度位置相同,且不为人体镜头衔接线D上一点。
通过这样做,可以在经过前述缩放、移动后,使显示在目标影像画面中人体镜头衔接线D以上的实际人体部份和显示在目标影像画面中人体镜头衔接线以上的目标人体部份相适配,以更好地满足目标影像的情节需要。如图5所示,本发明另一个实施例中,相对位置距离为Hm的两个所述人体景别参考点C,其中一个所述人体景别参考点C不为人体镜头衔接线D上一点;另一个所述人体景别参考点C和镜头位移参考点B的高度位置相同,且为人体镜头衔接线D上一点。
通过这样做,也可以在经过前述缩放、移动后,使显示在目标影像画面中人体镜头衔接线D以上的实际人体部份和显示在目标影像画面中人体镜头衔接线以上的目标人体部份相适配,以更好地满足目标影像的情节需要。
通过采用上述技术方案,其取得如下技术效果:
经过镜头合成处理后,显示在目标影像画面中人体镜头衔接线D处的实际人体部位和显示在目标影像画面中人体镜头衔接线D处的目标人体部位比较接近,显示在目标影像画面中人体镜头衔接线D以上的实际人体部份和显示在目标影像画面中人体镜头衔接线以上的目标人体部份比较接近,譬如当目标人体是膝部向上的局部人体时,显示在目标影像画面中人体镜头衔接线D以上的实际人体部份也会从膝部开始,以更加精确地满足目标影像的情节需要。
举例来说,当不在人体镜头衔接线D上的人体景别参考点C和镜头位移参考点B的高度位置相同时,譬如头顶点为镜头位移参考点B和人体景别参考点C1,膝关节点为人体景别参考点C2且人体镜头衔接线D穿过膝关节点,基于两个人体景别参考点C之间和对应的两个人体景别参考点C’之间的同一相对位置距离譬如高度位置距离求得人体缩放比例S,基于镜头位移参考点B与对应的镜头位移参考点B’的相对位置参数求得镜头位移参数E,这样可以确保实际人体的膝关节点在经过镜头合成处理后显示在目标影像画面中的人体镜头衔接线D处,同时实际人体的头顶点显示在所述目标影像画面中的目标人体头顶点处,以和目标影像的情节保持一致。所述同一相对位置距离指采用相同位置距离计算方法计算得到的距离。此处一般技术人员应该清楚:还有其它类似的相对位置距离获取方法,目的是为了确保对应于人体景别参考点C2的人体景别参考点C’所处水平线在经过前述缩放、移动后和人体镜头衔接线D重合。再例如,当在人体镜头衔接线D上的人体景别参考点C和镜头位移参考点B的高度位置相同时,譬如膝关节点为人体景别参考点C2和镜头位移参考点B,且人体镜头衔接线D穿过膝关节点,而头顶点为人体景别参考点C1,基于两个人体景别参考点C之间和对应的两个人体景别参考点C’之间的同一相对位置距离,譬如高度位置距离求得人体缩放比例S,基于镜头位移参考点B与对应的镜头位移参考点B’的相对位置参数求得镜头位移参数E,这样也可以确保实际人体的膝关节点在经过镜头合成处理后显示在目标影像画面中的人体镜头衔接线处,同时实际人体的头顶点显示在所述目标影像画面中的目标人体头顶点处,以和目标影像的情节保持一致。
需要说明的是,在上述2个例子中,即使是基于两个人体景别参考点C之间和对应的两个人体景别参考点C’之间的非同一相对位置来计算人体缩放比例S,也是可以进行镜头合成处理的,只是显示在目标影像画面中人体镜头衔接线以上的实际人体部份和显示在目标影像画面中人体镜头衔接线以上的目标人体部份会有偏差,此外,由于实操时用户端画面中的实际人体姿势可能多种多样(譬如实际人体保持倾斜的姿态,而目标人体是站正的),因此,也可以根据具体情况来选取合适的相对位置关系,以实现最合适的合成效果。
如图6所示,本实施例中,所述镜头合成处理还包括:如果用户端画面中的实际人体的底端线在所述缩放、移动后低于人体镜头衔接线D,则基于人体镜头衔接线D生成用户端画面中的实际人体可显示在目标影像的画面中的底端线。
通过采用上述技术方案,其取得如下技术效果:
实际人体覆盖至目标影像的画面中后其底端可显示位置和人体镜头衔接线D相对应,以更好地适配目标影像的画面。譬如当样板人体是局部人体、实际人体是全身人体时,实际人体覆盖至目标影像的画面中后低于人体镜头衔接线D的部份不显示。
具体来说:如果用户端画面中的实际人体的底端线经过前述缩放、移动后低于人体镜头衔接线D时,则基于人体镜头衔接线D对用户端画面或用户端画面中的实际人体进行截取或遮挡,以使实际人体覆盖至目标影像的画面中后其底端可显示位置和人体镜头衔接线D相对应。需要说明的是,所述缩放、移动、覆盖、“截取或遮挡”操作的先后次序可以调整,譬如可以先基于人体镜头衔接线D对用户端画面进行截取再获取实际人体,也可以先基于用户端画面获取实际人体后再对实际人体进行截取,还可以把实际人体覆盖到目标影像的画面中后再基于人体镜头衔接线D对实际人体进行遮挡或截取,等等。
需要进一步说明的是,实操时目标影像画面中的目标人体底端可能会和道具衔接,人体道具衔接线可能是不规则线如曲线或者非水平直线等,此时可以进一步基于人体道具衔接线对用户端画面或用户端画面中的实际人体进行截取或遮挡,以达到更加理想的效果。
需要说明的是,实操时还可以设显示在目标影像的画面中的目标人体部份的左侧边缘部位或右侧边缘部位所处的垂直线为人体镜头衔接线L,并基于人体镜头衔接线L生成用户端画面中的实际人体可显示在目标影像的画面中的左侧边缘线或右侧边缘线。
本实施例中,所述镜头位移参考点B’或人体景别参考点C’,通过以下步骤取得:
步骤1:获取镜头位移参考点B或人体景别参考点C与目标人体对应的人体特征点之间的相对关系K;
步骤2:获取实际人体对应的人体特征点;
步骤3:基于相对关系K和实际人体对应的人体特征点,获取镜头位移参考点B’或人体景别参考点C’。
通过采用上述技术方案,其取得如下技术效果:
由于目标影像情节各种各样,在标记镜头参数集时经常会基于目标影像情节来标记相应的参考点譬如标记和人体镜头衔接线D重叠的镜头位移参考点B或人体景别参考点C,这样可能会导致镜头位移参考点B或人体景别参考点C不一定是可以直接识别出的人体特征点,所以根据镜头位移参考点B/人体景别参考点C和其他易于识别的目标人体对应的人体特征点的相对关系K,先获取用户端画面中和所述“其他易于识别的目标人体对应的人体特征点”相对应的易于识别的实际人体对应的人体特征点,再基于相对关系K获取镜头位移参考点B’或人体景别参考点C’,这样可以满足目标影像的各种情节需要,精确度更高。
举例来说,假设人体镜头衔接线D穿过髋部和膝盖之间的某个位置,镜头位移参考点B或人体景别参考点C为人体镜头衔接线D上的一点,此时可以通过镜头位移参考点B或人体景别参考点C在髋部特征点和膝部特征点之间的相对位置来确定对应的镜头位移参考点B’或人体景别参考点C’。
需要说明的是,用于获取镜头位移参考点B或人体景别参考点C的人体特征点可以是一个或多个,譬如当镜头位移参考点B或人体景别参考点C本身就是易于识别的人体特征点时,可以只有一个人体特征点,再如可以通过镜头位移参考点B或人体景别参考点C与其他人体特征点(如头顶点)之间的相对距离和人体身长/人体特定部位长度/用户端画面高度/目标影像画面高度的比值等方式来确定对应的镜头位移参考点B’或人体景别参考点C’,此时也可以只有一个其他人体特征点,等等,当然还可以选择更多个其他人体特征点作为计算的依据。
需要进一步说明的是,由于用户端实际摄像环境的差异如摄像装置摆放位置高低及摄像装置焦距参数设置差异等,在某些情况下基于目标人体标记的人体特征点在用户端画面中获取不到(譬如当用户端画面中只有局部人体时),为此可以进一步采用以下方式来避免出现此种情况:基于目标人体标记人体特征点1,确保其对应的实际人体特征点1肯定可以在用户端画面中获取到如人体上方的头顶点,再基于(所述人体特征点1和人体镜头衔接线D的相对位置关系)或者(位于人体镜头衔接线D上的人体特征点2)来获取相应的镜头位移参考点B或人体景别参考点C,并进而获取镜头位移参考点B’、人体景别参考点C’。
举例来说,所述人体特征点1为头顶点,将其作为人体景别参考点C1和镜头位移参考点B,再标记一个在人体镜头衔接线D上、并和人体特征点1具备相对位置关系K的人体特征点2(譬如人体特征点1和人体特征点2之间的连线垂直于人体镜头衔接线D),将其作为人体景别参考点C2,在“获取镜头位移参考点B’和人体景别参考点C’”的过程中,先获取所述实际人体特征点1,将其作为人体景别参考点C’1和镜头位移参考点B’,再基于所述实际人体特征点1和相对位置关系K,获取实际人体特征点2,将其作为人体景别参考点C’2,所述实际人体特征点2可以在用户端画面底端线上,也可以根据经验值向上进行一定的调整,所述相对位置关系K指两点之间的直线与水平线具备特定的夹角锐角如和水平线垂直,此处一般技术人员应该清楚:还有其它类似的相对位置关系获取方法,目的是为了确保所述实际人体特征点2在经过前述缩放、移动后在人体镜头衔接线D上。
再例如,所述人体特征点1为头顶点,将其作为人体景别参考点C1,再获取位于人体镜头衔接线D上的人体特征点2(如目标人体的垂直中线和人体镜头衔接线D的交点),将其作为人体景别参考点C2和镜头位移参考点B,在“获取镜头位移参考点B’和人体景别参考点C’”的过程中,获取所述实际人体特征点1,将其作为人体景别参考点C’1,并获取对应于人体特征点2的实际人体特征点2(如实际人体的垂直中线和用户端画面底端线的交点,可以根据经验值向上进行一定的调整),将其作为人体景别参考点C’2和和镜头位移参考点B’。
以上2个例子均可以实现所述人体特征点1(如目标人体头顶点)和对应的实际人体特征点1(如实际人体头顶点) 在经过镜头合成处理后位置重合,同时,用户端画面底端线/高于用户端画面底端线的水平线在经过镜头合成处理后和人体镜头衔接线D重叠。进一步地,通过在屏幕上设置提示,让用户基于自身感知实现用户端画面底端线/高于用户端画面底端线的标记线所对应的实际人体部位和目标影像画面中的目标人体底端部位相吻合,也可以确保出现在目标影像画面中的实际人体底端部位和目标影像画面中的目标人体底端部位比较接近。
如图7所示,本实施例中,获取的用户端画面为多帧,所述人体缩放比例S基于一帧用户端画面计算得到,所述镜头位移参数E基于一帧用户端画面计算得到;多帧用户端画面构成用户端视频,对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频。
通过采用上述技术方案,其取得如下技术效果:
通过对用户端画面的连续拍摄,使用者可以在屏幕上实时观察到自拍人体影像和目标影像画面融合后的效果并进行相应的动作,进一步降低自拍难度,例如使用者用手机拍摄其他人并在手机屏幕上观察被拍摄者的人体影像和目标影像画面融合后的效果,或者使用者用电视上方的摄像装置拍摄自己并在电视屏幕上观察自身人体影像和目标影像画面融合后的效果,并据此进行相应的动作等;同时由于所述人体缩放比例S基于特定帧用户端画面计算得到,所述镜头位移参数E基于特定帧用户端画面计算得到,所以镜头位移参数E和人体缩放比例S在同一用户端视频中固定不变,令获取的自拍人体影像能够在预览播放视频中保持和人体实际动作一致的连续自然的运动轨迹,形成良好的视觉效果,这样做的另外一个好处是可以避免因为对连续多帧用户端画面获取人体特征点所造成的计算误差,由于人体连续运动时,即使是不同帧用户端画面中的同一人体特征点,在获取时往往也会有误差,由此带来的镜头位移参数E和人体缩放比例S计算误差,会导致预览播放视频中实际人体边界闪烁的不适视觉效果。譬如可以基于用户端自拍起始画面获取人体缩放比例S和镜头位移参数E,这种方式的优势是让自拍人体在预览播放视频的起始画面中就实现更加精确的人体部位和缩放比例呈现、并显示在更精确的位置,譬如也可以基于其他用户端画面如预先设定的一个或多个自拍初始化试镜画面获取人体缩放比例S和镜头位移参数E,实操时,使用者在自拍初始化时根据提示面向摄像装置摆出比较规整的姿势或者模拟自拍预览起始画面中样板人体的姿态形成自拍初始化试镜画面,基于该画面获取和所述镜头参数集对应的人体特征点,这种方式的优势是通过预先设定的自拍初始化试镜画面来获取人体特征点,以避免人体运动造成的人体特征点计算误差及计算延迟。需要说明的是,实际中考虑到用户端人体姿势不正等原因,也可以基于多个用户端画面如自拍初始化试镜画面的数据来换算获得更为准确的人体缩放比例S或镜头位移参数E。
需要说明的是,即使是自拍摄像装置一次性连续拍摄的视频,也可以分成多段用户端视频,譬如对应于不同的目标影像段落或镜头参数集,这样同一摄像装置拍摄视野下的实际人体,可以在不同的目标影像段落中呈现出不同的镜头合成效果(譬如显示在不同的电影镜头画面中,并呈现出不同的人体大小或人体部位等),降低复杂自拍的难度并提高自拍的趣味性。
需要说明的是,用于计算人体缩放比例S的用户端画面、用于计算镜头位移参数E的用户端画面、用于进行镜头合成处理的用户端画面可以相同,也可以不相同。
如图8所示,本实施例中,所述目标影像为镜头段落,所述镜头段落为由摄像机连续拍摄的画面构成的视频;所述“对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频”包括:以镜头段落的自拍预览起始画面为镜头段落当前画面,以用户端自拍起始画面为用户端当前画面;循环执行以下步骤形成预览播放视频:基于用户端当前画面和镜头段落当前画面执行所述镜头合成处理,形成预览播放视频的画面;以读取的镜头段落的下一画面作为镜头段落当前画面,以读取的用户端视频的下一画面作为用户端当前画面。
需要说明的是,获取的用户端画面为多帧,可以通过摄像机连续拍摄得到,譬如可以在播放镜头段落的过程中同步进行拍摄,然后将得到的实际人体放置在目标影像中,获得由连续多帧预览播放画面形成的预览播放视频。举例来说,使用者用手机拍摄其他人并在手机屏幕上观察被拍摄者的人体影像和目标影像画面融合后的效果,或者使用者用电视上方的摄像装置拍摄自己并在电视屏幕上观察自身人体影像和目标影像画面融合后的效果,并据此进行相应的动作。
通过采用上述技术方案,其取得如下技术效果:
使用者可以在屏幕上实时观察到自拍人体影像和镜头段落画面融合后的效果并进行相应的动作,实现更为复杂的自拍;当切换至其他镜头段落时(譬如不同的电影镜头),根据镜头段落背景/场景等的变化,通过镜头参数的改变,可以自动改变自拍人体在镜头段落画面中的初始位置、缩放比例、人体部位等,进一步降低复杂自拍的难度并增加自拍的趣味性。
需要说明的是,所述镜头段落的自拍预览起始画面可以是所述镜头段落出现目标人体的第一个画面,或是所述镜头段落的起始画面,或是所述镜头段落的其他画面:如接收到自拍预览起始指令时的画面或者其后出现目标人体的第一个画面等;所述镜头参数集可以只对所述镜头段落的某个画面进行标记,如当自拍预览起始画面为所述镜头段落起始画面或出现目标人体的第一个画面时可以只对该画面进行标记,也可以对所述镜头段落的多个画面或全部画面进行标记,如当自拍预览起始画面为接收到自拍预览起始指令时的画面时可以对所述镜头段落的全部画面进行标记,如当自拍预览起始画面为接收到自拍预览起始指令后出现目标人体的第一个画面时可以对所述镜头段落包含目标人体的画面进行标记等,这样可以让自拍者在自拍预览起始画面中显示在更精确的位置;如果所述镜头段落内人体活动范围较小,也可以对所述镜头段落或者镜头段落中的全部画面或者镜头段落中的部分画面(如包含目标人体的画面)只标记一次同样的镜头参数集。通过这样的处理,可以基于镜头段落特定画面如自拍预览起始画面获取镜头参数集,或者获取镜头段落统一的镜头参数集,既可以让自拍者人体在自拍预览起始画面中就实现符合情节需要的显示,又可以让所述镜头位移参数E和人体缩放比例S只计算一次,以在对多帧镜头段落画面和多帧用户端画面进行镜头合成处理时使用相同的镜头位移参数E和人体缩放比例S,令获取的自拍人体影像能够在预览播放视频中保持和人体实际动作一致的连续自然的运动轨迹,形成良好的视觉效果。
需要说明的是,所述人体镜头衔接线D既可以基于所述镜头段落的所有画面或包含目标人体的所有画面获取,也可以基于所述镜头段落的特定画面获取如基于镜头段落中目标人体活动范围最底端所对应的画面获取,以扩大自拍者活动范围和更好地满足目标影像情节需要,或者基于镜头段落的自拍预览起始画面获取,以使实际人体显示时和自拍预览起始画面更加贴合等。基于镜头段落的特定画面获取人体镜头衔接线D的另一个好处是,所述镜头段落对应的人体镜头衔接线D保持固定不变,可以在预览播放视频画面中形成固定的实际人体可显示的底端线,俗称“镜头视野”,更加符合日常看视频的习惯,同时由于实际人体的运动轨迹和目标人体的运动轨迹很难完全一样,这样可以避免因为显示在目标影像画面中的实际人体底端线的不规则变化带来的不适视觉效果。
举例来说:使用者浏览观看目标影像内容如电影,在他认为合适的时候发出自拍预览起始指令,本实施例中,自拍预览起始画面为所述镜头段落出现样板人体的第一个画面,当使用者发出自拍预览起始指令后,根据使用者当前观看的目标影像画面如电影画面和镜头段落起始位置的相对关系选取镜头段落,读取自拍预览起始画面和镜头参数集,并读取用户端数据的当前画面作为用户端自拍起始画面;需要说明的是,这种情况下所述镜头参数集可以基于所述镜头段落出现样板人体的第一个画面进行标记;需要说明的是,在实操中,如果镜头段落起始画面中不包含样板人体,当使用者发出自拍预览起始指令后,也可以先从镜头段落起始画面开始播放该镜头段落内容,当读取到自拍预览起始画面即本例中所述镜头段落出现样板人体的第一个画面时,再根据本发明公开的相关步骤继续进行相关操作。
此外,本实施例中的自拍预览起始画面也可以是接收到自拍预览起始指令后出现样板人体的第一个画面,当使用者发出自拍预览起始指令后,根据使用者当前观看的目标影像画面如电影画面和镜头段落起始位置的相对关系选取镜头段落,读取自拍预览起始画面和镜头参数集,并读取用户端数据的当前画面作为用户端自拍起始画面;需要说明的是,这种情况下所述镜头参数集可以基于所述镜头段落出现样板人体的所有画面进行标记,同时如果所述镜头段落内人体活动范围很小,可以对所述出现样板人体的所有画面标记同样的镜头参数集或者只标记一次,以减少内容准备的成本。
本实施例中,所述形成预览播放视频,还包括:当镜头段落当前画面包含人体显示标志时,基于用户端当前画面和镜头段落当前画面执行所述镜头合成处理,形成预览播放视频的画面;当镜头段落当前画面未包含人体显示标志时,将镜头段落当前画面作为预览播放视频的画面。
通过采用上述技术方案:可以根据镜头段落画面的具体情节需要,让自拍者的人体出现或不出现在镜头段落画面中。需要说明的是,因为实际中镜头段落不一定会每帧都包含目标人体,因而不一定需要每帧都进行镜头合成,所以标记人体显示标志。
本实施例中,还包括读取自拍起始指令,所述自拍起始指令包括定格拍照片指令和/或动态拍电影指令,当读取到的自拍起始指令为定格拍照片指令则将基于当前帧用户端画面得到的实际人体覆盖至所述目标影像对应的全部或部分画面中并存储覆盖后的画面;当读取到的自拍起始指令为动态拍电影指令则存储当前预览播放视频的画面之后的多帧预览播放视频的对应画面。
实际使用时,读取到定格拍照片指令后,将基于当前帧用户端画面得到的实际人体覆盖至目标影像对应的全部或部分画面中,达到“拍照片“的效果。譬如将基于当前帧用户端画面得到的实际人体覆盖至目标影像的某帧画面时,可以形成由一帧画面构成的“静态照片”,而将基于当前帧用户端画面得到的实际人体覆盖至目标影像的多帧画面时,可以形成由一段视频构成的“动态照片”等。
实际使用时,读取到动态拍电影指令说明自拍者已经准备好“拍电影”了,则可以开始存储当前及之后的多帧预览播放视频的对应画面,达到“拍电影”保存自身影像的效果。
通过采用上述技术方案,其取得如下技术效果:
使用者在屏幕上预览自拍人体在目标影像中的活动情况,当准备好时发出自拍起始指令或者系统在特定时间发出自拍起始指令,如果自拍起始指令为动态拍电影指令,则开始存储预览播放视频的对应画面,俗称“拍电影”;如果自拍起始指令为定格拍照片指令,则将基于当前帧用户端画面得到的实际人体覆盖至所述目标影像对应的全部或部分画面中并存储覆盖后的画面,俗称“拍照片”,“拍照片”是针对普通人在一段视频中的每一个画面都呈现出良好的形象较为困难,所以进行“定格”拍摄,并将“定格”画面和目标影像融合在一起,获得比普通照片更好的效果。需要说明的是,用户发出自拍起始指令后,可以延迟一段时间后再正式开始“拍电影”或“拍照片”,延迟时间可以根据经验值设定。
需要说明的是,所述“覆盖至所述目标影像对应的全部或部分画面中并存储覆盖后的画面”、“存储当前预览播放视频的画面之后的多帧预览播放视频的对应画面”,是指在“定格拍照片”时既可以将实际人体“覆盖至所述目标影像中的画面获得所需存储的画面”,也可以将实际人体“覆盖至基于所述目标影像中的画面进行一定调整后的画面获得所需存储的画面”,在“动态拍电影”时既可以直接存储预览播放视频的画面,也可以存储基于预览播放视频的画面进行一定调整后的画面,如由于摄像头拍摄人体并播放时,用户在屏幕上看到的人体左右移动方向和自身感知可能会相反(当用户向左移动时、屏幕画面会显示人体向右移动),为此在实操时可以将用户端数据水平镜像翻转,同时将目标影像画面水平镜像翻转,以确保良好的自拍体验,此后在存储时采取将预览播放视频的画面进行相反的镜像翻转操作,或者将所得实际人体进行相反的镜像翻转操作后再覆盖到对应的原始目标影像画面中等方式来保证存储后的内容具备更好的可看性,此外,前述在自拍时将目标影像画面水平镜像翻转,可能会导致自拍时用户看到的目标影像背景画面中的文字等内容显示和实际背景中的文字显示是相反的,导致自拍时自拍者看不清相关文字,为了解决这个问题,可以准备两份目标影像内容,两者之间的差别是文字等影响自拍者观感的内容显示是互为反转的,一份在自拍时播放以保证自拍者感受,另一份在存储时使用以保证存储后的内容具备更好的可看性。所以在存储时,可以对存储的画面进行一定调整,譬如获取和自拍时所播放的目标影像画面或目标影像画面中的部份内容互为水平镜像翻转的对应画面,然后将实际人体合成上去后得到存储所需的画面。
本实施例中,将用户端画面中的实际人体覆盖至所述目标影像的画面中包括:将用户端画面中的实际人体根据人体倾斜参数旋转后覆盖至所述目标影像的画面中。
通过采用上述技术方案,其取得如下技术效果:可以让实际人体在目标影像画面中显示出不同的旋转角度,增加自拍的趣味性。需要说明的是,让实际人体在目标影像画面中显示出不同的旋转角度,除了可以增加自拍的趣味性外,还因为实操时目标影像画面中的目标人体不一定总是竖直的,可能会出现倾斜的情况,这样当用户端画面中的实际人体缩放移动后,依旧可能会与目标人体存在不适配,通过获取目标人体在目标影像画面中的人体倾斜参数,并据此将实际人体进行旋转,可以减小不适配度。
本实施例中,将用户端画面中的实际人体覆盖至所述目标影像的画面中包括:将根据运动参数调整后的用户端画面中的实际人体覆盖至所述目标影像的画面中。
通过采用上述技术方案,其取得如下技术效果:
可以在自拍摄像装置不移动的情况下,将自拍者影像基于运动参数模拟出由运动状态下摄像机所拍摄或电脑特效技术合成等方式所得的目标人体的运动轨迹,如基于推、拉、升、降、摇、移等拍摄方法所产生的目标人体运动轨迹,以提高自拍的趣味性。
如当推拍时摄像机不断靠近被拍摄者,此时被拍摄者的影像需要按照一定的频率在目标影像画面中不断变大,同时被拍摄者的动作轨迹如挥手仍然继续保持和实际动作轨迹一致,此时可以根据运动参数向上调整获取的用户端画面/用户端画面中的实际人体的底端线,并对底端线变化后的用户端画面/用户端画面中的实际人体进行放大,再将调整后的用户端画面中的实际人体覆盖至所述目标影像的画面中。
如当拉拍时摄像机不断远离被拍摄者,此时可以基于运动参数对用户端画面/用户端画面中的实际人体进行和推拍时相反的操作,再将调整后的用户端画面中的实际人体覆盖至所述目标影像的画面中。
如当升拍和降拍时,摄像机和被拍摄者的相对高度位置发生了变化,此时可以基于运动参数调整用户端画面/用户端画面中的实际人体在目标影像的画面中的相对高度位置,再将调整后的用户端画面中的实际人体覆盖至所述目标影像的画面中。
如当移拍时,摄像机和被拍摄者的相对水平位置发生了变化,此时可以基于运动参数调整用户端画面/用户端画面中的实际人体在目标影像的画面中的相对水平位置,再将调整后的用户端画面中的实际人体覆盖至所述目标影像的画面中。
如当摇拍时,摄像机和被拍摄者的相对水平位置、相对高度位置发生了变化,此时可以基于运动参数调整用户端画面/用户端画面中的实际人体在目标影像的画面中的相对水平位置、相对高度位置,再将调整后的用户端画面中的实际人体覆盖至所述目标影像的画面中。
需要说明的是,运动参数包括但不限于上述内容,此外,所述运动参数可以由使用者在自拍时生成或激活。
本实施例中,所述镜头合成处理包括:在所述目标影像的画面中动态生成显示内容。
这样做达到的效果是,在所述目标影像的画面中动态生成显示内容,例如动态道具、文字说明、动画等,可以完善自拍的显示效果和增强自拍的趣味性。
实施例2。
如图2所示,一种人体自拍镜头生成系统,其特征在于,包括:影像处理模块1、信息采集模块2、视野换算模块3和镜头合成模块4。
影像处理模块1,用于获取目标影像及镜头参数集;所述目标影像包括视频或图像;所述镜头参数集包括镜头位移参考点B和人体景别参数Hm;所述人体景别参数Hm为人体景别参考点C之间的相对位置距离,Hm>0;所述镜头位移参考点B和人体景别参考点C均是目标影像的画面中的目标人体对应的人体特征点。
信息采集模块2,用于获取用户端画面及实际人体景别参数Hn,所述实际人体景别参数Hn为人体景别参考点C’之间的相对位置距离,所述人体景别参考点C’为用户端画面中与人体景别参考点C对应的人体特征点。
视野换算模块3,用于计算人体缩放比例S=Hm/Hn和获取镜头位移参数E,所述镜头位移参数E指镜头位移参考点B和镜头位移参考点B’之间的相对位置参数,所述镜头位移参考点B’为用户端画面中与镜头位移参考点B对应的人体特征点。
镜头合成模块4,用于对用户端画面中的实际人体和所述目标影像的画面进行镜头合成处理,所述镜头合成处理包括:基于人体缩放比例S和镜头位移参数E,对用户端画面或用户端画面中的实际人体进行缩放、移动,将用户端画面中的实际人体覆盖至所述目标影像的画面中。
本实施例中,“所述镜头位移参数E是基于镜头位移参考点B的水平位置和高度位置,与镜头位移参考点B’的水平位置和高度位置取得,即镜头位移参考点B和镜头位移参考点B’之间的直线距离为镜头位移参数E;或,所述镜头位移参数E是基于镜头位移参考点B的水平位置与镜头位移参考点B’的水平位置取得,即镜头位移参考点B和镜头位移参考点B’之间的水平位置差为镜头位移参数E;或,所述镜头位移参数E是基于镜头位移参考点B的高度位置与镜头位移参考点B’的高度位置取得,即镜头位移参考点B和镜头位移参考点B’之间的高度位置差为镜头位移参数E;”,“所述Hm是基于人体景别参考点C之间的高度位置差异取得;或,所述Hm是基于人体景别参考点C之间的水平位置差异取得;或,所述Hm是基于人体景别参考点C之间的水平位置差异和高度位置差异取得;”,
“所述Hn是基于人体景别参考点C’之间的高度位置差异取得;或,所述Hn是基于人体景别参考点C’之间的水平位置差异取得;或,所述Hn是基于所述人体景别参考点C’之间的水平位置差异和高度位置差异取得”。
需要说明的是,本实施例中,镜头位移参考点B’、人体景别参考点C’、镜头位移参考点B和人体景别参考点C的位置,是通过将用户端画面和目标影像的画面放置在同一坐标系下取得的。另外,所述用户端画面是通过拍摄装置拍摄取得,如通过手机、摄像机等设备对实际人体进行拍摄得到。
本实施例中,设显示在目标影像的画面中的目标人体部份的底端所处的水平线为人体镜头衔接线D;相对位置距离为Hm的两个所述人体景别参考点C,其中一个所述人体景别参考点C为人体镜头衔接线D上一点;另一个所述人体景别参考点C和镜头位移参考点B的高度位置相同,且不为人体镜头衔接线D上一点。
通过这样做,可以在经过前述缩放、移动后,使显示在目标影像画面中人体镜头衔接线D以上的实际人体部份和显示在目标影像画面中人体镜头衔接线以上的目标人体部份相适配,以更好地满足目标影像的情节需要。
本发明另一个实施例中,相对位置距离为Hm的两个所述人体景别参考点C,其中一个所述人体景别参考点C不为人体镜头衔接线D上一点;另一个所述人体景别参考点C和镜头位移参考点B的高度位置相同,且为人体镜头衔接线D上一点。
通过这样做,也可以在经过前述缩放、移动后,使显示在目标影像画面中人体镜头衔接线D以上的实际人体部份和显示在目标影像画面中人体镜头衔接线以上的目标人体部份相适配,以更好地满足目标影像的情节需要。
本实施例中,所述镜头合成处理还包括:如果用户端画面中的实际人体的底端线在所述缩放、移动后低于人体镜头衔接线D,则基于人体镜头衔接线D生成用户端画面中的实际人体可显示在目标影像的画面中的底端线。
通过这样做,可以让实际人体覆盖至目标影像的画面中后其底端可显示位置和人体镜头衔接线D相对应,以更好地适配目标影像的画面。
具体来说:如果用户端画面中的实际人体的底端线经过前述缩放、移动后低于人体镜头衔接线D时,则基于人体镜头衔接线D对用户端画面或用户端画面中的实际人体进行截取或遮挡,以使实际人体覆盖至目标影像的画面中后其底端可显示位置和人体镜头衔接线D相对应。
需要进一步说明的是,实操时目标影像画面中的目标人体底端可能会和道具衔接,人体道具衔接线可能是不规则线如曲线或者非水平直线等,此时可以进一步地基于人体道具衔接线对用户端画面或用户端画面中的实际人体进行截取或遮挡,以达到更加理想的效果。
本实施例中,所述镜头位移参考点B’或人体景别参考点C’,通过以下步骤取得:
步骤1:获取镜头位移参考点B或人体景别参考点C与目标人体对应的人体特征点之间的相对关系K;
步骤2:获取实际人体对应的人体特征点;
步骤3:基于相对关系K和实际人体对应的人体特征点,获取镜头位移参考点B’或人体景别参考点C’。
这样做要解决的问题是:由于目标影像情节各种各样,镜头位移参考点B和人体景别参考点C不一定是可以直接识别出的人体特征点,所以,可以通过先获取易于识别的其他人体特征点,再基于相对关系K获取镜头位移参考点B’或人体景别参考点C’,这样可以满足目标影像的各种情节需要,譬如目标影像画面中人体镜头衔接线D处对应的镜头位移参考点B或人体景别参考点C,可以基于它们和其他易于识别的人体特征点的相对关系K,在用户端画面中获取到对应的镜头位移参考点B’或人体景别参考点C’,精确度更高。
本实施例中,所述信息采集模块2获取的用户端画面为多帧,所述人体缩放比例S基于一帧用户端画面计算得到,所述镜头位移参数E基于一帧用户端画面计算得到;多帧用户端画面构成用户端视频,所述镜头合成模块对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频。
需要说明的是,用于计算人体缩放比例S的用户端画面、用于计算镜头位移参数E的用户端画面、用于进行镜头合成处理的用户端画面可以相同,也可以不相同。譬如可以基于用户端自拍起始画面获取人体缩放比例S和镜头位移参数E,这种方式的优势是让自拍人体在预览播放视频的起始画面中就实现更加精确的人体部位和缩放比例呈现、并显示在更精确的位置,譬如也可以基于预先设定的自拍初始化试镜画面获取人体缩放比例S和镜头位移参数E,实操时,使用者在自拍初始化时根据提示面向摄像装置摆出比较规整的姿势或者模拟自拍预览起始画面中样板人体的姿态形成自拍初始化试镜画面,基于该画面获取和所述镜头参数集对应的人体特征点,这种方式的优势是通过预先设定的自拍初始化试镜画面来获取人体特征点,以避免人体运动造成的人体特征点计算误差及计算延迟。需要说明的是,实际中考虑到用户端人体姿势不正等原因,也可以基于多个用户端画面如自拍初始化试镜画面的数据来换算获得更为准确的人体缩放比例S或镜头位移参数E。
需要说明的是,由于同一用户端视频的画面使用相同的人体缩放比例S、镜头位移参数E进行镜头合成,可以令获取的自拍人体影像能够在预览播放视频中保持和人体实际动作一致的连续自然的运动轨迹,形成良好的视觉效果,这样做的另外一个好处是可以避免因为对连续多帧用户端画面获取人体特征点所造成的计算误差,由于人体连续运动时,即使是不同帧用户端画面中的同一人体特征点,在获取时往往也会有误差,由此带来的镜头位移参数E和人体缩放比例S计算误差,会导致预览播放视频中实际人体边界闪烁的不适视觉效果。
需要说明的是,即使是自拍摄像装置一次性连续拍摄的自拍视频,也可以分成多段用户端视频,譬如对应于不同的目标影像段落或镜头参数集,这样同一摄像装置拍摄视野下的实际人体,可以在不同的目标影像段落中呈现出不同的镜头合成效果(譬如显示在不同的电影镜头画面中,并呈现出不同的人体大小或人体部位等),降低复杂自拍的难度并提高自拍的趣味性。
本实施例中,所述目标影像为镜头段落,所述镜头段落为由摄像机连续拍摄的画面构成的视频;所述“对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频”包括:以镜头段落的自拍预览起始画面为镜头段落当前画面,以用户端自拍起始画面为用户端当前画面;循环执行以下步骤形成预览播放视频:基于用户端当前画面和镜头段落当前画面执行所述镜头合成处理,形成预览播放视频的画面;以读取的镜头段落的下一画面作为镜头段落当前画面,以读取的用户端视频的下一画面作为用户端当前画面。
需要说明的是,获取的用户端画面为多帧,可以通过摄像机连续拍摄得到,譬如可以在播放镜头段落的过程中同步进行拍摄,然后将得到的实际人体放置在目标影像中,获得由连续多帧预览播放画面形成的预览播放视频。举例来说,使用者用手机拍摄其他人并在手机屏幕上观察被拍摄者的人体影像和目标影像画面融合后的效果,或者使用者用电视上方的摄像装置拍摄自己并在电视屏幕上观察自身人体影像和目标影像画面融合后的效果,并据此进行相应的动作。
需要说明的是,所述镜头段落的自拍预览起始画面可以是所述镜头段落出现目标人体的第一个画面,或是所述镜头段落的起始画面,或是所述镜头段落的其他画面:如接收到自拍预览起始指令时的画面或者其后出现目标人体的第一个画面等;所述镜头参数集可以只对所述镜头段落的某个画面进行标记,如当自拍预览起始画面为所述镜头段落起始画面或出现目标人体的第一个画面时可以只对该画面进行标记,也可以对所述镜头段落的多个画面或全部画面进行标记,如当自拍预览起始画面为接收到自拍预览起始指令时的画面时可以对所述镜头段落的全部画面进行标记,如当自拍预览起始画面为接收到自拍预览起始指令后出现目标人体的第一个画面时可以对所述镜头段落包含目标人体的画面进行标记等,这样可以让自拍者在自拍预览起始画面中显示在更精确的位置;如果所述镜头段落内人体活动范围较小,也可以对所述镜头段落或者镜头段落中的全部画面或者镜头段落中的部分画面(如包含目标人体的画面)只标记一次同样的镜头参数集。通过这样的处理,可以基于镜头段落特定画面如自拍预览起始画面获取镜头参数集,或者获取镜头段落统一的镜头参数集,既可以让自拍者人体在自拍预览起始画面中就实现符合情节需要的显示,又可以让所述镜头位移参数E和人体缩放比例S只计算一次,以在对多帧镜头段落画面和多帧用户端画面进行镜头合成处理时使用相同的镜头位移参数E和人体缩放比例S,令获取的自拍人体影像能够在预览播放视频中保持和人体实际动作一致的连续自然的运动轨迹,形成良好的视觉效果。
需要说明的是,所述人体镜头衔接线D既可以基于所述镜头段落的所有画面或包含目标人体的所有画面获取,也可以基于所述镜头段落的特定画面获取如基于镜头段落中目标人体活动范围最底端所对应的画面获取,以扩大自拍者活动范围和更好地满足目标影像情节需要,或者基于镜头段落的自拍预览起始画面获取,以使实际人体显示时和自拍预览起始画面更加贴合等。基于镜头段落的特定画面获取人体镜头衔接线D的另一个好处是,所述镜头段落对应的人体镜头衔接线D保持固定不变,可以在预览播放视频画面中形成固定的实际人体可显示的底端线,俗称“镜头视野”,更加符合日常看视频的习惯,同时由于实际人体的运动轨迹和目标人体的运动轨迹很难完全一样,这样可以避免因为显示在目标影像画面中的实际人体底端线的不规则变化带来的不适视觉效果。
举例来说:使用者浏览观看目标影像内容如电影,在他认为合适的时候发出自拍预览起始指令,本实施例中,自拍预览起始画面为所述镜头段落出现样板人体的第一个画面,当使用者发出自拍预览起始指令后,根据使用者当前观看的目标影像画面如电影画面和镜头段落起始位置的相对关系选取镜头段落,读取自拍预览起始画面和镜头参数集,并读取用户端数据的当前画面作为用户端自拍起始画面;需要说明的是,这种情况下所述镜头参数集可以基于所述镜头段落出现样板人体的第一个画面进行标记;需要说明的是,在实操中,如果镜头段落起始画面中不包含样板人体,当使用者发出自拍预览起始指令后,也可以先从镜头段落起始画面开始播放该镜头段落内容,当读取到自拍预览起始画面即本例中所述镜头段落出现样板人体的第一个画面时,再根据本发明公开的相关步骤继续进行相关操作。
此外,本实施例中的自拍预览起始画面也可以是接收到自拍预览起始指令后出现样板人体的第一个画面,当使用者发出自拍预览起始指令后,根据使用者当前观看的目标影像画面如电影画面和镜头段落起始位置的相对关系选取镜头段落,读取自拍预览起始画面和镜头参数集,并读取用户端数据的当前画面作为用户端自拍起始画面;需要说明的是,这种情况下所述镜头参数集可以基于所述镜头段落出现样板人体的所有画面进行标记,同时如果所述镜头段落内人体活动范围很小,可以对所述出现样板人体的所有画面标记同样的镜头参数集或者只标记一次,以减少内容准备的成本。
本实施例中,所述镜头合成处理包括:当镜头段落当前画面包含人体显示标志时,基于用户端当前画面和镜头段落当前画面执行所述镜头合成处理,形成预览播放视频的画面;当镜头段落当前画面未包含人体显示标志时,将镜头段落当前画面作为预览播放视频的画面。
需要说明的是,因为实际中镜头段落不会每帧都包含目标人体,因而不一定需要每帧都进行镜头合成,所以标记人体显示标志。
本实施例中,还包括拍照模块5,所述拍照模块5用于读取自拍起始指令,所述自拍起始指令包括定格拍照片指令和/或动态拍电影指令,当读取到的自拍起始指令为定格拍照片指令则将基于当前帧用户端画面得到的实际人体覆盖至所述目标影像对应的全部或部分画面中并存储覆盖后的画面;当读取到的自拍起始指令为动态拍电影指令则存储当前预览播放视频的画面之后的多帧预览播放视频的对应画面。
实际使用时,读取到定格拍照片指令后,将基于当前帧用户端画面得到的实际人体覆盖至目标影像对应的全部或部分画面中,达到“拍照片“的效果。譬如将基于当前帧用户端画面得到的实际人体覆盖至目标影像的某帧画面时,可以形成由一帧画面构成的“静态照片”,而将基于当前帧用户端画面得到的实际人体覆盖至目标影像的多帧画面时,可以形成由一段视频构成的“动态照片”等。
实际使用时,读取到动态拍电影指令说明自拍者已经准备好“拍电影”了,则可以开始存储当前及之后的多帧预览播放视频的对应画面,达到“拍电影”保存自身影像的效果。
需要说明的是,所述“覆盖至所述目标影像对应的全部或部分画面中并存储覆盖后的画面”、“存储当前预览播放视频的画面之后的多帧预览播放视频的对应画面”,是指在“定格拍照片”时既可以将实际人体“覆盖至所述目标影像中的画面获得所需存储的画面”,也可以将实际人体“覆盖至基于所述目标影像中的画面进行一定调整后的画面获得所需存储的画面”,在“动态拍电影”时既可以直接存储预览播放视频的画面,也可以存储基于预览播放视频的画面进行一定调整后的画面,如由于摄像头拍摄人体并播放时,用户在屏幕上看到的人体左右移动方向和自身感知可能会相反(当用户向左移动时、屏幕画面会显示人体向右移动),为此在实操时可以将用户端数据水平镜像翻转,同时将目标影像画面水平镜像翻转,以确保良好的自拍体验,此后在存储时采取将预览播放视频的画面进行相反的镜像翻转操作,或者将所得实际人体进行相反的镜像翻转操作后再覆盖到对应的原始目标影像画面中等方式来保证存储后的内容具备更好的可看性,此外,前述在自拍时将目标影像画面水平镜像翻转,可能会导致自拍时用户看到的目标影像背景画面中的文字等内容显示和实际背景中的文字显示是相反的,导致自拍时自拍者看不清相关文字,为了解决这个问题,可以准备两份目标影像内容,两者之间的差别是文字等影响自拍者观感的内容显示是互为反转的,一份在自拍时播放以保证自拍者感受,另一份在存储时使用以保证存储后的内容具备更好的可看性。所以在存储时,可以对存储的画面进行一定调整,譬如获取和自拍时所播放的目标影像画面或目标影像画面中的部份内容互为水平镜像翻转的对应画面,然后将实际人体合成上去后得到存储所需的画面。
本实施例中,将用户端画面中的实际人体覆盖至所述目标影像的画面中包括:将用户端画面中的实际人体根据人体倾斜参数旋转后覆盖至所述目标影像的画面中。
需要说明的是,让实际人体在目标影像画面中显示出不同的旋转角度,除了可以增加自拍的趣味性外,还因为实操时目标影像画面中的目标人体不一定总是竖直的,可能会出现倾斜的情况,这样当用户端画面中的实际人体缩放移动后,依旧可能会与目标人体存在不适配,通过获取目标人体在目标影像画面中的人体倾斜参数,并据此将实际人体进行旋转,可以减小不适配度。
本实施例中,将用户端画面中的实际人体覆盖至所述目标影像的画面中包括:将根据运动参数调整后的用户端画面中的实际人体覆盖至所述目标影像的画面中。
这样做达到的效果是,可以在自拍摄像装置不移动的情况下,将自拍者影像基于运动参数模拟出由运动状态下摄像机所拍摄或电脑特效技术合成等方式所得的目标人体的运动轨迹,如基于推、拉、升、降、摇、移等拍摄方法所产生的目标人体运动轨迹,以提高自拍的趣味性。
本实施例中,所述镜头合成处理包括:在所述目标影像的画面中动态生成显示内容。
这样做达到的效果是,在所述目标影像的画面中动态生成显示内容,例如动态道具、文字说明、动画等,可以完善自拍的显示效果和增强自拍的趣味性。
为了简明扼要的说明实施例2的实现方式和原理,对实施例1中已提及的一些解释说明进行了省略,实施例1和实施例2的技术原理相同,实施例2中若存在不清楚的部分,请参阅实施例1部分。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。本发明的保护范围以权利要求书及其等价物的保护范围为准。

Claims (16)

1.一种人体自拍镜头生成方法,其特征在于,包括以下步骤:
获取目标影像及镜头参数集;所述目标影像包括视频或图像;所述镜头参数集包括镜头位移参考点B和人体景别参数Hm;所述人体景别参数Hm为人体景别参考点C之间的相对位置距离,Hm>0;所述镜头位移参考点B和人体景别参考点C均是目标影像的画面中的目标人体对应的人体特征点;
获取用户端画面及实际人体景别参数Hn,所述实际人体景别参数Hn为人体景别参考点C’之间的相对位置距离,所述人体景别参考点C’为用户端画面中与人体景别参考点C对应的人体特征点;
计算人体缩放比例S=Hm/Hn;
获取镜头位移参数E,所述镜头位移参数E指镜头位移参考点B和镜头位移参考点B’之间的相对位置参数,所述镜头位移参考点B’为用户端画面中与镜头位移参考点B对应的人体特征点;
对用户端画面中的实际人体和所述目标影像的画面进行镜头合成处理,所述镜头合成处理包括:基于人体缩放比例S和镜头位移参数E,对用户端画面或用户端画面中的实际人体进行缩放、移动,将用户端画面中的实际人体覆盖至所述目标影像的画面中。
2.按照权利要求1所述的一种人体自拍镜头生成方法,其特征在于,“所述镜头位移参数E是基于镜头位移参考点B的水平位置和高度位置,与镜头位移参考点B’的水平位置和高度位置取得;
或,所述镜头位移参数E是基于镜头位移参考点B的水平位置与镜头位移参考点B’的水平位置取得;
或,所述镜头位移参数E是基于镜头位移参考点B的高度位置与镜头位移参考点B’的高度位置取得;”,
“所述Hm是基于人体景别参考点C之间的高度位置差异取得;或,所述Hm是基于人体景别参考点C之间的水平位置差异取得;或,所述Hm是基于人体景别参考点C之间的水平位置差异和高度位置差异取得;”,“所述Hn是基于人体景别参考点C’之间的高度位置差异取得;或,所述Hn是基于人体景别参考点C’之间的水平位置差异取得;或,所述Hn是基于所述人体景别参考点C’之间的水平位置差异和高度位置差异取得”。
3.按照权利要求1或2所述的一种人体自拍镜头生成方法,其特征在于,设显示在目标影像的画面中的目标人体部份的底端所处的水平线为人体镜头衔接线D;一个所述人体景别参考点C为人体镜头衔接线D上一点,一个所述人体景别参考点C不为人体镜头衔接线D上一点,且其中一个所述人体景别参考点C与镜头位移参考点B的高度位置相同。
4.按照权利要求1或2所述的一种人体自拍镜头生成方法,其特征在于,所述镜头合成处理还包括:如果用户端画面中的实际人体的底端线在所述缩放、移动后低于人体镜头衔接线D,则基于人体镜头衔接线D生成用户端画面中的实际人体可显示在目标影像的画面中的底端线。
5.按照权利要求1或2所述的一种人体自拍镜头生成方法,其特征在于,所述镜头位移参考点B’或人体景别参考点C’,通过以下步骤取得:
步骤1:获取镜头位移参考点B或人体景别参考点C与目标人体对应的人体特征点之间的相对关系K;
步骤2:获取实际人体对应的人体特征点;
步骤3:基于相对关系K和实际人体对应的人体特征点,获取镜头位移参考点B’或人体景别参考点C’。
6.按照权利要求1所述的一种人体自拍镜头生成方法,其特征在于,获取的用户端画面为多帧,所述人体缩放比例S基于一帧用户端画面计算得到,所述镜头位移参数E基于一帧用户端画面计算得到;多帧用户端画面构成用户端视频,对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频。
7.按照权利要求6所述的一种人体自拍镜头生成方法,其特征在于,所述目标影像为镜头段落,所述镜头段落为由摄像机连续拍摄的画面构成的视频;所述“对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频”包括:以镜头段落的自拍预览起始画面为镜头段落当前画面,以用户端自拍起始画面为用户端当前画面;循环执行以下步骤形成预览播放视频:基于用户端当前画面和镜头段落当前画面执行所述镜头合成处理,形成预览播放视频的画面;以读取的镜头段落的下一画面作为镜头段落当前画面,以读取的用户端视频的下一画面作为用户端当前画面。
8.按照权利要求7所述的一种人体自拍镜头生成方法,其特征在于,所述形成预览播放视频,还包括:
当镜头段落当前画面包含人体显示标志时,基于用户端当前画面和镜头段落当前画面执行所述镜头合成处理,形成预览播放视频的画面;当镜头段落当前画面未包含人体显示标志时,将镜头段落当前画面作为预览播放视频的画面。
9.按照权利要求6、7或8所述的一种人体自拍镜头生成方法,其特征在于,还包括读取自拍起始指令,所述自拍起始指令包括定格拍照片指令和/或动态拍电影指令,当读取到的自拍起始指令为定格拍照片指令则将基于当前帧用户端画面得到的实际人体覆盖至所述目标影像对应的全部或部分画面中并存储覆盖后的画面;当读取到的自拍起始指令为动态拍电影指令则存储当前预览播放视频的画面之后的多帧预览播放视频的对应画面。
10.按照权利要求1或2所述的一种人体自拍镜头生成方法,其特征在于,将用户端画面中的实际人体覆盖至所述目标影像的画面中包括:
将用户端画面中的实际人体根据人体倾斜参数旋转后覆盖至所述目标影像的画面中。
11.按照权利要求1或2所述的一种人体自拍镜头生成方法,其特征在于,将用户端画面中的实际人体覆盖至所述目标影像的画面中包括:
将根据运动参数调整后的用户端画面中的实际人体覆盖至所述目标影像的画面中。
12.按照权利要求1或2所述的一种人体自拍镜头生成方法,其特征在于,所述镜头合成处理包括:在所述目标影像的画面中动态生成显示内容。
13.一种人体自拍镜头生成系统,其特征在于,包括:影像处理模块、信息采集模块、视野换算模块和镜头合成模块;
影像处理模块,用于获取目标影像及镜头参数集;所述目标影像包括视频或图像;所述镜头参数集包括镜头位移参考点B和人体景别参数Hm;所述人体景别参数Hm为人体景别参考点C之间的相对位置距离,Hm>0;所述镜头位移参考点B和人体景别参考点C均是目标影像的画面中的目标人体对应的人体特征点;
信息采集模块,用于获取用户端画面及实际人体景别参数Hn,所述实际人体景别参数Hn为人体景别参考点C’之间的相对位置距离,所述人体景别参考点C’为用户端画面中与人体景别参考点C对应的人体特征点;
视野换算模块,用于计算人体缩放比例S=Hm/Hn和获取镜头位移参数E,所述镜头位移参数E指镜头位移参考点B和镜头位移参考点B’之间的相对位置参数,所述镜头位移参考点B’为用户端画面中与镜头位移参考点B对应的人体特征点;
镜头合成模块,用于对用户端画面中的实际人体和所述目标影像的画面进行镜头合成处理,所述镜头合成处理包括:基于人体缩放比例S和镜头位移参数E,对用户端画面或用户端画面中的实际人体进行缩放、移动,将用户端画面中的实际人体覆盖至所述目标影像的画面中。
14.按照权利要求13所述的一种人体自拍镜头生成系统,其特征在于,所述信息采集模块获取的用户端画面为多帧,所述人体缩放比例S基于一帧用户端画面计算得到,所述镜头位移参数E基于一帧用户端画面计算得到;多帧用户端画面构成用户端视频,所述镜头合成模块对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频。
15.按照权利要求14所述的一种人体自拍镜头生成系统,其特征在于,所述目标影像为镜头段落,所述镜头段落为由摄像机连续拍摄的画面构成的视频;所述“对所述多帧用户端画面执行所述镜头合成处理,形成预览播放视频”包括:以镜头段落的自拍预览起始画面为镜头段落当前画面,以用户端自拍起始画面为用户端当前画面;循环执行以下步骤形成预览播放视频:基于用户端当前画面和镜头段落当前画面执行所述镜头合成处理,形成预览播放视频的画面;以读取的镜头段落的下一画面作为镜头段落当前画面,以读取的用户端视频的下一画面作为用户端当前画面。
16.按照权利要求14或15所述的一种人体自拍镜头生成系统,其特征在于,还包括拍照模块,所述拍照模块用于读取自拍起始指令,所述自拍起始指令包括定格拍照片指令和/或动态拍电影指令,当读取到的自拍起始指令为定格拍照片指令则将基于当前帧用户端画面得到的实际人体覆盖至所述目标影像对应的全部或部分画面中并存储覆盖后的画面;当读取到的自拍起始指令为动态拍电影指令则存储当前预览播放视频的画面之后的多帧预览播放视频的对应画面。
CN202111047333.6A 2021-09-08 2021-09-08 一种人体自拍镜头生成方法及系统 Active CN113507575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111047333.6A CN113507575B (zh) 2021-09-08 2021-09-08 一种人体自拍镜头生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111047333.6A CN113507575B (zh) 2021-09-08 2021-09-08 一种人体自拍镜头生成方法及系统

Publications (2)

Publication Number Publication Date
CN113507575A CN113507575A (zh) 2021-10-15
CN113507575B true CN113507575B (zh) 2021-11-26

Family

ID=78016441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111047333.6A Active CN113507575B (zh) 2021-09-08 2021-09-08 一种人体自拍镜头生成方法及系统

Country Status (1)

Country Link
CN (1) CN113507575B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114222065B (zh) * 2021-12-20 2024-03-08 北京奕斯伟计算技术股份有限公司 图像处理方法、装置、电子设备、存储介质及程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1119481A (zh) * 1993-02-14 1996-03-27 Orad有限公司 在电视中检测,识别和插入广告的设备和方法
CN105678696A (zh) * 2014-11-20 2016-06-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN107808373A (zh) * 2017-11-15 2018-03-16 北京奇虎科技有限公司 基于姿态的样本图像合成方法、装置及计算设备
CN108200334A (zh) * 2017-12-28 2018-06-22 广东欧珀移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备
CN108322644A (zh) * 2018-01-18 2018-07-24 努比亚技术有限公司 一种图像处理方法、移动终端以及计算机可读存储介质
CN112750071A (zh) * 2020-11-04 2021-05-04 上海序言泽网络科技有限公司 一种用户自定义的表情制作方法及系统
CN113112407A (zh) * 2021-06-11 2021-07-13 上海英立视电子有限公司 基于电视的照镜视野生成方法、系统、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6000602B2 (ja) * 2012-03-30 2016-09-28 キヤノン株式会社 体検出方法及び物体検出装置
US11908149B2 (en) * 2019-10-10 2024-02-20 Andrew Thomas Busey Pattern-triggered object modification in augmented reality system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1119481A (zh) * 1993-02-14 1996-03-27 Orad有限公司 在电视中检测,识别和插入广告的设备和方法
CN105678696A (zh) * 2014-11-20 2016-06-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN107808373A (zh) * 2017-11-15 2018-03-16 北京奇虎科技有限公司 基于姿态的样本图像合成方法、装置及计算设备
CN108200334A (zh) * 2017-12-28 2018-06-22 广东欧珀移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备
CN108322644A (zh) * 2018-01-18 2018-07-24 努比亚技术有限公司 一种图像处理方法、移动终端以及计算机可读存储介质
CN112750071A (zh) * 2020-11-04 2021-05-04 上海序言泽网络科技有限公司 一种用户自定义的表情制作方法及系统
CN113112407A (zh) * 2021-06-11 2021-07-13 上海英立视电子有限公司 基于电视的照镜视野生成方法、系统、设备及介质

Also Published As

Publication number Publication date
CN113507575A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
US8717412B2 (en) Panoramic image production
EP2018049B1 (en) Method of assembling a panoramic image and camera therefor
US9747870B2 (en) Method, apparatus, and computer-readable medium for superimposing a graphic on a first image generated from cut-out of a second image
US20060165310A1 (en) Method and apparatus for a virtual scene previewing system
US9747714B2 (en) Method, device and computer software
EP1843581A2 (en) Video processing and display
US11176716B2 (en) Multi-source image data synchronization
CN105979163A (zh) 一种拍摄方法及装置
CN110691175A (zh) 演播室中模拟摄像机运动跟踪的视频处理方法及装置
CN115118880A (zh) 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统
CN113382177A (zh) 一种多视角环绕拍摄方法及系统
CN113507575B (zh) 一种人体自拍镜头生成方法及系统
US20130044258A1 (en) Method for presenting video content on a hand-held electronic device
CN113112407B (zh) 基于电视的照镜视野生成方法、系统、设备及介质
CN116260956B (zh) 一种虚拟现实拍摄方法及系统
CN117119294B (zh) 虚拟场景的拍摄方法、装置、设备、介质和程序
WO2023236656A1 (zh) 互动画面的渲染方法、装置、设备、存储介质及程序产品
CN116320363B (zh) 一种多角度虚拟现实拍摄方法及系统
JP2001036898A (ja) パノラマ映像生成用カメラシステム
CN115243026A (zh) 一种光雕投影方法
KR101375708B1 (ko) 복수 영상을 이용한 모션 캡처 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 매체
KR100579135B1 (ko) 수렴형 3차원 다시점 영상 획득 방법
JP4099013B2 (ja) バーチャルスタジオ映像生成装置およびその方法ならびにそのプログラム
KR102699877B1 (ko) 카메라 앱기반 화상 편집 장치 및 그 방법
CN219802409U (zh) 一种xr虚拟制片实时合成系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant