CN111107279B - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111107279B
CN111107279B CN201811261567.9A CN201811261567A CN111107279B CN 111107279 B CN111107279 B CN 111107279B CN 201811261567 A CN201811261567 A CN 201811261567A CN 111107279 B CN111107279 B CN 111107279B
Authority
CN
China
Prior art keywords
stretching
arm
user
video
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811261567.9A
Other languages
English (en)
Other versions
CN111107279A (zh
Inventor
李啸
祝豪
唐堂
吴卓然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiktok Technology Co ltd
Original Assignee
Beijing Microlive Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Microlive Vision Technology Co Ltd filed Critical Beijing Microlive Vision Technology Co Ltd
Priority to CN201811261567.9A priority Critical patent/CN111107279B/zh
Publication of CN111107279A publication Critical patent/CN111107279A/zh
Application granted granted Critical
Publication of CN111107279B publication Critical patent/CN111107279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种图像处理方法、装置、电子设备及计算机可读存储介质,该方法包括:通过视频拍摄界面获取用户视频;根据用户视频的当前视频帧图像中用户的用户动作,对当前视频帧图像中与用户动作相应的人体部位进行拉伸处理,得到处理后的效果图。本公开的实施例中,可基于当前视频帧图像中的用户动作,对当前视频帧图像中与该用户动作相对应的人体部位进行拉伸处理,通过该方案,可以基于用户视频中每帧视频帧图像中用户的用户动作的变化,实现对用户视频中用户的相应人体部位的拉伸处理,从而可以使用户视频中用户的相应的人体部位产生肌肉变形的效果,可以为交互增添图像处理的趣味性。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本公开涉及图像处理技术领域,具体而言,本公开涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在交互平台中,为了提高平台的访问量,在平台中配置各种为用户提供的视频或图像进行处理的功能,以使得处理后的图像或视频满足用户的不同需求,从而提高平台的访问量。
现有技术中,平台中的各种功能通常为预先配置好的,基于该功能对用户所需要进行处理的图像或视频进行处理时,其处理方式与用户所需要进行处理的图像或视频中的内容无关,无论视频或图像中的内容是什么样的,通过平台中预先配置好的处理方式处理后的效果均为相同的,使得处理后的视频或图像的效果单一,无法满足用户的实际需求。
可见,现有技术中处理用户的图像或视频的处理方式单一,用户交互体验较差,不能够满足用户的实际应用需求。
发明内容
本公开的目的旨在至少能解决上述的技术缺陷之一,提升用户的使用体验。本公开采用的技术方案如下:
第一方面,本公开提供了一种图像处理方法,该方法包括:
通过视频拍摄界面获取用户视频;
根据用户视频的当前视频帧图像中用户的用户动作,对当前视频帧图像中与用户动作相应的人体部位进行拉伸处理,得到处理后的效果图。
本公开的实施例中,该方法还包括:
根据处理后的效果图,得到拍摄视频。
本公开的实施例中,该方法还包括:
通过视频拍摄界面,接收用户的视频保存操作和/或视频发布操作;
响应于视频保存操作,将拍摄视频保存于本地,和/或,响应于视频发布操作,将拍摄视频进行发布。
本公开的实施例中,该方法还包括:
通过视频拍摄界面,接收用户针对待添加特效的特效添加操作;
响应于特效添加操作,将待添加特效添加至用户视频和/或拍摄视频中。
本公开的实施例中,该方法还包括:
通过视频拍摄界面,接收用户针对待添加音乐的音乐添加操作;
响应于音乐添加操作,将待添加音乐添加至用户视频和/或拍摄视频中。
本公开的实施例中,根据用户视频的当前视频帧图像中用户的用户动作,对当前视频帧图像中与用户动作相应的人体部位进行拉伸处理,包括:
检测用户视频的当前视频帧图像中用户的用户动作;
当用户动作满足触发条件时,对当前视频帧图像中用户的相应的人体部位进行拉伸处理。
本公开的实施例中,检测用户视频的当前视频帧图像中用户的用户动作,包括:
检测用户视频的当前视频帧图像中用户的特定部位的人体关键点;
根据特定部位的人体关键点,确定与特定部位对应的用户动作。
本公开的实施例中,用户动作包括手臂动作,特定部位的人体关键点包括用户的每一侧手臂的手臂关键点。
本公开的实施例中,每一侧手臂的手臂关键点包括每一侧手臂的手腕关键点、手肘关键点和肩部关键点。
本公开的实施例中,触发条件包括:
同一侧手臂的大臂与小臂的夹角,和/或,同一侧手臂的大臂与竖直方向的夹角在预设角度范围内,其中,小臂为同一侧手臂的手腕关键点和手肘关键点之间的连线,大臂为同一侧手臂的手肘关键点和肩部关键点之间的连线。
本公开的实施例中,对当前视频帧图像中用户的相应的人体部位进行拉伸处理,包括:
根据相应侧手臂的手臂关键点,确定相应侧手臂的至少一个拉伸点;
确定相应侧手臂的拉伸点的拉伸参数,拉伸参数包括拉伸长度和拉伸方向;
根据相应侧手臂的拉伸点的拉伸参数,对相应侧手臂的拉伸点进行相应的拉伸处理。
本公开的实施例中,确定相应侧手臂的拉伸点的拉伸参数,包括:
根据预配置的第一距离,确定相应侧手臂的拉伸点的拉伸长度;
将相应侧手臂的大臂的法线方向,确定为相应侧手臂对应的拉伸点的拉伸方向。
本公开的实施例中,根据预配置的第一距离,确定相应侧手臂的拉伸点的拉伸长度,包括:
根据预配置的第一距离和拉伸控制系数,确定相应侧手臂的拉伸点的拉伸长度,拉伸控制系数为用于控制拉伸长度的系数。
本公开的实施例中,根据相应侧手臂的拉伸点的拉伸参数,对相应侧手臂的拉伸点进行相应的拉伸处理,包括:
根据相应侧手臂的拉伸点,确定当前视频帧图像中的待拉伸区域;
根据相应侧手臂的拉伸点的拉伸参数,对待拉伸区域进行相应的拉伸处理。
本公开的实施例中,该方法还包括:
根据相应侧手臂的拉伸点和预配置的第三距离,确定当前视频帧图像中的待平滑区域;
对处理后的效果图中相应的待平滑区域进行平滑处理。
第二方面,本公开提供了一种图像处理装置,该装置包括:
用户视频获取模块,用于通过视频拍摄界面获取用户视频;
图像处理模块,用于根据用户视频的当前视频帧图像中用户的用户动作,对当前视频帧图像中与用户动作相应的人体部位进行拉伸处理,得到处理后的效果图。
本公开的实施例中,该装置还包括:
拍摄视频确定模块,用于根据处理后的效果图,得到拍摄视频。
本公开的实施例中,该装置还包括:
拍摄视频处理模块,用于通过视频拍摄界面,接收用户的视频保存操作和/或视频发布操作,响应于视频保存操作,将拍摄视频保存于本地,和/或,响应于视频发布操作,将拍摄视频进行发布。
本公开的实施例中,该装置还包括:
特效添加模块,用于通过视频拍摄界面,接收用户针对待添加特效的特效添加操作,响应于特效添加操作,将待添加特效添加至用户视频和/或拍摄视频中。
本公开的实施例中,该装置还包括:
音乐添加模块,用于通过视频拍摄界面,接收用户针对待添加音乐的音乐添加操作,响应于音乐添加操作,将待添加音乐添加至用户视频和/或拍摄视频中。
本公开的实施例中,图像处理模块在根据用户视频的当前视频帧图像中用户的用户动作,对当前视频帧图像中与用户动作相应的人体部位进行拉伸处理时,具体用于:
检测用户视频的当前视频帧图像中用户的用户动作;
当用户动作满足触发条件时,对当前视频帧图像中用户的相应的人体部位进行拉伸处理。
本公开的实施例中,图像处理模块在检测用户视频的当前视频帧图像中用户的用户动作时,具体用于:
检测用户视频的当前视频帧图像中用户的特定部位的人体关键点;
根据特定部位的人体关键点,确定与特定部位对应的用户动作。
本公开的实施例中,用户动作包括手臂动作,特定部位的人体关键点包括用户的每一侧手臂的手臂关键点。
本公开的实施例中,每一侧手臂的手臂关键点包括每一侧手臂的手腕关键点、手肘关键点和肩部关键点。
本公开的实施例中,触发条件包括:
同一侧手臂的大臂与小臂的夹角,和/或,同一侧手臂的大臂与竖直方向的夹角在预设角度范围内,其中,小臂为同一侧手臂的手腕关键点和手肘关键点之间的连线,大臂为同一侧手臂的手肘关键点和肩部关键点之间的连线。
本公开的实施例中,图像处理模块在对当前视频帧图像中用户的相应的人体部位进行拉伸处理时,具体用于:
根据相应侧手臂的手臂关键点,确定相应侧手臂的至少一个拉伸点;
确定相应侧手臂的拉伸点的拉伸参数,拉伸参数包括拉伸长度和拉伸方向;
根据相应侧手臂的拉伸点的拉伸参数,对相应侧手臂的拉伸点进行相应的拉伸处理。
本公开的实施例中,图像处理模块在确定相应侧手臂的拉伸点的拉伸参数时,具体用于:
根据预配置的第一距离,确定相应侧手臂的拉伸点的拉伸长度;
将相应侧手臂的大臂的法线方向,确定为相应侧手臂对应的拉伸点的拉伸方向。
本公开的实施例中,图像处理模块在根据预配置的第一距离,确定相应侧手臂的拉伸点的拉伸长度时,具体用于:
根据预配置的第一距离和拉伸控制系数,确定相应侧手臂的拉伸点的拉伸长度,拉伸控制系数为用于控制拉伸长度的系数。
本公开的实施例中,图像处理模块在根据相应侧手臂的拉伸点的拉伸参数,对相应侧手臂的拉伸点进行相应的拉伸处理时,具体用于:
根据相应侧手臂的拉伸点,确定当前视频帧图像中的待拉伸区域;
根据相应侧手臂的拉伸点的拉伸参数,对待拉伸区域进行相应的拉伸处理。
本公开的实施例中,该装置还包括:
平滑处理模块,用于根据相应侧手臂的拉伸点和预配置的第三距离,确定当前视频帧图像中的待平滑区域,对处理后的效果图中相应的待平滑区域进行平滑处理。
第三方面,本公开提供了一种电子设备,该电子设备包括:
处理器和存储器;
存储器,用于存储计算机操作指令;
处理器,用于通过调用计算机操作指令,执行如本公开的第一方面的任一实施例中所示的方法。
第四方面,本公开提供了一种计算机可读存储介质,该存储介质存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本公开的第一方面的任一实施例中所示的方法。
本公开实施例提供的技术方案带来的有益效果是:
本公开实施例的图像处理方法、装置、电子设备及计算机可读存储介质,可基于当前视频帧图像中的用户动作,对当前视频帧图像中与该用户动作相对应的人体部位进行拉伸处理,通过该方案,可以基于用户视频中每帧视频帧图像中用户的用户动作的变化,实现对用户视频中用户的相应人体部位的拉伸处理,从而可以使用户视频中用户的相应的人体部位产生肌肉变形的效果,基于此种交互方式,可以为交互增添图像处理的趣味性,从而提升了用户的交互体验。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对本公开实施例描述中所需要使用的附图作简单地介绍。
图1为本公开的实施例提供的一种图像处理方法的流程示意图;
图2为本公开一示例中的一种视频拍摄界面的示意图;
图3为本公开一示例中的一种用户的手臂动作的示意图;
图4为本公开一示例中的又一种用户的手臂动作的示意图;
图5为本公开一示例中拉伸点的拉伸方向的示意图;
图6为本公开一示例中手臂的拉伸点的示意图;
图7为本公开另一示例中手臂的拉伸点的示意图;
图8为本公开一示例中确定位于用户大臂上方的一个拉伸点的方式的示意图;
图9为本公开一示例中手臂的拉伸效果示意图;
图10为本公开一示例中待拉伸区域和待平滑区域的示意图;
图11为本公开的实施例提供的一种图像处理装置的结构示意图;
图12为本公开的实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本公开的实施例,该实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本公开的技术方案,而不能解释为对本公开的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是,本公开的说明书中使用的措辞“包括”是指存在该特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。
图1为本公开的实施例提供的一种图像处理方法的流程示意图;如图1所示,该方法可以包括:
步骤S110,通过视频拍摄界面获取用户视频。
其中,用户视频中包括用户对应的人体部位,比如,手臂、腿等;用户视频可以通过具有拍摄功能的终端设备拍摄获得,视频拍摄界面可以是该终端设备的显示界面,该视频拍摄界面可以用于显示终端设备所拍摄到的内容,终端设备指的是诸如美颜相机、智能手机和平板电脑之类的具有图像拍摄功能的电子产品。用户可以通过终端设备中的诸如触摸屏或物理按键之类的输入设备输入摄像头启动指令,控制终端设备的摄像头处于拍照模式,获取摄像头采集到的用户视频。
其中,摄像头可以是终端设备的内置摄像头,如前置摄像头和后置摄像头,也可以是终端设备的外置摄像头,如旋转摄像头,可选的是前置摄像头。
步骤S120,根据用户视频的当前视频帧图像中用户的用户动作,对当前视频帧图像中与用户动作相应的人体部位进行拉伸处理,得到处理后的效果图。
其中,用户动作为人体的肢体动作,具体指的是通过手腕、手肘、肩、腿等部位的协调所表达出来的动作,则与用户动作相应的人体部位即为与用户动作相对应的肢体。
本公开的实施例中的方案,可基于当前视频帧图像中的用户动作,对当前视频帧图像中与该用户动作相对应的人体部位进行拉伸处理,通过该方案,可以基于用户视频中每帧视频帧图像中用户的用户动作的变化,实现对用户视频中用户的相应人体部位的拉伸处理,从而可以使用户视频中用户的相应的人体部位产生肌肉变形的效果,基于此种交互方式,可以为交互增添图像处理的趣味性,从而提升了用户的交互体验。
本公开的实施例中,该方法还可以包括:
根据处理后的效果图,得到拍摄视频。
其中,如果用户视频中的用户动作在不断变化,则可以对用户视频中的每帧视频帧图像进行拉伸处理,处理后可以得到对应的拍摄视频,通过该拍摄视频可以更好的体现出人体部位产生的肌肉变形效果。
本公开的实施例中,该方法还可以包括:
通过视频拍摄界面,接收用户的视频保存操作和/或视频发布操作;
响应于视频保存操作,将拍摄视频保存于本地,和/或,响应于视频发布操作,将拍摄视频进行发布。
其中,在得到拍摄视频之后,可以向用户提供将拍摄视频发布和/或保存的功能,即通过用户的视频发布操作,将拍摄视频发布到指定的视频平台中,以实现对拍摄视频的分享;或者通过用户的视频保存操作,将拍摄视频保存在本地,以供该用户查看。在实际应用中,得到拍摄视频后,可以跳转到视频发布界面,通过视频发布界面接收用户的视频发布操作,也可以直接通过视频拍摄界面接收该用户的视频发布操作,其中,视频发布操作可通过客户端的相关触发标识触发该操作,其中,触发标识的具体形式可以根据实际需要配置,比如,可以是客户端界面上的指定触发按钮或输入框,还可以是用户的语音指令,具体的,例如可以是在客户端的应用界面上显示的“发布”的虚拟按钮,用户点击该按钮的操作即为用户的视频发布操作。
本公开的实施例中,该方法还可以包括:
通过视频拍摄界面,接收用户针对待添加特效的特效添加操作;
响应于特效添加操作,将待添加特效添加至用户视频和/或拍摄视频中。
其中,为了满足不同用户的视频拍摄需求,还可以为用户提供在用户视频和/或拍摄视频中添加特效的功能,即通过用户的特效添加操作,对用户视频和/或拍摄视频增加所选择的待添加特效。该待添加特效可以在添加在用户视频中,即拍摄视频拍摄完成之前添加,也可以在用户视频拍摄完成之后添加,即在拍摄视频中添加,本公开中不限定特效的添加时机。
在实际应用中,可通过以下至少一种方式实现在用户视频和/或拍摄视频中添加特效的功能:
第一种:如图2所示的一种视频拍摄界面的示意图,视频拍摄界面A中显示当前视频帧图像中的用户动作,可以通过视频拍摄界面A上显示的“特效”的虚拟按钮实现特效添加功能,用户点击该按钮的操作即为用户针对待添加特效的特效添加操作,将该按钮对应的特效添加在用户视频和/或拍摄视频中。
第二种:可以通过滑动用户视频和/或拍摄视频的显示界面添加特效,该显示界面可以是与视频拍摄界面相同的界面,也可以是不同的界面,用户通过操作物,比如手指,左右滑动用户视频和/或拍摄视频的显示界面,即可将相应的特效添加至相应的视频中。
本公开的实施例中,该方法还可以包括:
通过视频拍摄界面,接收用户针对待添加音乐的音乐添加操作;
响应于音乐添加操作,将待添加音乐添加至用户视频和/或拍摄视频中。
其中,为了满足不同用户的视频拍摄需求,还可以为用户提供在用户视频和/或拍摄视频中添加音乐的功能,即通过用户的音乐添加操作,对用户视频和/或拍摄视频增加所选择的待添加音乐,该待添加音乐可以是根据用户的音乐添加操作随机选择的一段音乐,也可以是用户从音乐库中选择的音乐,如果在用户视频中添加音乐,用户可基于添加的音乐的节奏做出相应的用户动作,可进一步提高用户的交互体验,如果在拍摄视频中添加音乐,可使拍摄视频在播放时,该拍摄视频中的用户动作与音乐节奏相配合,进一步提高用户的交互体验。
本公开的实施例中,步骤S120中,根据用户视频的当前视频帧图像中用户的用户动作,对当前视频帧图像中与用户动作相应的人体部位进行拉伸处理,可以包括:
检测用户视频的当前视频帧图像中用户的用户动作;
当用户动作满足触发条件时,对当前视频帧图像中用户的相应的人体部位进行拉伸处理。
其中,用户动作为人体的肢体动作,具体指的是通过手腕、手肘、肩、腿等部位的协调所表达出来的动作,则检测用户视频的当前视频帧图像中的用户动作,即是检测当前视频帧图像中由各个人体部位所形成的肢体动作。
其中,触发条件可以根据实际需要进行配置,可以是预先配置的用户动作或指令,具体的,如果检测到的当前视频帧图像中的用户动作与触发条件不匹配,可以不对该用户动作对应的人体部位进行后续处理,也可以根据预配置的处理方式进行处理;如果检测到的当前视频帧图像中的用户动作与触发条件匹配,则对当前视频帧图像中用户的相应的人体部位进行拉伸处理,使得当前视频帧图像中的相应的人体部位发生相应的拉伸变形。在实际应用中,触发条件可以是满足预设角度范围的用户动作,比如手臂动作或手势动作等,也可以用户的语音指令等。
本公开的实施例中,检测用户视频的当前视频帧图像中用户的用户动作,可以包括:
检测用户视频的当前视频帧图像中用户的特定部位的人体关键点;
根据特定部位的人体关键点,确定与特定部位对应的用户动作。
其中,特定部位为人体部位中的某个指定部位,即需要进行拉伸处理的人体部位,特定部位可以根据需求预先配置,比如手臂,则对应检测用户的特定部位的人体关键点即为检测手臂的关键点,由于人体不同部位可以通过不同的人体关键点进行区分,不同的人体关键点可以反应用户动作的当前状态,因此,为了准确检测到当前视频帧图像中的用户动作,需先检测当前视频帧图像中用户的特定部位的人体关键点,再基于人体关键点所对应的人体部位确定用户动作。需要说明的是,图像中人体关键点的检测可以通过现有技术中关键点的检测技术实现,在此不在赘述。
本公开的实施例中,用户动作包括手臂动作,特定部位的人体关键点包括用户的每一侧手臂的手臂关键点。
其中,手臂动作即为手臂的肢体动作,具体指的是通过手腕、手肘、肩等手臂部位的协调所表达出来的动作,人体图像中的用户包括左右两个手臂,可通过分别检测左手臂的关键点和右手臂的关键点,实现对左右两侧手臂的手臂动作的检测。
在实际应用中,如果检测的左臂的手臂动作满足触发条件,则对当前视频帧图像中用户的左臂进行相应的处理,如果检测的右臂的手臂动作满足触发条件,则对当前视频帧图像中用户的右臂进行相应的处理,同样的,如果检测的两个手臂的手臂动作均满足触发条件,则对两个手臂都进行相应的处理。
本公开的实施例中,每一侧手臂的手臂关键点可以包括每一侧手臂的手腕关键点、手肘关键点和肩部关键点。
也就是说,对于左臂而言,左臂的手臂关键点包括左手腕关键点、左手肘关键点和左肩关键点,对于右臂而言,右臂的手臂关键点包括右手腕关键点、右手肘关键点和右肩关键点。
本公开的实施例中,触发条件可以包括:
同一侧手臂的大臂与小臂的夹角,和/或,同一侧手臂的大臂与竖直方向的夹角在预设角度范围内,其中,小臂为同一侧手臂的手腕关键点和手肘关键点之间的连线,大臂为同一侧手臂的手肘关键点和肩部关键点之间的连线。
其中,触发条件可以基于同一侧手臂的大臂与小臂的夹角,和/或,同一侧手臂的大臂与竖直方向的夹角进行动态调整,预设的角度范围可以根据实际需求配置,下面以不同的触发条件为例,对满足触发条件的手臂动作进行说明:
第一种,触发条件为同一侧手臂的大臂与小臂的夹角和同一侧手臂的大臂与竖直方向的夹角均大于0度,如图3示出了一种在客户端的应用界面上显示的待处理人体图像中的手臂动作,该示意图中S1部分示意性的示出了人体大臂,S2部分示意性的示出了人体的小臂。所示手臂动作中,手腕关键点a1与手肘关键点a2之间的连线A,与手肘关键点a2与肩部关键点a3之间的连线B形成的夹角为90°,且连线B与竖直方向的夹角为90°,即同一手臂的大臂端平、小臂与大臂垂直,并且大臂与竖直方向垂直,由上述两个夹角和触发条件可知,该手臂动作满足触发条件,因此,可以对待处理人体图像中与该手臂动作相对应侧的手臂进行拉伸处理。
第二种,触发条件为同一侧手臂的大臂与小臂的夹角为90度,图4中示出了一种在客户端的应用界面上显示的待处理人体图像中的手臂动作,基于图3中所示的手臂动作,检测该手臂动作与触发条件是否一致,如图3中所示,该示例中手腕关键点a1与手肘关键点a2之间的连线A与手肘关键点a2与肩部关键点a3之间的连线B之间的夹角α大于90°,即大臂与小臂之间的夹角大于90°,则基于上述触发条件,无论同一侧手臂的大臂与竖直方向的夹角为多少度,该手臂动作不满足触发条件,因此,可以不对待处理人体图像中与该手臂动作相对应侧的手臂进行拉伸处理。
本公开的实施例中,步骤S130中,对当前视频帧图像中用户的相应的人体部位进行拉伸处理,可以包括:
根据相应侧手臂的手臂关键点,确定相应侧手臂的至少一个拉伸点;
确定相应侧手臂的拉伸点的拉伸参数,拉伸参数包括拉伸长度和拉伸方向;
根据相应侧手臂的拉伸点的拉伸参数,对相应侧手臂的拉伸点进行相应的拉伸处理。
其中,拉伸点为当前视频帧图像中相应侧的手臂需要进行拉伸的部位所对应的位置点,该位置点可以为需要进行拉伸部位的具有代表性的点,因此,基于该拉伸点对当前视频帧图像中用户的相应的人体部位进行拉伸处理,可更好反应该需要进行拉伸的人体部位的当前状态,使手臂呈现出肌肉放大的效果。
在实际应用中,可以根据实际需要配置具体选用拉伸点。其中,拉伸长度指的是拉伸点最终拉伸到的位置,在实际应用中,对拉伸点进行拉伸时,需要知道将拉伸点按照怎样的方向拉伸到怎样的位置,即需要知道拉伸点的拉伸方向和拉伸长度,因此,基于相应侧手臂的拉伸点的拉伸长度和拉伸方向,可对当前视频帧图像中用户的相应侧的手臂进行相应的拉伸处理。
本公开的实施例中,确定相应侧手臂的拉伸点的拉伸参数,可以包括:
根据预配置的第一距离,确定相应侧手臂的拉伸点的拉伸长度;
将相应侧手臂的大臂的法线方向,确定为相应侧手臂对应的拉伸点的拉伸方向。
其中,第一距离可以根据不同的拉伸需求进行配置,不同的第一距离可以对应不同的拉伸长度,则根据预配置的第一距离可以确定相应侧手臂的拉伸点的拉伸长度。确定相应侧手臂的拉伸点的拉伸长度之后,要基于拉伸点的拉伸方向即可实现对拉伸点的拉伸,使相应侧手臂的肌肉产生变形效果,为了使变形效果更明显、看上去效果更加逼真,可以将拉伸方向确定为相应侧大臂的法线方向,即将手臂的肌肉沿着大臂的法线方向拉伸。
在一示例中,如图5中所示的拉伸方向的示意图,其中,手肘关键点a2和肩部关键点a3之间的连线为B,即大臂所对应的直线为B,则拉伸方向为垂直于连线B的方向,即如图5中所示的直线C所对应的方向。
本公开的实施例中,至少一个拉伸点可以包括位于相应侧手臂的大臂上的至少一个位置点。
在一示例中,如图6所示的手臂的拉伸点的示意图,其中,手肘关键点a2和肩部关键点a3之间的连线为B,即大臂所对应的直线为B,则拉伸点可以为直线B上的至少一个位置点f1。
本公开的实施例中,至少一个拉伸点还可以包括位于相应侧手臂的大臂上方的至少一个点。
其中,如果拉伸点中只包括在相应侧手臂的大臂上的位置点,在对拉伸点进行拉伸处理时,手臂的肌肉变形效果不够真实,因此,可在相应侧手臂的大臂上方再选择至少一个点作为拉伸点,则在对相应侧手臂的拉伸点进行拉伸处理后,可使得手臂的肌肉变形效果更真实。
在一示例中,如图6所示的手臂的拉伸点的示意图,其中,手肘关键点a2和肩部关键点a3之间的连线为B,即大臂所对应的直线为B,则拉伸点中还可以包括位于直线B上方的至少一个点,该至少一个点可以是连线B上的一个点f1,除位于连线B上的一个拉伸点f1之外,还可以包括当前视频帧图像中的用户的位于大臂(连线B)上方的至少一个点,比如图中所示的点f2。
本公开的实施例中,至少一个位置点可以包括三个位置点,上述位于相应侧手臂的大臂上方的至少一个点可以包括位于相应侧手臂的大臂的法线上的、且与三个位置点中的中间位置点位于同一法线上的一个点。
其中,在一可选方式中,如图7为所示的确定位于用户大臂上方的一个拉伸点的方式的示意图,手肘关键点a2和肩部关键点a3之间的连线为B,即大臂所对应的直线为B,上述三个位置点可以是图中所示连线B上的点b1、点b2和点b3,其中,点b1为点b2和点b3中间的位置点,点b1可以为手肘关键点a2和肩部关键点a3的中点,点b2位于手肘关键点a2和肩部关键点a3的1/3处,点b3位于手肘关键点a2和肩部关键点a3的2/3处,即点b2和点b3将大臂(连线B)进行了三等分。
在该示例中,如图7所示,位于大臂上的至少一个位置点可以包括上述的点b1、点b2和点b3三个位置点,其中,直线C为相应侧手臂的大臂的法线,即直线C为连线B的法线,则图7中所示的点b4即为在相应侧手臂的大臂的法线上的、且与三个点中的中间点(点b1)位于同一法线(直线C)上的至少一个点中的一个点。因此,该示例中,拉伸点可以包括点b1、点b2、点b3和点b4。
本公开的实施例中,位于相应侧大臂上方的至少一个点与相应侧手臂的大臂的距离可以为预配置的第二距离。
其中,基于位于相应侧手臂的大臂上的点,与位于相应侧手臂的大臂上方的点所对应的区域可以形成一定的弧度,如图7中所示的弧线y1,其中弧线y1是由点b4,点b2和点b3所形成的弧线,由于不同的弧度可以影响手臂肌肉的拉伸效果,因此,可以基于第二距离的配置实现对拉伸效果的一定程度的控制,即基于第二距离控制点b4的位置,从而控制弧线y1的弧度,以尽可能的使手臂肌肉的拉伸处理效果更真实。其中,第二距离可以根据实验值和/或经验值进行设置和调整。
在又一示例中,可以基于实际需求配置上述点b1、点b2、点b3和点b4的位置,如图8所示的确定位于用户的大臂上方的一个拉伸点的方式的示意图,其中,点b1可以为手肘关键点a2和肩部关键点a3的中点,且点b1在直线B上,点b2位于手肘关键点a2和肩部关键点a3的1/3处,点b3位于手肘关键点a2和肩部关键点a3的2/3处,即点b2和点b3将大臂进行了三等分,点b4可以是位于以点b1为圆心、以第一预设距离d1为半径的圆的法线C方向上的、与点b1距离相差第二预设距离d2的点,即点b4与圆心b1在同一法线C上,其中,第一预设距离d1和第二预设距离d2均可以基于实际需求进行配置,第一预设距离d1和第二预设距离d2可以相同,也可以不同,在该示例中,第一预设距离d1为点b1与点b2之间的距离,第二预设距离d2大于第一预设距离d1。
本公开的实施例中,根据预配置的第一距离,确定相应侧手臂的拉伸点的拉伸长度,可以包括:
根据预配置的第一距离和拉伸控制系数,确定相应侧手臂的拉伸点的拉伸长度,拉伸控制系数为用于控制拉伸长度的系数。
其中,拉伸控制系数可以是预先配置的系数,也可以是动态调整系数,拉伸控制系数的作用是控制拉伸长度,拉伸控制系数为不小于0且不大于1的数。
本公开的实施例中,该方法还可以包括:
根据相应侧手臂的大臂与小臂的第一夹角,和/或,相应侧手臂的大臂与竖直方向的第二夹角,确定拉伸控制系数。
其中,拉伸控制系数可基于相应侧手臂的大臂与小臂的第一夹角,和/或,相应侧手臂的大臂与竖直方向的第二夹角对拉伸控制系数进行动态调整,不同的拉伸控制系数对应不同的拉伸长度,从而进一步实现了对拉伸效果的动态控制,使相应侧手臂的拉伸效果与用户的手臂动作更加适配,拉伸效果更加生动。其中,可以理解的是,竖直方向即为垂直于水平方向的方向。
在一示例中,当拉伸控制系数为1时,所确定的拉伸长度最长,表示对拉伸点的拉伸程度最强;当拉伸控制系数小于1时,所确定的拉伸长度小于拉伸控制系数为1时的拉伸长度,则对拉伸点或拉伸起始点的拉伸程度弱于拉伸控制系数为1时的拉伸程度。如图9所示的手臂拉伸效果示意图,图中实线x1表示拉伸控制系数为1时,对应的拉伸效果,虚线x2表示拉伸控制系数小于1时,对应的拉伸效果。
本公开的实施例中,根据相应侧手臂的大臂与小臂的第一夹角,和/或,相应侧手臂的大臂与竖直方向的第二夹角,确定拉伸控制系数,可以包括:
根据相应侧手臂的大臂与小臂的第一夹角,和/或,相应侧手臂的大臂与竖直方向的第二夹角,以及预配置的夹角与控制系数的对应关系,确定拉伸控制系数。
其中,拉伸控制系数可以基于第一夹角和第二夹角这两个夹角中的至少一个角度进行调整,第一夹角为相应侧手臂的大臂与小臂的夹角,第二夹角为相应侧手臂的大臂与竖直方向的夹角。在实际应用中,可以预先配置夹角与控制系数的对应关系,在只基于第一夹角或第二夹角控制拉伸控制系数时,该对应关系可以是第一夹角/第二夹角与控制系数的对应关系,在同时基于两个夹角控制拉伸控制系数时,该对应关系则可以是两个夹角与控制系数的对应关系。
在一示例中,比如在该对应关系中,当第一夹角和第二夹角同时满足第一条件时,对应的拉伸控制系数为A,当第一夹角和第二夹角同时满足第二条件时,对应的拉伸控制系数为B。
本公开的实施例中,拉伸控制系数与以下至少一项成反比:
第一夹角与直角的差值;
第二夹角与直角的差值。
也就是说,在该可选方案中,第一夹角和/或第二夹角越接近90度,拉伸控制系数的取值越大。例如,在一示例中,当第一夹角和第二夹角同时为直角时,对应的拉伸控制系数可以为1,当第一夹角和第二夹角同时或其中一个夹角小于90°时,对应的拉伸控制系数可以是小于1的数值。其中,上述差值均可以为绝对值。
本公开的实施例中,根据相应侧手臂的拉伸点的拉伸参数,对相应侧手臂的拉伸点进行相应的拉伸处理,可以包括:
根据相应侧手臂的拉伸点,确定当前视频帧图像中的待拉伸区域;
根据相应侧手臂的拉伸点的拉伸参数,对待拉伸区域进行相应的拉伸处理。
在实际应用中,在对图像进行拉伸处理时,如果只是对拉伸点进行拉伸,处理后的图像的效果不够理想,因此,为了进一步提升相应侧手臂的拉伸效果,可以基于拉伸点确定对应的待拉伸区域,从而对待拉伸区域进行拉伸处理,可使得图像处理的效果更平滑,即手臂的变形效果更真实。
本公开的实施例中,该方法还可以包括:
根据相应侧手臂的拉伸点和预配置的第三距离,确定当前视频帧图像中的待平滑区域;
对处理后的效果图中相应的待平滑区域进行平滑处理。
其中,为了使当前视频帧图像中的手臂肌肉放大效果更贴合实际,可以确定当前视频帧图像中的待平滑区域,即对当前视频帧图像中的相应侧手臂进行拉伸处理后,可对处理后的效果图中相应的待平滑区域进行平滑处理,使得手臂呈现出的肌肉放大效果更贴近实际。其中,第三距离可以根据实际需求进行配置。
在一示例中,如图10所示的待拉伸区域示意图,图中所示的区域h1可以为根据拉伸点b1确定的当前视频帧图像中的待拉伸区域,图中所示的区域h2可以为根据拉伸点b1和预配置的第三距离d3确定的待平滑区域,其中,图中所示的待拉伸区域h1和待平滑区域h2所表示的只是一种示例,并不能限定待拉伸区域h1和待平滑区域h2所对应区域的大小。
基于与图1中所示方法相同的原理,本公开的实施例中还提供了一种图像处理装置20,如图11所示,该图像处理装置20可以包括:用户视频获取模块210以及图像处理模块220,其中,
用户视频获取模块210,用于通过视频拍摄界面获取用户视频;
图像处理模块220,用于根据用户视频的当前视频帧图像中用户的用户动作,对当前视频帧图像中与用户动作相应的人体部位进行拉伸处理,得到处理后的效果图。
本公开的实施例中的方案,可基于当前视频帧图像中的用户动作,对当前视频帧图像中与该用户动作相对应的人体部位进行拉伸处理,通过该方案,可以基于用户视频中每帧视频帧图像中用户的用户动作的变化,实现对用户视频中用户的相应人体部位的拉伸处理,从而可以使用户视频中用户的相应的人体部位产生肌肉变形的效果,基于此种交互方式,可以为交互增添图像处理的趣味性,从而提升了用户的交互体验。
本公开的实施例中,该装置还可以包括:
拍摄视频确定模块,用于根据处理后的效果图,得到拍摄视频。
本公开的实施例中,该装置还可以包括:
拍摄视频处理模块,用于通过视频拍摄界面,接收用户的视频保存操作和/或视频发布操作,响应于视频保存操作,将拍摄视频保存于本地,和/或,响应于视频发布操作,将拍摄视频进行发布。
本公开的实施例中,该装置还可以包括:
特效添加模块,用于通过视频拍摄界面,接收用户针对待添加特效的特效添加操作,响应于特效添加操作,将待添加特效添加至用户视频和/或拍摄视频中。
本公开的实施例中,该装置还可以包括:
音乐添加模块,用于通过视频拍摄界面,接收用户针对待添加音乐的音乐添加操作,响应于音乐添加操作,将待添加音乐添加至用户视频和/或拍摄视频中。
本公开的实施例中,图像处理模块220在根据用户视频的当前视频帧图像中用户的用户动作,对当前视频帧图像中与用户动作相应的人体部位进行拉伸处理时,具体用于:
检测用户视频的当前视频帧图像中用户的用户动作;
当用户动作满足触发条件时,对当前视频帧图像中用户的相应的人体部位进行拉伸处理。
本公开的实施例中,图像处理模块220在检测用户视频的当前视频帧图像中用户的用户动作时,具体用于:
检测用户视频的当前视频帧图像中用户的特定部位的人体关键点;
根据特定部位的人体关键点,确定与特定部位对应的用户动作。
本公开的实施例中,用户动作包括手臂动作,特定部位的人体关键点包括用户的每一侧手臂的手臂关键点。
本公开的实施例中,每一侧手臂的手臂关键点可以包括每一侧手臂的手腕关键点、手肘关键点和肩部关键点。
本公开的实施例中,触发条件可以包括:
同一侧手臂的大臂与小臂的夹角,和/或,同一侧手臂的大臂与竖直方向的夹角在预设角度范围内,其中,小臂为同一侧手臂的手腕关键点和手肘关键点之间的连线,大臂为同一侧手臂的手肘关键点和肩部关键点之间的连线。
本公开的实施例中,图像处理模块220在对当前视频帧图像中用户的相应的人体部位进行拉伸处理时,具体用于:
根据相应侧手臂的手臂关键点,确定相应侧手臂的至少一个拉伸点;
确定相应侧手臂的拉伸点的拉伸参数,拉伸参数包括拉伸长度和拉伸方向;
根据相应侧手臂的拉伸点的拉伸参数,对相应侧手臂的拉伸点进行相应的拉伸处理。
本公开的实施例中,图像处理模块220在确定相应侧手臂的拉伸点的拉伸参数时,具体用于:
根据预配置的第一距离,确定相应侧手臂的拉伸点的拉伸长度;
将相应侧手臂的大臂的法线方向,确定为相应侧手臂对应的拉伸点的拉伸方向。
本公开的实施例中,图像处理模块220在根据预配置的第一距离,确定相应侧手臂的拉伸点的拉伸长度时,具体用于:
根据预配置的第一距离和拉伸控制系数,确定相应侧手臂的拉伸点的拉伸长度,拉伸控制系数为用于控制拉伸长度的系数。
本公开的实施例中,图像处理模块220在根据相应侧手臂的拉伸点的拉伸参数,对相应侧手臂的拉伸点进行相应的拉伸处理时,具体用于:
根据相应侧手臂的拉伸点,确定当前视频帧图像中的待拉伸区域;
根据相应侧手臂的拉伸点的拉伸参数,对待拉伸区域进行相应的拉伸处理。
本公开的实施例中,该装置还可以包括:
平滑处理模块,用于根据相应侧手臂的拉伸点和预配置的第三距离,确定当前视频帧图像中的待平滑区域,对处理后的效果图中相应的待平滑区域进行平滑处理。
本公开实施例的视频拍摄装置可执行本公开的实施例所提供的一种视频拍摄方法,其实现原理相类似,本公开各实施例中的视频拍摄装置中的各模块所执行的动作是与本公开各实施例中的视频拍摄方法中的步骤相对应的,对于视频拍摄装置的各模块的详细功能描述具体可以参见前文中所示的对应的视频拍摄方法中的描述,此处不再赘述。
基于与本公开的实施例中的图像处理方法相同的原理,本公开提供了一种电子设备,该电子设备包括处理器和存储器;存储器,用于存储操作指令;处理器,用于通过调用操作指令,执行如本公开的图像处理方法中的任一实施例中所示的方法。
基于与本公开的实施例中的图像处理方法相同的原理,本公开提供了一种计算机可读存储介质,该存储介质存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本公开的图像处理方法中的任一实施例中所示的方法。
本公开的实施例中,如图12所示,其示出了适于用来实现本公开实施例的电子设备30(例如实现图1中所示的方法的终端设备或服务器)的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示,电子设备30可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备30操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备30与其他设备进行无线或有线通信以交换数据。虽然图12示出了具有各种装置的电子设备30,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取至少两个网际协议地址;向节点评价设备发送包括至少两个网际协议地址的节点评价请求,其中,节点评价设备从至少两个网际协议地址中,选取网际协议地址并返回;接收节点评价设备返回的网际协议地址;其中,所获取的网际协议地址指示内容分发网络中的边缘节点。
或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收包括至少两个网际协议地址的节点评价请求;从至少两个网际协议地址中,选取网际协议地址;返回选取出的网际协议地址;其中,接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种图像处理方法,其特征在于,包括:
通过视频拍摄界面获取用户视频;
检测所述用户视频的当前视频帧图像中用户的每一侧手臂的手臂关键点,根据所述手臂关键点,确定所述每一侧手臂的手臂动作;
当所述手臂动作满足触发条件时,根据相应侧手臂的手臂关键点,确定所述相应侧手臂的拉伸点,对所述相应侧手臂的拉伸点进行拉伸处理,得到处理后的效果图;
其中,所述拉伸点包括位于所述相应侧手臂的大臂上的至少一个位置点和所述大臂上方的至少一个位置点。
2.根据权利要求1所述的方法,其特征在于,还包括:
根据所述处理后的效果图,得到拍摄视频。
3.根据权利要求2所述的方法,其特征在于,还包括:
通过所述视频拍摄界面,接收用户的视频保存操作和/或视频发布操作;
响应于所述视频保存操作,将所述拍摄视频保存于本地,和/或,响应于所述视频发布操作,将所述拍摄视频进行发布。
4.根据权利要求1至3中任一项所述的方法,其特征在于,还包括:
通过所述视频拍摄界面,接收用户针对待添加特效的特效添加操作;
响应于所述特效添加操作,将所述待添加特效添加至所述用户视频和/或拍摄视频中。
5.根据权利要求1至3中任一项所述的方法,其特征在于,还包括:
通过所述视频拍摄界面,接收用户针对待添加音乐的音乐添加操作;
响应于所述音乐添加操作,将所述待添加音乐添加至所述用户视频和/或拍摄视频中。
6.根据权利要求1所述的方法,其特征在于,所述每一侧手臂的手臂关键点包括每一侧手臂的手腕关键点、手肘关键点和肩部关键点。
7.根据权利要求6所述的方法,其特征在于,所述触发条件包括:
同一侧手臂的大臂与小臂的夹角,和/或,所述同一侧手臂的大臂与竖直方向的夹角在预设角度范围内,其中,所述小臂为同一侧手臂的手腕关键点和手肘关键点之间的连线,所述大臂为同一侧手臂的手肘关键点和肩部关键点之间的连线。
8.根据权利要求7所述的方法,其特征在于,所述对所述相应侧手臂的拉伸点进行拉伸处理,包括:
确定所述相应侧手臂的拉伸点的拉伸参数,所述拉伸参数包括拉伸长度和拉伸方向;
根据所述相应侧手臂的拉伸点的拉伸参数,对所述相应侧手臂的拉伸点进行相应的拉伸处理。
9.根据权利要求8所述的方法,其特征在于,所述确定所述相应侧手臂的拉伸点的拉伸参数,包括:
根据预配置的第一距离,确定所述相应侧手臂的拉伸点的拉伸长度;
将所述相应侧手臂的所述大臂的法线方向,确定为所述相应侧手臂的拉伸点的拉伸方向。
10.根据权利要求9所述的方法,其特征在于,所述根据预配置的第一距离,确定所述相应侧手臂的拉伸点的拉伸长度,包括:
根据预配置的第一距离和拉伸控制系数,确定所述相应侧手臂的拉伸点的拉伸长度,所述拉伸控制系数为用于控制所述拉伸长度的系数。
11.根据权利要求8至10中任一项所述的方法,其特征在于,所述根据所述相应侧手臂的拉伸点的拉伸参数,对所述相应侧手臂的拉伸点进行相应的拉伸处理,包括:
根据所述相应侧手臂的拉伸点,确定所述当前视频帧图像中的待拉伸区域;
根据所述相应侧手臂的拉伸点的拉伸参数,对所述待拉伸区域进行相应的拉伸处理。
12.根据权利要求8至10中任一项所述的方法,其特征在于,还包括:
根据所述相应侧手臂的拉伸点和预配置的第三距离,确定所述当前视频帧图像中的待平滑区域;
对所述处理后的效果图中相应的待平滑区域进行平滑处理。
13.一种图像处理装置,其特征在于,包括:
用户视频获取模块,用于通过视频拍摄界面获取用户视频;
图像处理模块,用于检测所述用户视频的当前视频帧图像中用户的每一侧手臂的手臂关键点,根据所述手臂关键点,确定所述每一侧手臂的手臂动作;当所述手臂动作满足触发条件时,根据相应侧手臂的手臂关键点,确定所述相应侧手臂的拉伸点,对所述相应侧手臂的拉伸点进行拉伸处理,得到处理后的效果图;
其中,所述拉伸点包括位于所述相应侧手臂的大臂上的至少一个位置点和所述大臂上方的至少一个位置点。
14.一种电子设备,其特征在于,包括:
处理器和存储器;
所述存储器,用于存储计算机操作指令;
所述处理器,用于通过调用所述计算机操作指令,执行上述权利要求1至12中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述权利要求1至12中任一项所述的方法。
CN201811261567.9A 2018-10-26 2018-10-26 图像处理方法、装置、电子设备及计算机可读存储介质 Active CN111107279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811261567.9A CN111107279B (zh) 2018-10-26 2018-10-26 图像处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811261567.9A CN111107279B (zh) 2018-10-26 2018-10-26 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111107279A CN111107279A (zh) 2020-05-05
CN111107279B true CN111107279B (zh) 2021-06-29

Family

ID=70419226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811261567.9A Active CN111107279B (zh) 2018-10-26 2018-10-26 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111107279B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101172199A (zh) * 2006-07-18 2008-05-07 孙学川 仰卧起坐智能测试系统
CN103902989A (zh) * 2014-04-21 2014-07-02 西安电子科技大学 基于非负矩阵分解的人体动作视频识别方法
CN107609474A (zh) * 2017-08-07 2018-01-19 深圳市科迈爱康科技有限公司 肢体动作识别方法、装置、机器人及存储介质
CN107943291A (zh) * 2017-11-23 2018-04-20 乐蜜有限公司 人体动作的识别方法、装置和电子设备
CN107995442A (zh) * 2017-12-21 2018-05-04 北京奇虎科技有限公司 视频数据的处理方法、装置及计算设备
CN108289180A (zh) * 2018-01-30 2018-07-17 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN108537867A (zh) * 2018-04-12 2018-09-14 北京微播视界科技有限公司 根据用户肢体运动的视频渲染方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8947441B2 (en) * 2009-06-05 2015-02-03 Disney Enterprises, Inc. System and method for database driven action capture

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101172199A (zh) * 2006-07-18 2008-05-07 孙学川 仰卧起坐智能测试系统
CN103902989A (zh) * 2014-04-21 2014-07-02 西安电子科技大学 基于非负矩阵分解的人体动作视频识别方法
CN107609474A (zh) * 2017-08-07 2018-01-19 深圳市科迈爱康科技有限公司 肢体动作识别方法、装置、机器人及存储介质
CN107943291A (zh) * 2017-11-23 2018-04-20 乐蜜有限公司 人体动作的识别方法、装置和电子设备
CN107995442A (zh) * 2017-12-21 2018-05-04 北京奇虎科技有限公司 视频数据的处理方法、装置及计算设备
CN108289180A (zh) * 2018-01-30 2018-07-17 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN108537867A (zh) * 2018-04-12 2018-09-14 北京微播视界科技有限公司 根据用户肢体运动的视频渲染方法和装置

Also Published As

Publication number Publication date
CN111107279A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN112348748B (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN112291590A (zh) 视频处理方法及设备
CN116934577A (zh) 一种风格图像生成方法、装置、设备及介质
CN111597466A (zh) 展示方法、装置和电子设备
CN111710046A (zh) 交互方法、装置和电子设备
CN113051015A (zh) 页面渲染方法、装置、电子设备及存储介质
CN112351221B (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN110070617B (zh) 数据同步方法、装置、硬件装置
CN110717467A (zh) 头部姿势的估计方法、装置、设备及存储介质
CN114742856A (zh) 一种视频处理方法、装置、设备及介质
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114116081B (zh) 交互式动态流体效果处理方法、装置及电子设备
CN116360661A (zh) 特效处理方法、装置、电子设备及存储介质
CN116228952A (zh) 一种虚拟对象挂载方法、装置、设备及介质
CN111107279B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN116301526A (zh) 交互方法、装置、电子设备和存储介质
CN116824688A (zh) 小腿动作捕捉方法、系统及存储介质
CN111105345B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN115082368A (zh) 图像处理方法、装置、设备及存储介质
CN114897688A (zh) 视频处理方法、装置、计算机设备及介质
CN116527993A (zh) 视频的处理方法、装置、电子设备、存储介质和程序产品
CN113066166A (zh) 图像处理方法、装置和电子设备
CN112596810A (zh) 加载提示信息显示方法、装置、电子设备及存储介质
CN112612540A (zh) 数据模型配置方法、装置、电子设备及存储介质
CN112347301A (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 408, 4th floor, 51 Zhichun Road, Haidian District, Beijing 100086

Patentee after: Tiktok Technology Co.,Ltd.

Country or region after: China

Address before: 408, 4th floor, 51 Zhichun Road, Haidian District, Beijing 100086

Patentee before: BEIJING MICROLIVE VISION TECHNOLOGY Co.,Ltd.

Country or region before: China