CN109218697B - 一种视频内容关联界面的呈现方法、装置及电子设备 - Google Patents

一种视频内容关联界面的呈现方法、装置及电子设备 Download PDF

Info

Publication number
CN109218697B
CN109218697B CN201811119117.6A CN201811119117A CN109218697B CN 109218697 B CN109218697 B CN 109218697B CN 201811119117 A CN201811119117 A CN 201811119117A CN 109218697 B CN109218697 B CN 109218697B
Authority
CN
China
Prior art keywords
video content
interface
frame images
pixel
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811119117.6A
Other languages
English (en)
Other versions
CN109218697A (zh
Inventor
奥利维尔·菲永
李建亿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pacific Future Technology (shenzhen) Co Ltd
Original Assignee
Pacific Future Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pacific Future Technology (shenzhen) Co Ltd filed Critical Pacific Future Technology (shenzhen) Co Ltd
Publication of CN109218697A publication Critical patent/CN109218697A/zh
Application granted granted Critical
Publication of CN109218697B publication Critical patent/CN109218697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/04Supports for telephone transmitters or receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种视频内容关联界面的呈现方法、装置及电子设备,所述方法包括:每隔预设时间获取当前播放视频内容的视频帧图像;从所述视频帧图像中提取颜色信息和光线信息;根据所述颜色信息和光线信息生成所述视频内容关联界面的背景,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。通过上述方法、装置及电子设备,视频内容关联界面可以随当前播放的视频内容的背景变化而切换,使得视频内容关联界面呈现更加丰富、灵活、方便,提高了用户的交互体验。

Description

一种视频内容关联界面的呈现方法、装置及电子设备
技术领域
本发明涉及互联网应用技术领域,尤其涉及一种视频内容关联界面的呈现方法、装置及电子设备。
背景技术
目前,对于互联网下的一些应用,比如,视频应用可以在移动终端上运行以呈现视频内容,方便用户观看,同时,用户可以在与呈现视频内容相关联的用户界面上,对应用的内容进行评论和互动。然而,发明人在实现本发明实施例的过程中发现:相关技术中视频内容相关联的界面通常以单一的背景呈现,不论是何种应用,一般都是以白板的方式呈现评论界面,表现形式过于单一。此外,网络视频越来越多的通过移动装置自拍完成,但是移动装置的摄像头获取视频或图片的效果不但受周围环境光的影响,也受到拍摄稳定度的影响,幅度较大的抖动会影响拍摄质量且不利于后续图像或视频的处理,移动装置的支架或自拍杆也使用灵活度也不能满足要求。
发明内容
本发明实施例提供的视频内容关联界面的呈现方法、装置及电子设备,用以至少解决相关技术中的上述问题。
本发明实施例一方面提供了一种视频内容关联界面的呈现方法,包括:
每隔预设时间获取当前播放视频内容的视频帧图像,从所述视频帧图像中提取颜色信息和光线角度;根据所述颜色信息和光线角度生成所述视频内容关联界面的背景,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。
进一步地,所述从所述视频帧图像中提取颜色信息包括:计算所述视频帧图像的色调平均值;遍历所述视频帧图像的像素,计算所述像素的色调值与所述色调平均值的色差;判断所述色差是否大于预设阈值;若所述色差大于预设阈值,将所述像素加入到主色调像素列表,根据所述主色调像素列表中所述像素的色调值,确定所述颜色信息。
进一步地,所述从所述视频帧图像中提取颜色信息包括:根据所述视频帧图像中每个像素与所述视频内容关联界面的距离,确定所述像素对应的权重值;根据所述像素的色调值和对应的权重值,计算得到所述颜色信息。
进一步地,所述从所述视频帧图像中提取光线角度包括:识别并提取所述视频帧图像中的目标对象图像,其中,所述目标对象为人物或动物;提取所述目标对象图像中鼻部区域的子图像,基于所述子图像的光强加权中心与所述目标对象图像的加权中心,得到所述光线角度。
进一步地,所述根据所述颜色信息和光线信角度生成所述视频内容关联界面的背景,包括:根据所述颜色信息生成所述视频内容关联界面的背景色;根据所述光线角度对所述背景色的亮度进行调整,得到所述视频内容关联界面的背景。
本发明实施例的另一方面提供了一种视频内容关联界面的呈现装置,包括:
获取模块,用于每隔预设时间获取当前播放视频内容的视频帧图像;提取模块,用于从所述视频帧图像中提取颜色信息和光线角度;生成模块,用于根据所述颜色信息和光线角度生成所述视频内容关联界面的背景,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。
进一步地,所述提取模块包括:第一计算单元,用于计算所述视频帧图像的色调平均值;遍历单元,用于遍历所述视频帧图像的像素,计算所述像素的色调值与所述色调平均值的色差;判断单元,用于判断所述色差是否大于预设阈值;第一确定单元,用于若所述色差大于预设阈值,将所述像素加入到主色调像素列表,根据所述主色调像素列表中所述像素的色调值,确定所述颜色信息。
进一步地,所述提取模块包括:第二确定单元,用于根据所述视频帧图像中每个像素与所述视频内容关联界面的距离,确定所述像素对应的权重值;第二计算单元,用于根据所述像素的色调值和对应的权重值,计算得到所述颜色信息。
进一步地,所述提取模块包括:识别单元,用于识别并提取所述视频帧图像中的目标对象图像,其中,所述目标对象为人物或动物;提取单元,用于提取所述目标对象图像中鼻部区域的子图像,基于所述子图像的光强加权中心与所述目标对象图像的加权中心,得到所述光线角度。
进一步地,所述生成模块用于,根据所述颜色信息生成所述视频内容关联界面的背景色;根据所述光线角度对所述背景色的亮度进行调整,得到所述视频内容关联界面的背景。
本发明实施例的又一方面提供一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一项视频内容关联界面的呈现方法。
进一步的,所述电子设备还包括图像获取模块,所述图像获取模块包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器,所述镜头固装在所述自动聚焦音圈马达上,所述镜头用于获取图像,所述图像传感器将所述镜头获取的图像传输至所述识别模块,所述自动聚焦音圈马达安装在所述机械防抖器上,所述处理模块根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作,实现镜头的抖动补偿。
进一步的,所述机械防抖器包括活动板、活动框、弹性回复机构、基板以及补偿机构;所述活动板的中部设有供所述镜头穿过的通孔,所述自动聚焦音圈马达安装在所述活动板上,所述活动板安装在所述活动框内,所述活动板的相对两侧与所述活动框相对两侧的内壁滑动配合,以使所述活动板可沿着第一方向往复滑动;所述活动框的尺寸小于所述基板的尺寸,所述活动框的相对两侧分别通过两个弹性回复机构与所述基板相连接,所述基板的中部也设有所述镜头穿过的通孔;所述补偿机构在所述处理模块的驱动下带动所述活动板和活动板上的镜头动作,以实现镜头的抖动补偿;所述补偿机构包括驱动轴、齿轮、齿轮轨道以及限位轨道,所述驱动轴安装在所述基板上,所述驱动轴与所述齿轮传动连接;所述齿轮轨道设置在所述活动板上,所述齿轮安装在所述齿轮轨道内,所述齿轮转动时通过所述齿轮轨道使得所述活动板能够产生向第一方向的位移和第二方向的位移,其中所述第一方向与所述第二方向垂直;所述限位轨道设置在所述活动板上或所述基板上,所述限位轨道用于防止所述齿轮脱离所述齿轮轨道。
进一步的,所述活动板一侧设有一腰型孔,所述腰型孔沿其周向设有多个与所述齿轮相啮合的齿,所述腰型孔和多个所述齿共同构成所述齿轮轨道,所述齿轮位于所述腰型孔内并与所述齿相啮合;所述限位轨道设置在所述基板上,所述活动板底部设有位于所述限位轨道内的限位件,所述限位轨道使所述限位件在其中的运动轨迹呈腰型。
进一步的,所述限位件为设置在所述活动板底面上的凸起。
进一步的,所述齿轮轨道包括设置在所述活动板上的多个圆柱凸起,多个所述圆柱凸起沿所述第二方向均匀间隔布设,所述齿轮与多个所述凸起相啮合;所述限位轨道为设置在所述活动板上的第一弧形限位件和第二弧形限位件,所述第一弧形限位件和第二弧形限位件分别设置在所述齿轮轨道沿第一方向上的相对两侧,所述第一弧形限位件和第二弧形限位件及多个所述凸起相配合使得所述活动板的运动轨迹呈腰型。
进一步的,所述弹性回复机构包括伸缩弹簧。
进一步的,所述图像获取模块包括手机和用于安装所述手机的支架。
进一步的,所述支架包括手机安装座和可伸缩的支撑杆;所述手机安装座包括可伸缩的连接板和安装于连接板相对两端的折叠板组,所述支撑杆的一端与所述连接板中部通过阻尼铰链相连接;所述折叠板组包括第一板体、第二板体及第三板体,其中,所述第一板体的相对两端中的一端与所述连接板相铰接,所述第一板体的相对两端中的另一端与所述第二板体的相对两端中的一端相铰接;所述第二板体相对两端的另一端与所述第三板体相对两端中的一端相铰接;所述第二板体设有供手机边角插入的开口;所述手机安装座用于安装手机时,所述第一板体、第二板体和第三板体折叠呈直角三角形状态,所述第二板体为直角三角形的斜边,所述第一板体和所述第三板体为直角三角形的直角边,其中,所述第三板体的一个侧面与所述连接板的一个侧面并排贴合,所述第三板体相对两端中的另一端与所述第一板体相对两端中的一端相抵。
进一步的,所述第三板体的一个侧面设有第一连接部,所述连接板与所述第三板体相贴合的侧面设有与所述第一连接部相配合的第一配合部,所述支架手机安装座用于安装手机时,所述第一连接部和所述第一配合部卡合连接。
进一步的,所述第一板体相对两端中的一端设有第二连接部,所述第三板体相对两端中的另一端设有与所述第二连接部相配合的第二配合部,所述支架手机安装座用于安装手机时,所述第二连接部和所述第二配合部卡合连接。
进一步的,所述支撑杆的另一端可拆卸连接有底座。
由以上技术方案可见,本发明实施例提供的视频内容关联界面的呈现方法、装置及电子设备,视频内容关联界面可以随当前播放的视频内容的背景变化而切换,使得视频内容关联界面呈现更加丰富、灵活、方便,提高了用户的交互体验。手机摄像头的防抖动硬件结构和手机自拍支架也进一步增强了拍摄效果,更利于后续的图像或视频处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的视频内容关联界面的呈现方法流程图;
图2为本发明一个实施例提供的视频内容关联界面的呈现方法流程图;
图3为本发明一个实施例提供的视频内容关联界面的呈现方法流程图;
图4为本发明一个实施例提供的视频内容关联界面的呈现装置结构图;
图5为本发明一个实施例提供的视频内容关联界面的呈现装置结构图;
图6为本发明一个实施例提供的视频内容关联界面的呈现装置结构图;
图7为执行本发明方法实施例提供的视频内容关联界面的呈现方法的电子设备的硬件结构示意图;
图8为本发明一个实施例提供的图像获取模块的结构示意图;
图9为本发明一个实施例提供的第一种机械防抖器的结构示意图;
图10为本发明一个实施例提供的第一种活动板的底面结构示意图;
图11为本发明一个实施例提供的第二种机械防抖器的结构示意图;
图12为本发明一个实施例提供的第二种活动板的底面结构示意图;
图13为本发明一个实施例提供的支架的结构图;
图14为本发明一个实施例提供的支架的一个状态示意图;
图15为本发明一个实施例提供的支架的另一个状态示意图;
图16为本发明一个实施例提供的安装座与手机相连接时的结构状态图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明实施例一部分实施例,而不是全部的实施例。基于本发明实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本发明实施例保护的范围。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。图1为本发明实施例提供的视频内容关联界面的呈现方法流程图。如图1所示,本发明实施例提供的视频内容关联界面的呈现方法,包括:
步骤S101,每隔预设时间获取当前播放视频内容的视频帧图像。
在发明实施例中,视频内容关联界面可以由用户对播放的视频内容进行评论、分享等操作,比如,针对视频内容进行的评论、生成评论的界面;与播放的视频内容相关的分享、互动标识所在的界面;与播放的视频内容相关的推荐界面等。这些视频内容关联界面与当前播放的视频内容在移动终端的同一用户界面上呈现,因此本发明实施例致力于能够使视频内容关联界面的背景能够与当前播放的视频内容相关联,使得视频内容关联界面呈现更加丰富、灵活、方便,提高了用户的交互体验。
也就是说,视频内容关联界面的背景可以根据播放的视频内容的背景不同而变化,当视频内容变化时,视频内容的背景相应变化,因此,根据播放的视频内容的背景生成的视频内容关联界面的背景也会相应发生变化,为了及时体现出这种变化,当视频内容的背景变化时,则相应地切换与所述视频内容关联的界面。
在本发明实施例中,随着场景的变换,视频内容呈现的背景也会随之变化,一般每个场景都是由若干视频帧构成的,因此可以每个预设时间获取当前播放视频内容的视频帧图像,该获取的视频帧图像能够代表其对应的场景背景。可选地,该预设时间可以是预先根据每个场景对应的视频帧数确定的,也可以是根据之前对大量视频进行统计分析,得到的平均每个场景切换的平均时间,本发明在此不做限制。
步骤S102,从所述视频帧图像中提取颜色信息和光线角度。
具体地,可以通过提取的视频帧图像中颜色和光线角度,作为能够体现当前播放的视频内容的背景。本步骤可以分为两部分进行,一部分是从所述视频帧图像中提取颜色信息,另一部分是从所述视频帧图像中提取光线角度。两部分的执行没有先后顺序。
作为本发明实施例的可选实施方式,可通过如下三种方式进行颜色信息的提取。
如图2所示,第一种实施方式包括如下子步骤:
S1021,计算所述视频帧图像的色调平均值。
S1022,遍历所述视频帧图像的像素,计算所述像素的色调值与所述色调平均值的色差。
S1023,判断所述色差是否大于预设阈值。
S1024,将所述像素加入到主色调像素列表,根据所述主色调像素列表中所述像素的色调值,确定所述颜色信息。
具体地,我们需要提取出该视频帧图像的颜色信息,该颜色信息为只能最能够代表该视频帧图像的主色调,该主色调并不是指颜色最多的,而是指在该视频帧图像中最醒目的色调。可选地,色调值可以用RGB值来表示,也可以由现在比较普遍适用的十六进制颜色值表示。在本实施方式中,遍历视频帧图像中的每一个像素,计算每个像素的色调值与色调平均值的色差。当某个像素的色调值与色调平均值的色差大于预设的阈值时,将该像素加入到主色调像素列表。所有的像素都与色调值比较完成后,计算主色调像素列表中包括的像素的色调值的平均值,将该平均值确定为该视频帧图像的颜色信息。
第二种实施方式包括如下步骤:根据所述视频帧图像中每个像素与所述视频内容关联界面的距离,确定所述像素对应的权重值;根据所述像素的色调值和对应的权重值,计算得到所述颜色信息。
具体地,在本实施方式中,可以对视频帧图像中的所有像素的色调值求加权平均值,其中,视频帧图像中距离视频内容关联界面越近的点权重越大,距离越远的点权重越小。根据本方法,得到的色调值更加偏向于与视频内容关联界面相近部分的视频帧图像的颜色,使得视频内容关联界面的颜色与当前播放的视频内容的颜色过渡更加自然。
作为颜色信息提取的第三种实施方式,也可以直接将视频帧图像每个像素点的色调值直接覆盖到视频内容关联界面。如果不能完全覆盖,则对于未覆盖的视频内容关联界面部分的每一个像素取上述视频帧图像色调的加权平均值;如果可以完全覆盖,对于视频内容关联界面小于视频帧图像界面时,可以对视频帧图像界面进行缩小至视频内容关联界面的大小。
作为本发明实施例的可选实施方式,如图3所示,从所述视频帧图像中提取光线角度包括如下子步骤:
S1021’,识别并提取所述视频帧图像中的目标对象图像,其中,所述目标对象为人物或动物。
在视频帧图像中所有对象中,由于人物或者动物是存在五官的,而五官当中鼻子是凸出于人脸的,鼻部区域的明暗更容易受到拍照时环境光的影响,因此本实施例中目标对象为人物或者动物。
具体地,识别过程可以采用图像识别技术识别出目标对象,比如采用轮廓提取、模式匹配或通过在预设数据库库中存储的多类型的目标对象图像进行特征比对等等,本发明实施例对图像识别技术不做限定。当识别出目标对象后,可以沿着识别得到的目标对象的轮廓进行抠图,也可以使用图像抠出技术,例如Photoshop中相关的抠图技术,将目标对象从第一图片中提取出来。
S1022’,提取所述目标对象图像中鼻部区域的子图像,基于所述子图像的光强加权中心与所述目标对象图像的加权中心,得到所述光线角度。
具体地,通过本领域技术人员熟知的人脸、动物脸检测算法、或者任何基于CNN的人脸、动物脸检测算法等,从该目标对象图像中提取目标对象的脸部特征。由于五官当中鼻子是凸出于目标对象脸部的,鼻部区域的明暗更容易受到拍照时环境光的影响,因此本实施例提取目标特征中的鼻子,得鼻部区域的子图像。
在本步骤中,根据子图像的图像矩来确定其对应的光强加权中心。图像矩是一个从数字图形中计算出来的矩集,通常描述了该图像的全局特征,并提供大量的关于该图像不同类型的几何特征信息,比如大小、位置、方向及形状等,例如,一阶矩与形状有关、二阶矩显示了曲线围绕直线平均值的扩展程度、三阶矩则是关于平均值的对称性测量,由二阶矩和三阶矩可以导出一组共有7个不变阶矩,不变阶矩是图像统计特征,其可以据此对图像进行分类操作,属于本领域的公知常识,本发明在此不再赘述。
可选地,在确定了子图片的光强加权中心之后,将其与子图像的加权中心进行比较(该加权中心即为图像的集合中心),将图像的加权中心的坐标位置与子图片的光强加权中心的坐标位置进行比较,从几何中心到光强加权中心的方向即是环境光的光线方向,同时,我们可以通过选择坐标原点来建立坐标系,得到该向量与X轴的夹角,作为视频帧图像的光线估计角度。此外,也可以通过其他非专有算法来对光线估计角度进行计算,本发明在此不做限制。需要说明的是,在本发明实施例中,环境光将被认为是单向的和均匀的。
作为本发明实施例的一些可选实施方式,为了让光线估计角度更加准确,可以将所述子图像分为若干个子区域,确定各所述子区域的子光强加权中心;将各所述子光强加权中心与所述目标对象图像的加权中心进行比较,得到各所述子区域的子光线估计角度;计算各所述子区域的子光照强度,根据所述子区域的子光照强度确定所述子区域的子光线估计角度的权重;根据各所述子光线估计角度及所述子光线估计角度的权重,计算得到所述视频帧图像的光线角度。
具体地,首先,可以将子图像平均分成四份,得到四个子区域,按照上述方法确定每个子区域的子光强加权中心、以及每个子区域的子光线估计角度;其次,对于每一张子图片,根据其中的明暗对比度信息等获得该子图片对应的光线强度,在得到每个子区域的子光照强度后,将每个子区域的子光照强度作为该子区域的子光线估计角度的权重;最后,对四个子区域的子光线估计角度根据其分别对应的权重进行加和求平均值的计算,得到平均光线估计角度。
当视频帧图像中存在多个目标对象图像时,可以对每个目标对象图像通过上述方式进行光线角度的计算,再进行平均求和;也可以通过每个目标对象图像在视频帧图像上的位置和姿态确定其对应的权重,再根据权重进行加权求和,得到最终确定的视频帧图像的光线角度。
步骤S103,根据所述颜色信息和光线角度生成所述视频内容关联界面的背景,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。
在本步骤中,根据步骤S102得到的颜色信息和光线角度来生成视频内容关联界面的背景,以使视频内容关联界面以与视频帧图像的背景相同或相近的背景呈现。
具体地,本步骤可以包括:根据所述颜色信息生成所述视频内容关联界面的背景色;根据所述光线角度对所述背景色的亮度进行调整,得到所述视频内容关联界面的背景。
也就是说,首先,将步骤S102中第一种实施方式或第二种实施方式得到的色调值作为视频内容关联界面的背景色,或者,根据步骤S103中第三种实施方式叙述的方式进行每个像素色调值的覆盖;然后,根据步骤S102中得到的视频帧图像的光线角度对背景色的亮度进行调整,在此之前,可以依据当前播放视频内容界面与视频内容关联界面之间相对位置关系、将视频内容关联界面分成若干个部分(例如,若两个界面之间是左右分布的,则将视频内容关联界面分成左中右三个部分;若两个界面之间是上下分布的,则将视频内容关联界面分成上下左右四个部分等)。确定每个部分与光线角度的位置关系,若某部分是沿着光线角度的方向,则提高该部分背景色的亮度;若某部分是逆着光线角度的方向,则降低该部分色的亮度;若某部分刚好处于上述两者中间,则维持该部分背景色的亮度不变,作为亮度的过渡部分。
下面结合具体应用场景对本发明实施例进行举例说明,假设应用服务器提供视频服务,用户可以在其智能手机或平板电脑上观看该视频,而且,播放界面下存在有用户针对视频内容的评论,其中,当前播放的视频内容的背景主色调为绿色,则播放界面下的评论内容的背景颜色也呈现为绿色,且会根据当前播放视频内容的光线角度进行背景的亮度的调整。
本发明实施例提供的视频内容关联界面的呈现方法,视频内容关联界面可以随当前播放的视频内容的背景变化而切换,使得视频内容关联界面呈现更加丰富、灵活、方便,提高了用户的交互体验。
图4为本发明实施例提供的视频内容关联界面的呈现装置结构图。如图3所示,该装置具体包括:获取模块100、提取模块200和生成模块300。其中,
获取模块100,用于每隔预设时间获取当前播放视频内容的视频帧图像;
提取模块200,用于从所述视频帧图像中提取颜色信息和光线角度;生成模块300,用于根据所述颜色信息和光线角度生成所述视频内容关联界面的背景,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。
本发明实施例提供的视频内容关联界面的呈现装置具体用于执行图1所示实施例提供的所述方法,其实现原理、方法和功能用途等与图1所示实施例类似,在此不再赘述。
图5为本发明实施例提供的视频内容关联界面的呈现装置结构图。如图5所示,该装置具体包括:获取模块100、提取模块200和生成模块300。其中,
获取模块100,用于每隔预设时间获取当前播放视频内容的视频帧图像;
提取模块200,用于从所述视频帧图像中提取颜色信息和光线角度;生成模块300,用于根据所述颜色信息和光线角度生成所述视频内容关联界面的背景,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。
进一步地,提取模块200包括:第一计算单元210、遍历单元220、判断单元230、第一确定单元240、识别单元250和提取单元260。其中,
第一计算单元210,用于计算所述视频帧图像的色调平均值;遍历单元220,用于遍历所述视频帧图像的像素,计算所述像素的色调值与所述色调平均值的色差;判断单元230,用于判断所述色差是否大于预设阈值;第一确定单元240,用于若所述色差大于预设阈值,将所述像素加入到主色调像素列表,根据所述主色调像素列表中所述像素的色调值,确定所述颜色信息。
识别单元250,用于识别并提取所述视频帧图像中的目标对象图像,其中,所述目标对象为人物或动物;提取单元260,用于提取所述目标对象图像中鼻部区域的子图像,基于所述子图像的光强加权中心与所述目标对象图像的加权中心,得到所述光线角度。
可选地,生成模块300具体用于,根据所述颜色信息生成所述视频内容关联界面的背景色;根据所述光线角度对所述背景色的亮度进行调整,得到所述视频内容关联界面的背景。
本发明实施例提供的视频内容关联界面的呈现装置具体用于执行图1-图3所示实施例提供的所述方法,其实现原理、方法和功能用途和图1-图3所示实施例类似,在此不再赘述。
图6为本发明实施例提供的视频内容关联界面的呈现装置结构图。如图6所示,该装置具体包括:获取模块100、提取模块200和生成模块300。其中,
获取模块100,用于每隔预设时间获取当前播放视频内容的视频帧图像;
提取模块200,用于从所述视频帧图像中提取颜色信息和光线角度;生成模块300,用于根据所述颜色信息和光线角度生成所述视频内容关联界面的背景,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。
进一步地,提取模块200包括:第二确定单元270、第二计算单元280、识别单元250和提取单元260。其中,
第二确定单元270,用于根据所述视频帧图像中每个像素与所述视频内容关联界面的距离,确定所述像素对应的权重值;第二计算单元280,用于根据所述像素的色调值和对应的权重值,计算得到所述颜色信息。
识别单元250,用于识别并提取所述视频帧图像中的目标对象图像,其中,所述目标对象为人物或动物;提取单元260,用于提取所述目标对象图像中鼻部区域的子图像,基于所述子图像的光强加权中心与所述目标对象图像的加权中心,得到所述光线角度。
可选地,生成模块300具体用于,根据所述颜色信息生成所述视频内容关联界面的背景色;根据所述光线角度对所述背景色的亮度进行调整,得到所述视频内容关联界面的背景。
本发明实施例提供的视频内容关联界面的呈现装置具体用于执行图1和图3所示实施例提供的所述方法,其实现原理、方法和功能用途和图1和图3所示实施例类似,在此不再赘述。
上述这些本发明实施例的视频内容关联界面的呈现装置可以作为其中一个软件或者硬件功能单元,独立设置在上述电子设备中,也可以作为整合在处理器中的其中一个功能模块,执行本发明实施例的视频内容关联界面的呈现方法。
图7为执行本发明方法实施例提供的视频内容关联界面的呈现方法的电子设备的硬件结构示意图。根据图7所示,该电子设备包括:
一个或多个处理器710以及存储器720,图7中以一个处理器710为例。执行所述的视频内容关联界面的呈现方法的设备还可以包括:输入装置730和输出装置730。
处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器720作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的所述视频内容关联界面的呈现方法对应的程序指令/模块。处理器710通过运行存储在存储器720中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现所述视频内容关联界面的呈现方法。
存储器720可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据本发明实施例提供的视频内容关联界面的呈现装置的使用所创建的数据等。此外,存储器720可以包括高速随机存取存储器720,还可以包括非易失性存储器720,例如至少一个磁盘存储器720件、闪存器件、或其他非易失性固态存储器720件。在一些实施例中,存储器720可选包括相对于处理器77远程设置的存储器720,这些远程存储器720可以通过网络连接至所述视频内容关联界面的呈现装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可接收输入的数字或字符信息,以及产生与视频内容关联界面的呈现装置的用户设置以及功能控制有关的键信号输入。输入装置730可包括按压模组等设备。
所述一个或者多个模块存储在所述存储器720中,当被所述一个或者多个处理器710执行时,执行所述视频内容关联界面的呈现方法。
本发明实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器。
(5)其他具有数据交互功能的电子装置。
具体的,电子设备中包括图像获取模块,如图8所示,本实施例的所述图像获取模块包括镜头1000、自动聚焦音圈马达2000、机械防抖器3000以及图像传感器4000,所述镜头1000固装在所述自动聚焦音圈马达2000上,所述镜头1000固装在所述自动聚焦音圈马达2000上,所述镜头1000用于获取图像,所述图像传感器4000将所述镜头1000获取的图像传输至所述识别模块,所述自动聚焦音圈马达2000安装在所述机械防抖器3000上,所述处理模块根据镜头1000内的陀螺仪检测到的镜头1000抖动的反馈驱动所述机械防抖器3000的动作,实现镜头1000的抖动补偿。
现有的防抖器大多由通电线圈在磁场中产生洛伦磁力驱动镜头1000移动,而要实现光学防抖,需要在至少两个方向上驱动镜头1000,这意味着需要布置多个线圈,会给整体结构的微型化带来一定挑战,而且容易受外界磁场干扰,进而影响防抖效果,因此公开号为CN106131435A的中国专利提供了一种微型光学防抖摄像头模组,其通过温度变化实现记忆合金丝的拉伸和缩短,以此拉动自动聚焦音圈马达2000移动,实现镜头1000的抖动补偿,微型记忆合金光学防抖致动器的控制芯片可以控制驱动信号的变化来改变记忆合金丝的温度,以此控制记忆合金丝的伸长和缩短,并且根据记忆合金丝的电阻来计算致动器的位置和移动距离。当微型记忆合金光学防抖致动器上移动到指定位置后反馈记忆合金丝此时的电阻,通过比较这个电阻值与目标值的偏差,可以校正微型记忆合金光学防抖致动器上的移动偏差。
但是申请人发现,由于抖动的随机性和不确定性,仅仅依靠上述技术方案的结构是无法实现在多次抖动发生的情况下能够对镜头1000进行精确的补偿,这是由于形状记忆合金的升温和降温均需要一定的时间,当抖动向第一方向发生时,上述技术方案可以实现镜头1000对第一方向抖动的补偿,但是当随之而来的第二方向的抖动发生时,由于记忆合金丝来不及在瞬间变形,因此容易造成补偿不及时,无法精准实现对多次抖动和不同方向的连续抖动的镜头1000抖动补偿,因此需要对其结构上进行改进。
结合附图9-12所示,本实施例对光学防抖器进行改进,将其设计为机械防抖器3000,其具体结构如下:
本实施例的所述机械防抖器3000包括活动板3100、活动框3200、弹性回复机构3300、基板3400以及补偿机构3500;所述活动板3100和基板3400的中部均设有供所述镜头穿过的通孔3700,所述自动聚焦音圈马达安装在所述活动板3100上,所述活动板3100安装在所述活动框3200内,由图中可以看出,本实施例的活动板3100的左右方向的宽度与活动框3200的内部宽度大致相同,使得所述活动板3100的相对两侧(左右两侧)与所述活动框3200相对两侧(左右两侧)的内壁滑动配合,以使所述活动板3100在活动框3200内可沿着第一方向往复滑动,本实施例的第一方向即图中的上下方向。
具体的,本实施例的所述活动框3200的尺寸小于所述基板3400的尺寸,所述活动框3200的相对两侧分别通过两个弹性回复机构3300与所述基板3400相连接,本实施例的弹性回复机构3300为伸缩弹簧或者其他弹性件,而且需要说明的是,本实施例的弹性回复机构3300只允许其具有沿着图中左右方向(即下述的第二方向)伸缩和回弹的能力,无法沿着第一方向运动,设计弹性回复机构3300的目的也是在于当活动框3200发生补偿位移后便于活动框3200带动活动板3100复位,而具体的动作过程本实施例会在下述的工作过程进行具体描述。
本实施例的所述补偿机构3500在所述处理模块的驱动(可以是处理模块发送的动作指令)下带动所述活动板3100和活动板3100上的镜头动作,以实现镜头的抖动补偿。
具体的,本实施例的所述补偿机构3500包括驱动轴3510、齿轮3520、齿轮轨道3530以及限位轨道3540,所述驱动轴3510安装在所述基板3400上,具体是安装在基板3400的上表面,所述驱动轴3510与所述齿轮3520传动连接,驱动轴3510可以通过微型电机(图中未示出)等结构驱动,并且微型电机受控于上述的处理模块;所述齿轮轨道3530设置在所述活动板3100上,所述齿轮3520安装在所述齿轮轨道3530内并沿着所述齿轮轨道3530的预设方向运动,所述齿轮3520转动时通过所述齿轮轨道3530使得所述活动板3100能够产生向第一方向的位移和第二方向的位移,其中所述第一方向与所述第二方向垂直;所述限位轨道3540设置在所述活动板3100上或所述基板3400上,所述限位轨道3540用于防止所述齿轮3520脱离所述齿轮轨道3530。
具体的,本实施例的齿轮轨道3530和限位轨道3540具有以下两种结构形式:
如图8-10所示,本实施例的所述活动板3100下侧设有一腰型孔3550,所述腰型孔3550沿其周向(即腰型孔3550的环绕方向)设有多个与所述齿轮3520相啮合的齿3560,所述腰型孔3550和多个所述齿3560共同构成所述齿轮轨道3530,所述齿轮3520位于所述腰型孔3550内并与所述齿3560相啮合,使得齿轮3520在转动时能够带动齿轮轨道3530运动,进而直接带动活动板3100的运动;而为了使得齿轮3520在转动时时刻能够保证与齿轮轨道3530时刻保持啮合,本实施例将所述限位轨道3540设置在所述基板3400上,所述活动板3100底部设有安装在所述限位轨道3540内的限位件3570,所述限位轨道3540使所述限位件3570在其中的运动轨迹呈腰型,即限位件3570在现为轨道内的运动轨迹与活动板3100的运动轨迹相同,具体的,本实施例的所述限位件3570为设置在所述活动板3100底面上的凸起。
再结合附图11和12所示,本实施例的所述齿轮轨道3530还可以由设置在所述活动板3100上的多个圆柱凸起3580组成,多个所述圆柱凸起3580沿所述第二方向均匀间隔布设,所述齿轮3520与多个所述凸起相啮合;而所述限位轨道3540为设置在所述活动板3100上的第一弧形限位件3590和第二弧形限位件3600,所述第一弧形限位件3590和第二弧形限位件3600分别设置在所述齿轮轨道3530沿第一方向上的相对两侧,防,在活动板3100运动至预设位置时,齿轮3520位于齿轮轨道3530的一侧,齿轮3520容易脱离圆柱凸起3580组成的齿轮轨道3530,因此通过第一弧形限位件3590或第二弧形限位件3600可以起到引导作用,使得活动板3100能够沿着齿轮轨道3530的预设方向运动,即所述第一弧形限位件3590和第二弧形限位件3600及多个所述凸起相配合使得所述活动板3100的运动轨迹呈腰型。
下面结合上述结构对本实施例的机械防抖器3000的工作过程进行详细的描述,以镜头1000两次抖动为例,两次抖动方向相反,且需要使得活动板3100向第一方向运动补偿一次,并随后向第二方向运动补偿一次。需要活动板3100向第一方向运动补偿时,陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块,处理模块计算出需要活动板3100的运动距离,进而使得驱动轴3510带动齿轮3520转动,齿轮3520通过与齿轮轨道3530和限位轨道3540的配合,处理模块无线发送驱动信号,进而带动活动板3100向第一方向运动至补偿位置,补偿后再次通过驱动轴3510带动活动板3100复位,在复位过程中,弹性回复机构3300也为活动板3100的复位提供复位力,更加便于活动板3100恢复到初始位置。需要活动板3100向第二方向运动补偿时,处理方式与上述第一方向的补偿步骤相同,这里不过多赘述。
当然上述仅仅为简单的两次抖动,当发生多次抖动时,或者抖动的方向并非往复运动时,可以通过驱动多个补偿组件以补偿抖动,其基础工作过程与上述描述原理相同,这里不过多赘述,另外关于陀螺仪的检测反馈、处理模块向驱动轴3510发送控制指令等均为现有技术,这里也不过多描述。
结合上述说明可知,本实施例提供的机械补偿器不仅不会受到外界磁场干扰,防抖效果好,而且可以实现在多次抖动发生的情况下能够对镜头1000进行精确的补偿,补偿及时准确。另外,采用本实施例的机械防抖器不仅结构简单,各个部件所需的安装空间小,便于整个防抖器的集成化,而且具有较高的补偿精度。
具体的,本实施例的所述电子设备包括手机和用于安装所述手机的支架。电子设备包含支架的目的是由于图像获取环境的不确定性,因此需要使用支架对电子设备进行支撑和固定。
另外,申请人发现,现有的手机支架仅仅具有支撑手机的功能,而不具有自拍杆的功能,因此申请人对支架做出第一步改进,将手机支架5000和支撑杆5200相结合,结合附图13所示,本实施例的所述支架5000包括手机安装座5100和可伸缩的支撑杆5200,支撑杆5200与手机安装座5100的中部(具体为下述基板3200的中部)通过阻尼铰链相连接,使得支撑杆5200在转动至图13的状态时,支架5000可形成自拍杆结构,而支撑杆5200在转动至图14的状态时,支架5000可形成手机支架5000结构。
而结合上述支架结构申请人又发现,手机安装座5100与支撑杆5200结合后占用空间较大,即使支撑杆5200可伸缩,但是手机安装座5100无法进行结构的变化,体积不会进一步缩小,无法将其放入衣兜或者小型的包内,造成支架5000携带不便的问题,因此本实施例对支架5000做出第二步改进,使得支架5000的整体收容性得到进一步的提高。
结合图13-16所示,本实施例的所述手机安装座5100包括可伸缩的连接板5110和安装于连接板5110相对两端的折叠板组5120,所述支撑杆5200与所述连接板5110中部通过阻尼铰链相连接;所述折叠板组5120包括第一板体5121、第二板体5122及第三板体5123,其中,所述第一板体5121的相对两端中的一端与所述连接板5110相铰接,所述第一板体5121的相对两端中的另一端与所述第二板体5122的相对两端中的一端相铰接;所述第二板体5122相对两端的另一端与所述第三板体5123相对两端中的一端相铰接;所述第二板体5122设有供手机边角插入的开口5130。
结合附图16所示,所述手机安装座5100用于安装手机时,所述第一板体5121、第二板体5122和第三板体5123折叠呈直角三角形状态,所述第二板体5122为直角三角形的斜边,所述第一板体5121和所述第三板体5123为直角三角形的直角边,其中,所述第三板体5123的一个侧面与所述连接板5110的一个侧面并排贴合,所述第三板体5123相对两端中的另一端与所述第一板体5121相对两端中的一端相抵,该结构可以使得三个折叠板处于自锁状态,并且将手机下部的两个边角插入到两侧的两个开口5130时,手机6000的下部两侧位于两个直角三角形内,通过手机、连接板5110和折叠板组5120件的共同作可以完成手机6000的固定,三角形状态在外力情况下无法打开,只有从开口5130抽出手机后才能解除折叠板组5120件的三角形状态。
而在手机安装座5100不处于工作状态时,将连接板5110缩小至最小长度,并且将折叠板组5120件与连接板5110相互折叠,用户可以将手机安装座5100折叠呈最小体积,而由于支撑杆5200的可伸缩性,因此可以将整个支架5000收容呈体积最小的状态,提高了支架5000的收荣幸,用户甚至可以直接将支架5000放入衣兜或小的手包内,十分方便。
优选的,本实施例还在所述第三板体5123的一个侧面设有第一连接部,所述连接板5110与所述第三板体5123相贴合的侧面设有与所述第一连接部相配合的第一配合部,所述支架5000手机安装座5100用于安装手机时,所述第一连接部和所述第一配合部卡合连接。具体的,本实施例的第一连接部为一个凸条或凸起(图中未示出),第一配合部为开设在连接板5110上的卡槽(图中未示出)。该结构不仅提高了折叠板组5120件处于三角形状态时的稳定性,而且在需要将手机安装座5100折叠至最小状态时也便于折叠板组5120件与连接板5110的连接。
优选的,本实施例还在所述第一板体5121相对两端中的一端设有第二连接部,所述第三板体5123相对两端中的另一端设有与所述第二连接部相配合的第二配合部,所述支架5000手机安装座5100用于安装手机时,所述第二连接部和所述第二配合部卡合连接。第二连接部可以是凸起(图中未示出),第二配合部为与凸起相配合的开口5130或卡槽(图中未示出)。该结构提高了叠板组件处于三角形状态时的稳定性
另外,本实施例还可以在所述支撑杆5200的另一端可拆卸连接有底座(图中未示出),在需要固定手机并且使手机6000具有一定高度时,可以将支撑杆5200拉伸呈一定长度,并通过底座将支架5000置于一个平面上,再将手机放置到手机安装座5100内,完成手机的固定;而支撑杆5200和底座的可拆卸连接可以使得两者可以单独携带,进一步提高了支架5000的收容性和携带的方便性。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
本发明实施例提供了一种非暂态计算机可读存存储介质,所述计算机存储介质存储有计算机可执行指令,其中,当所述计算机可执行指令被电子设备执行时,使所述电子设备上执行上述任意方法实施例中的视频内容关联界面的呈现方法。
本发明实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,其中,当所述程序指令被电子设备执行时,使所述电子设备执行上述任意方法实施例中的视频内容关联界面的呈现方法。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如,机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等,该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种视频内容关联界面的呈现方法,其特征在于,包括:
每隔预设时间获取当前播放视频内容的视频帧图像;
从所述视频帧图像中提取颜色信息和光线角度,其中,
识别并提取所述视频帧图像中的目标对象图像,所述目标对象为人物或动物,提取所述目标对象图像中鼻部区域的子图像,根据所述子图像的图像矩来确定其对应的光强加权中心,将所述子图像的几何中心到光强加权中心的方向确定为光线方向,从而得到所述光线角度;
计算所述视频帧图像的色调平均值,遍历所述视频帧图像的像素,计算所述像素的色调值与所述色调平均值的色差,判断所述色差是否大于预设阈值,若所述色差大于预设阈值,将所述像素加入到主色调像素列表,计算所述主色调像素列表中包括的像素的色调值的平均值,将该平均值确定为该视频帧图像的颜色信息;
根据所述颜色信息生成所述视频内容关联界面的背景色,依据当前播放视频内容界面与视频内容关联界面之间相对位置关系将视频内容关联界面分成若干个区域,确定每个区域与所述光线角度的位置关系,提高沿着光线角度方向的第一区域的背景色的亮度,降低逆着光线角度方向的第二区域的背景色的亮度,维持处于第一区域和第二区域两者之间的第三区域的背景色的亮度不变,作为亮度的过渡部分,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。
2.一种视频内容关联界面的呈现方法,其特征在于,包括:
每隔预设时间获取当前播放视频内容的视频帧图像;
从所述视频帧图像中提取颜色信息和光线角度,其中,
识别并提取所述视频帧图像中的目标对象图像,所述目标对象为人物或动物,提取所述目标对象图像中鼻部区域的子图像,根据所述子图像的图像矩来确定其对应的光强加权中心,将所述子图像的几何中心到光强加权中心的方向确定为光线方向,从而得到所述光线角度;
根据所述视频帧图像中每个像素与所述视频内容关联界面的距离,确定所述像素对应的权重值,所述视频帧图像中距离视频内容关联界面越近的点权重越大,距离越远的点权重越小,根据所述像素的色调值和对应的权重值,计算得到所述颜色信息;
根据所述颜色信息生成所述视频内容关联界面的背景色,依据当前播放视频内容界面与视频内容关联界面之间相对位置关系将视频内容关联界面分成若干个区域,确定每个区域与所述光线角度的位置关系,提高沿着光线角度方向的第一区域的背景色的亮度,降低逆着光线角度方向的第二区域的背景色的亮度,维持处于第一区域和第二区域两者之间的第三区域的背景色的亮度不变,作为亮度的过渡部分,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。
3.一种视频内容关联界面的呈现装置,其特征在于,包括:
获取模块,用于每隔预设时间获取当前播放视频内容的视频帧图像;
提取模块,用于从所述视频帧图像中提取颜色信息和光线角度,其中,识别并提取所述视频帧图像中的目标对象图像,所述目标对象为人物或动物,提取所述目标对象图像中鼻部区域的子图像,根据所述子图像的图像矩来确定其对应的光强加权中心,将所述子图像的几何中心到光强加权中心的方向确定为光线方向,从而得到所述光线角度;计算所述视频帧图像的色调平均值,遍历所述视频帧图像的像素,计算所述像素的色调值与所述色调平均值的色差,判断所述色差是否大于预设阈值,若所述色差大于预设阈值,将所述像素加入到主色调像素列表,计算所述主色调像素列表中包括的像素的色调值的平均值,将该平均值确定为该视频帧图像的颜色信息;
生成模块,用于根据所述颜色信息生成所述视频内容关联界面的背景色,依据当前播放视频内容界面与视频内容关联界面之间相对位置关系将视频内容关联界面分成若干个区域,确定每个区域与所述光线角度的位置关系,提高沿着光线角度方向的第一区域的背景色的亮度,降低逆着光线角度方向的第二区域的背景色的亮度,维持处于第一区域和第二区域两者之间的第三区域的背景色的亮度不变,作为亮度的过渡部分,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。
4.一种视频内容关联界面的呈现装置,其特征在于,包括:
获取模块,用于每隔预设时间获取当前播放视频内容的视频帧图像;
提取模块,用于从所述视频帧图像中提取颜色信息和光线角度,其中,识别并提取所述视频帧图像中的目标对象图像,所述目标对象为人物或动物,提取所述目标对象图像中鼻部区域的子图像,根据所述子图像的图像矩来确定其对应的光强加权中心,将所述子图像的几何中心到光强加权中心的方向确定为光线方向,从而得到所述光线角度;根据所述视频帧图像中每个像素与所述视频内容关联界面的距离,确定所述像素对应的权重值,所述视频帧图像中距离视频内容关联界面越近的点权重越大,距离越远的点权重越小,根据所述像素的色调值和对应的权重值,计算得到所述颜色信息;
生成模块,用于根据所述颜色信息生成所述视频内容关联界面的背景色,依据当前播放视频内容界面与视频内容关联界面之间相对位置关系将视频内容关联界面分成若干个区域,确定每个区域与所述光线角度的位置关系,提高沿着光线角度方向的第一区域的背景色的亮度,降低逆着光线角度方向的第二区域的背景色的亮度,维持处于第一区域和第二区域两者之间的第三区域的背景色的亮度不变,作为亮度的过渡部分,其中,所述视频内容与所述视频内容关联界面在同一界面上呈现。
5.一种电子设备,其特征在于,包括:至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1或2所述的视频内容关联界面的呈现方法。
CN201811119117.6A 2018-09-20 2018-09-25 一种视频内容关联界面的呈现方法、装置及电子设备 Active CN109218697B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/106785 2018-09-20
PCT/CN2018/106785 WO2020056690A1 (zh) 2018-09-20 2018-09-20 一种视频内容关联界面的呈现方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN109218697A CN109218697A (zh) 2019-01-15
CN109218697B true CN109218697B (zh) 2019-11-08

Family

ID=64981382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811119117.6A Active CN109218697B (zh) 2018-09-20 2018-09-25 一种视频内容关联界面的呈现方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN109218697B (zh)
WO (1) WO2020056690A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741348B (zh) * 2019-05-27 2022-09-06 北京京东尚科信息技术有限公司 网页视频播放的控制方法、系统、设备和存储介质
CN111414221B (zh) * 2020-03-20 2022-06-28 联想(北京)有限公司 显示方法和装置
CN111679877B (zh) * 2020-05-27 2023-08-29 浙江大华技术股份有限公司 一种变更终端设备背景的方法、装置和电子设备
CN114765692B (zh) * 2021-01-13 2024-01-09 北京字节跳动网络技术有限公司 一种直播数据处理方法、装置、设备及介质
CN115145442A (zh) * 2022-06-07 2022-10-04 杭州海康汽车软件有限公司 一种环境图像的显示方法、装置、车载终端及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103513946B (zh) * 2012-06-26 2018-01-02 腾讯科技(深圳)有限公司 控制显示的方法及装置
US9397844B2 (en) * 2012-09-11 2016-07-19 Apple Inc. Automated graphical user-interface layout
CN106201161B (zh) * 2014-09-23 2021-09-03 北京三星通信技术研究有限公司 电子设备的显示方法及系统
CN104808907B (zh) * 2015-05-20 2018-01-09 腾讯科技(深圳)有限公司 一种内容同屏显示方法、装置及终端设备
CN104808908B (zh) * 2015-05-21 2019-05-24 北京字节跳动网络技术有限公司 一种显示界面处理方法及装置
CN106250077A (zh) * 2016-07-18 2016-12-21 乐视控股(北京)有限公司 一种应用关联的内容界面呈现方法、装置及其电子设备
CN106980381A (zh) * 2017-03-31 2017-07-25 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
WO2020056690A1 (zh) 2020-03-26
CN109218697A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109218697B (zh) 一种视频内容关联界面的呈现方法、装置及电子设备
CN109151340B (zh) 视频处理方法、装置及电子设备
CN106662793B (zh) 使用稳定用常平架的常平架系统
CN107079141B (zh) 用于三维视频的图像拼接
US9866748B2 (en) System and method for controlling a camera based on processing an image captured by other camera
CN109255827A (zh) 三维人脸图像生成方法、装置及电子设备
CN105915817B (zh) 一种用于捕获图像的方法、装置及系统
CN108596827B (zh) 三维人脸模型生成方法、装置及电子设备
JP5591281B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および動画再生制御方法
CN108696680A (zh) 用于焦点控制的电子设备和方法
CN109271911A (zh) 基于光线的三维人脸优化方法、装置及电子设备
WO2017083418A1 (en) Methods and systems for recording, producing and transmitting video and audio content
CN105247859A (zh) 一个或多个卫星设备的主动立体显像
CN109521869A (zh) 一种信息交互方法、装置及电子设备
CN109285216B (zh) 基于遮挡图像生成三维人脸图像方法、装置及电子设备
CN108377398A (zh) 基于红外的ar成像方法、系统及电子设备
CN104145474A (zh) 引导式图像拍摄
CN108573480A (zh) 基于图像处理的环境光补偿方法、装置及电子设备
CN109214351A (zh) 一种ar成像方法、装置及电子设备
US9774833B2 (en) Projector auto-focus correction with the aid of a camera
CN109803066A (zh) 用于在相机模块内生成时钟信号的电子装置和方法
KR101589889B1 (ko) 화상 처리 장치 및 기록 매체
CN109474801B (zh) 一种交互对象的生成方法、装置及电子设备
US11849100B2 (en) Information processing apparatus, control method, and non-transitory computer readable medium
CN109447924A (zh) 一种图片合成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant