CN114143588A - 一种播放控制方法以及电子设备 - Google Patents
一种播放控制方法以及电子设备 Download PDFInfo
- Publication number
- CN114143588A CN114143588A CN202010918109.9A CN202010918109A CN114143588A CN 114143588 A CN114143588 A CN 114143588A CN 202010918109 A CN202010918109 A CN 202010918109A CN 114143588 A CN114143588 A CN 114143588A
- Authority
- CN
- China
- Prior art keywords
- video
- scene
- width
- aspect ratio
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请实施例提供一种播放控制方法,电子设备可以利用黑边检测技术去除掉视频的黑边,获得无黑边的视频有效图像,通过该无黑边视频的视频比例调整视频播放场景的屏幕大小,使屏幕比例与有效图像的比例相等。例如,当视频播放场景为虚拟影院场景时,虚拟影院场景中的屏幕墙为视频播放区域,并且,无黑边的视频的宽高比与虚拟影院场景中的屏幕墙的宽高比不匹配,则调整场景的尺寸使屏幕墙的比例与无黑边视频的比例适配。这样,视频能够与场景融合,提升观影效果。
Description
技术领域
本申请涉及图像处理领域,尤其涉及一种播放控制方法以及电子设备。
背景技术
随着影音娱乐的不断发展,除了去电影院外,用户还会使用不同的终端设备观看视频, 如手机、平板、电脑等,而VR设备作为一种新型终端,能够提升观影时的沉浸体验感,也 逐渐受到用户的青睐。
发明内容
本申请的目的在于提供一种播放控制方法,可以去除视频的黑边,调整视频播放场景中 的屏幕大小,使场景和无黑边视频进行比例适配。而且,该方法能够实现各种视频比例下均 不会出现视频黑边,能够考虑场景的具体情况,使视频和场景完美融合,减少平面视频在3D 场景中的割裂感,且该方法能够根据视频比例即时生成新的视频播放场景,减小了应用本身 的内存大小,提升了用户的观影效果。
目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要 求、说明书和附图中体现。
第一方面,本申请提供一种播放控制方法,该方法应用于包含显示器的电子设备,在该 显示器中显示有第一宽高比的播放区域。该方法包括:当有宽高比为第二宽高比的第一有效 图像需要被显示时,且第二宽高比不等于第一宽高比,则电子设备将该播放区域的第一宽高 比调整为第二宽高比,并在调整后的播放区域显示第一有效图像。
在本申请中,第一有效图像可以是图片或视频,下面将仅描述第一有效图像为视频的情 况,该第一有效图像可以从该电子设备的存储器中获取,也可以通过外部设备连接到该电子 设备获取,该电子设备的显示屏可以有多个,显示屏用于显示该第一有效图像和播放区域。
在本申请中,有效图像需要被显示时,可以是电子设备检测当用户的输入指令,例如, 用户点击电子设备上的播放视频按钮,电子设备响应该点击操作,显示视频播放画面。
在本申请中,第一有效图像的宽高比不等于播放区域的宽高比,即第一有效图像的比例 与播放区域的比例不匹配,此时显示该第一有效图像时,播放区域显示的画面中除了有效图 像,还包括无效区域,则需要调整播放区域的比例,使播放区域的比例等于需要显示的第一 有效图像的比例。
结合第一方面,在一些实施例中,电子设备获取第一原始图像,该第一原始图像包括第 一黑边和第一有效图像,将第一原始图像的第一黑边去除,从而获得第一有效图像。
也即是说,电子设备获取的图像画面中不仅包含有效图像区域,还含有无效图像区域(即 第一黑边),电子设备通过黑边检测技术检测到第一黑边,并裁剪掉该黑边,获得没有黑边的 第一有效图像。
结合第一方面,在一些实施例中,调整后的播放区域的宽度值与调整前的播放区域的宽 度值之差小于第一阈值,调整后的播放区域的高度值与调整前的播放区域的高度值之差小于 第二阈值。
也即是说,调整播放区域的宽高比时,播放区域的宽高比调整为第二宽高比,同时,播 放区域的尺寸要尽量靠近初始的播放区域的尺寸。
结合第一方面,在一些实施例中,在该电子设备为VR设备,并且,该播放区域为影院 场景中的屏幕墙的情况下,该影院场景包括天花板和墙面,调整播放区域时,增长或缩短影 院场景的天花板和墙面的宽度和/或高度,从而将播放区域的第一宽高比调整为第二宽高比。
例如,调整后的播放区域的宽度大于初始播放区域的宽度,调整后的播放区域的高度小 于初始播放区域的高度时,则需要增长天花板的宽度使天花板的宽度等于调整后的播放区域 的宽度,缩短左右墙面的高度使左右墙面的高度等于调整后的播放区域的高度,此时调整后 的影院场景中的屏幕的宽高比等于第一有效图像的宽高比。
结合第一方面,在一些实施例中,当播放区域为虚拟影院场景中的屏幕墙时,播放区域 调整后的宽度值大于最小宽度值,播放区域调整后的高度值大于最小高度值。
也即是说,在调整虚拟影院场景时,调整的宽度和高度分别存在一个最小值,该屏幕墙 的尺寸必须要大于该最小尺寸。
结合第一方面,在一些实施例中,影院场景的天花板以及墙面均采用循环元素进行装饰, 或者天花板以及墙面均没有采用装饰。
例如,当影院场景的天花板以及墙面均采用循环元素进行装饰,将该循环元素设计成可 拆分组合的条纹,即天花板设计成重复出现的横条纹图案,左右墙面设计成重复出现的竖条 纹图案,当调整播放区域的宽高比时,等比例缩短或增长条纹的宽度和高度,并使条纹重复 组合出现生成新的墙面和天花板,使得场景中的横条纹和竖条纹能够比例适配。
结合第一方面,在其他一些实施例中,该电子设备为VR设备,并且,该播放区域为居 家场景中的电视屏幕,将播放区域的第一宽高比调整为第二宽高比时,增长或缩短电视屏幕 的长度或宽度。
例如,调整后的播放区域的宽度大于初始播放区域的宽度,调整后的播放区域的高度小 于初始播放区域的高度时,则需要增长电视机的宽度使电视机的宽度等于调整后的播放区域 的宽度,缩短左右电视机的高度使电视机的高度等于调整后的播放区域的高度。
结合第一方面,在一些实施例中,当播放区域为虚拟居家场景中的屏幕时,播放区域调 整后的宽度值小于最大宽度值,播放区域调整后的高度值小于最大高度值。
也即是说,在调整虚拟居家场景中的电视屏幕时,调整的宽度和高度分别存在一个最大 值,该电视屏幕的尺寸必须要小于该最大尺寸。
结合第一方面,在一些实施例中,该虚拟影院场景或居家场景的比例可以根据人因测试 获得的尺寸或者实体场景的尺寸来设计。
也即是说,可以根据当前较为舒适或观影效果较好的实体场景,或者通过人因测试获得 舒适的场景尺寸,通过该场景尺寸来设计场景模型的初始值。
第二方面,本申请提供一种电子设备,该电子设备包括显示器,在显示器中显示有第一 宽高比的播放区域,电子设备包括:调整模块以及显示模块,其中,调整模块用于在有宽高 比为第二宽高比的第一有效图像需要被显示,且第一宽高比与第二宽高比不同的情况下,将 播放区域的第一宽高比调整为第二宽高比;显示模块用于在调整后的播放区域显示第一有效 图像。
在一些可能的设计中,该设备还包括:获取模块以及去除模块,该获取模块用于获取第 一原始图像,其中,第一原始图像包括第一黑边和所述第一有效图像;该去除模块用于将第 一原始图像的第一黑边去除,从而获得第一有效图像。
在一些可能的设计中,播放区域调整后的宽度值与播放区域调整前的宽度值的差值小于 第一阈值;播放区域调整后的高度值与播放区域调整前的高度值的差值小于第二阈值。
在一些可能的设计中,在电子设备为VR设备,并且,播放区域为影院场景中的屏幕墙 的情况下,影院场景包括天花板和墙面,调整模块具体用于通过增长或缩短天花板和/或墙面 的长度或宽度,从而将播放区域的第一宽高比调整为所述第二宽高比。
在一些可能的设计中,播放区域调整后的宽度值大于最小宽度值;播放区域调整后的高 度值大于最小高度值。
在一些可能的设计中,天花板以及所述墙面均采用循环元素进行装饰,或者天花板以及 所述墙面均没有采用装饰。
在一些可能的设计中,在电子设备为VR设备,并且,播放区域为居家场景中的电视屏 幕的情况下,调整模块具体用于通过增长或缩短电视屏幕的长度或宽度,从而将播放区域的 第一宽高比调整为第二宽高比。
在一些可能的设计中,播放区域调整后的宽度值小于最大宽度值;播放区域调整后的高 度值小于最大高度值。
在一些可能的设计中,播放区域的比例根据人因测试获得的尺寸或者实物的尺寸来设计。
第三方面,本申请提供一种电子设备,该电子设备包括屏幕、存储器以及耦合于所述存 储器的处理器,多个应用程序,以及一个或多个程序;其中,所述存储器中存储有图像和虚 拟场景,所述屏幕用于显示第一有效图像和所述虚拟影院场景或居家场景,处理器在执行所 述一个或多个程序时,使得电子设备能够执行第一方面中的任一可能的实现方式。
第四方面,本申请提供一种计算机可读存储介质,包括指令,其特征在于,当指令在电 子设备上运行时,使得电子设备执行第一方面中的任一可能的实现方式。
附图说明
图1示出了本申请实施例提供的一种电子设备的结构示意图;
图2A和图2B示出了本申请实施例提供的一种电子设备的外形结构示意图;
图3A~图3D示出了本申请实施例提供的一种用于应用程序菜单的用户界面;
图4A~图4C示出了视频本身存在视频黑边时的视频播放画面;
图5A~图5F示出了视频播放场景中屏幕固定时视频出现黑边的视频播放画面;
图6A和图6B示出了本申请实施例提供的虚拟影院场景调整的实现方式;
图7和图8示出了本申请实施例提供的获取视频场景调整的基准参数的实现方式;
图9A~图9C示出了本申请实施例提供的虚拟影院场景中根据视频比例调整视频播放场 景的具体实现方式;
图10A~图10C示出了本申请实施例提供的虚拟居家场景中根据视频比例调整视频播放 场景的具体实现方式;
图11示出了本申请实施例提供的播放控制方法的总体流程;
图12示出了本申请实施例提供的播放控制装置的结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对 本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一 个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文 中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所 列出项目的任何或所有可能组合。
本申请实施例提供一种播放控制方法,该方法能够去除视频的黑边,获得一个无黑边的 视频,并且可以对视频的虚拟播放场景或载体元素进行参数化适配,使虚拟场景适应裁剪后 的无黑边视频,达到更好的沉浸性观影体验感。并且,该虚拟场景不仅限于单一场景,可以 模拟现实影院场景,将虚拟影院场景中的一面墙作为播放视频的载体,实现足不出户就能体 验到在影院观看电影的真实效果,同时还可以模拟居家场景,将居家场景中的电视机作为播 放视频的载体,根据不同的视频比例调整虚拟电视的长宽比,有效避免了视频黑边,实现了 任何比例的视频都能够无黑边播放。而现有技术中,可以根据常见的已有视频比例,提前预 置好相对应屏幕比例的虚拟场景,根据用户要播放的视频比例,调用对应的场景,虽然该方 法也能实现屏幕比例匹配视频比例,但是仅适用于一两种常用的视频比例,无法匹配所有比 例的视频,尤其无法满足自己下载的网络视频或自制视频,并且提前预置好不同比例的视频 场景,增大了开发时的工作量,也增大了应用本身的内存大小。也即是说,现有技术中,只 能实现少数视频比例的匹配效果。
本申请实施例提供的播放控制方法可以应用于VR设备,同时可以应用于包括显示屏幕 的电子设备。该电子设备可以进行视频播放,通过显示屏幕显示视频画面,同时显示屏幕上 显示的视频画面还包括虚拟场景或载体元素。例如,用户能够通过电子设备的显示屏幕观看 视频,还能够看到区别于视频的虚拟场景,比如虚拟影院场景和虚拟居家场景,载体元素即 为场景中用于播放视频的播放区域,该虚拟画面也是通过电子设备的显示屏幕显示出来的, 但并不是视频中的内容。
对于用户而言,用户可以选择自己想要播放的视频,观看视频时,视频比例与屏幕比例 完美匹配,显示界面不会出现视频黑边,提升观影时的沉浸感。
本申请实施例对调整的虚拟场景和载体元素等不做限定。
由上述播放控制方法可以看出,用户能够播放任意的视频,并呈现无黑边的观看效果, 电子设备也能够根据该无黑边视频的比例,即时调整视频播放界面中场景或载体元素的比例, 将视频与虚拟场景完美融合。
该电子设备可以是虚拟现实(virtual reality,VR)设备、手机、平板电脑、可穿戴设备、车 载设备、增强现实(augmented reality,AR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigitalassistant,PDA)或专门的 照相机(例如单反相机、卡片式相机)等,本申请对该电子设备的具体类型不作任何限制。
图1实例性示出了该电子设备的结构。如图1所示,电子设备拥有多个显示屏183,显 示屏可以采用OLED(organic light-emittingdiode,有机发光二极管)技术,微投影技术。显示 屏183用于显示视频和虚拟场景,用户能够通过该显示屏观看视频,例如,VR头戴显示器中 包含两个显示屏,为了达到立体显像的效果,该设备的原理和人眼类似,VR头戴显示器一般 将内容分屏,分别显示在两个显示屏上,两个显示屏分别对应人眼的左右眼,左眼和右眼的 图像的差异形成视差,画面通过人眼实现叠加成像呈现在大脑中,产生出有空间感的立体视 觉效果。
此外,电子设备100还可包括处理器110,外部存储器接口120,内部存储器121,通用 串行总线(universal serial bus,USB)接口130,充电管理模块140,电池管理模块141,电池 142,传感器模块150,天线,无线通信模块160,音频模块170,扬声器170A,受话器170B, 麦克风170C,耳机接口170D,按键180,指示器181,摄像头182等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申 请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件, 或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组 合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图 像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理 器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器 中。
在一些实施例中,控制器或GPU等处理器110,可以用在裁剪视频黑边上,获取到要播 放的视频,从视频中选取不同的图像帧进行检测识别,检测出出该视频的上下或左右一直处 于黑色的部分,将黑色的部分裁剪掉,获得无黑边的视频。
在另一些实施例中,控制器或GPU等处理器110,还可以用在调整虚拟场景或载体元素 的比例上,通过获得的无黑边视频的比例,对虚拟场景或载体元素进行参数化适配。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码 和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。
在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器 110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存 储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在另一些实施例中,处理器中的存储器可以预先存放一些视频,以供用户在进行视频播 放时有一定的选择空间选择想要播放的视频。同时,存储器中还可以存放一些初始场景,以 供用户在播放视频时加载出视频的播放场景。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integratedcircuitsound,I2S)接口, 脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface, MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。可以理解的是, 本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100 的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口 连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可 以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接 收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设 备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可 以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块 141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储 器120,摄像头182,显示屏183,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。
在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例 中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线无线通信模块160,调制解调处理器以及基 带处理器等实现。
天线用于发射和接收电磁波信号。电子设备100中的天线可用于覆盖单个或多个通信频 带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线复用为无线局域网的 分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导 航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距 离无线通信技术(near fieldcommunication,NFC),红外技术(infrared,IR)等无线通信的解决 方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模 块160经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理 器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大, 经天线转为电磁波辐射出去。其中电子设备100可以通过无线通信模块160如蓝牙连接手柄, 并且电子设备100能够接收到来自手柄的操作指令,并响应该操作指令。
在一些实施例中,电子设备100的天线和无线通信模块160耦合,使得电子设备100可 以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统 (global system for mobile communications,GSM),通用分组无线服务(generalpacket radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long termevolution,LTE),BT,GNSS,WLAN,NFC,FM, 和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导 航卫星系统(global navigationsatellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系 统(satellite based augmentation systems,SBAS)。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备 100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功 能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理 器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及 数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操 作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据 区可存储电子设备100使用过程中所创建的数据(比如音频数据)等。此外,内部存储器121 可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件, 闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频 模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处 理器110中,或将音频模块170的部分功能模块设置于处理器110中。
传感器模块分为三类,包括惯性传感器、动作捕捉传感器、其他类型传感器。惯性传感 器主要有加速度传感器150A、陀螺仪传感器150B和地磁传感器150C,这些传感器可以检测 和测量加速度、倾斜、冲击、振动、旋转等运动,解决导航、定向和运动载体控制,可用于 电子设备100捕捉用户头部的运动;动作捕捉传感器主要有红外摄像头150D和红外感应传 感器150E,这些传感器主要用于电子设备100中的动作捕捉;其他类型传感器包括佩戴检测 用的接近传感器150F等,电子设备100可以通过接近传感器150F检测对象的移动信息和存 在信息,并转换为电气信号,检测物体的位移。
按键180包括确认键,音量键,开关机键等。按键180可以是机械按键。也可以是触摸 式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有 关的键信号输入。
指示器181可以是指示灯,可以用于指示充电状态,电量变化,开关机状态,也可以用 于指示消息,通知等。
摄像头182包括镜头和感光元件(又可称为图像传感器),用于捕获静态图像或视频。物 体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光 电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号, 如标准的RGB,YUV等格式的图像信号。
在一些实施例中,摄像头182可以进行位置追踪、环境映射。电子设备100在摄像头182 的辅助下,根据使用者头部的移动实时改变显示屏183中虚拟环境的视角,增强设备的沉浸 式体验感;电子设备100还能够通过摄像头182获取真实环境数据,通过处理器110生成带 有现实环境参数精准映射的虚拟环境模型。
电子设备100可以通过GPU,显示屏183,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏183和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏183用于显示图像,视频等。显示屏183包括显示面板。显示面板多采用有机发 光二极管(organic light-emittingdiode,OLED),还可以采用液晶显示屏(liquidcrystal display, LCD),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed, Micro-oLed,量子点发光二极管(quantum dotlightemitting diodes,QLED)等。显示屏183可采 用4KUHD的分辨率,能够进一步强化VR的视觉体验。在一些实施例中,电子设备100可 以包括一个或多个显示屏183。
图2A和图2B示出了一种电子设备100外形结构示意图,其中,图2A示出了电子设备100的显示屏183所在的一面,该面为接触使用者面部的一面,图2B示出了不接触使用者面部的外表面。该电子设备100拥有两个显示屏(即图2A中示出的183-1、183-2),显示屏183-1对应用户的左眼,显示屏183-2对应用户的右眼。
电子设备100可以通过显示屏183显示用户要观看的视频,其中,电子设备100可以通 过无线通信模块160连接外部输入设备(即图2A示出的手柄),用户通过外部输入设备上的 触控板和按键可以向电子设备100发出操作指令,例如,用户选择视频播放,查看照片等, 电子设备100能够响应于该指令,处理器存储器中预存一定的视频和初始虚拟场景,用户可 以选择电子设备100中预存的视频进行观看,也可以通过外部存储器接口120或者USB接口 130导入外部视频到电子设备100中,视频在播放之前,处理器获取到视频,检测视频的黑 边,并裁剪到视频黑边获得无黑边视频,再通过获取无黑边视频的视频比例计算获得场景的 调整参数,对初始场景进行参数化适配,从而获得新生成的场景,视频播放时,显示屏中播 放的视频无黑边,且虚拟场景与场景完美融合。
不限于图1所示,电子设备100还可以包括更多或更少部件。例如电子设备100可以为 手机终端、平板,电脑等只有一个屏幕的设备,该设备能够显示出一个虚拟场景,并在虚拟 场景中进行视频播放。在视频播放场景中,通过改变场景中用于播放视频的虚拟场景或载体 元素来适配视频。关于如何调整虚拟场景或载体元素的比例,后续实施例中会详细说明,这 里先不展开。
下面介绍电子设备100上的用于应用程序菜单的示例性界面。
如图3A所示的用户界面,该界面是基于图1中示出的电子设备100的显示屏183显示 出的用户界面,其中显示屏183-1用于显示用户左眼观察的画面,显示屏183-2用于显示用 户右眼观察到的画面,用户通过将左右眼观察到的画面汇总,便呈现出图3B所示的画面, 下面为了便于观察和说明,后面给出的视图均采用如图3B所示的汇总的平面用户界面。
如图3B所示,用户界面210可包括:状态栏211,系统应用程序212、其他应用程序213、 常用应用程序214、应用导航区域215。
状态栏211可包括无线高保真(wirelessfidelity,WiFi)信号的一个或多个信号强度指示 符、电池状态指示符以及时间指示符。
系统应用程序212可包括用户图标212A、设置图标212B、商城图标212C、历史图标212D。 其中用户图标212D用于管理用户账户信息,管理用户购物消费等,设置图标212B用于设置 系统相关参数,商城图标212C方便用户购买应用,扩展系统功能,历史图标212D用于记录 用户操作。
其他应用程序213可包括消息图标213A、主菜单图标213B、音乐图标213C,用户可以 通过设置图标212B修改展示在界面上的其他应用程序213,其他应用程序图标214还可以包 括更多的应用程序图标,本申请实施例对此不作限定。
常用应用程序214可包括影视世界214A、本地视频214B、照片查看214C。其中,影视世界214A可用于查找网络上的海量视频,本地视频214B可用于存放用户网上下载的视频或者外部导入的视频,外部导入的视频可以通过电子设备100的USB接口130连接其他设备导入,照片查看214C可用于开启图库应用程序,从而显示电子设备100存储的图片信息。
应用导航区域215可包括网络推荐的影视、游戏、应用等,该区域可以响应于作用该区 域的用户操作,例如,用户可以通过外接输入设备,如图2A示出的手柄,点击手柄上的按 键,或触摸触控板实现推荐列表的切换或选择当前推荐内容,例如,点击应用导航区域215 中的操作指示图标216,可以进行当前推荐视频的左右切换或者开始播放,当点击当前视频 的播放图标时,用户界面210切换到视频播放界面。
视频播放界面可包括:视频显示界面、场景显示界面。
图3C示出的视频播放界面310的视频播放场景为虚拟影院场景。其中,虚拟影院场景 包括天花板311,左右两侧墙312,屏幕墙314,过道315,座椅316。
视频显示界面承载在虚拟影院场景的屏幕墙314上,即虚拟影院场景的屏幕墙314的尺 寸即为视频播放时屏幕的尺寸,屏幕墙314中可包括视频播放图标313,点击视频播放图标 313即可触发视频播放。
图3D示出的视频播放界面320的视频播放场景为虚拟居家场景。其中,虚拟居家场景 包括天花板321,左右两侧墙322,电视机墙324,电视机325,电视柜326,桌子及其装饰物327,灯328。
视频显示界面承载在虚拟居家场景的电视机325的屏幕上,即虚拟居家场景的电视机325 的尺寸为视频播放时屏幕的尺寸,电视机325中可包括视频播放图标323,点击视频播放图 标323即可触发视频播放。
可以理解的是,图3A~图3D仅仅示例性示出了电子设备100的用户界面或视频播放界 面,不构成对本申请实施例的限定。
下面描述本申请的技术背景中的常见技术问题。
由于当前视频存在多种不同的比例,当视频比例与观看视频的屏幕比例不匹配,观看视 频的屏幕比例又是固定不变的,不能适应不同的视频比例,从而导致很多视频在观看时会出 现不同情况的黑边,还有些视频本身就存在黑边,在固定的屏幕比例上播放时,视频的黑边 区域还会变的更多。
图4A~图4C示例性示出了视频本身存在不同视频黑边的视频播放画面。
如图4A所示,视频中的左右侧存在视频黑边,当视频存在左右侧黑边时,视频的高度 为视频有效界面的高度,但是视频的宽度为视频有效界面的宽度与黑边的宽度之和。
如图4B所示,视频中的上下侧存在视频黑边,当视频存在上下侧黑边时,视频的宽度 为视频有效界面的宽度,但是视频的高度为视频有效界面的高度与黑边的高度之和。
如图4C所示,视频中的上下左右侧存在视频黑边,当视频存在上下左右侧黑边时,视 频的高度为视频有效界面的高度与黑边的高度之和,视频的宽度为视频有效界面的宽度与黑 边的宽度之和。
当视频呈现在屏幕上进行播放时,如果视频存在上述图4A~图4C的视频黑边,在获取 视频的比例时便会出现偏差,当视频左右有黑边时,视频的有效宽度小于屏幕宽度,当视频 上下有黑边时,视频的有效高度小于屏幕宽度,当视频上下左右都有黑边时,视频的有效高 度小于屏幕宽度,且视频的有效宽度小于屏幕宽度。
图5A~图5F示例性示出了视频播放场景中屏幕固定导致视频出现黑边的视频播放画面。
图5A~图5C是视频播放场景为虚拟影院场景时的视频画面。
当视频本身没有黑边时,但是视频的宽高比小于视频播放场景中的宽高比,当点击视频 播放时,视频高度与影院场景中屏幕墙的高度适配,但是视频的宽度小于影院场景中屏幕墙 的宽度,从而导致视频的左右两边会出现如图5A所示的视频黑边。
当视频本身没有黑边时,但是视频的宽高比大于视频播放场景中的宽高比,当点击视频 播放时,视频宽度与影院场景中屏幕墙的宽度适配,但是视频的高度小于影院场景中屏幕墙 的高度,从而导致视频的上下两边会出现如图5B所示的视频黑边。
当视频本身就存在黑边时,如果有黑边的视频宽高比与影院场景中的屏幕墙的宽高比相 等时,虽然视频在播放时不会再出现黑边,但是由于视频本身就存在黑边,所以视频播放的 画面中仍然存在视频黑边;当视频本身存在黑边,且有黑边的视频宽高比与影院场景中的屏 幕墙的宽高比不相等时,由于视频比例与屏幕比例不匹配,视频会出现如图5C所示的视频 黑边,也有可能出现如图5A或图5B的视频黑边。
图5D、图5E和图5F是居家场景中视频尺寸与屏幕尺寸不匹配的情况。由于该情况与虚 拟影院场景的黑边情况相似,不同之处仅在于视频播放的屏幕比例由屏幕墙的比例变成了电 视机的比例,此处不再赘述。
视频有黑边且虚拟场景中的视频尺寸与场景尺寸不匹配,都使得用户在观看视频时观影 体验感差。那么,如果去除了视频的黑边,获得了无黑边的视频,但是若虚拟场景中的屏幕 尺寸与无黑边的视频尺寸不匹配,仍然无法达到沉浸性的观影效果;如果虚拟场景中的屏幕 尺寸与视频尺寸相匹配,但是若是视频本身有黑边,则播放的视频仍然存在黑边。
本申请文件提出了一种播放控制方法,能够有效地解决上述问题。首先去除掉视频的黑 边,获得一个没有黑边的无黑边视频,这样在进行视频比例与屏幕比例匹配时,获得的视频 比例是从无黑边视频中得出的有效比例,不会将视频黑边的宽度和高度计算在内,之后再通 过获得的无黑边视频的视频比例调整虚拟场景中的相关尺寸,从而生成一个和无黑边视频比 例匹配的虚拟场景。例如,虚拟场景为如图3C所示中的影院场景,影院场景中的屏幕墙314 的尺寸即为承载视频的屏幕尺寸,调整屏幕墙314的尺寸时,需要同时调整与屏幕墙314衔 接的天花板311,左右两侧墙312的尺寸,整个场景都需要进行调整,即当虚拟场景为影院 场景,在进行视频比例与屏幕比例匹配时,调整场景的大小;又例如,虚拟场景为如图3D 所示中的居家场景,居家场景中的电视机325的尺寸即为承载视频的屏幕尺寸,调整电视机 325的尺寸时,场景中的其他元素不需要进行调整,调整的只有电视机325这个载体元素的 尺寸,即当虚拟场景为居家场景,在进行视频比例与屏幕比例匹配时,调整载体元素的大小。
这种先去除视频黑边,再调整视频场景的方法,不仅能够有效去除视频的黑边,达到黑 边的观影效果,带给用户更极致的观影体验,还适合任何比例的视频以及任意的视频播放场 景,该方法能够根据不同的场景和载体情况,针对性地进行比例适配,能够将视频完美的融 入虚拟场景,减少割裂感,提升沉浸感。
下面介绍播放控制方法的总体实现方式。
播放控制方法通过获得无黑边视频的视频比例,从而改变场景或者载体元素的大小,将 视频比例与屏幕比例进行匹配,避免视频出现黑边。
阶段1:通过黑边检测技术裁减掉视频的黑边,从而获得一个无黑边的视频。
在获取了将要播放的视频后,从视频中取不同的图像帧进行检测识别,若检测出图像帧 的上下或左右区域有一直处于黑色的部分,将黑色的部分裁切掉,若视频没有检测出黑边, 则保留原视频。
阶段2:通过获得的无黑边视频比例,对视频播放场景中的场景或载体元素进行参数化 适配。
根据裁剪后的无黑边视频的视频高度和视频宽度的比值,获得无黑边视频的视频比例a, 根据无黑边视频的视频比例计算出视频播放场景的屏幕高度和屏幕宽度,根据屏幕高度和屏 幕宽度,对视频播放场景中的场景或载体元素进行参数化适配,从而生成一个新的场景或载 体元素。
(1)当视频播放场景为如图3C所示的视频播放界面310中的影院场景时,即一面墙是 用于观看视频的屏幕墙314,左右两侧墙312与屏幕墙314左右接壤,天花板311与屏幕墙314上下接壤,同时影院场景的地面上还放置有数排座椅316,座椅316两边有过道315。
由于影院场景中视频播放的载体是一面屏幕墙314,所以在进行屏幕比例的调整时,需 要改变整个场景的大小,即需要调整天花板311的宽度和左右两侧墙312的高度,使得场景 中的屏幕尺寸等于根据无黑边视频的视频比例计算出的视频播放场景的屏幕高度和屏幕宽度。
在一些具体的实施例中,影院场景的天花板311和左右两侧墙面312可以采用无装饰的 简洁设计,则在进行场景的参数化适配时,可以直接缩短或增长天花板311和左右两侧墙面 312,使得天花板311的宽度匹配上根据视频比例计算出的屏幕宽度,左右两侧墙面的高度匹 配上根据视频比例计算出的屏幕高度。
在其他一些具体的实施例中,影院场景的天花板311和左右两侧墙面312可以采用重复 规律出现的一些循环元素进行设计,该循环元素可以拆分成小单元进行组合,在进行天花板 和左右两侧墙面参数化适配时,场景中的小单元等比例缩短或增长成目标尺寸,再循环组合 出现,从而生成新的比例适配的场景。
例如,如图6A所示,将影院场景中需要调配的墙面设计成重复出现的宽条纹,影院场 景中的左右两侧墙312设计成等比例重复出现的竖条纹411,影院场景中的天花板311设计 成等比例重复的横条纹412,根据计算得出的屏幕宽度和屏幕高度,匹配对应比例的条纹, 使得在对天花板311的橫条纹412进行相应大小的等比例缩短或增长,左右两侧墙312的竖 条纹411进行相应大小的等比例缩短或增长之后,天花板311与左右两侧墙312的条纹位置 能够进行匹配,最后得到的场景如图6B所示,从而保证墙面图纹不会失真且整体场景装饰 物摆放位置变化不大。
(2)当视频播放场景为如图3D所示的视频播放界面320中的居家场景时,即一面电视 机墙324上有一电视机325用于播放视频,左右两侧墙322与电视机墙324左右接壤,天花板321和电视机墙324上下接壤,同时电视机325的下方有电视柜326,房间中还摆放有桌 子及其装饰物327。
由于居家场景中视频播放的载体是电视机325,所以在进行屏幕比例的调整时,只需要 改变电视机325整个载体元素的宽度和高度就能够使得屏幕比例和视频比例相匹配。
下面介绍场景或载体元素参数化适配前获取基准参数的具体实现方式。
在场景或载体元素进行参数化适配时,视频播放场景的屏幕高度和屏幕宽度是根据无黑 边视频的视频比例计算得出的,但是,仅仅根据无黑边视频的视频比例只能得出视频播放场 景的屏幕宽度与屏幕高度的比值,即视频播放场景的屏幕宽度与屏幕高度的比值等于无黑边 视频的视频比例,无法得出屏幕宽度和屏幕高度的具体值,所以,除了无黑边视频的视频比 例,还需要场景的一些基准参数来辅助计算该屏幕高度和屏幕宽度的具体值。
如图7所示的影院场景示意图,基准参数包括场景初始宽度W0、场景初始高度H0、最 小场景宽度Wmin、最小场景高度Hmin。场景初始宽度W0是指初始的影院场景模型中屏幕墙314的宽度值,场景初始高度H0是指初始的影院场景模型中屏幕墙314的高度值,即场 景在进行参数化适配时,视频播放场景的屏幕宽度要尽可能的接近场景初始宽度W0,视频 播放场景的屏幕高度要尽可能的接近场景初始高度H0;最小场景宽度Wmin是指对影院场景进行参数化适配时限定的最小屏幕墙宽度值,最小场景高度Hmin是指对影院场景进行参数化适配时限定的最小屏幕墙高度值,最小场景宽度Wmin和最小场景高度Hmin都是从初始的影院场景模型中获取的。最小场景宽度Wmin是指场景初始宽度减去影院场景中单排座椅316的宽度和最小过道315的宽度,即场景在进行参数化适配时,由于影院中有座椅316,座椅316的两边会有过道315,所以屏幕墙314调试的宽度大于单排座椅316的宽度和最小过道315的宽度之和;由于影院座椅316每排成阶梯状逐级递增,且影院需要一定的高度才能保证天花板311不会带来压抑感,所以会存在基于当前设计的最小场景高度Hmin,即场景在进行参数化适配时,屏幕墙314调试的高度大于最小场景高度Hmin。
在一些具体的实施例中,场景初始宽度W0和场景初始高度H0可以根据人因测试获得 的较为舒适的影院宽度高度来设置,也可以根据当前较为舒适或者观影效果较好的实体影院 中的宽高比例来获取。
在获得了影院场景的场景初始宽度W0、场景初始高度H0、最小场景宽度Wmin、最小场景高度Hmin之后,结合无黑边视频的视频比例,计算得出视频播放场景的屏幕宽度和屏幕高度。
如图8所示的居家场景示意图,基准参数包括载体元素初始宽度W0、载体元素初始高 度H0、最大载体元素宽度Wmax、最大载体元素高度Hmax。载体元素初始宽度W0是指初 始的居家场景模型中电视机325的宽度值,载体元素初始高度H0是指初始的居家场景模型 中电视机325的高度值,即载体元素在进行参数化适配时,视频播放场景的屏幕宽度要尽可能的接近载体元素初始宽度W0,视频播放场景的屏幕高度要尽可能的接近载体元素初始高度H0;最大载体元素宽度Wmax是指对居家场景进行参数化适配时限定的电视机325最大宽度值,最大载体元素高度Hmax是指对居家场景进行参数化适配时限定的电视机325最大高度值,最大载体元素宽度Wmax和最大载体元素高度Hmax都是从初始的居家场景模型中获取的。最大载体元素宽度Wmax等于电视机墙324的宽度,即载体元素在进行参数化适配时,电视机325的宽度需要小于电视机墙324的宽度;最大载体元素高度Wmax是指居家场景中放置电视机墙324的高度减去电视柜326的高度,即载体元素在进行参数化适配时,电视机325的高度需要小于天花板321和电视柜326之间的高度差。
在一些具体的实施例中,载体元素初始宽度W0和载体元素初始高度H0可以根据人因 测试获得的较为舒适的电视机宽度高度来设置,也可以根据当前较为舒适或者观影效果较好 的实体居家场景中的电视机宽高比例来获取。
在获得了居家场景的载体元素初始宽度W0、载体元素初始高度H0、最大载体元素宽度 Wmax、最大载体元素高度Hmax之后,结合无黑边视频的视频比例,计算得出视频播放场景 的屏幕宽度和屏幕高度。
图9A~图9C示例性示出了视频播放场景为影院场景时调整场景的具体实现方法。
当视频播放场景为影院场景时,即视频播放场景中没有视频边框,为了使场景中的屏幕 比例与视频比例相匹配,需要调整整个场景的尺寸,改变影院场景中屏幕墙314的宽高比。
阶段1:获取要播放的视频,通过黑边检测技术检测视频边缘中一直处于黑色的部分, 将检测到的视频黑边裁剪掉。
在一些可能的情况中,当电子设备100检测到用户播放视频的用户操作,例如,检测到 用户界面210中应用导航区域215中的视频点击操作,进入视频播放界面310,电子设备100 获取到该视频,从视频中取不同的图像帧进行检测识别,将检测到的视频边缘区域一直处于 黑色的部分裁剪掉。
如图9A所示,视频的左右两边存在黑边时,阴影区域511即为通过黑边检测技术裁剪 掉的视频黑边部分,但是由于裁剪掉黑边的视频与屏幕墙314的屏幕比例不匹配,从而导致 视频在播放过程中仍然会出现视频黑边。
阶段2:根据无黑边视频的视频比例a,影院场景的场景初始宽度W0、场景初始高度H0、 最小场景宽度Wmin、最小场景高度Hmin计算出调整后影院场景中屏幕墙314的宽度W和高度H。
根据无黑边视频的宽度和高度,计算出无黑边视频的视频比例a,该视频比例a等于无黑 边视频的宽度与高度的比值,目标屏幕墙的宽度W与高度H的比值等于无黑边视频的视频 比例a,且调整后的屏幕墙314的宽度W大于最小场景宽度Wmin并接近场景初始宽度W0, 调整后的屏幕墙314的高度H大于最小场景高度Hmin并接近场景初始高度H0。
具体地,如图9B所示,由于原始影院场景的屏幕宽度过大,裁剪后的视频左右两边仍 然有无效区域,在调整屏幕墙314的大小时,为了使屏幕墙314的尺寸接近原始影院尺寸且 影院中屏幕墙314的屏幕比例等于无黑边视频的视频比例,调整后的影院场景612中屏幕墙 的宽度小于原始影院场景611中屏幕墙的高度,调整后的影院场景612中的屏幕墙的高度大 于原始影院场景611中屏幕墙的高度。
阶段3:根据计算得出的调整后影院场景612中屏幕墙的宽度W和高度H调整影院场景, 缩小或增大天花板311和左右两侧墙312的相应参数,使得影院场景中屏幕墙314的宽度和 高度达到调整后的参数值大小,最后视频播放应用程序准备就绪,电子设备100检测视频播 放界面310(或视频播放界面320)中的视频播放图标313的触发指令。
具体地,如图9C所示,在调整影院场景的比例时,增长左右两侧墙面312的高度,缩短天花板311的宽度,最后使得影院场景中屏幕墙314的宽高比与无黑边视频的宽高比相等, 从而在调整后的场景进行视频播放时,视频画面中不会出现视频黑边。
在一些具体的实施例中,显示屏183显示的内部除了视频画面之外,还可以显示图片, 电子设备100可以裁剪掉图片的无效部分,获取图片的有效尺寸,并改变虚拟场景的尺寸, 使场景与图片适配。
图10A~图10C示例性示出了视频播放场景为居家场景时调整场景的具体实现方法。
当视频播放场景为居家场景时,即视频播放场景中有视频边框,为了使场景中的屏幕比 例与视频比例相匹配,只需要调整单个载体元素的尺寸,即改变居家场景中电视机325的宽 高比。
阶段1:获取要播放的视频,通过黑边检测技术检测视频边缘中一直处于黑色的部分, 将检测到的视频黑边裁剪掉。
在一些可能的情况中,当电子设备100检测到用户播放视频的用户操作,例如,检测到 用户界面210中应用导航区域215中的视频点击操作,进入视频播放界面320,电子设备100 获取到该视频,从视频中取不同的图像帧进行检测识别,将检测到的视频边缘区域一直处于 黑色的部分裁剪掉。
如图10A所示,视频的左右两边存在黑边时,阴影区域711即为通过黑边检测技术裁剪 掉的视频黑边部分,但是由于裁剪掉黑边的视频与电视机324的屏幕比例不匹配,从而导致 视频在播放过程中仍然会出现视频黑边。
阶段2:根据无黑边视频的视频比例a,载体元素初始宽度W0、载体元素初始高度H0、 最大载体元素宽度Wmax、最大载体元素高度Hmax计算出调整后居家场景中电视机325的 宽度W和高度H。
根据无黑边视频的宽度和高度,计算出无黑边视频的视频比例a,该视频比例a等于无黑 边视频的宽度与高度的比值,调整后的电视机325的宽度W与高度H的比值等于无黑边视 频的视频比例a,且调整后的电视机325的宽度W小于最大载体元素宽度Wmax并接近载体 元素初始宽度W0,调整后的电视机325的高度H小于最大载体元素高度Hmax并接近载体元素初始高度H0。
具体地,如图10B所示,由于原始居家场景811的屏幕宽度过大,裁剪后的视频左右两 边仍然有无效区域,在调整电视机325的大小时,为了接近原始电视机尺寸且电视机325的 宽高比例等于无黑边视频的视频比例,调整后居家场景812中电视机325的宽度小于原始居 家场景811中电视机325的宽度,调整后居家场景812中电视机325的高度大于原始居家场 景811中电视机325的高度。
阶段3:根据计算得出的调整后居家场景812中电视机325的宽度W和高度H调整居家 场景中的电视机325的尺寸,缩小或增大电视机的大小,使得居家场景中电视机325的宽度 和高度达到调整后的参数值大小,最后视频播放应用程序准备就绪,电子设备100检测视频 播放界面310(或视频播放界面320)中的视频播放图标313的触发指令。
具体地,如图10C所示,在调整影院场景的比例时,增长电视机325的高度,缩短电视 机325的宽度,最后使得居家场景中电视机325的宽高比与无黑边视频的宽高比相等,从而 在调整后的场景进行视频播放时,视频画面中不会出现视频黑边。
在一些具体的实施例中,显示屏183显示的内部除了视频画面之外,还可以显示图片, 电子设备100可以去除图片的无效区域,获取图片的有效比例,并改变虚拟场景的尺寸,使 场景与图片适配。
下面介绍本申请文件提供的播放控制方法的流程示意图。
图11示例性示出了播放控制方法的流程示意图。
阶段1(S101-S103):检测视频黑边并将视频黑边裁剪掉。
S101,电子设备100获取到要播放的视频。
示例性地,用户可以根据自己的喜好,选择用户想要播放的视频,电子设备100可以检 测到用户选择视频播放的触控操作或点击操作,电子设备100获取该视频内容,并响应于该 操作启动播放视频应用程序,进入视频播放界面310。
S102,电子设备100检测视频是否有黑边。
若视频有黑边,直接进入S103。
若视频没有黑边,直接进入S104。
电子设备100从获取的视频内容中取不同的图像帧进行检测识别,检测视频的边缘区域 一直处于黑色的部分。
S103,电子设备100裁剪掉视频的黑边。
阶段2(S104-S107):电子设备100计算得出目标屏幕宽度和目标屏幕高度。
S104:获取无黑边视频的视频比例。
电子设备100在裁剪掉视频的黑边,或检测到视频本身没有黑边之后,根据无黑边视频 的宽度和高度的比值,计算出无黑边视频的视频比例a。
S105:获取虚拟场景中的初始屏幕比例。
在一具体实施例中,当视频播放的虚拟场景为影院场景时,虚拟场景的初始屏幕比例即 为场景初始宽度W0与场景初始高度H0的比值,其中,场景初始宽度W0为初始影院场景模 型中的屏幕墙314的宽度,场景初始高度H0为初始影院场景模型中的屏幕墙314的高度。
在另一具体实施例中,当视频播放的虚拟场景为居家场景时,虚拟场景的初始屏幕比例 即为载体元素初始宽度W0与载体元素初始高度H0的比值,其中,载体元素初始宽度W0 为初始居家场景模型中的电视机325的宽度,载体元素初始高度H0为初始居家场景模型中 的电视机325的高度。
S106:判断视频比例是否等于屏幕比例。
若视频比例等于屏幕比例,直接进行S109。
若视频比例不等于屏幕比例,直接进行S107。
S107:根据无黑边视频的视频比例和基准参数计算出视频调整的目标屏幕宽度W和目标 屏幕高度H。
在一具体实施例中,当视频播放场景为影院场景时,基准参数包括场景初始宽度W0、 场景初始高度H0、最小场景宽度Wmin、最小场景高度Hmin,视频比例为无黑边视频的宽度与高度的比值。其中,最小场景宽度Wmin是指对影院场景进行参数化适配时限定的最小屏幕墙宽度值,最小场景高度Hmin是指对影院场景进行参数化适配时限定的最小屏幕墙高度值,最小场景宽度Wmin和最小场景高度Hmin都是从初始的影院场景模型中获取的。最 小场景宽度Wmin是指场景初始宽度减去影院场景中单排座椅的宽度和最小过道宽度之和,即场景在进行参数化适配时,由于影院中有座椅,座椅的两边会有走廊空地,所以屏幕墙调试的宽度大于单排座椅的宽度和走廊空地的宽度之和;由于影院座椅每排成阶梯状逐级递增, 且影院需要一定的高度才能保证天花板不会带来压抑感,所以会存在基于当前设计的最小场 景高度Hmin,即场景在进行参数化适配时,屏幕墙调试的高度大于最小场景高度Hmin。在 计算目标屏幕宽度W和目标屏幕高度H时,保证目标屏幕宽度W与目标屏幕高度H的比值 等于无黑边视频的视频比例,并且目标屏幕宽度W大于最小场景宽度Wmin,且目标屏幕宽 度W与场景初始宽度W0的差值保持在第一阈值范围内,即|W-W0|<第一阈值,其中第一阈 值为一个尽可能小的值,目标屏幕高度H大于最小场景高度Hmin,且目标屏幕宽度H与场景初始高度H0的差值保持在第二阈值范围内,即|H-H0|<第二阈值,其中第二阈值为一个尽可能小的值。
在另一具体实施例中,当视频播放场景为居家场景时,基准参数包括载体元素初始宽度 W0、载体元素初始高度H0、最大载体元素宽度Wmax、最大载体元素高度Hmax。视频比例 为无黑边视频的宽度与高度的比值。其中,最大载体元素宽度Wmax是指对居家场景进行参 数化适配时限定的最大电视机边框宽度值,最大载体元素高度Hmax是指对居家场景进行参 数化适配时限定的最大电视机边框高度值,最大载体元素宽度Wmax和最大载体元素高度Hmax都是从初始的居家场景模型中获取的。最大载体元素宽度Wmax等于电视机墙面的宽 度,即载体元素在进行参数化适配时,电视机边框的宽度需要小于电视机墙的宽度;最大载 体元素高度Hmax是指居家场景中放置电视机墙面的高度减去电视柜的高度,即载体元素在 进行参数化适配时,电视机边框的高度需要小于天花板和电视柜之间的高度差。在计算目标 屏幕宽度W和目标屏幕高度H时,保证目标屏幕宽度W与目标屏幕高度H的比值等于无黑 边视频的视频比例,并且目标屏幕宽度W小于最大载体元素宽度Wmax,且目标屏幕宽度W 与载体元素初始宽度W0的差值保持在第一阈值范围内,即|W-W0|<第一阈值,其中第一阈值 为一个尽可能小的值,目标屏幕高度H小于最大载体元素高度Hmax,且目标屏幕宽度H与 载体元素初始高度H0的差值保持在第二阈值范围内,即|H-H0|<第二阈值,其中第二阈值为 一个尽可能小的值。
阶段3(S108-S109):根据目标屏幕宽度W和目标屏幕高度H,调整场景或载体元素的 大小,最后播放视频。
S108:调整VR场景的比例,生成新的场景或载体元素。
在一具体实施例中,当视频播放场景为影院场景时,为了使视频比例与屏幕比例相匹配, 则需要调整影院场景中屏幕墙314的宽度和高度,即将影院场景中屏幕墙314的宽度调整为 目标屏幕宽度W的大小,将影院场景中屏幕墙314的高度调整为目标屏幕高度H的大小, 同时,为了调整屏幕墙的宽度和高度,需要增大或缩小影院场景中左右两侧墙312和天花板 311的尺寸,从而生成一个新的场景,并且在新生成的场景中,视频比例与屏幕比例相等, 则播放视频时,场景中不会出现视频黑边。
在另一具体实施例中,当视频播放场景为居家场景时,为了使视频比例与屏幕比例相匹 配,则需要调整居家场景中电视机325的宽度和高度,即将居家场景中电视机325的宽度调 整为目标屏幕宽度W的大小,将居家场景中电视机325的高度调整为目标屏幕高度H的大 小,同时,为了调整电视机325的宽度和高度,只需要增大或缩小居家场景中电视机325的 尺寸,从而生成一个新的载体元素,并且在新生成的载体元素中,视频比例与屏幕比例相等。
S109:电子设备100视频播放就绪。
电子设备100的显示屏183中显示的场景无黑边视频适配,无黑边视频能够完美的融合 进视频播放场景,视频播放程序准备就绪。
图11方法实施例中未提及的内容可参考前述场景实施例,这里不再赘述。
图12示例性示出了播放控制装置的结构示意图。
参见图12,该播放控制装置包括显示屏183,在显示屏183中显示有第一宽高比的播放 区域,播放控制装置包括:获取模块、去除模块、调整模块、显示模块。
其中,获取模块用于获取原始图像,原始图像包括黑边和宽高比为第一宽高比的有效图 像;去除模块用于将原始图像的黑边去除,获得有效图像;调整模块用于在有宽高比为第二 宽高比的有效图像需要被显示,且第一宽高比与第二宽高比不同的情况下,将播放区域的第 一宽高比调整为第二宽高比;显示模块用于在调整后的播放区域显示第一有效图像,本实施 方式的播放控制装置的显示屏183可以显示如图3C或者图3D的视频播放界面。
为了简便起见,此处并没有对图像的检测和黑边的裁剪、有效图像的获取、调整参数的 计算过程、播放区域的调整过程进行详细的介绍,具体请参见图1、图2A至图2B、图3A至 图3D、图4A至图4C、图5A至图5F、图6A至图6B、图7、图8、图9A至图9C、图10A 至图10C、图11以及相关描述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当 使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包 括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产 生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算 机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从 一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从 一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线) 或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进 行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或 多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例 如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由 计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执 行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体 RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (20)
1.一种播放控制方法,其特征在于,应用于包含显示器的电子设备,在所述显示器中显示有第一宽高比的播放区域,所述方法包括:
在有宽高比为第二宽高比的第一有效图像需要被显示,且所述第一宽高比与所述第二宽高比不同的情况下,则将所述播放区域的第一宽高比调整为所述第二宽高比;
在被调整后的所述播放区域显示所述第一有效图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第一原始图像,其中,所述第一原始图像包括第一黑边和所述第一有效图像;
将所述第一原始图像的所述第一黑边去除,从而获得所述第一有效图像。
3.根据权利要求1或2所述的方法,其特征在于,
所述播放区域调整后的宽度值与所述播放区域调整前的宽度值的差值小于第一阈值;
所述播放区域调整后的高度值与所述播放区域调整前的高度值的差值小于第二阈值。
4.根据权利要求3所述的方法,其特征在于,在所述电子设备为VR设备,并且,所述播放区域为影院场景中的屏幕墙的情况下,所述影院场景包括天花板和墙面,将所述播放区域的第一宽高比调整为所述第二宽高比,包括:
通过增长或缩短所述天花板和/或所述墙面的长度或宽度,从而将所述播放区域的第一宽高比调整为所述第二宽高比。
5.根据权利要求4所述的方法,其特征在于,
所述播放区域调整后的宽度值大于最小宽度值;
所述播放区域调整后的高度值大于最小高度值。
6.根据权利要求4或5所述的方法,其特征在于,所述天花板以及所述墙面均采用循环元素进行装饰,或者所述天花板以及所述墙面均没有采用装饰。
7.根据权利要求3所述的方法,其特征在于,在所述电子设备为VR设备,并且,所述播放区域为居家场景中的电视屏幕的情况下,将所述播放区域的第一宽高比调整为所述第二宽高比,包括:
通过增长或缩短所述电视屏幕的长度或宽度,从而将所述播放区域的第一宽高比调整为所述第二宽高比。
8.根据权利要求7所述的方法,其特征在于,
所述播放区域调整后的宽度值小于最大宽度值;
所述播放区域调整后的高度值小于最大高度值。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述播放区域的比例根据人因测试获得的尺寸或者实物的尺寸来设计。
10.一种电子设备,其特征在于,所述电子设备包括显示器,在所述显示器中显示有第一宽高比的播放区域,所述电子设备包括:调整模块以及显示模块,
所述调整模块用于在有宽高比为第二宽高比的第一有效图像需要被显示,且所述第一宽高比与所述第二宽高比不同的情况下,将所述播放区域的第一宽高比调整为所述第二宽高比;
所述显示模块用于在被调整后的所述播放区域显示所述第一有效图像。
11.根据权利要求10所述的设备,其特征在于,所述装置还包括:获取模块以及去除模块,
所述获取模块用于获取第一原始图像,其中,所述第一原始图像包括第一黑边和所述第一有效图像;
所述去除模块用于将所述第一原始图像的所述第一黑边去除,从而获得所述第一有效图像。
12.根据权利要求10或11所述的设备,其特征在于
所述播放区域调整后的宽度值与所述播放区域调整前的宽度值的差值小于第一阈值;
所述播放区域调整后的高度值与所述播放区域调整前的高度值的差值小于第二阈值。
13.根据权利要求3所述的设备,其特征在于,在所述电子设备为VR设备,并且,所述播放区域为影院场景中的屏幕墙的情况下,所述影院场景包括天花板和墙面,
所述调整模块具体用于通过增长或缩短所述天花板和/或所述墙面的长度或宽度,从而将所述播放区域的第一宽高比调整为所述第二宽高比。
14.根据权利要求13所述的设备,其特征在于,
所述播放区域调整后的宽度值大于最小宽度值;
所述播放区域调整后的高度值大于最小高度值。
15.根据权利要求13或14所述的设备,其特征在于,所述天花板以及所述墙面均采用循环元素进行装饰,或者所述天花板以及所述墙面均没有采用装饰。
16.根据权利要求15所述的设备,其特征在于,在所述电子设备为VR设备,并且,所述播放区域为居家场景中的电视屏幕的情况下,
所述调整模块具体用于通过增长或缩短所述电视屏幕的长度或宽度,从而将所述播放区域的第一宽高比调整为所述第二宽高比。
17.根据权利要求16所述的设备,其特征在于,
所述播放区域调整后的宽度值小于最大宽度值;
所述播放区域调整后的高度值小于最大高度值。
18.根据权利要求10-17中任一项所述的设备,其特征在于,所述播放区域的比例根据人因测试获得的尺寸或者实物的尺寸来设计。
19.一种电子设备,其特征在于,包括屏幕、存储器以及耦合于所述存储器的处理器,多个应用程序,以及一个或多个程序;其中,所述存储器中存储有图像和虚拟场景,所述屏幕用于显示所述图像和所述虚拟场景,所述处理器在执行所述一个或多个程序时,使得所述电子设备实现如权利要求1至9任一项所述的方法。
20.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1至9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010918109.9A CN114143588B (zh) | 2020-09-03 | 2020-09-03 | 一种播放控制方法以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010918109.9A CN114143588B (zh) | 2020-09-03 | 2020-09-03 | 一种播放控制方法以及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114143588A true CN114143588A (zh) | 2022-03-04 |
CN114143588B CN114143588B (zh) | 2023-06-06 |
Family
ID=80438629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010918109.9A Active CN114143588B (zh) | 2020-09-03 | 2020-09-03 | 一种播放控制方法以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114143588B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040141717A1 (en) * | 2002-10-17 | 2004-07-22 | Samsung Electronics Co., Ltd. | Information storage medium including device-aspect-ratio information, method and apparatus therefor |
CN105898615A (zh) * | 2015-12-25 | 2016-08-24 | 乐视网信息技术(北京)股份有限公司 | 一种视频显示窗口的切换方法及装置 |
CN106131539A (zh) * | 2016-06-30 | 2016-11-16 | 乐视控股(北京)有限公司 | 一种虚拟现实vr设备及其视频播放方法 |
CN107135420A (zh) * | 2017-04-28 | 2017-09-05 | 歌尔科技有限公司 | 基于虚拟现实技术的视频播放方法及系统 |
-
2020
- 2020-09-03 CN CN202010918109.9A patent/CN114143588B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040141717A1 (en) * | 2002-10-17 | 2004-07-22 | Samsung Electronics Co., Ltd. | Information storage medium including device-aspect-ratio information, method and apparatus therefor |
CN105898615A (zh) * | 2015-12-25 | 2016-08-24 | 乐视网信息技术(北京)股份有限公司 | 一种视频显示窗口的切换方法及装置 |
CN106131539A (zh) * | 2016-06-30 | 2016-11-16 | 乐视控股(北京)有限公司 | 一种虚拟现实vr设备及其视频播放方法 |
CN107135420A (zh) * | 2017-04-28 | 2017-09-05 | 歌尔科技有限公司 | 基于虚拟现实技术的视频播放方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114143588B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110502954B (zh) | 视频分析的方法和装置 | |
CN108401124B (zh) | 视频录制的方法和装置 | |
CN109191549B (zh) | 显示动画的方法及装置 | |
CN108063981B (zh) | 设置直播间的属性的方法和装置 | |
CN108762501B (zh) | Ar显示方法、智能终端、ar设备及系统 | |
CN108174275B (zh) | 图像展示方法、装置及计算机可读存储介质 | |
WO2020259542A1 (zh) | 一种显示设备的控制方法及相关装置 | |
CN108848313B (zh) | 一种多人拍照方法、终端和存储介质 | |
CN111447389B (zh) | 视频生成方法、装置、终端及存储介质 | |
KR20160127606A (ko) | 이동 단말기 및 그 제어 방법 | |
CN111142838A (zh) | 音频播放方法、装置、计算机设备及存储介质 | |
CN111510757A (zh) | 一种共享媒体数据流的方法、装置以及系统 | |
CN111954058B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN112052897A (zh) | 多媒体数据拍摄方法、装置、终端、服务器及存储介质 | |
US20220262074A1 (en) | Interaction Method in Virtual Reality Scenario and Apparatus | |
CN110933293A (zh) | 一种拍摄方法、终端及计算机可读存储介质 | |
CN108965769B (zh) | 视频显示方法及装置 | |
CN110807769A (zh) | 图像显示控制方法及装置 | |
CN110891181B (zh) | 直播画面显示方法、装置、存储介质及终端 | |
CN112419143A (zh) | 图像处理方法、特效参数设置方法、装置、设备及介质 | |
CN110177208B (zh) | 一种视频录制的关联控制方法、设备及计算机可读存储介质 | |
CN112118353A (zh) | 信息显示方法、装置、终端及计算机可读存储介质 | |
CN110990623A (zh) | 音频字幕的显示方法及装置、计算机设备及存储介质 | |
CN114143588B (zh) | 一种播放控制方法以及电子设备 | |
CN111522483B (zh) | 多媒体数据分享方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |