CN109672932A - 辅助视力障碍者观看视频的方法、系统、设备及存储介质 - Google Patents
辅助视力障碍者观看视频的方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN109672932A CN109672932A CN201811654417.4A CN201811654417A CN109672932A CN 109672932 A CN109672932 A CN 109672932A CN 201811654417 A CN201811654417 A CN 201811654417A CN 109672932 A CN109672932 A CN 109672932A
- Authority
- CN
- China
- Prior art keywords
- video
- current
- scene
- aside
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000029257 vision disease Diseases 0.000 title claims abstract description 73
- 206010047571 Visual impairment Diseases 0.000 title claims abstract description 61
- 230000004393 visual impairment Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 claims abstract description 39
- 238000012552 review Methods 0.000 claims description 28
- 239000003550 marker Substances 0.000 claims description 14
- 230000004438 eyesight Effects 0.000 claims description 2
- 238000005266 casting Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
- H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种辅助视力障碍者观看视频的方法、系统、设备及存储介质，本发明通过判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；在存在场景切换时，获取当前视频帧对应的当前场景标记；将当前场景标记与映射关系中对应的当前旁白进行匹配；在匹配成功时，对当前旁白通过语音进行播放，实现了当视频中存在场景切换时播报与场景对应的旁白，帮助视力障碍用户了解视频内容，跟上剧情，同时通过网络公开信息中视频相关内容的抓取和匹配，提高了旁白的准确性，大大提升了用户体验。
Description
技术领域
本发明涉及视频分析领域，尤其涉及一种辅助视力障碍者观看视频的方法、系统、设备及存储介质。
背景技术
中国有1400万的视力障碍人群，因为视力很低，他们往往没有办法与家人一起自在地享受观看视频的乐趣，而是只能靠听来“观看”电视，但由于“听”电视无法知道视频场景的切换，很难了解节目情节，导致很多视力障碍人群直接放弃了剧情复杂的影视节目。
目前有部分手机带有“旁白”功能，但只是简单的针对系统菜单进行语音播报，无法针对视频中的场景切换进行提示。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种辅助视力障碍者观看视频的方法、系统、设备及存储介质，旨在解决现有技术中电子设备无法针对视频场景切换给予视力障碍者提示的技术问题。
为实现上述目的，本发明提供一种辅助视力障碍者观看视频的方法，所述方法包括以下步骤：
判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；
在所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换时，获取所述当前视频帧对应的当前场景标记；
将所述当前场景标记与映射关系中对应的当前旁白进行匹配，所述映射关系包括场景标记和旁白之间的对应关系；
在匹配成功时，对所述当前旁白通过语音进行播放。
优选地，所述判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换，具体包括：
获得所述当前播放视频的当前视频帧的第一灰度值和上一视频帧的第二灰度值；
在所述第一灰度值与所述第二灰度值差在第一预设阈值内时，判定所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换。
优选地，所述将所述当前场景标记与映射关系中对应的当前旁白进行匹配，具体包括：
将所述当前场景标记与映射关系中对应的当前旁白进行字符串相似度匹配；
在所述当前场景标记与所述当前旁白的字符串相似度在第二预设阈值内时，判定匹配成功。
优选地，所述判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换之前，所述方法还包括：
获取待播放视频的剧集信息；
根据所述剧集信息从网络信息中抓取所述待播放视频的影评或书评；
从所述影评或书评中按场景变化顺序提取旁白。
优选地，所述判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换之前，所述方法还包括：
判断当前播放视频是否存在场景切换，在所述当前播放视频存在场景切换时，根据预设标记规则建立所述当前播放视频的场景标记；
根据所述场景标记与所述旁白的对应关系建立映射关系。
优选地，所述将所述当前场景标记与映射关系中对应的当前旁白进行匹配，所述映射关系包括场景标记和旁白之间的对应关系之后，所述方法还包括：
在匹配不成功时，对所述当前场景标记通过语音进行播放。
优选地，所述场景切换包括背景切换或物品切换；
相应地，所述场景标记包括背景标记或物品标记。
此外，为实现上述目的，本发明还提供一种辅助视力障碍者观看视频的系统，所述辅助视力障碍者观看视频的系统包括：
结构化视频模块，用于判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；
标记获取模块，用于在所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换时，获取所述当前视频帧对应的当前场景标记；
标记匹配模块，用于将所述当前场景标记与映射关系中对应的当前旁白进行匹配，所述映射关系包括场景标记和旁白之间的对应关系；
旁白播放模块，用于在匹配成功时，对所述当前旁白通过语音进行播放。
此外，为实现上述目的，本发明还提供一种辅助视力障碍者观看视频的设备，所述辅助视力障碍者观看视频的设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的辅助视力障碍者观看视频的程序，所述辅助视力障碍者观看视频的程序配置为实现所述的辅助视力障碍者观看视频的方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，其特征在于，所述存储介质上存储有辅助视力障碍者观看视频的程序，所述辅助视力障碍者观看视频的程序被处理器执行时实现所述的辅助视力障碍者观看视频的方法的步骤。
本发明通过判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；在存在场景切换时，获取当前视频帧对应的当前场景标记；将当前场景标记与映射关系中对应的当前旁白进行匹配；在匹配成功时，对当前旁白通过语音进行播放，实现了当视频中存在场景切换时播报与场景对应的旁白，帮助视力障碍用户了解视频内容，跟上剧情，同时通过网络公开信息中视频相关内容的抓取和匹配，提高了旁白的准确性，大大提升了用户体验。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的辅助视力障碍者观看视频的设备结构示意图；
图2为本发明辅助视力障碍者观看视频的方法第一实施例的流程示意图；
图3为本发明辅助视力障碍者观看视频的方法第二实施例的流程示意图；
图4为本发明辅助视力障碍者观看视频的系统第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的辅助视力障碍者观看视频的设备结构示意图。
如图1所示，该辅助视力障碍者观看视频的设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对辅助视力障碍者观看视频的设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及辅助视力障碍者观看视频的程序。
在图1所示的辅助视力障碍者观看视频的设备中，网络接口1004主要用于与外部网络进行数据通信；用户接口1003主要用于接收用户的输入指令；所述辅助视力障碍者观看视频的设备通过处理器1001调用存储器1005中存储的辅助视力障碍者观看视频的程序，并执行以下操作：
判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；
在所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换时，获取所述当前视频帧对应的当前场景标记；
将所述当前场景标记与映射关系中对应的当前旁白进行匹配，所述映射关系包括场景标记和旁白之间的对应关系；
在匹配成功时，对所述当前旁白通过语音进行播放。
进一步地，处理器1001可以调用存储器1005中存储的辅助视力障碍者观看视频的程序，还执行以下操作：
获得所述当前播放视频的当前视频帧的第一灰度值和上一视频帧的第二灰度值；
在所述第一灰度值与所述第二灰度值差在第一预设阈值内时，判定所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换。
进一步地，处理器1001可以调用存储器1005中存储的辅助视力障碍者观看视频的程序，还执行以下操作：
将所述当前场景标记与映射关系中对应的当前旁白进行字符串相似度匹配；
在所述当前场景标记与所述当前旁白的字符串相似度在第二预设阈值内时，判定匹配成功。
进一步地，处理器1001可以调用存储器1005中存储的辅助视力障碍者观看视频的程序，还执行以下操作：
获取待播放视频的剧集信息；
根据所述剧集信息从网络信息中抓取所述待播放视频的影评或书评；
从所述影评或书评中按场景变化顺序提取旁白。
进一步地，处理器1001可以调用存储器1005中存储的辅助视力障碍者观看视频的程序，还执行以下操作：
判断当前播放视频是否存在场景切换，在所述当前播放视频存在场景切换时，根据预设标记规则建立所述当前播放视频的场景标记；
根据所述场景标记与所述旁白的对应关系建立映射关系。
进一步地，处理器1001可以调用存储器1005中存储的辅助视力障碍者观看视频的程序，还执行以下操作：
在匹配不成功时，对所述当前场景标记通过语音进行播放。
本实施例通过判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；在存在场景切换时，获取当前视频帧对应的当前场景标记；将当前场景标记与映射关系中对应的当前旁白进行匹配；在匹配成功时，对当前旁白通过语音进行播放，实现了当视频中存在场景切换时播报与场景对应的旁白，帮助视力障碍用户了解视频内容，跟上剧情，同时通过网络公开信息中视频相关内容的抓取和匹配，提高了旁白的准确性，大大提升了用户体验。
基于上述硬件结构，提出本发明辅助视力障碍者观看视频的方法实施例。
参照图2，图2为本发明辅助视力障碍者观看视频的方法第一实施例的流程示意图。
在第一实施例中，所述辅助视力障碍者观看视频的方法包括以下步骤：
S10：判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换。
应理解的是，所述场景可以是视频中的背景，也可以是物品，如食物、球类等，本实施例对此不加以限制。相应地，所述场景切换包括背景切换或物品切换。
需要说明的是，判断场景切换可使用视频结构化分析方法，视频结构化分析是指对视频流进行镜头分割、关键帧提取和场景分割等处理，从而得到视频的结构化信息。具体地，获得所述当前播放视频的当前视频帧的第一灰度值和上一视频帧的第二灰度值；在所述第一灰度值与所述第二灰度值差在第一预设阈值内时，判定所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换。
基于灰度值的检测算法以视频帧图像灰度值的差异作为判断场景是否切换的依据，运算复杂度低，能快速获得判断结果，提高了判断的实时性。
S20：在所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换时，获取所述当前视频帧对应的当前场景标记。
应理解的是，场景标记指背景标记或物品标记，其中，背景标记是指对视频背景的直接描述，比如花园、室内、草原等。
需要说明的是，当检测到视频中当前视频帧有场景切换时，需要根据预设标记规则建立所述当前视频帧对应的当前场景标记，然后使用同样的方法建立其他视频帧对应的场景标记，最终获得当前播放视频的所有的场景标记。当视频播放到某一个存在场景切换的视频帧时，需要从场景标记中获取当前视频帧对应的当前场景标记。
S30：将所述当前场景标记与映射关系中对应的当前旁白进行匹配，所述映射关系包括场景标记和旁白之间的对应关系。
具体地，将所述当前场景标记与映射关系中对应的当前旁白进行字符串相似度匹配；在所述当前场景标记与所述当前旁白的字符串相似度在第二预设阈值内时，判定匹配成功。
S40：在匹配成功时，对所述当前旁白通过语音进行播放。
需要说明的是，在匹配成功时，将当前旁白通过语音播报，能使视力障碍用户及时了解视频场景中的背景或物品切换。在匹配不成功时，则说明没有可用的与当前场景标记相应的旁白，则直接将当前场景标记通过语音进行播放。
进一步地，在将目标旁白进行语音播报之前，还可以将当前视频帧的当前场景标记进行修改，将当前旁白替换为当前场景标记，这样用户下次观看同一视频时就不需要进行再次对视频进行分析及匹配。
以场景为背景为例，若背景标记为花园，而与该背景标记对应的旁白是御花园，则将背景标记调整为御花园，并进行播报，若没有与该背景标记对应的旁白，则保留原来的背景标记花园，直接播报。
进一步地，在将当前旁白进行语音播报后，还可以对当前场景标记进行人工微调，或根据所述当前旁白或当前场景标记、当前播放视频的音量及场景切换时间更新所述预设标记规则，以提升用户体验。
比如，当人工测试时发现，当场景快速地切换，画面停留不足一定时间(如5秒)时，频繁播报旁白会影响用户体验，则可以删除此处场景标记，并以此形成标记规则，这样不需要每次都进行人工调整、修正，提高后续对下一个视频输出场景标记的效率。
本实施例通过判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；在存在场景切换时，获取当前视频帧对应的当前场景标记；将当前场景标记与映射关系中对应的当前旁白进行匹配；在匹配成功时，对当前旁白通过语音进行播放，实现了当视频中存在场景切换时播报与场景对应的旁白，帮助视力障碍用户了解视频内容，跟上剧情，同时通过网络公开信息中视频相关内容的抓取和匹配，提高了旁白的准确性，大大提升了用户体验。
进一步地，如图3所示，基于第一实施例提出本发明辅助视力障碍者观看视频的方法第二实施例，在本实施例中，在步骤S10之前，所述方法还包括：
S110：获取待播放视频的剧集信息。
应理解的是，所述剧集信息包括但不限于待播放视频的影片名称、集数等信息，所述待播放视频包括但不限于当前播放视频。
S120：根据所述剧集信息从网络信息中抓取所述待播放视频的影评或书评。
可以理解的是，由于影评或书评往往是对视频的较为完整且准确的描述，比如背景变换描述或物品描述，因此将网络信息中的这些信息加以利用可以提高标记的准确度。
另外，从网络信息中抓取影评或书评可以使用现有的抓取工具，也可以利用特定的算法，本实施例对此不加以限制。
S130：从所述影评或书评中按场景变化顺序提取旁白。
需要说明的是，在提取时按视频中的背景切换顺序或者物品变化顺序提取，有利于后期与标记的契合度匹配，获得更准确的匹配结果。
S140：判断当前播放视频是否存在场景切换，在所述当前播放视频存在场景切换时，根据预设标记规则建立所述当前播放视频的场景标记。
应理解的是，判断场景切换可使用视频结构化分析方法，此处需要对当前播放视频的所有视频帧进行判断，以获得所有的场景标记。
S150：根据所述场景标记与所述旁白的对应关系建立映射关系。
在具体实现中，根据场景标记的时间信息建立场景标记与旁白的映射关系。
以下结合图3说明本实施例的工作原理：
首先，获取待播放视频的剧集信息(影片名称、集数)，根据剧集信息从网络信息中抓取待播放视频的影评或书评，从影评或书评中按场景变化顺序提取场景切换信息，即待用的旁白。
其次，在当用户需要听场景旁白时，判断当前播放视频是否存在场景切换；在所述当前播放视频存在场景切换时，根据预设标记规则建立当前播放视频所有的场景标记，并根据场景标记与旁白的对应关系建立映射关系备用。
最后，在视频播放时，判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；当存在场景切换时，从之前建立的场景标记中获取当前视频帧对应的当前场景标记；将当前场景标记与映射关系中对应的当前旁白进行契合度匹配，在匹配成功时，将当前场景标记修改为当前旁白，并对当前旁白通过语音进行播放，在匹配不成功时，直接对当前场景标记通过语音进行播放。
本实施例通过从网络公开信息中抓取视频相关的内容作为旁白，并建立旁白与场景标记之间的映射关系，方便将旁白与场景标记进行匹配，在当前场景标记与当前旁白匹配成功时，播放当前旁白，匹配不成功时播放当前场景标记，提高了输出语音的准确性。
本发明进一步提供一种辅助视力障碍者观看视频的系统。
参照图4，图4为本发明辅助视力障碍者观看视频的系统一实施例的功能模块图。
本实施例中，所述辅助视力障碍者观看视频的系统包括：
结构化视频模块10，用于判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换。
应理解的是，所述场景可以是视频中的背景，也可以是物品，如食物、球类等，本实施例对此不加以限制。相应地，所述场景切换包括背景切换或物品切换。
需要说明的是，判断场景切换可使用视频结构化分析方法，视频结构化分析是指对视频流进行镜头分割、关键帧提取和场景分割等处理，从而得到视频的结构化信息。具体地，获得所述当前播放视频的当前视频帧的第一灰度值和上一视频帧的第二灰度值；在所述第一灰度值与所述第二灰度值差在第一预设阈值内时，判定所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换。
基于灰度值的检测算法以视频帧图像灰度值的差异作为判断场景是否切换的依据，运算复杂度低，能快速获得判断结果，提高了判断的实时性。
标记获取模块20，用于在所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换时，获取所述当前视频帧对应的当前场景标记。
应理解的是，场景标记指背景标记或物品标记，其中，背景标记是指对视频背景的直接描述，比如花园、室内、草原等。
需要说明的是，当检测到视频中当前视频帧有场景切换时，需要根据预设标记规则建立所述当前视频帧对应的当前场景标记，然后使用同样的方法建立其他视频帧对应的场景标记，最终获得当前播放视频的所有的场景标记。当视频播放到某一个存在场景切换的视频帧时，需要从场景标记中获取当前视频帧对应的当前场景标记。
标记匹配模块30，用于将所述当前场景标记与映射关系中对应的当前旁白进行匹配，所述映射关系包括场景标记和旁白之间的对应关系。
具体地，将所述当前场景标记与映射关系中对应的当前旁白进行字符串相似度匹配；在所述当前场景标记与所述当前旁白的字符串相似度在第二预设阈值内时，判定匹配成功。
旁白播放模块40，用于在匹配成功时，对所述当前旁白通过语音进行播放。
需要说明的是，在匹配成功时，将当前旁白通过语音播报，能使视力障碍用户及时了解视频场景中的背景或物品切换。在匹配不成功时，则说明没有可用的与当前场景标记相应的旁白，则直接将当前场景标记通过语音进行播放。
进一步地，在将目标旁白进行语音播报之前，还可以将当前视频帧的当前场景标记进行修改，将当前旁白替换为当前场景标记，这样用户下次观看同一视频时就不需要进行再次对视频进行分析及匹配。
以场景为背景为例，若背景标记为花园，而与该背景标记对应的旁白是御花园，则将背景标记调整为御花园，并进行播报，若没有与该背景标记对应的旁白，则保留原来的背景标记花园，直接播报。
进一步地，在将当前旁白进行语音播报后，还可以对当前场景标记进行人工微调，或根据所述当前旁白或当前场景标记、当前播放视频的音量及场景切换时间更新所述预设标记规则，以提升用户体验。
比如，当人工测试时发现，当场景快速地切换，画面停留不足一定时间(如5秒)时，频繁播报旁白会影响用户体验，则可以删除此处场景标记，并以此形成标记规则，这样不需要每次都进行人工调整、修正，提高后续对下一个视频输出场景标记的效率。
本实施例通过判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；在存在场景切换时，获取当前视频帧对应的当前场景标记；将当前场景标记与映射关系中对应的当前旁白进行匹配；在匹配成功时，对当前旁白通过语音进行播放，实现了当视频中存在场景切换时播报与场景对应的旁白，帮助视力障碍用户了解视频内容，跟上剧情，同时通过网络公开信息中视频相关内容的抓取和匹配，提高了旁白的准确性，大大提升了用户体验。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有辅助视力障碍者观看视频的程序，所述辅助视力障碍者观看视频的程序被处理器执行时实现如下操作：
判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；
在所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换时，获取所述当前视频帧对应的当前场景标记；
将所述当前场景标记与映射关系中对应的当前旁白进行匹配，所述映射关系包括场景标记和旁白之间的对应关系；
在匹配成功时，对所述当前旁白通过语音进行播放。进一步地，所述辅助视力障碍者观看视频的程序被处理器执行时还实现如下操作：
获得所述当前播放视频的当前视频帧的第一灰度值和上一视频帧的第二灰度值；
在所述第一灰度值与所述第二灰度值差在第一预设阈值内时，判定所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换。进一步地，所述辅助视力障碍者观看视频的程序被处理器执行时还实现如下操作：
将所述当前场景标记与映射关系中对应的当前旁白进行字符串相似度匹配；
在所述当前场景标记与所述当前旁白的字符串相似度在第二预设阈值内时，判定匹配成功。进一步地，所述辅助视力障碍者观看视频的程序被处理器执行时还实现如下操作：
获取待播放视频的剧集信息；
根据所述剧集信息从网络信息中抓取所述待播放视频的影评或书评；
从所述影评或书评中按场景变化顺序提取旁白。进一步地，所述辅助视力障碍者观看视频的程序被处理器执行时还实现如下操作：
判断当前播放视频是否存在场景切换，在所述当前播放视频存在场景切换时，根据预设标记规则建立所述当前播放视频的场景标记；
根据所述场景标记与所述旁白的对应关系建立映射关系。进一步地，所述辅助视力障碍者观看视频的程序被处理器执行时还实现如下操作：
在匹配不成功时，对所述当前场景标记通过语音进行播放。
本实施例通过判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；在存在场景切换时，获取当前视频帧对应的当前场景标记；将当前场景标记与映射关系中对应的当前旁白进行匹配；在匹配成功时，对当前旁白通过语音进行播放，实现了当视频中存在场景切换时播报与场景对应的旁白，帮助视力障碍用户了解视频内容，跟上剧情，同时通过网络公开信息中视频相关内容的抓取和匹配，提高了旁白的准确性，大大提升了用户体验。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种辅助视力障碍者观看视频的方法，其特征在于，所述辅助视力障碍者观看视频的方法包括以下步骤：
判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；
在所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换时，获取所述当前视频帧对应的当前场景标记；
将所述当前场景标记与映射关系中对应的当前旁白进行匹配，所述映射关系包括场景标记和旁白之间的对应关系；
在匹配成功时，对所述当前旁白通过语音进行播放。
2.如权利要求1所述的辅助视力障碍者观看视频的方法，其特征在于，所述判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换，具体包括：
获得所述当前播放视频的当前视频帧的第一灰度值和上一视频帧的第二灰度值；
在所述第一灰度值与所述第二灰度值差在第一预设阈值内时，判定所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换。
3.如权利要求1所述的辅助视力障碍者观看视频的方法，其特征在于，所述将所述当前场景标记与映射关系中对应的当前旁白进行匹配，具体包括：
将所述当前场景标记与映射关系中对应的当前旁白进行字符串相似度匹配；
在所述当前场景标记与所述当前旁白的字符串相似度在第二预设阈值内时，判定匹配成功。
4.如权利要求1所述的辅助视力障碍者观看视频的方法，其特征在于，所述判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换之前，所述方法还包括：
获取待播放视频的剧集信息；
根据所述剧集信息从网络信息中抓取所述待播放视频的影评或书评；
从所述影评或书评中按场景变化顺序提取旁白。
5.如权利要求4所述的辅助视力障碍者观看视频的方法，其特征在于，所述判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换之前，所述方法还包括：
判断当前播放视频是否存在场景切换，在所述当前播放视频存在场景切换时，根据预设标记规则建立所述当前播放视频的场景标记；
根据所述场景标记与所述旁白的对应关系建立映射关系。
6.如权利要求1至5中任一项所述的辅助视力障碍者观看视频的方法，其特征在于，所述将所述当前场景标记与映射关系中对应的当前旁白进行匹配，所述映射关系包括场景标记和旁白之间的对应关系之后，所述方法还包括：
在匹配不成功时，对所述当前场景标记通过语音进行播放。
7.如权利要求1至5中任一项所述的辅助视力障碍者观看视频的方法，其特征在于，所述场景切换包括背景切换或物品切换；
相应地，所述场景标记包括背景标记或物品标记。
8.一种辅助视力障碍者观看视频的系统，其特征在于，所述辅助视力障碍者观看视频的系统包括：
结构化视频模块，用于判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换；
标记获取模块，用于在所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换时，获取所述当前视频帧对应的当前场景标记；
标记匹配模块，用于将所述当前场景标记与映射关系中对应的当前旁白进行匹配，所述映射关系包括场景标记和旁白之间的对应关系；
旁白播放模块，用于在匹配成功时，对所述当前旁白通过语音进行播放。
9.一种辅助视力障碍者观看视频的设备，其特征在于，所述辅助视力障碍者观看视频的设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的辅助视力障碍者观看视频的程序，所述辅助视力障碍者观看视频的程序配置为实现如权利要求1至7中任一项所述的辅助视力障碍者观看视频的方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有辅助视力障碍者观看视频的程序，所述辅助视力障碍者观看视频的程序被处理器执行时实现如权利要求1至7中任一项所述的辅助视力障碍者观看视频的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811654417.4A CN109672932B (zh) | 2018-12-29 | 2018-12-29 | 辅助视力障碍者观看视频的方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811654417.4A CN109672932B (zh) | 2018-12-29 | 2018-12-29 | 辅助视力障碍者观看视频的方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109672932A true CN109672932A (zh) | 2019-04-23 |
| CN109672932B CN109672932B (zh) | 2021-09-28 |
Family
ID=66147494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811654417.4A Active CN109672932B (zh) | 2018-12-29 | 2018-12-29 | 辅助视力障碍者观看视频的方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109672932B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225615A (zh) * | 2021-04-20 | 2021-08-06 | 深圳市九洲电器有限公司 | 电视节目播放方法、终端设备、服务器以及存储介质 |
| CN113766295A (zh) * | 2021-04-16 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 一种播放处理方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101286274A (zh) * | 2008-05-08 | 2008-10-15 | 李卫红 | 一种供盲人使用的数字视频的自动讲解系统 |
| CN103167361A (zh) * | 2011-12-19 | 2013-06-19 | 汤姆森特许公司 | 处理视听内容的方法及对应设备 |
| US20160277779A1 (en) * | 2013-12-04 | 2016-09-22 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for processing video image |
| CN106657714A (zh) * | 2016-12-30 | 2017-05-10 | 杭州当虹科技有限公司 | 一种提升高动态范围视频观看体验的方法 |
-
2018
- 2018-12-29 CN CN201811654417.4A patent/CN109672932B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101286274A (zh) * | 2008-05-08 | 2008-10-15 | 李卫红 | 一种供盲人使用的数字视频的自动讲解系统 |
| CN103167361A (zh) * | 2011-12-19 | 2013-06-19 | 汤姆森特许公司 | 处理视听内容的方法及对应设备 |
| US20160277779A1 (en) * | 2013-12-04 | 2016-09-22 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for processing video image |
| CN106657714A (zh) * | 2016-12-30 | 2017-05-10 | 杭州当虹科技有限公司 | 一种提升高动态范围视频观看体验的方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113766295A (zh) * | 2021-04-16 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 一种播放处理方法、装置、设备及存储介质 |
| CN113225615A (zh) * | 2021-04-20 | 2021-08-06 | 深圳市九洲电器有限公司 | 电视节目播放方法、终端设备、服务器以及存储介质 |
| CN113225615B (zh) * | 2021-04-20 | 2023-08-08 | 深圳市九洲电器有限公司 | 电视节目播放方法、终端设备、服务器以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109672932B (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108769823B (zh) | 直播间显示方法、装置、设备 | |
| CN110784759B (zh) | 弹幕信息处理方法、装置、电子设备及存储介质 | |
| US11308993B2 (en) | Short video synthesis method and apparatus, and device and storage medium | |
| CN111988638B (zh) | 一种拼接视频的获取方法、装置、电子设备和存储介质 | |
| CN108769723B (zh) | 直播视频中优质内容的推送方法、装置、设备和存储介质 | |
| CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
| CN108269128B (zh) | 广告的投放方法、装置、设备及存储介质 | |
| CN105654471A (zh) | 应用于互联网视频直播的增强现实ar系统及方法 | |
| CN101692269B (zh) | 一种处理视频节目的方法和装置 | |
| US10455256B2 (en) | System and method for providing image-based video service | |
| CN112312142B (zh) | 视频播放控制方法、装置和计算机可读存储介质 | |
| CN111144344B (zh) | 人物年龄的确定方法、装置、设备及存储介质 | |
| CN109672932A (zh) | 辅助视力障碍者观看视频的方法、系统、设备及存储介质 | |
| CN112330371A (zh) | 基于ai的智能广告推送方法及装置、系统及存储介质 | |
| CN116308530A (zh) | 一种广告植入方法、装置、设备和可读存储介质 | |
| CN115170400A (zh) | 一种视频修复的方法、相关装置、设备以及存储介质 | |
| CN114283349A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| KR20180025754A (ko) | 디스플레이장치 및 그 제어방법 | |
| CN111526380B (zh) | 视频处理方法、装置、服务器、电子设备及存储介质 | |
| CN112312207B (zh) | 智能电视终端与移动终端流量打通的方法、装置及设备 | |
| CN112101387A (zh) | 显著性元素识别方法及装置 | |
| CN114866788A (zh) | 视频的处理方法及装置 | |
| CN112860941A (zh) | 一种封面推荐方法、装置、设备及介质 | |
| CN105405362A (zh) | 广告观赏计数系统及方法 | |
| CN106293348B (zh) | 应用于新媒体的信息交互方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |