CN116665522A - 用于辅助视障人群观看视频的方法及装置、盲文显示装置 - Google Patents

用于辅助视障人群观看视频的方法及装置、盲文显示装置 Download PDF

Info

Publication number
CN116665522A
CN116665522A CN202210150671.0A CN202210150671A CN116665522A CN 116665522 A CN116665522 A CN 116665522A CN 202210150671 A CN202210150671 A CN 202210150671A CN 116665522 A CN116665522 A CN 116665522A
Authority
CN
China
Prior art keywords
braille
video
visually impaired
information
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210150671.0A
Other languages
English (en)
Inventor
董杰
梁乃亮
柳元春
张林娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haier Smart Home Co Ltd
Qingdao Haier Multimedia Co Ltd
Original Assignee
Haier Smart Home Co Ltd
Qingdao Haier Multimedia Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haier Smart Home Co Ltd, Qingdao Haier Multimedia Co Ltd filed Critical Haier Smart Home Co Ltd
Priority to CN202210150671.0A priority Critical patent/CN116665522A/zh
Publication of CN116665522A publication Critical patent/CN116665522A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/007Teaching or communicating with blind persons using both tactile and audible presentation of the information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及智能设备技术领域,公开一种用于辅助视障人群观看视频的方法,包括:获取视频的当前帧画面;根据当前帧画面匹配画面信息描述文本;将画面信息描述文本转化为盲文编码信息;根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符。本申请通过匹配视频播放的当前帧画面得到相应的描述文本,能够借助文字对视频当前播放的图像内容予以描述。并通过盲文编码信息的转化,在盲文显示装置上同步生成描述文本对应的盲文字符,从而辅助视障人群通过触觉实现对视频画面信息的及时跟进。因此,本申请有利于视障人群更准确地理解视频的图像内容,进而提升其观看体验。本申请还公开一种用于辅助视障人群观看视频的装置及服务器、盲文显示装置。

Description

用于辅助视障人群观看视频的方法及装置、盲文显示装置
技术领域
本申请涉及智能设备技术领域,例如涉及一种用于辅助视障人群观看视频的方法及装置、盲文显示装置。
背景技术
据世界卫生组织2010年统计,全球有2.85亿人视力受损,其中盲人占3900万,低视力者占2.46亿;中国是世界上盲人最多的国家,约有825万,占世界盲人总数的21%。庞大的盲人群体,需要社会各界更多的关爱和支持。而目前各类视频播放设备及电子产品缺乏对视障人群,特别是全盲人群感知视频内容上的辅助功能,因此无法满足视力障碍人群的观看视频的迫切需求。
目前,各类视频播放设备及电子产品是通过图像与声音的结合来向用户展示播放内容的。而面向视力障碍人群,图像所起到的作用则会被中断。由于视障人群大多只能依靠声音信号所传递的信息去理解当前播放的视频内容,因此其对视频内容的理解极易出现偏差,致使实际观看体验大打折扣。为此,相关技术提出了判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换;在所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换时,获取所述当前视频帧对应的当前场景标记;将所述当前场景标记与映射关系中对应的当前旁白进行匹配,所述映射关系包括场景标记和旁白之间的对应关系;在匹配成功时,对所述当前旁白通过语音进行播放。
在实现本公开实施例的过程中,发现相关技术中至少存在如下问题:
该方法虽然能在一定程度上帮助视障人群理解视频内容。但通过对旁白信息进行语音播放,极可能会与视频自身正在播放的音频产生重叠,导致用户不能听清视频原本传递的声音信息。这反而降低了视障人群的视频观看体验。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。所述概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
本公开实施例提供了一种用于辅助视障人群观看视频的方法及装置、盲文显示装置,有利于视障人群更准确地理解视频的图像内容,进而能够提升视障人群的视频观看体验。
在一些实施例中,所述方法包括:
获取视频的当前帧画面;
根据当前帧画面匹配画面信息描述文本;
将画面信息描述文本转化为盲文编码信息;
根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符。
在一些实施例中,所述装置包括处理器和存储有程序指令的存储器,所述处理器被配置为在运行所述程序指令时,执行上述的用于辅助视障人群观看视频的方法。
在一些实施例中,所述服务器包括上述的用于辅助视障人群观看视频的装置。
在一些实施例中,所述盲文显示装置包括:
显示模块,设置有多个盲文触点,所述显示模块被配置为通过所述盲文触点受控凸起以生成盲文字符;
辅助模块,设置有一个标记触点,所述辅助模块被配置为通过所述标记触点受控凸起以提示当前盲文字符已生成完毕;
上述的用于辅助视障人群观看视频的装置,与所述显示模块和所述辅助模块电连接。
本公开实施例提供的用于辅助视障人群观看视频的方法及装置、盲文显示装置,可以实现以下技术效果:
本公开实施例中,通过匹配视频播放的当前帧画面得到相应的描述文本,从而能够借助文字对视频当前播放的图像内容予以描述。并通过盲文编码信息的转化,在盲文显示装置上同步生成描述文本对应的盲文字符,从而能够辅助视障人群通过触觉实现对当前播放视频的画面信息的及时跟进。因此,本公开实施例有利于视障人群更准确地理解视频的图像内容,进而能够提升视障人群的视频观看体验。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1是本公开实施例提供的一个盲文显示装置的结构示意图;
图2是本公开实施例提供的一个盲文触点的排布示意图;
图3是本公开实施例提供的一个用于辅助视障人群观看视频的方法的示意图;
图4是本公开实施例提供的另一个用于辅助视障人群观看视频的方法的示意图;
图5是本公开实施例提供的另一个用于辅助视障人群观看视频的方法的示意图;
图6是本公开实施例提供的另一个用于辅助视障人群观看视频的方法的示意图;
图7是本公开实施例提供的另一个用于辅助视障人群观看视频的方法的示意图;
图8是本公开实施例提供的一个用于辅助视障人群观看视频的装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。在以下的技术描述中,为方便解释起见,通过多个细节以提供对所披露实施例的充分理解。然而,在没有这些细节的情况下,一个或多个实施例仍然可以实施。在其它情况下,为简化附图,熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开实施例的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。
除非另有说明,术语“多个”表示两个或两个以上。
本公开实施例中,字符“/”表示前后对象是一种“或”的关系。例如,A/B表示:A或B。
术语“和/或”是一种描述对象的关联关系,表示可以存在三种关系。例如,A和/或B,表示:A或B,或,A和B这三种关系。
术语“对应”可以指的是一种关联关系或绑定关系,A与B相对应指的是A与B之间是一种关联关系或绑定关系。
据世界卫生组织2010年统计,全球有2.85亿人视力受损,其中盲人占3900万,低视力者占2.46亿;中国是世界上盲人最多的国家,约有825万,占世界盲人总数的21%。庞大的盲人群体,需要社会各界更多的关爱和支持。而目前各类视频播放设备及电子产品缺乏对视障人群,特别是全盲人群感知视频内容上的辅助功能,因此无法满足视力障碍人群的观看视频的迫切需求。
目前,各类视频播放设备及电子产品是通过图像与声音的结合来向用户展示播放内容的。而面向视力障碍人群,图像所起到的作用则会被中断。由于视障人群大多只能依靠声音信号所传递的信息去理解当前播放的视频内容,因此其对视频内容的理解极易出现偏差,致使实际观看体验大打折扣。为此,相关技术提出了判断当前播放视频的当前视频帧和上一视频帧之间是否存在场景切换;在所述当前播放视频的当前视频帧和上一视频帧之间存在场景切换时,获取所述当前视频帧对应的当前场景标记;将所述当前场景标记与映射关系中对应的当前旁白进行匹配,所述映射关系包括场景标记和旁白之间的对应关系;在匹配成功时,对所述当前旁白通过语音进行播放。该方法虽然能在一定程度上帮助视障人群理解视频内容。但通过对旁白信息进行语音播放,极可能会与视频自身正在播放的音频产生重叠,导致用户不能听清视频原本传递的声音信息。这反而降低了视障人群的视频观看体验。
结合图1所示,本公开实施例提供一种盲文显示装置,包括显示模块110、辅助模块120和用于辅助视障人群观看视频的装置(图中未示出)。显示模块110设置有多个盲文触点111,显示模块110被配置为通过盲文触点111受控凸起以生成盲文字符。其中,盲文触点111为黑色实点表示其当前处于凸起状态,盲文触点111为白色空点表示其当前处于不凸起状态。辅助模块120设置有一个标记触点121,辅助模块120被配置为通过标记触点121受控凸起以提示当前盲文字符已生成完毕。其中,标记触点121为黑色实点表示其当前处于凸起状态,标记触点121为白色空点表示其当前处于不凸起状态。
采用本公开实施例提供的盲文显示装置,能够利用显示模块110上的多个盲文触点111的凸起来生成盲文字符。通过凸起触点的不同排布方式,视障人群能够快速感知到盲文显示装置当前所传递的文字内容。同时通过在辅助模块120上添加标记触点121,本公开实施例能够在显示模块110生成盲文字符的动态过程中,通过标记触点121的凸起来提示当前盲文字符对应的盲文触点111均完成凸起。从而能够辅助视障人群判断当前盲文字符生成是否结束,因此有利于视障人群更准确地理解盲文显示装置所传递的文字内容。
可选地,辅助模块120还包括翻页按键122。翻页按键122被配置为切换显示模块110当前生成的盲文字符。这样,视障人群可以通过触碰翻页按键122实现生成盲文字符的自由切换。因此,本公开实施例能够方便视障人群更好地掌握盲文显示装置所传递的文字内容。
可选地,翻页按键122包括上翻页按键123和下翻页按键124。上翻页按键123被配置为控制显示模块110生成前一个盲文字符。下翻页按键124被配置为控制显示模块110生成后一个盲文字符。这样,视障人群可以通过上翻页按键123及时回顾之前遗漏或遗忘的文字内容,也可以通过下翻页按键124快速跳过当前所传递的文字内容。因此,本公开实施例能够辅助视障人群自由切换显示模块110所呈现的内容,有利于其更好地掌握盲文显示装置所传递的文字信息。
可选地,盲文触点111及标记触点121凸起的驱动方式包括但不限于压电陶瓷式、记忆合金式、电磁式、气动式、电刺激式和温度控制式中的一种或多种。这样,盲文显示装置能够及时控制相应的触点凸起,从而能够快速生成盲文字符,有利于视障人群即时获取盲文显示装置所传递的文字信息。
可选地,盲文显示装置可以是指尖传感器。这样,视障人群可以仅通过手指获得的反馈就能阅读盲文字符,从而能够较方便地理解所传递的文字信息。
结合图2所示,本公开实施例提供一种盲文触点的排布示意图。具体地,6个固定点距的盲文触点组成一方盲文触点。这六个盲文触点呈三行两列排布,左边自上而下为1点、2点、3点,右边自上而下为4点、5点、6点。
可选地,通过三方盲文触点表示一个盲文字符,且盲文字符的声母、韵母及声调各占一方盲文触点。由于一个完整的汉语字符是由声母、韵母及声调组成的。这样,通过三方盲文触点,即18个盲文触点不同的凸起排布方式,本公开实施例能够将汉语字符通过盲文字符的形式在盲文显示装置上进行呈现,从而有利于视障人群快速感知当前所传递的文字信息。
可选地,通过两方盲文触点表示一个盲文字符,且盲文字符的声方和韵方各占一方盲文触点。声方包括声母、半声母、介母和零声符;韵方包括韵母、零韵符和调号。这样,通过两方盲文触点,即12个盲文触点不同的凸起排布方式,本公开实施例能够将汉语字符通过盲文字符的形式在盲文显示装置上进行呈现,从而有利于视障人群快速感知当前所传递的文字信息。
可选地,盲文触点的大小可根据视障人群触觉心理和触觉生理特点来进行设计。具体地,盲文触点的形状可设置为半球形或抛物面形,盲文触点的点径的取值范围可设置为[1.0mm,1.6mm],盲文触点的点高的取值范围可设置为[0.2mm,0.5mm]。这样,盲文触点的设置能够更符合视障人群的触摸习惯,有利于视障人群更准确地理解传递的文字内容。
可选地,盲文触点的点距可根据视障人群触觉心理和触觉生理特点来进行设计。具体地,盲文触点的点距的取值范围可设置为[2.2mm,2.8mm]。这样,盲文触点的设置能够更符合视障人群的触摸习惯,有利于视障人群更准确地理解传递的文字内容。
可选地,盲文触点的方距可根据视障人群触觉心理和触觉生理特点来进行设计。具体地,盲文触点的方距的取值范围可设置为[2.5mm,4.0mm]。这样,盲文触点的设置能够更符合视障人群的触摸习惯,有利于视障人群更准确地理解传递的文字内容。
结合图3所示,本公开实施例提供一种用于辅助视障人群观看视频的方法,包括:
S301,处理器获取视频的当前帧画面。
S302,处理器根据当前帧画面匹配画面信息描述文本。
S303,处理器将画面信息描述文本转化为盲文编码信息。
S304,处理器根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符。
采用本公开实施例提供的用于辅助视障人群观看视频的方法,能够通过匹配视频播放的当前帧画面得到相应的描述文本,从而能够借助文字对视频当前播放的图像内容予以描述。并通过盲文编码信息的转化,在盲文显示装置上同步生成描述文本对应的盲文字符,从而能够辅助视障人群通过触觉实现对当前播放视频的画面信息的及时跟进。因此,本公开实施例有利于视障人群更准确地理解视频的图像内容,进而能够提升视障人群的视频观看体验。
可选地,画面信息包括帧画面中的人物、动作、表情、心理、事务、环境、时间中的一种或多种。具体地,在一些实施例中,帧画面对应的画面信息描述文本可以是“两人深情地凝视着彼此”,也可以是“凶手露出诡异的微笑”,还可以是“月色被乌云遮住,风雨欲来”,更或者是“五星红旗冉冉升起,运动员热泪盈眶”等。通过对帧画面的画面信息进行描述,本公开实施例能够将视频的图像内容转化为文字信息,从而有利于后续通过盲文字符的形式传递给视障人群,以辅助视障人群对当前播放视频的画面信息的及时跟进。
可选地,本公开实施例并不局限于上述几种画面信息。应当理解的是,相关技术中其它能够适用于视障人群理解视频图像内容的信息也可以应用于本申请的技术方案,并涵盖在本申请的保护范围之内,在此不一一例举。
可选地,盲文编码信息可存储为包括且不限于.txt、.ini、.cfg等任何可以被处理器存储、调取、读取或执行的文件形式。这样,有利于后续及时调用盲文编码信息以完成到盲文字符的转化。
可选地,处理器将画面信息描述文本转化为盲文编码信息包括:处理器根据预设盲文规则,依次将画面信息描述文本中的每个文本字符转化为多个6bit盲文编码数据;处理器在每个文本字符对应的多个6bit盲文编码数据之后添加一个预设标记数据。这样,本公开实施例能够结合预设盲文规则,将画面信息描述文本逐字转化为二进制编码数据,从而有利于后续通过盲文字符的形式传递给视障人群,以辅助视障人群对当前播放视频的画面信息的及时跟进。
可选地,处理器根据预设盲文规则,依次将画面信息描述文本中的每个文本字符转化为多个6bit盲文编码数据,包括:处理器根据现行盲文规则,依次将画面信息描述文本中的每个文本字符转化为3个6bit盲文编码数据。其中,每个文本字符的声母、韵母和声调各对应一个6bit盲文编码数据。这样,结合目前在视障人群中使用度较高的现行盲文规则,本公开实施例能够按照声母、韵母和声调的顺序,逐字将画面信息描述文本转化为多个3×6bit的盲文编码数据,从而能够较准确地实现文字信息到盲文字符的转化。有利于视障人群通过触觉实现对当前播放视频的画面信息的及时跟进。
可选地,处理器根据预设盲文规则,依次将画面信息描述文本中的每个文本字符转化为多个6bit盲文编码数据,包括:处理器根据汉语双拼盲文规则,依次将画面信息描述文本中的每个文本字符转化为2个6bit盲文编码数据。其中,每个文本字符的声方和韵方各对应一个6bit盲文编码数据。声方包括声母、半声母、介母和零声符;韵方包括韵母、零韵符和调号。这样,结合目前正在普及的汉语双拼盲文规则,本公开实施例能够按照声方和韵方的顺序,逐字将画面信息描述文本转化为多个2×6bit的盲文编码数据,从而能够较准确地实现文字信息到盲文字符的转化。有利于视障人群通过触觉实现对当前播放视频的画面信息的及时跟进。
可选地,本公开实施例还可以设置其他的预设盲文规则,并不局限于上述两种具体的盲文规则。示例性地,在一些实施例中,还可以参照《GB/T15720-2008中国盲文》、《GB/T18028-2010中国盲文数学、物理、化学符号》、《GB/T 16431-2008中国盲文音乐符号》等标准或规则进行设置。具体的控制逻辑可以根据实际需求进行设置,在此不一一例举。
可选地,预设标记数据可以是一个6bit的空字符。即,在每个文本字符对应的多个6bit盲文编码数据之后添加一个“000000”的编码数据。这样,在利用盲文编码数据控制盲文触点完成凸起以生成当前盲文字符之后,通过识别到“000000”的预设标记数据,盲文显示装置能够控制辅助模块上的标记触点凸起,以提示视障人群盲文字符已生成完毕。从而有利于视障人群更准确地理解盲文显示装置所传递的文字内容。
可选地,处理器根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符,包括:处理器根据盲文编码信息,控制盲文显示装置中相应的触点凸起,以完成盲文字符的生成。这样,本公开实施例能够利用盲文编码信息控制盲文显示装置上相应触点的凸起。通过凸起触点的不同排布方式,视障人群能够快速感知到盲文显示装置当前所传递的文字内容。从而能够辅助视障人群通过触觉实现对当前播放视频的画面信息的及时跟进。因此,本公开实施例有利于视障人群更准确地理解视频的图像内容,进而能够提升视障人群的视频观看体验。
可选地,处理器根据盲文编码信息,控制盲文显示装置中相应的触点凸起,以完成盲文字符的生成,包括:处理器周期性地获取盲文编码信息中的目标数据;处理器根据目标数据中的盲文编码数据,控制盲文触点的凸起以生成盲文字符;处理器根据目标数据中的预设标记数据,控制标记触点的凸起以提示当前盲文字符已生成完毕。其中,每个目标数据对应一个文本字符的盲文编码信息。这样,本公开实施例能够利用显示模块上的多个盲文触点的凸起来生成盲文字符。通过凸起触点的不同排布方式,视障人群能够快速感知到盲文显示装置当前所传递的文字内容。同时通过在辅助模块上添加标记触点,本公开实施例能够在显示模块生成盲文字符的动态过程中,通过标记触点的凸起来提示当前盲文字符对应的盲文触点均完成凸起。从而能够辅助视障人群判断当前盲文字符生成是否结束,因此有利于视障人群更准确地理解盲文显示装置所传递的文字内容。
可选地,盲文编码数据中的二进制数位依次对应各个盲文触点在盲文显示装置上的位置,每个二进制数位中的0/1分别对应相应盲文触点的不凸起/凸起状态。具体地,在一些实施例中,“盲”字对应的盲文编码数据为“101100 011001 010000”。此时,上述盲文编码数据分别对应显示模块上的三方盲文触点的凸起状态。更具体地,从左往右开始判断,第一方盲文触点的1、3、4点凸起,第二方盲文触点的2、3、6点凸起,第三方盲文触点的2点凸起,其余盲文触点均不凸起。由此,根据显示模块上上述凸起触点的排布方式,视障人群能够准确识别出盲文显示装置当前传递的文字内容为“盲”字,有利于其对视频图像内容的掌握。
结合图4所示,本公开实施例提供另一种用于辅助视障人群观看视频的方法,包括:
S401,处理器获取视频所有的帧画面,并选取关键帧画面。
S402,处理器对关键帧画面进行描述,生成相应的画面信息描述文本。
S403,处理器将画面信息描述文本与关键帧画面进行关联,并存储至预设关联信息库。
S404,处理器获取视频的当前帧画面。
S405,处理器根据当前帧画面匹配画面信息描述文本。
S406,处理器将画面信息描述文本转化为盲文编码信息。
S407,处理器根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符。
采用本公开实施例提供的用于辅助视障人群观看视频的方法,在视障人群观看视频前首先对视频进行预处理。通过截取关键帧画面并对其画面信息进行描述,再将描述文本存储至预设的信息库中,能够方便后续随时调取相应的文本内容。视障人群观看视频过程中,通过匹配视频播放的当前帧画面可以得到相应的描述文本,从而能够借助文字对视频当前播放的图像内容予以描述。并通过盲文编码信息的转化,在盲文显示装置上同步生成描述文本对应的盲文字符,从而能够辅助视障人群通过触觉实现对当前播放视频的画面信息的及时跟进。因此,本公开实施例有利于视障人群更准确地理解视频的图像内容,进而能够提升视障人群的视频观看体验。
可选地,处理器对关键帧画面进行描述,不限于方式方法。具体地,可根据播放内容的属性,选择包括且不限于客观陈述、修辞手法描述等方式。这样,本公开实施例有利于视障人群更准确地理解视频的图像内容,进而能够提升视障人群的视频观看体验。
结合图5所示,本公开实施例提供另一种用于辅助视障人群观看视频的方法,包括:
S501,处理器获取视频所有的帧画面,并选取关键帧画面。
S502,处理器确定关键帧画面的有效时长。
S503,处理器将有效时长与关键帧画面进行关联,并存储至预设关联信息库。
S504,处理器对关键帧画面进行描述,生成相应的画面信息描述文本。
S505,处理器将画面信息描述文本与关键帧画面进行关联,并存储至预设关联信息库。
S506,处理器获取视频的当前帧画面。
S507,处理器根据当前帧画面匹配画面信息描述文本。
S508,处理器将画面信息描述文本转化为盲文编码信息。
S509,处理器根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符。
采用本公开实施例提供的用于辅助视障人群观看视频的方法,在视障人群观看视频前首先对视频进行预处理。通过截取关键帧画面并对其画面信息进行描述,再将描述文本及有效时长存储至预设的信息库中,能够方便后续随时调取相应的文本内容。视障人群观看视频过程中,通过匹配视频播放的当前帧画面可以得到相应的描述文本,从而能够借助文字对视频当前播放的图像内容予以描述。并通过盲文编码信息的转化,在盲文显示装置上同步生成描述文本对应的盲文字符,从而能够辅助视障人群通过触觉实现对当前播放视频的画面信息的及时跟进。因此,本公开实施例有利于视障人群更准确地理解视频的图像内容,进而能够提升视障人群的视频观看体验。
可选地,关键帧画面的有效时长包括但不限于关键帧画面的具体一帧时长。也可以是包含关键帧画面且在内容上连续或有逻辑联系的多帧帧画面的整体持续时长。这样,通过预先存储关键帧画面对应的有效时长,本公开实施例能够将关键帧画面对应的画面信息描述文本与有效时长关联起来。从而能够辅助后续描述文本与帧画面进行对轴,有利于判断描述文本在视频时间轴中的具体持续时段。
结合图6所示,本公开实施例提供另一种用于辅助视障人群观看视频的方法,包括:
S601,处理器获取视频所有的帧画面,并选取关键帧画面。
S602,处理器确定关键帧画面的有效时长。
S603,处理器将有效时长与关键帧画面进行关联,并存储至预设关联信息库。
S604,处理器对关键帧画面进行描述,生成相应的画面信息描述文本。
S605,处理器将画面信息描述文本与关键帧画面进行关联,并存储至预设关联信息库。
S606,处理器获取视频的当前帧画面。
S607,处理器根据当前帧画面匹配有效时长。
S608,处理器根据当前帧画面匹配画面信息描述文本。
S609,处理器将画面信息描述文本转化为盲文编码信息。
S610,处理器根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符。
采用本公开实施例提供的用于辅助视障人群观看视频的方法,在视障人群观看视频前首先对视频进行预处理。通过截取关键帧画面并对其画面信息进行描述,再将描述文本及有效时长存储至预设的信息库中,能够方便后续随时调取相应的文本内容。视障人群观看视频过程中,通过匹配视频播放的当前帧画面可以得到相应的描述文本及有效时长,从而能够借助文字对视频当前播放的图像内容予以描述。并通过盲文编码信息的转化,在盲文显示装置上同步生成描述文本对应的盲文字符,从而能够辅助视障人群通过触觉实现对当前播放视频的画面信息的及时跟进。因此,本公开实施例有利于视障人群更准确地理解视频的图像内容,进而能够提升视障人群的视频观看体验。
可选地,当前帧画面的有效时长包括但不限于当前帧画面的具体一帧时长。也可以是包含当前帧画面且在内容上连续或有逻辑联系的多帧帧画面的整体持续时长。这样,通过匹配当前帧画面对应的有效时长,本公开实施例能够将当前帧画面对应的画面信息描述文本与有效时长关联起来。从而能够辅助描述文本与帧画面进行对轴,有利于判断描述文本在视频时间轴中的具体持续时段。
结合图7所示,本公开实施例提供另一种用于辅助视障人群观看视频的方法,包括:
S701,处理器获取视频所有的帧画面,并选取关键帧画面。
S702,处理器确定关键帧画面的有效时长。
S703,处理器将有效时长与关键帧画面进行关联,并存储至预设关联信息库。
S704,处理器对关键帧画面进行描述,生成相应的画面信息描述文本。
S705,处理器将画面信息描述文本与关键帧画面进行关联,并存储至预设关联信息库。
S706,处理器获取视频的当前帧画面。
S707,处理器根据当前帧画面匹配有效时长。
S708,处理器根据当前帧画面匹配画面信息描述文本。
S709,处理器将画面信息描述文本转化为盲文编码信息。
S710,处理器根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符。
S711,处理器确定当前帧画面持续时长。
S712,在当前帧画面持续时长大于有效时长的情况下,处理器控制盲文显示装置停止生成盲文字符,直至下一个关键帧画面出现。
采用本公开实施例提供的用于辅助视障人群观看视频的方法,在视障人群观看视频前首先对视频进行预处理。通过截取关键帧画面并对其画面信息进行描述,再将描述文本及有效时长存储至预设的信息库中,能够方便后续随时调取相应的文本内容。视障人群观看视频过程中,通过匹配视频播放的当前帧画面可以得到相应的描述文本及有效时长,从而能够借助文字对视频当前播放的图像内容予以描述。并通过盲文编码信息的转化,在盲文显示装置上同步生成描述文本对应的盲文字符,从而能够辅助视障人群通过触觉实现对当前播放视频的画面信息的及时跟进。且在当前帧画面持续时长大于有效时长时,本公开实施例会停止当前盲文编码信息在盲文显示装置上的转化,以留出反应时间给后续关键帧画面图像内容的呈现,同时也能有效避免后续画面信息描述文本在视频时间轴中发生错位。因此,本公开实施例有利于视障人群更准确地理解视频的图像内容,进而能够提升视障人群的视频观看体验。
可选地,处理器控制盲文显示装置停止生成盲文字符,直至下一个关键帧画面出现,包括:处理器控制盲文显示装置中所有触点呈现不凸起状态,直至接收到新的盲文编码信息。这样,在当前帧画面持续时长大于有效时长时,本公开实施例会停止当前盲文编码信息在盲文显示装置上的转化,以留出反应时间给后续关键帧画面图像内容的呈现,同时也能有效避免后续画面信息描述文本在视频时间轴中发生错位。
可选地,本公开实施例提供的用于辅助视障人群观看视频的方法还包括:在盲文编码信息转化完毕的情况下,处理器控制盲文显示装置中所有触点呈现不凸起状态,直至接收到新的盲文编码信息。这样,在盲文编码信息完全转化后,本公开实施例会重置盲文显示装置的状态。通过使所有触点变回不凸起状态,本公开实施例能够为后续新的盲文编码信息的转化作出准备,同时也能够及时提醒视障人群当前描述文本的内容已表达完毕。
结合图8所示,本公开实施例提供一种用于辅助视障人群观看视频的装置,包括处理器(processor)801和存储器(memory)802。可选地,该装置还可以包括通信接口(Communication Interface)803和总线804。其中,处理器801、通信接口803、存储器802可以通过总线804完成相互间的通信。通信接口803可以用于信息传输。处理器801可以调用存储器802中的逻辑指令,以执行上述实施例的用于辅助视障人群观看视频的方法。
此外,上述的存储器802中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器802作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令/模块。处理器801通过运行存储在存储器802中的程序指令/模块,从而执行功能应用以及数据处理,即实现上述实施例中用于辅助视障人群观看视频的方法。
存储器802可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非易失性存储器。
本公开实施例提供了一种服务器,包含上述的用于辅助视障人群观看视频的装置。
本公开实施例提供了一种存储介质,存储有计算机可执行指令,所述计算机可执行指令在运行时,执行上述的用于辅助视障人群观看视频的方法。
上述的存储介质可以是暂态计算机可读存储介质,也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括一个或多个指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质,包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例,以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且,本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的,除非上下文清楚地表明,否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地,如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外,当用于本申请中时,术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素,和/或组件的存在,但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分相对应,那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中,不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生,有时不同的操作或步骤之间不存在特定的顺序。例如,两个连续的操作或步骤实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

Claims (12)

1.一种用于辅助视障人群观看视频的方法,其特征在于,包括:
获取视频的当前帧画面;
根据当前帧画面匹配画面信息描述文本;
将画面信息描述文本转化为盲文编码信息;
根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符。
2.根据权利要求1所述的方法,其特征在于,所述将画面信息描述文本转化为盲文编码信息包括:
根据预设盲文规则,依次将画面信息描述文本中的每个文本字符转化为多个6bit盲文编码数据;
在每个文本字符对应的多个6bit盲文编码数据之后添加一个预设标记数据。
3.根据权利要求2所述的方法,其特征在于,所述盲文显示装置设置有多个触点;所述根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符,包括:
根据盲文编码信息,控制所述盲文显示装置中相应的触点凸起,以完成盲文字符的生成。
4.根据权利要求3所述的方法,其特征在于,所述触点包括多个盲文触点和一个标记触点;所述根据盲文编码信息,控制所述盲文显示装置中相应的触点凸起,以完成盲文字符的生成,包括:
周期性地获取盲文编码信息中的目标数据;
根据目标数据中的盲文编码数据,控制盲文触点的凸起以生成盲文字符;
根据目标数据中的预设标记数据,控制标记触点的凸起以提示当前盲文字符已生成完毕。
5.根据权利要求4所述的方法,其特征在于,所述盲文编码数据中的二进制数位依次对应各个盲文触点在所述盲文显示装置上的位置,每个二进制数位中的0/1分别对应相应盲文触点的不凸起/凸起状态。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述获取视频的当前帧画面之前,还包括:
获取视频所有的帧画面,并选取关键帧画面;
对关键帧画面进行描述,生成相应的画面信息描述文本;
将画面信息描述文本与关键帧画面进行关联,并存储至预设关联信息库。
7.根据权利要求6所述的方法,其特征在于,所述获取视频所有的帧画面,并选取关键帧画面之后,还包括:
确定关键帧画面的有效时长;
将有效时长与关键帧画面进行关联,并存储至预设关联信息库。
8.根据权利要求7所述的方法,其特征在于,所述获取视频的当前帧画面之后,还包括:
根据当前帧画面匹配有效时长。
9.根据权利要求8所述的方法,其特征在于,所述根据盲文编码信息,控制盲文显示装置同步生成相应的盲文字符之后,还包括:
确定当前帧画面持续时长;
在当前帧画面持续时长大于有效时长的情况下,控制所述盲文显示装置停止生成盲文字符,直至下一个关键帧画面出现。
10.一种用于辅助视障人群观看视频的装置,包括处理器和存储有程序指令的存储器,其特征在于,所述处理器被配置为在运行所述程序指令时,执行如权利要求1至9任一项所述的用于辅助视障人群观看视频的方法。
11.一种服务器,其特征在于,包括如权利要求10所述的用于辅助视障人群观看视频的装置。
12.一种盲文显示装置,其特征在于,包括:
显示模块,设置有多个盲文触点,所述显示模块被配置为通过所述盲文触点受控凸起以生成盲文字符;
辅助模块,设置有一个标记触点,所述辅助模块被配置为通过所述标记触点受控凸起以提示当前盲文字符已生成完毕;
如权利要求10所述的用于辅助视障人群观看视频的装置,与所述显示模块和所述辅助模块电连接。
CN202210150671.0A 2022-02-18 2022-02-18 用于辅助视障人群观看视频的方法及装置、盲文显示装置 Pending CN116665522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210150671.0A CN116665522A (zh) 2022-02-18 2022-02-18 用于辅助视障人群观看视频的方法及装置、盲文显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210150671.0A CN116665522A (zh) 2022-02-18 2022-02-18 用于辅助视障人群观看视频的方法及装置、盲文显示装置

Publications (1)

Publication Number Publication Date
CN116665522A true CN116665522A (zh) 2023-08-29

Family

ID=87717623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210150671.0A Pending CN116665522A (zh) 2022-02-18 2022-02-18 用于辅助视障人群观看视频的方法及装置、盲文显示装置

Country Status (1)

Country Link
CN (1) CN116665522A (zh)

Similar Documents

Publication Publication Date Title
KR101650099B1 (ko) 시각장애인용 착용형 햅틱 패턴 디스플레이 장치
US20110216006A1 (en) Method for inputting data
US10490102B2 (en) System and method for braille assistance
TWI608428B (zh) 利用影像辨識產生相對應資訊之影像處理系統及其相關方法
CA2243581C (en) Apparatus and method of assisting visually impaired persons to generate graphical data in a computer
US10372210B2 (en) Device and method for transmitting and receiving information by Braille
KR100579814B1 (ko) 이동 단말기용 문자 입력 시스템과 이를 이용한 이동 단말기
Chakraborty et al. Flight: a low-cost reading and writing system for economically less-privileged visually-impaired people exploiting ink-based braille system
CN116665522A (zh) 用于辅助视障人群观看视频的方法及装置、盲文显示装置
WO2023241106A1 (zh) 振动信号编码处理方法、装置、计算机设备及存储介质
Argyropoulos et al. 26 Alternative Routes Toward Literacy for Individuals With Deafblindness
US11625105B2 (en) Method for inputting and outputting a text consisting of characters
RU2651444C2 (ru) Устройство и способ приёма и передачи информации посредством шрифта брайля
Bliss Kinesthetic-tactile communications
CN114120334A (zh) 盲文处理方法、装置、存储介质及电子装置
KR20190057493A (ko) 외국인 한글 학습자용 키패드 시스템
Chu et al. Designing a vibrotactile reading system for mobile phones
RU2662139C1 (ru) Устройство для обучения рельефно-точечному шрифту Брайля слепых и слабовидящих детей
JP6715874B2 (ja) 情報提供装置、情報提供方法、およびプログラム
JPS6193485A (ja) 人体の全部又は一部のモデリングやマツサ−ジのためのシユミレ−シヨン・システム
KR20110132593A (ko) 정보 판독 출력 장치
RU2025785C1 (ru) Способ передачи и приема информации по системе брайля и устройство для его осуществления
JPS6254364A (ja) 表意文字処理方法および装置
CN118068922A (zh) 一种基于振动触觉编码的字符识别方法及装置
KR20170059115A (ko) 구성요소 기반의 수화 사전 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination