CN108875694A - 语音输出方法和装置 - Google Patents
语音输出方法和装置 Download PDFInfo
- Publication number
- CN108875694A CN108875694A CN201810726724.2A CN201810726724A CN108875694A CN 108875694 A CN108875694 A CN 108875694A CN 201810726724 A CN201810726724 A CN 201810726724A CN 108875694 A CN108875694 A CN 108875694A
- Authority
- CN
- China
- Prior art keywords
- text
- current
- image
- user
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000000903 blocking effect Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000006854 communication Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
- G06V30/1456—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/147—Determination of region of interest
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
Abstract
本申请实施例公开了语音输出方法和装置。该方法的一具体实施方式包括:获取用于指示用户当前阅读状态的图像,其中,该当前阅读状态包括阅读内容和该用户的当前操作信息;响应于该阅读内容包含文字,基于该用户的当前操作信息,确定该阅读内容的当前阅读文字;从该当前阅读文字起始,输出与该阅读内容中的文字对应的语音。本申请的实施例提供的方法能够基于用户的当前操作信息,输出图像中文字对应的语音。这样,本申请实施例可以根据用户的操作而确定出当前阅读文字,进而灵活地进行语音输出。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及语音输出方法和装置。
背景技术
阅读是日常生活中非常常见的活动。因为视力和识字能力等原因,老人和儿童往往有不同程度的阅读困难,无法自行阅读。在现有技术中,电子设备可以对文字进行识别,并播放文字对应的语音,从而实现帮助阅读的功能。
发明内容
本申请实施例提出了语音输出方法和装置。
第一方面,本申请实施例提供了一种语音输出方法,包括:获取用于指示用户当前阅读状态的图像,其中,当前阅读状态包括阅读内容和用户的当前操作信息;响应于阅读内容包含文字,基于用户的当前操作信息,确定阅读内容的当前阅读文字;从当前阅读文字起始,输出与阅读内容中的文字对应的语音。
在一些实施例中,当前操作信息包括用户在图像的遮挡位置;响应于阅读内容包含文字,基于用户的当前操作信息,确定阅读内容的当前阅读文字,包括:获取图像中的文字的文字识别结果;将图像中文字所在的区域划分为多个子区域;从多个子区域中,确定遮挡位置所在的子区域;将所确定的子区域中的起始文字作为当前阅读文字。
在一些实施例中,将图像中文字所在的区域划分为多个子区域,包括:确定图像中的文字行,其中,相邻两文字行之间的间隔大于预设间隔阈值;按照各个文字行内文字之间的间隔大小,对文字行进行划分,得到多个子区域。
在一些实施例中,将所确定的子区域中的起始文字作为当前阅读文字,还包括:响应于获取所确定的子区域的文字识别结果成功,将所确定的子区域中的起始文字作为当前阅读文字;响应于未获取到所确定的子区域的文字识别结果,在所确定的子区域所在的文字行的上一文字行中,确定与所确定的子区域相邻的子区域,将相邻的子区域中的起始文字作为当前阅读文字。
在一些实施例中,获取用于指示用户当前阅读状态的图像,包括:获取初始图像;响应于初始图像存在遮挡区域,确定初始图像的当前操作信息;获取初始图像的用户选取区域信息,基于用户选取区域信息,在初始图像确定阅读内容;将所确定的当前操作信息和阅读内容确定为用户当前阅读状态。
在一些实施例中,获取用于指示用户当前阅读状态的图像,还包括:响应于确定初始图像不存在遮挡区域,向图像采集装置发送图像采集指令以使图像采集装置调整视野并重新获取图像,将重新获取的图像作为初始图像;将重新获取的初始图像中的被遮挡的区域确定为遮挡区域,确定重新获取的初始图像的当前操作信息。
在一些实施例中,在从当前阅读文字起始,输出与阅读内容中的文字对应的语音之前,方法还包括:响应于确定在图像的边缘存在不完整的文字,或者文字所在区域的边缘与图像的边缘的距离小于指定间隔阈值,向图像采集设备发送重新采集指令,以使图像采集设备调整视野并重新采集图像。
在一些实施例中,从当前阅读文字起始,输出与阅读内容中的文字对应的语音,包括:基于文字识别结果,将从当前阅读文字到结尾的文字转换为语音音频;播放语音音频。
第二方面,本申请实施例提供了一种语音输出装置,包括:获取单元,被配置成获取用于指示用户当前阅读状态的图像,其中,当前阅读状态包括阅读内容和用户的当前操作信息;确定单元,被配置成响应于阅读内容包含文字,基于用户的当前操作信息,确定阅读内容的当前阅读文字;输出单元,被配置成从当前阅读文字起始,输出与阅读内容中的文字对应的语音。
在一些实施例中,当前操作信息包括用户在图像的遮挡位置;确定单元,包括:信息获取模块,被配置成获取图像中的文字的文字识别结果;划分模块,被配置成将图像中文字所在的区域划分为多个子区域;确定模块,被配置成从多个子区域中,确定遮挡位置所在的子区域;文字确定模块,被配置成将所确定的子区域中的起始文字作为当前阅读文字。
在一些实施例中,划分模块进一步被配置成:确定图像中的文字行,其中,相邻两文字行之间的间隔大于预设间隔阈值;按照各个文字行内文字之间的间隔大小,对文字行进行划分,得到多个子区域。
在一些实施例中,文字确定模块还包括:第一确定子模块,被配置成响应于获取所确定的子区域的文字识别结果成功,将所确定的子区域中的起始文字作为当前阅读文字;第二确定子模块,被配置成响应于未获取到所确定的子区域的文字识别结果,在所确定的子区域所在的文字行的上一文字行中,确定与所确定的子区域相邻的子区域,将相邻的子区域中的起始文字作为当前阅读文字。
在一些实施例中,获取单元,包括:图像获取模块,被配置成获取初始图像;标注模块,被配置成响应于初始图像存在遮挡区域,确定初始图像的当前操作信息;区域确定模块,被配置成获取初始图像的用户选取区域信息,基于用户选取区域信息,在初始图像确定阅读内容;状态确定模块,被配置成将所确定的当前操作信息和阅读内容确定为用户当前阅读状态。
在一些实施例中,获取单元,还包括:发送模块,被配置成响应于确定初始图像不存在遮挡区域,向图像采集装置发送图像采集指令以使图像采集装置调整视野并重新获取图像,将重新获取的图像作为初始图像;重新获取模块,被配置成将重新获取的初始图像中的被遮挡的区域确定为遮挡区域,确定重新获取的初始图像的当前操作信息。
在一些实施例中,装置还包括:重新采集模块,被配置成响应于确定在图像的边缘存在不完整的文字,或者文字所在区域的边缘与图像的边缘的距离小于指定间隔阈值,向图像采集设备发送重新采集指令,以使图像采集设备调整视野并重新采集图像。
在一些实施例中,输出单元,包括:转换模块,被配置成基于文字识别结果,将从当前阅读文字到结尾的文字转换为语音音频;播放模块,被配置成播放语音音频。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如语音输出方法中任一实施例的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如语音输出方法中任一实施例的方法。
本申请实施例提供的语音输出方案,首先,获取用于指示用户当前阅读状态的图像,其中,当前阅读状态包括阅读内容和用户的当前操作信息。之后,响应于阅读内容包含文字,基于用户的当前操作信息,确定阅读内容的当前阅读文字。最后,从当前阅读文字起始,输出与阅读内容中的文字对应的语音。本申请的实施例提供的方法方案能够基于用户的当前操作信息确定用户的意图,从而输出图像中,与用户当前阅读文字最相关的对应的语音,。这样,本申请实施例并不是刻板地输出图像中的所有文字对应的语音,而是可以根据用户的操作而确定出当前阅读文字,实现了语音输出的灵活性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的语音输出方法的一个实施例的流程图;
图3是根据本申请的语音输出方法的一个应用场景的示意图;
图4是根据本申请的语音输出方法的又一个实施例的流程图;
图5是根据本申请的语音输出装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的语音输出方法或语音输出装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端101、102、103,网络104和服务器105。网络104用以在终端101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端101、102、103上可以安装有摄像头,也可以安装有各种通讯客户端应用,例如图像识别应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
这里的终端101、102、103可以是硬件,也可以是软件。当终端101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端101、102、103提供支持的后台服务器。后台服务器可以对接收到的数据(比如图像)进行分析等处理,并将处理结果(比如图像中的文字信息)反馈给终端。
需要说明的是,本申请实施例所提供的语音输出方法可以由服务器105或者终端101、102、103执行,相应地,语音输出装置可以设置于服务器105中或者终端101、102、103中。
应该理解,图1中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端、网络和服务器。
继续参考图2,示出了根据本申请的语音输出方法的一个实施例的流程200。该语音输出方法,包括以下步骤:
步骤201,获取用于指示用户当前阅读状态的图像,其中,当前阅读状态包括阅读内容和用户的当前操作信息。
在本实施例中,语音输出方法的执行主体(例如图1所示的终端或服务器)可以获取图像,该图像可以用于指示用户当前阅读状态。阅读内容是用户所阅读的内容,可以包括文字、文字以外的字符和/或图型等等。当前操作信息为体现用户在阅读的过程中所进行的操作的信息。比如,用户可以用手指着阅读内容中的某个文字,也可以用笔指着一个标点符号等等。
在本实施例中的一些可选的实现方式中,步骤201可以包括:
获取初始图像;
响应于初始图像存在遮挡区域,确定初始图像的当前操作信息;
获取初始图像的用户选取区域信息,基于用户选取区域信息,在初始图像确定阅读内容;
将所确定的当前操作信息和阅读内容确定为用户当前阅读状态。
在这些实现方式中,上述执行主体获取初始图像,并可以确定遮挡区域。这里的遮挡区域可以是在图像的上方的手指或者笔等物品在图像中所遮挡的区域。举例来说,可以对初始图像进行二值化,并确定二值化图像中数值单一的某一区域(例如,区域面积大于一预设面积和/或区域形状与一预设形状相匹配),并将该区域作为遮挡区域。可以对遮挡区域所在的遮挡位置标注表示区域的坐标值,比如,坐标值可以是表示遮挡区域的边界的多个坐标值。也可以先确定遮挡区域,之后将遮挡区域的最小外接矩形的两个对角坐标作为表示遮挡区域的坐标值。之后,可以将上述表示遮挡区域的坐标值作为当前操作信息。
上述执行主体可以将初始图像呈现给用户,或者将初始图像发送给终端以使终端呈现给用户。这样,用户可以在初始图像中选取局部图像作为阅读内容所在的区域。继而,上述执行主体则可以确定阅读内容所在的区域。
上述实现方式可以预先对图像中用户的操作的遮挡区域以及阅读内容所在的区域进行标注。这样能够准确地确定当前操作信息,进而更加准确地确定阅读内容中的当前阅读文字。
在本实施例中的一些可选的实现方式中,基于上述实现方式,步骤201可以包括:
响应于初始图像不存在遮挡区域,向图像采集装置发送图像采集指令以使图像采集装置调整视野并重新获取图像,将重新获取的图像作为初始图像;
将重新获取的初始图像中的被遮挡的区域确定为遮挡区域,对重新获取的初始图像标注当前操作信息。
在这些实现方式中,上述执行主体可以响应于初始图像不存在遮挡区域,向与执行主体通信连接的图像采集装置发送指令,以使图像采集装置调整视野,并根据调整后的视野重新获取图像。图像采集装置可以是摄像头或者带有摄像头的电子设备。这里的调整视野可以是扩大视野,也可以是转动摄像头以改变拍摄方向。
上述实现方式中的执行主体可以自主地进行根据用户的遮挡区域,发送图像采集指令。确保了在初始图像不存在遮挡区域的情况下,及时地做出调整,重新获取图像。
步骤202,响应于阅读内容包含文字,基于用户的当前操作信息,确定阅读内容的当前阅读文字。
在本实施例中,上述执行主体在上述图像中的阅读内容包含文字的情况下,做出响应:基于用户的当前操作信息,确定阅读内容的当前阅读文字。当前阅读文字为用户当前正在阅读的文字。
在实践中,可以采用多种方式确定阅读内容的当前阅读文字。比如,如果当前操作信息为用户的手指在图像中所指的位置,可以将该位置的文字确定为当前阅读文字。此外,当前操作信息还可以是用户在图像的手指遮挡位置,那么上述执行主体可以将与手指遮挡位置距离最近的文字确定为当前阅读文字。
在本实施例中的一些可选的实现方式中,在步骤201之后,方法还可以包括:
响应于确定在图像的边缘存在不完整的文字,或者文字所在区域的边缘与图像的边缘的距离小于指定间隔阈值的间隔,向图像采集设备发送重新采集指令,以使图像采集设备调整视野并重新采集图像。
在这些实现方式中,上述执行主体如果确定图像中的阅读内容不完整,则可以重新获取图像。在实践中,可能会出现图像中只有阅读内容的左半部分,也即图像中出现了不完整的文字,比如在图像的边缘处只显示了“好”左半边的或者文字出现在了图像的边缘处,与图像边缘的距离小于指定间隔阈值。在上述情况下,可认为获取到的图像并未包含用户当前阅读内容的全部。此时,可以重新采集图像,从而获取完整的阅读内容。
上述实现方式中的执行主体可以自主判断阅读内容是否完整,进而及时获取完整的阅读内容。同时,上述实现方式避免了图像中阅读内容不完整造成的用户所阅读的内容与输出内容的不一致,提高了语音输出的准确度。
步骤203,从当前阅读文字起始,输出与阅读内容中的文字对应的语音。
在本实施例中,上述执行主体可以从当前阅读文字起始,输出阅读内容中的文字对应的语音。这样,图像中的文字就可以根据用户的操作,对图像中用户正在阅读之处进行文字识别,并将所识别出的文字转换为语音输出。
在实践中,上述执行主体可以采用多种方式输出语音。比如,上述执行主体可以将当前阅读文字作为输出的起始文字,生成并连续输出从当前阅读文字到文字结尾的文字所对应的语音。上述执行主体也可以以当前阅读文字作为起始,生成并分段输出从当前阅读文字到文字结尾的文字所对应的语音。
继续参见图3,图3是根据本实施例的语音输出方法的应用场景的一个示意图。在图3的应用场景中,执行主体301获取用于指示用户当前阅读状态的图像302,其中,当前阅读状态包括阅读内容和用户的当前操作信息“用手指来指文字”303;响应于阅读内容包含文字,基于用户的当前操作信息303,确定阅读内容的当前阅读文字304;从当前阅读文字304起始,输出与阅读内容中的文字对应的语音305。
本申请的上述实施例提供的方法能够基于用户的当前操作信息,输出图像中文字对应的语音。这样,本申请实施例并不是刻板地输出图像中的所有文字对应的语音,而是可以根据用户的操作而确定出当前阅读文字,进而灵活地进行语音输出。并且,本实施例不必将阅读内容中的所有文字转换为语音,而是可以转换其中的一部分,进而提高了语音的输出效率。
进一步参考图4,其示出了语音输出方法的又一个实施例的流程400。该语音输出方法的流程400,包括以下步骤:
步骤401,获取用于指示用户当前阅读状态的图像,其中,当前阅读状态包括阅读内容和用户的当前操作信息。
在本实施例中,语音输出方法的执行主体(例如图1所示的终端或服务器)可以获取图像,该图像可以用于指示用户当前阅读状态。阅读内容是用户所阅读的内容,可以包括文字、文字以外的字符和/或图型等等。当前操作信息为体现用户在阅读的过程中所进行的操作的信息。比如,用户可以用手指着阅读内容中的某个文字,也可以用笔指着一个标点符号等等。
步骤402,获取图像中的文字的文字识别结果。
在本实施例中,上述执行主体可以从本地或者其他电子设备(比如服务器)获取文字识别结果。得到文字识别结果则可以确定图像的阅读内容中包含文字。文字识别结果为对图像中的文字进行识别所得到的结果。这里所识别的文字可以是阅读内容中的所有文字,也可以是部分文字,比如可以是从当前阅读文字到结尾的文字。具体地,文字识别过程可以是上述执行主体进行的,也可以是在上述执行主体将阅读内容发送给服务器之后,由服务器进行的。
步骤403,将图像中文字所在的区域划分为多个子区域。
在本实施例中,当前操作信息包括用户在图像的遮挡位置。上述执行主体可以响应于图像的阅读内容包含文字,将图像中文字所在的区域划分为多个子区域。
在实践中,上述执行主体可以采用多种方式划分子区域。比如,上述执行主体可以按照预设子区域数量,将文字所在的区域划分为均等大小的子区域。
在本实施例中的一些可选的实现方式中,步骤403包括:
确定图像中的文字行,其中,相邻两文字行之间的间隔大于预设间隔阈值;
按照各个文字行内文字之间的间隔大小,对文字行进行划分,得到多个子区域。
在这些实现方式中,如果图像中相邻的两组文字之间的间隔一致,均大于预设间隔阈值,且每组文字数量大于一定数值,则这两组文字是相邻的文字行。文字行内文字的间隔如果大于一定数值,也可以将该间隔作为两个子区域的分界。文字行内的逗号、句号、分号等分隔的两句话之间的间隔处以及两段话之间的间隔处等等,都可以作为相邻子区域的分界。在划分子区域的过程中,上述执行主体可以在某间隔的位置画间隔线段,以区分和标示出各个子区域的位置。在文字行内画出的间隔线段可以垂直于该文字行上方或者下方的间隔线段。
步骤404,从多个子区域中,确定遮挡位置所在的子区域。
在本实施例中,上述执行主体可以从划分的多个子区域中,确定遮挡位置所在的子区域。具体地,上述执行主体可以对图像进行二值化,并确定二值化图像中数值单一的区域,并将该区域作为遮挡区域。遮挡区域所在的子区域可以为一个或者多个。如果为多个,可以从中随机选择一个子区域,也可以选择位置在最上方的子区域。
步骤405,将所确定的子区域中的起始文字作为当前阅读文字。
在本实施例中,上述执行主体可以将所确定的子区域中起始位置的文字作为当前阅读文字。具体地,起始文字可以是按照文字阅读顺序确定的。比如,文字是横向排版,可以将子区域的最左边的文字作为起始文字。如果文字是竖向排版,可以将子区域的最上边的文字作为起始文字。
在本实施例中的一些可选的实现方式中,步骤405可以包括:
响应于获取所确定的子区域的文字识别结果成功,将所确定的子区域中的起始文字作为当前阅读文字;
响应于未获取到所确定的子区域的文字识别结果,在所确定的子区域所在的文字行的上一文字行中,确定与所确定的子区域相邻的子区域,将相邻的子区域中的起始文字作为当前阅读文字。
在这些实现方式中,上述执行主体可以在获取图像中文字的文字识别结果的过程中,会从所确定的子区域中获取文字识别结果。如果获取成功,则表示在所确定的子区域中包含能够识别出的文字。如果在预设时间段内,未获取到所确定的子区域的文字识别结果,则表示在所确定的子区域中可能不包含能够识别出的文字。用户的操作所对应的文字可能在上一个文字行中。继而上述执行主体可以在该相邻子区域中确定当前阅读文字。
步骤406,基于文字识别结果,将从当前阅读文字到结尾的文字转换为语音音频。
在本实施例中,上述执行主体可以在获取到文字识别结果之后,利用文字识别结果将当前阅读文字到结尾的文字从文字格式转换为音频格式,以得到语音音频。
步骤407,播放语音音频。
在本实施例中,上述执行主体可以播放从当前阅读文字到结尾文字的语音音频。这样,图像中的文字就可以因为用户的操作,播放出不同的语音音频。
本实施例通过划分子区域,准确地确定用户的当前阅读文字。同时,通过间隔确定文字行以及对文字行进行划分,能够增加子区域划分的稳定性以及准确度。此外,本实施例基于同样的阅读内容,播放的语音音频可以根据用户的操作而不同,从而更加精准地满足用户的需求。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种语音输出装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的语音输出装置500包括:获取单元501、确定单元502和输出单元503。其中,获取单元501,被配置成获取用于指示用户当前阅读状态的图像,其中,当前阅读状态包括阅读内容和用户的当前操作信息;确定单元502,被配置成响应于阅读内容包含文字,基于用户的当前操作信息,确定阅读内容的当前阅读文字;输出单元503,被配置成从当前阅读文字起始,输出与阅读内容中的文字对应的语音。
在一些实施例中,语音输出装置500的获取单元501可以获取图像,该图像可以用于指示用户当前阅读状态。阅读内容是用户所阅读的内容,可以包括文字、文字以外的字符和/或图型等等。当前操作信息为体现用户在阅读的过程中所进行的操作的信息。比如,用户可以用手指着阅读内容中的某个文字,也可以用笔指着一个标点符号等等。
在一些实施例中,确定单元502在上述图像中的阅读内容包含文字的情况下,做出响应:基于用户的当前操作信息,确定阅读内容的当前阅读文字。当前阅读文字为用户当前正在阅读的文字。
在一些实施例中,输出单元503可以从当前阅读文字起始,输出阅读内容中的文字对应的语音。这样,图像中的文字就可以根据用户的操作,转换为语音并输出。
在本实施例的一些可选的实现方式中,当前操作信息包括用户在图像的遮挡位置;确定单元,包括:信息获取模块,被配置成获取图像中的文字的文字识别结果;划分模块,被配置成将图像中文字所在的区域划分为多个子区域;确定模块,被配置成从多个子区域中,确定遮挡位置所在的子区域;文字确定模块,被配置成将所确定的子区域中的起始文字作为当前阅读文字。
在本实施例的一些可选的实现方式中,划分模块进一步被配置成:确定图像中的文字行,其中,相邻两文字行之间的间隔大于预设间隔阈值;按照各个文字行内文字之间的间隔大小,对文字行进行划分,得到多个子区域。
在本实施例的一些可选的实现方式中,文字确定模块包括:获取子模块,被配置成获取图像中的文字的文字识别结果。
在本实施例的一些可选的实现方式中,文字确定模块还包括:第一确定子模块,被配置成响应于获取所确定的子区域的文字识别结果成功,将所确定的子区域中的起始文字作为当前阅读文字;第二确定子模块,被配置成响应于未获取到所确定的子区域的文字识别结果,在所确定的子区域所在的文字行的上一文字行中,确定与所确定的子区域相邻的子区域,将相邻的子区域中的起始文字作为当前阅读文字。
在本实施例的一些可选的实现方式中,获取单元,包括:图像获取模块,被配置成获取初始图像;标注模块,被配置成响应于初始图像存在遮挡区域,确定初始图像的当前操作信息;区域确定模块,被配置成获取初始图像的用户选取区域信息,基于用户选取区域信息,在初始图像确定阅读内容;状态确定模块,被配置成将所确定的当前操作信息和阅读内容确定为用户当前阅读状态。
在本实施例的一些可选的实现方式中,获取单元,还包括:发送模块,被配置成响应于确定初始图像不存在遮挡区域,向图像采集装置发送图像采集指令以使图像采集装置调整视野并重新获取图像,将重新获取的图像作为初始图像;重新获取模块,被配置成将重新获取的初始图像中的被遮挡的区域确定为遮挡区域,确定重新获取的初始图像的当前操作信息。
在本实施例的一些可选的实现方式中,装置还包括:重新采集模块,被配置成响应于确定在图像的边缘存在不完整的文字,或者文字所在区域的边缘与图像的边缘的距离小于指定间隔阈值,向图像采集设备发送重新采集指令,以使图像采集设备调整视野并重新采集图像。
在本实施例的一些可选的实现方式中,输出单元,包括:转换模块,被配置成基于文字识别结果,将从当前阅读文字到结尾的文字转换为语音音频;播放模块,被配置成播放语音音频。
下面参考图6,其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示屏(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、确定单元和输出单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,分类单元还可以被描述为“获取用于指示用户当前阅读状态的图像的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取用于指示用户当前阅读状态的图像,其中,当前阅读状态包括阅读内容和用户的当前操作信息;响应于阅读内容包含文字,基于用户的当前操作信息,确定阅读内容的当前阅读文字;从当前阅读文字起始,输出与阅读内容中的文字对应的语音。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (18)
1.一种语音输出方法,包括:
获取用于指示用户当前阅读状态的图像,其中,所述当前阅读状态包括阅读内容和所述用户的当前操作信息;
响应于所述阅读内容包含文字,基于所述用户的当前操作信息,确定所述阅读内容的当前阅读文字;
从所述当前阅读文字起始,输出与所述阅读内容中的文字对应的语音。
2.根据权利要求1所述的方法,其中,所述当前操作信息包括用户在所述图像的遮挡位置;
所述响应于所述阅读内容包含文字,基于所述用户的当前操作信息,确定所述阅读内容的当前阅读文字,包括:
获取所述图像中的文字的文字识别结果;
将所述图像中文字所在的区域划分为多个子区域;
从所述多个子区域中,确定所述遮挡位置所在的子区域;
将所确定的子区域中的起始文字作为当前阅读文字。
3.根据权利要求2所述的方法,其中,所述将所述图像中文字所在的区域划分为多个子区域,包括:
确定所述图像中的文字行,其中,相邻两文字行之间的间隔大于预设间隔阈值;
按照各个文字行内文字之间的间隔大小,对文字行进行划分,得到多个子区域。
4.根据权利要求2所述的方法,其中,所述将所确定的子区域中的起始文字作为当前阅读文字,还包括:
响应于获取所确定的子区域的文字识别结果成功,将所确定的子区域中的起始文字作为当前阅读文字;
响应于未获取到所确定的子区域的文字识别结果,在所确定的子区域所在的文字行的上一文字行中,确定与所确定的子区域相邻的子区域,将所述相邻的子区域中的起始文字作为当前阅读文字。
5.根据权利要求1所述的方法,其中,所述获取用于指示用户当前阅读状态的图像,包括:
获取初始图像;
响应于所述初始图像存在遮挡区域,确定所述初始图像的当前操作信息;
获取初始图像的用户选取区域信息,基于所述用户选取区域信息,在初始图像确定阅读内容;
将所确定的当前操作信息和阅读内容确定为用户当前阅读状态。
6.根据权利要求5所述的方法,其中,所述获取用于指示用户当前阅读状态的图像,还包括:
响应于确定所述初始图像不存在遮挡区域,向图像采集装置发送图像采集指令以使所述图像采集装置调整视野并重新获取图像,将重新获取的图像作为初始图像;
将重新获取的初始图像中的被遮挡的区域确定为遮挡区域,确定重新获取的初始图像的当前操作信息。
7.根据权利要求1所述的方法,其中,在所述从所述当前阅读文字起始,输出与所述阅读内容中的文字对应的语音之前,所述方法还包括:
响应于确定在所述图像的边缘存在不完整的文字,或者文字所在区域的边缘与所述图像的边缘的距离小于指定间隔阈值,向图像采集设备发送重新采集指令,以使所述图像采集设备调整视野并重新采集图像。
8.根据权利要求2所述的方法,其中,所述从所述当前阅读文字起始,输出与所述阅读内容中的文字对应的语音,包括:
基于所述文字识别结果,将从所述当前阅读文字到结尾的文字转换为语音音频;
播放所述语音音频。
9.一种语音输出装置,包括:
获取单元,被配置成获取用于指示用户当前阅读状态的图像,其中,所述当前阅读状态包括阅读内容和所述用户的当前操作信息;
确定单元,被配置成响应于所述阅读内容包含文字,基于所述用户的当前操作信息,确定所述阅读内容的当前阅读文字;
输出单元,被配置成从所述当前阅读文字起始,输出与所述阅读内容中的文字对应的语音。
10.根据权利要求9所述的装置,其中,所述当前操作信息包括用户在所述图像的遮挡位置;
所述确定单元,包括:
信息获取模块,被配置成获取所述图像中的文字的文字识别结果;
划分模块,被配置成将所述图像中文字所在的区域划分为多个子区域;
确定模块,被配置成从所述多个子区域中,确定所述遮挡位置所在的子区域;
文字确定模块,被配置成将所确定的子区域中的起始文字作为当前阅读文字。
11.根据权利要求10所述的装置,其中,所述划分模块进一步被配置成:
确定所述图像中的文字行,其中,相邻两文字行之间的间隔大于预设间隔阈值;
按照各个文字行内文字之间的间隔大小,对文字行进行划分,得到多个子区域。
12.根据权利要求10所述的装置,其中,所述文字确定模块还包括:
第一确定子模块,被配置成响应于获取所确定的子区域的文字识别结果成功,将所确定的子区域中的起始文字作为当前阅读文字;
第二确定子模块,被配置成响应于未获取到所确定的子区域的文字识别结果,在所确定的子区域所在的文字行的上一文字行中,确定与所确定的子区域相邻的子区域,将所述相邻的子区域中的起始文字作为当前阅读文字。
13.根据权利要求9所述的装置,其中,所述获取单元,包括:
图像获取模块,被配置成获取初始图像;
标注模块,被配置成响应于所述初始图像存在遮挡区域,确定所述初始图像的当前操作信息;
区域确定模块,被配置成获取初始图像的用户选取区域信息,基于所述用户选取区域信息,在初始图像确定阅读内容;
状态确定模块,被配置成将所确定的当前操作信息和阅读内容确定为用户当前阅读状态。
14.根据权利要求13所述的装置,其中,所述获取单元,还包括:
发送模块,被配置成响应于确定所述初始图像不存在遮挡区域,向图像采集装置发送图像采集指令以使所述图像采集装置调整视野并重新获取图像,将重新获取的图像作为初始图像;
重新获取模块,被配置成将重新获取的初始图像中的被遮挡的区域确定为遮挡区域,确定重新获取的初始图像的当前操作信息。
15.根据权利要求10所述的装置,其中,所述装置还包括:
重新采集模块,被配置成响应于确定在所述图像的边缘存在不完整的文字,或者文字所在区域的边缘与所述图像的边缘的距离小于指定间隔阈值,向图像采集设备发送重新采集指令,以使所述图像采集设备调整视野并重新采集图像。
16.根据权利要求10所述的装置,其中,所述输出单元,包括:
转换模块,被配置成基于所述文字识别结果,将从所述当前阅读文字到结尾的文字转换为语音音频;
播放模块,被配置成播放所述语音音频。
17.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810726724.2A CN108875694A (zh) | 2018-07-04 | 2018-07-04 | 语音输出方法和装置 |
US16/452,120 US20200013386A1 (en) | 2018-07-04 | 2019-06-25 | Method and apparatus for outputting voice |
JP2019122908A JP6970145B2 (ja) | 2018-07-04 | 2019-07-01 | 音声出力方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810726724.2A CN108875694A (zh) | 2018-07-04 | 2018-07-04 | 语音输出方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108875694A true CN108875694A (zh) | 2018-11-23 |
Family
ID=64299117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810726724.2A Pending CN108875694A (zh) | 2018-07-04 | 2018-07-04 | 语音输出方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200013386A1 (zh) |
JP (1) | JP6970145B2 (zh) |
CN (1) | CN108875694A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110032994A (zh) * | 2019-06-10 | 2019-07-19 | 上海肇观电子科技有限公司 | 文字检测方法、阅读辅助设备、电路及介质 |
CN110059678A (zh) * | 2019-04-17 | 2019-07-26 | 上海肇观电子科技有限公司 | 一种检测方法、装置及计算机可读存储介质 |
CN110070080A (zh) * | 2019-03-12 | 2019-07-30 | 上海肇观电子科技有限公司 | 一种文字检测方法及装置、设备和计算机可读存储介质 |
US10796187B1 (en) | 2019-06-10 | 2020-10-06 | NextVPU (Shanghai) Co., Ltd. | Detection of texts |
CN111814800A (zh) * | 2020-07-24 | 2020-10-23 | 广州广杰网络科技有限公司 | 基于5G+AIoT技术的老人书报阅读器及其使用方法 |
CN112307867A (zh) * | 2020-03-03 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 用于输出信息的方法和装置 |
CN112307869A (zh) * | 2020-04-08 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 语音点读方法、装置、设备和介质 |
CN112309389A (zh) * | 2020-03-02 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 信息交互方法和装置 |
WO2021129122A1 (zh) * | 2019-12-25 | 2021-07-01 | 掌阅科技股份有限公司 | 书籍查询页面的展示方法、电子设备及计算机存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020235167A1 (ja) * | 2019-05-23 | 2020-11-26 | 日本電気株式会社 | 撮像装置、撮像方法及び記憶媒体 |
CN113535017B (zh) * | 2020-09-28 | 2024-03-15 | 腾讯科技(深圳)有限公司 | 一种绘本文件的处理、同步显示方法、装置及存储介质 |
CN112230876A (zh) * | 2020-10-13 | 2021-01-15 | 华南师范大学 | 人工智能伴读方法和伴读机器人 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001001373A2 (en) * | 1999-06-25 | 2001-01-04 | Discovery Communications, Inc. | Electronic book with voice synthesis and recognition |
CN103391480A (zh) * | 2013-07-15 | 2013-11-13 | Tcl集团股份有限公司 | 一种向电视机输入字符的方法及系统 |
CN103763453A (zh) * | 2013-01-25 | 2014-04-30 | 陈旭 | 一种图文采集识别装置 |
CN104157171A (zh) * | 2014-08-13 | 2014-11-19 | 三星电子(中国)研发中心 | 一种点读系统及其方法 |
CN104317398A (zh) * | 2014-10-15 | 2015-01-28 | 天津三星电子有限公司 | 一种手势控制方法、穿戴式设备及电子设备 |
CN106484297A (zh) * | 2016-10-10 | 2017-03-08 | 努比亚技术有限公司 | 一种文字拾取装置和方法 |
CN107315355A (zh) * | 2017-06-30 | 2017-11-03 | 京东方科技集团股份有限公司 | 一种电器控制设备及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004310250A (ja) * | 2003-04-03 | 2004-11-04 | Konica Minolta Medical & Graphic Inc | 文字認識方法および文字認識装置 |
JP2010205136A (ja) * | 2009-03-05 | 2010-09-16 | Fujitsu Ltd | 音声読み上げ装置、携帯電話機及びコンピュータプログラム |
JP5964078B2 (ja) * | 2012-02-28 | 2016-08-03 | 学校法人東京電機大学 | 文字認識装置、文字認識方法およびプログラム |
JP5963584B2 (ja) * | 2012-07-12 | 2016-08-03 | キヤノン株式会社 | 電子機器及びその制御方法 |
JP2016194612A (ja) * | 2015-03-31 | 2016-11-17 | 株式会社ニデック | 視覚認識支援装置および視覚認識支援プログラム |
-
2018
- 2018-07-04 CN CN201810726724.2A patent/CN108875694A/zh active Pending
-
2019
- 2019-06-25 US US16/452,120 patent/US20200013386A1/en not_active Abandoned
- 2019-07-01 JP JP2019122908A patent/JP6970145B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001001373A2 (en) * | 1999-06-25 | 2001-01-04 | Discovery Communications, Inc. | Electronic book with voice synthesis and recognition |
CN103763453A (zh) * | 2013-01-25 | 2014-04-30 | 陈旭 | 一种图文采集识别装置 |
CN103761893A (zh) * | 2013-01-25 | 2014-04-30 | 陈旭 | 一种图书阅读器 |
CN103391480A (zh) * | 2013-07-15 | 2013-11-13 | Tcl集团股份有限公司 | 一种向电视机输入字符的方法及系统 |
CN104157171A (zh) * | 2014-08-13 | 2014-11-19 | 三星电子(中国)研发中心 | 一种点读系统及其方法 |
CN104317398A (zh) * | 2014-10-15 | 2015-01-28 | 天津三星电子有限公司 | 一种手势控制方法、穿戴式设备及电子设备 |
CN106484297A (zh) * | 2016-10-10 | 2017-03-08 | 努比亚技术有限公司 | 一种文字拾取装置和方法 |
CN107315355A (zh) * | 2017-06-30 | 2017-11-03 | 京东方科技集团股份有限公司 | 一种电器控制设备及方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110070080A (zh) * | 2019-03-12 | 2019-07-30 | 上海肇观电子科技有限公司 | 一种文字检测方法及装置、设备和计算机可读存储介质 |
CN110059678A (zh) * | 2019-04-17 | 2019-07-26 | 上海肇观电子科技有限公司 | 一种检测方法、装置及计算机可读存储介质 |
CN110032994A (zh) * | 2019-06-10 | 2019-07-19 | 上海肇观电子科技有限公司 | 文字检测方法、阅读辅助设备、电路及介质 |
CN110032994B (zh) * | 2019-06-10 | 2019-09-20 | 上海肇观电子科技有限公司 | 文字检测方法、阅读辅助设备、电路及介质 |
US10796187B1 (en) | 2019-06-10 | 2020-10-06 | NextVPU (Shanghai) Co., Ltd. | Detection of texts |
EP3751448A1 (en) * | 2019-06-10 | 2020-12-16 | Nextvpu (Shanghai) Co., Ltd. | Text detecting method, reading assisting device and medium |
WO2021129122A1 (zh) * | 2019-12-25 | 2021-07-01 | 掌阅科技股份有限公司 | 书籍查询页面的展示方法、电子设备及计算机存储介质 |
CN112309389A (zh) * | 2020-03-02 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 信息交互方法和装置 |
CN112307867A (zh) * | 2020-03-03 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 用于输出信息的方法和装置 |
CN112307869A (zh) * | 2020-04-08 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 语音点读方法、装置、设备和介质 |
CN111814800A (zh) * | 2020-07-24 | 2020-10-23 | 广州广杰网络科技有限公司 | 基于5G+AIoT技术的老人书报阅读器及其使用方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200013386A1 (en) | 2020-01-09 |
JP2020008853A (ja) | 2020-01-16 |
JP6970145B2 (ja) | 2021-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875694A (zh) | 语音输出方法和装置 | |
CN108898185A (zh) | 用于生成图像识别模型的方法和装置 | |
CN108830235A (zh) | 用于生成信息的方法和装置 | |
CN108595628A (zh) | 用于推送信息的方法和装置 | |
CN109063653A (zh) | 图像处理方法和装置 | |
CN109308681A (zh) | 图像处理方法和装置 | |
CN108345387A (zh) | 用于输出信息的方法和装置 | |
CN108989882A (zh) | 用于输出视频中的音乐片段的方法和装置 | |
CN109086719A (zh) | 用于输出数据的方法和装置 | |
CN109255767A (zh) | 图像处理方法和装置 | |
CN109344762A (zh) | 图像处理方法和装置 | |
CN109034069A (zh) | 用于生成信息的方法和装置 | |
CN110348419A (zh) | 用于拍照的方法和装置 | |
CN108984399A (zh) | 检测界面差异的方法、电子设备和计算机可读介质 | |
CN109299477A (zh) | 用于生成文本标题的方法和装置 | |
CN109471631A (zh) | 蒙版素材的生成方法和装置 | |
CN109862100A (zh) | 用于推送信息的方法和装置 | |
CN110472558A (zh) | 图像处理方法和装置 | |
CN110516099A (zh) | 图像处理方法和装置 | |
CN108491812A (zh) | 人脸识别模型的生成方法和装置 | |
CN109117758A (zh) | 用于生成信息的方法和装置 | |
CN108182457A (zh) | 用于生成信息的方法和装置 | |
CN109118456A (zh) | 图像处理方法和装置 | |
CN108510084A (zh) | 用于生成信息的方法和装置 | |
CN110427915A (zh) | 用于输出信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210510 Address after: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Applicant after: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. Applicant after: Shanghai Xiaodu Technology Co.,Ltd. Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |
|
RJ01 | Rejection of invention patent application after publication |