CN111443794A - 一种阅读互动方法、装置、设备、服务器及存储介质 - Google Patents

一种阅读互动方法、装置、设备、服务器及存储介质 Download PDF

Info

Publication number
CN111443794A
CN111443794A CN201910040909.2A CN201910040909A CN111443794A CN 111443794 A CN111443794 A CN 111443794A CN 201910040909 A CN201910040909 A CN 201910040909A CN 111443794 A CN111443794 A CN 111443794A
Authority
CN
China
Prior art keywords
reading
user
interaction
information
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910040909.2A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201910040909.2A priority Critical patent/CN111443794A/zh
Publication of CN111443794A publication Critical patent/CN111443794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了阅读互动方法、装置、设备、服务器及存储介质。该方法包括：接收用户阅读时捕获的用户脸部图像；识别所述用户脸部图像，确定所述用户的状态表情；当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。利用该方法，通过阅读过程中与阅读用户的状态表情互动，来实现阅读过程中用户与虚拟阅读伙伴的情感变化分享，从而改善单一枯燥乏味的阅读过程，增加了用户阅读趣味性，提高了用户的阅读积极性。

Description

一种阅读互动方法、装置、设备、服务器及存储介质
技术领域
本发明实施例涉及数据交互技术领域，尤其涉及一种阅读互动方法、装置、设备、服务器及存储介质。
背景技术
用户独自进行书籍阅读时，尤其是纸质书籍的阅读，往往只是从所阅读的书本中单向的获得相关内容，用户无法将阅读中的喜怒哀乐分享给他人，由此因缺少可互动的阅读伙伴而使用户的整个阅读过程过于单一枯燥乏味，从而降低了阅读用户的阅读积极性。
发明内容
本发明实施例提供了一种阅读互动方法、装置、设备、服务器及存储介质，以解决用户在阅读中因缺少阅读伙伴无法进行阅读互动的问题。
第一方面，本发明实施例提供了一种阅读互动方法，包括：
接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；
识别所述用户脸部图像，确定所述用户的状态表情；
当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。
第二方面，本发明实施例还提供了一种阅读互动装置，包括：
图像接收模块，用于接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；
表情确定模块，用于识别所述用户脸部图像，确定所述用户的状态表情；
互动执行模块，用于当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。
第三方面，本发明实施例还提供了一种点读设备，包括：
主体、位于主体内的控制器和无线网络模块以及嵌套于所述主体上的拾音装置、发音装置、摄像头以及触摸屏，所述主体设置在阅读材料所在载体上，
所述控制器，用于控制下述至少一项：拾音装置、发音装置、摄像头、和触摸屏执行相应的工作，还用于实现本发明实施例提供的阅读互动方法；
其中，所述拾音装置，用于采集音频信息，所述音频信息包括用户语音信息；
所述发音装置，用于进行音频信息播放；
所述摄像头，用于捕获图像信息，所述图像信息包括用户脸部图像；
所述触摸屏，用于进行信息显示。
第四方面，本发明实施例还提供了一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的阅读互动方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的阅读互动方法。
本发明实施例提供了阅读互动方法、装置、设备、服务器及存储介质，该方法首先接收用户阅读时捕获的用户脸部图像；然后识别用户脸部图像来确定用户的状态表情，最终当状态表情满足阅读互动条件时，将对应状态表情的互动内容发送至点读设备播放。利用该方法，通过阅读过程中与阅读用户的状态表情互动，来实现阅读过程中用户与虚拟阅读伙伴的情感变化分享，从而改善单一枯燥乏味的阅读过程，增加了用户阅读趣味性，提高了用户的阅读积极性。
附图说明
图1为本发明实施例一提供的一种阅读互动方法的流程示意图；
图2为本发明实施例二提供的一种阅读互动方法的流程示意图；
图3为本发明实施例三提供的一种阅读互动装置的结构示意图；
图4为本发明实施例四提供的一种点读设备的结构示意图；
图5为本发明实施例五提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种阅读互动方法的流程示意图，该方法适用于在用户阅读时需要进行阅读互动的情况，该方法可以由阅读互动装置来执行，其中该装置可以由软件和/或硬件实现，并一般集成在点读设备和/或点读设备的服务器上。
需要说明的是，本实施例提供的阅读互动方法具体应用在点读设备和/或点读设备的服务器端，其具体可通过点读设备和/或点读设备的服务器实现用户阅读过程中与用户的阅读互动。
如图1所示，本发明实施例一提供的一种阅读互动方法，包括如下操作：
需要说明的是，本实施例的应用场景可描述为：用户进行阅读时，阅读材料与点读设备放置在同一载体上(如书桌，其中，所述阅读材料具体可以是用户可阅读的书本、绘本或报纸等)，点读设备上的摄像头为可转动摄像头，即可控制捕获阅读材料中的文本内容，也可控制对阅读用户进行图像信息采集。
S101、接收用户阅读时捕获的用户脸部图像。
在本实施例中，所述用户脸部图像具体可理解为基于与用户阅读的阅读材料置于同一载体的点读设备上摄像头捕获的用户的脸部图像，且该脸部图像具体在用户阅读过程中进行捕获。本步骤可以接收点读设备的摄像头捕获的用户脸部图像。
示例性地，用户进行阅读时，可调整点读设备的放置位置，或调整点读设备上摄像头的拍摄角度，以使摄像头能够对进行脸部图像的采集，从而使本发明实施例的执行主体能够执行本步骤的操作。
S102、识别所述用户脸部图像，确定所述用户的状态表情。
在本实施例中，可通过给定的图像识别算法，如基于特征匹配的图像识别及基于分类的图像识别等算法等，对接收的用户脸部图像进行识别，并将识别出的脸部特征信息与预先设定的状态表情库进行匹配，从而获得用户脸部的状态表情信息。识别出的状态表情可以有哭、笑、愤怒以及面无表情等
S103、当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。
一般地，情感变化可以有喜、怒、哀、乐以及平静等几大类，而每类情感具体在脸部的表现又存在多种，如状态表情为大笑、微笑以及开心均属于喜或乐这一类，状态表情为大哭及抽泣又属于哀这一类，状态表情为愤怒又属于怒这一类，状态表情为面无表情可属于平静这一类。在本实施例中，所述阅读互动条件具体可为：状态表情所属的类别为喜怒哀乐中的任一类。
在本实施例中，当分析确定状态表情满足阅读互动条件时，就可根据用户实际的状态表情来从预设的互动内容库中确定与之匹配的互动内容，并将互动内容发送至点读设备播放。示例性地，假设状态表情为大笑，则可从互动内容库中确定当前与之匹配的互动内容为大笑相关的动画表情及语音，并基于点读设备向用户展示。假设状态表情为哭泣，则可从互动内容库中确定当前与之匹配的互动内容为哭泣相关的动画表情及语音，并基于点读设备向用户展示。
可以知道的是，本实施例中进行互动内容展示可以是在点读设备的触摸屏上展示一个动画人偶，该动画人偶可以根据互动内容的不同做出不同的表情，如互动内容为大笑，则可控制人偶展示哈哈大笑的表情动作及声音。
本发明实施例一提供的一种阅读互动方法，首先接收用户阅读时捕获的用户脸部图像；然后识别用户脸部图像来确定用户的状态表情，最终当状态表情满足阅读互动条件时，将对应状态表情的互动内容播放在点读设备的触摸屏上。利用该方法，通过阅读过程中与阅读用户的状态表情互动，来实现阅读过程中用户与虚拟阅读伙伴的情感变化分享，从而改善单一枯燥乏味的阅读过程，增加了用户阅读趣味性，提高了用户的阅读积极性。
实施例二
图2为本发明实施例二提供的一种阅读互动方法的流程示意图，本实施例以上述实施例一为基础进行优化，在本实施例中，进一步对确定对应所述状态表情的互动内容并发送至所述点读设备播放进行优化，其具体可包括：确定对应所述状态表情的互动音频和表情动画；基于给定的互动风格控制在点读设备的触摸屏上播放所述互动音频及表情动画。
在上述优化的基础上，该方法还包括：分析所述用户脸部图像，确定所述用户对应的年龄区间；基于所述年龄区间确定与所述用户匹配的互动风格。
如图2所示，本发明实施例二提供的一种阅读互动方法，具体包括如下操作：
S201、接收用户阅读时捕获的用户脸部图像。
示例性地，点读设备置于放置阅读材料的载体上，点读设备的摄像头用于捕获用户的脸部图像，点读设备的服务器，基于本步骤能够获取用户阅读时点读设备的摄像头捕获的用户脸部图像。
S202、识别所述用户脸部图像，确定所述用户的状态表情。
在本实施例中，可以基于给定的图像识别算法从用户脸部图像中识别表情特征信息，其表情特征信息可以包括：眼睛、鼻子、嘴巴以及眉毛的变化构成的表情特诊信息，所述用户的状态表情可以包括：哭、笑以及怒等。
S203、分析所述用户脸部图像，确定所述用户对应的年龄区间。
可以理解的是，基于用户脸部图像除可以分析获得用户阅读过程中的状态表情，还可以用来分析确定用户的年龄信息。具体地，本实施例可以从设定的包括不同年龄段的人脸图像的图像库中进行信息查找，查找该用户脸部图像可以与哪个年龄段的人脸图像相匹配，由此确定出用户归属的年龄区间。
S204、基于所述年龄区间确定与所述用户匹配的互动风格。
需要说明的是，本实施例进行阅读互动的预期展示效果为点读设备的触摸屏幕上显示的人偶可以作为用户的虚拟阅读伙伴，从而能够在用户表现出喜怒哀乐时，人偶也相应的给出喜怒哀乐的情感反馈。
为了保证人偶作为虚拟伙伴的真实感，本实施例考虑为不同年龄段的用户设定不同的互动风格，即本实施例根据用户所处年龄的不同，为展示在点读设备屏幕上的虚拟人偶设定不同的互动风格，所述互动风格具体可提现了人偶的外表形象上、动作展示以及说话语气上等。示例性地，所述互动风格可以包括童趣风格，适用于0至5岁的小龄儿童，还可以包括少年风格、青少年风格、以及成年风格等，分别适用于不同年龄段的阅读用户。
S205、当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动音频和表情动画。
在本实施例中，所述阅读互动条件具体可以是状态表情属于喜、怒、哀、乐等几类情感中的一种。具体地，本步骤判定上述状态表情满足阅读互动条件时，从预设的互动内容库中确定与该状态表情匹配的互动音频和表情动画。比如，当状态表情为微笑时，其互动音频可以是“呵呵”“嘿嘿”以及“真好笑”等与高兴状态关联的语气词句，其表情动画可以是抿嘴而笑或露齿微笑等。本步骤可以确定获得互动音频和表情动画。
S206、基于给定的互动风格控制在点读设备的触摸屏上播放所述互动音频及表情动画。
本步骤可以实现对点读设备上虚拟人偶阅读互动的互动风格控制，其互动风格可以由上述S204确定。假设所述互动风格为童趣风格，则显示在触摸屏上的人偶可以是一个卡通宝宝，并由卡通宝宝进行表情动画的展示，其互动音频播放时可以设定孩童的音色；当互动风格为少年风格，则显示在触摸屏上的人偶可以是一个卡通少年，并由卡通少年进行表情动画的展示，其互动音频宝方式的音色可以为少年音色；又如，互动风格为成年风格时，其人偶可以是一个卡通成年，音色为成年人音色，表情动画则表现的较为成熟。
可以理解的是，本实施例基于虚拟人偶进行阅读互动时，根据用户的脸部图像，也可以分析用户的性别，从而在进行虚拟人偶设定时，可以设定虚拟人偶的性别与阅读用户的性别相同。
本发明实施例二提供的一种阅读互动方法，具体化了增加了互动风格的确定操作，同时具体化了互动内容的确定及播放的实现操作。利用该方法，通过阅读过程中与阅读用户的状态表情互动，来实现阅读过程中用户与虚拟阅读伙伴的情感变化分享，从而改善单一枯燥乏味的阅读过程，且本实施例的方法还能够保证虚拟阅读伙伴更加人性化，进而增加了用户阅读趣味性和用户阅读的积极性。
在上述实施例基础上，作为本实施例的一个可选实施例，该方法还包括：获取所述点读设备的拾音装置拾取的用户语音信息；基于所述用户语音信息，生成相应的阅读记录信息。
需要说明的是，本发明实施例提供的阅读互动方法，不仅体现在用户阅读过程中与阅读用户的喜怒哀乐反馈，还表现在可以智能的作为一个阅读小助手，在用户阅读过程中帮助用户进行相关阅读信息的记录。
具体地，本实施例可以在用户阅读过程中接收用户的语音信息，所述语音信息可以通过点读设备上的拾音装置来拾取，本实施例可以对接收的用户语音信息进行识别分析，从而确定语音信息表示的具体含义，当其具体含义满足阅读记录条件时，就根据语音信息表示的具体含义确定待记录的信息进行记录从而形成对应用户语音信息的阅读记录信息。
进一步地，所述基于所述用户语音信息，生成相应的阅读记录信息，包括：识别所述用户语音信息，获得相应的语音文本内容；根据所述语音文本内容中的关键字，确定所述用户语音信息的语义信息；当所述语义信息满足阅读记录条件时，基于所述语义信息确定待记录内容并记录生成阅读记录信息。
具体地，本实施例可以基于给定的语音识别算法对用户语音信息进行识别，由此获得对应用户语音信息的语音文本内容，之后可以对该语音文本内容进行分词处理，获得语音文本内容中的关键字或关键词，并可根据确定的关键字或关键词来确定用户语音信息对应的语音信息。最终，当语音信息满足阅读记录条件时，就可以根据语音信息确定定待记录内容，并生成阅读记录信息，其中所述阅读记录条件具体可以是：解析出的语义信息中包括“标记”“记录”“重要”“理解”等语义内容。
示例性地，假设对用户语音信息解析后的语义信息为：要对该页第二段的内容进行标记，则可认为语义信息满足阅读记录条件，此时，本实施例可将当前页第二段的内容作为待记录内容，并将该待记录内容记录在设定目录的记录文件中，同时标明所记录内容的出处及在阅读材料中的具体位置。
又如，当对用户语音信息解析后的语义信息为：我读了孟母三迁这篇文章后，有一些相关的理解，此时，本实施例可将后续分析出的用户读后感作为待记录内容，并将该待记录内容记录在设定目录的记录文件中，同样标明所记录内容的出处及在阅读材料中的具体位置，并标明所记录内容的出处及具体位置指向。
可以理解的是，本实施例可以在用户结束本次阅读时，将形成的阅读记录信息反馈至用户的智能终端，以便于用户随时查阅。
本实施例上述可选实施例，相当于向用户提供了阅读小助手，能够在用户阅读过程中自动识别用户的语音信息，以对用户有关所阅读内容的感想、重点内容等进行有效记录，由此，本实施例提供的阅读互动方法，不仅实现了阅读过程中与阅读用户的状态表情互动，还实现了阅读过程中帮助阅读用户进行相关阅读信息记录的互动，由此增加了用户阅读趣味性，提高了用户的阅读积极性，还方便了用户阅读过程中的电子记录，更好的提升了用户基于点读设备的阅读体验。
需要说明的是，当上述实施例一或实施例二的执行主体为点读设备时，点读设备可直接基于上述步骤实现与阅读用户的阅读互动以及进行阅读信息记录，当上述实施例一或实施例二的执行主体为点读设备的服务器时，服务器可实时与点读设备进行数据交互，由此实现与阅读用户的阅读互动及阅读信息记录。此外，上述上述实施例一或实施例二所提供方法的执行主体也可以是点读设备及点读设备的服务器，二者配合执行上述方法步骤，实现阅读互动及阅读信息记录，本发明实施例对实现所提供阅读互动方法的执行主体并不做具体限定，可具体情况具体分析。
实施例三
图3为本发明实施例三提供的一种阅读互动装置的结构示意图，该装置适用于在用户阅读是需要进行阅读互动的情况，该装置可以由软件和/或硬件实现，并一般集成在点读设备和/或点读设备的服务器上。具体地，如图3所示，该装置包括：图像接收模块31、表情确定模块32以及互动执行模块33。
其中，图像接收模块31，用于接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；
表情确定模块32，用于识别所述用户脸部图像，确定所述用户的状态表情；
互动执行模块33，用于当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。
在本实施例中，该装置首先通过图像接收模块31接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获，然后通过表情确定模块32识别所述用户脸部图像，确定所述用户的状态表情，最终通过互动执行模块33当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。
本发明实施例三提供的阅读互动装置，通过阅读过程中与阅读用户的状态表情互动，来实现阅读过程中用户与虚拟阅读伙伴的情感变化分享，从而改善单一枯燥乏味的阅读过程，增加了用户阅读趣味性，提高了用户的阅读积极性。
进一步地，互动执行模块33，具体用于：
当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动音频和表情动画；
基于给定的互动风格控制在点读设备的触摸屏上播放所述互动音频及表情动画。
进一步地，该装置还包括：
互动风格确定模块，用于分析所述用户脸部图像，确定所述用户对应的年龄区间，并基于所述年龄区间确定与所述用户匹配的互动风格。
进一步地，该装置还包括：
信息接收模块，用于获取所述点读设备的拾音装置拾取的用户语音信息；
信息记录模块，用于基于所述用户语音信息，生成相应的阅读记录信息。
进一步地，所述信息记录模块，具体用于：
识别所述用户语音信息，获得相应的语音文本内容；
根据所述语音文本内容中的关键字，确定所述用户语音信息的语义信息；
当所述语义信息满足阅读记录条件时，基于所述语义信息确定待记录内容并记录生成阅读记录信息。
实施例四
图4为本发明实施例四提供的一种点读设备的结构示意图，如图4所示，该点读设备包括：主体41、位于主体41内的控制器(未示出)和无线网络模块(未示出)以及嵌套于主体41上的拾音装置42、发音装置43、摄像头44以及触摸屏45，主体41设置在阅读材料47所在载体46上，控制器，用于控制下述至少一项：拾音装置42、发音装置43、摄像头44以及触摸屏45执行相应的工作，还用于实现本发明实施例提供的阅读互动方法，其中，拾音装置42，用于采集音频信息，所述音频信息包括用户语音信息；发音装置43，用于进行音频信息播放；摄像头44，用于捕获图像信息，所述图像信息包括用户脸部图像；触摸屏45，用于进行信息显示。
点读设备例如可以是具有拾音装置、发音装置、摄像头以及触摸屏的电脑、平板或手机等电子设备，其中，拾音装置可以是麦克风、发音装置可以是扬声器。所述阅读材料可以是常规的纸质书籍、期刊或绘本等。示例性地，阅读材料所在载体可以为桌面，点读设备的主体41安装在桌面上，控制器可通过无线网络模块与后端的服务器进行数据交互。
作为本公开实施例所提供方法执行主体的点读设备，能够通过阅读过程中与阅读用户的状态表情互动，来实现阅读过程中用户与虚拟阅读伙伴的情感变化分享，从而改善单一枯燥乏味的阅读过程，增加了用户阅读趣味性，提高了用户的阅读积极性。
实施例五
图5为本发明实施例五提供的一种服务器的结构示意图。可以理解的是，本发明实施例五提供的服务器同样可以作为本发明实施例所提供阅读互动方法的执行主体，如图5所示，本发明实施例五提供的点读设备的服务器包括：一个或多个处理器51和存储装置52；该服务器中的处理器51可以是一个或多个，图5中以一个处理器51为例；存储装置52用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器51执行，使得所述一个或多个处理器51实现如本发明实施例中任一项所述的阅读互动方法。
所述服务器还可以包括：输入装置53和输出装置54。
服务器中的处理器51、存储装置52、输入装置53和输出装置54可以通过总线或其他方式连接，图5中以通过总线连接为例。
该服务器中的存储装置52作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供阅读互动方法对应的程序指令/模块(例如，附图4所示的阅读互动装置中的模块，包括：图像接收模块31、表情确定模块32以及互动执行模块33)。处理器51通过运行存储在存储装置52中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中阅读互动方法。
存储装置52可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储装置52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置52可进一步包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置53可用于接收输入的数字或字符信息，以及产生与服务器的用户设置以及功能控制有关的键信号输入。输出装置54可包括显示屏等显示设备。
并且，当上述服务器所包括一个或者多个程序被所述一个或者多个处理器51执行时，程序进行如下操作：
接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；识别所述用户脸部图像，确定所述用户的状态表情；当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行阅读互动方法，该方法包括：
接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；识别所述用户脸部图像，确定所述用户的状态表情；当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的阅读互动方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种阅读互动方法，其特征在于，包括：
接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；
识别所述用户脸部图像，确定所述用户的状态表情；
当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。
2.根据权利要求1所述的方法，其特征在于，所述确定对应所述状态表情的互动内容并用于播放，包括：
确定对应所述状态表情的互动音频和表情动画；
基于给定的互动风格控制在点读设备的触摸屏上播放所述互动音频及表情动画。
3.根据权利要求2所述的方法，其特征在于，还包括：
分析所述用户脸部图像，确定所述用户对应的年龄区间；
基于所述年龄区间确定与所述用户匹配的互动风格。
4.根据权利要求1所述的方法，其特征在于，还包括：
获取所述点读设备的拾音装置拾取的用户语音信息；
基于所述用户语音信息，生成相应的阅读记录信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述用户语音信息，生成相应的阅读记录信息，包括：
识别所述用户语音信息，获得相应的语音文本内容；
根据所述语音文本内容中的关键字，确定所述用户语音信息的语义信息；
当所述语义信息满足阅读记录条件时，基于所述语义信息确定待记录内容并记录生成阅读记录信息。
6.一种阅读互动装置，其特征在于，包括：
图像接收模块，用于接收用户阅读时捕获的用户脸部图像，所述用户脸部图像由点读设备上的摄像头捕获；
表情确定模块，用于识别所述用户脸部图像，确定所述用户的状态表情；
互动执行模块，用于当所述状态表情满足阅读互动条件时，确定对应所述状态表情的互动内容并用于播放。
7.根据权利要求6所述的装置，其特征在于，还包括：
信息接收模块，用于获取所述点读设备的拾音装置拾取的用户语音信息；
信息记录模块，用于基于所述用户语音信息，生成相应的阅读记录信息。
8.一种点读设备，其特征在于，包括：主体、位于主体内的控制器和无线网络模块以及嵌套于所述主体上的拾音装置、发音装置、摄像头以及触摸屏，所述主体设置在阅读材料所在载体上，
所述控制器，用于控制下述至少一项：拾音装置、发音装置、摄像头、和触摸屏执行相应的工作，还用于实现如权利要求1-5任一项所述的阅读互动方法；
其中，所述拾音装置，用于采集音频信息，所述音频信息包括用户语音信息；
所述发音装置，用于进行音频信息播放；
所述摄像头，用于捕获图像信息，所述图像信息包括用户脸部图像；
所述触摸屏，用于进行信息显示。
9.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的阅读互动方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的阅读互动方法。
CN201910040909.2A 2019-01-16 2019-01-16 一种阅读互动方法、装置、设备、服务器及存储介质 Pending CN111443794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910040909.2A CN111443794A (zh) 2019-01-16 2019-01-16 一种阅读互动方法、装置、设备、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910040909.2A CN111443794A (zh) 2019-01-16 2019-01-16 一种阅读互动方法、装置、设备、服务器及存储介质

Publications (1)

Publication Number Publication Date
CN111443794A true CN111443794A (zh) 2020-07-24

Family

ID=71648494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910040909.2A Pending CN111443794A (zh) 2019-01-16 2019-01-16 一种阅读互动方法、装置、设备、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111443794A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747250A (zh) * 2021-08-18 2021-12-03 咪咕数字传媒有限公司 新形态留言的实现方法、装置及计算设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010589A1 (en) * 2000-07-24 2002-01-24 Tatsushi Nashida System and method for supporting interactive operations and storage medium
US20080221877A1 (en) * 2007-03-05 2008-09-11 Kazuo Sumita User interactive apparatus and method, and computer program product
CN105141587A (zh) * 2015-08-04 2015-12-09 广东小天才科技有限公司 一种虚拟玩偶互动方法及装置
CN105126349A (zh) * 2015-08-26 2015-12-09 江苏木盟智能科技有限公司 智能互动人偶和系统
CN106648082A (zh) * 2016-12-09 2017-05-10 厦门快商通科技股份有限公司 一种模拟真人互动的智能服务设备及方法
CN107038220A (zh) * 2017-03-20 2017-08-11 北京光年无限科技有限公司 用于生成备忘录的方法、智能机器人及系统
CN107329990A (zh) * 2017-06-06 2017-11-07 北京光年无限科技有限公司 一种用于虚拟机器人的情绪输出方法以及对话交互系统
CN108806360A (zh) * 2018-05-31 2018-11-13 北京智能管家科技有限公司 伴读方法、装置、设备和存储介质
CN109086860A (zh) * 2018-05-28 2018-12-25 北京光年无限科技有限公司 一种基于虚拟人的交互方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010589A1 (en) * 2000-07-24 2002-01-24 Tatsushi Nashida System and method for supporting interactive operations and storage medium
US20080221877A1 (en) * 2007-03-05 2008-09-11 Kazuo Sumita User interactive apparatus and method, and computer program product
CN105141587A (zh) * 2015-08-04 2015-12-09 广东小天才科技有限公司 一种虚拟玩偶互动方法及装置
CN105126349A (zh) * 2015-08-26 2015-12-09 江苏木盟智能科技有限公司 智能互动人偶和系统
CN106648082A (zh) * 2016-12-09 2017-05-10 厦门快商通科技股份有限公司 一种模拟真人互动的智能服务设备及方法
CN107038220A (zh) * 2017-03-20 2017-08-11 北京光年无限科技有限公司 用于生成备忘录的方法、智能机器人及系统
CN107329990A (zh) * 2017-06-06 2017-11-07 北京光年无限科技有限公司 一种用于虚拟机器人的情绪输出方法以及对话交互系统
CN109086860A (zh) * 2018-05-28 2018-12-25 北京光年无限科技有限公司 一种基于虚拟人的交互方法及系统
CN108806360A (zh) * 2018-05-31 2018-11-13 北京智能管家科技有限公司 伴读方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙辉: "《基于新媒体的动画发展与艺术创作趋势研究》", pages: 115 - 117 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747250A (zh) * 2021-08-18 2021-12-03 咪咕数字传媒有限公司 新形态留言的实现方法、装置及计算设备

Similar Documents

Publication Publication Date Title
US11158102B2 (en) Method and apparatus for processing information
WO2022048403A1 (zh) 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
US20210201550A1 (en) Method, apparatus, device and storage medium for animation interaction
WO2022121601A1 (zh) 一种直播互动方法、装置、设备及介质
US20240107127A1 (en) Video display method and apparatus, video processing method, apparatus, and system, device, and medium
CN105917404B (zh) 用于实现数字个人助理的方法、设备和系统
KR101604593B1 (ko) 이용자 명령에 기초하여 리프리젠테이션을 수정하기 위한 방법
TWI430189B (zh) 訊息擬真處理系統、裝置及方法
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
US20100085363A1 (en) Photo Realistic Talking Head Creation, Content Creation, and Distribution System and Method
CN110602516A (zh) 基于视频直播的信息交互方法、装置及电子设备
WO2022170848A1 (zh) 人机交互方法、装置、系统、电子设备以及计算机介质
CN110148406B (zh) 一种数据处理方法和装置、一种用于数据处理的装置
CN110147467A (zh) 一种文本描述的生成方法、装置、移动终端及存储介质
CN109324688A (zh) 基于虚拟人行为标准的交互方法及系统
US20130332859A1 (en) Method and user interface for creating an animated communication
CN108416420A (zh) 基于虚拟人的肢体交互方法及系统
US10347299B2 (en) Method to automate media stream curation utilizing speech and non-speech audio cue analysis
CN117529773A (zh) 用户自主个性化文本转语音的声音生成
WO2016206645A1 (zh) 为机器装置加载控制数据的方法及装置
CN117632109A (zh) 虚拟数字助手构建方法、装置、电子设备以及存储介质
CN111443794A (zh) 一种阅读互动方法、装置、设备、服务器及存储介质
CN116564272A (zh) 提供语音内容的方法及电子设备
CN115222857A (zh) 生成虚拟形象的方法、装置、电子设备和计算机可读介质
CN111159472B (zh) 多模态聊天技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination