CN109658751A - 智能语音交互方法、设备及计算机可读存储介质 - Google Patents

智能语音交互方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109658751A
CN109658751A CN201811249708.5A CN201811249708A CN109658751A CN 109658751 A CN109658751 A CN 109658751A CN 201811249708 A CN201811249708 A CN 201811249708A CN 109658751 A CN109658751 A CN 109658751A
Authority
CN
China
Prior art keywords
user
character
digitizing plate
stroke
dot array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811249708.5A
Other languages
English (en)
Inventor
罗荣刚
陆永帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Shanghai Xiaodu Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811249708.5A priority Critical patent/CN109658751A/zh
Publication of CN109658751A publication Critical patent/CN109658751A/zh
Priority to US16/566,099 priority patent/US11189183B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B11/00—Teaching hand-writing, shorthand, drawing, or painting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

本发明实施例提供一种智能语音交互方法、设备及计算机可读存储介质。该方法包括：获取用户在数位板上输入的文字信息或绘画信息；对文字信息或绘画信息进行识别；将识别结果对应的音频信息发送给数位板，以使数位板播放音频信息。本发明实施例通过数位板采集用户输入的文字信息或绘画信息，并将该文字信息或绘画信息发送给云端服务器，由云端服务器对该文字信息或绘画信息进行识别，并将识别结果对应的音频信息发送给该数位板，以使该数位板播放该音频信息，使得用户在该数位板上练习书法或绘画的同时，该数位板根据用户输入的文字信息或绘画信息与该用户进行智能语音交互，提高了该用户特别是儿童和该数位板的互动性，提高了儿童的学习兴趣。

Description

智能语音交互方法、设备及计算机可读存储介质
技术领域
本发明实施例涉及计算机领域，尤其涉及一种智能语音交互方法、设备及计算机可读存储介质。
背景技术
现有技术中，智能音箱、故事机、平板电脑、手机等产品可用于儿童学习，但是，平板电脑、手机等产品对儿童的眼睛会有一定的影响，而智能音箱和故事机没有显示屏，对儿童的吸引力较小，无法很好的吸引儿童学习。
因此，现有技术中缺乏一种适合儿童学习的产品。
发明内容
本发明实施例提供一种智能语音交互方法、设备及计算机可读存储介质，以提供一种适合儿童学习的产品。
第一方面，本发明实施例提供一种智能语音交互方法，包括：
获取用户在数位板上输入的文字信息或绘画信息；
对所述文字信息或绘画信息进行识别，得到识别结果；
将所述识别结果对应的音频信息发送给所述数位板，以使所述数位板播放所述音频信息。
第二方面，本发明实施例提供一种智能语音交互装置，包括：
获取模块，用于获取用户在数位板上输入的文字信息或绘画信息；
识别模块，用于对所述文字信息或绘画信息进行识别，得到识别结果；
发送模块，用于将所述识别结果对应的音频信息发送给所述数位板，以使所述数位板播放所述音频信息。
第三方面，本发明实施例提供一种服务器，包括：
存储器；
处理器；
通讯接口；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以下操作：
获取用户在数位板上输入的文字信息或绘画信息；
对所述文字信息或绘画信息进行识别，得到识别结果；
通过所述通讯接口将所述识别结果对应的音频信息发送给所述数位板，以使所述数位板播放所述音频信息。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
本发明实施例提供的智能语音交互方法、设备及计算机可读存储介质，通过数位板采集用户输入的文字信息或绘画信息，并将该文字信息或绘画信息发送给云端服务器，由云端服务器对该文字信息或绘画信息进行识别，并将识别结果对应的音频信息发送给该数位板，以使该数位板播放该音频信息，使得用户在该数位板上练习书法或绘画的同时，该数位板根据用户输入的文字信息或绘画信息与该用户进行智能语音交互，提高了该用户特别是儿童和该数位板的互动性，提高了儿童的学习兴趣。
附图说明
图1为本发明实施例提供的一种通信系统的示意图；
图2为本发明另一实施例提供的数位板的结构示意图；
图3为本发明实施例提供的智能语音交互方法流程图；
图4为本发明另一实施例提供的智能语音交互方法流程图；
图5为本发明实施例提供的点阵数据的示意图；
图6为本发明实施例提供的点阵数据的示意图；
图7为本发明实施例提供的点阵数据的示意图；
图8为本发明另一实施例提供的智能语音交互方法流程图；
图9为本发明实施例提供的智能语音交互装置的结构示意图；
图10为本发明实施例提供的服务器的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明提供的智能语音交互方法，可以适用于图1所示的通信系统。如图1所示，该通信系统包括：数位板11和云端服务器12。其中，数位板11的显示组件具体为电子水墨屏,该电子水墨屏具有功耗小、不伤眼睛的特点。另外，如图2所示，数位板11包括：音频输入模块、音频输出模块、无线通信模块、处理器等。其中，音频输入模块具体可以是麦克风，音频输出模块具体可以是扬声器，无线通信模块具体可以是无线保真(WIreless-Fidelity，WIFI)模块。数位板11通过无线通信模块可以和云端服务器12进行无线通信，另外，在其他实施例中，数位板11还可以包括有线通讯接口，从而使得数位板11和云端服务器12可以进行有线通信。数位板11的麦克风可以将用户的声音信号转换为电信号，由处理器通过无线通信模块将该电信号发送给云端服务器12，由云端服务器12对该电信号进行处理，并将处理结果发送给数位板11，数位板11的处理器通过音频输出模块播放该处理结果。具体的，用户可以和数位板11进行智能语音交互，当数位板11采集到用户的声音信号时，将该声音信号转换为音频信号，并将该音频信号发送给云端服务器12，云端服务器12根据该音频信号为用户提供音频服务，例如，回答用户的问题，或者获取满足用户需求的多媒体数据，并将用户所问的问题的答案发送给数位板11，或者将用户需要的多媒体数据发送给数位板11，由数位板11播放用户所问的问题的答案，或者，由数位板11播放用户需要的多媒体数据。
本发明提供的智能语音交互方法，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图3为本发明实施例提供的智能语音交互方法流程图。本发明实施例针对现有技术的如上技术问题，提供了智能语音交互方法，该方法具体步骤如下：
步骤301、获取用户在数位板上输入的文字信息或绘画信息。
在本实施例中，数位板11还包括一个压感笔，用户可以通过该压感笔在数位板11上练习书法或绘画。数位板11可以将用户在该数位板11上输入的信息实时的发送给云端服务器12，例如，数位板11可以将用户在该数位板11上输入的字符或绘画的每个笔画的点阵数据发送给云端服务器12。
步骤302、对所述文字信息或绘画信息进行识别，得到识别结果。
云端服务器12在接收到数位板11发送的每个笔画的点阵数据后，可以对用户在该数位板11上输入的字符或绘画进行识别，例如识别该用户书写的该字符的笔顺是否正确，该用户书写的该字符整体上是否规范或标准，或者，识别该用户绘画的物体。
步骤303、将所述识别结果对应的音频信息发送给所述数位板，以使所述数位板播放所述音频信息。
当云端服务器12对用户在该数位板11上输入的字符或绘画进行识别后，将相应的识别结果对应的音频信息发送给数位板11，例如，云端服务器12识别出该用户书写的字符的笔顺正确，但是，用户书写的该字符整体相比于标准字符存在一定的差异，则云端服务器12将该“笔顺正确、该字符整体相比于标准字符存在一定的差异”的音频信息发送给数位板11，以使数位板11播放该音频信息。
本发明实施例通过数位板采集用户输入的文字信息或绘画信息，并将该文字信息或绘画信息发送给云端服务器，由云端服务器对该文字信息或绘画信息进行识别，并将识别结果对应的音频信息发送给该数位板，以使该数位板播放该音频信息，使得用户在该数位板上练习书法或绘画的同时，该数位板根据用户输入的文字信息或绘画信息与该用户进行智能语音交互，提高了该用户特别是儿童和该数位板的互动性，提高了儿童的学习兴趣。
图4为本发明另一实施例提供的智能语音交互方法流程图。在上述实施例的基础上，本实施例提供的智能语音交互方法具体包括如下步骤：
步骤401、接收所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据、以及所述字符整体的点阵数据。
如图5所示，例如用户在数位板11上输入的字符是“大”字，该用户每书写一个笔画，该数位板11就将该笔画的点阵数据发送给云端服务器12。可以理解，用户在书写同一个笔画时，压感笔在该数位板11的电子水墨屏上的运动轨迹是连续的，或者，该数位板11的光标在电子水墨屏上的运动轨迹是连续的；当用户书写不同的笔画时，该压感笔或光标在电子水墨屏上的运动轨迹是不连续的，例如，“大”字的笔画包括“横(一)”“撇(丿)”“捺(乀)”，用户在书写“横(一)”的时候，压感笔或光标在电子水墨屏上的运动轨迹是连续的，当用户书写“撇(丿)”的时候，压感笔或光标在电子水墨屏上的运动轨迹将发生中断。相应的，数位板11可以根据压感笔或光标在电子水墨屏上的运动轨迹，识别出用户在数位板11上输入的笔画。或者，该数位板11中可存储有汉字基本笔画，传统的汉字基本笔画有八种即“点(丶)、横(一)、竖(丨)、撇(丿)、捺(乀)、折(乛)、弯钩(亅)”，该数位板11可根据压感笔或光标在电子水墨屏上的运动轨迹，以及汉字基本笔画，识别出用户在数位板11上输入的笔画。
数位板11每识别出一个笔画，则将该笔画的点阵数据发送给云端服务器12，以及将字符整体例如“大”字的点阵数据发送给云端服务器12。如图5所示，该数位板11依次将“横(一)”的点阵数据、“撇(丿)”的点阵数据、“捺(乀)”的点阵数据、“横(一)”、“撇(丿)”和“捺(乀)”构成的“大”字整体的点阵数据发送给云端服务器12。
或者，该数位板11每识别出一个笔画，则将该笔画和该笔画之前已识别出的笔画的点阵数据发送给云端服务器12，以及将字符整体例如“大”字的点阵数据发送给云端服务器12。如图6所示，该数位板11依次将“横(一)”的点阵数据、“横(一)”和“撇(丿)”的点阵数据、“横(一)”、“撇(丿)”和“捺(乀)”构成的“大”字整体的点阵数据发送给云端服务器12。
步骤402、根据所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据，确定所述用户书写所述字符的笔顺是否正确。
例如，云端服务器12根据该数位板11依次发送的“横(一)”的点阵数据、“撇(丿)”的点阵数据、“捺(乀)”的点阵数据，确定该用户书写的“大”字的笔顺是否正确。
可选的，所述根据所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据，确定所述用户书写所述字符的笔顺是否正确，包括：根据所述字符的每个笔画的点阵数据，确定所述字符的每个笔画对应的图像；比较所述字符的每个笔画对应的图像和所述字符的标准笔画图像，确定所述用户书写所述字符的笔顺是否正确。
例如，云端服务器12根据该数位板11依次发送的“横(一)”的点阵数据、“撇(丿)”的点阵数据、“捺(乀)”的点阵数据，确定“横(一)”对应的图像、“撇(丿)”对应的图像以及“捺(乀)”对应的图像。可选的，该云端服务器12包括文字数据库，该文字数据库包括两万多个汉字和简单英文的写法、笔顺、标准正楷写法、字义、造句等数据。该云端服务器12通过比对用户书写的每个笔画对应的图像和该用户书写的字符例如“大”字标准的笔画图像，确定该用户书写“大”字的笔顺是否正确。
步骤403、根据所述字符整体的点阵数据，确定所述用户书写的所述字符是否标准。
例如，云端服务器12根据该数位板11发送的“大”字整体的点阵数据，对该用户书写的字符进行识别，可选的，采用光学字符识别(Optical Character Recognition，OCR)算法进行识别，例如，云端服务器12识别出该用户书写的字符是“大”字。
或者，云端服务器12还可以将“大”字整体的点阵数据发送给其他的第三方服务器，以使第三方服务器采用OCR算法对该用户书写的字符进行识别，例如，第三方服务器识别出该用户书写的字符是“大”字，则云端服务器12进一步确定该用户书写的“大”字是否标准，例如，将该用户书写的“大”字和标准楷体的“大”字进行比较。
可选的，所述根据所述字符整体的点阵数据，确定所述用户书写的所述字符是否标准，包括：根据所述字符整体的点阵数据，确定所述字符对应的图像；比较所述字符对应的图像和所述字符的标准图像，确定所述用户书写的所述字符是否标准。
如图7所示，云端服务器12根据“大”字整体的点阵数据，确定“大”字对应的图像71，进一步对该图像71进行二值化，例如，将“大”字对应的像素值设定为1，将背景部分设置为0，得到二值化图像，进一步对该二值化图像进行边缘裁剪，得到裁剪后的图像72，进一步，将图像72和“大”字的标准图像例如标准楷体图像73进行比较，具体可以比较图像72和图像73中相同位置的像素点的差值，从而可确定出用户书写的“大”字是否标准。可选的，图像72和图像73的大小相同。如果对图像71进行边缘裁剪后得到的图像72与图像73的大小不同，可以相应的对图像72的大小进行缩放，以使图像72和图像73的大小相同。
步骤404、将所述识别结果对应的音频信息发送给所述数位板，以使所述数位板播放所述音频信息。
如图5或6所示，云端服务器12确定用户书写的“大”字的笔顺是正确的，但是，如图7所示，用户书写的“大”字不够标准，云端服务器12将相应的音频信息发送给数位板11，数位板11播放该音频信息，例如，该数位板11播放：“你写的这个是大字，笔顺是正确的，但是书写不够美观，需要刚劲有力一些”。当用户听到数位板11播放的音频信息后，进一步修改和调整，从而写出美观的“大”字。
本发明实施例通过数位板采集用户输入的文字信息，并将该文字信息发送给云端服务器，由云端服务器对该文字信息进行识别，以识别该用户书写的笔顺是否正确，书写的字体整体是否标准等，并将识别结果对应的音频信息发送给该数位板，以使该数位板播放该音频信息，使得用户在该数位板上练习书法时，该数位板根据用户输入的文字信息与该用户进行智能语音交互，提高了书写规范。
图8为本发明另一实施例提供的智能语音交互方法流程图。在上述实施例的基础上，本实施例提供的智能语音交互方法具体包括如下步骤：
步骤801、接收所述数位板发送的用户在所述数位板上进行绘画时每个笔画的点阵数据。
在本实施例中，数位板11还可以给用户提出简笔画任务，例如，数位板11语音播报：“下面，我们开始来画一个小船吧。”用户在数位板11上开始绘画，每画一笔，数位板11就将该笔画的点阵数据发送给云端服务器12。
步骤802、根据用户在所述数位板上进行绘画时每个笔画的点阵数据，以及简笔画图像数据库，确定所述用户绘画的物体。
在本实施例中，云端服务器12还存储有简笔画图像数据库，该简笔画图像数据库存储有2000多种物体的简笔画图像，例如，电视机、电风扇、自行车、苹果等物体的简笔画图像，且每一种物体的简笔画图像可多达100幅以上。
当云端服务器12接收到数位板11发送的用户在该数位板11上绘画的每一笔的点阵数据后，根据该点阵数据以及该简笔画图像数据库，识别该用户绘画的物体。
可选的，所述根据用户在所述数位板上进行绘画时每个笔画的点阵数据，以及简笔画图像数据库，确定所述用户绘画的物体，包括：根据用户在所述数位板上进行绘画时每个笔画的点阵数据，确定绘画图像；采用由所述简笔画图像数据库预先训练得到的神经网络模型对所述绘画图像进行识别，确定所述用户绘画的物体。
例如，云端服务器12可预先采用该简笔画图像数据库中的简笔画图像对神经网络模型进行训练，得到训练好的神经网络模型，该神经网络模型具体可以是深度残差网络模型。当云端服务器12接收到数位板11发送的用户在该数位板11上绘画的每一笔的点阵数据后，根据用户每一笔的点阵数据，确定当前每一笔构成的绘画图像，并采用已训练好的深度残差网络模型对该绘画图像进行识别，以识别用户绘画的物体。
步骤803、将所述识别结果对应的音频信息发送给所述数位板，以使所述数位板播放所述音频信息。
例如，云端服务器12识别出用户画的物体并不是小船而是板砖，则该云端服务器12可以向数位板11发送音频信息，数位板11播放该音频信息，例如，数位板11播放：“我猜你正在画板砖”。
另外，如果云端服务器12确定用户绘画的物体不符合数位板11给用户提出的简笔画任务，则云端服务器12还可以将数位板11要求该用户画的简笔画图像例如小船的简笔画图像发送给数位板11，以使用户按照该小船的简笔画图像重新画一幅小船。
如果云端服务器12识别出用户画的物体是小船，则云端服务器12可以向数位板11发送音频信息给予该用户称赞，并开始新的任务，例如，数位板11播放：“太棒了，你的小船画得很霸气哟，我们继续下一个，下面开始画一台电脑吧。”
可选的，用户在书写或绘画过程中，还可以与该数位板进行语音交互，例如，该用户向该数位板发问：“今天天气怎么样？”，该数位板可以将该用户的声音信号转换为音频信号，并将该音频信号发送给云端服务器，云端服务器根据该数位板的定位信息，获取该数位板所属区域的天气信息，并将该天气信息发送给数位板，该数位板通过音频播放的方式播报当前的天气信息，即该数位板具有智能音箱的功能。此外，该数位板还可以将用户输入的字符或绘画发送到其他的终端设备中例如计算机、手机、平板电脑等。
本发明实施例通过数位板采集用户输入的绘画信息，并将该绘画信息发送给云端服务器，由云端服务器对该绘画信息进行识别，以识别该用户画的物体，并将识别结果对应的音频信息发送给该数位板，以使该数位板播放该音频信息，使得用户在该数位板上绘画时，该数位板根据用户输入的笔画与该用户进行智能语音交互，提高了用户对绘画的兴趣。
图9为本发明实施例提供的智能语音交互装置的结构示意图。该智能语音交互装置具体可以是上述实施例中的云端服务器，或者是该云端服务器中的部件。本发明实施例提供的智能语音交互装置可以执行智能语音交互方法实施例提供的处理流程，如图9所示，智能语音交互装置90包括：获取模块91、识别模块92和发送模块93；其中，获取模块91用于获取用户在数位板上输入的文字信息或绘画信息；识别模块92用于对所述文字信息或绘画信息进行识别，得到识别结果；发送模块93用于将所述识别结果对应的音频信息发送给所述数位板，以使所述数位板播放所述音频信息。
可选的，获取模块91具体用于：接收所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据、以及所述字符整体的点阵数据。
可选的，识别模块92具体用于：根据所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据，确定所述用户书写所述字符的笔顺是否正确；根据所述字符整体的点阵数据，确定所述用户书写的所述字符是否标准。
可选的，识别模块92在根据所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据，确定所述用户书写所述字符的笔顺是否正确时，具体用于：根据所述字符的每个笔画的点阵数据，确定所述字符的每个笔画对应的图像；比较所述字符的每个笔画对应的图像和所述字符的标准笔画图像，确定所述用户书写所述字符的笔顺是否正确。
可选的，识别模块92在根据所述字符整体的点阵数据，确定所述用户书写的所述字符是否标准时，具体用于：根据所述字符整体的点阵数据，确定所述字符对应的图像；比较所述字符对应的图像和所述字符的标准图像，确定所述用户书写的所述字符是否标准。
可选的，获取模块91具体用于：接收所述数位板发送的用户在所述数位板上进行绘画时每个笔画的点阵数据。
可选的，识别模块92具体用于：根据用户在所述数位板上进行绘画时每个笔画的点阵数据，以及简笔画图像数据库，确定所述用户绘画的物体。
可选的，识别模块92在根据用户在所述数位板上进行绘画时每个笔画的点阵数据，以及简笔画图像数据库，确定所述用户绘画的物体时，具体用于：根据用户在所述数位板上进行绘画时每个笔画的点阵数据，确定绘画图像；采用由所述简笔画图像数据库预先训练得到的神经网络模型对所述绘画图像进行识别，确定所述用户绘画的物体。
图9所示实施例的智能语音交互装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本发明实施例提供的服务器的结构示意图。该服务器具体可以是上述实施例中的云端服务器。本发明实施例提供的服务器可以执行智能语音交互方法实施例提供的处理流程，如图10所示，服务器100包括：存储器101、处理器102、计算机程序和通讯接口103；其中，计算机程序存储在存储器101中，并被配置为由处理器102执行以下操作：获取用户在数位板上输入的文字信息或绘画信息；对所述文字信息或绘画信息进行识别，得到识别结果；通过所述通讯接口将所述识别结果对应的音频信息发送给所述数位板，以使所述数位板播放所述音频信息。
可选的，处理器102在获取用户在数位板上输入的文字信息时，具体用于：通过通讯接口103接收所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据、以及所述字符整体的点阵数据。
可选的，处理器102对所述文字信息进行识别，得到识别结果时，具体用于：根据所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据，确定所述用户书写所述字符的笔顺是否正确；根据所述字符整体的点阵数据，确定所述用户书写的所述字符是否标准。
可选的，处理器102根据所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据，确定所述用户书写所述字符的笔顺是否正确时，具体用于：根据所述字符的每个笔画的点阵数据，确定所述字符的每个笔画对应的图像；比较所述字符的每个笔画对应的图像和所述字符的标准笔画图像，确定所述用户书写所述字符的笔顺是否正确。
可选的，处理器102根据所述字符整体的点阵数据，确定所述用户书写的所述字符是否标准时，具体用于：根据所述字符整体的点阵数据，确定所述字符对应的图像；比较所述字符对应的图像和所述字符的标准图像，确定所述用户书写的所述字符是否标准。
可选的，处理器102获取用户在数位板上输入的绘画信息时，具体用于：通过通讯接口103接收所述数位板发送的用户在所述数位板上进行绘画时每个笔画的点阵数据。
可选的，处理器102对所述绘画信息进行识别，得到识别结果时，具体用于：根据用户在所述数位板上进行绘画时每个笔画的点阵数据，以及简笔画图像数据库，确定所述用户绘画的物体。
可选的，处理器102根据用户在所述数位板上进行绘画时每个笔画的点阵数据，以及简笔画图像数据库，确定所述用户绘画的物体时，具体用于：根据用户在所述数位板上进行绘画时每个笔画的点阵数据，确定绘画图像；采用由所述简笔画图像数据库预先训练得到的神经网络模型对所述绘画图像进行识别，确定所述用户绘画的物体。
图10所示实施例的服务器可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的智能语音交互方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (17)

1.一种智能语音交互方法，其特征在于，包括：
获取用户在数位板上输入的文字信息或绘画信息；
对所述文字信息或绘画信息进行识别，得到识别结果；
将所述识别结果对应的音频信息发送给所述数位板，以使所述数位板播放所述音频信息。
2.根据权利要求1所述的方法，其特征在于，所述获取用户在数位板上输入的文字信息，包括：
接收所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据、以及所述字符整体的点阵数据。
3.根据权利要求2所述的方法，其特征在于，所述对所述文字信息进行识别，得到识别结果，包括：
根据所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据，确定所述用户书写所述字符的笔顺是否正确；
根据所述字符整体的点阵数据，确定所述用户书写的所述字符是否标准。
4.根据权利要求3所述的方法，其特征在于，所述根据所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据，确定所述用户书写所述字符的笔顺是否正确，包括：
根据所述字符的每个笔画的点阵数据，确定所述字符的每个笔画对应的图像；
比较所述字符的每个笔画对应的图像和所述字符的标准笔画图像，确定所述用户书写所述字符的笔顺是否正确。
5.根据权利要求3或4所述的方法，其特征在于，所述根据所述字符整体的点阵数据，确定所述用户书写的所述字符是否标准，包括：
根据所述字符整体的点阵数据，确定所述字符对应的图像；
比较所述字符对应的图像和所述字符的标准图像，确定所述用户书写的所述字符是否标准。
6.根据权利要求1所述的方法，其特征在于，所述获取用户在数位板上输入的绘画信息，包括：
接收所述数位板发送的用户在所述数位板上进行绘画时每个笔画的点阵数据。
7.根据权利要求6所述的方法，其特征在于，所述对所述绘画信息进行识别，得到识别结果，包括：
根据用户在所述数位板上进行绘画时每个笔画的点阵数据，以及简笔画图像数据库，确定所述用户绘画的物体。
8.根据权利要求7所述的方法，其特征在于，所述根据用户在所述数位板上进行绘画时每个笔画的点阵数据，以及简笔画图像数据库，确定所述用户绘画的物体，包括：
根据用户在所述数位板上进行绘画时每个笔画的点阵数据，确定绘画图像；
采用由所述简笔画图像数据库预先训练得到的神经网络模型对所述绘画图像进行识别，确定所述用户绘画的物体。
9.一种服务器，其特征在于，包括：
存储器；
处理器；
通讯接口；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以下操作：
获取用户在数位板上输入的文字信息或绘画信息；
对所述文字信息或绘画信息进行识别，得到识别结果；
通过所述通讯接口将所述识别结果对应的音频信息发送给所述数位板，以使所述数位板播放所述音频信息。
10.根据权利要求9所述的服务器，其特征在于，所述处理器在获取用户在数位板上输入的文字信息时，具体用于：
通过所述通讯接口接收所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据、以及所述字符整体的点阵数据。
11.根据权利要求10所述的服务器，其特征在于，所述处理器对所述文字信息进行识别，得到识别结果时，具体用于：
根据所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据，确定所述用户书写所述字符的笔顺是否正确；
根据所述字符整体的点阵数据，确定所述用户书写的所述字符是否标准。
12.根据权利要求11所述的服务器，其特征在于，所述处理器根据所述数位板发送的用户在所述数位板上书写的字符的每个笔画的点阵数据，确定所述用户书写所述字符的笔顺是否正确时，具体用于：
根据所述字符的每个笔画的点阵数据，确定所述字符的每个笔画对应的图像；
比较所述字符的每个笔画对应的图像和所述字符的标准笔画图像，确定所述用户书写所述字符的笔顺是否正确。
13.根据权利要求11或12所述的服务器，其特征在于，所述处理器根据所述字符整体的点阵数据，确定所述用户书写的所述字符是否标准时，具体用于：
根据所述字符整体的点阵数据，确定所述字符对应的图像；
比较所述字符对应的图像和所述字符的标准图像，确定所述用户书写的所述字符是否标准。
14.根据权利要求9所述的服务器，其特征在于，所述处理器获取用户在数位板上输入的绘画信息时，具体用于：
通过所述通讯接口接收所述数位板发送的用户在所述数位板上进行绘画时每个笔画的点阵数据。
15.根据权利要求14所述的服务器，其特征在于，所述处理器对所述绘画信息进行识别，得到识别结果时，具体用于：
根据用户在所述数位板上进行绘画时每个笔画的点阵数据，以及简笔画图像数据库，确定所述用户绘画的物体。
16.根据权利要求15所述的服务器，其特征在于，所述处理器根据用户在所述数位板上进行绘画时每个笔画的点阵数据，以及简笔画图像数据库，确定所述用户绘画的物体时，具体用于：
根据用户在所述数位板上进行绘画时每个笔画的点阵数据，确定绘画图像；
采用由所述简笔画图像数据库预先训练得到的神经网络模型对所述绘画图像进行识别，确定所述用户绘画的物体。
17.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-8任一项所述的方法。
CN201811249708.5A 2018-10-25 2018-10-25 智能语音交互方法、设备及计算机可读存储介质 Pending CN109658751A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811249708.5A CN109658751A (zh) 2018-10-25 2018-10-25 智能语音交互方法、设备及计算机可读存储介质
US16/566,099 US11189183B2 (en) 2018-10-25 2019-09-10 Intelligent voice interaction method, device and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811249708.5A CN109658751A (zh) 2018-10-25 2018-10-25 智能语音交互方法、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109658751A true CN109658751A (zh) 2019-04-19

Family

ID=66110473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811249708.5A Pending CN109658751A (zh) 2018-10-25 2018-10-25 智能语音交互方法、设备及计算机可读存储介质

Country Status (2)

Country Link
US (1) US11189183B2 (zh)
CN (1) CN109658751A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488997A (zh) * 2019-07-03 2019-11-22 深圳市九洲电器有限公司 基于语音的书写板实现方法及相关产品
CN111785276A (zh) * 2020-06-30 2020-10-16 安徽芯智科技有限公司 智能语音互联车联系统
CN113569869A (zh) * 2021-07-06 2021-10-29 浙江工业大学 一种基于目标检测和轮廓提取的儿童识绘图系统及方法
CN113627260A (zh) * 2021-07-12 2021-11-09 科大讯飞股份有限公司 识别手写汉字的笔顺的方法、系统和计算设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115718911B (zh) * 2022-11-24 2023-10-13 深圳市欧度利方科技有限公司 一种儿童平板权限管理方法、系统、平板电脑及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2570902Y (zh) * 2002-08-29 2003-09-03 开泰实业有限公司 互动式书写绘画盘
CN101551724A (zh) * 2008-03-31 2009-10-07 联想(北京)有限公司 在触摸屏上书写文字的方法与装置
CN202134126U (zh) * 2011-07-29 2012-02-01 广东小天才科技有限公司 一种儿童影音绘画书写板
CN103809694A (zh) * 2014-02-21 2014-05-21 上海分维智能科技有限公司 一种基于智能终端的手写识别儿童智能学习系统
CN107944457A (zh) * 2017-11-23 2018-04-20 浙江清华长三角研究院 一种复杂场景下的绘画物体识别与提取方法
CN108230818A (zh) * 2018-01-25 2018-06-29 上海顺砾智能科技有限公司 一种多功能电子书写本及其使用方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426726A (en) * 1989-05-31 1995-06-20 Mitsubishi Denki Kabushiki Kaisha Character drawing and displaying apparatus with drawing speed control
JP2002163637A (ja) * 2000-11-27 2002-06-07 Omron Corp 画像検査装置及び画像検査方法
US9495620B2 (en) * 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
US11106905B2 (en) * 2018-09-04 2021-08-31 Cerence Operating Company Multi-character text input system with audio feedback and word completion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2570902Y (zh) * 2002-08-29 2003-09-03 开泰实业有限公司 互动式书写绘画盘
CN101551724A (zh) * 2008-03-31 2009-10-07 联想(北京)有限公司 在触摸屏上书写文字的方法与装置
CN202134126U (zh) * 2011-07-29 2012-02-01 广东小天才科技有限公司 一种儿童影音绘画书写板
CN103809694A (zh) * 2014-02-21 2014-05-21 上海分维智能科技有限公司 一种基于智能终端的手写识别儿童智能学习系统
CN107944457A (zh) * 2017-11-23 2018-04-20 浙江清华长三角研究院 一种复杂场景下的绘画物体识别与提取方法
CN108230818A (zh) * 2018-01-25 2018-06-29 上海顺砾智能科技有限公司 一种多功能电子书写本及其使用方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110488997A (zh) * 2019-07-03 2019-11-22 深圳市九洲电器有限公司 基于语音的书写板实现方法及相关产品
CN111785276A (zh) * 2020-06-30 2020-10-16 安徽芯智科技有限公司 智能语音互联车联系统
CN111785276B (zh) * 2020-06-30 2023-08-15 安徽芯智科技有限公司 智能语音互联车联系统
CN113569869A (zh) * 2021-07-06 2021-10-29 浙江工业大学 一种基于目标检测和轮廓提取的儿童识绘图系统及方法
CN113627260A (zh) * 2021-07-12 2021-11-09 科大讯飞股份有限公司 识别手写汉字的笔顺的方法、系统和计算设备

Also Published As

Publication number Publication date
US11189183B2 (en) 2021-11-30
US20200005659A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
CN109658751A (zh) 智能语音交互方法、设备及计算机可读存储介质
CN106056996B (zh) 一种多媒体交互教学系统及方法
US8503788B2 (en) Input-handwriting automatic transformation system and method
CN110162799A (zh) 模型训练方法、机器翻译方法以及相关装置和设备
CN106412229B (zh) 用于移动终端的交互、信息提供、提供联系人信息的方法、装置及移动终端
CN108833941A (zh) 人机交互处理方法、装置、用户终端、处理服务器及系统
CN110162164A (zh) 一种基于增强现实的学习互动方法、装置及存储介质
CN106971638B (zh) 交互式无线教学方法
US20090195656A1 (en) Interactive transcription system and method
CN109215413A (zh) 一种基于移动增强现实的模具设计教学方法、系统及移动终端
CN110488973B (zh) 一种虚拟互动留言系统及方法
CN106874443A (zh) 基于视频文本信息提取的信息查询方法以及装置
CN109922352A (zh) 一种数据处理方法、装置、电子设备及可读存储介质
CN106776449A (zh) 一种植物科普电子书阅读展示方法及装置
CN107817701A (zh) 设备控制方法、装置、计算机可读存储介质及终端
CN114299617A (zh) 一种教学互动情况识别方法、装置、设备及存储介质
CN112669416B (zh) 客服服务系统、方法、装置、电子设备及存储介质
CN103514780A (zh) 一种摆放笔画的练字方法和练字设备
CN111464859B (zh) 一种在线视频展示的方法、装置、计算机设备及存储介质
CN108833354A (zh) 虚拟宠物构建方法及装置
CN104506898A (zh) 图像信息处理方法及系统
CN214624005U (zh) 一种基于磁性卡片的汉字拼搭互动学习系统
WO2022166039A1 (zh) 一种基于磁性卡片的汉字拼搭互动学习系统及方法
CN111062377B (zh) 一种题号检测方法、系统、存储介质及电子设备
CN112287930A (zh) 一种智能点读文本系统及其使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210519

Address after: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant after: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

Applicant after: Shanghai Xiaodu Technology Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190419