CN116312085A - 车内用户学习方法及装置 - Google Patents
车内用户学习方法及装置 Download PDFInfo
- Publication number
- CN116312085A CN116312085A CN202310189691.3A CN202310189691A CN116312085A CN 116312085 A CN116312085 A CN 116312085A CN 202310189691 A CN202310189691 A CN 202310189691A CN 116312085 A CN116312085 A CN 116312085A
- Authority
- CN
- China
- Prior art keywords
- stroke
- track
- gesture
- copying
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B11/00—Teaching hand-writing, shorthand, drawing, or painting
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种车内用户学习方法及装置,涉及车辆技术领域。该方法包括:接收通过语音设备或者显示设备输入的学习指令;获取待学习文字中待临摹的笔画轨迹,并发送给所述显示设备进行显示;获取采集设备采集到的图像,所述图像是所述采集设备在学习者按照所述显示设备显示的内容进行临摹时拍摄到的;根据所述采集到的图像,确定笔画临摹结果;将所述笔画临摹结果发送给所述显示设备进行显示,以所述学习者通过临摹所述笔画轨迹来学习所述文字。在本申请中,无需用户携带具有学习功能的电子设备,便可以在车内进行学习。
Description
技术领域
本申请涉及车辆技术领域,特别是涉及一种车内用户学习方法及装置。
背景技术
随着车辆的普及,用户在车内的时间越来越长,因此,用户利用在车内的时间进行学习变成一种主流趋势。
在相关技术中,如果学习者需要在车内进行学习,需要学习者先将具有学习功能的电子设备携带至车内,进而通过该电子设备进行学习。
当学习者忘记将具有学习功能的电子设备携带至车内时,学习者便无法在车内学习。
发明内容
有鉴于此,本申请提供一种车内用户学习方法及装置,无需用户携带具有学习功能的电子设备,便可以在车内进行学习。
为达到上述目的,本申请主要提供如下技术方案:
第一方面,本申请提供了一种车内用户学习方法,所述方法包括:
接收通过语音设备或者显示设备输入的学习指令;
获取待学习文字中待临摹的笔画轨迹,并发送给所述显示设备进行显示;
获取采集设备采集到的图像,所述图像是所述采集设备在学习者按照所述显示设备显示的内容进行临摹时拍摄到的;
根据所述采集到的图像,确定笔画临摹结果;
将所述笔画临摹结果发送给所述显示设备进行显示,以所述学习者通过临摹所述笔画轨迹来学习所述文字。
可选的,所述采集设备包括第一相机和第二相机,所述获取采集设备采集到的图像,包括:
接收指示所述显示设备成功显示的指令,并向所述第一相机和所述第二相机分别发送图像采集指令;
接收所述第一相机采集的第一图像和所述第二相机采集的第二图像。
可选的,所述根据所述采集到的图像,确定笔画临摹结果,包括:
判断所述第一图像和所述第二图像中预设三维ROI区域内是否存在手势信息;
如果是,则将在所述第一图像中提取的手势信息确定为第一手势信息,将在所述第二图像中提出的手势信息确定为第二手势信息;
根据所述第一手势信息和所述第二手势信息,确定笔画临摹结果。
可选的,所述根据所述第一手势信息和所述第二手势信息,确定笔画临摹结果,包括:
判断所述第一手势信息和所述第二手势信息是否匹配;
如果是,则根据所述第一手势信息和所述第二手势信息,计算深度信息,当所述深度信息满足预设条件时,确定所述第一手势信息对应的第一手势轨迹,根据所述第一手势轨迹,确定笔画临摹结果。
可选的,当所述笔画轨迹为待学习文字中当前待临摹笔画的轨迹时,所述根据所述第一手势轨迹,确定笔画临摹结果,包括:
当所述第一手势轨迹与所述笔画轨迹匹配时,判断所述待临摹笔画是否为所述待学习文字的最后一笔,如果是,则所述笔画临摹结果为继续下一个字的临摹,如果否,则所述笔画临摹结果为继续下一笔画的临摹;
当所述第一手势轨迹与所述笔画轨迹不匹配时,所述笔画临摹结果为提醒学习者重新临摹。
可选的,当所述笔画轨迹为待学习中所有笔画的轨迹时,所述根据所述第一手势轨迹,确定笔画临摹结果,包括:
当所述第一手势轨迹与所述笔画轨迹匹配时,所述笔画临摹结果为继续下一个字的临摹;
当所述第一手势轨迹与所述笔画轨迹不匹配时,所述笔画临摹结果为提醒学习者重新临摹。
可选的,所述第一相机和第二相机的焦距相等,所述根据所述第一手势信息和所述第二手势信息,计算深度信息,包括:
根据所述第一手势信息和所述第二手势信息,确定所述手势在所述第一图像中的第一位置和在所述第二图像中的第二位置;
根据所述第一位置、所述第二位置、所述第一相机和所述第二相机之间的距离以及所述焦距,计算深度信息。
第二方面,本申请提供了一种车内用户学习装置,所述装置包括:
接收单元,用于接收通过语音设备或者显示设备输入的学习指令;
第一获取单元,用于获取待学习文字中待临摹的笔画轨迹,并发送给所述显示设备进行显示;
第二获取单元,用于获取采集设备采集到的图像,所述图像是所述采集设备在学习者按照所述显示设备显示的内容进行临摹时拍摄到的;
确定单元,用于根据所述采集到的图像,确定笔画临摹结果;
显示单元,用于将所述笔画临摹结果发送给所述显示设备进行显示,以所述学习者通过临摹所述笔画轨迹来学习所述文字。
可选的,所述采集设备包括第一相机和第二相机,所述第一获取单元,包括:
第一接收模块,用于接收指示所述显示设备成功显示的指令,并向所述第一相机和所述第二相机分别发送图像采集指令;
第二接收模块,用于接收所述第一相机采集的第一图像和所述第二相机采集的第二图像。
可选的,所述确定单元,包括:
判断模块,用于判断所述第一图像和所述第二图像中预设三维ROI区域内是否存在手势信息;
第一确定模块,用于如果是,则将在所述第一图像中提取的手势信息确定为第一手势信息,将在所述第二图像中提出的手势信息确定为第二手势信息;
第二确定模块,用于根据所述第一手势信息和所述第二手势信息,确定笔画临摹结果。
可选的,所述第二确定模块,还用于:
判断所述第一手势信息和所述第二手势信息是否匹配;
如果是,则根据所述第一手势信息和所述第二手势信息,计算深度信息,当所述深度信息满足预设条件时,确定所述第一手势信息对应的第一手势轨迹,根据所述第一手势轨迹,确定笔画临摹结果。
可选的,当所述笔画轨迹为待学习文字中当前待临摹笔画的轨迹时,所述第二确定模块还用于:
当所述第一手势轨迹与所述笔画轨迹匹配时,判断所述待临摹笔画是否为所述待学习文字的最后一笔,如果是,则所述笔画临摹结果为继续下一个字的临摹,如果否,则所述笔画临摹结果为继续下一笔画的临摹;
当所述第一手势轨迹与所述笔画轨迹不匹配时,所述笔画临摹结果为提醒学习者重新临摹。
可选的,当所述笔画轨迹为待学习中所有笔画的轨迹时,所述第二确定模块还用于:
当所述第一手势轨迹与所述笔画轨迹匹配时,所述笔画临摹结果为继续下一个字的临摹;
当所述第一手势轨迹与所述笔画轨迹不匹配时,所述笔画临摹结果为提醒学习者重新临摹。
可选的,所述第一相机和第二相机的焦距相等,所述第二确定模块,还用于:
根据所述第一手势信息和所述第二手势信息,确定所述手势在所述第一图像中的第一位置和在所述第二图像中的第二位置;
根据所述第一位置、所述第二位置、所述第一相机和所述第二相机之间的距离以及所述焦距,计算深度信息。
第三方面,本申请还提供了一种电子设备,所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行上述第一方面的车内用户学习方法。
第四方面,本申请提供了一种存储介质,该存储介质用于存储计算机程序,其中,该计算机程序运行时控制该存储介质所在设备执行该第一方面所述的车内用户学习方法。
借由上述技术方案,本申请提供了一种车内用户学习方法及装置,接收通过语音设备或者显示设备输入的学习指令;获取待学习文字中待临摹的笔画轨迹,并发送给所述显示设备进行显示;获取采集设备采集到的图像,所述图像是所述采集设备在学习者按照所述显示设备显示的内容进行临摹时拍摄到的;根据所述采集到的图像,确定笔画临摹结果;将所述笔画临摹结果发送给所述显示设备进行显示,以所述学习者通过临摹所述笔画轨迹来学习所述文字。在本申请中,无需用户携带具有学习功能的电子设备,便可以在车内进行学习。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请公开的一种车内用户学习方法的流程示意图;
图2为本申请公开的一种车内用户学习方法的示意图;
图3为本申请公开的又一种车内用户学习方法的示意图
图4为本申请公开的一种车内用户学习装置的结构示意图;
图5为本申请公开的又一种车内用户学习装置的结构示意图;
图6为本申请公开的一种设备的框图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
随着车辆的普及,用户在车内的时间越来越长,因此,用户利用在车内的时间进行学习变成一种主流趋势。
在相关技术中,如果学习者需要在车内进行学习,需要学习者先将具有学习功能的电子设备携带至车内,进而通过该电子设备进行学习。
当学习者忘记将具有学习功能的电子设备携带至车内时,学习者便无法在车内学习。
为了解决上述问题,本申请实施例提供了一种车内用户学习文字的方法,其执行主体为座舱控制器,当然,也可以为车辆内的其他控制器,本申请对此并不限定。本申请提供了一种车内用户学习方法,该方法无需用户携带具有学习功能的电子设备,便可以在车内进行学习。其具体执行步骤如图1所示,包括:
步骤101,接收通过语音设备或者显示设备输入的学习指令。
在本步骤的具体实施方式中,车辆内设置有语音设备,该语音设备可以采集车内用户的声音,并对其进行分析,得到识别结果。之后,将该识别结果与预设的识别结果进行对比,如果对比上,则将预设的学习指令发送给座舱控制器,进而使得座舱控制器接收到通过语音设备发送的学习指令。
例如,当语音设备接收到“开始学习”语音消息时,语音设备向座舱控制器发送学习指令,进而使得座舱控制器接收到学习指令。
另外,车内设置有显示设备。用户可以在显示设备中调出学习页面,该学习页面上设置有学习按钮。当用户点击该学习页面上的学习按钮时,显示设备接收到该学习按钮的点击指令,并向座舱控制器发送学习指令,并使得座舱控制器接收到通过显示设备输入的学习指令。
步骤102,获取待学习文字中待临摹的笔画轨迹,并发送给显示设备进行显示。
其中,待学习文字为学习者即将学习的文字,学习者为车内的某一用户。笔画为是指组成汉字且不间断的各种形状的点和线,如"撇(丿)、捺、提/>、点(丶)、横(一)、竖(丨)、钩(亅)"等,它是构成汉字字形的最小连笔单位。在本步骤中,待临摹的笔画轨迹可以为待学习文字中某一笔画的形成轨迹,也可以为待学习文字中所有笔画的形成轨迹,此处并不限定。
在实施中,待学习文字可以为基于预设规则确定的文字。例如,当座舱控制器获取到学习指令后,可以获取预先设置的文字以及预先设置的学习顺序,这样便可以以该文字为起始点,根据该学习顺序遍历文字库中的文字进行学习。
或者,当座舱控制器获取到学习指令后,可以先获取之前的历史学习记录,并确定该历史学习记录中最后学习的一个文字,并以该文字的下一个文字为起始点,根据预设的学习顺序遍历文字库中的文字进行学习。
或者,学习指令中也可以携带有待学习文字,例如,当语音设备接收到“开始学习,学习舞字”语音消息时,提取语音消息中的“舞”字,并根据该字生成学习指令。或者,显示设备上显示的学习页面上显示有多行文字,学习者可以在这些文字中选取出所想要学习的文字。在接收到某个文字的点击指令后,显示设备便会生成携带该文字的学习指令。这样在显示设备将该学习指令发送给座舱控制器之后,座舱控制器接收该学习指令,并在该学习指令中提取出该文字。
步骤103,获取采集设备采集到的图像。
其中,采集设备可以为摄像头,显示设备可以为车内设置的显示屏。图像是所述采集设备在学习者按照所述显示设备显示的内容进行临摹时拍摄到的。
在本步骤的具体实施方式中,在座舱控制器将笔画轨迹发送给显示设备后,显示设备会接收到该笔画轨迹,并将该笔画轨迹进行显示。在车内学习者看见显示设备上显示的笔画轨迹后,该学习者可以按照该笔画轨迹进行临摹,进而采集设备在学习者按照显示设备显示的内容进行临摹时进行拍摄。
在实际过程中,为了实现对图像的准确识别,需要在图像中提取深度信息。本申请提供了一种提取深度信息的方法,该方法需要设置两个相机,分别为第一相机和第二相机。因此,当设置两个相机时,本步骤获取采集设备采集到的图像的方法为:接收指示显示设备成功显示的指令,并向第一相机和第二相机分别发送图像采集指令;接收第一相机采集的第一图像和第二相机采集的第二图像。
在实施中,当显示设备显示笔画轨迹之后,显示设备可以生成显示成功指令,并向座舱控制器发送该显示成功指令。在座舱控制器接收到该指令后,座舱控制器分别向第一相机和第二相机发送图像采集指令,进而控制第一相机和第二相机开启并采集图像。
或者,第一相机和第二相机可以一直开启并向座舱控制器发送图像,而由于学习者是在显示器开启之后才临摹学习的,因此,当座舱控制器接收到该显示成功指令后,座舱控制器获取接收到该显示成功的时间点,并查找该时间点之后的图像。
同时,为了能拍到车内较全、且清晰的图像,可以将两个相机设置在顶棚中部靠前位置,且两个相机之间的距离需要超过预设距离。例如,在实际使用过程中,学习者一般为儿童,而为了保障儿童的安全,可以在儿童座椅上设置儿童模型,进而使得相机的光学中心距儿童模型的脸部700mm,距儿童模型伸手后的掌心位置500mm,具体如图2所示。
步骤104,根据采集到的图像,确定笔画临摹结果。
在本步骤的具体实施方式中,座舱控制器对采集到的图像进行识别,得到笔画临摹结果。在本步骤中,当相机包括第一相机和第二相机时,根据采集到的图像确定笔画临摹结果的具体步骤为:判断所述第一图像和所述第二图像中预设三维ROI区域内是否存在手势信息;如果是,则将在所述第一图像中提取的手势信息确定为第一手势信息,将在所述第二图像中提出的手势信息确定为第二手势信息;根据所述第一手势信息和所述第二手势信息,确定笔画临摹结果。
其中,为了避免引入较多的干扰源,增加计算的复杂度,消耗系统资源,本步骤可以只对三维ROI区域中的图像进行识别。三维ROI区域(region of interest,感兴趣区域)是基于现有技术中的二维ROI区域、预设的最小深度值和最大深度值生成的。本步骤只对图像中预设三维ROI区域内的图像进行识别。第一手势信息包括在采集到的每张第一图像中提取的手势信息。第二手势信息包括在采集到的每张第二图像中提取的手势信息。
在实施中,由于学习者是在一个时间段内进行临摹,因此,第一相机会采集一段时间内的第一图像,并将其发送给座舱控制器。在座舱控制器接收到第一相机采集到的多个第一图像时,根据每个第一图像的采集顺序,依次对每个第一图像进行识别。在对每个第一图像进行识别的过程中,确定出预设三维ROI区域在第一图像中对应的区域,并对该区域进行识别,进而确定该区域内是否存在手势信息。如果否,则将该第一图像进行舍去,继续对下一个采集的图像进行识别。如果是,则说明需要对该第一图像中的手势信息进行处理。为了方便区域该手势信息为第一图像中的手势信息还是第二图像中的手势信息,本步骤可以将第一图像中的手势信息确定为第一手势信息。
同理,对第二图像的识别与第一图像的识别类似,此处不再一一赘述。
之后,根据第一手势信息和第二手势信息,确定笔画临摹结果的具体步骤为:判断所述第一手势信息和所述第二手势信息是否匹配;如果是,则根据所述第一手势信息和所述第二手势信息,计算深度信息,当所述深度信息满足预设条件时,确定所述第一手势信息对应的第一手势轨迹,根据所述第一手势轨迹,确定笔画临摹结果。
在实施中,由于本步骤是在两个不同相机采集到的图像上提取手势信息,因此,需要确定这两个手势信息是否对应一个手势。这样,在识别学习者的手势轨迹前,还需要确定同一时间点的第一手势信息和第二手势信息的相似度。当该相似度小于等于预设数值时,确定第一手势信息和第二手势信息不匹配,这可能是数据处理或者数据采集过程存在错误,可以进行报警提示。当该相似度大于预设数值时,确定第一手势信息和第二手势信息匹配,即两个相机是对同一学习者的手势进行识别的。之后,由于儿童的手臂长度有限,因此,儿童的手臂一定会保持在一定范围内。因此,本申请还需要确定每张第一图像中的手势的深度信息是否满足预设条件,如果是,则根据手势信息确定手势轨迹。
在上述过程中,还可以对两个不同相机在相同时间点的手势信息进行立体匹配,得到匹配结果。立体匹配的目的是判定两个相机视频中的手势是同一个手势。立体匹配是使用SGM局部匹配法,并使用PatchMatch对匹配算法进行加速处理,进而能快速得到匹配结果。
在上述过程中,本步骤中的第一相机和第二相机的焦距相等,这样根据第一手势信息和第二手势信息,计算深度信息的具体步骤为:根据所述第一手势信息和所述第二手势信息,确定所述手势在所述第一图像中的第一位置和在所述第二图像中的第二位置;根据所述第一位置、所述第二位置、所述第一相机和所述第二相机之间的距离以及所述焦距,计算深度信息。
其中,第一手势信息包括在多个第一图像上提取到的手势信息。第二手势信息包括在多个第二图像上提取到的手势信息。第一相机和第二相机之间的距离为第一相机的光学中心和第二相机的光学中心之间的距离。
在实施中,在第一手势信息和第二手势信息中,找到分别对应同一采集时间点的第一图像和第二图像,并分别确定手势在这些图像上的第一位置和第二位置,之后,将第一位置、第二位置、第一相机和第二相机之间的距离以及焦距带入预设公式,计算深度信息。
其中,预设公式为Z=(B*f)/(X-X’)。其中,B为第一相机和第二相机之间的距离,f为焦距,X为第一位置,X’为第二位置。
在上述过程中,当笔画轨迹为待学习文字中当前待临摹笔画的轨迹时,即当笔画轨迹为待学习文字中目标笔画的轨迹时,根据第一手势轨迹,确定笔画临摹结果的具体步骤,包括:当所述第一手势轨迹与所述笔画轨迹匹配时,判断所述目标笔画是否为所述待学习文字的最后一笔,如果是,则所述笔画临摹结果为继续下一个字的临摹,如果否,则所述笔画临摹结果为继续下一笔画的临摹;当所述第一手势轨迹与所述笔画轨迹不匹配时,所述笔画临摹结果为提醒学习者重新临摹。
如图3所示,目标笔画为“生”字中的第一笔“撇(丿)”,当检测出与的第一手势轨迹与“撇(丿)”的运动轨迹匹配时,笔画临摹结果为继续“横(一)”的临摹。当检测出第一手势轨迹与笔画轨迹不匹配时,笔画临摹结果为提醒学习者重新临摹。
当笔画轨迹为待学习文字中所有笔画的轨迹时,即当笔画轨迹为待学习文字中目标笔画的轨迹时,根据第一手势轨迹,确定笔画临摹结果的具体步骤,包括:当所述第一手势轨迹与所述笔画轨迹匹配时,所述笔画临摹结果为继续下一个字的临摹;当所述第一手势轨迹与所述笔画轨迹不匹配时,所述笔画临摹结果为提醒学习者重新临摹。
步骤105,将笔画临摹结果发送给显示设备进行显示,以使通过学习者临摹该文字来学习到该文字。
在本步骤的具体实施方式中,座舱控制器可以将笔画临摹结果发送给显示设备,该显示设备可以接收到笔画临摹结果,并将其进行显示。这样,通过整个过程使得学习者通过对该文字的笔画进行临摹,来学习到该文字。
在本申请实施例中,接收通过语音设备或者显示设备输入的学习指令;获取待学习文字中待临摹的笔画轨迹,并将其发送给所述显示设备进行显示;获取采集设备采集到的图像,所述图像是所述采集设备在学习者按照所述显示设备显示的内容进行临摹时拍摄到的;根据所述采集到的图像,确定笔画临摹结果;将所述笔画临摹结果发送给所述显示设备进行显示,以通过所述学习者临摹所述文字来进行学习。在本申请中,无需用户携带具有学习功能的电子设备,便可以在车内进行学习。
进一步的,作为对上述图1-3所示方法实施例的实现,本申请实施例提供了一种车内用户学习装置,该装置无需用户携带具有学习功能的电子设备,便可以在车内进行学习。该装置的实施例与前述方法实施例对应,为便于阅读,本实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。具体如图4所示,该装置包括:
接收单元401,用于接收通过语音设备或者显示设备输入的学习指令;
第一获取单元402,用于获取待学习文字中待临摹的笔画轨迹,并发送给所述显示设备进行显示;
第二获取单元403,用于获取采集设备采集到的图像,所述图像是所述采集设备在学习者按照所述显示设备显示的内容进行临摹时拍摄到的;
确定单元404,用于根据所述采集到的图像,确定笔画临摹结果;
显示单元405,用于将所述笔画临摹结果发送给所述显示设备进行显示,以所述学习者通过临摹所述笔画轨迹来学习所述文字。
可选的,如图5所示,所述采集设备包括第一相机和第二相机,所述第一获取单元402,包括:
第一接收模块4021,用于接收指示所述显示设备成功显示的指令,并向所述第一相机和所述第二相机分别发送图像采集指令;
第二接收模块4022,用于接收所述第一相机采集的第一图像和所述第二相机采集的第二图像。
可选的,如图5所示,所述确定单元404,包括:
判断模块4041,用于判断所述第一图像和所述第二图像中预设三维ROI区域内是否存在手势信息;
第一确定模块4042,用于如果是,则将在所述第一图像中提取的手势信息确定为第一手势信息,将在所述第二图像中提出的手势信息确定为第二手势信息;
第二确定模块4043,用于根据所述第一手势信息和所述第二手势信息,确定笔画临摹结果。
可选的,如图5所示,所述第二确定模块4043,还用于:
判断所述第一手势信息和所述第二手势信息是否匹配;
如果是,则根据所述第一手势信息和所述第二手势信息,计算深度信息,当所述深度信息满足预设条件时,确定所述第一手势信息对应的第一手势轨迹,根据所述第一手势轨迹,确定笔画临摹结果。
可选的,如图5所示,当所述笔画轨迹为待学习文字中当前待临摹笔画的轨迹时,所述第二确定模块4043还用于:
当所述第一手势轨迹与所述笔画轨迹匹配时,判断所述待临摹笔画是否为所述待学习文字的最后一笔,如果是,则所述笔画临摹结果为继续下一个字的临摹,如果否,则所述笔画临摹结果为继续下一笔画的临摹;
当所述第一手势轨迹与所述笔画轨迹不匹配时,所述笔画临摹结果为提醒学习者重新临摹。
可选的,如图5所示,当所述笔画轨迹为待学习中所有笔画的轨迹时,所述第二确定模块4043还用于:
当所述第一手势轨迹与所述笔画轨迹匹配时,所述笔画临摹结果为继续下一个字的临摹;
当所述第一手势轨迹与所述笔画轨迹不匹配时,所述笔画临摹结果为提醒学习者重新临摹。
可选的,如图5所示,所述第一相机和第二相机的焦距相等,所述第二确定模块4043,还用于:
根据所述第一手势信息和所述第二手势信息,确定所述手势在所述第一图像中的第一位置和在所述第二图像中的第二位置;
根据所述第一位置、所述第二位置、所述第一相机和所述第二相机之间的距离以及所述焦距,计算深度信息。
进一步的,本申请实施例还提供一种电子设备,所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行上述图1-3中所述的车内用户学习方法。
进一步的,本申请实施例还提供一种存储介质,存储介质用于存储计算机程序,其中,计算机程序运行时控制存储介质所在设备执行上述图1-3中的车内用户学习方法。
图6是本申请实施例提供的一种设备60的框图。该设备60包括至少一个处理器601、以及与处理器601连接的至少一个存储器602、总线603;其中,处理器601、存储器602通过总线603完成相互间的通信。处理器601用于调用存储器602中的程序指令,以执行上述的车内用户学习方法。本文中的设备可以是服务器(例如:本地服务器或者云端服务器)、智能手机、平板电脑、PDA、便携计算机,也可以是台式计算机等固定终端等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与根据在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
此外,存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种车内用户学习方法,其特征在于,所述方法应用于车内的座舱域控制器,所述方法包括:
接收通过语音设备或者显示设备输入的学习指令;
获取待学习文字中待临摹的笔画轨迹,并发送给所述显示设备进行显示;
获取采集设备采集到的图像,所述图像是所述采集设备在学习者按照所述显示设备显示的内容进行临摹时拍摄到的;
根据所述采集到的图像,确定笔画临摹结果;
将所述笔画临摹结果发送给所述显示设备进行显示,以所述学习者通过临摹所述笔画轨迹来学习所述文字。
2.根据权利要求1所述的方法,其特征在于,所述采集设备包括第一相机和第二相机,所述获取采集设备采集到的图像,包括:
接收指示所述显示设备成功显示的指令,并向所述第一相机和所述第二相机分别发送图像采集指令;
接收所述第一相机采集的第一图像和所述第二相机采集的第二图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述采集到的图像,确定笔画临摹结果,包括:
判断所述第一图像和所述第二图像中预设三维ROI区域内是否存在手势信息;
如果是,则将在所述第一图像中提取的手势信息确定为第一手势信息,将在所述第二图像中提出的手势信息确定为第二手势信息;
根据所述第一手势信息和所述第二手势信息,确定笔画临摹结果。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一手势信息和所述第二手势信息,确定笔画临摹结果,包括:
判断所述第一手势信息和所述第二手势信息是否匹配;
如果是,则根据所述第一手势信息和所述第二手势信息,计算深度信息,当所述深度信息满足预设条件时,确定所述第一手势信息对应的第一手势轨迹,根据所述第一手势轨迹,确定笔画临摹结果。
5.根据权利要求4所述的方法,其特征在于,当所述笔画轨迹为待学习文字中当前待临摹笔画的轨迹时,所述根据所述第一手势轨迹,确定笔画临摹结果,包括:
当所述第一手势轨迹与所述笔画轨迹匹配时,判断所述待临摹笔画是否为所述待学习文字的最后一笔,如果是,则所述笔画临摹结果为继续下一个字的临摹,如果否,则所述笔画临摹结果为继续下一笔画的临摹;
当所述第一手势轨迹与所述笔画轨迹不匹配时,所述笔画临摹结果为提醒学习者重新临摹。
6.根据权利要求4所述的方法,其特征在于,当所述笔画轨迹为待学习中所有笔画的轨迹时,所述根据所述第一手势轨迹,确定笔画临摹结果,包括:
当所述第一手势轨迹与所述笔画轨迹匹配时,所述笔画临摹结果为继续下一个字的临摹;
当所述第一手势轨迹与所述笔画轨迹不匹配时,所述笔画临摹结果为提醒学习者重新临摹。
7.根据权利要求4所述的方法,其特征在于,所述第一相机和第二相机的焦距相等,所述根据所述第一手势信息和所述第二手势信息,计算深度信息,包括:
根据所述第一手势信息和所述第二手势信息,确定所述手势在所述第一图像中的第一位置和在所述第二图像中的第二位置;
根据所述第一位置、所述第二位置、所述第一相机和所述第二相机之间的距离以及所述焦距,计算深度信息。
8.一种车内用户学习装置,其特征在于,所述装置包括:
接收单元,用于接收通过语音设备或者显示设备输入的学习指令;
第一获取单元,用于获取待学习文字中待临摹的笔画轨迹,并发送给所述显示设备进行显示;
第二获取单元,用于获取采集设备采集到的图像,所述图像是所述采集设备在学习者按照所述显示设备显示的内容进行临摹时拍摄到的;
确定单元,用于根据所述采集到的图像,确定笔画临摹结果;
显示单元,用于将所述笔画临摹结果发送给所述显示设备进行显示,以所述学习者通过临摹所述笔画轨迹来学习所述文字。
9.一种电子设备,其特征在于,所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行权利要求1-7中任意一项所述的车内用户学习方法。
10.一种可读性存储介质,其特征在于,所述存储介质用于存储计算机程序,其中,所述计算机程序运行时控制所述存储介质所在设备执行权利要求1-7中任意一项所述的车内用户学习方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310189691.3A CN116312085A (zh) | 2023-02-21 | 2023-02-21 | 车内用户学习方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310189691.3A CN116312085A (zh) | 2023-02-21 | 2023-02-21 | 车内用户学习方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116312085A true CN116312085A (zh) | 2023-06-23 |
Family
ID=86823429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310189691.3A Pending CN116312085A (zh) | 2023-02-21 | 2023-02-21 | 车内用户学习方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116312085A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117197823A (zh) * | 2023-10-13 | 2023-12-08 | 安徽翰达文化科技有限公司 | 一种临摹系统及方法 |
-
2023
- 2023-02-21 CN CN202310189691.3A patent/CN116312085A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117197823A (zh) * | 2023-10-13 | 2023-12-08 | 安徽翰达文化科技有限公司 | 一种临摹系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109145680B (zh) | 一种获取障碍物信息的方法、装置、设备和计算机存储介质 | |
CN110046586B (zh) | 一种数据处理方法、设备及存储介质 | |
CN109344793B (zh) | 用于识别空中手写的方法、装置、设备以及计算机可读存储介质 | |
CN108197589B (zh) | 动态人体姿态的语义理解方法、装置、设备和存储介质 | |
CN105518712B (zh) | 基于字符识别的关键词通知方法及设备 | |
US8792722B2 (en) | Hand gesture detection | |
US8750573B2 (en) | Hand gesture detection | |
CN111062871A (zh) | 一种图像处理方法、装置、计算机设备及可读存储介质 | |
TW202034270A (zh) | 車輛事故的鑑定方法及裝置、電子設備 | |
CN110619656A (zh) | 基于双目摄像头的人脸检测跟踪方法、装置及电子设备 | |
CN112486338B (zh) | 医疗信息处理方法、装置及电子设备 | |
KR20210041856A (ko) | 딥 러닝 기반으로 애니메이션 캐릭터를 학습하는 데 필요한 학습 데이터 생성 방법 및 장치 | |
CN116312085A (zh) | 车内用户学习方法及装置 | |
EP2998928B1 (en) | Apparatus and method for extracting high watermark image from continuously photographed images | |
CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
CN113657273B (zh) | 确定商品信息的方法、装置、电子设备及介质 | |
CN113269125B (zh) | 一种人脸识别方法、装置、设备及存储介质 | |
CN103984415B (zh) | 一种信息处理方法及电子设备 | |
CN112232282A (zh) | 一种手势识别方法、装置、存储介质和电子设备 | |
CN116912478A (zh) | 目标检测模型构建、图像分类方法、电子设备 | |
CN114154467B (zh) | 结构图片还原方法、装置、电子设备、介质及程序产品 | |
CN114510142B (zh) | 基于二维图像的手势识别方法及其系统和电子设备 | |
KR101685138B1 (ko) | 실공간 사용자 인터페이스 장치 및 그 방법 | |
CN113158912A (zh) | 手势识别方法及装置、存储介质及电子设备 | |
Puri et al. | Ssd based vehicle number plate detection and recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |