CN111655148B

CN111655148B - 基于增强现实的心里类型分析方法及智能设备

Info

Publication number: CN111655148B
Application number: CN201980008129.8A
Authority: CN
Inventors: 黄英进; 郑相哲
Original assignee: Rier Yude Co ltd
Current assignee: Rier Yude Co ltd
Priority date: 2018-12-12
Filing date: 2019-11-19
Publication date: 2023-04-04
Anticipated expiration: 2039-11-19
Also published as: KR101998037B1; WO2020122445A1; CN111655148A

Abstract

本发明的基于增强现实的心里类型分析智能设备将在美术教学中儿童所画的图画上重叠显示背景影像和立体角色，而提高图画的完成度，或在图画上制造特定故事。并且，本发明的基于增强现实的心里类型分析智能设备通过儿童所画的图画掌握心里(性格)类型或心里状态，并提供给儿童或老师或家长。并且，本发明的基于增强现实的心里类型分析智能设备将决定心里(性格)类型的属性色彩单纯化并预先决定，从图画中提取的色彩进行比较，从而，能够简单而有效地决定心里(性格)类型。

Description

基于增强现实的心里类型分析方法及智能设备

技术领域

本发明涉及基于增强现实的心里类型分析方法及智能设备，尤其，涉及一种在执行增强现实模块的途中识别分析对象图画时，提取属性色彩，并与决定心里类型的各个类型的属性色彩进行比较后，显示与分析对象图画匹配的心里类型的基于增强现实的心里类型分析智能设备。

背景技术

近来教育环境正在以数字环境急速地发生变化。例如，正在普及数字教科书，并且，活用各种多媒体设备的教育环境也正在快速地普及。并且，脱离了由单纯的二维图画和内容构成的过去的学习方式，提供了使用各种多媒体内容的学习方式。但，使用此类多媒体内容的学习方式也是单方面的学习方式,因此，在引发学习者对于学习的兴趣和投入的方面存在界限。

为了解决上述的问题，最近正在积极地研究关于脱离单纯使用多媒体内容的学习方式而运用增强现实(Augmented Reality)的学习方式。增强现实是指在用户通过肉眼看到的现实世界上重叠虚拟物体而显示的技术。在现实世界上实时地重叠具有附加信息的虚拟世界而以一个影像显示，因此，也称为混合现实(Mixed Reality)。

利用增强现实的学习方式可提供学习者与学习内容之间可相互作用的教育环境。利用增强现实的学习内容是通过电脑图表制作的虚拟客体和我们生活的现实世界重叠的学习内容,因此，相比以往的学习材料具有现实感，并且，具有能够提高对于学习的兴趣和投入的优点。

AR(Augmented Reality,增强现实)是将现实世界和虚拟世界无缝(seamless)实时地混合而提供给用户，由此，向用户提供更加提高的投入感和现实感的技术。

上述的利用增强现实的教育内容可提供学生的投入感，并且，能够提高对于教育内容的理解度。

韩国公开专利10-2010-0020051号公开了一种利用增强现实技术的教育用图版游戏系统，并且，韩国公开专利10-2017-0015261号提供了一种利用终端设备拍摄在版面上附着的记号或数字等，而将各种学习内容以增强现实提供给学习者的技术。

但，目前利用增强现实技术的教育内容依然不足，尤其，几乎没有在接受画图等美术教学时能够引导学生们的参与的美术教学关联的教育内容。

发明内容

发明要解决的技术问题

本发明提供一种在进行美术教学时不仅能够提高儿童或幼儿的投入感，而且，能够诱导关心的基于增强现实的教育内容。

解决问题的技术方案

在一实施例中，本发明涉及一种基于增强现实的心里类型分析智能设备，作为利用增强现实分析心里类型的智能设备，包括：摄像头，其用于拍摄心里分析对象图画而获取影像；显示部，其用于显示获取的影像；增强现实执行模块，其在识别心里分析对象图画时，在图画上重叠显示背景影像或立体角色；色彩提取模块，其从通过摄像头拍摄的影像获取心里分析对象图画影像，并在图画影像中提取与属性对象相应的色彩(以下,称为属性色彩)；心里类型判断模块，其求得提取的一个以上的属性色彩(提取属性色彩)和与其对应的各个类型的属性色彩的RGB差异，而决定N个心里类型中某一个的心里类型；及处理器，其执行所述增强现实执行模块、色彩提取模块、心里类型判断模块,并将决定的心里类型显示在所述显示部上。

在另一实施例中，本发明涉及一种基于增强现实的心里类型分析方法，作为利用包括通信部11、处理器12、存储部13、摄像头部14、显示部15的智能设备的基于增强现实的心里分析方法，其特征在于，所述方法包括：增强现实执行步骤，识别心里分析对象图画时，在图画上重叠背景影像或立体角色而显示在显示部；色彩提取步骤，从通过摄像头拍摄的影像获取心里分析对象图画影像,并且，从图画影像中提取与属性对象相应的色彩(以下,称为属性色彩)；决定心里类型步骤，求得提取的i个的的属性色彩(提取属性色彩)和与其对应的各个类型的属性色彩的RGB差异，并从N个心里类型中决定某一个心里类型；选定心里类型的细部属性的步骤，求得提取属性色彩与决定细部属性的基准色彩的RGB差异，而决定细部属性。

发明的效果

本发明的基于增强现实的心里类型分析方法及智能设备能够在美术教学时儿童所画的图画上重叠显示背景影像和立体角色，而提高图画的完成度或在图画上制造特定故事。

并且，本发明的基于增强现实的心里类型分析方法及智能设备通过儿童画的图画掌握心里(性格)类型或心里状态，而提供给儿童或老师或家长。

并且，本发明的基于增强现实的心里类型分析方法及智能设备将决定心里(性格)类型的属性色彩单纯化后预先决定，并与从图画上提取的色彩进行比较，从而，能够简单有效地决定心里(性格)类型。

附图说明

图1为本发明的基于增强现实的心里类型分析智能设备的框图；

图2为表示在执行增强现实后在画面上重叠立体角色的画面；

图3至图5表示提取图画影像和颜色的过程；

图6为决定心里类型的属性色彩和决定细部属性的多个基准色彩的示例。

最佳实施方式

以下参照附图说明本发明的优选实施例。但，本发明的范围并非限定于关于实施例的说明或附图。即，在本说明书中使用的术语只是为了说明特定的实施例，并非为了限定本发明。只要未在文脉上明确另外示意，单数的表示包括复数。并且，在本说明书中记述的"包括"或"具有"等术语是为了指定在说明书中记载的特征、数字、步骤、动作、构成要素、部件或其组合的存在，并且事先排除一个或其以上的其他特征或数字、步骤、动作、构成要素、部件或其组合的存在或附加可能性。

并且，在说明书中记载的"部"、"台"、"模块"等术语是指至少处理一个功能或动作的单位，其可通过硬件或软件或硬件和软件的结合实现。

图1为本发明的基于增强现实的心里类型分析智能设备的框图；图2为表示在执行增强现实后在画面上重叠立体角色的画面；图3至图5表示提取图画影像和颜色的过程；图6为决定心里类型的属性色彩和决定细部属性的多个基准色彩的示例。

参照图1，本发明的基于增强现实的心里类型分析智能设备包括：通信部11、处理器12、存储部13、摄像头部14、显示部15、增强现实AR执行模块16、色彩提取模块17、心里类型判断模块18。

所述智能设备10是从管理服务器(未图示)下载增强现实教育代理程序(应用程序)并执行的一个以上的终端设备。所述智能设备10可无限制地使用智能手机、平板电脑、智能眼镜等能够显示增强现实或虚拟现实的设备。

增强现实教育代理程序(应用程序)是安装在智能设备上而能够执行本发明的教育内容的软件应用程序，不仅包括增强现实(AR)执行模块16、色彩提取模块17、心里类型判断模块18，还可包括虚拟现实执行模块及语音识别人工智能模块。

所述通信部11包括有线无线通信模块。作为无线通信模块，可包括借助于WiFi、紫峰协议、红外线通信、NFC、蓝牙等的无线通信。

所述存储部13可存储背景影像、立体角色、各个类型的属性色彩及基准色彩。并且，所述存储部在教育内容为外语会话时，包括教材或根据教材目录的虚拟现实背景画面或根据其他教材或教材目录的用户的答复或存储有应答的语音的教育内容语音文件等。

所述摄像头部14是根据处理器12的控制拍摄被摄体并转换为电信号的图像文件的装置。

所述显示部15可显示包括通过摄像头部14拍摄的教材的被摄体。所述显示部15包括能够感知用户的触摸的触摸板，并且，将感知用户的触摸的信息变换为电信号，向处理器12传送。

增强现实执行模块16在识别心里分析对象图画时，在图画上重叠背景影像和立体角色，并显示在显示部。

例如，增强现实执行模块16包括：识别在有图画的教学用具(素描簿等)上附着的标记(marker)时,确认相当于所述标记的教学用具(例如，有画稿的素描簿)的步骤；从DB调出相当于相应教材页数的3D角色和背景影像，并显示在用户终端画面的步骤，在此，背景影像或3D角色的位置是在教学用具上预先附着，或以标示的定位器(locator)为基准在分析对象图画上重叠。例如，如图2所示，在图画上不仅显示3D角色，还可重叠显示特定物体。

并且，本发明的增强现实执行模块可通过UI(用户界面)或时间设定顺次地变更背景影像或3D角色。例如，增强现实执行模块可将背景影像变更为标示清晨、中午、傍晚、午夜的图画，或如图2所示,将角色或对象物(城堡)以3D形态标示。

本发明的增强现实执行模块可通过重叠的3D角色或背景影像的重叠和转换，补充儿童画的图画的内容，或在图画上赋予特定故事。

色彩提取模块17从通过摄像头拍摄的影像获取心里分析对象图画影像,并从图画影像中提取相当于属性对象的色彩(以下,称为属性色彩)。

图3至图5标示提取图画影像和色彩的过程。参照图3至5，色彩提取模块包括：从通过摄像头拍摄的影像获取图画影像的步骤；补正提取的影像整体的色彩(RGB)的步骤；提取预先指定的区域(分析对象区域)的色彩的步骤；选定提取的区域的色彩的属性色彩的步骤；补正属性色彩的步骤。

色彩提取模块可从驱动增强现实的显示画面中只提取边缘内的图画，并存储为影像(图3的b)。

色彩提取模块利用公知的色彩校正程序将提取的影像整体的色彩(RGB)过滤成接近原色(图3的c)。

本发明的色彩提取模块并非提取影像内的所有色彩的RGB并进行过滤后分析心里类型,而是只提取分析对象区域的色彩(决定心里类型的属性色彩)后决定心里类型。

参照图4和图5，作为一例，属性色彩是关于猫鼻子、猫脸和猪的三种对象的色彩。并且，根据图画心里特征也不同，因此，本发明可附加分析对象图画和色彩(属性色彩)，不同地分析心里类型。

色彩提取模块可提取预先指定的分析对象区域(坐标范围)的色彩。

色彩提取模块可演算提取的区域的色平均或提取使用最多的色彩而决定属性色彩。

色彩提取模块可利用色彩校正程序将提取的属性色彩加工成接近原色。参照图6，色彩提取模块可提取属性色彩1RGB(255,0,2),属性色彩2RGB(255,149,0),属性色彩3RGB(255,0,11)。

本发明的色彩提取模块并非提取影像内的所有色彩的RGB，并将其过滤后分析心里类型，而是只提取分析对象区域的色彩(决定心里类型的属性色彩)，因此，能够显著减少包括色彩提取模块和心里类型判断模块的增强现实教育代理程序(应用程序)的容量的处理程序。

心里类型判断模块18求得提取的i个的属性色彩(提取属性色彩)与对应于其的各个类型的属性色彩之间的RGB差异，决定N个心里类型中某一个的心里类型。N为2以上，i为1以上的整数。

更详细地，所述心里类型判断模块引入提取的i个的属性色彩(提取属性色彩),并按存储在DB的N个各个类型引入i个的属性色彩(类型属性色彩),并且，按各个类型演算i个的提取属性色彩与i个的属性色彩的RGB差异(类型属性差)，按各个类型(N个类型)演算i个的类型属性差的绝对值和,并且，在i个的类型属性差绝对值和中，选定具有最小值的类型属性差,将类型属性差的相应类型决定为心里类型。

下表1至表3,图6是为了说明色彩提取模块和心里类型判断模块的一例，本发明并非限定于此。

首先，心里类型判断模块引入从色彩提取模块提取的i个的属性色彩。下表1为从色彩提取模块提取的提取属性色彩。表1中属性色彩的个数i为3。

[表1]

心里类型判断模块分别引入存储在DB的N个各个类型的i个的属性色彩(类型属性色彩)。下表2,3和图6为各个类型的属性色彩和细部属性色彩的示例。

[表2]

[表3]

心里类型判断模块可按各个类型演算i个的提取属性色彩与i个的属性色彩的RGB差异(类型属性差)(提取属性色彩-各个类型的属性色彩＝类型属性差)

提取猫鼻子色彩(Ex1(R,G,B))-A类型猫鼻子色彩(A1(R,G,B))＝A/Ex1属性差

提取猫脸色彩(Ex2(R,G,B))-A类型猫脸色彩(A2(R,G,B))＝A/Ex2属性差

提取猪色彩(Ex3(R,G,B))-A类型猪色彩(A3(R,G,B))＝A/Ex3属性差

提取猫鼻子色彩(Ex1(R,G,B))-B类型猫鼻子色彩(B1(R,G,B))＝B/Ex1属性差

提取猫脸色彩(Ex2(R,G,B))-B类型猫脸色彩(B2(R,G,B))＝B/Ex2属性差

提取猪色彩(Ex3(R,G,B))-B类型猪色彩(B3(R,G,B))＝B/Ex3属性差

提取猫鼻子色彩(Ex1(R,G,B))-C类型猫鼻子色彩(C1(R,G,B))＝B/Ex1属性差

提取猫脸色彩(Ex2(R,G,B))-C类型猫脸色彩(C2(R,G,B))＝B/Ex2属性差

提取猪色彩(Ex3(R,G,B))-C类型猪色彩(C3(R,G,B))＝B/Ex3属性差

作为一例，A/Ex1属性差为Ex1(RGB)(255,0,2)-A1(RGB)(255,0,0)，是(│255-255│+│0-0│+│2-0│)/765＝0.0026。

将如上述方式演算的类型属性差显示在表2和表3。

心里类型判断模块可分别演算类型属性差的绝对值和。即，心里类型判断模块按各个类型(N个类型)演算i个的类型属性差的绝对值和。

例如，可如下演算类型属性差(绝对值)的和。

│A/Ex1属性差│+│A/Ex2属性差│+│A/Ex2属性差│＝A类型属性差和

│B/Ex1属性差│+│B/Ex2属性差│+│B/Ex2属性差│＝B类型属性差和

│C/Ex1属性差│+│C/Ex2属性差│+│C/Ex2属性差│＝C类型属性差和

心里类型判断模块将演算的类型属性差的绝对值和(类型属性差和)显示在表2和3。

心里类型判断模块在类型属性差绝对值和中选定具有最小值的类型属性差，并将类型属性差的相应类型决定为心里类型。

例如，表2和3中,A类型的属性差(绝对值)的和最小，因此，心里类型判断模块将A类型选定为心里类型。

所述心里类型判断模块将N个类型中的某一个选定为心里类型后,附加地选定心里类型的细部属性。

所述心里类型判断模块从DB引入决定细部属性的多个基准色彩,并引入与细部属性对应的提取的属性色彩(提取细部属性色彩),按各个基准色彩演算基准色彩与提取细部属性色彩的RGB差异(细部属性差),选定细部属性差具有最小值的基准色彩后,将所述基准色彩的强度值决定为心里类型的细部属性。

所述心里类型判断模块从DB引入决定细部属性的多个基准色彩。在表4和图6表示了决定细部属性的多个基准色彩的示例。

[表4]

细部属性为心里类型(例如，A类型的谨小慎微性格)的性格强度(属性强度)和具有此类性格的人的行动类型(行动强度)等。所述细部属性可附加或变形。表4表示了作为A类型的细部属性的属性强度和决定行动强度的多个基准色彩表示。

心里类型判断模块可从DB(参照表1)引入与细部属性对应的提取属性色彩。

猫鼻子色彩(Ex1):Ex1(R,G,B)(255,0,2)

猪色彩(Ex3):Ex3(R,G,B)(255,0,11)

心里类型判断模块按各个基准色彩演算基准色彩与提取细部属性色彩的RGB差异(细部属性差)(参照表5)。

例如，与“非常”相应的细部属性差为((255,0,2)-(255,0,0)}/765,为(│255-255│+│0-0│+│2-0│)/765＝0.0026。

例如，与“少许”相应的细部属性差为((255,0,2)-(237,125,49)}/765,为(│255-237│+│0-125│+│2-49│)/765＝0.2483。

心里类型判断模块选定细部属性差具有最小值的基准色彩后,将所述基准色彩的强度值决定为心里类型的细部属性。

参照表4,心里类型判断模块将属性强度选定“非常”，将行动强度选定“稍微”。

说明A类型的心里(性格)的文章(Plantext)显示[您属于(attr:prefix,属性强度)谨小慎微性格(attr:action,行动强度)需要注意],在此附加有属性强度和行动强度的文章可显示[您属于非常谨小慎微性格。需要稍微注意]。

如上述地，本发明的基于增强现实的心里类型分析智能设备将决定心里(性格)类型的属性色彩单纯化而预先决定，并与从图画中提取的色彩进行比较，因此，能够简单、有效地决定心里(性格)类型。

在另一实施例中，本发明与基于增强现实的心里类型分析方法有关。本发明的基于增强现实的心里类型分析方法可包括：增强现实执行步骤、影像提取步骤、属性色彩提取步骤、心里类型判断步骤、心里类型的细部属性决定步骤。

所述基于增强现实的心里类型分析方法可通过通信部11、处理器12、存储部13、摄像头部14、显示部15在智能设备上实施。

所述增强现实执行步骤是当识别心里分析对象图画时，在图画上重叠背景影像和立体角色，显示在显示部的步骤。

所述增强现实执行步骤由所述处理器处理上述的增强现实执行模块而执行。

影像提取步骤和属性色彩提取步骤是从通过摄像头拍摄的影像获取心里分析对象图画影像，并从图画影像中提取与属性对象相应的色彩(以下,称为属性色彩)的步骤。

所述影像提取步骤和属性色彩提取步骤是由所述处理器处理上述的色彩提取模块而执行。

所述心里类型判断步骤是求得提取的i个的属性色彩(提取属性色彩)和与其对应的各个类型的属性色彩的RGB差异，而决定N个心里类型中的某一个心里类型的步骤。

附加地选定所述心里类型的细部属性的步骤是求得决定提取属性色彩和细部属性的基准色彩的RGB差异，而决定细部属性的步骤。

附加地选定所述心里类型判断步骤和细部属性的步骤可由所述处理器处理上述的心里类型判断模块而执行。

本发明的增强现实执行步骤、影像提取步骤、属性色彩提取步骤,心里类型判断步骤、心里类型的细部属性决定步骤可参照增强现实执行模块、色彩提取模块、心里类型判断模块。

本发明可包括记录体现所述方法或模块的程序的记录媒介。本发明的程序可记录在光盘、软盘、硬盘、磁光盘、数字视频光盘、磁带、半导体存储器等电脑可读的信息记录媒介(记录媒介)。

所述程序可与执行相应程序的电脑无关地，可通过电脑通信网发行销售。并且，所述信息记录媒介也可与相应电脑无关地发行销售。

以上以本发明的优选实施例进行了详细的说明，但，上述的说明只是单纯地说明及公开本发明的示例性的实施例。本发明的技术领域的技术人员应当容易理解在不脱离本发明的范围及要旨的前提下，可通过所述说明及附图进行各种变更、修改及变形例。

工业上的可利用性

本发明的基于增强现实的心里类型分析方法及智能设备可通过儿童画的图画掌握心里(性格)类型或心里状态而提供给儿童或老师或家长，因此，可利用于工业。

Claims

1.一种基于增强现实的心里类型分析智能设备，作为利用增强现实分析心里类型的智能设备，其特征在于，包括：

摄像头，其用于拍摄心里分析对象图画而获取影像；

显示部，其用于显示获取的影像；

增强现实执行模块，其在识别心里分析对象图画时，在图画上重叠显示背景影像或立体角色；

色彩提取模块，其从通过摄像头拍摄的影像获取心里分析对象图画影像，并在图画影像中提取与属性对象相应的属性色彩；

心里类型判断模块，其求得提取的一个以上的属性色彩，即提取属性色彩和与其对应的各个类型的属性色彩的 RGB差异，而决定 N个心里类型中某一个的心里类型；及

处理器，其执行所述增强现实执行模块、色彩提取模块、心里类型判断模块,并将决定的心里类型显示在所述显示部上，

并且，所述心里类型判断模块

引入提取的 i个的提取属性色彩;

引入存储在 DB的 N个各个类型的 i个的类型属性色彩；

按各个类型演算 i个的提取属性色彩与 i个的类型属性色彩的 RGB差异，即类型属性差；

按N个类型演算 i个的类型属性差的绝对值和；

在 i个的类型属性差绝对值和中选定具有最小值的类型属性差,并将类型属性差的相应类型决定为心里类型，

在此， N为2以上的整数, i为1以上的整数。

2.根据权利要求1所述的基于增强现实的心里类型分析智能设备，其特征在于，

所述心里类型判断模块决定心里类型后，从 DB引入决定细部属性的多个基准色彩,引入与细部属性对应的提取的属性色彩，即提取细部属性色彩；

按各个基准色彩演算基准色彩与提取细部属性色彩的 RGB差异，即细部属性差；

选定细部属性差具有最小值的基准色彩后,将所述基准色彩的强度值决定为心里类型的细部属性。

3.一种基于增强现实的心里分析方法，作为利用包括通信部(11)、处理器(12)、存储部(13)、摄像头部(14)、显示部(15)的智能设备的基于增强现实的心里分析方法，其特征在于，

所述方法包括：

增强现实执行步骤，识别心里分析对象图画时，在图画上重叠背景影像或立体角色而显示在显示部；

色彩提取步骤，从通过摄像头拍摄的影像获取心里分析对象图画影像,并且，从图画影像中提取与属性对象相应的属性色彩；

决定心里类型步骤，求得提取的一个以上的属性色彩，即提取属性色彩和与其对应的各个类型的属性色彩的 RGB差异，并从 N个心里类型中决定某一个心里类型，

并且，决定所述心里类型的步骤包括：

引入提取的 i个的提取属性色彩的步骤;

引入存储在 DB的 N个各个类型的 i个的类型属性色彩的步骤;

按N个类型演算 i个的类型属性差的绝对值和的步骤;

在 i个的类型属性差绝对值和中选定具有最小值的类型属性差,并将类型属性差的相应类型决定为心里类型的步骤，

在此， N为2以上的整数, i为1以上的整数。