CN112580622A - 基于反光设备的交互方法、装置、存储介质及反光设备 - Google Patents

基于反光设备的交互方法、装置、存储介质及反光设备 Download PDF

Info

Publication number
CN112580622A
CN112580622A CN202011560729.6A CN202011560729A CN112580622A CN 112580622 A CN112580622 A CN 112580622A CN 202011560729 A CN202011560729 A CN 202011560729A CN 112580622 A CN112580622 A CN 112580622A
Authority
CN
China
Prior art keywords
mobile terminal
information
image
target
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011560729.6A
Other languages
English (en)
Inventor
包英泽
付治涓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dami Technology Co Ltd
Original Assignee
Beijing Dami Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dami Technology Co Ltd filed Critical Beijing Dami Technology Co Ltd
Priority to CN202011560729.6A priority Critical patent/CN112580622A/zh
Publication of CN112580622A publication Critical patent/CN112580622A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种基于反光设备的交互方法、装置、存储介质及反光设备。该方法包括通过移动终端的后置摄像头获取反光设备反射的目标图像;识别目标图像中的目标信息;根据目标信息确定反馈信息,并输出反馈信息。本申请可利用反光镜的反射原理采集目标图像并将目标图像按照预设路线发送给移动终端的后置摄像头,进而通过后置摄像头获取目标图像,可使获取的图像更清晰,有利于降低识别的出错率,带给用户较好的体验。

Description

基于反光设备的交互方法、装置、存储介质及反光设备
技术领域
本申请涉及交互式学习领域,尤其涉及一种基于反光设备的交互方法、装置、存储介质及反光设备。
背景技术
现在有很多儿童使用手机或者平板设备进行学习,一种常见的学习方法是把手机垂直立在桌面上,再安装一个“反光镜”到手机前置摄像头上,可使手机摄像头捕捉到桌面上的内容。在使用的时候,儿童把要学习的图书放在桌面上,再把手指或笔指向需要学习的内容,手机会通过识别拍摄到的内容和手指位置,做出对应的响应。
但该方式获取的图像不够清晰,易造成手机识别时间过长,甚至识别出错,给用户带来较差的交互体验。
发明内容
本申请实施例提供了一种基于反光设备的交互方法、装置、存储介质及反光设备,可使获取的图像更清晰,降低出错率,以及给用户带来更多的交互体验。
第一方面,本申请实施例提供了一种基于反光设备的交互方法,应用于移动终端,包括:
通过移动终端的后置摄像头获取反光设备反射的目标图像;
识别目标图像中的目标信息;
根据目标信息确定反馈信息,并输出反馈信息。
在本申请实施例中,可通过反光设备从移动终端的后置摄像头获取目标图像,后置摄像头相较于前置摄像头像素更高获取的图像更清晰,有利于降低识别的出错率,带给用户较好的体验。
在第一方面的一种可选方案中,反光设备包括第一反光镜、第二反光镜及第三反光镜;
通过移动终端的后置摄像头获取反光设备反射的目标图像包括:
通过移动终端的后置摄像头获取第一反光镜反射的目标图像,第一反光镜反射的目标图像由第二反光镜采集并反射至第一反光镜,第二反光镜反射的目标图像由第三反光镜采集并反射至第二反光镜;第一反光镜、第二反光镜、第三反光镜以及后置摄像头之间的位置关系以及角度关系满足预设条件。
在本申请实施例中,可利用三个反光镜之间的反射原理采集目标图像并将目标图像按照预设路线发送给移动终端的后置摄像头,进而通过后置摄像头获取目标图像,可使获取的图像更清晰,有利于降低识别的出错率,带给用户较好的体验。
在第一方面的又一种可选方案中,根据目标信息确定反馈信息,并输出反馈信息之后还包括:
通过移动终端的前置摄像头获取第一图像;
识别第一图像中的人脸区域,并计算人脸区域在第一图像中所占的比例值;
若检测出比例值大于预设阈值,将移动终端的显示模式转换为护眼模式。
在本申请实施例中,还可通过前置摄像头获取用户当前到移动终端的距离,进而调节移动终端的显示模式以保护用户的眼睛,给用户带来更好的体验和舒适感。
在第一方面的又一种可选方案中,通过移动终端的前置摄像头获取第一图像之后还包括:
识别第一图像中的人脸表情;
根据人脸表情生成表情提示信息,并输出表情提示信息。
在本申请实施例中,还可通过前置摄像头获取用户的当前状态,并根据当前状态通过语音或视频的方式提醒用户,可给用户带来更好的交互体验,以及提升用户的学习效率。
在第一方面的又一种可选方案中,通过移动终端的前置摄像头获取第一图像之后还包括:
识别第一图像中的目标手势;
根据目标手势生成手势提示信息,并输出手势提示信息。
在本申请实施例中,还可通过前置摄像头获取用户的手势,并根据用户的手势生成对应的提示信息,以给用户带来更多的交互体验。
在第一方面的又一种可选方案中,识别目标图像中的目标信息具体包括:
识别目标图像中的页码信息,根据页码信息生成第一目标信息;
识别目标图像中的手指位置信息,根据手指位置信息生成第二目标信息;
根据目标信息确定反馈信息具体为:
根据第一目标信息和第二目标信息确定反馈信息。
在本申请实施例中,可通过识别目标图像中的页码信息以及手指位置信息,确定当前用户想要学习的内容,进一步的可通过在预设数据库中调取与该内容对应的语音或视频,并输出给用户学习,给用户带来较好的体验。
在第一方面的又一种可选方案中,识别目标图像中的页码信息,根据页码信息生成第一目标信息之后还包括:
若未识别出目标图像中的页码信息,生成移动提示信息;
输出移动提示信息,并执行通过移动终端的后置摄像头获取反光设备反射的目标图像的步骤。
在本申请实施例中,若在目标图像中未检测到页码信息,说明获取的目标图像在目标物的位置可能远离页码位置,可通过提醒用户调节目标物的位置以使目标图像中获取页码信息,以实现识别的准确性,进而可给用户带来更好的体验。
在第一方面的又一种可选方案中,识别目标图像中的目标信息之前还包括:
识别目标图像的书名信息,根据书名信息生成第三目标信息;
根据目标信息确定反馈信息包括:
根据第一目标信息、第二目标信息及第三目标信息确定反馈信息。
在本申请实施例中,进一步还可获取目标物的书名信息,以配合页码信息和手指位置信息快速获取要查找的内容信息,并通过在预设数据库中调取与该内容对应的语音或视频,并输出给用户学习,给用户带来更好更快的体验。
第二方面,本申请实施例提供了一种基于反光设备的交互装置,包括:
获取模块,用于通过移动终端的后置摄像头获取反光设备反射的目标图像;
第一识别模块,用于识别目标图像中的目标信息;
反馈模块,用于根据目标信息确定反馈信息,并输出反馈信息。
在本申请实施例中,可通过反光设备从移动终端的后置摄像头获取目标图像,后置摄像头相较于前置摄像头像素更高获取的图像更清晰,有利于降低识别的出错率,带给用户较好的体验。
在第二方面的一种可选方案中,反光设备包括第一反光镜、第二反光镜及第三反光镜;
获取模块具体包括:
通过移动终端的后置摄像头获取第一反光镜反射的目标图像,第一反光镜反射的目标图像由第二反光镜采集并反射至第一反光镜,第二反光镜反射的目标图像由第三反光镜采集并反射至第二反光镜;第一反光镜、第二反光镜、第三反光镜以及后置摄像头之间的位置关系以及角度关系满足预设条件。
在第二方面的又一种可选方案中,反馈模块之后还包括:
采集模块,用于通过移动终端的前置摄像头获取第一图像;
第一计算模块,用于识别第一图像中的人脸区域,并计算人脸区域在第一图像中所占的比例值;
转换模块,用于若检测出比例值大于预设阈值,将移动终端的显示模式转换为护眼模式。
在第二方面的又一种可选方案中,采集模块之后还包括:
第二计算模块,用于识别第一图像中的人脸表情;
第一提示模块,用于根据人脸表情生成表情提示信息,并输出表情提示信息。
在第二方面的又一种可选方案中,采集模块之后还包括:
第三计算模块,用于识别第一图像中的目标手势;
第二提示模块,用于根据人脸表情生成表情提示信息,并输出表情提示信息。
在第二方面的又一种可选方案中,第一识别模块具体包括:
第一识别单元,用于识别目标图像中的页码信息,根据页码信息生成第一目标信息;
第二识别单元,用于识别目标图像中的手指位置信息,根据手指位置信息生成第二目标信息;
反馈模块具体包括:
根据第一目标信息和第二目标信息确定反馈信息。
在第二方面的又一种可选方案中,第一识别单元之后还包括:
处理单元,用于若未识别出目标图像中的页码信息,生成移动提示信息;
执行单元,用于输出移动提示信息,并执行通过移动终端的后置摄像头获取反光设备反射的目标图像的步骤。
在第一方面的又一种可选方案中,第一识别模块之前还包括:
第二识别模块,用于识别目标图像的书名信息,根据书名信息生成第三目标信息;
反馈模块具体包括:
根据第一目标信息、第二目标信息及第三目标信息确定反馈信息。
第三方面,本申请实施例还提供了一种基于反光设备的交互装置,其包括移动终端和反光设备,其中,移动终端包括处理器、存储器以及通信接口;
处理器与存储器、通信接口相连;
存储器,用于存储可执行程序代码;
处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于如执行第一方面或第一方面任意一种实现方式提供的基于反光设备的交互方法。
第四方面,本申请实施例提供了一种计算机存储介质,计算机存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,可实现本申请实施例第一方面或第一方面的任意一种实现方式提供的基于反光设备的交互方法。
第五方面,本申请实施例提供了一种计算机程序产品,当该计算机程序产品在基于反光设备的交互装置上运行时,使得该基于反光设备的交互装置执行本申请实施例第一方面或第一方面的任意一种实现方式提供的基于反光设备的交互方法。
第六方面,本申请实施例提供了一种反光设备,包括:
壳体及反射组件;
壳体包括第一壳体和第二壳体,第一壳体与第二壳体连接,第二壳体设有用于将壳体固定在移动终端上的夹持通道,反射组件设置在第一壳体面向移动终端一侧,反射组件用于采集移动终端预设方向的图像,并将图像反射至移动终端的后置摄像头。
在本发明实施例中,可通过夹持通道将壳体固定在移动终端上,并通过反射组件实现移动终端由后置摄像头获取更清晰的目标图像,进而给用户带来更好的学习体验。
在第六方面的一种可选方案中,第一壳体与第二壳体固定连接。
在第六方面的又一种可选方案中,第一壳体与第二壳体一体成型。
在第六方面的又一种可选方案中,第一壳体包括第一固定部、与第一固定部连接的第二固定部及与第二固定部连接的第三固定部;
第三固定部置于移动终端的前置摄像头一侧,且第三固定部与第二固定部的夹角大于或等于90度,第二固定部与第一固定部的夹角大于或等于90度,第一固定部与第二壳体连接且第一固定部与移动终端的夹角为锐角。
在第六方面的又一种可选方案中,反光组件包括基材层及叠设于基材层上的反射层,反射层朝向移动终端设置。
在第六方面的又一种可选方案中,反射组件包括第一反光镜、第二反光镜及第三反光镜;
第三反光镜用于采集移动终端预设方向的图像,并将图像反射至第二反光镜;
第二反光镜用于将图像反射至第一反光镜;
第一反光镜用于将图像反射至移动终端的后置摄像头。
在第六方面的又一种可选方案中,第二壳体包括置于移动终端的后置摄像头一侧的第一夹持板、与第一夹持板连接的第二夹持板及置于移动终端的前置摄像头一侧的第三夹持板;
第一夹持板、第二夹持板及第三夹持板面向移动终端一侧围合成将壳体固定在移动终端上的夹持通道。
在第六方面的又一种可选方案中,第一夹持板设有供第一反光镜将图像反射至移动终端的后置摄像头的第一通孔。
在第六方面的又一种可选方案中,夹持通道内设有第一保护层。
在第六方面的又一种可选方案中,第一夹持板及第三夹持板为弹性材质。
在第六方面的又一种可选方案中,第二壳体包括设有夹持槽的第四夹持板,夹持槽套设于移动终端的后置摄像头下方以使壳体固定在移动终端上。
在第六方面的又一种可选方案中,夹持槽内设有第二保护层。
可以理解地,上述提供的第二方面及第三方面提供的基于反光设备的交互装置、第四方面提供的计算机存储介质,以及第五方面提供的计算机程序产品均用于执行第一方面或第一方面任意一种实现方式所提供的基于反光设备的交互方法,因此,其所能达到的有益效果可参考第一方面或第一方面任意一种实现方式所提供的基于反光设备的交互方法中的有益效果,此处不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于反光设备的交互系统的架构示意图;
图2为本申请实施例提供的一种基于反光设备的交互方法的流程示意图;
图3为本申请实施例提供的一种反光设备采集目标图像的反射路径示意图;
图4为本申请实施例提供的一种移动终端获取目标图像的效果示意图;
图5为本申请实施例提供的又一种基于反光设备的交互方法的流程示意图;
图6为本申请实施例提供的又一种基于反光设备的交互方法的流程示意图;
图7为本发明实施例提供的一种反光设备的结构示意图;
图8为本发明实施例提供的一种反光设备的第一壳体结构示意图;
图9为本发明实施例提供的一种反光设备获取图像的路径示意图;
图10为本发明实施例提供的一种反光设备的第二壳体结构示意图;
图11为本发明实施例提供的一种反光设备的第二壳体侧视示意图;
图12为本发明实施例提供的又一种反光设备的第二壳体侧视示意图;
图13为本发明实施例提供的又一种反光设备的结构示意图;
图14为本发明实施例提供的又一种反光设备的第二壳体结构示意图;
图15为本申请实施例提供的一种基于反光设备的交互装置的结构示意图。
图16为本申请实施例提供的又一种基于反光设备的交互装置的结构示意图。
图中:701-壳体、7011-第一壳体、7012-第二壳体、702-反射组件、801-第一固定部、802-第二固定部、803-第三固定部、804-第一反光镜、805-第二反光镜、806-第三反光镜、1001-第一夹持板、1002-第二夹持板、1003-第三夹持板、1004-第一保护层、1101-第一通孔、1201-第二通孔、1401-第四夹持板、1402- 第二保护层。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
请参阅图1,图1为本申请实施例提供的一种基于反光设备的交互系统的架构示意图。
如图1所示,该基于反光设备的交互系统可包括反光设备101、移动终端和服务器103。
反光设备101可设置在移动终端上,用于将采集的图像沿着预设方向反射至该移动终端的后置摄像头,由该移动终端的后置摄像头获取图像,并进一步的对图像进行处理。具体地,反光设备101可包括反射组件及壳体。壳体包括第一壳体和第二壳体,第一壳体与第二壳体连接,第二壳体设有用于将壳体固定在移动终端上的夹持通道,反射组件设置在第一壳体面向移动终端一侧,反射组件用于采集移动终端预设方向的图像,并将图像反射至移动终端的后置摄像头。
移动终端可为一个或多个设有前置摄像头和后置摄像头的移动终端,其中多个移动终端具体包括终端102a、终端102b...等。在移动终端中可安装有用于实现交互的应用程序(Application,APP)。其中,对应于安装的APP,移动终端获取的图像的范围为与APP对应的书籍,例如以读书瞳APP为例,用户可使用移动终端在书本《麦哲伦》的内容上进行交互学习。需要说明的是,安装的 APP内下载有数量众多的书本,且书本语言可为中文、英文以及中英结合等。进一步的,对于可交互的书本的放置位置可参照反光设备的位置,或是用户自行根据需求调节反光设备的位置,且对于反光设备的位置上述已经提及,此处不再赘述。
在移动终端与服务器103之间设有网络。网络可以是在移动终端中任意一个移动终端和服务器103之间提供通信链路的介质,也可以是包含网络设备和传输介质的互联网,不限于此。传输介质可以是有线链路(例如但不限于,同轴电缆、光纤和数字用户线路(digital subscriber line,DSL)等)或无线链路(例如但不限于,无线上网(wirelessfidelity,WIFI)、蓝牙和移动设备网络等)。
服务器103可以是提供多种服务的服务器,可以接收网络或移动终端中任意一个移动终端发送的目标数据信息,例如文字数据(可包括中文、英文、中英结合等)、图片数据等,也可给网络或移动终端中任意一个移动终端发送下载好的反馈数据,例如视频数据、音频数据等。服务器103可以但不限于是硬件服务器、虚拟服务器、云服务器等。
可以理解地,图1所示的基于反光设备的交互系统中的移动终端和服务器 103的数目仅作为示例,在具体实现中,该基于反光设备的交互系统可以包含任意数目的移动终端和服务器103。本申请实施例对此不作限定。例如但不限于,服务器103可以是多个服务器组成的服务器集群。
请参阅图2,图2为本申请实施例提供的一种基于反光设备的交互方法的流程示意图。
如图2所示,该基于反光设备的交互方法包括:
步骤201、通过移动终端的后置摄像头获取反光设备反射的目标图像。
具体地,反光设备可包括反射组件及壳体。壳体包括第一壳体和第二壳体,第一壳体与第二壳体连接,第二壳体设有用于将壳体固定在移动终端上的夹持通道,反射组件设置在第一壳体面向移动终端一侧,反射组件用于采集移动终端预设方向的图像,并将图像反射至移动终端的后置摄像头。
可参阅图3所示的一种反光设备采集目标图像的反射路径示意图。具体如图3所示,该反光设备的反射组件具体包括第一反光镜、第二反光镜和第三反光镜,其中第三反光镜置于该移动终端设有前置摄像头一侧,第三反光镜用于采集与移动终端安装的APP所对应的交互课本以及用户在该交互课本上想要获取的目标内容的目标图像,并利用反射原理将获取的目标图像反射至第二反光镜。进一步的,第二反光镜在接收到第三反光镜发送的目标图像后利用反射原理将该目标图像反射至第一反光镜。进一步的,第一反光镜在接收到第二反光镜发送的目标图像后利用反射原理将该目标图像反射至移动终端的后置摄像头处,由移动终端的后置摄像头获取目标图像。
步骤202、识别目标图像中的目标信息。
具体地,通过移动终端的后置摄像头获取并识别目标图像中的目标信息。
具体地,识别目标图像中的目标信息包括:
识别目标图像中的页码信息,根据页码信息生成第一目标信息。
具体地,目标图像的内容包括当前交互课本的显示页码。可能的,移动终端可根据显示页码识别出当前用户读取的内容在该交互课本所在页数,并根据该页数生成第一目标信息。
可能的,移动终端还可根据显示页码调取该交互课本与显示页码对应页数上的全部内容。具体的,可通过移动终端向服务器发送带有当前交互课本显示页码的请求信息,服务器接收到该请求信息后根据显示页码搜索对应当前交互课本在显示页码的全部内容,下载该全部内容并发送回移动终端。
需要说明的是,全部内容可为当前交互课本在显示页码上的全部显示内容,显示方式可为音频或视频。和/或,全部内容还可为当前交互课本在显示页码上的全部内容的回应内容,该回应内容的显示方式也可为音频或视频。
其中,显示页码在当前交互课本的显示页面的位置不限于在显示页面的左上角、左中、左下角、右上角、右中或右下角任意一处,具体的可根据交互课本的排版情况而定。
可能的,若移动终端未识别出显示页码,说明获取的目标图像在当前交互课本上的位置可能在中上部或中下部。进一步的,若在预设时间内仍未识别出显示页码,移动终端可在当前界面显示移动课本的提示信息给用户,例如在移动终端当前显示界面弹出界面框“请上下移动课本”,用户按照提示信息移动课本,当移动终端在获取的目标图像中识别出显示页码后可收回用于提示的界面框,用户可根据移动终端的当前显示界面框判断该移动终端是否识别出显示页码。其中,优选预设时间为15秒。
作为本申请的一个实施例,识别目标图像中的手指位置信息,根据手指位置信息生成第二目标信息。
具体地,目标图像的内容还包括在当前交互课本上的用户手指,移动终端根据该手指可确定手指在目标图像中的位置信息。具体的,移动终端可先在目标图像中识别用户手指,可能的,可通过特征点提取与匹配来进行识别,即先从目标图像中提取特征点,接着将该特征点与预存的手指特征点进行匹配,若匹配成功则识别出用户手指。可能的,还可通过预先建立手指识别模型,通过学习手指样本训练出手指识别模型,进而输入获取到的目标图像即可识别出在该目标图像中的手指。
进一步的,在识别出用户手指后,可根据坐标获取手指在目标图像中的位置信息。具体地,以目标图像中的显示页码作为原点,以平行于交互课本长边的轴作为x轴,以平行于交互课本宽边的轴作为y轴建立直角坐标系。一般的,手指的坐标可选取指尖的坐标作为手指的坐标,从而可根据指尖到x轴与y轴的距离在目标图像中获取手指的具体位置信息,并将该位置信息作为第二目标信息。
需要说明的是,若移动终端未识别出用户手指,说明用户手指不在获取的目标图像内。进一步的,若在预设时间内仍未识别出用户手指,移动终端可在当前界面显示提示信息给用户,例如在移动终端当前显示界面弹出界面框“未识别出手指”,用户可根据提示信息调节移动终端到手指之间的距离,以使移动终端识别出用户手指,即在移动终端在获取的目标图像中识别出用户手指后可收回用于提示的界面框,用户可根据移动终端的当前显示界面框判断该移动终端是否识别出用户手指。其中,优选预设时间为15秒。
作为本申请的又一个实施例,在识别目标图像中的手指位置信息,根据手指位置信息生成第二目标信息之后还可识别目标图像的书名信息,根据该书名信息生成第三目标信息。
可能的,用户可展示当前交互课本的封面或背面图像并由反光设备将该图像反射至移动终端的后置摄像头,由移动终端对获取的封面图像或背面图像进行滤波以及透视变换,识别出对应的书名,并将该书名作为第三目标信息。
可能的,用户可展示当前交互课本的背面的二维码或是条形码,并将该二维码或是条形码经反光设备反射至移动终端的后置摄像头,由移动终端对二维码或是条形码直接进行识别,得到对应的书名,并将该书名作为第三目标信息。
步骤203、根据目标信息确定反馈信息,并输出反馈信息。
具体地,根据第一目标信息、第二目标信息以及第三目标信息确定反馈信息,并输出反馈信息。
具体地,根据获取的页码信息以及用户手指位置信息,可将该页码信息、书名信息以及用户手指位置信息上传至服务器,通过服务器搜索当前交互课本所对应页码上的用户手指所指内容和/或与该所指内容对应的回应内容,下载该所指内容和/或与该所指内容对应的回应内容并发送至该移动终端。进一步的,通过移动终端展示该所指内容和/或与该所指内容对应的回应内容,其展示方式不限于语音播放或视频播放。
其中,该所指内容和/或与该所指内容对应的回应内容不限于中文、英文、中英结合、韩文等。
例如,可参阅如图4所示的一种移动终端获取目标图像的效果示意图,移动终端在该目标图像中可识别出置于左上角的显示页码15和用户手指,根据以显示页码为原点建立直角坐标系所对应用户手指指尖的坐标(5,4)。进一步的,移动终端将该显示页码15以及用户手指指尖坐标(5,4)上传至服务器,通过服务器搜索当前显示页码15的全部内容中包含该用户手指指尖坐标(5,4)的内容,得到“很高兴见到你,杰瑞Nice to meet you,Jerry”的语音内容,下载该语音内容并将该语音内容发送至移动终端,由移动终端播放给用户。
请参阅图5,图5为本申请实施例提供的又一种基于反光设备的交互方法的流程示意图。
如图5所示,该基于反光设备的交互方法包括:
步骤501、通过移动终端的后置摄像头获取反光设备反射的目标图像。
具体地,步骤501与步骤201一致,此处不再赘述。
步骤502、识别目标图像中的目标信息。
具体地,步骤502与步骤202一致,此处不再赘述。
步骤503、根据目标信息确定反馈信息,并输出反馈信息。
具体地,步骤503与步骤203一致,此处不再赘述。
步骤504、通过移动终端的前置摄像头获取第一图像。
具体地,在利用移动终端的后置摄像头获取目标图像进行对用户播放反馈信息的同时,还可利用移动终端的前置摄像头获取包含用户人脸的第一图像。
步骤505、识别第一图像中的人脸区域,并计算人脸区域在第一图像中所占的比例值。
具体地,对于获取的包含用户人脸的第一图像可经过人脸检测技术识别该第一图像中的人脸区域。其中,人脸检测技术指的是检测出图像中的人脸,并能够标示出人脸的位置。人脸检测技术主要完成了两个工作:一是判断图像中是否包含人脸区域;二是如果图像中存在人脸,将人脸的位置预测出来。人脸检测技术可以分为前深度学习时期和深度学习时期:在前深度学习时期,主要将传统的计算机视觉算法运用于人脸检测,传统的计算机视觉算法,依赖于人工提取特征,然后使用这些人工特征来训练一个检测器;在深度学习时期,尝试将卷积神经网络应用于人脸检测这一问题,一般有两种方式:一种是将适用于多种任务的目标检测网络应用于人脸检测任务;另一种是研究专门的人脸检测网络。
进一步的,基于人脸检测技术确定人脸区域在图像中的位置,计算人脸区域所在区域的像素点数,计算人脸区域所在区域的像素点数与整个图像中的所有像素点数的比例值,通过该方法可以计算出人脸区域在图像中所占的比例值。
步骤506、若检测出比例值大于预设阈值,将移动终端的显示模式转换为护眼模式。
具体地,在用户使用移动终端与课本进行交互学习,未使用该移动终端的前置摄像头获取第一图像前,该移动终端界面的显示模式为默认显示模式。需要说明的是,在本申请实施例中移动终端的显示模式可分为护眼模式和默认显示模式两种,默认显示模式是根据学生在第一终端设置的显示屏亮度值和色调值对画面进行显示。当检测到比例值大于预设阈值时,说明第一图像中的人脸占比较大,进而得出用户距离移动终端显示界面的距离较近,进而该移动终端自动调节为护眼模式。其中,护眼模式可以是将第一终端的显示屏亮度调整到预设亮度值以及色调调整到预设色调,预设亮度值和预设色调是能够在不影响学生利用终端学习的情况下还能保护学生视力的两个预设值。优选的,比例阈值可设为50%。
请参阅图6,图6为本申请实施例提供的又一种基于反光设备的交互方法的流程示意图。
如图6所示,该基于反光设备的交互方法包括:
步骤601、通过移动终端的后置摄像头获取反光设备反射的目标图像。
具体地,步骤601与步骤201或步骤501一致,此处不再赘述。
步骤602、识别目标图像中的目标信息。
具体地,步骤602与步骤202或步骤502一致,此处不再赘述。
步骤603、根据目标信息确定反馈信息,并输出反馈信息。
具体地,步骤603与步骤203或步骤503一致,此处不再赘述。
步骤604、通过移动终端的前置摄像头获取第一图像。
具体地,步骤604与步骤504一致,此处不再赘述。
步骤605、识别第一图像中的人脸表情。
具体地,可将第一图像输入训练好的深度神经网络模型得到附有表情提示的对象框,该对象框圈定目标图像中的目标对象。其中,表情提示可包括高兴、微笑等自然表情或吃惊、悲伤、愤怒、厌恶、恐惧等夸张表情。
需要说明的是,该深度精神网络模型可为多个已知的图像的样本灰度值和对应该图像的附有表情提示的样本对象框训练得到。
具体地,在神经网络模型中可先对目标图像进行人脸的检测和选取,然后采用人脸特征的几何特性和支持向量方法对选取的人脸表情进行识别。
可能的,若在识别过程中没有检测到人脸,则可直接生成提示信息。其中,该提示信息包括“用户不在”或“用户正忙”。
步骤606、根据人脸表情生成表情提示信息,并输出表情提示信息。
具体地,可根据目标对象表情判断目标对象的状态,进而生成提示信息。
具体地,若目标对象表情为悲伤、愤怒、厌恶和恐惧等任意一种夸张表情,说明用户当前没有认真听课,生成用于提醒用户认真听课的提示信息。可能的,该提示信息可包括“请认真听课”、“听课很认真,继续保持”等。
进一步的,可向用户展示根据用户表情生成的提示信息。其中,提示信息的类型可包括语音、文字、动画等。具体地,展示该提示信息的类型可相应包括语音播放提醒、文字循环提醒、动画提醒等。
例如,对移动终端前置摄像头获取到的第二图像中的用户表情进行识别,当检测出该用户在当前的交互过程中表情为微笑,可对应生成“听课很认真,继续保持”的文字提示信息,并将该文字提示信息以滚动形式显示在移动终端当前界面底部。
作为本申请的又一个实施例,在通过移动终端的前置摄像头获取第一图像后,还可识别第一图像中的目标手势;
根据目标手势生成手势提示信息,并输出手势提示信息。
具体地,在通过移动终端的前置摄像头获取第一图像后,可识别在第一图像中目标用户的手势,其中目标用户为正在使用移动终端进行交互学习的用户,且在第一图像中显示有目标用户的手势。具体的,移动终端可先从第一图像中得到目标手势的平面模型,基于建立的手势形状数据库对该平面模型进行匹配,并通过边缘轮廓提取法获得目标手势对应平面模型的形状特征,并将提取出的手势模板序列与已知的手势模板序列比较识别出手势。
进一步的,在识别出目标手势后,可根据预设的手势与提示信息的对应关系得到与目标手势对应的提示信息,例如识别出目标手势为“比耶”的手势,则可对应生成“你真棒,继续保持”的语音和/或文字提示信息。其中,预设的手势与提示信息的对应关系可存储于移动终端或服务器中。
请参阅图7,图7为本申请实施例提供的一种反光设备的结构示意图。
如图7所示,该反光设备具体包括:
壳体701及反射组件702;
壳体701包括第一壳体7011和第二壳体7012,第一壳体7011与第二壳体 7012连接,第二壳体7012设有用于将壳体701固定在移动终端上的夹持通道,反射组件702设置在第一壳体7011面向移动终端一侧,反射组件702用于采集移动终端预设方向的图像,并将图像反射至移动终端的后置摄像头。
具体地,第二壳体7012背向第一壳体7011一侧围合成可供移动终端伸入且可使第二壳体7012设置在移动终端上半部的夹持通道,该夹持通道的开口处可置于移动终端后置摄像头下方以提高第二壳体设置在移动终端上半部的稳定性。第一壳体7011可为设有开口的一体多边结构,该开口一端与第二壳体7012 连接,另一端可与设置在夹持通道内的移动终端的顶部持平或高于该设置在夹持通道内的移动终端的顶部,以避免遮挡反射组件的反射路线或使需要获取的学习内容距离移动终端较近,影响用户的学习体验。反射组件702设置在第一壳体7011面向移动终端一侧,可使需要获取的学习内容放置在移动终端前置摄像头一侧时由反射组件采集该学习内容并将该学习内容反射至移动终端的后置摄像头处,以使移动终端获取的学习内容更加清晰更加便于准确识别,以给用户带来更好的学习体验。
作为本申请的一个实施例,第一壳体7011与第二壳体7012固定连接或一体成型。可能的,第一壳体7011可为设有开口的一体多边结构,该开口一端与第二壳体7012固定连接,例如第一壳体7011与第二壳体7012连接的连接处与第二壳体呈垂直固定连接。可能的,第一壳体7011可为设有开口的一体多边结构,该开口一端与第二壳体7012为一体成型,即壳体701可为设有设置在移动终端上的夹持通道以及设有将图像反射至移动终端后置摄像头的反射组件702 的一体结构。其中,第一壳体7011与第二壳体7012可为塑料材质或是轻质金属材质(例如铝合金),在第一壳体7011背向第二壳体7012一侧还可铺设有保护壳或保护膜,以防止壳体701损坏。
作为本申请的又一个实施例,可参阅图8示出的本申请实施例提供的一种反光设备的第一壳体结构示意图。如图8所示,第一壳体7011包括第一固定部 801、与第一固定部801连接的第二固定部802及与第二固定部802连接的第三固定部803;
第三固定部803置于移动终端的前置摄像头一侧,且第三固定部803与第二固定部802的夹角大于或等于90度,第二固定部802与第一固定部801的夹角大于或等于90度,第一固定部801与第二壳体7012连接且第一固定部801 与移动终端的夹角为锐角。
具体地,第二固定部802与第三固定部803之间可设有连接边,第一固定部801与第二固定部802之间可设有连接边,且第一固定部801与第二壳体7012 之间也可设有连接边,以使第一壳体7011为设有开口的一体六边结构。其中,为保证反射组件702可以将图像反射至移动终端的后置摄像头处,第三固定部 803置于移动终端的前置摄像头一侧,第三固定部803与第二固定部802的夹角大于或等于90度,第二固定部802与第一固定部801的夹角大于或等于90度,第一固定部801与第二壳体7012连接且第一固定部801与移动终端的夹角为锐角。优选的,在本实施例中可使第三固定部803与第二固定部802的夹角为120 度,第二固定部802与第一固定部801的夹角为120度,第一固定部801与第二壳体7012连接的夹角为30度。
其中,本实施例可不局限于第二固定部802与第三固定部803之间可设有连接边,第一固定部801与第二固定部802之间可设有连接边,且第一固定部 801与第二壳体7012之间可设有连接边,例如还可为第二固定部802与第三固定部803直接连接,第一固定部801与第二固定部802直接连接。
对应于第一壳体7011包括第三固定部803、第二固定部802及第一固定部 801,反射组件702可包括第一反光镜804、第二反光镜805及第三反光镜806。
第三反光镜806用于采集移动终端预设方向的图像,并将图像反射至第二反光镜805;
第二反光镜805用于将图像反射至第一反光镜804;
第一反光镜804用于将图像反射至移动终端的后置摄像头。
具体地,反射组件702的第三反光镜806可对应设置在第一壳体7011的第三固定部803面向移动终端一侧,第二反光镜805可对应设置在第二固定部802 面向移动终端一侧,第一反光镜804可对应设置在第一固定部801面向移动终端一侧,以使第三反光镜806与第二反光镜805的夹角大于或等于90度,第二反光镜805与第一反光镜804的夹角大于或等于90度,第一反光镜804与移动终端的夹角为锐角。优选的,在本实施例中可使第三反光镜806与第二反光镜 805的夹角为120度,第二反光镜805与第一反光镜804的夹角为120度,第一反光镜804与第二壳体7012连接的夹角为30度。
可参阅图9示出的本申请实施例提供的一种反光设备获取图像的路径示意图。如图9所示,用户的学习内容放置在移动终端前置摄像头一侧,由第三反光镜806采集学习内容并将该学习内容反射至第二反光镜805,第二反光镜805 接收到该学习内容后将该学习内容反射至第一反光镜804,并由第一反光镜804 将该学习内容反射至移动终端的后置摄像头,以使移动终端获取更清晰的学习内容。
需要说明的是,本实施例的第一壳体7011不局限于包括第三固定部803、第二固定部802及第一固定部801,还可为包括第二固定部802及第一固定部 801,对应的反射组件可为包括第二反光镜805及第一反光镜804。具体的,用户的学习内容放置在移动终端前置摄像头一侧,由第二反光镜805采集学习内容并将该学习内容反射至第一反光镜804,并由第一反光镜804将该学习内容反射至移动终端的后置摄像头,以使移动终端获取更清晰的学习内容。
作为本申请的又一个实施例,反光组件102包括基材层及叠设于基材层上的反射层,反射层朝向移动终端设置。
具体地,反射组件702的第一反光镜804、第二反光镜805及第三反光镜806均可为基材层及叠设在基材层上的反射层,其中基材层用于将反射层固定在第一壳体7011上,可以但不局限于是粘性材质。其中,在第一壳体7011的第一固定部801、第二固定部802及第三固定部803还可开设有用于放置或卡设第一反光镜804、第二反光镜805及第三反光镜806的凹槽,便于将反射组件702 固定在第一壳体7011上。
作为本申请的又一个实施例,请参阅图10示出的本申请实施例提供的一种反光设备的第二壳体结构示意图。如图10所示,第二壳体7012包括置于移动终端的后置摄像头一侧的第一夹持板1001、与第一夹持板1001连接的第二夹持板1002及置于移动终端的前置摄像头一侧的第三夹持板1003;
第一夹持板1001、第二夹持板1002及第三夹持板1003面向移动终端一侧围合成将壳体701固定在移动终端上的夹持通道。
具体地,为使夹持通道对移动终端的包裹性,第一夹持板1001与第二夹持板1002的夹角可为90度,第二夹持板1002与第三夹持板1003的夹角为90度,即第一夹持板1001、第二夹持板1002及第三夹持板1003所围合的夹持通道为矩形。其中,本实施例中第一夹持板1001可为弹性材质或者在第一夹持板1001 面向移动终端一侧设有弹性拨片(弹性拨片一端与夹持板401内壁连接以使该弹性拨片与内壁表面形成锐角)。可能的当第一夹持板1001面向移动终端一侧设有弹性拨片时,可利用弹性拨片回复弹性弹性形变的弹力将壳体701固定在移动终端上。同样的,本实施例中第二夹持板1002及第三夹持板1003页可为弹性材质或者在面向移动终端一侧设有弹性拨片,具体的此处不再赘述。
进一步的,为避免遮挡移动终端后置摄像头接收经反射组件702反射的图像,可参阅图11所示的本申请实施例提供的一种反光设备的第二壳体侧视示意图。如图11所示,在第一夹持板1001设有供第一反光镜804将图像反射至移动终端的后置摄像头的第一通孔1101。
具体地,不同移动终端后置摄像头的位置不同,本实施例为适用于更多类型的移动终端,可在第一夹持板1001上开设有第一通孔1101,该第一通孔1101 的横截面积较大可避免遮挡移动终端不同位置的后置摄像头,例如后置摄像头设置在移动终端的左上角或移动终端的中上部。
进一步的,为避免遮挡移动终端前置摄像头获取图像,可参阅图12示出的本申请实施例提供的又一种反光设备的第二壳体侧视示意图。如图12所示,第三夹持板1003设有供移动终端的前置摄像头采集图像的第二通孔1201。
具体地,移动终端在利用反光设备从后置摄像头获取图像时,还可通过前置摄像头执行其他功能,例如通过前置摄像头获取用户当前状态,根据用户当前状态展示提示信息。图12中示出的第二通孔1201开口可设置在第三夹持板 1003的下方,结合现有移动终端的前置摄像头一般都设置在移动终端的上部边缘处,本实施例中的第二通孔1201还可设置在第三夹持板1003的下方。
作为本申请的又一个实施例,在第一夹持板1001、第二夹持板1002及第三夹持板1003所围合成的夹持通道内侧还可设有防止划伤移动终端的第一保护层 1004,该第一保护层1004可不局限于海绵垫、防滑垫等。
作为本申请的又一个实施例,可参阅图13示出的本申请实施例提供的又一种反光设备的结构示意图。如图13所示,该反光设备具体包括:
壳体701及反射组件702;
壳体701包括第一壳体7011和第二壳体7012,第一壳体7011与第二壳体 7012连接,第二壳体7012套设在移动终端后置摄像头下方,反射组件702设置在第一壳体7011面向移动终端一侧,反射组件702用于采集移动终端预设方向的图像,并将图像反射至移动终端的后置摄像头。
具体地,第二壳体7012可不局限于围合成用以将壳体701固定在移动终端上的夹持通道,还可卡设在移动终端上,且为了防止遮挡反射组件的反射路径或遮挡移动终端的后置摄像头,可将第二壳体7012设置在移动终端后置摄像头的下方。反射组件702设置在第一壳体7011面向移动终端一侧,可使需要获取的学习内容放置在移动终端前置摄像头一侧时由反射组件采集该学习内容并将该学习内容反射至移动终端的后置摄像头处,以使移动终端获取的学习内容更加清晰更加便于准确识别,以给用户带来更好的学习体验。
作为本申请的又一个实施例,可参阅图14示出的本申请实施例提供的又一种反光设备的第二壳体结构示意图。如图14所示,第二壳体7012包括设有夹持槽的第四夹持板1401,夹持槽套设于移动终端的后置摄像头下方以使壳体固定在移动终端上。
具体地,第四夹持板1401的夹持槽横截面积可与移动终端的横截面积相同,且第四夹持板1401在移动终端前置摄像头一侧可开设有开口,置于开口两侧的夹持板可为弹性材质,便于将壳体701固定在移动终端上。其中,第四夹持板1401可为弹性材质,以增加夹持槽的延展性。需要说明的是,本实施例当第四夹持板1401为弹性材质时,第一壳体7011可为塑料材质或轻质金属材质,反射组件可为材质较轻的基材层及叠设于基材层上的反射层。移动终端可贯穿于夹持槽并使夹持槽处于移动终端后置摄像头的下方,具体的贯穿方向可由移动终端向第一壳体7011移动。本实施例中夹持槽的具体位置可根据用户需求自行调整,避免遮挡移动终端的后置摄像头或遮挡反射组件的反射路径既可。
作为本申请的又一个实施例,在第四夹持板1401的夹持槽内壁还可设有用于防止划伤移动终端的第二保护层1402,该第二保护层1402可不局限于海绵垫、防滑垫等。
作为本申请的又一个实施例,第一壳体7011与第四夹持板1401固定连接或一体成型。可能的,第一壳体7011可为设有开口的一体多边结构,该开口一端与第四夹持板1401固定连接,例如第一壳体7011与第四夹持板1401连接的连接处与第四夹持板1401呈垂直固定连接。可能的,第一壳体7011可为设有开口的一体多边结构,该开口一端与第四夹持板1401为一体成型,即壳体701 可为设有设置在移动终端上的夹持通道以及设有将图像反射至移动终端后置摄像头的反射组件702的一体结构。其中,第一壳体7011与第四夹持板1401可为塑料材质或是轻质金属材质(例如铝合金),在第一壳体7011背向第四夹持板1401一侧还可铺设有保护壳或保护膜,以防止壳体701损坏。
请参阅图15,图15为本申请实施例提供的一种基于反光设备的交互装置的结构示意图。
如图15所示,该交互装置1500包括获取模块1501、第一识别模块1502和反馈模块1503,其中各个模块的详细描述如下:
获取模块1501,用于通过移动终端的后置摄像头获取反光设备反射的目标图像;
第一识别模块1502,用于识别目标图像中的目标信息;
反馈模块1503,用于根据目标信息确定反馈信息,并输出反馈信息。
在本申请实施例中,可通过反光设备从移动终端的后置摄像头获取目标图像,后置摄像头相较于前置摄像头像素更高获取的图像更清晰,有利于降低识别的出错率,带给用户较好的体验。
作为一种可选的实施方式,反光设备包括第一反光镜、第二反光镜及第三反光镜;
获取模块1501具体包括:
通过移动终端的后置摄像头获取第一反光镜反射的目标图像,第一反光镜反射的目标图像由第二反光镜采集并反射至第一反光镜,第二反光镜反射的目标图像由第三反光镜采集并反射至第二反光镜;第一反光镜、第二反光镜、第三反光镜以及后置摄像头之间的位置关系以及角度关系满足预设条件。
作为一种可选的实施方式,反馈模块1503之后还包括:
采集模块,用于通过移动终端的前置摄像头获取第一图像;
第一计算模块,用于识别第一图像中的人脸区域,并计算人脸区域在第一图像中所占的比例值;
转换模块,用于若检测出比例值大于预设阈值,将移动终端的显示模式转换为护眼模式。
作为一种可选的实施方式,采集模块之后还包括:
第二计算模块,用于识别第一图像中的人脸表情;
第一提示模块,用于根据人脸表情生成表情提示信息,并输出表情提示信息。
作为一种可选的实施方式,采集模块之后还包括:
第三计算模块,用于识别第一图像中的目标手势;
第二提示模块,用于根据人脸表情生成表情提示信息,并输出表情提示信息。
作为一种可选的实施方式,第一识别模块1502具体包括:
第一识别单元,用于识别目标图像中的页码信息,根据页码信息生成第一目标信息;
第二识别单元,用于识别目标图像中的手指位置信息,根据手指位置信息生成第二目标信息;
反馈模块1503具体包括:
根据第一目标信息和第二目标信息确定反馈信息。
作为一种可选的实施方式,第一识别单元之后还包括:
处理单元,用于若未识别出目标图像中的页码信息,生成移动提示信息;
执行单元,用于输出移动提示信息,并执行通过移动终端的后置摄像头获取反光设备反射的目标图像的步骤。
作为一种可选的实施方式,第一识别模块1502之前还包括:
第二识别模块,用于识别目标图像的书名信息,根据书名信息生成第三目标信息;
反馈模块具体包括:
根据第一目标信息、第二目标信息及第三目标信息确定反馈信息。
请参阅图16,图16是本申请实施例提供的又一种基于反光设备的交互装置的结构示意图,该基于反光设备的交互装置1600可以包括:至少一个处理器 1601,例如CPU,至少一个网络接口1605,用户接口1604,存储器1602,至少一个通信总线1603和后置摄像头1606。其中,通信总线1603用于实现这些组件之间的连接通信。用户接口1604可以包括但不限于触摸屏、键盘、鼠标、摇杆等等。网络接口1605可选的可以包括标准的有线接口、无线接口(如WIFI 接口、蓝牙接口),通过网络接口1605可以与服务器建立通信连接。存储器1602可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。如图16所示,作为一种计算机存储介质的存储器1602 中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
需要说明的是,网络接口1605可以连接获取器、发射器或其他通信模块,其他通信模块可以包括但不限于WiFi模块、蓝牙模块等,可以理解,本申请实施例中基于反光设备的交互装置1600也可以包括获取器、发射器和其他通信模块等。
处理器1601可以用于调用存储器1602中存储的程序指令,可以执行如图2 或图5或图6所示实施例提供的方法。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。上述基于反光设备的交互装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在所述计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如, DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。在不冲突的情况下,本实施例和实施方案中的技术特征可以任意组合。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (24)

1.一种反光设备,其特征在于,包括:
壳体及反射组件;
所述壳体包括第一壳体和第二壳体,所述第一壳体与所述第二壳体连接,所述第二壳体设有用于将所述壳体固定在移动终端上的夹持通道,所述反射组件设置在所述第一壳体面向所述移动终端一侧,所述反射组件用于采集所述移动终端预设方向的图像,并将所述图像反射至所述移动终端的后置摄像头。
2.根据权利要求1所述的反光设备,其特征在于,所述第一壳体与所述第二壳体固定连接。
3.根据权利要求1所述的反光设备,其特征在于,所述第一壳体与所述第二壳体一体成型。
4.根据权利要求1所述的反光设备,其特征在于,所述第一壳体包括第一固定部、与所述第一固定部连接的第二固定部及与所述第二固定部连接的第三固定部;
所述第三固定部置于所述移动终端的前置摄像头一侧,且所述第三固定部与所述第二固定部的夹角大于或等于90度,所述第二固定部与所述第一固定部的夹角大于或等于90度,所述第一固定部与所述第二壳体连接且所述第一固定部与所述移动终端的夹角为锐角。
5.根据权利要求1所述的反光设备,其特征在于,所述反光组件包括基材层及叠设于所述基材层上的反射层,所述反射层朝向所述移动终端设置。
6.根据权利要求4所述的反光设备,其特征在于,所述反射组件包括第一反光镜、第二反光镜及第三反光镜;
所述第三反光镜用于采集所述移动终端预设方向的图像,并将所述图像反射至所述第二反光镜;
所述第二反光镜用于将所述图像反射至所述第一反光镜;
所述第一反光镜用于将所述图像反射至所述移动终端的后置摄像头。
7.根据权利要求6所述的反光设备,其特征在于,所述第二壳体包括置于所述移动终端的后置摄像头一侧的第一夹持板、与所述第一夹持板连接的第二夹持板及置于所述移动终端的前置摄像头一侧的第三夹持板;
所述第一夹持板、所述第二夹持板及所述第三夹持板面向所述移动终端一侧围合成将所述壳体固定在所述移动终端上的所述夹持通道。
8.根据权利要求7所述的反光设备,其特征在于,所述第一夹持板设有供所述第一反光镜将所述图像反射至所述移动终端的后置摄像头的第一通孔。
9.根据权利要求7所述的反光设备,其特征在于,所述第三夹持板设有供所述移动终端的前置摄像头采集图像的第二通孔。
10.根据权利要求7所述的反光设备,其特征在于,所述第一夹持板及所述第三夹持板为弹性材质。
11.根据权利要求1所述的反光设备,其特征在于,所述夹持通道内设有第一保护层。
12.根据权利要求1所述的反光设备,其特征在于,所述第二壳体包括设有夹持槽的第四夹持板,所述夹持槽套设于所述移动终端的后置摄像头下方以使所述壳体固定在所述移动终端上。
13.根据权利要求12所述的反光设备,其特征在于,所述夹持槽内设有第二保护层。
14.一种基于反光设备的交互方法,所述方法应用于移动终端,其特征在于,包括:
通过所述移动终端的后置摄像头获取反光设备反射的目标图像;
识别所述目标图像中的目标信息;
根据所述目标信息确定反馈信息,并输出所述反馈信息。
15.根据权利要求14所述的方法,其特征在于,所述反光设备包括第一反光镜、第二反光镜及第三反光镜;
所述通过所述移动终端的后置摄像头获取反光设备反射的目标图像包括:
通过所述移动终端的后置摄像头获取所述第一反光镜反射的目标图像,所述第一反光镜反射的目标图像由所述第二反光镜采集并反射至所述第一反光镜,所述第二反光镜反射的目标图像由所述第三反光镜采集并反射至所述第二反光镜;所述第一反光镜、所述第二反光镜、所述第三反光镜以及所述后置摄像头之间的位置关系以及角度关系满足预设条件。
16.根据权利要求15所述的方法,其特征在于,所述根据所述目标信息确定反馈信息,并输出所述反馈信息之后还包括:
通过所述移动终端的前置摄像头获取第一图像;
识别所述第一图像中的人脸区域,并计算所述人脸区域在所述第一图像中所占的比例值;
若检测出所述比例值大于预设阈值,将所述移动终端的显示模式转换为护眼模式。
17.根据权利要求16所述的方法,其特征在于,所述通过所述移动终端的前置摄像头获取第一图像之后还包括:
识别所述第一图像中的人脸表情;
根据所述人脸表情生成表情提示信息,并输出所述表情提示信息。
18.根据权利要求16所述的方法,其特征在于,所述通过所述移动终端的前置摄像头获取第一图像之后还包括:
识别所述第一图像中的目标手势;
根据所述目标手势生成手势提示信息,并输出所述手势提示信息。
19.根据权利要求14-18任一项所述的方法,其特征在于,所述识别所述目标图像中的目标信息具体包括:
识别所述目标图像中的页码信息,根据所述页码信息生成第一目标信息;
识别所述目标图像中的手指位置信息,根据所述手指位置信息生成第二目标信息;
所述根据所述目标信息确定反馈信息具体为:
根据所述第一目标信息和所述第二目标信息确定反馈信息。
20.根据权利要求19所述的方法,其特征在于,所述识别所述目标图像中的页码信息,根据所述页码信息生成第一目标信息之后还包括:
若未识别出所述目标图像中的页码信息,生成移动提示信息;
输出所述移动提示信息,并执行所述通过所述移动终端的后置摄像头获取反光设备反射的目标图像的步骤。
21.根据权利要求20所述的方法,其特征在于,所述根据所述目标信息确定反馈信息之前还包括:
识别所述目标图像的书名信息,根据所述书名信息生成第三目标信息;
所述根据所述目标信息确定反馈信息包括:
根据所述第一目标信息、所述第二目标信息及所述第三目标信息确定反馈信息。
22.一种基于反光设备的交互装置,其特征在于,包括:
获取模块,用于通过所述移动终端的后置摄像头获取反光设备反射的目标图像;
第一识别模块,用于识别所述目标图像中的目标信息;
反馈模块,用于根据所述目标信息确定反馈信息,并输出所述反馈信息。
23.一种基于反光设备的交互装置,其特征在于,包括移动终端和如权利要求1-13任一项所述的反光设备,其中,所述移动终端包括处理器、存储器以及通信接口;
所述处理器与所述存储器、所述通信接口相连;
所述存储器,用于存储可执行程序代码;
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于如执行权利14-21任一项所述的方法。
24.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求14-21任一项所述的方法。
CN202011560729.6A 2020-12-25 2020-12-25 基于反光设备的交互方法、装置、存储介质及反光设备 Pending CN112580622A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011560729.6A CN112580622A (zh) 2020-12-25 2020-12-25 基于反光设备的交互方法、装置、存储介质及反光设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011560729.6A CN112580622A (zh) 2020-12-25 2020-12-25 基于反光设备的交互方法、装置、存储介质及反光设备

Publications (1)

Publication Number Publication Date
CN112580622A true CN112580622A (zh) 2021-03-30

Family

ID=75140651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011560729.6A Pending CN112580622A (zh) 2020-12-25 2020-12-25 基于反光设备的交互方法、装置、存储介质及反光设备

Country Status (1)

Country Link
CN (1) CN112580622A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375502A (zh) * 2016-09-23 2017-02-01 朱立成 用于手机的折射装置及手机
CN207612331U (zh) * 2017-11-17 2018-07-13 北京艺动网络科技有限公司 一种摄像头影像反射装置
CN207638761U (zh) * 2017-12-29 2018-07-20 上海传英信息技术有限公司 摄像头拍摄方向转换装置及终端
CN109451164A (zh) * 2018-11-21 2019-03-08 惠州Tcl移动通信有限公司 智能终端及其护眼方法、具有存储功能的装置
CN209593586U (zh) * 2019-04-24 2019-11-05 广东小天才科技有限公司 一种卡扣式反光镜结构及其电子设备
CN209731412U (zh) * 2019-04-24 2019-12-03 广东小天才科技有限公司 一种卡扣式可旋转的反光镜结构及其电子设备
CN209879118U (zh) * 2019-04-24 2019-12-31 广东小天才科技有限公司 一种滑动式反光镜结构及其电子设备
CN111680177A (zh) * 2020-06-01 2020-09-18 广东小天才科技有限公司 数据搜索方法及电子设备、计算机可读存储介质
CN214504441U (zh) * 2020-12-25 2021-10-26 北京大米科技有限公司 一种反光设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375502A (zh) * 2016-09-23 2017-02-01 朱立成 用于手机的折射装置及手机
CN207612331U (zh) * 2017-11-17 2018-07-13 北京艺动网络科技有限公司 一种摄像头影像反射装置
CN207638761U (zh) * 2017-12-29 2018-07-20 上海传英信息技术有限公司 摄像头拍摄方向转换装置及终端
CN109451164A (zh) * 2018-11-21 2019-03-08 惠州Tcl移动通信有限公司 智能终端及其护眼方法、具有存储功能的装置
CN209593586U (zh) * 2019-04-24 2019-11-05 广东小天才科技有限公司 一种卡扣式反光镜结构及其电子设备
CN209731412U (zh) * 2019-04-24 2019-12-03 广东小天才科技有限公司 一种卡扣式可旋转的反光镜结构及其电子设备
CN209879118U (zh) * 2019-04-24 2019-12-31 广东小天才科技有限公司 一种滑动式反光镜结构及其电子设备
CN111680177A (zh) * 2020-06-01 2020-09-18 广东小天才科技有限公司 数据搜索方法及电子设备、计算机可读存储介质
CN214504441U (zh) * 2020-12-25 2021-10-26 北京大米科技有限公司 一种反光设备

Similar Documents

Publication Publication Date Title
CN109635621B (zh) 用于第一人称视角中基于深度学习识别手势的系统和方法
US11538096B2 (en) Method, medium, and system for live preview via machine learning models
JP6301427B1 (ja) 自然言語処理装置、自然言語処理方法および自然言語処理プログラム
CN104685494B (zh) 文本辨识驱动的功能
EP3547218B1 (en) File processing device and method, and graphical user interface
WO2017185630A1 (zh) 基于情绪识别的信息推荐方法、装置和电子设备
KR101660576B1 (ko) 시각 장애 사용자들에 의한 이미지 캡처 및 이미지 검토의 촉진
CN105912717A (zh) 基于图像的信息搜索方法及装置
CN110992958B (zh) 内容记录方法、装置、电子设备及存储介质
JP2020507159A (ja) ピクチャプッシュの方法、移動端末および記憶媒体
CN115982400A (zh) 基于多模态的情绪图像的生成方法和服务器
US20250039537A1 (en) Screenshot processing method, electronic device, and computer readable medium
CN112087590A (zh) 图像处理方法、装置、系统及计算机存储介质
CN118824282A (zh) 模型训练方法、装置、电子设备及存储介质
CN107948503A (zh) 一种拍照方法、拍照装置及移动终端
JP6855737B2 (ja) 情報処理装置、評価システムおよびプログラム
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
CN103729059A (zh) 交互方法及装置
CN112580622A (zh) 基于反光设备的交互方法、装置、存储介质及反光设备
KR102482841B1 (ko) 인공지능 미러링 놀이 가방
US10217015B2 (en) Physical and digital bookmark syncing
CN110059576A (zh) 图片的筛选方法、装置和电子设备
CN111553356B (zh) 字符识别方法及装置、学习设备、计算机可读存储介质
CN111079491B (zh) 一种书写内容识别方法、电子设备及存储介质
CN112733575B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330