CN112905084A - 一种书本画面的投影互动方法、设备及存储介质 - Google Patents

一种书本画面的投影互动方法、设备及存储介质 Download PDF

Info

Publication number
CN112905084A
CN112905084A CN202011612285.6A CN202011612285A CN112905084A CN 112905084 A CN112905084 A CN 112905084A CN 202011612285 A CN202011612285 A CN 202011612285A CN 112905084 A CN112905084 A CN 112905084A
Authority
CN
China
Prior art keywords
image
book
page
standard image
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011612285.6A
Other languages
English (en)
Inventor
艾元平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Desheng Photoelectric Technology Inc
Original Assignee
Guangzhou Desheng Photoelectric Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Desheng Photoelectric Technology Inc filed Critical Guangzhou Desheng Photoelectric Technology Inc
Priority to CN202011612285.6A priority Critical patent/CN112905084A/zh
Publication of CN112905084A publication Critical patent/CN112905084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)

Abstract

本发明公开了一种书本画面的投影互动方法、设备及存储介质，其中投影互动方法包括步骤S1：预先采集实体书本中每书页的标准图像，并将其存储在图像数据库中；并对所述标准图像所对应的动画互动场景进行绑定；步骤S2：接收由摄像设备拍摄任意书页所获得的检测图像，提取所述检测图像中指定区域的特征信息；步骤S3：将所述检测图像的特征信息与所述图像数据库中的标准图像进行实时匹配，若匹配成功，则将匹配成功的标准图像所对应的动画互动场景进行投影互动展示。本发明可将实体书本中任意一书页所对应的动画互动场景进行投影，提高用户使用体验感。

Description

一种书本画面的投影互动方法、设备及存储介质
技术领域
本发明涉及数字多媒体互动技术领域，尤其涉及一种书本画面的投影互动方法、设备及存储介质。
背景技术
目前，数字多媒体技术从出现起就凭借其介质的多样性、技术手段多样性和过程交互性等优势渗透到人类生活的方方面面，其中以数字化虚拟现实演示系统最为突出，例如通过投影的方式将书本画面进行展示，以展示宣传书本内记载的内容。而现有的投影设备一般都是直接将拍摄到的实体书本的画面实时投影至显示屏中进行展示，但是该方式无法实现互动操作，趣味性较差。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种书本画面的投影互动方法，可具有良好的视觉效果，同时增加互动趣味感。
本发明的目的之二在于提供一种电子设备。
本发明的目的之三在于提供一种存储介质。
本发明的目的之一采用如下技术方案实现：
一种书本画面的投影互动方法，包括：
步骤S1：预先采集实体书本中每书页的标准图像，并将其存储在图像数据库中，并对所述标准图像所对应的动画互动场景进行绑定；
步骤S2：接收由摄像设备拍摄任意书页所获得的检测图像，提取所述检测图像中指定区域的特征信息；
步骤S3：将所述检测图像的特征信息与所述图像数据库中的标准图像进行实时匹配，若匹配成功，则将匹配成功的标准图像所对应的动画互动场景进行投影互动展示。
进一步地，所述步骤S1中采集每书页的所述标准图像后，将每书页的所述标准图像划分出至少一个局部区域，识别出该局部区域在所述标准图像中的空间位置，并将该局部区域内的文字和/或图案特征进行标记。
进一步地，所述步骤S2中的所述指定区域对应所述标准图像中的任意一个局部区域。
进一步地，所述指定区域的所述特征信息包括所述指定区域在所述检测图像中的空间位置，和所述指定区域内的文字和/或图案信息。
进一步地，所述步骤S3中将所述检测图像的特征信息与所述图像数据库中的标准图像进行实时匹配的方法为：
根据所述指定区域的空间位置提取出每书页的所述标准图像中对应的局部区域；
将所述指定区域内的文字和/或图案信息与每书页中对应所述局部区域内的文字和/或图案特征进行相似度比对，若存在相似度最高且该相似度达到预设范围以上的书页，则匹配成功，并将该书页所对应的完整的标准图像进行投影展示。
进一步地，投影互动方法还包括：
步骤S4：接收用户执行互动操作所生成的触控信息，将所述触控信息映射在正在投影展示的所述动画互动场景中。
进一步地，所述触控信息为用户按下指定按键所生成的动画展示信息，和/或用户通过触控设备输入的标记信息。
进一步地，投影互动方法还包括：
步骤S5：判断当前所述摄像设备所拍摄到的检测图像是否已改变，若改变，则返回步骤S2以提取更新后的所述检测图像的特征信息；若无改变，则保持当前投影展示内容。
本发明的目的之二采用如下技术方案实现：
一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的书本画面的投影互动方法。
本发明的目的之三采用如下技术方案实现：
一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的书本画面的投影互动方法。
相比现有技术，本发明的有益效果在于：
通过摄像设备实时采集实体书本当前书页所对应的图像，并将该图像与数据库中预存的图像进行匹配，将匹配成功的预存图像所对应的动画互动场景进行展示，实现展示与实体书本当前书页相关联的动画互动场景，提高趣味性，具有良好的视觉效果。
附图说明
图1为本发明实施例一中投影互动方法的流程示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
本实施例提供一种书本画面的投影互动方法，该投影互动方法应用在具有投影设备、摄像设备的控制系统中，所述摄像设备安装在实体书本的正上方，用于拍摄实体书本当前书页所展示的内容，而所述投影设备则与实体书本当前书页相对应的预存图像进行投影展示。
如图1所示，本实施例的投影互动方法具体包括如下步骤：
步骤S1：预先采集实体书本每书页的标准图像，并将其存储于图像数据库；同时对所述标准图像所对应的动画互动场景进行预先绑定。
首先，将有投影展示需求的实体书本进行扫描，将实体书本中每书页的内容采集并存储为对应的标准图像，在本实施例中，一书页对应一张标准图像；系统采集到所述标准图像后，将每书页的所述标准图像划分出至少一个局部区域，该局部区域可以是标准图像的左上角、右下角等位置；也可以将标准图像平分为若干个等分区域后，将其中一个或一个以上的等分区域划分为所述局部区域。所述局部区域的尺寸大小也可以预先进行设定，在此不对所述局部区域的具体尺寸大小及具体位置进行限定。
其后，将所述局部区域在所述标准图像中的空间位置进行识别和存储，并将该局部区域内的文字和/或图案特征进行标记，使得每个所述局部区域与其区域内的文字和/或图案特征绑定在一起；其中文字特征包括单个文字本身及文字与文字间的排列顺序等信息，而图案特征则包括图像图形和图像颜色等信息。
本实施例中只对所述标准图像中所述局部区域内的文字和/或图案特征进行识别和处理，可减少数据处理量，提高数据处理效率。
步骤S2：接收由摄像设备拍摄任意书页所获得的检测图像，提取所述检测图像中指定区域的特征信息；其中，所述指定区域可以对应所述标准图像中的任意一个局部区域，也可以对应多个局部区域；而所述指定区域的具体位置和数量可根据需求预先设定好，也可以在每次检测过程中随机确定。
在接收所述摄像设备发送的检测图像之前，需要对所述摄像设备进行初始化校准处理，以确保所述摄像设备的拍摄范围可清楚地拍摄到实体书本的书页内容。校准完成后，利用所述摄像设备拍摄实体书本当前书页的内容以获得检测图像，并将其检测图像发送至系统中对其指定区域内的信息进行特征提取处理。其中，摄像设备可安装在具有实体书本有一定距离的位置，以拍摄实体书本的书页的全部内容，也可以将摄像设备设在距离实体书本20cm～30cm近距离的位置，直接对实体书本的指定区域进行拍摄。
而所述指定区域的所述特征信息包括所述指定区域在所述检测图像中的空间位置，和所述指定区域内的文字和/或图案信息，其中，所述指定区域的特征提取方法与所述标准图像中局部区域的特征提取方法相同，在此不再详细描述。
步骤S3：将所述检测图像的特征信息与所述图像数据库中的标准图像进行实时匹配，若匹配成功，则将匹配成功的标准图像所对应的动画互动场景进行投影互动展示。
其中，所述检测图像的特征信息与所述图像数据库中的标准图像进行实时匹配的方法为：首先，根据所述指定区域的空间位置提取出每书页的所述标准图像中对应的局部区域；再将所述指定区域内的文字和/或图案信息与每书页中对应所述局部区域内的文字和/或图案特征进行相似度比对，若存在相似度最高且该相似度达到预设范围以上的书页，则匹配成功，并将该书页所对应的动画互动场景进行展示，此外，还可预先设置当出现匹配成功情况时，将实体书本当前书页所对应的完整的标准图像进行投影展示；若不存在相似度达到预设范围以上的书页，则匹配不成功，此时控制所述摄像设备再次拍摄当前书页画面，以进行新一轮分析处理过程，直至匹配成功。
步骤S4：判断是否接收到用户执行互动操作所生成的触控信息，若有，则将所述触控信息映射在正在投影展示的所述标准图像中；若无，执行步骤S5。为了实现进一步地互动效果，可在系统中接入触控设备，例如触控面板或按键等，可预先录入指定的动画展示信息，并将其与按键进行绑定，当用户按下指定按键时，该按键所对应的动画展示信息则映射至投影展示画面中，让投影展示画面播放动画特效；又或者是，用户通过触控面板输入标记信息，再将标记信息显示在当前投影展示画面中，提高互动趣味性；又或者是通过体感设备对动画互动场景做出对应的互动操作，则可将互动结果进行展示。
步骤S5：判断当前所述摄像设备所拍摄到的检测图像是否已改变，若改变，则代表实体书本已经翻页，此时返回步骤S2并循环步骤S2～S4，以更新投影展示内容；若无改变，则代表实体书本没有翻页，则保持当前投影展示内容。
实施例二
实施例一中，所述摄像设备直接拍摄实体书本中完整的书页画面以生成检测图像，再对所述检测图像中一个或一个以上指定区域进行特征分析。而在本实施例中，所述摄像设备只拍摄书页中某一局部区域的画面以生成检测图像，此时即可直接对检测图像进行特征识别，减少确定指定区域的步骤。举个例子，所述指定区域预先设定为图像左上角区域时，实施例一中，所述摄像设备拍摄到实体书本当前书页的完整画面后，标记出完整画面中的左上角区域，并对该区域内的特征信息进行提取。而在本实施例中，所述摄像设备直接拍摄实体书本的左上角区域，其后直接对该区域的特征信息进行提取，本实施例减少了指定区域确认步骤，同样可达到与实施例一相同的展示效果。
实施例三
本实施例提供一种电子设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的书本画面的投影互动方法；另外，本实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的书本画面的投影互动方法。
本实施例中的设备及存储介质与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种书本画面的投影互动方法，其特征在于，包括：
步骤S1：预先采集实体书本中每书页的标准图像，并将其存储在图像数据库中；并对所述标准图像所对应的动画互动场景进行绑定；
步骤S2：接收由摄像设备拍摄任意书页所获得的检测图像，提取所述检测图像中指定区域的特征信息；
步骤S3：将所述检测图像的特征信息与所述图像数据库中的标准图像进行实时匹配，若匹配成功，则将匹配成功的标准图像所对应的动画互动场景进行投影互动展示。
2.根据权利要求1所述的书本画面的投影互动方法，其特征在于，所述步骤S1中采集每书页的所述标准图像后，将每书页的所述标准图像划分出至少一个局部区域，识别出该局部区域在所述标准图像中的空间位置，并将该局部区域内的文字和/或图案特征进行标记。
3.根据权利要求1所述的书本画面的投影互动方法，其特征在于，所述步骤S2中的所述指定区域对应所述标准图像中的任意一个局部区域。
4.根据权利要求2所述的书本画面的投影互动方法，其特征在于，所述指定区域的所述特征信息包括所述指定区域在所述检测图像中的空间位置，和所述指定区域内的文字和/或图案信息。
5.根据权利要求4所述的书本画面的投影互动方法，其特征在于，所述步骤S3中将所述检测图像的特征信息与所述图像数据库中的标准图像进行实时匹配的方法为：
根据所述指定区域的空间位置提取出每书页的所述标准图像中对应的局部区域；
将所述指定区域内的文字和/或图案信息与每书页中对应所述局部区域内的文字和/或图案特征进行相似度比对，若存在相似度最高且该相似度达到预设范围以上的书页，则匹配成功，并将该书页所对应的完整的标准图像进行投影展示。
6.根据权利要求1所述的书本画面的投影互动方法，其特征在于，还包括：
步骤S4：接收用户执行互动操作所生成的触控信息，将所述触控信息映射在正在投影展示的动画互动场景中。
7.根据权利要求6所述的书本画面的投影互动方法，其特征在于，所述触控信息为用户按下指定按键所生成的动画展示信息，和/或用户通过触控设备输入的标记信息。
8.根据权利要求7所述的书本画面的投影互动方法，其特征在于，还包括：
步骤S5：判断当前所述摄像设备所拍摄到的检测图像是否已改变，若改变，则返回步骤S2以提取更新后的所述检测图像的特征信息；若无改变，则保持当前投影展示内容。
9.一种电子设备，其特征在于，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1～8任一所述的书本画面的投影互动方法。
10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现权利要求1～8任一所述的书本画面的投影互动方法。
CN202011612285.6A 2020-12-30 2020-12-30 一种书本画面的投影互动方法、设备及存储介质 Pending CN112905084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011612285.6A CN112905084A (zh) 2020-12-30 2020-12-30 一种书本画面的投影互动方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011612285.6A CN112905084A (zh) 2020-12-30 2020-12-30 一种书本画面的投影互动方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112905084A true CN112905084A (zh) 2021-06-04

Family

ID=76112072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011612285.6A Pending CN112905084A (zh) 2020-12-30 2020-12-30 一种书本画面的投影互动方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112905084A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898640A (zh) * 2022-03-23 2022-08-12 合肥嘉石科普服务有限公司 一种波的衍射现象展示方法、系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461318A (zh) * 2013-12-10 2015-03-25 苏州梦想人软件科技有限公司 基于增强现实技术的点读方法及系统
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习系统及方法
CN110471530A (zh) * 2019-08-12 2019-11-19 苏州悠优互娱文化传媒有限公司 一种基于儿童图书的ar互动学习方法、装置、介质
BR102019011265A2 (pt) * 2019-05-31 2020-12-08 Doris Camargo Martins De Andrade Livro virtual para educação à distância

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461318A (zh) * 2013-12-10 2015-03-25 苏州梦想人软件科技有限公司 基于增强现实技术的点读方法及系统
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习系统及方法
BR102019011265A2 (pt) * 2019-05-31 2020-12-08 Doris Camargo Martins De Andrade Livro virtual para educação à distância
CN110471530A (zh) * 2019-08-12 2019-11-19 苏州悠优互娱文化传媒有限公司 一种基于儿童图书的ar互动学习方法、装置、介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898640A (zh) * 2022-03-23 2022-08-12 合肥嘉石科普服务有限公司 一种波的衍射现象展示方法、系统及装置
CN114898640B (zh) * 2022-03-23 2024-02-06 合肥嘉石科普服务有限公司 一种波的衍射现象展示方法、系统及装置

Similar Documents

Publication Publication Date Title
CN109325933B (zh) 一种翻拍图像识别方法及装置
CN106664465B (zh) 用于创建和再现增强现实内容的系统以及使用其的方法
CN107105310B (zh) 一种视频直播中人物形象替换方法、装置和一种录播系统
US10671662B2 (en) Method and system for analyzing an image generated by at least one camera
KR20180111970A (ko) 타겟 대상 표시 방법 및 디바이스
KR20130056309A (ko) 텍스트 기반 3ｄ 증강 현실
CN109639952B (zh) 一种拍照搜题方法及电子设备
KR101961758B1 (ko) 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN111970557A (zh) 图像显示方法、装置、电子设备及存储介质
CN111104813A (zh) 二维码图像关键点检测方法、装置、电子设备及存储介质
CN114297433B (zh) 问答结果的搜索方法、装置、设备及存储介质
CN112905084A (zh) 一种书本画面的投影互动方法、设备及存储介质
CN111353965A (zh) 图像修复方法、装置、终端及存储介质
CN110209762B (zh) 一种阅读桌及阅读方法
TWI744962B (zh) 資訊處理裝置、資訊處理系統、資訊處理方法、及程式產品
RU2747759C2 (ru) Способ и система генерирования сигнатуры поверхности
CN111079777B (zh) 一种基于书页定位的点读方法及电子设备
CN109189246B (zh) 一种对手写板上的涂写内容进行处理的方法、装置和系统
CN116958795A (zh) 翻拍图像的识别方法、装置、电子设备及存储介质
US20210281742A1 (en) Document detections from video images
CN116363725A (zh) 显示设备的人像追踪方法、系统、显示设备及存储介质
JP6399371B1 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN111753715B (zh) 点读场景下试题拍摄的方法、装置、电子设备和存储介质
JP6408055B2 (ja) 情報処理装置、方法及びプログラム
CN112164258A (zh) Ar智慧教学方法、装置、教具系统和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination