CN110109576A - 一种内容查询方法、装置、智能投影设备及存储介质 - Google Patents
一种内容查询方法、装置、智能投影设备及存储介质 Download PDFInfo
- Publication number
- CN110109576A CN110109576A CN201910385743.8A CN201910385743A CN110109576A CN 110109576 A CN110109576 A CN 110109576A CN 201910385743 A CN201910385743 A CN 201910385743A CN 110109576 A CN110109576 A CN 110109576A
- Authority
- CN
- China
- Prior art keywords
- content
- checked
- touch
- projection device
- query result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000011897 real-time detection Methods 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012015 optical character recognition Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000005057 finger movement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供了一种内容查询方法、装置、智能投影设备及存储介质。其中，所述方法应用于智能投影设备，包括：在所述智能投影设备的系统可识别区内实时检测是否产生触控标记动作；当检测到产生触控标记动作后，确定所述触控标记动作所标记的待查询内容所在的区域；识别所述区域内的待查询内容；获得所述待查询内容对应的查询结果；输出所述待查询内容对应的查询结果。通过本方案可以提高内容查询效率，改善用户体验。
Description
技术领域
本发明涉及智能投影机技术领域，特别是涉及一种内容查询方法、装置、智能投影设备及存储介质。
背景技术
目前，在对实体书本或纸张中的内容进行查询时，用户通常是在智能设备(如智能手机、平板电脑等)上手动输入待查询内容，将实体书本或纸张上的待查询内容转化至智能设备搜索栏中，从而获得查询结果。
尽管上述查询方式能够获得查询结果；但是，在上述的查询方式中，由于手动输入待查询内容的效率低，导致内容查询效率低，用户使用操作体验较差。
发明内容
本发明实施例的目的在于提供一种内容查询方法、装置、智能投影设备及存储介质，以提高内容查询效率，改善用户体验。具体技术方案如下：
第一方面，本发明实施例提供了一种内容查询方法，应用于智能投影设备，所述方法包括：
在所述智能投影设备的系统可识别区内实时检测是否产生触控标记动作；
当检测到产生触控标记动作后，确定所述触控标记动作所标记的待查询内容所在的区域；
识别所述区域内的待查询内容；
获得所述待查询内容对应的查询结果；
输出所述待查询内容对应的查询结果。
可选地，所述智能投影设备的投影可显示区覆盖所述系统可识别区；
所述方法还包括：在检测到产生所述触控标记动作的同时，实时投影所述触控标记动作对应的标记轨迹。
可选地，所述输出所述待查询内容对应的查询结果，包括：
将包含所述待查询内容对应的查询结果界面进行投影；
或者，
向预定终端推送所述待查询内容对应的查询结果，以使所述智能终端输出所述待查询内容对应的查询结果；所述预定终端为与所述智能投影设备预先建立通信连接的终端。
可选地，所述获得所述待查询内容对应的查询结果，包括：
在所述智能投影设备的本地数据库中对所述待查询内容进行检索，得到所述待查询内容对应的查询结果；
或者，
向所述智能投影设备的云端服务器请求所述待查询内容对应的查询结果，并接收所述云端服务器反馈的所述待查询内容对应的查询结果。
可选地，所述触控标记动作为利用预定的操作体所执行的划线、点击、框选或圈选动作。
第二方面，本发明实施例还提供了一种内容查询装置，应用于智能投影设备，所述装置包括：
检测模块，用于在所述智能投影设备的系统可识别区内实时检测触控标记动作；
确定模块，用于当检测到产生触控标记动作后，确定所述触控标记动作所标记的待查询内容所在的区域；
识别模块，用于识别所述区域内的待查询内容；
查询模块，用于获得所述待查询内容对应的查询结果；
输出模块，用于输出所述待查询内容对应的查询结果。
可选地，所述智能投影设备的投影可显示区覆盖所述系统可识别区；
所述检测模块还用于在检测到产生所述触控标记动作的同时，实时投影所述触控标记动作对应的标记轨迹。
可选地，所述输出模块包括：
第一输出子模块，用于将包含所述待查询内容对应的查询结果界面进行投影；
或者，
第二输出子模块，用于向预定终端推送所述待查询内容对应的查询结果，以使所述智能终端输出所述待查询内容对应的查询结果；所述预定终端为与所述智能投影设备预先建立通信连接的终端。
第三方面，本发明实施例还提供了一种智能投影设备，所述智能投影设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现使得智能投影设备执行上述第一方面所述方法步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面所述的方法步骤。
本发明实施例所提供的内容查询方法中，智能投影设备通过识别触控标记动作，获得待查询内容，进而获得待查询内容对应的查询结果，并将查询结果输出的技术方案。本方案中，仅仅通过触控标记动作来标记书本或纸张等内容载体上的待查询内容，便可通过智能投影设备自动完成内容查询，省略了查询过程中用户将待查询内容手动进行转化的步骤。因此，相对于现有技术，本方案可以有效提高查询操作效率，改善用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种内容查询方法的一种流程图；
图2为本发明实施例所提供的一种内容查询方法的另一种流程图；
图3为本发明实施例所提供的一种内容查询装置的结构示意图；
图4为本发明实施例可能的一种使用场景示意图；
图5为本发明实施例采用手指在实体书本上标记待查询内容的示意图；
图6(a)为本发明通过画圈选择待查询内容的触控标记动作示意图；
图6(b)为本发明通过画框选择待查询内容的触控标记动作示意图；
图6(c)为本发明通过划线选择待查询内容的触控标记动作示意图；
图6(d)为本发明通过点击选择待查询内容的触控标记动作示意图；
图7为本发明实施例所提供的一种智能投影设备的结构示意图。
其中，图4、图5和图6中附图标记与相应组件名称间的对应关系为：
1桌面，2智能投影设备、21系统可识别区及投影可显示区、22标记轨迹、23查询结果投影，3实体书本、31待查询内容，4触控笔，5用户、51手指。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了有效提高内容查询效率，改善用户体验，本发明实施例提供了一种内容查询方法、装置、智能投影设备及存储介质。
下面首先对本发明实施例所提供的一种内容查询方法进行介绍。
本发明实施例所提供的一种内容查询方法应用于智能投影设备中。其中，在实际应用中，该智能投影设备可以为智能投影仪、智能投影台灯或智能投影可穿戴设备等设备，智能投影可穿戴设备可以为智能投影手表或手环、智能投影眼镜等等，这都是合理的。
如图1所示，本发明实施例所提供的一种内容查询方法，应用于智能投影设备，所述方法可以包括如下步骤：
S101，在所述智能投影设备的系统可识别区内实时检测是否产生触控标记动作；
S102，当检测到产生触控标记动作后，确定所述触控标记动作所标记的待查询内容所在的区域；
所述确定所述触控标记动作所标记的待查询内容所在的区域，即为：确定产生的触控标记动作所标记的待查询内容所在的区域。
当用户需要查询书本或纸张等内容载体上的某些内容时，为了利用本申请实施例所提供的方法进行内容查询，用户可以在智能投影设备的系统可识别区内，对待查询内容执行指定的触控标记动作，进而，触发智能投影设备执行本方案。例如：智能投影设备位于书桌上，书桌的中部区域位于该智能投影设备的系统可识别区内，当用户想要查询书本上的内容时，可以将书本放置于该书桌的中部区域，并在待查询内容所在的区域执行指定的触控标记动作。
其中，所述触控标记动作可以为利用预定的操作体所执行的划线、点击、框选或圈选等动作。在具体应用中，该预定的操作体可以是触控笔或手指，而该触控笔可以包括但不局限于红外触控笔。并且，该智能投影设备的系统可识别区的区域范围可以根据实际情况进行调整，本申请实施例不做限定。
另外，在具体应用中，该智能投影设备可以具有控制内容查询功能的开启和关闭的操作按钮，以保证智能投影设备的耗能较低。这样，当用户需要利用该智能投影设备进行内容查询时，可以通过该操作按钮，开启内容查询功能，此时，该智能投影设备可以在系统可识别区内检测是否产生触控标记动作，进而执行内容查询流程；而当用户不需要利用该智能投影设备进行内容查询时，可以通过该操作按钮，关闭内容查询功能。
其中，在所述智能投影设备的系统可识别区内实时检测是否产生触控标记动作的具体实现方式存在多种。
示例性的，在一种实现方式中，可以采用红外检测实现对触控标记动作的检测，并利用红外光轨迹与待查询内容的位置关系，确定待查询内容所在的区域。具体而言，用户在待查询内容上使用红外触控笔执行预定的触控标记动作，如：划线、点击、框选或圈选等，由于红外触控笔的笔尖在按压后可以发出红外光，那么，红外触控笔在所执行的触控标记动作的作用下移动，可以产生相应的红外光轨迹。相应的，智能投影设备中内置有红外摄像头。智能投影设备在通过该红外摄像头检测到由红外光点信号组成的红外光轨迹时，可以判定出在系统可识别区内检测到产生触控标记动作。进而，智能投影设备可以基于所产生的触控标记动作的红外光轨迹的类型，如直线型轨迹、闭合型轨迹、光点型轨迹等，确定红外光轨迹与待查询内容的位置关系，基于该位置关系，确定所产生的触控标记动作所标记的待查询内容所在的区域。并且，智能投影设备中还内置有RGB摄像头，在红外摄像头确定待查询内容所在的区域后，RGB摄像头可以追踪拍摄待查询内容所在的区域，得到拍摄图像，该拍摄图像可以用于S102中的内容识别。其中，红外摄像头利用物体产生的红外线成像。RGB摄像头设有颜色传感器，用于获取彩色图像；R为red，G为Green，B为Blue，RGB即三原色红绿蓝。
其中，红外摄像头的图像采集区域为智能投影设备的系统可识别区。并且，可以理解的是，当红外光轨迹的类型为直线时，待查询内容位于红外光轨迹之上；当红外光轨迹为闭合型轨迹时，待查询内容位于红外光轨迹所包含的区域内；当红外光轨迹为光点时，待查询内容与红外光轨迹重合。
示例性的，在另一种实现方式中，可以采用对象追踪技术实现对触控标记动作的检测，并利用对象运动轨迹与待查询内容的位置关系，确定待查询内容所在的区域。具体而言，用户在待查询内容上使用手指执行预定的触控标记动作，如：划线、框选或圈选等。相应的，智能投影设备中内置有具有对象追踪功能的摄像头，这样，智能投影设备可以通过摄像头追踪拍摄手指，当手指运动轨迹为一指定的轨迹时，可以判定出在系统可识别区内检测到产生触控标记动作。进而，智能投影设备可以基于所产生的触控标记动作的手指运动轨迹的类型，如直线型轨迹、闭合型轨迹等，确定手指运动轨迹与待查询内容的位置关系，基于该位置关系，确定所产生的触控标记动作所标记的待查询内容所在的区域。并且，摄像头可以追踪拍摄待查询内容所在的区域，得到拍摄图像，该拍摄图像可以用于S103中的内容识别。
其中，摄像头的图像采集区域为智能投影设备的系统可识别区。并且，可以理解的是，当手指运动轨迹的类型为直线类型时，待查询内容位于手指运动轨迹之上；当手指运动轨迹为闭合型轨迹时，待查询内容位于手指运动轨迹所包含的区域内。
S103，识别所述区域内的待查询内容；
可以通过预定的识别方式，识别所述触控标记动作所标记的待查询内容。其中，待查询内容可以是文字或图片等。
示例性的，在一种实现方式中，采用光学字符识别技术(OCR，Optical CharacterRecognition)识别文字内容。OCR技术可将触控标记动作所选取的文字类选定范围的照片(如纸质书上印刷的文字，手写的文字，计算机屏幕中的文字等)转化为计算机编码文本数据，从而识别待查询内容。
在另一种实现方式中，采用图像识别技术识别图像内容。图像识别技术从触控标记动作所选取的图像类选定范围的照片中提取图像特征，再将图像特征与已有的特征库进行匹配，再通过相应的判断标准找到最接近待查询图像内容的识别结果数据，从而识别待查询内容。
S104，获得所述待查询内容对应的查询结果；
可以理解的是，获得所述待查询内容对应查询结果的具体方式可以存在多种，示例性的，可以采用本地查询，也可以采用远程查询。
其中，本地查询具体可以为：在所述智能投影设备的本地数据库中对所述待查询内容进行检索，得到所述待查询内容对应的查询结果。通过本地数据层进行查询，由于采用用户可自定义的本地数据库，对于特定领域的待查询内容可以实现查询结果的专而精，且本地数据库易于维护，便于管理，无需与外部通讯，使用安全、方便。
而远程查询具体可以为：向所述智能投影设备的云端服务器请求所述待查询内容对应的查询结果，并接收所述云端服务器反馈的所述待查询内容对应的查询结果。智能投影设备的云端服务器可以为智能投影设备中相应功能的云端服务器，不仅可以是智能投影设备供应商自身的云端服务器，也可以是该智能投影设备的应用第三方具有查询功能的云端服务器。例如，通过百度搜索应用的搜索引擎查询时，使用百度的云端服务器。采用云端服务器可以不需要本地数据库存储硬件，利用云端服务器内部的高速互联网络，能够满足各种信息查询服务的需求；并且不会因为故障等原因导致数据丢失，使用可靠性高。
在实际应用中，具体采用远程查询还是本地查询，可以根据用户实际需求或者实际场景进行设定。并且，本地查询和远程查询可以结合使用，具体可以为：首先在本地查询，如果通过本地查询未得到查询结果，可以进一步利用远程查询。
S105，输出所述待查询内容对应的查询结果。
可以理解的是，输出所述待查询内容对应的查询结果的具体方式可以存在多种。示例性的，可以通过投影显示输出，也可以通过推送输出。
其中，投影显示输出具体可以为：将包含所述待查询内容对应的查询结果界面进行投影，将所述查询结果的界面投影至智能投影设备的投影可显示区。其中，可以将投影界面置于待查询内容附近以便于查看。相对于现有技术中查询结果显示在智能设备的屏幕上，智能设备与待查询内容的载体明显分离，显示与交互的配合性较弱的不足。投影显示输出将待查询内容的查询结果以投影形式伴随显示在待查询内容旁供用户查看。可使待查询内容和虚拟投影内容的使用产生较强的信息关联性；解决了传统信息处理过程中，待查询内容与智能设备屏幕显示的查询结果分离性强的缺点，提高了信息处理的效率，改善了交互与显示方式，拓展了信息交互与显示的方式和体验，带来了混合现实的新颖体验。
而推送输出具体可以为：向预定终端推送所述待查询内容对应的查询结果，以使所述智能终端输出所述待查询内容对应的查询结果；所述预定终端为与所述智能投影设备预先建立通信连接的终端。其中，预定终端可以为智能手机、显示屏、计算机、平板电脑等。需要说明的是，获得的查询结果也可以经预定终端的文字转语音播报系统，最终以语音输出。推送输出可以将查询结果输出至任何一个或多个与智能投影设备预先建立通信连接的预定终端，根据预定终端的不同，可以将内容查询方法扩展、丰富至教学等应用场景。
本发明实施例所提供的内容查询方法中，智能投影设备通过检测触控标记动作，确定待查询内容所在的区域，识别待查询内容，进而获得待查询内容对应的查询结果，并将查询结果输出的技术方案。本方案中，仅仅通过触控标记动作来标记书本或纸张等内容载体上的待查询内容，便可通过智能投影设备自动完成内容查询，省略了查询过程中用户将待查询内容手动进行转化的步骤。因此，相对于现有技术，本方案可以有效提高查询操作效率，改善用户体验。
需要说明的是，本发明实施例的方案并不限于对实体书本或纸张的内容查询，对于某些电子设备显示的内容也可以进行内容查询。例如：桌子上放置的不是纸张，而是平板电脑，此时，同样可以通过触控标记动作省去用户手动输入查询内容的步骤。换言之，待查询内容的载体可以是印刷品，例如实体书本或纸张；也可以是显示设备，例如电子阅读器或显示屏；当然，也可以是幕布，例如舞台前的大幕或帷幕或专用于投影的投影幕。
为了提升用户的使用体验，该智能投影设备可以将触控标记动作的标记轨迹投影到用户执行触控标记动作的位置处，以使得用户可以直观地查看到触控标记动作所形成的标记轨迹，进而直观地查看到所标记的待查询内容。基于该种处理思路，如图2所示，本发明实施例所提供的另一种内容查询方法，应用于智能投影设备，所述智能投影设备的投影可显示区覆盖所述系统可识别区；所述方法可以包括如下步骤：
S201，在所述智能投影设备的系统可识别区内实时检测是否产生触控标记动作；以及，在检测到产生所述触控标记动作的同时，实时投影所述触控标记动作对应的标记轨迹；
为了提升用户体验，在检测到产生所述触控标记动作的同时，可以实时投影所述触控标记动作对应的标记轨迹，即在触控标记动作移动所形成的轨迹处进行实时投影，投影可为投影线、圈或框等，可根据用于需要定制。
本步骤中，不同类型的触控标记动作，可以对应相同或不同的标记轨迹。示例性的，标记轨迹可以包括但不局限于点式轨迹或线型轨迹。举例而言：假设触控标记动作包括：划线、点击和框选三种动作，那么，划线、点击和框选三种动作所对应的标记轨迹均可以为点式轨迹；或者，划线、点击和框选三种动作所对应的标记轨迹均可以为线型轨迹；或者，划线和框选两种动作所对应的标记轨迹均可以为线型轨迹，而点击动作所对应的标记轨迹可以为点式轨迹。
另外，由于在所述识别所述触控标记动作所标记的待查询内容的同时，实时投影所述触控标记动作对应的标记轨迹；用户可以清楚明了的知道自己所选定的待查询内容，避免了选定待查询内容出现错选的不足。
S202，当检测到产生触控标记动作后，确定所述触控标记动作所标记的待查询内容所在的区域；
S203，识别所述区域内的待查询内容；
S204，获得所述待查询内容对应的查询结果；
S205，输出所述待查询内容对应的查询结果。
本实施例中，S202-S205可以与上述实施例中S102-S105的步骤相同，在此不做赘述。
本发明实施例所提供的内容查询方法中，智能投影设备通过检测触控标记动作确定待查询内容所在的区域，以及实时投影触控标记动作对应的标记轨迹，识别待查询内容，进而获得待查询内容对应的查询结果，并将查询结果输出的技术方案。本方案中，仅仅通过触控标记动作来标记书本或纸张等内容载体上的待查询内容，便可通过智能投影设备自动完成内容查询，彻底省略了查询过程中用户将待查询内容手动进行转化的步骤，完全避免了输入待查询内容时发生输入错误的情况，并且能够通过投影的标记轨迹清楚的直观地查看到所选定的待查询内容，防止漏选、错选。因此，相对于现有技术，本方案可以有效提高内容查询效率，同时，进一步改善用户体验。
为了更好的理解本发明的技术方案，下面结合图4，以用户针对实体书本的内容进行查询为例，介绍如何利用本发明实施例所提供的方法进行内容查询。
如图4所示，在对实体书本3内容进行查询前，用户5先将实体书本3置于桌面1且放入智能投影设备2的系统可识别区及投影可显示区21内。进而，用户5通过触控笔4按照画圈、画框、划线或点击等触控标记动作，参见图6(a)～(d)，在实体书本3上标记待查询内容31。可以理解是，如图5所示，用户5也可以通过手指51在实体书本3上标记待查询内容31。
相应的，智能投影设备2可以通过执行如下步骤来实现内容查询：
步骤1，智能投影设备2在其系统可识别区内实时检测是否产生触控标记动作；在检测到产生所述触控标记动作的同时，实时投影所述触控标记动作对应的标记轨迹；
步骤2，当检测到产生触控标记动作后，确定所述触控标记动作所标记的待查询内容所在的区域；
步骤3，智能投影设备2识别该区域内实体书本3上的待查询内容31；
步骤4，智能投影设备2在其本地数据库中对该待查询内容31进行检索，得到该待查询内容31对应的查询结果；
步骤5：智能投影设备2将包含该待查询内容31所对应查询结果进行投影，查询结果投影23位于实体书本3旁的桌面1上。
本发明实施例采用具有混合现实体验的交互与显示方案，通过触控检测、文字图像识别、投影显示等技术，使用户能够使用触控笔或手指高效地从实体书本或纸张上选取实体书本或纸张上的内容，进行查询并获得查询结果，通过书本旁的虚拟界面查看查询结果。
相对于现有技术中，查询结果显示在智能设备的屏幕上，查询结果的载体(如智能手机等)与实体书本等内容出处物明显分离，显示与交互的配合性较弱的不足。本发明实施例从实体书本上选取内容，识别该内容，并在选择时投影显示触控操作的痕迹；再将该内容的信息处理结果以虚拟软件界面形式伴随显示在实体书本旁的平面上供用户查看使用。使实体内容和虚拟内容的使用产生较强的信息关联性，解决了传统信息处理过程中实体书本内容与虚拟软件功能分离性强的缺点，使用户能将实体书本与软件功能和软件界面有机结合使用，提高了信息处理的效率，改善了交互与显示方式，拓展了信息交互与显示的方式和体验，带来了混合现实的新颖体验。
如图3所示，相应于上述方法实施例，本发明实施例还提供了一种内容查询装置，应用于智能投影设备，所述装置可以包括：
检测模块301，用于在所述智能投影设备的系统可识别区内实时检测是否产生触控标记动作；
确定模块302，当检测到产生触控标记动作后，确定所述触控标记动作所标记的待查询内容所在的区域；
识别模块303，用于识别所述区域内的待查询内容；
查询模块304，用于获得所述待查询内容对应的查询结果；
输出模块305，用于输出所述待查询内容对应的查询结果。
可选的，所述智能投影设备的投影可显示区覆盖所述系统可识别区；所述检测模块301还用于在检测到产生所述触控标记动作的同时，实时投影所述触控标记动作对应的标记轨迹。
可选的，所述输出模块305包括：
第一输出子模块，用于将包含所述待查询内容对应的查询结果界面进行投影；
或者，
第二输出子模块，用于向预定终端推送所述待查询内容对应的查询结果，以使所述智能终端输出所述待查询内容对应的查询结果；所述预定终端为与所述智能投影设备预先建立通信连接的终端。
可选的，所述查询模块304包括：
第一查询子模块，用于在所述智能投影设备的本地数据库中对所述待查询内容进行检索，得到所述待查询内容对应的查询结果；
或者，
第二查询子模块，用于向所述智能投影设备的云端服务器请求所述待查询内容对应的查询结果，并接收所述云端服务器反馈的所述待查询内容对应的查询结果。
在本发明提供的又一实施例中，还提供了一种智能投影设备，如图7所示，所述智能投影设备包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信；存储器703，用于存放计算机程序；处理器701，用于执行存储器上所存放的程序时，实现本发明实施例所提供的内容查询方法。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现本发明实施例所提供的内容查询方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种内容查询方法，其特征在于，应用于智能投影设备，所述方法包括：
在所述智能投影设备的系统可识别区内实时检测是否产生触控标记动作；
当检测到产生触控标记动作后，确定所述触控标记动作所标记的待查询内容所在的区域；
识别所述区域内的待查询内容；
获得所述待查询内容对应的查询结果；
输出所述待查询内容对应的查询结果。
2.根据权利要求1所述的方法，其特征在于，所述智能投影设备的投影可显示区覆盖所述系统可识别区；
所述方法还包括：在检测到产生所述触控标记动作的同时，实时投影所述触控标记动作对应的标记轨迹。
3.根据权利要求1或2所述的方法，其特征在于，所述输出所述待查询内容对应的查询结果，包括：
将包含所述待查询内容对应的查询结果界面进行投影；
或者，
向预定终端推送所述待查询内容对应的查询结果，以使所述智能终端输出所述待查询内容对应的查询结果；所述预定终端为与所述智能投影设备预先建立通信连接的终端。
4.根据权利要求1或2所述的方法，其特征在于，所述获得所述待查询内容对应的查询结果，包括：
在所述智能投影设备的本地数据库中对所述待查询内容进行检索，得到所述待查询内容对应的查询结果；
或者，
向所述智能投影设备的云端服务器请求所述待查询内容对应的查询结果，并接收所述云端服务器反馈的所述待查询内容对应的查询结果。
5.根据权利要求1或2所述的方法，其特征在于，所述触控标记动作为利用预定的操作体所执行的划线、点击、框选或圈选动作。
6.一种内容查询装置，其特征在于，应用于智能投影设备，所述装置包括：
检测模块，用于在所述智能投影设备的系统可识别区内实时检测触控标记动作；
确定模块，用于当检测到产生触控标记动作后，确定所述触控标记动作所标记的待查询内容所在的区域；
识别模块，用于识别所述区域内的待查询内容；
查询模块，用于获得所述待查询内容对应的查询结果；
输出模块，用于输出所述待查询内容对应的查询结果。
7.根据权利要求6所述的装置，其特征在于，所述智能投影设备的投影可显示区覆盖所述系统可识别区；
所述检测模块还用于在检测到产生所述触控标记动作的同时，实时投影所述触控标记动作对应的标记轨迹。
8.根据权利要求6或7所述的装置，其特征在于，所述输出模块包括：
第一输出子模块，用于将包含所述待查询内容对应的查询结果界面进行投影；
或者，
第二输出子模块，用于向预定终端推送所述待查询内容对应的查询结果，以使所述智能终端输出所述待查询内容对应的查询结果；所述预定终端为与所述智能投影设备预先建立通信连接的终端。
9.一种智能投影设备，其特征在于，所述智能投影设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1至5任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至5任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910385743.8A CN110109576A (zh) | 2019-05-09 | 2019-05-09 | 一种内容查询方法、装置、智能投影设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910385743.8A CN110109576A (zh) | 2019-05-09 | 2019-05-09 | 一种内容查询方法、装置、智能投影设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110109576A true CN110109576A (zh) | 2019-08-09 |
Family
ID=67489106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910385743.8A Pending CN110109576A (zh) | 2019-05-09 | 2019-05-09 | 一种内容查询方法、装置、智能投影设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110109576A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110701506A (zh) * | 2019-08-26 | 2020-01-17 | 北京一数科技有限公司 | 一种触控投影学习台灯 |
| CN113970971A (zh) * | 2021-09-10 | 2022-01-25 | 荣耀终端有限公司 | 基于触控笔的数据处理方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106528742A (zh) * | 2016-11-04 | 2017-03-22 | 广东小天才科技有限公司 | 一种信息查询方法及装置 |
| CN107423392A (zh) * | 2017-07-24 | 2017-12-01 | 上海明数数字出版科技有限公司 | 基于ar技术的字、词典查询方法、系统及装置 |
| CN109035914A (zh) * | 2018-08-20 | 2018-12-18 | 广东小天才科技有限公司 | 一种基于智能台灯的学习方法及智能台灯 |
| CN109725732A (zh) * | 2019-01-23 | 2019-05-07 | 广东小天才科技有限公司 | 一种知识点的查询方法及家教设备 |
-
2019
- 2019-05-09 CN CN201910385743.8A patent/CN110109576A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106528742A (zh) * | 2016-11-04 | 2017-03-22 | 广东小天才科技有限公司 | 一种信息查询方法及装置 |
| CN107423392A (zh) * | 2017-07-24 | 2017-12-01 | 上海明数数字出版科技有限公司 | 基于ar技术的字、词典查询方法、系统及装置 |
| CN109035914A (zh) * | 2018-08-20 | 2018-12-18 | 广东小天才科技有限公司 | 一种基于智能台灯的学习方法及智能台灯 |
| CN109725732A (zh) * | 2019-01-23 | 2019-05-07 | 广东小天才科技有限公司 | 一种知识点的查询方法及家教设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110701506A (zh) * | 2019-08-26 | 2020-01-17 | 北京一数科技有限公司 | 一种触控投影学习台灯 |
| CN110701506B (zh) * | 2019-08-26 | 2022-08-16 | 北京一数科技有限公司 | 一种触控投影学习台灯 |
| CN113970971A (zh) * | 2021-09-10 | 2022-01-25 | 荣耀终端有限公司 | 基于触控笔的数据处理方法和装置 |
| CN113970971B (zh) * | 2021-09-10 | 2022-10-04 | 荣耀终端有限公司 | 基于触控笔的数据处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101930779B (zh) | 一种视频批注方法及视频播放器 | |
| US10339715B2 (en) | Virtual reality system | |
| CN105474207B (zh) | 用于搜索多媒体内容的用户界面方法和设备 | |
| US20160179225A1 (en) | Paper Strip Presentation of Grouped Content | |
| WO2021035223A1 (en) | Automatic data extraction and conversion of video/images/sound information from a board-presented lecture into an editable notetaking resource | |
| CN105786930B (zh) | 基于触摸交互的搜索方法及装置 | |
| AU2013287381A1 (en) | Method and apparatus for controlling application by handwriting image recognition | |
| US20220207872A1 (en) | Apparatus and method for processing prompt information | |
| US9335838B2 (en) | Tagging of written notes captured by a smart pen | |
| CN106575291A (zh) | 检测数字墨水的选择 | |
| US20170300746A1 (en) | Organizing Written Notes Using Contextual Data | |
| CN105631051A (zh) | 基于文字识别的移动增强现实阅读方法及其阅读系统 | |
| WO2021227628A1 (zh) | 一种电子设备及其交互方法 | |
| CN111882582A (zh) | 一种图像跟踪关联方法、系统、设备及介质 | |
| Rahman et al. | Motion-path based gesture interaction with smart home services | |
| CN110109576A (zh) | 一种内容查询方法、装置、智能投影设备及存储介质 | |
| CN102737094A (zh) | 信息处理装置、播放列表创建方法和播放列表创建程序 | |
| Margetis et al. | Augmenting physical books towards education enhancement | |
| Liwicki et al. | Touch & write: a multi-touch table with pen-input | |
| CN107102781A (zh) | 一种自标识触控笔及多点触控交互系统 | |
| US11262885B1 (en) | Multi-gesture context chaining | |
| US20220179552A1 (en) | Gesture-based menuless command interface | |
| KR20150097250A (ko) | 태그 정보를 이용한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
| Swaminathan et al. | Localization based object recognition for smart home environments | |
| CN113536037A (zh) | 基于视频的信息查询方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190809 |
|
| RJ01 | Rejection of invention patent application after publication |