CN113849118A - 一种应用于电子白板的图像识别方法及相关装置 - Google Patents
一种应用于电子白板的图像识别方法及相关装置 Download PDFInfo
- Publication number
- CN113849118A CN113849118A CN202111220524.8A CN202111220524A CN113849118A CN 113849118 A CN113849118 A CN 113849118A CN 202111220524 A CN202111220524 A CN 202111220524A CN 113849118 A CN113849118 A CN 113849118A
- Authority
- CN
- China
- Prior art keywords
- image
- electronic whiteboard
- geometric
- recognized
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000006870 function Effects 0.000 claims description 35
- 238000012015 optical character recognition Methods 0.000 claims description 29
- 238000003860 storage Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 239000013589 supplement Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000004590 computer program Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种应用于电子白板的图像识别方法及相关装置，本申请实施例根据用户在电子白板上的手势轨迹确定感兴趣区域，并从感兴趣区域中确定待识别的图像。本申请实施例预先训练有用于识别几何图形以及字符图形的识别模型，通过将待识别图像输入该识别模型中以确定待识别图像中是否包含预设图形类别的图像内容。若有，则将该图像内容对应的图形模型输出到电子白板上。由此无需用户手动输入待展示图形的相关信息来获取图形模型。仅通过对用户在电子白板上圈选的感兴趣区域进行识别，以确定该区域所展示内容对应的图形模型。减少了通过电子白板获取待展示图形的操作步骤和时间。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种应用于电子白板的图像识别方法及相关装置。
背景技术
随着科技的发展，配备智慧大屏、智慧黑板等交互式电子白板的学校愈加增多，电子白板的作用在于能够使用丰富的多媒体资源，以及强大的计算机多媒体工具。电子白板上集成有多项用于辅助教师对试卷、讲义的讲解的学科工具，常见的学科工具如几何学科工具、文字卡片等。
相关技术中，上述学科工具均需用户在电子白板上进行多次界面点击以找到对应的功能按键后，再通过功能按键调出。并且，在调出学科工具后还需要用户自行输入需要展示在电子白板上的图形的相关信息，例如待展示的文字、待展示几何图形的长宽高比例等。这导致用户通过电子白板获取待展示图形的过程繁琐，耗时较长。
发明内容
本申请实施例提供一种应用于电子白板的图像识别方法及相关装置，通过对用户在电子白板上圈选的感兴趣区域进行识别，以确定该区域所展示内容对应的图形模型。减少了通过电子白板获取待展示图形的操作步骤和时间。
第一方面，本申请实施例提供了一种应用于电子白板的图像识别方法，所述方法包括：
响应于识别指示，从所述电子白板上确定感兴趣区域；其中，所述感兴趣区域是根据用户在所述电子白板上的手势轨迹确定的；
从所述感兴趣区域中确定待识别图像，并将所述待识别图像输入预先训练的识别模型中；
若识别到所述待识别图像的图像内容属于预设图形类别，则根据所述图像内容在所述电子白板上输出对应的图形模型；其中，所述预设图形类别至少包括几何图形类和字符图形类。
本申请实施例根据用户在电子白板上的手势轨迹确定感兴趣区域，并从感兴趣区域中确定待识别的图像。本申请实施例预先训练有用于识别几何图形以及字符图形的识别模型，通过将待识别图像输入该识别模型中以确定待识别图像中是否包含预设图形类别的图像内容。若有，则将该图像内容对应的图形模型输出到电子白板上。由此无需用户手动输入待展示图形的相关信息来获取图形模型。仅通过对用户在电子白板上圈选的感兴趣区域进行识别，以确定该区域所展示内容对应的图形模型。减少了通过电子白板获取待展示图形的操作步骤和时间。
在一些可能的实施例中，所述从所述电子白板上确定感兴趣区域，包括：
识别所述电子白板上的手势轨迹，并确定所述手势轨迹的外接预设图形；
将所述外接预设图形内的显示区域作为所述感兴趣区域；其中，所述外接预设图形至少包括最小外接矩形。
考虑到存在手势轨迹未将待识别的图像内容圈选完整的情况，本申请实施例将用户在电子白板上绘制的手势轨迹的外接预设图形作为感兴趣区域，在尽可能不增加识别模型计算量的基础上，提高识别区域尺寸。
在一些可能的实施例中，所述确定所述手势轨迹的外接预设图形之前，所述方法还包括：
确定所述手势轨迹形成闭合轨迹区域。
本申请实施例在确定手势轨迹的外接预设图形之前，需确定该手势轨迹形成闭合轨迹区域，以提高识别精度。
在一些可能的实施例中，所述方法还包括：
若所述手势轨迹未形成闭合轨迹区域，则根据所述手势轨迹的起点和终点确定将所述手势轨迹补充成闭合轨迹区域所需的补充轨迹长度；
若所述补充轨迹长度与所述手势轨迹的总长度的比值未小于预设比值，则根据卡尔曼滤波器对所述起点和所述终点进行轨迹补充，以形成闭合轨迹区域；
若所述补充轨迹长度与所述手势轨迹的总长度的比值小于预设比值，则在所述电子白板上输出用于提示用户重新绘制手势区域的提示信息。
本申请实施例中，若所需补充的轨迹长度与手势轨迹总长度的比值未小于预设比值，则视为用户的手势轨迹绘制不标准，此时可通过卡尔曼滤波器将该手势轨迹补充为闭合的手势轨迹。若小于预设比值，则视为该手势轨迹为用户误触产生的轨迹，此时不对该手势区域进行识别，仅输出用于提示用户重新绘制手势区域的提示信息。
在一些可能的实施例中，所述从所述感兴趣区域中确定待识别图像，包括：
确定所述感兴趣区域的最小外接矩形区域，并剔除所述最小外接矩形区域的空白像素点；
将剔除空白像素点后的矩形区域内所展示内容作为所述待识别图像。
本申请实施例通过将剔除空白像素点后的矩形区域内所展示内容作为待识别图像来提高识别精度。
在一些可能的实施例中，所述根据所述图像内容在所述电子白板上输出对应的图形模型，包括：
若识别到所述图像内容为字符图形，则采用光学字符识别OCR对所述待识别图像进行识别，并将识别结果作为所述图像模型输出；其中，所述字符图形至少包括文字和标点符号；
若识别到所述图像内容为几何图形，则获取所述分类神经网络针对所述待识别图像的输出结果的置信度；
若所述置信度低于预设阈值，则采用光学字符识别OCR对所述待识别图像进行识别，并将识别结果作为所述图像模型输出；
若所述置信度不低于所述预设阈值，则确定所述图像内容中的几何图形信息，并根据所述几何图形信息生成对应的几何图形后，将所述几何图形作为所述图像模型输出；其中，所述几何图形信息至少包括所述几何图形的长宽高比例。
本申请实施例针对字符图像，采用光学字符识别OCR进行识别。针对几何图形，考虑到部分字符图形与几何图形较为相似，故采用置信度与预设阈值进行比较的方式，将虽被识别为几何图形，但置信度低于预设阈值的待识别图像进行OCR识别，而不低于预设阈值的待识别图像则根据识别到的几何图形信息，生成对应的几何图形。
在一些可能的实施例中，所述电子白板内置几何学科工具和文字卡片功能，所述方法还包括：
若在所述电子白板上输出的图形模型为几何图形，则在展示所述几何图形时，对所述几何图形启用所述几何学科工具；
若在所述电子白板上输出的图形模型为字符图形，则在展示所述字符图形时，对所述字符图形启用所述文字卡片功能。
本申请实施例根据用户所圈选感兴趣区域内展示的图像内容，获取该图像内容对应的图形模型之后，将该图形模型在电子白板上展示的同时，还启用该图形模型对应的学科工具功能。
第二方面，本申请实施例提供了一种应用于电子白板的图像识别装置，所述装置包括：
感兴趣区域确定模块，被配置为执行响应于识别指示，从所述电子白板上确定感兴趣区域；其中，所述感兴趣区域是根据用户在所述电子白板上的手势轨迹确定的；
待识别图像确定模块，被配置为执行从所述感兴趣区域中确定待识别图像，并将所述待识别图像输入预先训练的识别模型中；
图形模型确定模块，被配置为执行若识别到所述待识别图像的图像内容属于预设图形类别，则根据所述图像内容在所述电子白板上输出对应的图形模型；其中，所述预设图形类别至少包括几何图形类和字符图形类。
在一些可能的实施例中，执行所述从所述电子白板上确定感兴趣区域，所述感兴趣区域确定模块被配置为：
识别所述电子白板上的手势轨迹，并确定所述手势轨迹的外接预设图形；
将所述外接预设图形内的显示区域作为所述感兴趣区域；其中，所述外接预设图形至少包括最小外接矩形。
在一些可能的实施例中，执行所述确定所述手势轨迹的外接预设图形之前，所述感兴趣区域确定模块还被配置为：
确定所述手势轨迹形成闭合轨迹区域。
在一些可能的实施例中，所述感兴趣区域确定模块还被配置为：
若所述手势轨迹未形成闭合轨迹区域，则根据所述手势轨迹的起点和终点确定将所述手势轨迹补充成闭合轨迹区域所需的补充轨迹长度；
若所述补充轨迹长度与所述手势轨迹的总长度的比值未小于预设比值，则根据卡尔曼滤波器对所述起点和所述终点进行轨迹补充，以形成闭合轨迹区域；
若所述补充轨迹长度与所述手势轨迹的总长度的比值小于预设比值，则在所述电子白板上输出用于提示用户重新绘制手势区域的提示信息。
在一些可能的实施例中，执行所述从所述感兴趣区域中确定待识别图像，所述待识别图像确定模块被配置为：
确定所述感兴趣区域的最小外接矩形区域，并剔除所述最小外接矩形区域的空白像素点；
将剔除空白像素点后的矩形区域内所展示内容作为所述待识别图像。
在一些可能的实施例中，执行所述根据所述图像内容在所述电子白板上输出对应的图形模型，所述图形模型确定模块被配置为：
若识别到所述图像内容为字符图形，则采用光学字符识别OCR对所述待识别图像进行识别，并将识别结果作为所述图像模型输出；其中，所述字符图形至少包括文字和标点符号；
若识别到所述图像内容为几何图形，则获取所述分类神经网络针对所述待识别图像的输出结果的置信度；
若所述置信度低于预设阈值，则采用光学字符识别OCR对所述待识别图像进行识别，并将识别结果作为所述图像模型输出；
若所述置信度不低于所述预设阈值，则确定所述图像内容中的几何图形信息，并根据所述几何图形信息生成对应的几何图形后，将所述几何图形作为所述图像模型输出；其中，所述几何图形信息至少包括所述几何图形的长宽高比例。
在一些可能的实施例中，所述电子白板内置几何学科工具功能和文字卡片功能，所述装置还包括：
学科功能启用模块，被配置为若在所述电子白板上输出的图形模型为几何图形，则在展示所述几何图形时，对所述几何图形启用所述几何学科工具功能；
若在所述电子白板上输出的图形模型为字符图形，则在展示所述字符图形时，对所述字符图形启用所述文字卡片功能。
第三方面，本申请实施例还提供了一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例提供的一种应用于电子白板的图像识别方法。
第四方面，本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行本申请实施例提供的一种应用于电子白板的图像识别方法。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例示出的几何学科工具示意图；
图1b为本申请实施例示出的文字卡片示意图；
图2a为本申请实施例示出的应用于电子白板的图像识别方法整体流程图；
图2b为本申请实施例示出感兴趣区域示意图；
图2c为本申请实施例示出的最小外接矩形示意图；
图2d为本申请实施例示出的扩充最小外接矩形示意图；
图2e为本申请实施例示出的补充虚拟轨迹示意图；
图2f为本申请实施例示出的输出提示信息示意图；
图2g为本申请实施例示出的随几何图形模型启用几何学科工具示意图；
图2h为本申请实施例示出的随字符图形模型启用文字卡片的示意图；
图3为本申请实施例示出的应用于电子白板的图像识别方法另一流程图；
图4为本申请实施例示出的应用于电子白板的图像识别装置400的结构图；
图5为本申请实施例示出的电子设备示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。在本申请实施例的描述中，除非另有说明，“面将表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
在本申请实施例的描述中，除非另有说明，术语“多个”是指两个或两个以上，其它量词与之类似应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。方法在实际的处理过程中或者控制设备执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。
相关技术中，电子白板上集成有多项学科工具，常见的学科工具如几何学科工具、文字卡片等。几何学科工具主要用于绘制几何图形，具体如图1a所示，用户在选定图形矩形后，通过输入如长宽高的比例、数值等几何图形信息，即可在电子白板上生成对应的矩形模型。文字卡片则用于对输入的文字、符号等进行介绍说明。具体如图1b所示，电子白板启用该功能后，用户输入汉字“杜”，电子白板会输出展示携带有所输入内容解释说明的虚拟卡片。
然而，这些学科工具均需用户在电子白板上进行多次界面点击以找到对应的功能按键后，再通过功能按键调出。并且，在调出学科工具后还需要用户自行输入需要展示在电子白板上的图形的相关信息，例如待展示的文字、待展示几何图形的长宽高比例等。这导致用户通过电子白板获取待展示图形的过程繁琐，耗时较长。
为解决上述问题，本申请的发明构思为：根据用户在电子白板上的手势轨迹确定感兴趣区域，并从感兴趣区域中确定待识别的图像。本申请实施例预先训练有用于识别几何图形以及字符图形的识别模型，通过将待识别图像输入该识别模型中以确定待识别图像中是否包含预设图形类别的图像内容。若有，则将该图像内容对应的图形模型输出到电子白板上。由此无需用户手动输入待展示图形的相关信息来获取图形模型。仅通过对用户在电子白板上圈选的感兴趣区域进行识别，以确定该区域所展示内容对应的图形模型。减少了通过电子白板获取待展示图形的操作步骤和时间。
下面结合附图对本申请实施例中的一种应用于电子白板的图像识别方法进行详细说明。
参见图2a，图2a为本申请实施例提供的一种应用于电子白板的图像识别方法的整体流程图，包括如下步骤：
步骤201：响应于识别指示，从所述电子白板上确定感兴趣区域；其中，所述感兴趣区域是根据用户在所述电子白板上的手势轨迹确定的；
在一些可能的实施例中，用户可通过在电子白板上执行如连续点击、长按等操作对电子白板下达识别指示，还可通过点击设置在电子白板功能界面上的识别标识对电子白板下达识别指示。
当电子白板当前展示内容中存在用户需要绘制的图形模型时，用户可通过向电子白板下达识别指示后用手指在电子白板上进行滑动，滑动形成的轨迹即为手势轨迹。该手势轨迹形成区域即为待识别的感兴趣区域。实际应用中可如图2b所示，例如教师在教学时需要对电子白板当前展示的矩形进行讲解，教师可通过手指对该长方体进行圈选。手势轨迹所形成的圆圈区域即为感兴趣区域。
实际应用中多存在手势轨迹未将用户向圈选的区域圈选完整的情况，可通过少量扩充用户手势轨迹所形成区域来减轻该情况。实施时，可将用户在电子白板上绘制的手势轨迹的外接预设图形作为感兴趣区域。本申请实施例中将最小外接矩形作为外接预设图形。具体的，电子白板屏幕中预置有屏幕坐标系，例如用户绘制的手势轨迹为图2c所示椭圆时，通过对手势轨迹各轨迹点进行坐标识别以确定该椭圆的边界点，并通过边界点来确定该椭圆的最小外接矩形其中，上述边界点即为手势轨迹所形成区域中具备最大或最小的横坐标或纵坐标的轨迹点。
结合前述思路，为尽可能识别到用户想要圈选的区域，确定感兴趣的最小外接矩形后可通过像素分割将该最小外接矩形进行分割，并对分割后各区域的像素值进行识别。将像素值为0的空白区域滤除。另针对该最小外接矩形进行坐标检测，若检测到该最小外接矩形上存在手势轨迹点，则说明用户可能未圈选完整，此时可将该最小外接矩形进行适当扩充并重新识别，直至扩充后的最小外接矩形上不存在手势轨迹点，此时认为该最小外接矩形已将用户想要圈选的区域包裹完整。
具体如图2d所示，首先采用最小二阶矩阵确定手势轨迹的最小外接矩形，然后通过像素分割将该最小外接矩形以3×3像素大小划分成若干区域。识别划分后每一3×3区域的像素值，将像素值为0的空白区域滤除。当最小外接矩形上存在手势轨迹点时，沿该手势轨迹点方向下扩充预设面积，例如扩充3行像素点的面积。
本申请实施例在确定感兴趣区域时，首先需要确定手势轨迹是否形成闭合轨迹区域。实施时，可根据手势轨迹的起点和终点坐标确定是否相同。若相同则说明恰好形成闭合轨迹区域。若不相同，则需要确定手势轨迹是否存在交点，若存在交点则将超出轨迹进行滤除，余下轨迹应为闭合轨迹区域。若未存在交点则说明该手势轨迹未形成闭合轨迹区域。此时需根据手势轨迹的起点和终点确定将手势轨迹补充成闭合轨迹区域所需的补充轨迹长度。
实施时，可采用卡尔曼滤波器(kalaman)拟合出一条手势轨迹的起点到终点的虚拟轨迹，具体如图2e所示，在补充虚拟轨迹后，确定补充的虚拟轨迹与手势轨迹各自的长度。若补充轨迹长度与手势轨迹的总长度的比值小于预设比值(例如0.5)，则表明用户对手势轨迹区域并不存在识别意愿，可能是误操作触发了识别指示。此时可在电子白板上输出用于提示用户重新绘制手势区域的提示信息。相应的，若补充轨迹长度与手势轨迹的总长度的比值未小于预设比值，则表明用户对手势轨迹区域存在识别意愿，只是手势轨迹没有绘制标准，此时可将基于卡尔曼滤波器补充的虚拟轨迹将该手势轨迹修正为闭合轨迹区域。
步骤202：从所述感兴趣区域中确定待识别图像，并将所述待识别图像输入预先训练的识别模型中；
前文已说明，本申请实施例需将手势轨迹补充为闭合轨迹区域后，通过确定该闭合轨迹区域的最小外接矩形，并剔除该最小外接矩形区域内的空白像素点以尽可能识别到用户想要圈选的区域。在确定待识别图像时，通过将剔除空白像素点的最小外接矩形区域所展示的图像内容进行自适应二值化处理，即可得到待识别图像。
步骤203：若识别到所述待识别图像的图像内容属于预设图形类别，则根据所述图像内容在所述电子白板上输出对应的图形模型；其中，所述预设图形类别至少包括几何图形类和字符图形类。
本申请实施例预先训练有分类神经网络模型ResNeXt-50，该分类神经网络模型用于识别常见的几何图形以及字符图形。具体可包括立方体、立方体展开图、圆柱、圆柱展开图、圆锥、圆锥展开图、三角形、四边形、多边形、球形、圆形、扇形、字符和其他类共计14种分类。需要说明的是，本申请实施例参考市面常见几何学科工具中具备的几何图形，设有12种常见的几何图形类。并将如英文、汉字以及运算符号和标点符号等常见的字符图形归为字符图形类，而针对不能识别的内容则被归结为其他类，由此得到上述14种分类。
应理解的是，上述分类仅是本申请实施例提供的一种分类方式，并非进行限定，在实际应用中可根据需求自行设置分类标准。
由此，在对电子白板在感兴趣区域展示内容进行识别分类时，通过将所得待识别图像输入到上述模型中进行分类，根据模型输出结果即可确定待识别图像的图像内容属于上述14类中的哪一类。
考虑到存在部分与几何图形相似的字符，如“口”字相近于矩形。为提高识别精度，本申请实施例结合神经网络模型识别的置信度来确定识别结果。具体的，分类神经网络模型在确定待识别图像所属分类时，会输出唯一分类结果以及该分类结果的置信度。置信度即可理解为分类结果的可信程度。
前文已提及本申请实施例中的识别模型能够识别几何图形和字符图形，以及无法识别的其他类。如图2f所示，将待识别图像输入识别模型后，若识别到图像内容为其他类，即无法识别待识别图像的图像内容。此时输出用于提示用户圈选内容无法识别的提示信息。
若识别到图像内容为字符图形，则可直接采用现有的成熟识别技术光学字符识别OCR来对待识别图像进行识别。具体的，对识别为字符图形的待处理图像进行平滑处理和尺寸归一化处理后，上传至OCR识别服务端进行OCR字符识别，并将识别结果作为图像模型输出。
若识别到图像内容为几何图形时，则需要获取分类神经网络针对待识别图像的输出结果的置信度。当置信度低于预设阈值时，说明当前无法确定待识别图像的图像内容是几何图形，此时可直接采用光学字符识别OCR对待识别图像进行识别，并将识别结果作为图像模型输出。当置信度不低于预设阈值，则说明用户想要识别的就是几何图形，此时需要确定图像内容中的几何图形信息。并根据几何图形信息生成对应的几何图形后，将几何图形作为图像模型输出。几何图形信息可包括几何图形的长宽高比例、长宽高长度等。具体的，通过OpenCV轮廓提取算法findContours()对几何图形进行最大轮廓提取，最大轮廓提取可以滤除辅助线，角标等噪声，然后使用Harris角点检测算法对几何图形的边角进行提取。
确定几何图形信息时，针对三维的立方体(主要为长方体与正方体)，需利用角点检测得到长宽高的比例，其中圆锥需提取锥顶的角度。而针对立方体展开图，需要通过确定各个框的中心点，并利用地图矩阵判断为具体属于哪种展开图。针对二维几何图形，三角形需提取三各角的角度，并以三个角度判断为哪种三角形，如等边三角形、直角三角形等。相应的，四边形需通过角点信息判断为哪种四边形，如平行四边形、矩形、正方形、直角梯形等。而扇形则需识别出扇心角度为多大。在获取几何图形信息后，通过建模的方式即可生成符合该几何图形信息的几何图形模型。
考虑到相关技术中，如几何学科工具、文字卡片等学科工具均需用户在电子白板上进行多次界面点击以找到对应的功能按键后，再通过功能按键调出。并且，在调出学科工具后还需要用户自行输入需要展示在电子白板上的图形的相关信息。本申请实施例可设置为根据待识别图像的所属分类，在输出对应图形模型的同时，启用对应的学科工具。
实施时，若识别到待识别图像中包含几何图形，则在电子白板上展示该几何图形的同时，启用对该几何图形对应的几何学科工具功能。具体的，例如待识别图像中包含一长方体。通过获取该长方体的长宽高比例在电子白板上生成对应的长方体模型后，如图2g所示，电子白板自动启用针对该长方体模型的几何学科工具功能。该功能可包括对该长方体模型进行拉伸、旋转、填色、展开、置顶以及删除等。若识别到待识别图像中包含字符图形，则通过OCR服务端获取该字符图形对应的图形模型后，对该字符图形启用文字卡片功能。例如图2h所示，针对包含“杜”字的待识别图像，根据OCR服务端输出的“杜”字的字符图形模型确定该字的文字卡片，并将该文字卡片展示在电子白板上。该文字卡片中包含该字的拼音、词性等介绍。
基于上述内容，本申请实施例提无需用户手动输入待展示图形的相关信息来获取图形模型。仅通过对用户在电子白板上圈选的感兴趣区域进行识别，以确定该区域所展示内容对应的图形模型。并且在展示图形模型的同时，自动启用该图形模型对应的学科工具，减少了通过电子白板获取待展示图形的操作步骤和时间，提高教学效率。
为便于理解本申请实施例提供的一种应用于电子白板的图像识别方法的整体流程，具体如图3所示，包括如下步骤：
步骤301：获取电子白板上的手势轨迹；
步骤302：确定该手势轨迹是否形成闭合轨迹区域；
步骤303：未形成则通过卡尔曼滤波器对手势轨迹进行补充，以形成闭合轨迹区域；
步骤304：删除闭合轨迹区域以外的手势轨迹点；
步骤305：通过闭合轨迹区域确定待识别图像，并将该待识别图像输入识别模型。
步骤306：当识别结果为几何图形时，判断置信度是否低于预设阈值。
步骤307：对该待识别图像进行平滑处理以及尺寸归一化后，输入OCR服务端。
步骤308：若不低于预设阈值，则通过最大轮廓检测以及角点检测算法确定几何图形信息，并将对应的几何图形模型输出展示。
步骤309：当识别结果为字符图形时，对该待识别图像进行平滑处理以及尺寸归一化后，输入OCR服务端。
步骤310：当识别结果为其他类时，输出用于提示用户内容无法识别的提示消息。
步骤311：将OCR服务端输出的字符图形模型输出展示。
步骤312：在电子白板上展示图形模型的同时，启用该图形模型对应的学科工具。
基于相同的发明构思，本申请实施例还提供了一种应用于电子白板的图像识别装置400，具体如图4所示，包括：
感兴趣区域确定模块401，被配置为执行响应于识别指示，从所述电子白板上确定感兴趣区域；其中，所述感兴趣区域是根据用户在所述电子白板上的手势轨迹确定的；
待识别图像确定模块402，被配置为执行从所述感兴趣区域中确定待识别图像，并将所述待识别图像输入预先训练的识别模型中；
图形模型确定模块403，被配置为执行若识别到所述待识别图像的图像内容属于预设图形类别，则根据所述图像内容在所述电子白板上输出对应的图形模型；其中，所述预设图形类别至少包括几何图形类和字符图形类。
在一些可能的实施例中，执行所述从所述电子白板上确定感兴趣区域，所述感兴趣区域确定模块401被配置为：
识别所述电子白板上的手势轨迹，并确定所述手势轨迹的外接预设图形；
将所述外接预设图形内的显示区域作为所述感兴趣区域；其中，所述外接预设图形至少包括最小外接矩形。
在一些可能的实施例中，执行所述确定所述手势轨迹的外接预设图形之前，所述感兴趣区域确定模块401还被配置为：
确定所述手势轨迹形成闭合轨迹区域。
在一些可能的实施例中，所述感兴趣区域确定模块401还被配置为：
若所述手势轨迹未形成闭合轨迹区域，则根据所述手势轨迹的起点和终点确定将所述手势轨迹补充成闭合轨迹区域所需的补充轨迹长度；
若所述补充轨迹长度与所述手势轨迹的总长度的比值未小于预设比值，则根据卡尔曼滤波器对所述起点和所述终点进行轨迹补充，以形成闭合轨迹区域；
若所述补充轨迹长度与所述手势轨迹的总长度的比值小于预设比值，则在所述电子白板上输出用于提示用户重新绘制手势区域的提示信息。
在一些可能的实施例中，执行所述从所述感兴趣区域中确定待识别图像，所述待识别图像确定模块402被配置为：
确定所述感兴趣区域的最小外接矩形区域，并剔除所述最小外接矩形区域的空白像素点；
将剔除空白像素点后的矩形区域内所展示内容作为所述待识别图像。
在一些可能的实施例中，执行所述根据所述图像内容在所述电子白板上输出对应的图形模型，所述图形模型确定模块403被配置为：
若识别到所述图像内容为字符图形，则采用光学字符识别OCR对所述待识别图像进行识别，并将识别结果作为所述图像模型输出；其中，所述字符图形至少包括文字和标点符号；
若识别到所述图像内容为几何图形，则获取所述分类神经网络针对所述待识别图像的输出结果的置信度；
若所述置信度低于预设阈值，则采用光学字符识别OCR对所述待识别图像进行识别，并将识别结果作为所述图像模型输出；
若所述置信度不低于所述预设阈值，则确定所述图像内容中的几何图形信息，并根据所述几何图形信息生成对应的几何图形后，将所述几何图形作为所述图像模型输出；其中，所述几何图形信息至少包括所述几何图形的长宽高比例。
在一些可能的实施例中，所述电子白板内置几何学科工具功能和文字卡片功能，所述装置还包括：
学科功能启用模块，被配置为若在所述电子白板上输出的图形模型为几何图形，则在展示所述几何图形时，对所述几何图形启用所述几何学科工具功能；
若在所述电子白板上输出的图形模型为字符图形，则在展示所述字符图形时，对所述字符图形启用所述文字卡片功能。
下面参照图5来描述根据本申请的这种实施方式的电子设备130。图5显示的电子设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器132，上述指令可由装置400的处理器131执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器131执行时实现如本申请提供的应用于电子白板的图像识别方法中的任一方法。
在示例性实施例中，本申请提供的一种应用于电子白板的图像识别方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种应用于电子白板的图像识别方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的用于应用于电子白板的图像识别的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像缩放设备的处理器以产生一个机器，使得通过计算机或其他可编程图像缩放设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像缩放设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像缩放设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种应用于电子白板的图像识别方法，其特征在于，所述方法包括：
响应于识别指示，从所述电子白板上确定感兴趣区域；其中，所述感兴趣区域是根据用户在所述电子白板上的手势轨迹确定的；
从所述感兴趣区域中确定待识别图像，并将所述待识别图像输入预先训练的识别模型中；
若识别到所述待识别图像的图像内容属于预设图形类别，则根据所述图像内容在所述电子白板上输出对应的图形模型；其中，所述预设图形类别至少包括几何图形类和字符图形类。
2.根据权利要求1所述的方法，其特征在于，所述从所述电子白板上确定感兴趣区域，包括：
识别所述电子白板上的手势轨迹，并确定所述手势轨迹的外接预设图形；
将所述外接预设图形内的显示区域作为所述感兴趣区域；其中，所述外接预设图形至少包括最小外接矩形。
3.根据权利要求2所述的方法，其特征在于，所述确定所述手势轨迹的外接预设图形之前，所述方法还包括：
确定所述手势轨迹形成闭合轨迹区域。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若所述手势轨迹未形成闭合轨迹区域，则根据所述手势轨迹的起点和终点确定将所述手势轨迹补充成闭合轨迹区域所需的补充轨迹长度；
若所述补充轨迹长度与所述手势轨迹的总长度的比值未小于预设比值，则根据卡尔曼滤波器对所述起点和所述终点进行轨迹补充，以形成闭合轨迹区域；
若所述补充轨迹长度与所述手势轨迹的总长度的比值小于预设比值，则在所述电子白板上输出用于提示用户重新绘制手势区域的提示信息。
5.根据权利要求1所述的方法，其特征在于，所述从所述感兴趣区域中确定待识别图像，包括：
确定所述感兴趣区域的最小外接矩形区域，并剔除所述最小外接矩形区域的空白像素点；
将剔除空白像素点后的矩形区域内所展示内容作为所述待识别图像。
6.根据权利要求1所述的方法，其特征在于，所述根据所述图像内容在所述电子白板上输出对应的图形模型，包括：
若识别到所述图像内容为字符图形，则采用光学字符识别OCR对所述待识别图像进行识别，并将识别结果作为所述图像模型输出；其中，所述字符图形至少包括文字和标点符号；
若识别到所述图像内容为几何图形，则获取所述分类神经网络针对所述待识别图像的输出结果的置信度；
若所述置信度低于预设阈值，则采用光学字符识别OCR对所述待识别图像进行识别，并将识别结果作为所述图像模型输出；
若所述置信度不低于所述预设阈值，则确定所述图像内容中的几何图形信息，并根据所述几何图形信息生成对应的几何图形后，将所述几何图形作为所述图像模型输出；其中，所述几何图形信息至少包括所述几何图形的长宽高比例。
7.根据权利要求1-6中任一所述的方法，其特征在于，所述电子白板内置几何学科工具功能和文字卡片功能，所述方法还包括：
若在所述电子白板上输出的图形模型为几何图形，则在展示所述几何图形时，对所述几何图形启用所述几何学科工具功能；
若在所述电子白板上输出的图形模型为字符图形，则在展示所述字符图形时，对所述字符图形启用所述文字卡片功能。
8.一种应用于电子白板的图像识别装置，其特征在于，所述装置包括：
感兴趣区域确定模块，被配置为执行响应于识别指示，从所述电子白板上确定感兴趣区域；其中，所述感兴趣区域是根据用户在所述电子白板上的手势轨迹确定的；
待识别图像确定模块，被配置为执行从所述感兴趣区域中确定待识别图像，并将所述待识别图像输入预先训练的识别模型中；
图形模型确定模块，被配置为执行若识别到所述待识别图像的图像内容属于预设图形类别，则根据所述图像内容在所述电子白板上输出对应的图形模型；其中，所述识别模型用于识别所述预设图形类别的图像，所述预设图形类别至少包括几何图形类和字符图形类。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的应用于电子白板的图像识别方法。
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的应用于电子白板的图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111220524.8A CN113849118A (zh) | 2021-10-20 | 2021-10-20 | 一种应用于电子白板的图像识别方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111220524.8A CN113849118A (zh) | 2021-10-20 | 2021-10-20 | 一种应用于电子白板的图像识别方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113849118A true CN113849118A (zh) | 2021-12-28 |
Family
ID=78982419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111220524.8A Pending CN113849118A (zh) | 2021-10-20 | 2021-10-20 | 一种应用于电子白板的图像识别方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113849118A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114579032A (zh) * | 2022-02-15 | 2022-06-03 | 长沙朗源电子科技有限公司 | 基于ocr的电子白板智能手绘图形方法、装置及设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345362A (zh) * | 2013-06-27 | 2013-10-09 | 优视科技有限公司 | 批量保存网页的方法及系统 |
| CN104731509A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇虎科技有限公司 | 基于触摸操作的搜索方法、装置和终端 |
| US20160328856A1 (en) * | 2015-05-08 | 2016-11-10 | Qualcomm Incorporated | Systems and methods for reducing a plurality of bounding regions |
| CN106372243A (zh) * | 2016-09-19 | 2017-02-01 | 广东小天才科技有限公司 | 应用于电子终端的试题搜索方法和装置 |
| WO2020005575A1 (en) * | 2018-06-25 | 2020-01-02 | Google Llc | Identifying and controlling smart devices |
| CN110956674A (zh) * | 2019-10-23 | 2020-04-03 | 广州视源电子科技股份有限公司 | 图形调整方法、装置、设备及存储介质 |
| CN112528927A (zh) * | 2020-12-22 | 2021-03-19 | 北京百度网讯科技有限公司 | 基于轨迹分析的置信度确定方法、路侧设备及云控平台 |
| CN112732134A (zh) * | 2020-12-22 | 2021-04-30 | 深圳传音控股股份有限公司 | 信息识别方法、移动终端及存储介质 |
| CN113191131A (zh) * | 2021-05-10 | 2021-07-30 | 重庆中科云从科技有限公司 | 用于文本识别的表格模板建立方法、文本识别方法、系统 |
| CN113313066A (zh) * | 2021-06-23 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像识别方法、装置、存储介质以及终端 |
-
2021
- 2021-10-20 CN CN202111220524.8A patent/CN113849118A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345362A (zh) * | 2013-06-27 | 2013-10-09 | 优视科技有限公司 | 批量保存网页的方法及系统 |
| CN104731509A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇虎科技有限公司 | 基于触摸操作的搜索方法、装置和终端 |
| US20160328856A1 (en) * | 2015-05-08 | 2016-11-10 | Qualcomm Incorporated | Systems and methods for reducing a plurality of bounding regions |
| CN106372243A (zh) * | 2016-09-19 | 2017-02-01 | 广东小天才科技有限公司 | 应用于电子终端的试题搜索方法和装置 |
| WO2020005575A1 (en) * | 2018-06-25 | 2020-01-02 | Google Llc | Identifying and controlling smart devices |
| CN110956674A (zh) * | 2019-10-23 | 2020-04-03 | 广州视源电子科技股份有限公司 | 图形调整方法、装置、设备及存储介质 |
| CN112528927A (zh) * | 2020-12-22 | 2021-03-19 | 北京百度网讯科技有限公司 | 基于轨迹分析的置信度确定方法、路侧设备及云控平台 |
| CN112732134A (zh) * | 2020-12-22 | 2021-04-30 | 深圳传音控股股份有限公司 | 信息识别方法、移动终端及存储介质 |
| CN113191131A (zh) * | 2021-05-10 | 2021-07-30 | 重庆中科云从科技有限公司 | 用于文本识别的表格模板建立方法、文本识别方法、系统 |
| CN113313066A (zh) * | 2021-06-23 | 2021-08-27 | Oppo广东移动通信有限公司 | 图像识别方法、装置、存储介质以及终端 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114579032A (zh) * | 2022-02-15 | 2022-06-03 | 长沙朗源电子科技有限公司 | 基于ocr的电子白板智能手绘图形方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10664695B2 (en) | System and method for managing digital ink typesetting | |
| EP2650766B1 (en) | Multi-character continuous handwriting input method | |
| JP2003303047A (ja) | 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品 | |
| KR20180077152A (ko) | 핸드라이팅 입력을 가이드하는 시스템 및 방법 | |
| CN103218160A (zh) | 人机交互方法及终端 | |
| US11687618B2 (en) | System and method for processing text handwriting in a free handwriting mode | |
| EP3058513B1 (en) | Multi-color channel detection for note recognition and management | |
| CN112711362B (zh) | 手绘流程图标准化生成方法及其装置 | |
| JP2013089198A (ja) | 電子コミック編集装置、方法及びプログラム | |
| US11610054B1 (en) | Semantically-guided template generation from image content | |
| JP2022548494A (ja) | グラフィックオブジェクトを選択するための方法及び対応するデバイス | |
| CN113673432A (zh) | 手写识别方法、触摸显示设备、计算机设备及存储介质 | |
| US11429259B2 (en) | System and method for selecting and editing handwriting input elements | |
| EP4068225A2 (en) | Method for training text positioning model and method for text positioning | |
| Murugappan et al. | Feasy: a sketch-based interface integrating structural analysis in early design | |
| CN113849118A (zh) | 一种应用于电子白板的图像识别方法及相关装置 | |
| Vajda et al. | A method for camera-based interactive whiteboard reading | |
| CN114332894A (zh) | 图像的文本检测方法及装置 | |
| CN111832551A (zh) | 文本图像处理方法、装置、电子扫描设备和存储介质 | |
| CN110750501A (zh) | 文件检索方法和装置、存储介质及相关设备 | |
| CN112542163A (zh) | 智能语音交互方法、设备及存储介质 | |
| CN112395834B (zh) | 基于图片输入的脑图生成方法、装置、设备及存储介质 | |
| JP4148867B2 (ja) | 筆跡処理装置 | |
| EP4047465A1 (en) | Modifying digital content | |
| CN113778595A (zh) | 文档生成方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211228 |
|
| WD01 | Invention patent application deemed withdrawn after publication |