CN110427820A - 一种基于神经网络的ppt边框识别方法及相关设备 - Google Patents

一种基于神经网络的ppt边框识别方法及相关设备 Download PDF

Info

Publication number
CN110427820A
CN110427820A CN201910562994.9A CN201910562994A CN110427820A CN 110427820 A CN110427820 A CN 110427820A CN 201910562994 A CN201910562994 A CN 201910562994A CN 110427820 A CN110427820 A CN 110427820A
Authority
CN
China
Prior art keywords
layer
ppt
picture
feature extraction
contours segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910562994.9A
Other languages
English (en)
Other versions
CN110427820B (zh
Inventor
管明雷
汪驰升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Ronghui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ronghui Technology Co ltd filed Critical Shenzhen Ronghui Technology Co ltd
Priority to CN201910562994.9A priority Critical patent/CN110427820B/zh
Publication of CN110427820A publication Critical patent/CN110427820A/zh
Application granted granted Critical
Publication of CN110427820B publication Critical patent/CN110427820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于神经网络的PPT边框识别方法及相关设备，通过将含有PPT文档信息的图片输入所述特征提取层中进行特征提取，得到所述特征提取层输出的图片的特征图；将所述图片的特征图输入到所述轮廓分割层，得到所述轮廓分割层输出的轮廓分割图像；将所述轮廓分割图像输入到角点定位层，得到所述角点定位层输出的PPT边框的四个角点的位置信息；将所述角点位置信息输入角点回归层得到角点位置修正信息；根据所述四个角点的位置信息识别出所述PPT边框。本发明所提供的方法及设备，可以实现快捷的从图片文件中识别出PPT文档的边框，为从PPT文档中准确的提取PPT信息提供了前提，为用户从视频文件中提取PPT信息提供便利。

Description

一种基于神经网络的PPT边框识别方法及相关设备
技术领域
本发明涉及信息处理技术领域，尤其涉及的是一种基于神经网络的PPT边框识别方法及相关设备。
背景技术
目前，在大型会议还是内部讨论会中，参会者都会利用PPT文档进行报告。演讲者通过将PPT投影到投影幕或显示器上来将演讲主要内容呈现给观众。观众主要是通过呈现出来的PPT文档和演讲者口头汇报的内容来获知PPT文档的信息，因此在会议中最主要内容是PPT文档内容和演讲中口诉内容。
目前，观众或者主办方会利用录像设备来对会议中PPT文档内容、演讲者口头语言内容进行采集。这种视频录制方法能够有效地记录演讲者的PPT演示内容和口头演讲内容，但是针对录制好的视频文件可能会含有大量与PPT文档及其讲解不相关的内容，若未能参加现场会议的用户需要基于整个视频文件获取PPT文档的信息，则可能会因视频文件中含有的信息量大，并非是单一的关于PPT文档信息的视频文件，导致花费大量不必要的时间。而现有技术中，还未公开用于提取视频文件中的PPT文档内容或者演讲中的语言文字内容的方法，也未公开如何在提取视频文件中的PPT文档时准确识别其边框，从而实现准确的PPT画面的提取，因此如何快速的从视频文件中提取PPT文档相关信息的问题是亟待需要解决的问题。
因此，现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种基于神经网络的PPT边框识别方法及相关设备，克服现有技术中存在的技术还不含有从图片文件中获取PPT文档方法的缺陷。
本发明提供了一种基于神经网络的PPT边框识别方法，其中，所述神经网络包括：特征提取层、轮廓分割层和角点定位层：
所述PPT边框识别方法包括：
将含有PPT文档信息的图片输入所述特征提取层中进行特征提取，得到所述特征提取层输出的图片的特征图；
将所述图片的特征图输入到所述轮廓分割层，得到所述轮廓分割层输出的轮廓分割图像；
将所述轮廓分割图像输入到角点定位层，得到所述角点定位层输出的PPT边框的四个角点的位置信息；
根据所述四个角点的位置信息识别出所述PPT边框。
可选的，所述特征提取层包括：第一卷积层和反卷积层；
所述含有PPT文档信息的图片输入所述第一卷积层，所述第一卷积层输出所述图片所对应的图片特征层；
将所述图片特征层输入所述反卷积层，所述反卷积层输出所述图片特征层所对应的特征图。
可选的，所述轮廓分割层包括：第一卷积核；
所述特征图输入所述卷积核，经过卷积操作后，输出轮廓分割图像。
可选的，所述角点定位层包括：第二卷积核；
将所述轮廓分割图像依次输入所述第二卷积核，重复四次，分别得到四次卷积操作后输出的所述四个角点的位置信息。
可选的，所述神经网络还包括：全连接层；
所述方法还包括：
根据所述四个角点的位置信息，从特征图中提取出其所对应的特征向量；
将所述特征向量输入若干个全连接层，得到输出的四个角点在图片上的角点位置修正信息。
可选的，所述方法还包括：
对一系列含有PPT文档信息的图片进行预处理，将其缩放为尺寸的图片后，再输入到特征提取层。
可选的，所述特征提取层为已训练的Mobilenet v2网络结构和所述反卷积层的组成，或者所述特征提取层为编码-解码网络结构。
在上述方法的基础上，本发明还提供了一种基于神经网络的PPT边框识别装置，其中，所述神经网络包括：特征提取层、轮廓分割层和角点定位层：
所述PPT边框识别装置包括：
特征提取模块，用于将含有PPT文档信息的图片输入所述特征提取层中进行特征提取，得到所述特征提取层输出的图片的特征图；
轮廓分割模块，用于将所述一系列图片的特征图输入到所述轮廓分割层，得到所述轮廓分割层输出的轮廓分割图像；
角点定位模块，用于将所述轮廓分割图像输入到角点定位层，得到所述角点定位层输出的PPT边框的四个角点的位置信息；
边框识别模块，用于根据所述四个角点的位置信息识别出所述PPT边框。
在上述方法的基础上，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现任一项所述方法的步骤。
在上述方法的基础上，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述的方法的步骤。
有益效果，本发明提供了一种基于神经网络的PPT边框识别方法及相关设备，通过将含有PPT文档信息的图片输入所述特征提取层中进行特征提取，得到所述特征提取层输出的图片的特征图；将所述图片的特征图输入到所述轮廓分割层，得到所述轮廓分割层输出的轮廓分割图像；将所述轮廓分割图像输入到角点定位层，得到所述角点定位层输出的PPT边框的四个角点的位置信息；根据所述四个角点的位置信息识别出所述PPT边框。本发明所提供的方法及设备，可以实现快捷的从图片文件中识别出PPT文档的边框，为从PPT文档中准确的提取PPT信息提供了前提，为用户从视频文件中提取PPT信息提供便利。
附图说明
图1是本发明所述方法具体实施例的步骤流程图；
图2是本发明所述方法的具体应用实施例步骤流程图；
图3是本发明所述方法识别出所述边框的示意图；
图4是本发明所述装置的原理结构框图；
图5是本发明所述计算机设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
本发明提供了一种基于神经网络的PPT边框识别方法，所述神经网络包括：特征提取层、轮廓分割层和角点定位层。
本发明所述方法利用神经网络对含有PPT边框的图片进行处理，分别通过特征提取、轮廓分割和PPT四个角点的定位实现从图片中识别出PPT边框。具体的，如图1所示，所述PPT边框识别方法包括：
步骤S1、将一系列含有PPT文档信息的图片输入所述特征提取层中进行特征提取，得到所述特征提取层输出的一系列图片的特征图。
本步骤中首先获取的含有PPT文档信息的图片，可以通过从视频文件中获取，或者拍摄图像得到，以及其他可以获取到含有PPT文档信息的图片的方式。
可以想到是，对于第一种方式，所述图片可以为对视频文件进行分帧处理得到的。将视频文件分割成处于同一时间轴序列的一系列图像帧，该一系列图像帧形成序列图库。可以想到的是，对视频文件做分帧处理一般需要获取该视频文件的总时长，根据预定时间为间隔，将视频文件分割成独立的原始图像帧。其中，预设时间越小，则视频文件中分割出原始图像帧越多，预设时间越大，则视频文件中分割出的原始图像帧就越少。而所述原始图像帧分割出的越多，则相似度高的图片就会越多，相邻图像帧之间的相似度就会越大，因此本步骤中视频文件的总时长，以及分割时间的设置均对分割出的图像帧个数及相邻图像帧之间的相似度有影响。
针对第二种，该一系列图片也可以是拍摄出的含有PPT画面的一系列图像，将拍摄出的一系列图像按照时间顺序进行排列，得到一系列的信息图像组成的图片集。
当获取到一系列含有PPT文档信息的图片后，利用神经网络的特征提取层提取各个图片的特征图。
具体的，所述特征提取层包括：第一卷积层和反卷积层；
所述一系列含有PPT文档信息的图片输入所述第一卷积层，所述第一卷积层输出所述图片所对应的图片特征层；
将所述图片特征层输入所述反卷积层，所述反卷积层输出所述图片特征层所对应的特征图。
本步骤中所使用的第一卷积层和反卷积层为已训练，因此将图片集输入后，可以输出提取出的特征图。所述特征提取层可以为已训练的Mobilenet v2网络结构和所述反卷积层的组成，或者所述特征提取层为编码-解码网络结构。
所述特征提取层的训练步骤为：
(1)、先收集训练样本数据集，若使用的训练样本数据只有300张，为了通过少量的样本训练有效的泛化能力强的新模型，使用训练数据的生成器，通过旋转、平移、缩放、翻转等来进行数据增强，通过随机变化来增加样本数量。若收集到的训练样本数据有1000张，则不用进行数据增强，可以直接使用。
(2)、使用工具对上述训练样本数据进行标记，标记出训练样本数据的图片中含有的PPT边框。
(3)、输入的是512*512的RGB三通道彩色样本和标签，然后将所有的图片乘以1/255缩放，输入待训练的特征提取层中进行训练。
(4)、若使用的是Mobilenet v2网络结构，则特征提取层的前半部分为Mobilenetv2网络结构的13层，以及在mobilenet v2的第13个反转残差块(inverted residualblock)后接一个反卷积层组成网络结构，若采用编码-解码网络结构，则网络结构的前半部分用的是VVGnet-16的前10层，因为VGG-16的前半部分和网络结构是卷积-卷积-池化的结构，可以实现对网络进行初始化。
(5)、根据网络结构的输出结果和损失函数进行多次训练，训练优化器采用的是随机动量梯度下降法，学习率设置为0.0001，最后训练的准确率达到0.96，迭代完成后将训练好的模型权重进行保存。
通过上面的步骤实现了对特征提取层的训练，所述特征提取层基于标记出的特征图中含有的特征图信息，提取出未标记图片中含有的特征图。
步骤S2、将所述一系列图片的特征图输入到所述轮廓分割层，得到所述轮廓分割层输出的轮廓分割图像。
将上述步骤S1中特征提取层输出的特征图输入到所述轮廓分割层，利用所述轮廓分割层对所述特征层进行图像分割，得到被分割出的含有多个区域的特征图。
所述轮廓分割层包括：第一卷积核；所述特征图输入所述第一卷积核，经过卷积操作后，输出轮廓分割图像。
所述轮廓分割层为预设尺寸的卷积核进行一次卷积操作，得到PPT轮廓分割图像。具体的，使用1*1尺寸的卷积核进行一次卷积操作得到28*28大小的PPT轮廓分割图像。
步骤S3、将所述轮廓分割图像输入所述角点定位层，得到所述角点定位层输出的PPT边框的四个角点的位置信息。
将生成的轮廓分割图像上使用大尺寸卷积核分别进行四次卷积以找出PPT的四个角点的位置。
所述角点定位层包括：第二卷积核；
将所述轮廓分割图像依次输入所述第二卷积核，重复四次，分别得到四次卷积操作后输出的所述四个角点的位置信息。
所述神经网络还包括：全连接层。所述全连接层连接在所述第二卷积核之后，用于对所述四个角点的位置信息进行修正。
进而，本步骤中还包括：
根据所述四个角点的位置信息，从特征图中提取出其所对应的特征向量；
将所述特征向量输入若干个全连接层，得到输出的四个角点在图片上的角点位置修正信息。
使用角点位置信息在所述特征图中对应位置上提取出特征向量，最后得到4*96的特征向量。
将得到4*96的特征向量作为输入项，输入两个全连接层最后得到四个角点在224*224尺寸的图像上的角点位置修正信息。
步骤S4、根据所述四个角点的位置信息识别出所述PPT边框。
由于上述步骤S3中计算得到四个角点的位置信息，因此可以基于四个角点的位置信息识别出PPT边框，进而实现PPT文档边框的识别。
为了取得更佳的数据处理结果，所述方法还包括：
对一系列含有PPT文档信息的图片进行预处理，将其缩放为尺寸的图片后，再输入到特征提取层。
所述预处理可以是对图像进行去噪或者将其缩放为预设尺寸后，输入到特征提取层。
下面结合图2所述的所述方法的具体实施例的步骤流程图，对本发明所述方法的应用实施例做更为详细的说明。
H1、首先将一系列的图片输入到第一卷积层中进行图片特征层的提取，所述第一卷积层为已训练的提取图片特征层信息的Mobilenet v2网络结构；
H2、将上述步骤H1中提取到的所述图片特征层输入反卷积层，所述反卷积层输出特征图；
H3、使用1*1尺寸的卷积核对上述步骤H2中输出的特征图进行一次卷积操作得到28*28大小的PPT轮廓分割图像。
H4、在上述步骤H3中生成的轮廓分割图像上使用大尺寸卷积核分别进行四次卷积以找出PPT的四个角点的位置；
H5、使用步骤H4中得到的角点位置信息在2中的特征图中对应位置上提取出特征向量，最后得到4*96的特征向量；
H6、将步骤H5中的特征向量作为输入使用两个全连接层最后得到四个角点在224*224尺寸的图像上的角点位置修正信息，具体运算为：
gty＝regy+(py+0.5)×λ
gtx＝regx+(px+0.5)×λ
其中，regy与regx分别表示一个角点在224*224尺寸图像上的纵向与横向修正量，gty与gtx是该角点在224*224尺寸的Ground truth上的纵坐标与横坐标，py与px是POI层进行角点粗提取得到的在小尺寸m*m图像上的角点纵坐标与横坐标，λ是224与m的比值。
H7、根据步骤H6中修正后的角点位置信息，识别出图片中PPT文档的边框，其识别效果如图3所示。
在上述方法的基础上，本发明还提供了一种基于神经网络的PPT边框识别装置，所述神经网络包括：特征提取层、轮廓分割层和角点定位层：
如图4所述，所述PPT边框识别装置包括：
特征提取模块410，用于将一系列含有PPT文档信息的图片输入所述特征提取层中进行特征提取，得到所述特征提取层输出的一系列图片的特征图；其功能如步骤S1所述。
轮廓分割模块420，用于将所述一系列图片的特征图输入到所述轮廓分割层，得到所述轮廓分割层输出的轮廓分割图像；其功能如步骤S2所述。
角点定位模块430，用于将所述轮廓分割图像输入角点定位层，得到所述角点定位层输出的PPT边框的四个角点的位置信息；其功能如步骤S3所述。
边框识别模块440，用于根据所述四个角点的位置信息识别出所述PPT边框，其功能如步骤S4所述。
本发明的所述方法及装置提供了一种可以检测PPT角点位置并识别出PPT文档边框的方法，所提出的卷积神将网络在FCN、角点粗提取和全连接位置回归相结合的PPT边框识别方法及装置，为准确快速的识别出图片中的PPT边框提供了便利。
在上述方法的基础上，本发明还提供了一种计算机设备，如图5所示，包括存储器53、显示屏52和处理器51，还可以包括通信接口(Communications Interface)55和总线54。其中，处理器51、显示屏52、存储器53和通信接口55可以通过总线54完成相互间的通信。显示屏52设置为显示初始设置模式中预设的用户引导界面。通信接口55可以传输信息。处理器51可以调用存储器53中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器53中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器51作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器51通过运行存储在存储器53中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器53可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器53可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
在上述方法的基础上，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述的方法的步骤。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明提供了一种基于神经网络的PPT边框识别方法及相关设备，通过将一系列含有PPT文档信息的图片输入所述特征提取层中进行特征提取，得到所述特征提取层输出的一系列图片的特征图；将所述一系列图片的特征图输入到所述轮廓分割层，得到所述轮廓分割层输出的轮廓分割图像；将所述轮廓分割图像输入到角点定位层，得到所述角点定位层输出的PPT边框的四个角点的位置信息；根据所述四个角点的位置信息识别出所述PPT边框。本发明所提供的方法及设备，可以实现快捷的从图片文件中识别出PPT文档的边框，为从PPT文档中准确的提取PPT信息提供了前提，为用户从视频文件中提取PPT信息提供便利。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于神经网络的PPT边框识别方法，其特征在于，所述神经网络包括：特征提取层、轮廓分割层和角点定位层：
所述PPT边框识别方法包括：
将含有PPT文档信息的图片输入所述特征提取层中进行特征提取，得到所述特征提取层输出的图片的特征图；
将所述图片的特征图输入所述轮廓分割层，得到所述轮廓分割层输出的轮廓分割图像；
将所述轮廓分割图像输入所述角点定位层，得到所述角点定位层输出的PPT边框的四个角点的位置信息；
根据所述四个角点的位置信息识别出所述PPT边框。
2.根据权利要求1所述的基于神经网络的PPT边框识别方法，其特征在于，所述特征提取层包括：第一卷积层和反卷积层；
所述含有PPT文档信息的图片输入所述第一卷积层，所述第一卷积层输出所述图片所对应的图片特征层；
将所述图片特征层输入所述反卷积层，所述反卷积层输出所述图片特征层所对应的特征图。
3.根据权利要求2所述的基于神经网络的PPT边框识别方法，其特征在于，所述轮廓分割层包括：第一卷积核；
所述特征图输入所述卷积核，经过卷积操作后，输出轮廓分割图像。
4.根据权利要求3所述的基于神经网络的PPT边框识别方法，其特征在于，所述角点定位层包括：第二卷积核；
将所述轮廓分割图像依次输入所述第二卷积核，重复四次，分别得到四次卷积操作后输出的所述四个角点的位置信息。
5.根据权利要求4所述的基于神经网络的PPT边框识别方法，其特征在于，所述神经网络还包括：全连接层；
所述方法还包括：
根据所述四个角点的位置信息，从特征图中提取出其所对应的特征向量；
将所述特征向量输入若干个全连接层，得到输出的四个角点在图片上的角点位置修正信息。
6.根据权利要求1所述的基于神经网络的PPT边框识别方法，其特征在于，所述方法还包括：
对含有PPT文档信息的图片进行预处理，将其缩放为预设尺寸的图片后，再输入到特征提取层。
7.根据权利要求2所述的基于神经网络的PPT边框识别方法，其特征在于，所述特征提取层为已训练的Mobilenet v2网络结构和所述反卷积层的组成，或者所述特征提取层为编码-解码网络结构。
8.一种基于神经网络的PPT边框识别装置，其特征在于，所述神经网络包括：特征提取层、轮廓分割层和角点定位层：
所述PPT边框识别装置包括：
特征提取模块，用于将含有PPT文档信息的图片输入所述特征提取层中进行特征提取，得到所述特征提取层输出的图片的特征图；
轮廓分割模块，用于将所述图片的特征图输入到所述轮廓分割层，得到所述轮廓分割层输出的轮廓分割图像；
角点定位模块，用于将所述轮廓分割图像输入所述角点定位层，得到所述角点定位层输出的PPT边框的四个角点的位置信息；
边框识别模块，用于根据所述四个角点的位置信息识别出所述PPT边框。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910562994.9A 2019-06-26 2019-06-26 一种基于神经网络的ppt边框识别方法及相关设备 Active CN110427820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910562994.9A CN110427820B (zh) 2019-06-26 2019-06-26 一种基于神经网络的ppt边框识别方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910562994.9A CN110427820B (zh) 2019-06-26 2019-06-26 一种基于神经网络的ppt边框识别方法及相关设备

Publications (2)

Publication Number Publication Date
CN110427820A true CN110427820A (zh) 2019-11-08
CN110427820B CN110427820B (zh) 2022-11-29

Family

ID=68409648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910562994.9A Active CN110427820B (zh) 2019-06-26 2019-06-26 一种基于神经网络的ppt边框识别方法及相关设备

Country Status (1)

Country Link
CN (1) CN110427820B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112689085A (zh) * 2020-12-09 2021-04-20 展讯通信（上海）有限公司 一种识别ppt投屏区域方法、装置、系统和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082404A1 (en) * 2016-09-20 2018-03-22 Gopro, Inc. Apparatus and methods for video image post-processing for segmentation-based interpolation
CN108062543A (zh) * 2018-01-16 2018-05-22 中车工业研究院有限公司 一种面部识别方法及装置
CN108305260A (zh) * 2018-03-02 2018-07-20 苏州大学 一种图像中角点的检测方法、装置及设备
CN108428248A (zh) * 2018-03-14 2018-08-21 苏州科达科技股份有限公司 车窗定位方法、系统、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082404A1 (en) * 2016-09-20 2018-03-22 Gopro, Inc. Apparatus and methods for video image post-processing for segmentation-based interpolation
CN108062543A (zh) * 2018-01-16 2018-05-22 中车工业研究院有限公司 一种面部识别方法及装置
CN108305260A (zh) * 2018-03-02 2018-07-20 苏州大学 一种图像中角点的检测方法、装置及设备
CN108428248A (zh) * 2018-03-14 2018-08-21 苏州科达科技股份有限公司 车窗定位方法、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112689085A (zh) * 2020-12-09 2021-04-20 展讯通信（上海）有限公司 一种识别ppt投屏区域方法、装置、系统和电子设备

Also Published As

Publication number Publication date
CN110427820B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
Arandjelović et al. Object discovery with a copy-pasting gan
US11551337B2 (en) Boundary-aware object removal and content fill
CN109803180B (zh) 视频预览图生成方法、装置、计算机设备及存储介质
US20220301295A1 (en) Recurrent multi-task convolutional neural network architecture
CN108846792A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN107657056A (zh) 基于人工智能展示评论信息的方法和装置
WO2020024939A1 (zh) 文案区域识别方法和装置
CN107578367A (zh) 一种风格化图像的生成方法及装置
JP2023501820A (ja) フェイスパーシング方法および関連デバイス
KR102225753B1 (ko) 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치
CN110619334A (zh) 基于深度学习的人像分割方法、架构及相关装置
CN112784531A (zh) 一种基于深度学习和部件拼接的中文字形及字库生成方法
CN108268138A (zh) 增强现实的处理方法、装置及电子设备
CN115100469A (zh) 一种基于分割算法的目标属性识别方法、训练方法和装置
CN110427820A (zh) 一种基于神经网络的ppt边框识别方法及相关设备
Kaddoura A Primer on Generative Adversarial Networks
CN107451194A (zh) 一种图片搜索方法及装置
Ou et al. A method of efficient synthesizing post-disaster remote sensing image with diffusion model and llm
CN110348022A (zh) 一种相似度分析的方法、装置、存储介质及电子设备
CN114845065A (zh) 视频图像处理方法、装置、电子设备及存储介质
EP4047547A1 (en) Method and system for removing scene text from images
CN110298229B (zh) 视频图像处理方法及装置
US20240104312A1 (en) Photorealistic Text Inpainting for Augmented Reality Using Generative Models
US20240169701A1 (en) Affordance-based reposing of an object in a scene
CN116912717A (zh) 一种无人机航拍目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221101

Address after: 518000 Xili street xilihu town xilihu bank, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: SHENZHEN POLYTECHNIC

Address before: R&D Building 405, Founder Science and Technology Industrial Park, north of Songbai Road, Longteng Community, Shiyan Street, Bao'an District, Shenzhen, Guangdong 518108

Applicant before: SHENZHEN RONGHUI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant