CN108805519A - 纸质日程表电子化生成方法、装置及电子日程表生成方法 - Google Patents
纸质日程表电子化生成方法、装置及电子日程表生成方法 Download PDFInfo
- Publication number
- CN108805519A CN108805519A CN201810481904.9A CN201810481904A CN108805519A CN 108805519 A CN108805519 A CN 108805519A CN 201810481904 A CN201810481904 A CN 201810481904A CN 108805519 A CN108805519 A CN 108805519A
- Authority
- CN
- China
- Prior art keywords
- image
- schedule
- time
- coordinate
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种纸质日程表电子化的方法及装置，该方法包括以下步骤：纸质电子化的步骤、二值化处理的步骤、边缘识别的步骤、图像剪裁的步骤、时间识别的步骤、文字识别的步骤、结果生成的步骤、电子档输出的步骤。本发明利用智能手机的APP和专用日程本，将采集到的图像进行分析处理，借助现有OCR识别技术，有效的解决了识别率低的问题，通过一个软件的方式降低了成本且达到了高效识别的目的。本发明具有识别度高、成本低、便于携带且用户体验佳的优点。
Description
技术领域
本发明属于办公和生活用品技术领域，具体涉及一种纸质日程表电子化的方法和装置。
背景技术
随着手机及移动互联网的深入发展，人们的生活中已经越来越依赖于电子化的数据，但 是在日常的办公和学习当中，很多人已经习惯于用纸和笔来随手记录需要做的日程，虽然电 子设备很发达，但目前暂无法代替纸和笔的便捷与舒适，如何将纸质日程电子化成为一种巨 大的需求。
目前已经有两种技术方式实现日程表的电子化：
第一种方式，利用智能手机摄像头将特定格式的日程本以图像的形式记录，通过对图像 内容的分析得到日程上的时间和内容，难点在于如果精确的得到精确的时间及内容结果，目 前来看这两个难点都没有很好的解决，只是能得到大约的时间段，文字部分的识别基本无法 处理理，表明上是同步了了时间，但到APP上还需手动输入日程内容，没有完全实现自动化。
第二种方式，利用了智能笔这个硬件，通过智能笔的红外相机记录下书写的位置和笔迹， 配合专用的日程本，能很准确的完成时间和日程内容的识别，但成本非常的高，智能笔的携 带和使用也不够方便便。
以上两种方式不同程度的实现了日程表电子化的功能，其中方式一简单成本低，通过APP 拍摄专用日程表即可进行同步，但其问题在于对于时间和手写文字均无法较好地进行识别。 第二种方式，能完美识别时间、日期和手写日程，但是电子化要使用专用的智能笔，成本很 高且不利于携带；此外，由于使用专用的智能笔，其对于用户的使用习惯亦有所改变。
发明内容
本发明的目的在于提供一种高识别度、低成本、用户体验佳的纸质日程表电子化的方法 和装置。
为了实现上述目的，本发明所采用的方案是：
一种纸质日程表电子化的方法，所述方法包括以下步骤：
纸质电子化的步骤：通过拍照或扫描将纸质日程页转化成图片格式的电子化文件；一般 来说，通过拍照的方式更便捷，配合软件的相机功能实现；当然，通过扫描并上传亦是可行 的。
图像处理的步骤：对图片格式的图像进行灰度化处理，以获得灰度图像；该步骤是非常 关键的一步，因为如果需要得到正确的时间段就需要对得到的图像进行分析，而原始图像包 含有太多的内容，需要将一些多余的信息进行剔除。具体来说，由于扫描或拍照(特别是拍 照)所得到的原始图像往往是彩色的，而色彩对于我们后面的识别没有任何的用处，首先就 是将图像进行灰度处理，通过使得r＝r1/64*64，g＝g1/64*64，b＝b1/64*64的方式， 将图像中每个像素赋予重新计算得到灰度处理后的RGB值，从而得到灰度化处理后的图像。
边缘识别的步骤：对上述步骤处理后的图像进行边缘计算以识别日程页的四个边缘点； 具体来说，对上述处理后的日程内页的图片或照片进行边缘点查找，即对四个角处的标记的 边缘顶点进行查找，而得到日程内页四个角标识的位置；利用OpenCV图像库中的模板匹配 函数进行查找，先准备好四个角标识的图片point1、point2、point3和point4，使用 matchTemplate()函数查找的图片(即上述的处理后的日程内页的图片或照片)得到匹配结果 集合，再使用minMaxLoc()函数找到匹配最大值点，从而得到四个角标识的坐标。
图像剪裁的步骤：根据直接识别得到的日程页的四个边缘点或是变换后得到的日程页的 四个边缘点(即边缘识别的结果)，将图像剪裁成标准的长方形形状，即仅保留四个边缘点所 围成的区域内的图像。
更佳地，为方便后续的识别，可对剪裁得到的长方形形状的图像进行进一步的像素处理； 具体来说，将图像高度变成1500像素，而图像的宽度则进行等比缩放，即图像宽度W＝1500* 宽度/高度，从而让所有日程页的图片或照片都具有统一的高度，以方便后续的时间线、日 期以及内容的识别。
时间识别的步骤：对日程页上的时间标识进行计算以得到标记对应的时间段；例如对于 整体下竖直排版的日程内来说，所述时间识别的步骤包括始末时间识别的步骤、高度和坐标 计算的步骤和时间段计算的步骤；始末时间识别的步骤是指对图像剪裁的步骤得到的图像剔 除四个顶点后向内查找(即忽略四个顶点后向内查找)，由上往下查找到的第一个黑色区域即 为时间起始标记，由下往上查找到第一个黑色区域即为时间结束标记；高度和坐标计算的步 骤就指将时间起始标记最下方像素的坐标计为TS(x，y)，时间结束标记最上方像素的坐标计 为BS(x，y)，并通过TS和BS得到时间区域高度TH；时间段计算的步骤是指通过对TS和TH 之间的进一步查找，得到每一个时间块的上方坐标TBT和下方坐标TBB，从而计算得出时间 块的高度TBH；综合所有值，可以得到当前时间块的开始时间和结束时间。对于整体上水平 排版的日程页，则相应变动即可。
文字识别的步骤：对标记时间段对应的文字进行OCR识别将其转成字节或字符形式；具 体来说，根据当前时间块的上方坐标TBT和下一个时间块的上方坐标TBT，得到一个文字识 别区域，对这个区域调用手写OCR接口进行OCR文字识别，从而得到该时间段所对应的日程 内容的文字。文字的OCR识别通过调用微软的OCR识别接口进行的。
通过调用微软OCR(手写)接口，得到图像上所有文字信息，接口返回的是一组Josn数 据，其中包括文字行的坐标位置(左上LT，右上RT，右下RD，左下LD)和文字内容，通过 文字行的坐标位置与下图的坐标进行比对，从而得到文字内容所对应的时间点以及日期信息。
结果生成的步骤：将识别的时间和文字对应整合成结果，即获得每个日程的时间段和其 文字内容并将其整合为一条完整的日程项。
优选地，在得到灰度化的图像后，进一步对其二值化处理；具体来说，采用灰度级切片 法进行二值化处理。根据设定的灰度值，将在这个灰度值以上的像素全部置为0(全黑)，在 这个灰度值以下的像素全部置为255(全白)，从而生成一个二值图，为避免干扰，再通过清 除孤立点、清除粒子操作将二值图进一步优化。
优选地，由于拍摄条件的问题，边缘识别后得到的图像可能是一个不规则的四边形，为 了方便后面的计算，再对这个图像进行几何变换，使其成为一个标准的长方形，即左右顶点 Y坐标一致、上下顶点X坐标一致，保存四个点的坐标值以得到日程页的四个边缘点。具体 来说，使用四个角标识的坐标位置进行透视变换，采用以下公式进行变换：
其中，u、v是原图片的坐标，x、y是变换后图片的坐标，这里使用OpenCV图像库中的getPerspectiveTransform函数生成变换矩阵，再通过warpPerspective函数得到变换结果，此时 得到的将是标准的长方形图像。
优选地，所述方法还包括自主修改的步骤，其在结果生成的步骤之后进行，自主修改的 步骤包括用户检查的步骤和用户编辑的步骤；所述用户检查的步骤：将生成的结果在显示装 置上显示以供用户人工核对；所述用户编辑的步骤：对生成的结果的时间和文字内容提供修 改和编辑功能，并将编辑后的结果发送至电子档输出的步骤。通过上述的步骤，基本上已经 将日程进行了电子化，但为了防止识别出错，不能直接将日程结果进行储存和同步，我们需 要先让用户进行检查，并提供修改的渠道，让用户可以对时间及日程内容修改。
电子档输出的步骤：将生成的结果以输出关联设备，例如，调用google或其他日历平台 的接口，将日程信息同步到电子日历平台中，从而实现纸质文件自动更新至其他相关软件或 者日历中的目的。
一种纸质日程表电子化的装置，所述装置包括以下模块：
纸质电子化模块：用于通过拍照或扫描将纸质日程页转化成图片格式的电子化文件；一 般来说，通过拍照的方式更便捷，配合软件的相机功能实现；当然，通过扫描并上传亦是可 行的。
图像处理模块：用于对图片格式的图像进行灰度化处理，以获得灰度图像；该模块是非 常关键的一步，因为如果需要得到正确的时间段就需要对得到的图像进行分析，而原始图像 包含有太多的内容，需要将一些多余的信息进行剔除。具体来说，由于扫描或拍照(特别是 拍照)所得到的原始图像往往是彩色的，而色彩对于我们后面的识别没有任何的用处，首先 就是将图像进行灰度处理，通过使得r＝r1/64*64，g＝g1/64*64，b＝b1/64*64的方式， 将图像中每个像素赋予重新计算得到灰度处理后的RGB值，从而得到灰度化处理后的图像。
边缘识别模块用于：对上述模块处理后的图像进行边缘计算以识别日程页的四个边缘点； 具体来说，对上述处理后的日程内页的图片或照片进行边缘点查找，即对四个角处的标记的 边缘顶点进行查找，而得到日程内页四个角标识的位置；利用OpenCV图像库中的模板匹配 函数进行查找，先准备好四个角标识的图片point1、point2、point3和point4，使用 matchTemplate()函数查找的图片(即上述的处理后的日程内页的图片或照片)得到匹配结果 集合，再使用minMaxLoc()函数找到匹配最大值点，从而得到四个角标识的坐标。
图像剪裁模块：根据直接识别得到的日程页的四个边缘点或是变换后得到的日程页的四 个边缘点(即边缘识别的结果)，将图像剪裁成标准的长方形形状，即仅保留四个边缘点所围 成的区域内的图像。
更佳地，为方便后续的识别，还包括像素处理模块，其用于对剪裁得到的长方形形状的 图像进行进一步的像素处理；具体来说，将图像高度变成1500像素，而图像的宽度则进行等 比缩放，即图像宽度W＝1500*宽度/高度，从而让所有日程页的图片或照片都具有统一的高 度，以方便后续的时间线、日期以及内容的识别。
时间识别模块：用于对日程页上的时间标识进行计算以得到标记对应的时间段；例如对 于整体下竖直排版的日程内来说，所述时间识别的步骤包括始末时间识别模块、高度和坐标 计算模块和时间段计算模块；始末时间识别模块用于对图像剪裁的步骤得到的图像剔除四个 顶点后向内查找(即忽略四个顶点后向内查找)，由上往下查找到的第一个黑色区域即为时间 起始标记，由下往上查找到第一个黑色区域即为时间结束标记；高度和坐标计算模块用于将 时间起始标记最下方像素的坐标计为TS(x，y)，时间结束标记最上方像素的坐标计为BS(x，y)， 并通过TS和BS得到时间区域高度TH；时间段计算模块用于通过对TS和TH之间的进一步查 找，得到每一个时间块的上方坐标TBT和下方坐标TBB，从而计算得出时间块的高度TBH； 综合所有值，可以得到当前时间块的开始时间和结束时间。对于整体上水平排版的日程页， 则相应变动即可。
文字识别模块：用于对标记时间段对应的文字进行OCR识别将其转成字节或字符形式； 具体来说，根据当前时间块的上方坐标TBT和下一个时间块的上方坐标TBT，得到一个文字 识别区域，对这个区域调用手写OCR接口进行OCR文字识别，从而得到该时间段所对应的日 程内容的文字。文字的OCR识别通过调用微软的OCR识别接口进行的。
通过调用微软OCR(手写)接口，得到图像上所有文字信息，接口返回的是一组Josn数 据，其中包括文字行的坐标位置(左上LT，右上RT，右下RD，左下LD)和文字内容，通过 文字行的坐标位置与下图的坐标进行比对，从而得到文字内容所对应的时间点以及日期信息。
结果生成模块：用于将识别的时间和文字对应整合成结果，即获得每个日程的时间段和 其文字内容并将其整合为一条完整的日程项。
优选地，在得到灰度化的图像后，进一步经由二值化处理模块处理；具体来说，采用灰 度级切片法进行二值化处理。根据设定的灰度值，将在这个灰度值以上的像素全部置为0(全 黑)，在这个灰度值以下的像素全部置为255(全白)，从而生成一个二值图，为避免干扰， 再经由清除孤立点模块、清除粒子模块将二值图进一步优化。
优选地，由于拍摄条件的问题，此时得到的图像可能是一个不规则的四边形，为了方便 后面的计算，还包括几何变换模块，其用于将不规则的图像处理成为一个标准的长方形，即 左右顶点Y坐标一致、上下顶点X坐标一致，保存四个点的坐标值以得到日程页的四个边缘 点。具体来说，使用四个角标识的坐标位置进行透视变换，采用以下公式进行变换：
其中，u、v是原图片的坐标，x、y是变换后图片的坐标，这里使用OpenCV图像库中的getPerspectiveTransform函数生成变换矩阵，再通过warpPerspective函数得到变换结果，此时 得到的将是标准的长方形图像。
优选地，所述方法还包括自主修改模块，其包括用户检查模块和用户编辑模块；所述用 户检查模块：将生成的结果在显示装置上显示以供用户人工核对；所述用户编辑模块：用于 对生成的结果的时间和文字内容提供修改和编辑功能，并将编辑后的结果发送至电子档输出 的步骤。通过上述的模块，基本上已经将日程进行了电子化，但为了防止识别出错，不能直 接将日程结果进行储存和同步，我们需要先让用户进行检查，并提供修改的渠道，让用户可 以对时间及日程内容修改。
电子档输出模块：用于将生成的结果以输出关联设备，例如，调用google或其他日历平 台的接口，将日程信息同步到电子日历平台中，从而实现纸质文件自动更新至其他相关软件 或者日历中的目的。
一种电子日程表的生成方法，其包括纸质日程表内页配置的步骤和纸质日程电子化的步 骤；所述纸质日程表内页配置的步骤是指将日程表的内页配置为具有以下结构：
所述内页包括定位点、日期记录区和记录区，所述记录区包括时间标识区和日程记录区； 所述时间标识区呈条状地水平或竖直地设置于内页左侧或顶部(根据书写习惯设置，一般来 说前者更佳)，日程记录区竖直或平行地设置于时间标识区右侧或下方，时间标识区两端分别 设有时间开始标记区和时间结束标记区；所述定位点设置于记录区外围并形成定位区，日期 记录区设置于记录区外、定位区之内。更佳地，所述定位点有四个且相互间呈矩形形状地设 置于内页外缘处附近。
所述纸质日程电子化的步骤包括以下步骤：
纸质电子化的步骤：通过拍照或扫描将纸质日程页转化成图片格式的电子化文件；一般 来说，通过拍照的方式更便捷，配合软件的相机功能实现；当然，通过扫描并上传亦是可行 的。
图像处理的步骤：对图片格式的图像进行灰度化处理，以获得灰度图像；该步骤是非常 关键的一步，因为如果需要得到正确的时间段就需要对得到的图像进行分析，而原始图像包 含有太多的内容，需要将一些多余的信息进行剔除。具体来说，由于扫描或拍照(特别是拍 照)所得到的原始图像往往是彩色的，而色彩对于我们后面的识别没有任何的用处，首先就 是将图像进行灰度处理，通过使得r＝r1/64*64，g＝g1/64*64，b＝b1/64*64的方式， 将图像中每个像素赋予重新计算得到灰度处理后的RGB值，从而得到灰度化处理后的图像。
边缘识别的步骤：对上述步骤处理后的图像进行边缘计算以识别日程页的四个边缘点； 具体来说，对上述处理后的日程内页的图片或照片进行边缘点查找，即对四个角处的标记的 边缘顶点进行查找，而得到日程内页四个角标识的位置；利用OpenCV图像库中的模板匹配 函数进行查找，先准备好四个角标识的图片point1、point2、point3和point4，使用 matchTemplate()函数查找的图片(即上述的处理后的日程内页的图片或照片)得到匹配结果 集合，再使用minMaxLoc()函数找到匹配最大值点，从而得到四个角标识的坐标。
图像剪裁的步骤：根据直接识别得到的日程页的四个边缘点或是变换后得到的日程页的 四个边缘点(即边缘识别的结果)，将图像剪裁成标准的长方形形状，即仅保留四个边缘点所 围成的区域内的图像。
更佳地，为方便后续的识别，可对剪裁得到的长方形形状的图像进行进一步的像素处理； 具体来说，将图像高度变成1500像素，而图像的宽度则进行等比缩放，即图像宽度W＝1500* 宽度/高度，从而让所有日程页的图片或照片都具有统一的高度，以方便后续的时间线、日 期以及内容的识别。
时间识别的步骤：对日程页上的时间标识进行计算以得到标记对应的时间段；例如对于 整体下竖直排版的日程内来说，所述时间识别的步骤包括始末时间识别的步骤、高度和坐标 计算的步骤和时间段计算的步骤；始末时间识别的步骤是指对图像剪裁的步骤得到的图像剔 除四个顶点后向内查找(即忽略四个顶点后向内查找)，由上往下查找到的第一个黑色区域即 为时间起始标记，由下往上查找到第一个黑色区域即为时间结束标记；高度和坐标计算的步 骤就指将时间起始标记最下方像素的坐标计为TS(x，y)，时间结束标记最上方像素的坐标计 为BS(x，y)，并通过TS和BS得到时间区域高度TH；时间段计算的步骤是指通过对TS和TH 之间的进一步查找，得到每一个时间块的上方坐标TBT和下方坐标TBB，从而计算得出时间 块的高度TBH；综合所有值，可以得到当前时间块的开始时间和结束时间。对于整体上水平 排版的日程页，则相应变动即可。
文字识别的步骤：对标记时间段对应的文字进行OCR识别将其转成字节或字符形式；具 体来说，根据当前时间块的上方坐标TBT和下一个时间块的上方坐标TBT，得到一个文字识 别区域，对这个区域调用手写OCR接口进行OCR文字识别，从而得到该时间段所对应的日程 内容的文字。文字的OCR识别通过调用微软的OCR识别接口进行的。
通过调用微软OCR(手写)接口，得到图像上所有文字信息，接口返回的是一组Josn数 据，其中包括文字行的坐标位置(左上LT，右上RT，右下RD，左下LD)和文字内容，通过 文字行的坐标位置与下图的坐标进行比对，从而得到文字内容所对应的时间点以及日期信息。
结果生成的步骤：将识别的时间和文字对应整合成结果，即获得每个日程的时间段和其 文字内容并将其整合为一条完整的日程项。
优选地，在得到灰度化的图像后，进一步对其二值化处理；具体来说，采用灰度级切片 法进行二值化处理。根据设定的灰度值，将在这个灰度值以上的像素全部置为0(全黑)，在 这个灰度值以下的像素全部置为255(全白)，从而生成一个二值图，为避免干扰，再通过清 除孤立点、清除粒子操作将二值图进一步优化。
优选地，由于拍摄条件的问题，此时得到的图像可能是一个不规则的四边形，为了方便 后面的计算，再对这个图像进行几何变换，使其成为一个标准的长方形，即左右顶点Y坐标 一致、上下顶点X坐标一致，保存四个点的坐标值以得到日程页的四个边缘点。具体来说， 使用四个角标识的坐标位置进行透视变换，采用以下公式进行变换：
其中，u、v是原图片的坐标，x、y是变换后图片的坐标，这里使用OpenCV图像库中的getPerspectiveTransform函数生成变换矩阵，再通过warpPerspective函数得到变换结果，此时 得到的将是标准的长方形图像。
优选地，所述方法还包括自主修改的步骤，其在结果生成的步骤之后进行，自主修改的 步骤包括用户检查的步骤和用户编辑的步骤；所述用户检查的步骤：将生成的结果在显示装 置上显示以供用户人工核对；所述用户编辑的步骤：对生成的结果的时间和文字内容提供修 改和编辑功能，并将编辑后的结果发送至电子档输出的步骤。通过上述的步骤，基本上已经 将日程进行了电子化，但为了防止识别出错，不能直接将日程结果进行储存和同步，我们需 要先让用户进行检查，并提供修改的渠道，让用户可以对时间及日程内容修改。
电子档输出的步骤：将生成的结果以输出关联设备，例如，调用google或其他日历平台 的接口，将日程信息同步到电子日历平台中，从而实现纸质文件自动更新至其他相关软件或 者日历中的目的。
本发明通过硬件与软件的结合，并利用计算机视觉识别技术，将日常生活用经常要用到 的日程本进行自动的电子化处理，并可以将电子化后的格式数据同步到其他日程程序中，如Google日历、手机日程系统等，实现纸质日程电子化，让日程可以在多种形式的电子终端中 呈现，并能进行行实时提醒。相对于传统的两种将纸质日程电子化的方法，其时间段识别准 确并且文字与时间的匹配完好(相对于第一种)，成本更低并且更易于携带、使用也非常方便， 不会改变用户的使用习惯。
本发明具有以下优点：
1、成本低，只用专用的纸质日程本配合智能手机即可完成，将本发明的相关装置以APP 的形式安装于智能手机内；
2、识别率高，可以准确地识别日期、时间和手写内容；
3、符合用户的使用习惯，易于推广；不需要用户客意学习特定的使用方法而改变其自身 的使用习惯。
附图说明
图1是本发明某一实施例的流程原理图；
图2是本发明的较佳实施例的日程表的内页结构图。
具体实施方式
为了使本领域技术人员更好地理解本发明，从而对本发明要求保护的范围作出更清楚地 限定，下面就本发明的某些具体实施例对本发明进行详细描述。需要说明的是，以下仅是本 发明构思的某些具体实施方式仅是本发明的一部分实施例，其中对于相关结构的具体的直接 的描述仅是为方便理解本发明，各具体特征并不当然、直接地限定本发明的实施范围。本领 域技术人员在本发明构思的指导下所作的常规选择和替换，均应视为在本发明要求保护的范 围内。
一种纸质日程表电子化的方法，所述方法包括以下步骤：
纸质电子化的步骤：通过拍照或扫描将纸质日程页转化成图片格式的电子化文件；一般 来说，通过拍照的方式更便捷，配合软件的相机功能实现；当然，通过扫描并上传亦是可行 的。
图像处理的步骤：对图片格式的图像进行灰度化处理，以获得灰度图像；该步骤是非常 关键的一步，因为如果需要得到正确的时间段就需要对得到的图像进行分析，而原始图像包 含有太多的内容，需要将一些多余的信息进行剔除。具体来说，由于扫描或拍照(特别是拍 照)所得到的原始图像往往是彩色的，而色彩对于我们后面的识别没有任何的用处，首先就 是将图像进行灰度处理，通过使得r＝r1/64*64，g＝g1/64*64，b＝b1/64*64的方式， 将图像中每个像素赋予重新计算得到灰度处理后的RGB值，从而得到灰度化处理后的图像。
更佳地，在得到灰度化的图像后，进一步对其二值化处理；具体来说，采用灰度级切片 法进行二值化处理。根据设定的灰度值，将在这个灰度值以上的像素全部置为0(全黑)，在 这个灰度值以下的像素全部置为255(全白)，从而生成一个二值图，为避免干扰，再通过清 除孤立点、清除粒子操作将二值图进一步优化。灰度值是根据图像的具体情况人为设置的， 使用时提供灰度设定功能，由用户人工输入，数字在0-255之间设置。
边缘识别的步骤：对上述步骤处理后的图像进行边缘计算以识别日程页的四个边缘点； 具体来说，对上述处理后的日程内页的图片或照片进行边缘点查找，即对四个角处的标记的 边缘顶点进行查找，而得到日程内页四个角标识的位置；利用OpenCV图像库中的模板匹配 函数进行查找，先准备好四个角标识的图片point1、point2、point3和point4，使用 matchTemplate()函数查找的图片(即上述的处理后的日程内页的图片或照片)得到匹配结果 集合，再使用minMaxLoc()函数找到匹配最大值点，从而得到四个角标识的坐标。
更佳地，由于拍摄条件的问题，此时得到的图像可能是一个不规则的四边形，为了方便 后面的计算，再对这个图像进行几何变换，使其成为一个标准的长方形，即左右顶点Y坐标 一致、上下顶点X坐标一致，保存四个点的坐标值以得到日程页的四个边缘点。具体来说， 使用四个角标识的坐标位置进行透视变换，采用以下公式进行变换：
其中，u、v是原图片的坐标，x、y是变换后图片的坐标，这里使用OpenCV图像库中的getPerspectiveTransform函数生成变换矩阵，再通过warpPerspective函数得到变换结果，此时 得到的将是标准的长方形图像。
图像剪裁的步骤：根据直接识别得到的日程页的四个边缘点或是变换后得到的日程页的 四个边缘点(即边缘识别的结果)，将图像剪裁成标准的长方形形状，即仅保留四个边缘点所 围成的区域内的图像。
更佳地，为方便后续的识别，可对剪裁得到的长方形形状的图像进行进一步的像素处理； 具体来说，将图像高度变成1500像素，而图像的宽度则进行等比缩放，即图像宽度W＝1500* 宽度/高度，从而让所有日程页的图片或照片都具有统一的高度，以方便后续的时间线、日 期以及内容的识别。
时间识别的步骤：对日程页上的时间标识进行计算以得到标记对应的时间段；例如对于 整体下竖直排版的日程内来说，所述时间识别的步骤包括始末时间识别的步骤、高度和坐标 计算的步骤和时间段计算的步骤；始末时间识别的步骤是指对图像剪裁的步骤得到的图像剔 除四个顶点后向内查找(即忽略四个顶点后向内查找)，由上往下查找到的第一个黑色区域即 为时间起始标记，由下往上查找到第一个黑色区域即为时间结束标记；高度和坐标计算的步 骤就指将时间起始标记最下方像素的坐标计为TS(x，y)，时间结束标记最上方像素的坐标计 为BS(x，y)，并通过TS和BS得到时间区域高度TH；时间段计算的步骤是指通过对TS和TH 之间的进一步查找，得到每一个时间块的上方坐标TBT和下方坐标TBB，从而计算得出时间 块的高度TBH；综合所有值，可以得到当前时间块的开始时间和结束时间。对于整体上水平 排版的日程页，则相应变动即可。
文字识别的步骤：对标记时间段对应的文字进行OCR识别将其转成字节或字符形式；具 体来说，根据当前时间块的上方坐标TBT和下一个时间块的上方坐标TBT，得到一个文字识 别区域，对这个区域调用手写OCR接口进行OCR文字识别，从而得到该时间段所对应的日程 内容的文字。文字的OCR识别通过调用微软的OCR识别接口进行的。
通过调用微软OCR(手写)接口，得到图像上所有文字信息，接口返回的是一组Josn数 据，其中包括文字行的坐标位置(左上LT，右上RT，右下RD，左下LD)和文字内容，通过 文字行的坐标位置与下图的坐标进行比对，从而得到文字内容所对应的时间点以及日期信息。
结果生成的步骤：将识别的时间和文字对应整合成结果，即获得每个日程的时间段和其 文字内容并将其整合为一条完整的日程项。
更佳地，所述方法还包括自主修改的步骤，其在结果生成的步骤之后进行，自主修改的 步骤包括用户检查的步骤和用户编辑的步骤；所述用户检查的步骤：将生成的结果在显示装 置上显示以供用户人工核对；所述用户编辑的步骤：对生成的结果的时间和文字内容提供修 改和编辑功能，并将编辑后的结果发送至电子档输出的步骤。通过上述的步骤，基本上已经 将日程进行了电子化，但为了防止识别出错，不能直接将日程结果进行储存和同步，我们需 要先让用户进行检查，并提供修改的渠道，让用户可以对时间及日程内容修改。
电子档输出的步骤：将生成的结果以输出关联设备，例如，调用google或其他日历平台 的接口，将日程信息同步到电子日历平台中，从而实现纸质文件自动更新至其他相关软件或 者日历中的目的。
一种纸质日程表电子化的装置，所述装置包括以下模块：
纸质电子化模块：用于通过拍照或扫描将纸质日程页转化成图片格式的电子化文件；一 般来说，通过拍照的方式更便捷，配合软件的相机功能实现；当然，通过扫描并上传亦是可 行的。
图像处理模块：用于对图片格式的图像进行灰度化处理，以获得灰度图像；该模块是非 常关键的一步，因为如果需要得到正确的时间段就需要对得到的图像进行分析，而原始图像 包含有太多的内容，需要将一些多余的信息进行剔除。具体来说，由于扫描或拍照(特别是 拍照)所得到的原始图像往往是彩色的，而色彩对于我们后面的识别没有任何的用处，首先 就是将图像进行灰度处理，通过使得r＝r1/64*64，g＝g1/64*64，b＝b1/64*64的方式， 将图像中每个像素赋予重新计算得到灰度处理后的RGB值，从而得到灰度化处理后的图像。
更佳地，在得到灰度化的图像后，进一步经由二值化处理模块处理；具体来说，采用灰 度级切片法进行二值化处理。根据设定的灰度值，将在这个灰度值以上的像素全部置为0(全 黑)，在这个灰度值以下的像素全部置为255(全白)，从而生成一个二值图，为避免干扰， 再经由清除孤立点模块、清除粒子模块将二值图进一步优化。灰度值是根据图像的具体情况 人工设置的，使用时提供灰度设定功能，由用户人工输入，数字在0-255之间设置。
边缘识别模块用于：对上述模块处理后的图像进行边缘计算以识别日程页的四个边缘点； 具体来说，对上述处理后的日程内页的图片或照片进行边缘点查找，即对四个角处的标记的 边缘顶点进行查找，而得到日程内页四个角标识的位置；利用OpenCV图像库中的模板匹配 函数进行查找，先准备好四个角标识的图片point1、point2、point3和point4，使用 matchTemplate()函数查找的图片(即上述的处理后的日程内页的图片或照片)得到匹配结果 集合，再使用minMaxLoc()函数找到匹配最大值点，从而得到四个角标识的坐标。
更佳地，由于拍摄条件的问题，此时得到的图像可能是一个不规则的四边形，为了方便 后面的计算，还包括几何变换模块，其用于将不规则的图像处理成为一个标准的长方形，即 左右顶点Y坐标一致、上下顶点X坐标一致，保存四个点的坐标值以得到日程页的四个边缘 点。具体来说，使用四个角标识的坐标位置进行透视变换，采用以下公式进行变换：
其中，u、v是原图片的坐标，x、y是变换后图片的坐标，这里使用OpenCV图像库中的getPerspectiveTransform函数生成变换矩阵，再通过warpPerspective函数得到变换结果，此时 得到的将是标准的长方形图像。
图像剪裁模块：根据直接识别得到的日程页的四个边缘点或是变换后得到的日程页的四 个边缘点(即边缘识别的结果)，将图像剪裁成标准的长方形形状，即仅保留四个边缘点所围 成的区域内的图像。
更佳地，为方便后续的识别，还包括像素处理模块，其用于对剪裁得到的长方形形状的 图像进行进一步的像素处理；具体来说，将图像高度变成1500像素，而图像的宽度则进行等 比缩放，即图像宽度W＝1500*宽度/高度，从而让所有日程页的图片或照片都具有统一的高 度，以方便后续的时间线、日期以及内容的识别。
时间识别模块：用于对日程页上的时间标识进行计算以得到标记对应的时间段；例如对 于整体下竖直排版的日程内来说，所述时间识别的步骤包括始末时间识别模块、高度和坐标 计算模块和时间段计算模块；始末时间识别模块用于对图像剪裁的步骤得到的图像剔除四个 顶点后向内查找(即忽略四个顶点后向内查找)，由上往下查找到的第一个黑色区域即为时间 起始标记，由下往上查找到第一个黑色区域即为时间结束标记；高度和坐标计算模块用于将 时间起始标记最下方像素的坐标计为TS(x，y)，时间结束标记最上方像素的坐标计为BS(x，y)， 并通过TS和BS得到时间区域高度TH；时间段计算模块用于通过对TS和TH之间的进一步查 找，得到每一个时间块的上方坐标TBT和下方坐标TBB，从而计算得出时间块的高度TBH； 综合所有值，可以得到当前时间块的开始时间和结束时间。对于整体上水平排版的日程页， 则相应变动即可。
文字识别模块：用于对标记时间段对应的文字进行OCR识别将其转成字节或字符形式； 具体来说，根据当前时间块的上方坐标TBT和下一个时间块的上方坐标TBT，得到一个文字 识别区域，对这个区域调用手写OCR接口进行OCR文字识别，从而得到该时间段所对应的日 程内容的文字。文字的OCR识别通过调用微软的OCR识别接口进行的。
通过调用微软OCR(手写)接口，得到图像上所有文字信息，接口返回的是一组Josn数 据，其中包括文字行的坐标位置(左上LT，右上RT，右下RD，左下LD)和文字内容，通过 文字行的坐标位置与下图的坐标进行比对，从而得到文字内容所对应的时间点以及日期信息。
结果生成模块：用于将识别的时间和文字对应整合成结果，即获得每个日程的时间段和 其文字内容并将其整合为一条完整的日程项。
更佳地，所述方法还包括自主修改模块，其包括用户检查模块和用户编辑模块；所述用 户检查模块：将生成的结果在显示装置上显示以供用户人工核对；所述用户编辑模块：用于 对生成的结果的时间和文字内容提供修改和编辑功能，并将编辑后的结果发送至电子档输出 的步骤。通过上述的模块，基本上已经将日程进行了电子化，但为了防止识别出错，不能直 接将日程结果进行储存和同步，我们需要先让用户进行检查，并提供修改的渠道，让用户可 以对时间及日程内容修改。
电子档输出模块：用于将生成的结果以输出关联设备，例如，调用google或其他日历平 台的接口，将日程信息同步到电子日历平台中，从而实现纸质文件自动更新至其他相关软件 或者日历中的目的。
一种电子日程表的生成方法，其包括纸质日程表内页配置的步骤和纸质日程电子化的步 骤；所述纸质日程表内页配置的步骤是指将日程表的内页配置为具有以下结构：
所述内页1包括定位点11、日期记录区12和记录区，所述记录区包括时间标识区13和 日程记录区14；所述时间标识区呈条状地水平或竖直地设置于内页左侧或顶部(根据书写习 惯设置，一般来说前者更佳)，日程记录区竖直或平行地设置于时间标识区右侧或下方，时间 标识区13两端分别设有时间开始标记区131和时间结束标记区132；所述定位点设置于记录 区外围并形成定位区，日期记录区设置于记录区外、定位区之内。更佳地，所述定位点有四 个且相互间呈矩形形状地设置于内页外缘处附近。如图2所示，使用时在时间标识区13相应 的时间标识区涂黑以标识时间，而对应地日程记录区14则用于记录相应的日程内容(如图2 示的“安排和新东方的刘总进行面谈”)。
所述纸质日程电子化的步骤包括以下步骤：
纸质电子化的步骤：通过拍照或扫描将纸质日程页转化成图片格式的电子化文件；一般 来说，通过拍照的方式更便捷，配合软件的相机功能实现；当然，通过扫描并上传亦是可行 的。
图像处理的步骤：对图片格式的图像进行灰度化处理，以获得灰度图像；该步骤是非常 关键的一步，因为如果需要得到正确的时间段就需要对得到的图像进行分析，而原始图像包 含有太多的内容，需要将一些多余的信息进行剔除。具体来说，由于扫描或拍照(特别是拍 照)所得到的原始图像往往是彩色的，而色彩对于我们后面的识别没有任何的用处，首先就 是将图像进行灰度处理，通过使得r＝r1/64*64，g＝g1/64*64，b＝b1/64*64的方式， 将图像中每个像素赋予重新计算得到灰度处理后的RGB值，从而得到灰度化处理后的图像。
更佳地，在得到灰度化的图像后，进一步对其二值化处理；具体来说，采用灰度级切片 法进行二值化处理。根据设定的灰度值，将在这个灰度值以上的像素全部置为0(全黑)，在 这个灰度值以下的像素全部置为255(全白)，从而生成一个二值图，为避免干扰，再通过清 除孤立点、清除粒子操作将二值图进一步优化。灰度值是根据图像的具体情况人工设置的， 使用时提供灰度设定功能，由用户人工输入，数字在0-255之间设置。
边缘识别的步骤：对上述步骤处理后的图像进行边缘计算以识别日程页的四个边缘点； 具体来说，对上述处理后的日程内页的图片或照片进行边缘点查找，即对四个角处的标记的 边缘顶点进行查找，而得到日程内页四个角标识的位置；利用OpenCV图像库中的模板匹配 函数进行查找，先准备好四个角标识的图片point1、point2、point3和point4，使用 matchTemplate()函数查找的图片(即上述的处理后的日程内页的图片或照片)得到匹配结果 集合，再使用minMaxLoc()函数找到匹配最大值点，从而得到四个角标识的坐标。
更佳地，由于拍摄条件的问题，此时得到的图像可能是一个不规则的四边形，为了方便 后面的计算，再对这个图像进行几何变换，使其成为一个标准的长方形，即左右顶点Y坐标 一致、上下顶点X坐标一致，保存四个点的坐标值以得到日程页的四个边缘点。具体来说， 使用四个角标识的坐标位置进行透视变换，采用以下公式进行变换：
其中，u、v是原图片的坐标，x、y是变换后图片的坐标，这里使用OpenCV图像库中的getPerspectiveTransform函数生成变换矩阵，再通过warpPerspective函数得到变换结果，此时 得到的将是标准的长方形图像。
图像剪裁的步骤：根据直接识别得到的日程页的四个边缘点或是变换后得到的日程页的 四个边缘点(即边缘识别的结果)，将图像剪裁成标准的长方形形状，即仅保留四个边缘点所 围成的区域内的图像。
更佳地，为方便后续的识别，可对剪裁得到的长方形形状的图像进行进一步的像素处理； 具体来说，将图像高度变成1500像素，而图像的宽度则进行等比缩放，即图像宽度W＝1500* 宽度/高度，从而让所有日程页的图片或照片都具有统一的高度，以方便后续的时间线、日 期以及内容的识别。
时间识别的步骤：对日程页上的时间标识进行计算以得到标记对应的时间段；例如对于 整体下竖直排版的日程内来说，所述时间识别的步骤包括始末时间识别的步骤、高度和坐标 计算的步骤和时间段计算的步骤；始末时间识别的步骤是指对图像剪裁的步骤得到的图像剔 除四个顶点后向内查找(即忽略四个顶点后向内查找)，由上往下查找到的第一个黑色区域即 为时间起始标记，由下往上查找到第一个黑色区域即为时间结束标记；高度和坐标计算的步 骤就指将时间起始标记最下方像素的坐标计为TS(x，y)，时间结束标记最上方像素的坐标计 为BS(x，y)，并通过TS和BS得到时间区域高度TH；时间段计算的步骤是指通过对TS和TH 之间的进一步查找，得到每一个时间块的上方坐标TBT和下方坐标TBB，从而计算得出时间 块的高度TBH；综合所有值，可以得到当前时间块的开始时间和结束时间。对于整体上水平 排版的日程页，则相应变动即可。
文字识别的步骤：对标记时间段对应的文字进行OCR识别将其转成字节或字符形式；具 体来说，根据当前时间块的上方坐标TBT和下一个时间块的上方坐标TBT，得到一个文字识 别区域，对这个区域调用手写OCR接口进行OCR文字识别，从而得到该时间段所对应的日程 内容的文字。文字的OCR识别通过调用微软的OCR识别接口进行的。
通过调用微软OCR(手写)接口，得到图像上所有文字信息，接口返回的是一组Josn数 据，其中包括文字行的坐标位置(左上LT，右上RT，右下RD，左下LD)和文字内容，通过 文字行的坐标位置与下图的坐标进行比对，从而得到文字内容所对应的时间点以及日期信息。
结果生成的步骤：将识别的时间和文字对应整合成结果，即获得每个日程的时间段和其 文字内容并将其整合为一条完整的日程项。
更佳地，所述方法还包括自主修改的步骤，其在结果生成的步骤之后进行，自主修改的 步骤包括用户检查的步骤和用户编辑的步骤；所述用户检查的步骤：将生成的结果在显示装 置上显示以供用户人工核对；所述用户编辑的步骤：对生成的结果的时间和文字内容提供修 改和编辑功能，并将编辑后的结果发送至电子档输出的步骤。通过上述的步骤，基本上已经 将日程进行了电子化，但为了防止识别出错，不能直接将日程结果进行储存和同步，我们需 要先让用户进行检查，并提供修改的渠道，让用户可以对时间及日程内容修改。
电子档输出的步骤：将生成的结果以输出关联设备，例如，调用google或其他日历平台 的接口，将日程信息同步到电子日历平台中，从而实现纸质文件自动更新至其他相关软件或 者日历中的目的。
该方法通过硬件与软件的结合，将纸质的日程表的内页设置成如图2所示的格式(图2 是基于国内书写习惯的，基于复古的竖排书写也可以将其对应的将时间标识区水平排列于页 面顶部而记录区竖直地设置于其下方即可)；从而将日常生活用经常要用到的日程本进行自动 的电子化处理，并可以将电子化后的格式数据同步到其他日程程序中，如Google日历、手机 日程系统等，实现纸质日程电子化，让日程可以在多种形式的电子终端中呈现，并能进行行 实时提醒。
该方法相对于背景技术中所示的两种方法，具有以下不同和特点：
相对于第一种方式，本发明的方法对于时间和内容的识别更加准确并且可以将日程的内 容整合后以数据的形式同步至其他日程程序中，从而可以利用其他日程的提醒、记录以及分 析等功能。
相对于第二种方式，本发明的方法的成本更低，不需要使用专用的智能笔，其仅具有一 般的纸质日程本和一个智能手机以及任意的书写笔，这三者在现实生活中均是常用的物件， 易于携带，并且该的整体主要使用方式也未明显改变，仍是用书写笔在纸质日程本上书写。 因此，其在成本、便携性以及使用习惯上相较于第二种方式均明显更优。
Claims (9)
1.一种纸质日程表的电子化生成方法，其特征在于，所述方法包括以下步骤：
纸质电子化的步骤：通过拍照或扫描将纸质日程页转化成图片格式的电子化文件；
图像处理的步骤：对图片格式的图像进行灰度化处理，以获得灰度图像；该步骤是非常关键的一步，因为如果需要得到正确的时间段就需要对得到的图像进行分析，而原始图像包含有太多的内容，需要将一些多余的信息进行剔除；通过使得r＝r1/64*64，g＝g1/64*64，b＝b1/64*64的方式，将图像中每个像素赋予重新计算得到灰度处理后的RGB值，从而得到灰度化处理后的图像；
边缘识别的步骤：对上述处理后的图像进行边缘点查找以识别日程页的四个边缘点，通过对四个角处的标记的边缘顶点进行查找，而得到日程内页四个角标识的位置；利用OpenCV图像库中的模板匹配函数进行查找，先准备好四个角标识的图片point1、point2、point3和point4，使用matchTemplate()函数查找的图像得到匹配结果集合，再使用minMaxLoc()函数找到匹配最大值点，从而得到四个角标识的坐标；
图像剪裁的步骤：根据识别得到的日程页的四个边缘点或是变换后得到的日程页的四个边缘点，将图像剪裁成标准的长方形形状；
时间识别的步骤：对日程页上的时间标识进行计算以得到标记对应的时间段；所述时间识别的步骤包括始末时间识别的步骤、高度和坐标计算的步骤和时间段计算的步骤；始末时间识别的步骤是指对图像剪裁的步骤得到的图像剔除四个顶点后向内查找，由上往下查找到的第一个黑色区域即为时间起始标记，由下往上查找到第一个黑色区域即为时间结束标记；高度和坐标计算的步骤就指将时间起始标记最下方像素的坐标计为TS(x,y)，时间结束标记最上方像素的坐标计为BS(x,y)，并通过TS和BS得到时间区域高度TH；时间段计算的步骤是指通过对TS和TH之间的进一步查找，得到每一个时间块的上方坐标TBT和下方坐标TBB，从而计算得出时间块的高度TBH；综合所有值，可以得到当前时间块的开始时间和结束时间；
文字识别的步骤：对标记时间段对应的文字进行OCR识别将其转成字节或字符形式；根据当前时间块的上方坐标TBT和下一个时间块的上方坐标TBT，得到一个文字识别区域，对这个区域调用手写OCR接口进行OCR文字识别，从而得到该时间段的图像上所对应的文字信息；
结果生成的步骤：将识别的时间和文字对应整合成结果，即获得每个日程的时间段和其文字内容。
2.根据权利要求1所述的纸质日程表电子化的方法，其特征在于，所述图像处理的步骤还包括二值化处理的步骤，其在得到灰度化的图像后进行；二值化处理的步骤是指根据设定的灰度值，将在这个灰度值以上的像素全部置为0，在这个灰度值以下的像素全部置为255，从而生成一个二值图。
3.根据权利要求1所述的纸质日程表电子化的方法，其特征在于，所述边缘识别的步骤还包括图像变换的步骤，其在边缘识别完成之后进行；图像变换的步骤是指对这个边缘识别后的图像进行几何变换，使其成为一个标准的长方形；使用四个边缘点的坐标位置进行透视变换，并采用以下公式进行变换：
其中，u、v是原图片的坐标，x、y是变换后图片的坐标，这里使用OpenCV图像库中的getPerspectiveTransform函数生成变换矩阵，再通过warpPerspective函数得到变换结果，此时得到的将是标准的长方形图像。
4.根据权利要求1所述的纸质日程表电子化的方法，其特征在于，所述方法还包括自主 修改的步骤，其在结果生成的步骤之后进行，自主修改的步骤包括用户检查的步骤和用户编辑的步骤；所述用户检查的步骤：将生成的结果在显示装置上显示以供用户人工核对；所述用户编辑的步骤：对生成的结果的时间和文字内容提供修改和编辑功能，并将编辑后的结果发送至电子档输出的步骤。
5.一种纸质日程表的电子化生成装置，其特征在于，所述装置包括以下模块：
纸质电子化模块：用于通过拍照或扫描将纸质日程页转化成图片格式的电子化文件；
图像处理模块：用于对图片格式的图像进行灰度化处理，以获得灰度图像；其是非常关键的一步，因为如果需要得到正确的时间段就需要对得到的图像进行分析，而原始图像包含有太多的内容，需要将一些多余的信息进行剔除；通过使得r＝r1/64*64，g＝g1/64*64，b＝b1/64*64的方式，将图像中每个像素赋予重新计算得到灰度处理后的RGB值，从而得到灰度化处理后的图像；
边缘识别模块：用于对上述处理后的图像进行边缘点查找以识别日程页的四个边缘点，通过对四个角处的标记的边缘顶点进行查找，而得到日程内页四个角标识的位置；利用OpenCV图像库中的模板匹配函数进行查找，先准备好四个角标识的图片point1、point2、point3和point4，使用matchTemplate()函数查找的图像得到匹配结果集合，再使用minMaxLoc()函数找到匹配最大值点，从而得到四个角标识的坐标；
图像剪裁模块：用于根据识别得到的日程页的四个边缘点或是变换后得到的日程页的四个边缘点，将图像剪裁成标准的长方形形状；
时间识别模块：用于对日程页上的时间标识进行计算以得到标记对应的时间段；所述时间识别模块包括始末时间识别模块、高度和坐标计算模块和时间段计算模块；始末时间识别模块用于对图像剪裁模块得到的图像剔除四个顶点后向内查找，由上往下查找到的第一个黑色区域即为时间起始标记，由下往上查找到第一个黑色区域即为时间结束标记；高度和坐标计算模块用于将时间起始标记最下方像素的坐标计为TS(x,y)，时间结束标记最上方像素的坐标计为BS(x,y)，并通过TS和BS得到时间区域高度TH；时间段计算模块用于过对TS和TH之间的进一步查找，得到每一个时间块的上方坐标TBT和下方坐标TBB，从而计算得出时间块的高度TBH；综合所有值，得到当前时间块的开始时间和结束时间；
文字识别模块：用于对标记时间段对应的文字进行OCR识别将其转成字节或字符形式；根据当前时间块的上方坐标TBT和下一个时间块的上方坐标TBT，得到一个文字识别区域，对这个区域调用手写OCR接口进行OCR文字识别，从而得到该时间段的图像上所对应的文字信息；
结果生成模块：用于将识别的时间和文字对应整合成结果，即获得每个日程的时间段和其对应的文字内容。
6.根据权利要求5所述的纸质日程表的电子化生成装置，其特征在于，所述图像处理模 块还包括二值化处理模块，其在得到灰度化的图像后进行；二值化处理模块用于根据设定的灰度值，将在这个灰度值以上的像素全部置为0，在这个灰度值以下的像素全部置为255，从而生成一个二值图。
7.根据权利要求5所述的纸质日程表的电子化生成装置，其特征在于，所述边缘识别模 块还包括图像变换模块，其在边缘识别完成之后进行；图像变换模块用于对这个边缘识别后的图像进行几何变换，使其成为一个标准的长方形；使用四个边缘点的坐标位置进行透视变换，并采用以下公式进行变换：
其中，u、v是原图片的坐标，x、y是变换后图片的坐标，这里使用OpenCV图像库中的getPerspectiveTransform函数生成变换矩阵，再通过warpPerspective函数得到变换结果，此时得到的将是标准的长方形图像。
8.一种电子日程表的生成方法，其包括纸质日程表内页配置的步骤和纸质日程电子化的步骤；所述纸质日程表内页配置的步骤是指将日程表的内页配置为具有以下结构：
所述内页包括定位点、日期记录区和记录区，所述记录区包括时间标识区和日程记录区；所述时间标识区呈条状地水平或竖直地设置于内页左侧或顶部，日程记录区竖直或平行地设置于时间标识区右侧或下方，时间标识区两端分别设有时间开始标记区和时间结束标记区；所述定位点设置于记录区外围并形成定位区，日期记录区设置于记录区外、定位区之内；
所述纸质日程电子化的步骤包括以下步骤：
纸质电子化的步骤：通过拍照或扫描将纸质日程页转化成图片格式的电子化文件；
图像处理的步骤：对图片格式的图像进行灰度化处理，以获得灰度图像；该步骤是非常关键的一步，因为如果需要得到正确的时间段就需要对得到的图像进行分析，而原始图像包含有太多的内容，需要将一些多余的信息进行剔除；通过使得r＝r1/64*64，g＝g1/64*64，b＝b1/64*64的方式，将图像中每个像素赋予重新计算得到灰度处理后的RGB值，从而得到灰度化处理后的图像；
边缘识别的步骤：对上述处理后的图像进行边缘点查找以识别日程页的四个边缘点，通过对四个角处的标记的边缘顶点进行查找，而得到日程内页四个角标识的位置；利用OpenCV图像库中的模板匹配函数进行查找，先准备好四个角标识的图片point1、point2、point3和point4，使用matchTemplate()函数查找的图像得到匹配结果集合，再使用minMaxLoc()函数找到匹配最大值点，从而得到四个角标识的坐标；
图像剪裁的步骤：根据识别得到的日程页的四个边缘点或是变换后得到的日程页的四个边缘点，将图像剪裁成标准的长方形形状；
时间识别的步骤：对日程页上的时间标识进行计算以得到标记对应的时间段；所述时间识别的步骤包括始末时间识别的步骤、高度和坐标计算的步骤和时间段计算的步骤；始末时间识别的步骤是指对图像剪裁的步骤得到的图像剔除四个顶点后向内查找，由上往下查找到的第一个黑色区域即为时间起始标记，由下往上查找到第一个黑色区域即为时间结束标记；高度和坐标计算的步骤就指将时间起始标记最下方像素的坐标计为TS(x,y)，时间结束标记最上方像素的坐标计为BS(x,y)，并通过TS和BS得到时间区域高度TH；时间段计算的步骤是指通过对TS和TH之间的进一步查找，得到每一个时间块的上方坐标TBT和下方坐标TBB，从而计算得出时间块的高度TBH；综合所有值，可以得到当前时间块的开始时间和结束时间；
文字识别的步骤：对标记时间段对应的文字进行OCR识别将其转成字节或字符形式；根据当前时间块的上方坐标TBT和下一个时间块的上方坐标TBT，得到一个文字识别区域，对这个区域调用手写OCR接口进行OCR文字识别，从而得到该时间段的图像上所对应的文字信息；
结果生成的步骤：将识别的时间和文字对应整合成结果，即获得每个日程的时间段和其文字内容。
9.根据权利要求8所述的电子日程表的生成方法，其特征在于，所述图像处理的步骤还包括二值化处理的步骤，其在得到灰度化的图像后进行；二值化处理的步骤是指根据设定的灰度值，将在这个灰度值以上的像素全部置为0，在这个灰度值以下的像素全部置为255，从而生成一个二值图；
所述边缘识别的步骤还包括图像变换的步骤，其在边缘识别完成之后进行；图像变换的步骤是指对这个边缘识别后的图像进行几何变换，使其成为一个标准的长方形；使用四个边缘点的坐标位置进行透视变换，并采用以下公式进行变换：
其中，u、v是原图片的坐标，x、y是变换后图片的坐标，这里使用OpenCV图像库中的getPerspectiveTransform函数生成变换矩阵，再通过warpPerspective函数得到变换结果，此时得到的将是标准的长方形图像；
所述图像剪裁的步骤还包括像素处理的步骤，将图像高度变成1500像素，而图像的宽度则进行等比缩放，即图像宽度W＝1500*宽度/高度，从而让所有日程页的图片或照片都具有统一的高度，以方便后续的时间线、日期以及内容的识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810481904.9A CN108805519B (zh) | 2018-05-18 | 2018-05-18 | 纸质日程表电子化生成方法、装置及电子日程表生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810481904.9A CN108805519B (zh) | 2018-05-18 | 2018-05-18 | 纸质日程表电子化生成方法、装置及电子日程表生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805519A true CN108805519A (zh) | 2018-11-13 |
| CN108805519B CN108805519B (zh) | 2021-09-28 |
Family
ID=64091169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810481904.9A Expired - Fee Related CN108805519B (zh) | 2018-05-18 | 2018-05-18 | 纸质日程表电子化生成方法、装置及电子日程表生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805519B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598228A (zh) * | 2018-11-30 | 2019-04-09 | 泰华智慧产业集团股份有限公司 | 将纸质文件电子化著录归档的方法和系统 |
| CN109635729A (zh) * | 2018-12-12 | 2019-04-16 | 厦门商集网络科技有限责任公司 | 一种表格识别方法及终端 |
| CN111752136A (zh) * | 2020-05-26 | 2020-10-09 | 东华大学 | 一种扫描计时器 |
| CN111985189A (zh) * | 2020-08-20 | 2020-11-24 | 朵镇山 | 适用于深度学习及思考的模块化笔记系统及电子转换方法 |
| CN113065537A (zh) * | 2021-06-03 | 2021-07-02 | 江苏联著实业股份有限公司 | 一种基于模型优化的ocr文件格式转化方法及系统 |
| CN116401484A (zh) * | 2023-04-18 | 2023-07-07 | 河北长风信息技术有限公司 | 纸质材料电子化的处理方法、装置、终端及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1300019A (zh) * | 1999-08-17 | 2001-06-20 | 龟田俊忠 | 辅助制作医疗保健日程和/或记录的系统 |
| CN101393419A (zh) * | 2008-10-27 | 2009-03-25 | 深圳华为通信技术有限公司 | 一种终端及其时间配置方法 |
| CN103649947A (zh) * | 2011-01-04 | 2014-03-19 | 英特尔公司 | 用于支持所创建图像中包括的对象的收集的方法、终端以及计算机可读记录介质 |
| US20160275346A1 (en) * | 2015-03-20 | 2016-09-22 | Fuji Xerox Co., Ltd. | Itinerary estimation device and method, non-transitory computer-readable medium, and information classification method |
| CN107071179A (zh) * | 2017-04-25 | 2017-08-18 | 北京小米移动软件有限公司 | 日程管理方法及装置 |
| JP2017146672A (ja) * | 2016-02-15 | 2017-08-24 | 富士通株式会社 | 画像表示装置、画像表示方法、画像表示プログラム及び画像表示システム |
| CN107818321A (zh) * | 2017-10-13 | 2018-03-20 | 上海眼控科技股份有限公司 | 一种用于车辆年检的水印日期识别方法 |
-
2018
- 2018-05-18 CN CN201810481904.9A patent/CN108805519B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1300019A (zh) * | 1999-08-17 | 2001-06-20 | 龟田俊忠 | 辅助制作医疗保健日程和/或记录的系统 |
| CN101393419A (zh) * | 2008-10-27 | 2009-03-25 | 深圳华为通信技术有限公司 | 一种终端及其时间配置方法 |
| CN103649947A (zh) * | 2011-01-04 | 2014-03-19 | 英特尔公司 | 用于支持所创建图像中包括的对象的收集的方法、终端以及计算机可读记录介质 |
| US20160275346A1 (en) * | 2015-03-20 | 2016-09-22 | Fuji Xerox Co., Ltd. | Itinerary estimation device and method, non-transitory computer-readable medium, and information classification method |
| JP2017146672A (ja) * | 2016-02-15 | 2017-08-24 | 富士通株式会社 | 画像表示装置、画像表示方法、画像表示プログラム及び画像表示システム |
| CN107071179A (zh) * | 2017-04-25 | 2017-08-18 | 北京小米移动软件有限公司 | 日程管理方法及装置 |
| CN107818321A (zh) * | 2017-10-13 | 2018-03-20 | 上海眼控科技股份有限公司 | 一种用于车辆年检的水印日期识别方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598228A (zh) * | 2018-11-30 | 2019-04-09 | 泰华智慧产业集团股份有限公司 | 将纸质文件电子化著录归档的方法和系统 |
| CN109635729A (zh) * | 2018-12-12 | 2019-04-16 | 厦门商集网络科技有限责任公司 | 一种表格识别方法及终端 |
| CN111752136A (zh) * | 2020-05-26 | 2020-10-09 | 东华大学 | 一种扫描计时器 |
| CN111985189A (zh) * | 2020-08-20 | 2020-11-24 | 朵镇山 | 适用于深度学习及思考的模块化笔记系统及电子转换方法 |
| CN111985189B (zh) * | 2020-08-20 | 2024-04-12 | 朵镇山 | 适用于深度学习及思考的模块化笔记系统及电子转换方法 |
| CN113065537A (zh) * | 2021-06-03 | 2021-07-02 | 江苏联著实业股份有限公司 | 一种基于模型优化的ocr文件格式转化方法及系统 |
| CN116401484A (zh) * | 2023-04-18 | 2023-07-07 | 河北长风信息技术有限公司 | 纸质材料电子化的处理方法、装置、终端及存储介质 |
| CN116401484B (zh) * | 2023-04-18 | 2023-11-21 | 河北长风信息技术有限公司 | 纸质材料电子化的处理方法、装置、终端及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108805519B (zh) | 2021-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805519A (zh) | 纸质日程表电子化生成方法、装置及电子日程表生成方法 | |
| CN104143094B (zh) | 一种无需答题卡的试卷自动阅卷处理方法及系统 | |
| CN110705534B (zh) | 一种适用于电子助视器的错题本生成方法 | |
| CN110597806A (zh) | 一种基于批阅识别的错题集生成与答题统计系统及方法 | |
| US9824604B2 (en) | Creating assessment model for educational assessment system | |
| CN110956138B (zh) | 一种基于家教设备的辅助学习方法及家教设备 | |
| CN102855495A (zh) | 电子版标准答案的实现方法及其应用系统 | |
| CN108009536A (zh) | 扫描阅卷方法及系统 | |
| CN103020812B (zh) | 方便电子化的专业笔记本及其添加到电子日历中的方法 | |
| CN113221632A (zh) | 文档图片识别方法、装置以及计算机设备 | |
| CN107103312A (zh) | 一种图片处理方法及装置 | |
| US20240119748A1 (en) | System and method to facilitate extraction and organization of information from paper, and other physical writing surfaces | |
| CN110503101A (zh) | 字形评价方法、装置、设备及计算机可读存储介质 | |
| US9886629B2 (en) | Techniques for restoring content from a torn document | |
| CN110309754B (zh) | 一种习题采集的方法及系统 | |
| CN114444439B (zh) | 试题集文件生成方法、装置、电子设备及存储介质 | |
| US20060120605A1 (en) | Data extraction from temporal image data | |
| CN111611986B (zh) | 一种基于手指交互的焦点文本提取和识别方法及系统 | |
| CN113903039A (zh) | 一种基于颜色的答题卡答案区域采集的方法 | |
| CN108734167B (zh) | 一种被污染的胶片文字识别方法 | |
| JP2000029198A (ja) | 検版装置、画像処理装置および記録媒体 | |
| CN114444450B (zh) | 组卷文件生成方法、装置、电子设备及存储介质 | |
| TW201001303A (en) | System and method for recognizing document immediately | |
| CN111291758A (zh) | 用于识别印章文字的方法和装置 | |
| JP4507673B2 (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210928 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |