CN112308063B - 文字识别装置、翻译笔、图像翻译方法及图像翻译装置 - Google Patents

文字识别装置、翻译笔、图像翻译方法及图像翻译装置 Download PDF

Info

Publication number
CN112308063B
CN112308063B CN201910690400.2A CN201910690400A CN112308063B CN 112308063 B CN112308063 B CN 112308063B CN 201910690400 A CN201910690400 A CN 201910690400A CN 112308063 B CN112308063 B CN 112308063B
Authority
CN
China
Prior art keywords
processed
image information
translation
characters
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910690400.2A
Other languages
English (en)
Other versions
CN112308063A (zh
Inventor
赵骥伯
姜幸群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910690400.2A priority Critical patent/CN112308063B/zh
Priority to US17/423,413 priority patent/US20220076042A1/en
Priority to PCT/CN2020/105026 priority patent/WO2021018110A1/zh
Publication of CN112308063A publication Critical patent/CN112308063A/zh
Application granted granted Critical
Publication of CN112308063B publication Critical patent/CN112308063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/47—Machine-assisted translation, e.g. using translation memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • Character Input (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本发明公开了一种文字识别装置、翻译笔、图像翻译方法及图像翻译装置，涉及翻译产品技术领域。本发明的主要技术方案为：文字识别装置，其包括第一处理器和采集设备，所述采集设备与所述第一处理器电连接，用于采集待处理文字的图像信息；所述第一处理器被配置为用于发出识别指令、接收所述待处理文字的图像信息并发送识别结果；本发明通过添加纯视觉原理的图像采集设备取代传统的传感器或扫描器进行文字的图像采集，然后再对图像进行处理识别，避免了视觉遮挡，同时图像采集覆盖面积有限，不会造成扫描过量，不会出现翻译不准确的问题。

Description

文字识别装置、翻译笔、图像翻译方法及图像翻译装置
技术领域
本发明涉及翻译产品技术领域，尤其涉及一种文字识别装置、翻译笔、图像翻译方法及图像翻译装置。
背景技术
扫描翻译笔，即是通过扫描技术将印刷字体扫描到笔里面的文字识别系统进行识别，再通过里面的翻译软件实现翻译功能；具体地，是通过类似刷子外观的笔头，在书页的行方向刷过也就是进行扫面，即可在进行翻译。
但是，上述的扫描翻译笔在扫描文字过程中是逐行扫描的，对于同一行上的即将扫描的文字会存在遮挡，影响阅读者的观感，同时如此的扫描方式对扫描量无法进行较好的把握，容易造成扫描量过大导致翻译结果不准确。
发明内容
有鉴于此，本发明实施例提供一种文字识别装置、翻译笔、图像翻译方法及图像翻译装置，主要目的是解决传统翻译笔采用逐行扫描翻译方式，容易对同一行上的即将扫描的文字进行遮挡，影响阅读者的观感，且容易发生由于扫描量过大导致的翻译结果不准确的问题。
为达到上述目的，本发明主要提供如下技术方案：
一方面，本发明实施例提供了一种文字识别装置，其包括：
采集设备与第一处理器；
所述采集设备与所述第一处理器电连接，用于采集待处理文字的图像信息；
所述第一处理器被配置为用于发出识别指令、接收所述待处理文字的图像信息并发送识别结果。
本发明的目的及解决其技术问题还可采用以下技术措施进一步实现；
可选地，前述的一种文字识别装置，其中所述第一处理器包括选择电路和锁定电路；
所述选择电路与所述采集设备电连接，用于筛选所述待处理文字的图像信息；
所述锁定电路与所述选择电路电连接，用于锁定部分所述待处理文字的图像信息。
可选地，前述的一种文字识别装置，其中所述第一处理器还包括色彩识别电路；
所述色彩识别电路与所述选择电路和所述采集设备电连接，用于筛选具有色彩标记的所述待处理文字的图像信息。
可选地，前述的一种文字识别装置，其中所述第一处理器还包括自适应调整电路；
所述自适应调整电路的输入端与所述选择电路电连接，所述自适应调整电路的输出端与所述锁定电路电连接，用于计算所述待处理文字的图像信息中相邻字母的间隔距离。
一方面，本发明实施例提供了一种翻译笔，其包括：
前述的任一所述文字识别装置；
翻译笔本体，所述翻译笔本体一端设有定位部件，在距离所述定位部件预设距离处设有采集设备，用于根据所述定位部件的指示位置采集待处理文字的图像信息；
显示屏幕，所述显示屏幕设置在所述翻译笔本体的外表面，用于接收并显示翻译结果；
翻译处理器，所述翻译处理器置于所述翻译笔本体内，所述翻译处理器一端与第一处理器电连接另一端与所述显示屏幕电连接，用于翻译所述待处理文字的图像信息并发送翻译结果。
可选地，前述的一种翻译笔，其中所述定位部件为笔尖或指示部。
另一方面，本发明实施例提供了一种图像翻译方法，其包括如下步骤；获取待处理文字的图像信息；
筛选并锁定部分所述待处理文字的图像信息；
翻译所述部分待处理文字的图像信息并显示结果。
可选地，前述的筛选并锁定部分所述待处理文字的图像信息的方法中；
所述筛选部分所述待处理文字的图像信息包括：选择定位部件指示位置上方距离所述定位部件最近的一行的所述待处理文字的图像信息；或者
选择具有色彩标记的所述待处理文字的图像信息。
可选地，前述的筛选并锁定部分所述待处理文字的图像信息的方法中；
所述锁定部分所述待处理文字的图像信息包括：在定位部件上方距离所述定位部件最近一行中最接近中心位置处，自适应分词并锁定部分所述待处理文字的图像信息；或者
在具有色彩标记的所述待处理文字的图像信息中自适应分词并锁定部分所述待处理文字的图像信息。
可选地，前述的所述自适应分词并所述部分所述待处理文字的图像信息的方法中：
自适应分词包括如下步骤：
获取所述待处理文字的图像信息中单个字母的最小外接文本框；
排列所述待处理文字的图像信息中的所有所述文本框；
确定参考文本框并计算相邻字母间间隔距离的阈值；
获取所述相邻字母间的间隔距离；
根据所述阈值和所述相邻字母间的间隔距离分词。
可选地，前述的确定参考文本框并计算相邻字母间间隔距离的阈值包括：
按照面积排列所述待处理文字的图像信息中的所有所述文本框；
选取面积处于中值的所述文本框作为所述参考文本框，以所述参考文本框的字符宽度作为所述阈值。
可选地，根据所述阈值和所述相邻字母间的间隔距离分词包括：
所述相邻字母间的间隔距离大于所述阈值则所述相邻字母分别属于两个相邻单词，若所述相邻字母间的间隔距离小于阈值则所述相邻字母同属于一个单词。
可选地，前述的所述翻译所述部分待处理文字的图像信息并显示结果包括；
若无法得出翻译结果则重新进行所述筛选并锁定部分所述待处理文字的图像信息。
另一方面，本发明实施例提供一种图像翻译装置，其包括：至少一个处理器；
以及与所述处理器通过总线连接的采集设备和至少一个存储器；其中
所述处理器接收所述采集设备的待处理文字的图像信息，并调用所述存储器中的程序指令，以执行前述的任一所述的图像翻译方法。
借由上述技术方案，本发明文字识别装置、翻译笔、图像翻译方法及图像翻译装置至少具有下列优点：通过添加纯视觉原理的图像采集设备取代传统的传感器或扫描器进行文字的图像采集，然后再对图像进行处理识别，避免了视觉遮挡，同时图像采集覆盖面积有限，不会造成扫描过量，不会出现翻译不准确的问题。
附图说明
图1为本发明实施例提供的一种文字识别装置的结构示意图；
图2为本发明实施例提供的一种文字识别装置的具体结构示意图；
图3为本发明实施例提供的一种文字识别装置的另一种具体结构示意图；
图4为本发明实施例提供的一种翻译笔的结构示意图；
图5为本发明实施例提供的一种图像翻译方法的流程示意图；
图6为本发明实施例提供的一种图像翻译方向中进行自适应分词的编程设置流程示意图；
图7为本发明实施例提供的一种图像翻译装置的结构示意图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种文字识别装置、翻译笔、图像翻译方法及图像翻译装置其具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
本发明实施例的技术方案为解决上述技术问题，总体思路如下：
实施例1
参考附图1，本发明实施例提供的文字识别装置，其包括第一处理器1和采集设备2，所述采集设备2与所述第一处理器1电连接，用于采集待处理文字的图像信息；所述第一处理器1被配置为用于发出之别指令、接收所述待处理文字的图像信息并发送识别结果。
具体为，解决传统翻译笔采用逐行扫描翻译方式，容易对同一行上的即将扫描的文字进行遮挡，影响阅读者的观感，且容易发生由于扫描量过大导致的翻译结果不准确的问题，本发明实施例提供一种文字识别装置，其包括所述第一处理器1和所述采集设备2其中所述第一处理器1为计算机终端或计算机服务器，用于实时发送识别指令、接收所述待处理文字的图像信息并发送识别结果；其中所述采集设备2为摄像头等具有图像采集功能的电子设备，所述采集设备2与所述第一处理器1电连接，接收所述第一处理器1的识别指令，对纸质打印的文字信息进行图片拍摄或者是对电子显示设备上的文字信息进行图片拍摄，进而进行所述待处理文字的图像信息的采集，所述待处理文字的图像信息主要针对英语，其包括字母的数量、样式以及大小；其中所述第一处理器1还具有数据处理、筛选、整合和锁定功能，与所述采集设备2电连接，接收所述采集设备2采集的所述待处理文字的图像信息并进行整合、筛选以及锁定识别并将识别结果传输至翻译处理器或其他处理设备进行文字的详细翻译或处理。
根据上述所列，本发明文字识别装置、翻译笔及控制方法至少具有下列优点：通过添加纯视觉原理的图像采集设备取代传统的传感器或扫描器进行文字的图像采集，然后再对图像进行处理识别，避免了视觉遮挡，同时图像采集覆盖面积有限，不会造成扫描过量，不会出现翻译不准确的问题。
进一步地，参考附图4，本发明实施例提供的一种翻译笔，其包括上述的文字识别装置、翻译笔本体4、显示屏幕5以及翻译处理器；所述翻译笔本体4一端设有定位部件41，在距离所述定位部件41预设距离处设有采集设备2，用于根据所述定位部件41的指示位置采集待处理文字的图像信息；所述显示屏幕5设置在所述翻译笔本体4的外表面，用于显示翻译结果；所述翻译处理器置于所述翻译笔本体41内，所述翻译处理器一端与第一处理器1电连接另一端与所述显示屏幕5电连接，用于翻译所述待处理文字的图像信息并发送翻译结果。
具体地，为了将所述文字识别装置应用在实际产品中，并解决传统翻译笔采用逐行扫描翻译方式，容易对同一行上的即将扫描的文字进行遮挡，影响阅读者的观感，且容易发生由于扫描量过大导致的翻译结果不准确的问题，本发明采取的技术方案中，将所述采集设备2设置在所述翻译笔本体4上，与所述定位部件41相配合进行所述待处理文字的图像信息的图像采集，即所述定位部件41在纸质版打印的文字信息或者是对电子显示设备上的文字信息进行位置指示时，所述采集设备2即进行拍摄对应位置的包含有所述待处理文字的图像信息的图像，然后经过所述第一处理器1的筛选与锁定确定出最终需要进行处理的文字信息，并传递至所述翻译处理器进行翻译，并最终在所述显示屏幕5上显示翻译结果；当然可以理解的是，翻译笔本体4上必然设有开关按钮或控制器，该装置与所述第一处理器1电连接，用以控制所述采集设备2进行图像采集工作；另外，所述第一处理器1与所述翻译处理器可以合为一体，设置为同一个处理器；需要说明的是，本发明实施例提供的翻译笔主要是针对于英文的翻译，且所述翻译笔本体4上的定位部件41可以是笔尖或指示部；当所述定位部件是笔尖时则可以进行与常规笔相同的勾勒、涂色以及标记的操作，当然可以设置为与所述待处理文字的图像信息颜色相区别的颜色；当所述定位部件为指示部时，则其仅仅具有指示的功能。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，具体地理解为：可以同时包含有A与B，可以单独存在A，也可以单独存在B，能够具备上述三种任一中情况。
进一步地，参考附图2，本发明的一个实施例提供一种文字识别装置，在具体实施中，所述第一处理器1包括选择电路31和锁定电路32；所述选择电路31与所述采集设备2电连接，用于筛选所述待处理文字的图像信息；所述锁定电路32与所述选择电路31电连接，用于锁定部分所述待处理文字的图像信息。
具体地，为了实现所述第一处理器1兼具数据处理、筛选、锁定的功能，本发明采取的技术方案中，将所述第一处理器1设置为由所述选择电路31和所述锁定电路32组成，其中所述选择电路31具有筛选和选择的功能，其通过简单编程即可实现，所述选择电路31与所述采集设备2电连接，接收来自所述采集设备2所采集到的包含所述待处理文字的图像信息的图片，然后对图片中的所述待处理文字的图像信息进行筛选；所述锁定电路32具有锁定的功能，其通过简单编程即可实现，所述锁定电路32与所述选择电路31电连接，在所述选择电路31筛选的基础上对部分所述待处理文字的图像信息进行锁定，即将部分所述待处理文字的图像信息锁定为最终需要进行处理识别的文字信息；具体地，所述采集设备2将包含有所述待处理文字的图像信息的图片发送至所述选择电路31后，所述选择电路31根据预先设定的选择规则进行选择，所述锁定电路32根据预先设定的锁定规则进行最终锁定，比如，所述选择电路31会对所述定位部件41上方被拍摄到的文字信息进行矩形框框选，框选单个单词或词组，然后选择所述定位部件41上方距离所述定位部件41最近的一行的矩形框框选内容作为待锁定区，所述锁定电路32则选取所述待锁定区内最靠近照片中线处的单词或词组进行最终锁定，将所述锁定的单词或词组通过所述第一处理器1传递至所述翻译处理器进行翻译；当然，所述采集设备2在进行图像拍摄时可能会受到外界因素影响，比如人手的颤抖等，可能会出现所述定位部件41上方距离所述定位部件41最近的一行仅仅被拍到的一部分，则翻译时就无法正确的翻译出结果，此时所述第一处理器1会控制所述选择电路31和所述锁定电路32重新进行筛选与锁定，即向上移动一行进行重新的选择和锁定。
进一步地，本发明的一个实施例提供的一种文字识别装置，在具体实施中，所述第一处理器1还包括色彩识别电路33；所述色彩识别电路33与所述选择电路31和所述采集设备2电连接，用于筛选具有色彩标记的所述待处理文字的图像信息。
具体地，为了丰富对所述待处理文字的图像信息选择的方式，本发明采取的技术方案中，在所述第一处理器1中增设了所述色彩识别电路33，所述色彩识别电路33具有色彩区分及识别的功能，其通过简单编程即可实现；所述色彩识别电路33与所述选择电路31和所述锁定电路32相互配合，对所述待处理文字的图像信息进行详细的筛选与锁定，比如，阅读者具有针对性的要翻译某个单词或词组，那么通过笔尖对其进行标记，可以是涂色或框选等区别标记，当然此处所述笔尖的颜色区别于包含所述待处理文字的图像信息的文本的颜色，此时，所述选择电路31和所述锁定电路32会根据预先设定的选择规则和锁定规则对具有区别颜色标记的单词或词组进行选择和最终锁定，例如所述选择电路31会比对自身形成的矩形框与具有色彩标记部分的重合率达到百分之70以上则选择该框选单词或词组为待锁定区，锁定电路32则进行最终锁定后将其通过所述第一处理器1发送至所述翻译处理器进行翻译。
实施例2
进一步地，参考附图3，本发明实施例提供的一种文字识别装置，在具体实施中，所述第一处理器1还包括自适应调整电路34；所述自适应调整电路34的输入端与所述选择电路31电连接，所述自适应调整电路34的输出端与所述锁定电路32电连接，用于计算所述待处理文字的图像信息中相邻文字的间隔距离。
具体为，为了完善所述第一处理器1对所述待处理文字的图像信息的筛选与锁定，本发明采取的技术方案中，在所述第一处理器1中增设了所述自适应调整电路34，对于所述选择电路31筛选得到的待锁定区，无论是根据所述定位部件41指示得到还是根据所述笔尖标记得到，均会得到所述自适应调整电路34的分词，然后再通过所述锁定电路32进行最终锁定；通常的文字识别检测中大多采用的文本检测方式有CTPN和YOLO，其基本原理都是通过训练网络使网络能够按照宽度方向设定一定的像素数(通常是16像素)来确定多个长条框进行图像遍历，找到符合文字特征的区域并组合成完整字符的方式，其中，区分文字区域是一个单词还是多个单词的方法是设置一个表示相邻字母间间隔距离的阈值N，当相邻字母间的间隔距离小于所述阈值N则判定所述相邻字母属于同一个单词，相反则属于两个相邻的单词，但是现今的文字显示出现了许多艺术改变，同一个文本中文字的大小不一，格式多样，那么一个固定不变的阈值N则变得不再适用，容易造成分词失败进而导致翻译失败，所以本发明采取的技术方案中，所述自适应调整电路34则具有自适应调整所述预置N的功能，其通过编程即可实现，进而所述自适应调整电路34接收到所述选择电路31；
进一步地，所述自适应调整电路34的自适应调整的设置方式如下：
所述自适应调整电路34接收到所述选择电路31选择的包含有待处理文字的图像信息的图像后，通过opencv函数cv::threshold()对其进行二值化，得到二值化后的图像；接着通过腐蚀的图像处理手段cv::erode()除去图像中待处理文字的图像信息因幽默印刷问题或字体问题导致的字母之间为微小连接，例如两个字母N(NN)之间容易出现的微小连接；然后通过膨胀的图像处理手段cv::dilate()使字母回复原本的粗细度和大小；使用cv::findContours()找到每个字母的轮廓；然后使用cv::boundingRect()获得字母的轮廓的外接矩形，最后会获得每个字母外的最小外接矩形文本框；对全部文本框进行面积比较并安装大小进行排序，取面积大小居中的的文本框作为参考文本框(目的是问了去除较小文本框比如i上方的.，以及较大的文本框比如两个字母联通而被识别成一个字母)；取所述参考文本框的宽度W进行阈值N的求解N＝0.6*W/16，其中N为相邻字母间的间隔距离，W为所述参考文本框的宽度(n个像素)，16为通常文本检测中长条框的宽度，0.6是本方案申请人经过多次试验得到的经验值，进而得到最适合该图像中的相邻字母间的间隔阈值，准确的对该图像中的相邻字母进行分词；该式能够比较全面的针对各种不同文本进行自适应调整，做到精准分词，若相邻字母间的间隔距离大于N则分别属于两个相邻单词，若相邻字母间的间隔距离小于N则同属于一个单词。
实施例3
进一步地，本发明实施例提供一种图像翻译方法，其包括如下步骤：
获取待处理文字的图像信息，具体为
所述采集设备2根据定位部件41的指示或标记进行图像拍摄并传输至所述第一处理器1；
筛选并锁定部分所述待处理文字的图像信息，具体为
选择定位部件41指示位置上方距离所述定位部件41最近的一行的所述待处理文字的图像信息；或者
选择具有色彩标记的所述待处理文字的图像信息；
此步骤详细包括：在定位部件41上方距离所述定位部件41最近一行中最接近中心位置处，自适应分词并锁定部分所述待处理文字的图像信息；或者
在具有色彩标记的所述待处理文字的图像信息中自适应分词并锁定部分所述待处理文字的图像信息；
翻译所述部分待处理文字的图像信息并显示结果，具体为
所述第一处理器1将锁定结果传输至翻译处理器进行翻译，并通过显示屏幕5显示。
进一步地，参考附图5，本发明实施例提供一种图像翻译方法，详细包括如下步骤；
101、所述采集设备2根据定位部件41的指示或标记进行图像拍摄并传输至所述第一处理器1；
102、进行待处理文字的图像信息的选择，若待处理文字的图像信息中有色彩标注则执行步骤103，若没有色彩标注则执行步骤107；
103、判断选择电路31的矩形框选内容与色彩标注内容的重合率达到百分之七十以上，则执行步骤104；
104、自适应分词后锁定最终待处理文字的图像信息；
105、翻译并显示，若无法正确翻译出结果则执行步骤102，若能够正确翻译出结果则执行步骤106；
106、显示翻译结果；
107、选择电路31通过多个矩形框框选单词或词组；
108、选择居中靠下的款选内容，并执行步骤104。
具体地，本实施例中提供的一种基于上述实施例1和2中文字识别装置的图像翻译方法，详细操作方法请参照上述实施例1和2的文字识别装置的详细说明与实现方式，在此不再赘述。
进一步地，参考附图6，本发明实施例提供的图像翻译方法，在具体实施中，对于步骤104中自适应分词的设定包括如下步骤：
201、所述自适应调整电路34接收到所述选择电路31选择的包含有待处理文字的图像信息的图像后，通过opencv函数cv::threshold()对其进行二值化，得到二值化后的图像；
202、通过腐蚀的图像处理手段cv::erode()除去图像中待处理文字的图像信息因油墨印刷问题或字体问题导致的字母之间为微小连接(例如两个字母N(NN)之间容易出现的微小连接)；
203、通过膨胀的图像处理手段cv::dilate()使字母回复原本的粗细度和大小；
204、使用cv::findContours()找到每个字母的轮廓；；
205、使用cv::boundingRect()获得字母的轮廓的外接矩形，最后会获得每个字母外的最小外接矩形文本框；
206、对全部文本框进行面积比较并按照大小进行排序，取面积大小居中值的文本框作为参考文本框(目的是为了去除较的小文本框比如i上方的.，以及较大的文本框比如两个字母联通而被识别成一个字母)；
207、取所述参考文本框的字符宽度W进行阈值N的求解N＝0.6*W/16(其中N为相邻字母间的间隔距离，W为所述参考文本框的宽度(n个像素)，16为通常文本检测中长条框的宽度，0.6是本方案申请人经过多次试验得到的经验值；该式能够比较全面的针对各种不同文本进行自适应调整，做到精准分词)；
207、若相邻字母间的间隔距离大于N则分别属于两个相邻单词，若相邻字母间的间隔距离小于N则同属于一个单词。
实施例4
参考附图7，本发明实施例提供一种图像翻译装置，包括至少一个处理器8，以及与所述处理器8通过总线6连接的采集设备2和至少一个存储器7；其中，所述处理器8接收所述采集设备2的待处理文字的图像信息，并调用所述存储器7中的程度指令，以执行实施例3中所述的图像翻译方法。
需要说明的是，以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，因而以上实施例之间可以进行结合，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (14)

1.一种文字识别装置，其特征在于，其包括：
采集设备与第一处理器；
所述采集设备与所述第一处理器电连接，用于采集待处理文字的图像信息；
所述第一处理器被配置为用于发出识别指令、接收所述待处理文字的图像信息并发送识别结果；
所述第一处理器包括色彩识别电路，所述色彩识别电路与所述采集设备电连接，用于筛选具有色彩标记的所述待处理文字的图像信息；
所述第一处理器还包括自适应调整电路，所述自适应调整电路用于针对所述待处理文字的图像信息获取所述待处理文字的图像信息中单个字母的最小外接文本框，按照面积排列所有所述文本框，选取面积处于中值的所述文本框的字符宽度作为参考文本框，并以所述参考文本框作为所述待处理文字的图像信息中相邻字母的间隔距离的阈值，判断相邻字母间的间隔距离大于所述阈值则所述相邻字母分别属于两个相邻单词，判断相邻字母间的间隔距离小于所述阈值则所述相邻字母同属于一个单词。
2.根据权利要求1所述的文字识别装置，其特征在于：
所述第一处理器包括选择电路和锁定电路；
所述选择电路与所述采集设备电连接，用于筛选所述待处理文字的图像信息；
所述锁定电路与所述选择电路电连接，用于锁定部分所述待处理文字的图像信息。
3.根据权利要求2所述的文字识别装置，其特征在于：
所述色彩识别电路与所述选择电路和所述采集设备电连接，用于筛选具有色彩标记的所述待处理文字的图像信息。
4.根据权利要求3所述的文字识别装置，其特征在于：
所述自适应调整电路的输入端与所述选择电路电连接，所述自适应调整电路的输出端与所述锁定电路电连接。
5.一种翻译笔，其特征在于，其包括：
权利要求1-4任一所述文字识别装置；
翻译笔本体，所述翻译笔本体一端设有定位部件，在距离所述定位部件预设距离处设有采集设备，用于根据所述定位部件的指示位置采集待处理文字的图像信息；
显示屏幕，所述显示屏幕设置在所述翻译笔本体的外表面，用于接收并显示翻译结果；
翻译处理器，所述翻译处理器置于所述翻译笔本体内，所述翻译处理器一端与第一处理器电连接另一端与所述显示屏幕电连接，用于翻译所述待处理文字的图像信息并发送翻译结果。
6.根据权利要求5所述的翻译笔，其特征在于：
所述定位部件为笔尖或指示部。
7.一种基于权利要求1-4任一所述文字识别装置的图像翻译方法，其特征在于，其包括如下步骤：
获取待处理文字的图像信息；
筛选并锁定部分所述待处理文字的图像信息；
翻译所述部分待处理文字的图像信息并显示结果。
8.根据权利要求7所述的图像翻译方法，其特征在于，所述筛选并锁定部分所述待处理文字的图像信息的方法中；
所述筛选部分所述待处理文字的图像信息包括：选择定位部件指示位置上方距离所述定位部件最近的一行的所述待处理文字的图像信息；或者
选择具有色彩标记的所述待处理文字的图像信息。
9.根据权利要求8所述的图像翻译方法，其特征在于，筛选并锁定部分所述待处理文字的图像信息的方法中；
所述锁定部分所述待处理文字的图像信息包括：在定位部件上方距离所述定位部件最近一行中最接近中心位置处，自适应分词并锁定部分所述待处理文字的图像信息；或者
在具有色彩标记的所述待处理文字的图像信息中自适应分词并锁定部分所述待处理文字的图像信息。
10.根据权利要求9所述的图像翻译方法，其特征在于，所述自适应分词并锁定部分所述待处理文字的图像信息的方法中：
自适应分词包括如下步骤：
获取所述待处理文字的图像信息中单个字母的最小外接文本框；
排列所述待处理文字的图像信息中的所有所述文本框；
确定参考文本框并计算相邻字母间间隔距离的阈值；
获取所述相邻字母间的间隔距离；
根据所述阈值和所述相邻字母间的间隔距离分词。
11.根据权利要求10所述的图像翻译方法，其特征在于，所述确定参考文本框并计算相邻字母间间隔距离的阈值包括：
按照面积排列所述待处理文字的图像信息中的所有所述文本框；
选取面积处于中值的所述文本框作为所述参考文本框，以所述参考文本框的字符宽度作为所述阈值。
12.根据权利要求10所述的图像翻译方法，其特征在于，所述根据所述阈值和所述相邻字母间的间隔距离分词包括：
所述相邻字母间的间隔距离大于所述阈值则所述相邻字母分别属于两个相邻单词，若所述相邻字母间的间隔距离小于阈值则所述相邻字母同属于一个单词。
13.根据权利要求7所述的图像翻译方法，其特征在于，所述翻译所述部分待处理文字的图像信息并显示结果包括：
若无法得出翻译结果则重新进行所述筛选并锁定部分所述待处理文字的图像信息。
14.一种图像翻译装置，其特征在于，其包括：
至少一个处理器；
以及与所述处理器通过总线连接的采集设备和至少一个存储器；其中
所述处理器接收所述采集设备的待处理文字的图像信息，并调用所述存储器中的程序指令，以执行权利要求7-13中任一所述的图像翻译方法。
CN201910690400.2A 2019-07-29 2019-07-29 文字识别装置、翻译笔、图像翻译方法及图像翻译装置 Active CN112308063B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910690400.2A CN112308063B (zh) 2019-07-29 2019-07-29 文字识别装置、翻译笔、图像翻译方法及图像翻译装置
US17/423,413 US20220076042A1 (en) 2019-07-29 2020-07-28 Translation pen and control method therefor
PCT/CN2020/105026 WO2021018110A1 (zh) 2019-07-29 2020-07-28 翻译笔及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910690400.2A CN112308063B (zh) 2019-07-29 2019-07-29 文字识别装置、翻译笔、图像翻译方法及图像翻译装置

Publications (2)

Publication Number Publication Date
CN112308063A CN112308063A (zh) 2021-02-02
CN112308063B true CN112308063B (zh) 2022-07-29

Family

ID=74230176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910690400.2A Active CN112308063B (zh) 2019-07-29 2019-07-29 文字识别装置、翻译笔、图像翻译方法及图像翻译装置

Country Status (3)

Country Link
US (1) US20220076042A1 (zh)
CN (1) CN112308063B (zh)
WO (1) WO2021018110A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627417B (zh) * 2021-08-16 2023-11-24 广州番禺职业技术学院 外语翻译用文本检阅装置及其实施方法
US11978267B2 (en) 2022-04-22 2024-05-07 Verkada Inc. Automatic multi-plate recognition
US11557133B1 (en) * 2022-04-22 2023-01-17 Verkada Inc. Automatic license plate recognition

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169541A (zh) * 2011-04-02 2011-08-31 郝震龙 一种采用光学定位的字符识别输入系统及其方法
CN107992867A (zh) * 2016-10-26 2018-05-04 深圳超多维科技有限公司 用于手势指点翻译的方法、装置及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704699B2 (en) * 2000-09-05 2004-03-09 Einat H. Nir Language acquisition aide
IT1390595B1 (it) * 2008-07-10 2011-09-09 Universita' Degli Studi Di Brescia Dispositivo di ausilio nella lettura di un testo stampato
US9251144B2 (en) * 2011-10-19 2016-02-02 Microsoft Technology Licensing, Llc Translating language characters in media content
US9519641B2 (en) * 2012-09-18 2016-12-13 Abbyy Development Llc Photography recognition translation
US9836456B2 (en) * 2015-01-12 2017-12-05 Google Llc Techniques for providing user image capture feedback for improved machine language translation
US20170177189A1 (en) * 2015-12-19 2017-06-22 Radean T. Anvari Method and System for Capturing Data on Display Using Scanner Pen
CN105718930A (zh) * 2016-01-26 2016-06-29 北京纽思曼教育科技有限公司 一种多功能翻译笔及其翻译方法
US10127673B1 (en) * 2016-12-16 2018-11-13 Workday, Inc. Word bounding box detection
CN107220242A (zh) * 2017-04-19 2017-09-29 广东小天才科技有限公司 一种基于翻译笔的翻译方法、装置及系统
US20190182402A1 (en) * 2017-12-07 2019-06-13 Nedal Shriesher Print scanner and translator
CN110874957A (zh) * 2018-08-30 2020-03-10 朱笑笑 翻译笔
CN109263362A (zh) * 2018-10-29 2019-01-25 广东小天才科技有限公司 一种智能笔及其控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169541A (zh) * 2011-04-02 2011-08-31 郝震龙 一种采用光学定位的字符识别输入系统及其方法
CN107992867A (zh) * 2016-10-26 2018-05-04 深圳超多维科技有限公司 用于手势指点翻译的方法、装置及电子设备

Also Published As

Publication number Publication date
WO2021018110A1 (zh) 2021-02-04
CN112308063A (zh) 2021-02-02
US20220076042A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
CN112308063B (zh) 文字识别装置、翻译笔、图像翻译方法及图像翻译装置
US7403656B2 (en) Method and apparatus for recognition of character string in scene image
CN102592126B (zh) 用于二值化扫描文档图像的方法
JP4006224B2 (ja) 画像品質判定方法、判定装置、判定プログラム
CN104143094A (zh) 一种无需答题卡的试卷自动阅卷处理方法及系统
CN108564079B (zh) 一种便携式字符识别装置及方法
US11568623B2 (en) Image processing apparatus, image processing method, and storage medium
CN102360419A (zh) 计算机扫描阅读管理方法及系统
CN107992869B (zh) 用于倾斜文字校正的方法、装置及电子设备
US20090148043A1 (en) Method for extracting text from a compound digital image
CN107659799B (zh) 摄像装置、图像处理方法和存储介质
CN111985465A (zh) 文本识别方法、装置、设备及存储介质
KR100691651B1 (ko) 배경 모델과 문자 모델의 결합에 의해 구조화된 배경 상의 문자를 자동 인식하는 방법
CN110598566A (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN110569774B (zh) 基于图像处理与模式识别的折线图图像自动数字化方法
CN108965646B (zh) 图像处理装置、图像处理方法
CN103530625A (zh) 一种基于数字图像处理的光学字符识别方法
WO2018140001A1 (en) Print quality diagnosis
JP2004272798A (ja) 画像読み取り装置
US8229214B2 (en) Image processing apparatus and image processing method
US20160044196A1 (en) Image processing apparatus
CN108062548B (zh) 一种盲文方自适应定位方法及系统
US7853194B2 (en) Material processing apparatus, material processing method and material processing program
CN115457585A (zh) 作业批改的处理方法、装置、计算机设备及可读存储介质
CN116030472A (zh) 文字坐标确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant