CN110674814A - 一种图片识别翻译方法、终端及介质 - Google Patents

Abstract

本发明提出一种图片识别翻译方法、终端及介质，应用于一智能终端，包括获取待翻译图片；识别所述待翻译图片上的文本信息；获取所述文本信息在所述待翻译图片的位置信息；将所述文本信息翻译成目标文本；在所述位置信息表征的位置显示所述目标文本。通过采用本发明的技术方案，可以使带有文本的图片直接翻译为目标语言的图片，不论是智能终端本地保存的图片还是当前界面显示的未保存图片，相应的文本位置直接变为目标语言的文字，不影响图片原有的格局，方便阅读使用。

Description

一种图片识别翻译方法、终端及介质

技术领域

本发明涉及图片翻译领域，尤其涉及一种图片识别翻译方法、终端及介质。

背景技术

翻译逐渐成为人们在阅读、工作中不可缺少的一部分，例如电子阅读过程中外文文章或带有外文文字的图片以及外文的应用程序，又或者是某种语言的海报或宣传册需要翻译为排版、图片都不变的其他语言海报、宣传册。对于阅读过程中未保存的图片、应用程序中的文字等情况，逐个去查单词非常不方便，影响用户体验；而海报或宣传册的翻译不仅仅是文字的翻译，还需要进行复杂的排版以保留原有的图片与排版，耗费很多时间。现有技术只能去加载本地保存的图片到自己终端然后进行识别，而不能直接识别翻译未保存本地的图片或终端屏幕上当前显示的图片，并且不能准确定位到图片上的文本内容的精确位置，不能将译文直接精确显示在原文位置。

发明内容

为解决上述问题，本发明提出一种图片识别翻译方法、终端及介质，通过识别图片文本信息同时定位文本位置，将翻译后的文字精确地在原文位置替换原文，解决了现有技术文本翻译操作繁琐的问题，能够极大地方便用户进行图片文本识别翻译，提高了用户操作的效率。

具体地，本发明一方面提供一种图片识别翻译方法，应用于一智能终端，其特征在于，包括以下步骤：获取待翻译图片；识别所述待翻译图片上的文本信息；获取所述文本信息在所述待翻译图片的位置信息；将所述文本信息翻译成目标文本；在所述位置信息表征的位置显示所述目标文本。

优选地，上述方法中还包括获取目标语言；所述目标文本为所述文本信息对应于所述目标语言的信息。

优选地，上述方法中在所述位置信息表征的位置显示所述目标文本的方法包括：

获取所述待翻译图片的图片背景，在所述图片背景上所述位置信息表征的位置处显示所述目标文本；或，

在所述待翻译图片上分离并删除所述文本信息，在所述待翻译图片的所述位置信息表征的位置显示所述目标文本。

优选地，上述方法中所述目标文本可拖动显示于所述待翻译图片上。

优选地，上述方法中所述目标文本显示于所述智能终端上。

优选地，上述方法中当所述待翻译图片非全屏显示时，所述目标文本显示于所述待翻译图片未显示的位置。

优选地，上述方法中所述目标文本覆盖显示于所述智能终端显示界面的最上层。

优选地，上述方法中在所述位置信息表征的位置显示所述目标文本的方法包括：根据所述文本信息对应的所述位置信息将所述文本信息划分为多个目标区域；在所述目标区域分别显示所述文本信息对应的所述目标文本。

优选地，上述方法中为所述待翻译图片包括智能终端本地保存的图片和/或智能终端当前屏幕显示的未保存的图片，所述待翻译图片中的信息包括语音信息、文本信息至少之一。

优选地，上述方法中将所述文本信息翻译成目标文本的方法包括：识别所述文本信息的当前语言；根据所述当前语言与目标语言的对应关系，将所述文本信息翻译成所述目标语言对应的目标文本。

优选地，上述方法中获取目标语言的方法包括识别智能终端的系统语言或预先设置目标语言。

本发明的另一方面，还在于提供一种智能终端，其包括：显示器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的图片识别翻译方法的步骤。

本发明的另一方面，还在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图片识别翻译程序，所述图片识别翻译程序被处理器执行时实现如上任一项所述的图片识别翻译方法的步骤。

与现有技术相比较，本发明的优势在于：

1)可以既识别翻译本地保存的图片、文档，又识别翻译终端屏幕上当前显示的未保存图片；

2)识别图片上文本的位置，将译文精确地显示在原文位置，具有较好的用户体验；

3)操作简单，方便可靠，有效地提高翻译与阅读效率。

附图说明

图1为符合本发明一优选实施例的图片识别翻译方法的流程示意图；

图2为符合本发明另一优选实施例的图片识别翻译方法的流程示意图；

图3为符合本发明一优选实施例的在相应位置显示目标文本方法的流程示意图；

图4为符合本发明一优选实施例的在相应位置显示目标文本方法的流程示意图；

图5为符合本发明一优选实施例的在相应位置显示目标文本方法的流程示意图；

图6为符合本发明一优选实施例的将文本信息翻译成目标文本的方法的流程示意图。

具体实施方式

下面结合附图及具体实施例，详细阐述本发明的优势。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参阅图1，其为符合本发明一优选实施例的图片识别翻译方法的流程示意图。本发明的图片识别翻译方法，应用于移动终端，从图中可以看出，包括以下步骤：

S1：获取待翻译图片；

智能终端上获取待翻译图片，待翻译图片不仅仅是图片，应理解为所有可以显示在智能终端界面的对象，可以是word文档、pdf文档，也可以是图片，或者只是某个动态或静态页面，在智能终端界面上显示这些文档、图片或页面时，从智能终端屏幕来看都是图片界面，因此统一称为待翻译图片。待翻译图片除了是智能终端本地保存的，也可以是智能终端屏幕当前显示的界面，如应用程序内部或外部的页面。若为应用程序界面，则通过此技术方案可以实现英文或日文等语言的应用程序在打开后界面上所有的文字都变为相应的中文或其他语言，方便用户使用，消除语言障碍。待翻译图片上应包含文本信息，若不包含文本信息，则不进行翻译。

S2：识别所述待翻译图片上的文本信息；

获取待翻译图片后，需要识别待翻译图片上的文本信息。获取的文本信息包括当前界面的所有文本信息，也包括由用户通过悬浮球或光标选定待翻译图片上需要翻译的文本信息，取决于用户的需求进行设置。当需要翻译的文本信息为当前界面的所有文本信息时，直接进行识别即可。当需要翻译的文本信息为用户通过悬浮球或光标选定的区域时，识别需要翻译的文本信息区域的方法包括用户通过悬浮球或光标扫过或框定需要翻译的所有文本信息，也包括以悬浮球或光标当前停留位置为中心的文本信息区域，可以通过字符间距来识别是否为一段文字形成的文本信息区域。具体的识别方法可以采用OCR识别方法识别单词或语句，OCR识别方法为常用的文本识别方法，不再赘述。识别的待翻译图片上的文本信息应包括印刷体文本与手写体文本。

S3：获取所述文本信息在所述待翻译图片的位置信息；

识别待翻译图片上的文本信息后，需要获取文本信息在待翻译图片上的位置信息。可以通过图片原有的像素位置来确定，也可以通过建立坐标系，计算每个文字或字符所在位置的坐标，取文字或字符中心点的坐标为该文字或字符的坐标。

S4：将所述文本信息翻译成目标文本；

将文本信息翻译成目标文本首先需要获取当前文本信息的语言，这一步骤在识别所述待翻译图片上的文本信息步骤时也可以完成，也可以在本步骤中完成，获取文本信息的语言只需要与语言库中的语言进行比对即可获得。获取文本信息的当前语言后，需要获取需要翻译的目标语言，目标语言可以由用户设定，若未设定，则获取智能终端当前的系统语言为目标语言。一般来说大多数的情况用户的翻译需求都是将外文文本信息翻译为用户母语文本，而智能终端的系统一般采用用户母语语言，因此，在用户未设定目标语言时默认系统语言为目标语言可以节省用户设定时间，使用更加方便友好。获取文本信息的当前语言与目标语言后，将文本信息由当前语言翻译成目标语言对应的文本即为目标文本。

S5：在所述位置信息表征的位置显示所述目标文本。

获取目标文本后，需要将目标文本显示在相应的原来的文本信息对应的位置，并不再显示原来的文本信息。首先需要确定目标文本显示的位置，将目标文本与相应的文本信息位置直接对应，显示在相应位置。但由于语言文字及表达的差异，目标文本与原来文本信息字符很难一一对应，长短也不一，因此单个文字或词语的位置进行直接对应会导致排版可能不齐整，因此优选地，对文本信息划分区域，以区域为单位进行目标文本与原来文本信息的替换与显示，这样可以使排版优美且整体性强，用户体验较好。优选地，目标文本的字符大小应与原来文本信息的字符大小保持一致。除了确定目标文本显示的位置，还需要将原来文本信息替换为目标文本，可以通过获取待翻译图片除文本信息外的图片背景，将目标文本直接显示在相应位置，也可以通过将待翻译图片中的文本信息分离出来删除，并在相应位置显示目标文本。

此技术方案支持所有语言之间的翻译，包括但不限于中文、英文、日文、德文、韩文、法文、阿拉伯语等。通过此技术方案，可以实现不同场景下智能终端上显示界面上文本信息的翻译替换，不论是需要翻译的文档还是正在阅读的外文文章、包含文本信息的图片，还是应用程序界面上出现的文本信息，都可以轻松实现翻译替换，且直接在相应位置显示的方式非常地易于阅读，具有较好的用户体验。对于包含图片文字的海报、宣传册等，通过此技术方案，可以轻松获得不同语言版本的相应海报、宣传册等文件，不仅实现了快速翻译，直接在相应位置替换省去了排版的过程，非常高效省时。参阅图2，基于上述实施例，符合本发明的另一优选实施例中，还包括获取目标语言；所述目标文本为所述文本信息对应于所述目标语言的信息。

一般来说，用户的翻译需求大多情况下为将外文文本信息翻译为用户母语文本，而智能终端的系统一般采用用户母语语言，因此，默认系统语言为目标语言，则只需获取系统语言即可获得目标语言，特殊情况下用户有不同的翻译需求，目标语言由用户设置以满足用户不同的翻译需求。获取目标语言后，进行翻译时，目标文本为文本信息对应于目标语言的信息。

参阅图3、图4为符合本发明两优选实施例的在相应位置显示所述目标文本方法的流程图，基于上述实施例，在所述位置信息表征的位置显示所述目标文本的方法为：获取所述待翻译图片的图片背景，在所述图片背景上所述位置信息表征的位置处显示所述目标文本；或，在所述待翻译图片上分离并删除所述文本信息，在所述待翻译图片的所述位置信息表征的位置显示所述目标文本。

确定位置后，在相应位置显示目标文本的方法可以通过获取待翻译图片除文本信息外的图片背景，将目标文本直接显示在相应位置，也可以通过将待翻译图片中的文本信息分离出来删除，并在相应位置显示目标文本。

对于获取待翻译图片除文本信息外的图片背景，将目标文本直接显示在相应位置的方法：首先检测待翻译图片格式，其中图片背景与文本信息可否直接分离，若可直接分离则直接获取图片背景，若不可直接分离，对待翻译图片进行分析处理。若待翻译图片为纯色背景与文本信息的组合，则图片背景直接为设定颜色的纯色背景即可；若待翻译图片上存在图形但文字信息未覆盖图形，则获取待翻译图片的图形显示在相应位置并与相应颜色背景组合即可获得图片背景；若待翻译图片上存在文字信息覆盖图形，则仅提取其中除文本信息以外的部分作为图片背景。获得图片背景后在相应位置显示目标文本即可获得翻译完成的目标图片，替换待翻译图片显示在智能终端屏幕上即可。

对于通过将待翻译图片中的文本信息分离出来删除，并在相应位置显示目标文本的方法：首先检测待翻译图片格式，其中图片背景与文本信息可否直接分离，若可直接删除文本信息，若不可直接分离，对待翻译图片进行分析处理。若待翻译图片为纯色背景与文本信息的组合，则直接通过背景覆盖文本信息即可实现文本信息的删除；若待翻译图片上存在图形但文本信息未覆盖图形，则识别文本信息下方的背景颜色，通过背景颜色覆盖文本信息即可实现文本信息的删除；若待翻译图片上存在文字信息覆盖图形，则去水印的方法即可将文本信息去除。去除文本信息后在待翻译图片的相应位置显示目标文本即可获得翻译完成的目标图片。

基于上述实施例，符合本发明的一优选实施例中，目标文本可以拖动显示在所述待翻译图片上，用户可以进行拖动。

基于上述实施例，符合本发明的一优选实施例中，目标文本显示在智能终端上。

基于上述实施例，符合本发明的一优选实施例中，当待翻译图片没有全屏显示时，目标文本显示在智能终端上待翻译图片未显示的位置，不覆盖在待翻译图片上。

基于上述实施例，符合本发明的一优选实施例中，目标文本覆盖显示在智能终端显示界面的最上层。

基于上述实施例，符合本发明的一优选实施例中，目标文本可以拖动，当拖动目标文本到待翻译图片的另一文本信息处时，目标文本的内容发生变化，变为与该另一文本信息的内容相对应的翻译内容。

参阅图5，基于上述实施例，符合本发明的另一优选实施例中，在所述位置信息表征的位置显示所述目标文本的方法包括：根据所述文本信息对应的所述位置信息将所述文本信息划分为多个目标区域；在所述目标区域分别显示所述文本信息对应的所述目标文本。

将目标文本显示在相应的原来的文本信息对应的位置，首先需要确定目标文本显示的位置，将目标文本与相应的文本信息位置直接对应，显示在相应位置。但由于语言文字及表达的差异，目标文本与原来文本信息字符很难一一对应，长短也不一，因此单个文字或词语的位置进行直接对应会导致排版可能不齐整，因此优选地，将文本信息划分为多个目标区域，以目标区域为单位进行目标文本与原来文本信息的替换与显示，这样可以使排版优美且整体性强，用户体验较好。划分目标区域的方法包括通过字符的间距判断，在上述实施例中已经对原来文本信息在待翻译图片的坐标位置进行获取，根据坐标位置之间的距离判断字符间距，一般来说同一区域内的字符间距是相近或相等的，因此，若某两字符间距远远超过多数字符间距，则该字符在不同区域，通过此方法可以对目标区域进行划分。

基于上述实施例，符合本发明的优选实施例中，所述待翻译图片包括智能终端本地保存的图片和/或智能终端当前屏幕显示的未保存的图片，所述待翻译图片中的信息包括语音信息、文本信息至少之一。这样可以实现不同场景图片信息的翻译，适应多种需求。

参阅图6，基于上述实施例，符合本发明的另一优选实施例中，将所述文本信息翻译成目标文本的方法包括：识别所述文本信息的当前语言；根据所述当前语言与目标语言的对应关系，将所述文本信息翻译成所述目标语言对应的目标文本。

识别文本信息的当前语言可以在识别待翻译图片上的文本信息步骤中通过比对文本信息与语言库完成，也可以在翻译步骤中再获取，获取当前语言后，根据当前语言与目标语言的对应关系进行翻译即可，由于不同语境下同一词汇或语句可能对应另一种语言的不同词汇或语句，因此，在对应关系中应当考察当前语言下文本信息表达的语言环境，因此本实施例中还包括识别当前语言下文本信息表达的语言环境步骤。

用户的翻译需求大多情况下为将外文文本信息翻译为用户母语文本，而智能终端的系统一般采用用户母语语言，因此获取目标语言的方法包括识别智能终端的系统语言或预先设置目标语言。

本发明的另一方面，还在于提供一种智能终端，其包括：显示器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的图片文本识别翻译方法的步骤。此处不再赘述。

本发明的另一方面，还在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图片识别翻译程序，所述图片识别翻译程序被处理器执行时实现如上任一项所述的图片文本识别翻译方法的步骤。此处不再赘述。

综上所述，本发明所提供的图片识别翻译方法、终端及介质，可以识别翻译本地保存的图片、文档或终端屏幕当前显示的未保存的图片，同时在原文位置替换为目标译文，解决了现有技术文本翻译操作繁琐的问题，能够极大地方便用户进行图片文本识别翻译，提高了用户操作的效率。

以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。

Claims (14)

1.一种图片识别翻译方法，应用于一智能终端，其特征在于，包括以下步骤：

获取待翻译图片；

识别所述待翻译图片上的文本信息；

获取所述文本信息在所述待翻译图片的位置信息；

将所述文本信息翻译成目标文本；

在所述位置信息表征的位置显示所述目标文本。

2.如权利要求1所述的图片识别翻译方法，其特征在于，还包括：

获取目标语言；

所述目标文本为所述文本信息对应于所述目标语言的信息。

3.如权利要求1所述的图片识别翻译方法，其特征在于，在所述位置信息表征的位置显示所述目标文本的方法包括：

获取所述待翻译图片的图片背景，在所述图片背景上所述位置信息表征的位置处显示所述目标文本；或，

在所述待翻译图片上分离并删除所述文本信息，在所述待翻译图片的所述位置信息表征的位置显示所述目标文本。

4.如权利要求1所述的图片识别翻译方法，其特征在于，所述目标文本可拖动显示于所述待翻译图片上。

5.如权利要求1所述的图片识别翻译方法，其特征在于，所述目标文本显示于所述智能终端上。

6.如权利要求5所述的图片识别翻译方法，其特征在于，当所述待翻译图片非全屏显示时，所述目标文本显示于所述待翻译图片未显示的位置。

7.如权利要求5所述的图片识别翻译方法，其特征在于，所述目标文本覆盖显示于所述智能终端显示界面的最上层。

8.如权利要求1所述的图片识别翻译方法，其特征在于，拖动所述目标文本至所述待翻译图片的另一文本信息处时，所述目标文本的内容与所述另一文本信息的内容相对应。

9.如权利要求1所述的图片识别翻译方法，其特征在于，在所述位置信息表征的位置显示所述目标文本的方法包括：

根据所述文本信息对应的所述位置信息将所述文本信息划分为多个目标区域；

在所述目标区域分别显示所述文本信息对应的所述目标文本。

10.如权利要求1所述的图片识别翻译方法，其特征在于，所述待翻译图片包括智能终端本地保存的图片和/或智能终端当前屏幕显示的未保存的图片，所述待翻译图片中的信息包括语音信息、文本信息至少之一。

11.如权利要求2所述的图片识别翻译方法，其特征在于，将所述文本信息翻译成目标文本的方法包括：

识别所述文本信息的当前语言；

根据所述当前语言与目标语言的对应关系，将所述文本信息翻译成所述目标语言对应的目标文本。

12.如权利要求2所述的图片识别翻译方法，其特征在于，获取目标语言的方法包括识别智能终端的系统语言或预先设置目标语言。

13.一种智能终端，其特征在于，包括：显示器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-12中任一项所述的图片识别翻译方法的步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图片识别翻译程序，所述图片识别翻译程序被处理器执行时实现如权利要求1-12中任一项所述的图片识别翻译方法的步骤。

Images