CN104123552A - 一种可以自动识别的翻译眼镜 - Google Patents

Abstract

本发明公开了一种可以自动识别的翻译眼镜，所述眼镜包括眼镜本体以及加载在眼镜本体上的摄像头，显示装置和处理模块。本发明的可以自动识别的翻译眼镜，由于其能够通过自动识别指尖，获取以指尖坐标为中心的预定大小的图片，并对图片进行字符识别和翻译处理，最后通过微型投影仪将翻译结果显示在出来，从而实现了自动辨识外文并进行翻译，不仅用户操作快捷，携带方便，而且翻译效率较高，特别适合在翻看外文书籍，外出旅游看路牌等情况时使用。

Description

一种可以自动识别的翻译眼镜

技术领域

本发明涉及一种电子翻译产品，特别涉及一种可以自动识别的翻译眼镜。

背景技术

目前，对人们来说，接触外语单词的机会越来越多。不管是出国旅游时认路牌或点菜，还是学生阅读外文文献的时候，我们总是会遇到一些不懂的生词。当需要了解或学习这些文字时，已经不再需要翻阅大部头的字典，而只需使用电脑或手机中的翻译字典软件，将需要翻译的单词或句子输入电脑中，软件会自动给予翻译。但是在使用这些软件的时候，还需要一个输入的过程，同时，输入的单词必须是阅读者熟悉的或能够用电脑键盘输入的，比如在阅读者并不知道这种文字如何输入的情况下，翻译软件使用的效果就要大打折扣了。

因此人们需要有这样的装置，能够直接将资料上的文字翻译为需要的语种并展示给使用者，有研究者开发出对拍摄的图片进行外文翻译的装置，公开号为CN101082956B的中国专利公开了一种手持设备上基于图片进行外文翻译的装置及方法，该装置包括摄像头、图像灰度化和闭合区域补充处理模块、光学字符识别处理模块和查询翻译模块，摄像头依次与图像灰度化和闭合区域补偿处理模块、光学字符识别处理模块和查询翻译模块相连接。该方法包括拍摄需要翻译的外文文字信息图片、选定图片中的一闭合区域、对该闭合区域信息依次进行灰度化处理揉作和闭合区域补充处理操作、进行文字字符识别和查询翻译处理、显示翻译结果。

申请公布号为CN101873415A的中国专利文献公开了一种具有翻译功能的摄像头装置及方法，该装置包括文字输入设备，文字识别模块和文字翻译模块，文字输入设备是基于CMOS感光芯片的USB摄像头；文字识别模块包括图像抓取单元、图像版面分析单元、文字匹配分析单元和文字词库，文字识别模块和文字翻译模块设置在PC电脑主机内，摄像头通过USB连接线与PC电脑主机相连。

但此类设备都需要先获取图片，然后对图片进行整篇翻译或者对图片中的某些文字进行特别指出后进行翻译，过程复杂，且操作时一般需要双手进行，在户外登山或双手无法腾出时会很不方便。

发明内容

本发明提供了一种可以自动识别的翻译眼镜，解决现有设备需要先获取图片，然后对图片进行整篇翻译或者对图片中的某些文字进行特别指出后进行翻译，过程复杂，且操作时一般需要双手进行，在户外登山或双手无法腾出时会很不方便的问题。

一种可以自动识别的翻译眼镜，包括眼镜本体以及设置在该眼镜本体上的摄像头、显示装置和处理模块；

进行自动识别翻译时，处理模块针对摄像头获取的用户手部以及手部周边的影像信息作如下处理：

（1）在所述影像信息中确定指尖坐标；

（2）以指尖坐标为基准，在所述影像信息按照预定范围获得选取区域；

（3）针对选取区域进行字符识别和翻译处理，并将结果通过显示装置输出给用户。

在以上执行步骤中，只需要对需要用手指指出需要翻译的文字，本发明即会自动识别需要翻译的文字，并进行翻译和显示，过程中无需再次对图片进行编辑和特指，与现有设备相比，使用更加简单和方便，且翻译速度更快。

所述的步骤（2）中，所述指尖坐标为手部轮廓坐标中，距离手部轮廓重心最远的坐标，因此，可以通过识别出手部轮廓，并通过计算得出指尖坐标。

优选的，所述的步骤（1）中，确定指尖坐标的步骤包括：

a）在所述影像信息中获得手部轮廓以及该手部轮廓上的各个凸顶点；

b）对手部轮廓边界像素进行积分计算，得到手部轮廓所包围区域的重心；

c）计算所述重心到各个凸顶点的物理距离，物理距离最长的凸顶点的坐标作为指尖坐标。

为了增加本发明可以自动识别的翻译眼镜的科技感，利用模糊除所述选取区域外的所述影像信息图片和将模糊后的影像信息替换所述影像信息，并将替换过程通过所述显示装置输出给使用者，让使用者体验到对所述选取区域进行突出显示的视觉效果，可以增加产品的感官效果，提高产品的科技感。

优选的，所述步骤（1）中还包括：将所述影像信息作为第一参照图像通过显示装置输出给用户。

所述步骤（2）中还包括：将所述影像信息中除选取区域以外的部分进行模糊处理得到第二参照图像，并将该第二参照图像通过显示装置输出给用户以替换第一参照图像。

为了让使用者可以对翻译结果和所述特定区域内的需要翻译的文字进行对比，提高辨识度，且更便于学习和分析。

优选的，所述步骤（3）中，翻译结果在显示装置上的输出位置与第二参照图像的选取区域的输出位置互不重叠。

所述的显示装置可选用市面上常见的一些图像显示装置，例如微型投影仪，结构简单，价格优惠，且显示效果稳定，又例如液晶显示器，可以使图像显示更清晰。

优选的，所述显示装置为微型投影仪或液晶显示器。

本发明的有益效果：

本发明的可以自动识别的翻译眼镜，由于其能够通过自动识别指尖，获取以指尖坐标为中心的预定大小的图片，并对图片进行字符识别和翻译处理，最后通过微型投影仪将翻译结果显示在出来，从而实现了自动辨识外文并进行翻译，不仅用户操作快捷，携带方便，而且翻译效率较高，特别适合在翻看外文书籍，外出旅游看路牌等情况时使用。

附图说明

图1是本发明眼镜的立体结构示意图。

图2是本发明的摄像头获取的第一参照图像。

图3是本发明中模糊处理得到的第二参照图像。

图4是本发明中加载了翻译结果的第二参照图像。

具体实施方式

如图1所示，本实施例包括眼镜本体4，以及加载在眼镜本体上的摄像头2、微型投影仪3和处理模块1。

在使用时，通过摄像头2获取影像信息，传递给处理模块1进行影像处理和文字翻译，并将得到的结果通过微型投影仪3显示给用户。

本实施例进行外文自动识别并进行翻译时，包括以下步骤：

（1）通过摄像头获取用户手部以及手部周边的第一参照图像；

（2）将第一参照图像通过微型投影仪3输出给用户；

（3）通过处理模块1，在第一参照图像中确定指尖坐标11，步骤包括：

a）利用OpenCV中的轮廓检测算法可以得到凸顶点和凸缺陷，从而得到一系列凸顶点和凸缺陷的坐标（其中包含指尖坐标11）；

b）在得到的凸顶点和凸缺陷中筛选出处在手部轮廓上的的凸顶点和凸缺陷的坐标，首先在opencv中应用sobel算子来获取各像素点的x方向、y方向的梯度；求出各点梯度的最大值，梯度方向上是灰度变换最大的方向，只要在这条线上，比较梯度图像的中心点的邻域即可；如果梯度图像中，中心点大于两个邻域的值，则为边缘点，如果小于邻域的值，则为非边缘点；如果是梯度在邻域中是最大值，且大于high阈值（canny算法中定义），确定是边缘点，然后以此为中心需找邻域中满足低阈值的点；如果邻域点满足其点梯度最大值，且大于low阈值（canny算法中定义），确定此邻域点为边缘点；并递归此步骤，筛选出手部轮廓的凸顶点和凸缺陷的坐标。其中：判断轮廓是否是凸的，可以用cvCheckContourConvexity函数；获取轮廓的凸顶点，可以用cvConvexHull2函数，返回的是包含凸顶点的序列；获取轮廓的凸缺陷，可以用cvConvexityDefects函数；轮廓的凸顶点和凸缺陷用于描述物体的外形。

c）通过对手部轮廓边界像素的积分计算出手部轮廓所包围区域的重心坐标；

d）计算重心到各个凸顶点的物理距离，物理距离最长的凸顶点的坐标作为指尖坐标11。

（4）以指尖坐标11为中心，预定范围为130×70像素大小，在第一参照图像上获得选取区域12；

（5）将第一参照图像影像信息中除选取区域12以外的部分进行模糊处理得到第二参照图像，并将该第二参照图像通过显示装置输出给用户以替换第一参照图像。

（6）在处理模块1中，对选取区域12进行字符识别和翻译处理，得到翻译结果13。通过向用户显示第二参照图像替换第一参照图像，让使用者体验到对所述选取区域12进行突出显示的视觉效果，可以增加产品的感官效果，提高产品的科技感。

（7）通过处理模块1将翻译结果13加载到第二参照图像，其中翻译结果13位于选取区域12的右下方，且不与翻译结果13重叠。可以让使用者可以对翻译结果和所述特定区域内的需要翻译的文字进行对比，提高辨识度，且更便于学习和分析。

本实施例中，通过摄像头2获取第一参照图像，由于其中的处理模块1能够自动识别指尖，在第一参照图像中获取以指尖坐标为中心的选取区域12，并对选取区域12进行字符识别和翻译处理，最后通过微型投影仪3将翻译结果显示在出来，从而实现了自动辨识外文并进行翻译，不仅用户操作快捷，携带方便，而且翻译效率较高，特别适合在翻看外文书籍，外出旅游看路牌等情况时使用。

Claims (6)

1.一种可以自动识别翻译的眼镜，其特征在于，包括眼镜本体以及设置在该眼镜本体上的摄像头、显示装置和处理模块；

进行自动识别翻译时，处理模块针对摄像头获取的用户手部以及手部周边的影像信息作如下处理：

（1）在所述影像信息中确定指尖坐标；

（2）以指尖坐标为基准，在所述影像信息按照预定范围获得选取区域；

（3）针对选取区域进行字符识别和翻译处理，并将结果通过显示装置

输出给用户。

2.如权利要求1所述的可以自动识别翻译的眼镜，其特征在于，所述的步骤（1）中，确定指尖坐标的步骤包括：

a）在所述影像信息中获得手部轮廓以及该手部轮廓上的各个凸顶点；

b）对手部轮廓边界像素进行积分计算，得到手部轮廓所包围区域的重心；

c）计算所述重心到各个凸顶点的物理距离，物理距离最长的凸顶点的坐标作为指尖坐标。

3.如权利要求1所述的可以自动识别翻译的眼镜，其特征在于，所述步骤（1）中还包括：将所述影像信息作为第一参照图像通过显示装置输出给用户。

4.如权利要求3所述的可以自动识别翻译的眼镜，其特征在于，所述步骤（2）中还包括：将所述影像信息中除选取区域以外的部分进行模糊处理得到第二参照图像，并将该第二参照图像通过显示装置输出给用户以替换第一参照图像。

5.如权利要求4所述的可以自动识别翻译的眼镜，其特征在于，所述步骤（3）中，翻译结果在显示装置上的输出位置与第二参照图像的选取区域的输出位置互不重叠。

6.如权利要求1所述的可以自动识别翻译的眼镜，其特征在于，所述显示装置为微型投影仪或液晶显示器。