CN104036270B - 一种即时自动翻译装置及方法 - Google Patents

Abstract

本发明公开了一种即时自动翻译装置及方法，涉及自动翻译技术领域，所述装置包括：第一摄像头、微处理器、存储器和显示单元，所述第一摄像头、存储器和显示单元均与所述微处理器连接；所述第一摄像头，用于获取待翻译图像；所述存储器，用于存储语言数据库；所述微处理器，用于对所述待翻译图像进行识别，以获取所述待翻译图像中目标物体的语言信息，根据所述语言数据库对所述语言信息进行翻译，以获取翻译结果；所述显示单元，用于在第一预设时间内显示所述翻译结果。本发明通过各个部件的设置，实现了对目标物体的语言信息即时翻译。

Description

一种即时自动翻译装置及方法

技术领域

本发明涉及自动翻译技术领域，特别涉及一种即时自动翻译装置及方法。

背景技术

现在出国旅行、出差或者探亲等都越来越频繁，家庭旅行或者各种自由行也变得非常普及，但是有相当多的人在机场、酒店、公园或者其他的行程中会由于语言不通，在遇到一些标识牌(例如：交通标示牌、公司牌匾、楼堂会所牌、匾霓虹灯、菜单等)不认识时感到非常不方便，但如果通过手机或者电脑进行人工输入翻译又非常不方便。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何即时地对目标物体的语言信息进行翻译。

(二)技术方案

为解决上述技术问题，本发明提供了一种即时自动翻译装置，所述装置包括：第一摄像头、微处理器、存储器和显示单元，所述第一摄像头、存储器和显示单元均与所述微处理器连接；

所述第一摄像头，用于获取待翻译图像；

所述存储器，用于存储语言数据库；

所述微处理器，用于对所述待翻译图像进行识别，以获取所述待翻译图像中目标物体的语言信息，根据所述语言数据库对所述语言信息进行翻译，以获取翻译结果；

所述显示单元，用于在第一预设时间内显示所述翻译结果。

其中，所述装置为移动终端。

其中，所述装置为眼镜，所述眼镜还包括镜片和镜架，所述显示单元为3D透明显示屏且设于所述镜片的内表面，所述第一摄像头设于所述镜架的鼻梁上，所述微处理器和存储器均设于所述镜架的镜脚上。

其中，所述眼镜还包括：与所述微处理器相连的第二摄像头，所述第二摄像头设于所述镜架的鼻梁上；

所述第二摄像头，用于获取用户的当前视线图像；

所述存储器，用于存储图像数据库，所述图像数据库中存有原始视线图像，所述原始视线图像为所述用户在正视时，所述第二摄像头获取到的视线图像；

所述微处理器，还用于根据所述图像数据库对所述当前视线图像进行比对，以获取所述用户的瞳孔偏移距离，若所述用户的瞳孔偏移距离保持了第二预设时间，则通过所述瞳孔偏移距离确定当前视线角度，并根据所述当前视线角度确定所述目标物体。

其中，所述微处理器还用于根据所述用户的眼睛所处平面及所述镜片所述平面之间的距离和所述视线角度计算所述目标物体在所述镜片上的实际位置，并将所述翻译结果显示于所述实际位置上。

其中，所述微处理器还用于根据所述第一摄像头的镜头及所述镜片所处平面之间的距离和第一夹角计算扩展距离，将所述待翻译图像中目标物体沿上下左右四个方向向外延伸所述扩展距离的N倍，并将延伸后的区域作为新的目标物体，所述第一夹角为原点至所述目标物体的直线与所述镜片所处平面之间的夹角，所述原点处于所述第二摄像头的中心线且位于所述镜架的鼻梁上，所述N为正数。

其中，所述装置还包括：翻译开关键、语言类别键和环境类别键，所述翻译开关键、语言类别键和环境类别键均与所述微处理器连接。

其中，所述装置还包括：亮度调整键，所述亮度调整键与所述微处理器连接。

本发明还公开了一种基于所述的装置的即时自动翻译方法，所述方法包括以下步骤：

S1：第一摄像头获取待翻译图像；

S2：微处理器对所述待翻译图像进行识别，以获取所述待翻译图像中目标物体的语言信息，根据存储器中的语言数据库对所述语言信息进行翻译，以获取翻译结果；

S3：显示单元在第一预设时间内显示所述翻译结果。

其中，步骤S1之前还包括：

S001：第二摄像头获取用户的当前视线图像；

S002：所述微处理器根据所述存储器中的图像数据库对所述当前视线图像进行比对，以获取所述用户的瞳孔偏移距离，若所述用户的瞳孔偏移距离保持了第二预设时间，则通过所述瞳孔偏移距离确定当前视线角度；

S003：根据所述当前视线角度确定所述目标物体。

(三)有益效果

本发明通过各个部件的设置，实现了对目标物体的语言信息即时翻译。

附图说明

图1是本发明一种实施方式的即时自动翻译装置的结构框图；

图2是第一摄像头获取的图像和人在眼镜片上看到的图像的偏移示意图；

图3是正向时的偏移角度和距离(米)的对比关系图；

图4是瞳孔偏移时的示意图；

图5是本发明一种实施例的装置的结构示意图；

图6是图5所示的装置的工作原理图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明一种实施方式的即时自动翻译装置的结构框图；参照图1，所述装置包括：第一摄像头、微处理器、存储器和显示单元，所述第一摄像头、存储器和显示单元均与所述微处理器连接；

所述第一摄像头，用于获取待翻译图像；

所述存储器，用于存储语言数据库；

所述微处理器，用于对所述待翻译图像进行识别(该识别过程采用现在成熟的OCR/ICR等识别方法来实现，以泰比ABBYY公司为例，通过集成泰比ABBYY的识别技术，如FineReader或Mobile OCR等开发工具包，可以实现快速的语言信息识别)，以获取所述待翻译图像中目标物体的语言信息，根据所述语言数据库对所述语言信息进行翻译，以获取翻译结果；

所述显示单元，用于在第一预设时间内显示所述翻译结果。

本实施方式中，所述第一摄像头采用微型高清摄像头等高清图像采集设备，采集到的图像必须能清楚分辨人的视力所及范围内的语言信息，所述微处理器和存储器的功耗少、体积小、速度快，且共同协作进行数据和各种指令的分析处理。

本实施方式的装置在此提供两种实现方式，但不限于这两种实现方式，第一种为采用移动终端(例如：手机、Pad、Pod、notebook或ultra book等终端设备)来实现，所述目标物体可通过用户选定的范围来确定；

第二种为采用更为轻便的眼镜来实现，所述眼镜还包括镜片和镜架，所述显示单元为3D透明显示屏且设于所述镜片的内表面(所述内表面即为所述镜片上更接近用户的一面)，以使得翻译结果可以显示在镜片上，同时具有3D效果，所述第一摄像头设于所述镜架的鼻梁上，所述3D透明显示屏已经在三星所生产的平板上使用。

在通过眼镜实现时，为便于确定目标物体，本实施方式采用瞳孔偏移距离来计算当前实现角度的方法来实现，但不限于该方法，还可采用其他视线确定方法，优选地，所述眼镜还包括：与所述微处理器相连的第二摄像头，所述第二摄像头设于所述镜架的鼻梁上；

所述第二摄像头，用于获取用户的当前视线图像；

所述存储器，用于存储图像数据库，所述图像数据库中存有原始视线图像，所述原始视线图像为所述用户在正视时，所述第二摄像头获取到的视线图像；

所述微处理器，还用于根据所述图像数据库对所述当前视线图像进行比对，以获取所述用户的瞳孔偏移距离，若所述用户的瞳孔偏移距离保持了第二预设时间，则通过所述瞳孔偏移距离确定当前视线角度，并根据所述当前视线角度确定所述目标物体。

本实施方式中，所述第二摄像头采用微型高清摄像头等高清图像采集设备，采集到的图像能分辨出人的眼睛图像中寻找特征明显的瞳孔及其中心点。

对于第一摄像头获取的图像和人在眼镜片上看到的图像有微小的偏移，产生一个偏移角度，如图2所示的α不是90度，有个微小的偏移，这个偏移会影响目标图像的选择和显示，对于远距离的注视点此偏移则可以忽略不计(<5％)，但是如果在20米以内的时候，则可以通过一定的补偿算法来弥补最终做到一致。以下的数据是指在中间摄像头为正向面向的时候，人的左眼的视线方向与2只眼睛的水平线之间的夹角α，如图3所示，看到20米以上的时候基本趋向于90度，与摄像头基本一致。如果是非正向的时候，则会有更复杂的偏移。

为保证所述翻译结果与所述实际位置的一致，即看到的翻译信息感觉到就在原信息旁边，到眼的距离是一致的，就像把原来一种语言的牌匾转换成了双语显示牌一样，参照图4(图中的“左眼”和“右眼”分别指用户处于正视状态时，左眼和右眼的瞳孔位置)，优选地，所述微处理器还用于根据所述用户的眼睛所处平面及所述镜片所述平面之间的距离b和所述视线角度α、β计算所述目标物体在所述镜片上的实际位置g、f，并将所述翻译结果显示于所述实际位置上，假定目标物体在人的右前方为例，α为左眼的视线角度，其由左瞳孔偏移距离d所确定，β为右眼的视线角度，其由右瞳孔偏移距离e所确定，g为目标物体在左镜片上的实际位置，f为目标物体在右镜片上的实际位置，g＝b*ctgα，f＝b*ctgβ。

由于在距离目标物体较近时，根据视线角度无法完整地获取待翻译的目标，优选地，所述微处理器还用于根据所述第二摄像头的镜头及所述镜片所处平面之间的距离c和第一夹角γ计算扩展距离Z，将所述待翻译图像中目标物体沿上下左右四个方向向外延伸所述扩展距离Z的N倍，并将延伸后的区域作为新的目标物体，所述N为正数，所述第一夹角γ为原点O至所述目标物体的直线与所述镜片所处平面之间的夹角，所述原点O处于所述第二摄像头的中心线且位于所述镜架的鼻梁上，Z＝c×ctgγ，γ＝arcctg[(a/2+e+f+X)/Y]，(X+h)/Y＝ctgα，X/Y＝ctgβ，h＝a-d-g+e+f，其中，X为目标物体到右镜片的水平距离，Y为目标物体到目标物体到右镜片的垂直距离，h为目标物体在左镜片的实际位置和目标物体在右镜片的实际位置之间的距离，a为左眼中心和右眼中心之间的距离，上述Z等参量的计算公式均为目标物体在用户右侧时的计算公式，当目标物体在用户左侧时，需要对所述公式中各参数进行相应调整，该调整方法是本领域技术人员所公知的内容，在此不再赘述。

为便于对装置进行调整，优选地，所述装置还包括：翻译开关键、语言类别键和环境类别键，所述翻译开关键、语言类别键和环境类别键均与所述微处理器连接；

所述翻译开关键用于选取是否进行自动翻译，当翻译开关键为开启状态时，才进行相应的翻译流程；

所述语言类别键用于选取原始语言和目标语言，以适应不同的场景；

所述环境类别键用于选取具体的环境，例如：海关类、公路类、宾馆类等。

为便于对装置的亮度进行调整，优选地，所述装置还包括：亮度调整键，所述亮度调整键与所述微处理器连接；

所述亮度调整键用于调节所述装置的显示单元亮度，以便于在明亮的阳光下和灰暗的环境中均可使用。

为便于实现语言类别、翻译开关、环境类别及亮度的调整或选取，在实现调整或选取时，通过显示单元对其内容进行显示。

为实现对各个部件进行供电，优选地，所述装置还包括：电池，所述电池为高能可充电电池，所述电池为所述微处理器、存储器、显示单元、第一摄像头和第二摄像头进行供电，所述电池的重量轻，能够支持工作几个小时。

为便于与上位机进行数据交互，同时便于对所述电池的充电，优选地，所述装置还包括：外接接口，所述外接接口与所述高能可充电电池和微处理器分别连接，考虑到接口的通用性，优选地，所述外接接口可设置为Micro USB数据电源线接口等，可采用如图5所示的结构实现上述装置。

参照图6，本实施方式中的装置为眼镜时，其工作原理为：先通过所述翻译开关键开启翻译，再通过所述环境类别键、语言类别键、亮度调整键进行调整，第二摄像头获取用户的当前视线图像，所述微处理器根据所述存储器中的图像数据库对所述当前视线图像进行比对，以获取所述用户的瞳孔偏移距离，若所述用户的瞳孔偏移距离保持了第二预设时间(例如1秒)，则通过所述瞳孔偏移距离确定当前视线角度，若未保持第二预设时间，根据所述当前视线角度确定所述目标物体，第一摄像头获取待翻译图像，微处理器对所述待翻译图像进行识别，以获取所述待翻译图像中目标物体的语言信息，根据存储器中的语言数据库对所述语言信息进行翻译，以获取翻译结果，显示单元在第一预设时间(例如2秒)内显示所述翻译结果。

本发明还公开了一种基于所述的装置的即时自动翻译方法，所述方法包括以下步骤：

S1：第一摄像头获取待翻译图像；

S2：微处理器对所述待翻译图像进行识别，以获取所述待翻译图像中目标物体的语言信息，根据存储器中的语言数据库对所述语言信息进行翻译，以获取翻译结果；

S3：显示单元在第一预设时间内显示所述翻译结果。

优选地，步骤S1之前还包括：

S001：第二摄像头获取用户的当前视线图像；

S002：所述微处理器根据所述存储器中的图像数据库对所述当前视线图像进行比对，以获取所述用户的瞳孔偏移距离，若所述用户的瞳孔偏移距离保持了第二预设时间，则通过所述瞳孔偏移距离确定当前视线角度；

S003：根据所述当前视线角度确定所述目标物体。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种即时自动翻译装置，其特征在于，所述装置包括：第一摄像头、微处理器、存储器和显示单元，所述第一摄像头、存储器和显示单元均与所述微处理器连接；

所述第一摄像头，用于获取待翻译图像；

所述存储器，用于存储语言数据库；

所述微处理器，用于对所述待翻译图像进行识别，以获取所述待翻译图像中目标物体的语言信息，根据所述语言数据库对所述语言信息进行翻译，以获取翻译结果；

所述显示单元，用于在第一预设时间内显示所述翻译结果；

所述装置为眼镜，所述眼镜还包括镜片和镜架，所述显示单元为3D透明显示屏且设于所述镜片的内表面，所述第一摄像头设于所述镜架的鼻梁上，所述微处理器和存储器均设于所述镜架的镜脚上；

所述眼镜还包括：与所述微处理器相连的第二摄像头，所述第二摄像头设于所述镜架的鼻梁上；

所述第二摄像头，用于获取用户的当前视线图像；

所述存储器，用于存储图像数据库，所述图像数据库中存有原始视线图像，所述原始视线图像为所述用户在正视时，所述第二摄像头获取到的视线图像；

所述微处理器，还用于根据所述图像数据库对所述当前视线图像进行比对，以获取所述用户的瞳孔偏移距离，若所述用户的瞳孔偏移距离保持了第二预设时间，则通过所述瞳孔偏移距离确定当前视线角度，并根据所述当前视线角度确定所述目标物体。

2.如权利要求1所述的装置，其特征在于，所述装置为移动终端。

3.如权利要求1所述的装置，其特征在于，所述微处理器还用于根据所述用户的眼睛所处平面及所述镜片所述平面之间的距离和所述视线角度计算所述目标物体在所述镜片上的实际位置，并将所述翻译结果显示于所述实际位置上。

4.如权利要求3所述的装置，其特征在于，所述微处理器还用于根据所述第一摄像头的镜头及所述镜片所处平面之间的距离和第一夹角计算扩展距离，将所述待翻译图像中目标物体沿上下左右四个方向向外延伸所述扩展距离的N倍，并将延伸后的区域作为新的目标物体，所述第一夹角为原点至所述目标物体的直线与所述镜片所处平面之间的夹角，所述原点处于所述第一摄像头的中心线且位于所述镜架的鼻梁上，所述N为正数。

5.如权利要求1～4中任一项所述的装置，其特征在于，所述装置还包括：翻译开关键、语言类别键和环境类别键，所述翻译开关键、语言类别键和环境类别键均与所述微处理器连接。

6.如权利要求1～4中任一项所述的装置，其特征在于，所述装置还包括：亮度调整键，所述亮度调整键与所述微处理器连接。

7.一种基于权利要求1～6中任一项所述的装置的即时自动翻译方法，其特征在于，所述方法包括以下步骤：

S1：第一摄像头获取待翻译图像；

S2：微处理器对所述待翻译图像进行识别，以获取所述待翻译图像中目标物体的语言信息，根据存储器中的语言数据库对所述语言信息进行翻译，以获取翻译结果；

S3：显示单元在第一预设时间内显示所述翻译结果。

8.如权利要求7所述的方法，其特征在于，步骤S1之前还包括：

S001：第二摄像头获取用户的当前视线图像；

S002：所述微处理器根据所述存储器中的图像数据库对所述当前视线图像进行比对，以获取所述用户的瞳孔偏移距离，若所述用户的瞳孔偏移距离保持了第二预设时间，则通过所述瞳孔偏移距离确定当前视线角度；

S003：根据所述当前视线角度确定所述目标物体。