CN114781360A - 一种基于光学向量矩阵的线性机器翻译方法及系统 - Google Patents

一种基于光学向量矩阵的线性机器翻译方法及系统 Download PDF

Info

Publication number
CN114781360A
CN114781360A CN202210233754.6A CN202210233754A CN114781360A CN 114781360 A CN114781360 A CN 114781360A CN 202210233754 A CN202210233754 A CN 202210233754A CN 114781360 A CN114781360 A CN 114781360A
Authority
CN
China
Prior art keywords
word
language
vector
picture
translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210233754.6A
Other languages
English (en)
Inventor
郭宏翔
杨家精
伍剑
洪小斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210233754.6A priority Critical patent/CN114781360A/zh
Publication of CN114781360A publication Critical patent/CN114781360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于光学向量矩阵的线性机器翻译方法及系统。该方法包括：获取待翻译的第一语言单词图片，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量；对所述目标词向量解码得到翻译后的第二语言单词图片。本发明提供的方法，能够节省翻译矩阵的存储空间，提高对单词手写体图片的识别及翻译精度，有效提升翻译速度和效率。

Description

一种基于光学向量矩阵的线性机器翻译方法及系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于光学向量矩阵的线性机器翻译方法及系统。另外，还涉及一种电子设备及处理器可读存储介质。
背景技术
机器翻译是自然语言处理的重要组成部分。机器翻译系统需要精确地提取语料的特征，以使得机器翻译结果接近自然语言的翻译结果。目前，传统的机器翻译方案主要分为基于时序神经网络的非线性方法和基于概率统计结果的线性方法，该两种方法的共同点都是需要基于语料的上下文结构，在海量的语料库中获取待翻译语料的特征信息，并寻找其在另一种语言中寻找对应的特征。其中，机器翻译计算的过程涉及大量的高维矩阵运算，同时需要消耗大量的计算时间和存储空间；并且传统翻译的对象是基于词向量，获得另一语言的词向量后还需要在词典中检索到对应的单词，对于基于图片的翻译方法需要标准的字体才能识别出图片对应的单词。然而，该种传统方式对于手写体图像的单词翻译效果较差，导致应用的局限性较高。因此，如何设计一种高效、精确的单词手写体图片的识别及翻译方案具有非常重要的现实意义。
发明内容
为此，本发明提供一种基于光学向量矩阵的线性机器翻译方法及系统，以解决现有技术中存在的机器翻译方案局限性较高，导致机器翻译精确度和效果较差的缺陷。
第一方面，本发明提供一种基于光学向量矩阵的线性机器翻译方法，包括：获取待翻译的第一语言单词图片，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；
基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；
基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；
基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量；对所述目标词向量解码得到翻译后的第二语言单词图片。
进一步的，基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量，具体包括：
基于Softmax逻辑回归模型将所述第二语言对应的词向量和所述词库中单词对应的词向量进行余弦距离对比，检索出与所述第二语言对应的词向量之间余弦距离最近的目标词向量。
进一步的，所述基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量，具体包括：
基于所述光学平台中的振幅型空间光调制器加载所述词向量，并基于所述光学平台中的纯相位型空间光调制器加载相应的线性翻译矩阵，将所述词向量和所述线性翻译矩阵相干叠加之后利用柱面透镜逐列叠加，得到第二语言对应的词向量。
进一步的，基于所述图像散斑进行词向量编码，得到单词短语对应的词向量，具体包括：
将所述图像散斑输入到Skip-Gram模型中进行词向量编码，获得的所述单词短语对应的包含语义信息的词向量；其中，所述Skip-Gram模型基于统计概率的线性词向量编码模型。
进一步的，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑，具体包括：
基于随机散射介质的传输矩阵对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑。
进一步的，所述第一语言单词图片为包含第一语言单词短语的手写体图片；所述第二语言单词图片为包含第二语言单词短语的图片。
第二方面，本发明还提供一种基于光学向量矩阵的线性机器翻译系统，包括：
手写体图片识别模块，用于获取待翻译的第一语言单词图片，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；
词向量编码模块，用于基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；
词向量优化翻译模块，用于基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；
词向量匹配检索及解码模块，用于基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量；对所述目标词向量解码得到翻译后的第二语言单词图片。
进一步的，所述词向量优化翻译模块，具体用于：
基于所述光学平台中的振幅型空间光调制器加载所述词向量，并基于所述光学平台中的纯相位型空间光调制器加载相应的线性翻译矩阵，将所述词向量和所述线性翻译矩阵相干叠加之后利用柱面透镜逐列叠加，得到第二语言对应的词向量。
进一步的，所述词向量匹配检索及解码模块，具体用于：
基于Softmax逻辑回归模型将所述第二语言对应的词向量和所述词库中单词对应的词向量进行余弦距离对比，检索出与所述第二语言对应的词向量之间余弦距离最近的目标词向量。
进一步的，所述词向量编码模块，具体用于：
将所述图像散斑输入到Skip-Gram模型中进行词向量编码，获得的所述单词短语对应的包含语义信息的词向量；其中，所述Skip-Gram模型基于统计概率的线性词向量编码模型。
进一步的，所述手写体图片识别模块，具体用于：
基于随机散射介质的传输矩阵对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑。
进一步的，所述第一语言单词图片为包含第一语言单词短语的手写体图片；所述第二语言单词图片为包含第二语言单词短语的图片。
第三方面，本发明还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现如上述任意一项所述基于光学向量矩阵的线性机器翻译方法的步骤。
第四方面，本发明还提供一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述基于光学向量矩阵的线性机器翻译方法的步骤。
本发明提供的基于光学向量矩阵的线性机器翻译方法，通过对获取的第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；然后，基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；并基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；进一步基于所述第二语言对应的词向量在词库中进行匹配检索获得目标词向量，对所述目标词向量解码得到翻译后的第二语言单词图片。利用光传输的高并发、低能耗特性来加速高维矩阵计算并降低翻译矩阵的存储空间，极大加速了矩阵运算，使原本的计算时间降低，翻译速度得到提升，并且能够实现文字图案之间的翻译，提高了对单词手写体图片的识别及翻译精度，可适用于高速实时翻译的场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的基于光学向量矩阵的线性机器翻译方法的流程示意图；
图2是本发明实施例提供的基于光学向量矩阵的线性机器翻译方法的完整流程示意图；
图3是本发明实施例提供的Skip-Gram模型的基本原理示意图；
图4是本发明实施例提供的全连接光学衍射神经网络的示意图；
图5是本发明实施例提供的线性翻译矩阵的基本原理示意图；
图6是本发明实施例提供的光学平台的结构示意图；
图7是本发明实施例提供的输入图片经过随机散射介质后散斑与恢复值；
图8是本发明实施例提供的输入图片经过随机散射介质后得到的散斑值；
图9是本发明实施例提供的翻译结果的对比示意图；
图10是本发明实施例提供的基于光学平台优化后的翻译正确率的对比示意图；
图11是本发明实施例提供的基于光学平台节省的计算时间以及在程序运行总时间的占比；
图12是本发明实施例提供的基于光学向量矩阵的线性机器翻译系统的结构示意图；
图13是本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
下面基于本发明所述基于光学向量矩阵的线性机器翻译方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的基于光学向量矩阵的线性机器翻译方法的流程示意图，具体实现过程包括以下步骤：
步骤101：获取待翻译的第一语言单词图片，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑。
在本发明实施例中，执行本步骤之前需要预先对输入的手写体单词图片进行压缩降维，提取手写体单词图片的特征信息，并对相似的手写体进行归类并编为统一编码，加入词库。在本步骤中，具体可基于随机散射介质的传输矩阵对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑。该随机散射介质的传输矩阵H近似于随机高斯复矩阵，且该传输矩阵存在相应的复共轭矩阵。当光信号通过该随机散射介质时，等效于与传输矩阵相乘，可实现降维压缩并保持原向量的内积不变。比如：假设原文的图片(第一语言单词图片)为W，编码后的词向量为V＝H*W，对于相应的解码过程可以先获得随机散射介质的传输矩阵H，然后计算出该传输矩阵的复共轭矩阵Hr，且H*Hr＝E，E为单位矩阵，因此词向量对应的编码与解码过程矩阵满足Hr*H*W＝W，从而完成了编码与解码还原过程。其中，所述第一语言单词图片是指包含第一语言单词短语的手写体图片。
步骤102：基于所述图像散斑进行词向量编码，得到单词短语对应的词向量。
具体的，可将所述图像散斑输入到Skip-Gram模型(即Skip-Gram算法)中进行词向量编码，获得的所述单词短语对应的包含语义信息的词向量。其中，所述Skip-Gram模型基于统计概率的线性词向量编码模型。所述Skip-Gram算法是一种基于统计概率的线性词向量编码过程，全过程无非线性层，词向量编码模块对词库中无语义信息的单词进行编码。假设待编码的单词为中心词，在语料库中统计其上下文单词出现的概率，若两个中心词的上下文单词出现的概率相似，那么可判断这两个中心词为近义词，这种编码方法可以使得具有近似词义的单词在向量空间中的余弦距离相近。如图3所示，其展示了Skip-Gram算法的基本原理实现过程。
需要说明的是，在实际实施过程中，若对不同语言的词典用同样的方法编码，则近义词在各自词向量空间中同样具有余弦距离相近的特点。该方法获得的词向量为单语言语料训练的结果，为了优化图像散斑对应的词向量，可添加跨语言上下文信息，加强不同语言对应词向量之间的相关性，使得单词x和对应词义的单词y的相关系数Cov(x，y)的值接近于1，所用方法可为深度典型相关性算法。设u，v为两个投影矩阵，f(x)、g(y)为单词x和单词y，经过全连接神经网络得到特征信息，∑fg、∑ff、∑gg为特征信息之间的协方差矩阵，则相关系数Cov(x，y)满足下列公式：
Figure BDA0003541364770000081
其中，神经网络部分可基于光学衍射神经网络实现。
如图4所示，其展示的是全连接光学衍射神经网络的其中一层。第一个空间光调制器(SLM1，Spatial Light Modulation1)加载的词向量x＝{x1，x2，x3，…，xn}，第二个空间光调制器(SLM2，Spatial Light Modulation2)加载词向量y＝{y1，y2，y3，…，yn}。其中对于任意yk，有
Figure BDA0003541364770000082
Ak和θk分别代表第二空间光调制器的振幅和相位，传输矩阵W为预设的固定值，满足空间衍射传播的规律，则对于每一层的输入信号x，输出z满足下列公式：
z＝f(x⊙y*W) (2)
其中f(x)＝x2为激活函数，可基于CCD探测器完成。
步骤103：基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量。
在本发明实施例中，需要预先训练得到满足应用条件的线性翻译矩阵。具体的，如图5所示，假设语言A词典总词数为M，取m个维度为p的词向量CodeA；语言B词典总词数为N，取m个维度为q的词向量为CodeB，(其中M、N＞＞m)。用CodeA和CodeB作为训练集，训练出线性翻译矩阵T(pxq)，使得T*CodeA＝CodeB，其中CodeA和CodeB是已经对齐的词向量，即每一行对应的词义相同，该线性翻译矩阵可实现用少量训练数据训练即可对整个词库中单词进行翻译的效果训练出线性翻译矩阵。
在通过上述过程得到满足应用条件的线性翻译矩阵之后，本步骤中可基于所述光学平台中的振幅型空间光调制器加载所述词向量，并基于所述光学平台中的纯相位型空间光调制器加载相应的线性翻译矩阵，将所述词向量和所述线性翻译矩阵相干叠加之后利用柱面透镜逐列叠加，得到第二语言对应的词向量。
需要说明的是，本发明实施例中所述的光学平台(光学计算平台)能够通过光学向量矩阵乘法完成词向量优化，以实现词向量翻译和解码还原为图片的过程。该光学计算平台结构具体如图6所示，包括耦合了保偏光纤和偏振片P1的激光发射器，扩束器，振幅型空间光调制器DMD(Digital Micromirror Device)，纯相位型空间光调制器SLM(SpatialLight Modulation)加载线性翻译矩阵，两组4f成像系统和CCD(Charge Coupled Device)相机，L1、L2、L3、L4为平凸透镜，C1为柱面透镜，S1、S2为小孔。DMD加载输入的词向量，SLM加载线性翻译矩阵经过两者相干叠加之后用柱面透镜逐列叠加，得到计算后的词向量，即得到第二语言对应的词向量。其中DMD的每一行加载输入的词向量v＝{v1，v2，v3，…，vn}，共m行，得到矩阵V；SLM加载大小为mxn的线性翻译矩阵W，两个空间光调制器图样相干叠加后的结果相当于元素对应相乘，即矩阵U＝V⊙W，然后经过柱面透镜C1相当于对矩阵U的每一行的所有元素求和即uk＝∑iviwik，最终得到u＝W*v。在具体实施过程中，对于光学衍射神经网络，只需要在原计算平台的基础上去掉4f透镜组，并在分束器和CCD之间选择适当的距离即可。
步骤104：基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量；对所述目标词向量解码得到翻译后的第二语言单词图片。
如图2所示，在本发明实施例中，翻译得到另一种语言词向量(第二语言对应的词向量)后，可基于Softmax逻辑回归模型将所述第二语言对应的词向量和所述词库中单词对应的词向量进行余弦距离对比，检索出与所述第二语言对应的词向量之间余弦距离最近的目标词向量作为翻译结果。其中，所述第二语言单词图片为包含第二语言单词短语的图片。将翻译结果通过词向量解码模块即可还原为翻译后的第二语言对应的单词图片(即语言B单词图片)。
如图7所示，其为单词图片的识别与还原过程，通过加载的随机散射介质对应的传输矩阵与其反演可以实现单词图片的正变换和逆变换，相似单词图片的编码距离更小。本发明实施例中，输入的第一语言单词图片(a)经过随机散射介质后得到的图像散斑(b)和相应的恢复值(c)。恢复值即为第二语言单词图片对应的单词。其中，经过随机散射介质后得到的图像散斑(b)对应的散斑值如图8所示。
如图9所示，对于同一类别的单词具有在空间上相近的特点，且对于词义相近的单词，两者的相关系数接近于1。图9展示光学平台上加载翻译矩阵进行翻译后，在再加载解码矩阵解码回到单词图片的翻译结果。其中，(a)为一组待翻译的第一语言的单词图片，(b)为翻译结果的理论值，(c)为实验误差优化前的翻译结果，(d)为优化后的翻译结果。由图10可看出经过本发明方案优化后翻译的正确率有了明显提升。图11为本发明方案节省的计算时间随矩阵维度上升的变化曲线，可以看出随着矩阵维度的提升，本发明方案能节约的计算时间和存储空间能得到极大提升。
本发明实施例所述的基于光学向量矩阵的线性机器翻译方法，通过对获取的第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；然后，基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；并基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；进一步基于所述第二语言对应的词向量在词库中进行匹配检索获得目标词向量，对所述目标词向量解码得到翻译后的第二语言单词图片。利用光传输的高并发、低能耗特性来加速高维矩阵计算并降低翻译矩阵的存储空间，极大加速了矩阵运算，使原本的计算时间降低，翻译速度得到提升，并且能够实现文字图案之间的翻译，提高了对单词手写体图片的识别及翻译精度，可适用于高速实时翻译的场景。
与上述提供的一种基于光学向量矩阵的线性机器翻译方法相对应，本发明还提供一种基于光学向量矩阵的线性机器翻译系统。由于该系统的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的基于光学向量矩阵的线性机器翻译系统的实施例仅是示意性的。请参考图12所示，其为本发明实施例提供的一种基于光学向量矩阵的线性机器翻译系统的结构示意图。
本发明所述的基于光学向量矩阵的线性机器翻译系统，具体包括：
手写体图片识别模块1201，用于获取待翻译的第一语言单词图片，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；
词向量编码模块1202，用于基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；
词向量优化翻译模块1203，用于基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；
词向量匹配检索及解码模块1204，用于基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量；对所述目标词向量解码得到翻译后的第二语言单词图片。
进一步的，所述词向量优化翻译模块，具体用于：
基于所述光学平台中的振幅型空间光调制器加载所述词向量，并基于所述光学平台中的纯相位型空间光调制器加载相应的线性翻译矩阵，将所述词向量和所述线性翻译矩阵相干叠加之后利用柱面透镜逐列叠加，得到第二语言对应的词向量。
进一步的，所述词向量匹配检索及解码模块，具体用于：
基于Softmax逻辑回归模型将所述第二语言对应的词向量和所述词库中单词对应的词向量进行余弦距离对比，检索出与所述第二语言对应的词向量之间余弦距离最近的目标词向量。
进一步的，所述词向量编码模块，具体用于：
将所述图像散斑输入到Skip-Gram模型中进行词向量编码，获得的所述单词短语对应的包含语义信息的词向量；其中，所述Skip-Gram模型基于统计概率的线性词向量编码模型。
进一步的，所述手写体图片识别模块，具体用于：
基于随机散射介质的传输矩阵对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑。
进一步的，所述第一语言单词图片为包含第一语言单词短语的手写体图片；所述第二语言单词图片为包含第二语言单词短语的图片。
本发明实施例所述的基于光学向量矩阵的线性机器翻译系统，通过对获取的第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；然后，基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；并基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；进一步基于所述第二语言对应的词向量在词库中进行匹配检索获得目标词向量，对所述目标词向量解码得到翻译后的第二语言单词图片。利用光传输的高并发、低能耗特性来加速高维矩阵计算并降低翻译矩阵的存储空间，极大加速了矩阵运算，使原本的计算时间降低，翻译速度得到提升，并且能够实现文字图案之间的翻译，提高了对单词手写体图片的识别及翻译精度，可适用于高速实时翻译的场景。
与上述提供的基于光学向量矩阵的线性机器翻译方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图13所示，其为本发明实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括：处理器(processor)1301、存储器(memory)1302和通信总线1303，其中，处理器1301，存储器1302通过通信总线1303完成相互间的通信，通过通信接口1304与外部进行通信。处理器1301可以调用存储器1302中的逻辑指令，以执行基于光学向量矩阵的线性机器翻译方法，该方法包括：获取待翻译的第一语言单词图片，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量；对所述目标词向量解码得到翻译后的第二语言单词图片。
此外，上述的存储器1302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：存储芯片、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在处理器可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于光学向量矩阵的线性机器翻译方法。该方法包括：获取待翻译的第一语言单词图片，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量；对所述目标词向量解码得到翻译后的第二语言单词图片。
又一方面，本发明实施例还提供一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于光学向量矩阵的线性机器翻译方法。该方法包括：获取待翻译的第一语言单词图片，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量；对所述目标词向量解码得到翻译后的第二语言单词图片。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于光学向量矩阵的线性机器翻译方法，其特征在于，包括：
获取待翻译的第一语言单词图片，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；
基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；
基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；
基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量；对所述目标词向量解码得到翻译后的第二语言单词图片。
2.根据权利要求1所述的基于光学向量矩阵的线性机器翻译方法，其特征在于，基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量，具体包括：
基于Softmax逻辑回归模型将所述第二语言对应的词向量和所述词库中单词对应的词向量进行余弦距离对比，检索出与所述第二语言对应的词向量之间余弦距离最近的目标词向量。
3.根据权利要求1所述的基于光学向量矩阵的线性机器翻译方法，其特征在于，所述基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量，具体包括：
基于所述光学平台中的振幅型空间光调制器加载所述词向量，并基于所述光学平台中的纯相位型空间光调制器加载相应的线性翻译矩阵，将所述词向量和所述线性翻译矩阵相干叠加之后利用柱面透镜逐列叠加，得到第二语言对应的词向量。
4.根据权利要求1所述的基于光学向量矩阵的线性机器翻译方法，其特征在于，基于所述图像散斑进行词向量编码，得到单词短语对应的词向量，具体包括：
将所述图像散斑输入到Skip-Gram模型中进行词向量编码，获得的所述单词短语对应的包含语义信息的词向量；其中，所述Skip-Gram模型基于统计概率的线性词向量编码模型。
5.根据权利要求1所述的基于光学向量矩阵的线性机器翻译方法，其特征在于，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑，具体包括：
基于随机散射介质的传输矩阵对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑。
6.根据权利要求1所述的基于光学向量矩阵的线性机器翻译方法，其特征在于，所述第一语言单词图片为包含第一语言单词短语的手写体图片；所述第二语言单词图片为包含第二语言单词短语的图片。
7.一种基于光学向量矩阵的线性机器翻译系统，其特征在于，包括：
手写体图片识别模块，用于获取待翻译的第一语言单词图片，对所述第一语言单词图片进行识别，得到所述第一语言单词图片中单词短语对应的图像散斑；
词向量编码模块，用于基于所述图像散斑进行词向量编码，得到单词短语对应的词向量；
词向量优化翻译模块，用于基于预设的光学平台分别加载所述词向量和相应的线性翻译矩阵，以实现基于所述线性翻译矩阵对所述词向量进行优化翻译，得到第二语言对应的词向量；
词向量匹配检索及解码模块，用于基于所述第二语言对应的词向量在词库中进行匹配检索，获得目标词向量；对所述目标词向量解码得到翻译后的第二语言单词图片。
8.根据权利要求7所述的基于光学向量矩阵的线性机器翻译系统，其特征在于，所述词向量优化翻译模块，具体用于：
基于所述光学平台中的振幅型空间光调制器加载所述词向量，并基于所述光学平台中的纯相位型空间光调制器加载相应的线性翻译矩阵，将所述词向量和所述线性翻译矩阵相干叠加之后利用柱面透镜逐列叠加，得到第二语言对应的词向量。
9.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述基于光学向量矩阵的线性机器翻译方法的步骤。
10.一种处理器可读存储介质，所述处理器可读存储介质上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任意一项所述基于光学向量矩阵的线性机器翻译方法的步骤。
CN202210233754.6A 2022-03-10 2022-03-10 一种基于光学向量矩阵的线性机器翻译方法及系统 Pending CN114781360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210233754.6A CN114781360A (zh) 2022-03-10 2022-03-10 一种基于光学向量矩阵的线性机器翻译方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210233754.6A CN114781360A (zh) 2022-03-10 2022-03-10 一种基于光学向量矩阵的线性机器翻译方法及系统

Publications (1)

Publication Number Publication Date
CN114781360A true CN114781360A (zh) 2022-07-22

Family

ID=82422700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210233754.6A Pending CN114781360A (zh) 2022-03-10 2022-03-10 一种基于光学向量矩阵的线性机器翻译方法及系统

Country Status (1)

Country Link
CN (1) CN114781360A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708812A (zh) * 2016-12-19 2017-05-24 新译信息科技（深圳）有限公司 机器翻译模型的获取方法及装置
CN109446534A (zh) * 2018-09-21 2019-03-08 清华大学 机器翻译方法及装置
CN112487833A (zh) * 2020-12-01 2021-03-12 中译语通科技（青岛）有限公司 一种机器翻译方法及其翻译系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708812A (zh) * 2016-12-19 2017-05-24 新译信息科技（深圳）有限公司 机器翻译模型的获取方法及装置
CN109446534A (zh) * 2018-09-21 2019-03-08 清华大学 机器翻译方法及装置
CN112487833A (zh) * 2020-12-01 2021-03-12 中译语通科技（青岛）有限公司 一种机器翻译方法及其翻译系统

Similar Documents

Publication Publication Date Title
US11210306B2 (en) Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system
US11741109B2 (en) Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system
Zhou et al. A C-LSTM neural network for text classification
CN111695352A (zh) 基于语义分析的评分方法、装置、终端设备及存储介质
CN111221944B (zh) 文本意图识别方法、装置、设备和存储介质
CN112632225B (zh) 基于案事件知识图谱的语义搜索方法、装置和电子设备
EP3926531A1 (en) Method and system for visio-linguistic understanding using contextual language model reasoners
CN112434535B (zh) 基于多模型的要素抽取方法、装置、设备及存储介质
CN113837370B (zh) 用于训练基于对比学习的模型的方法和装置
CN113239169A (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN112101042B (zh) 文本情绪识别方法、装置、终端设备和存储介质
CN111695591B (zh) 基于ai的面试语料分类方法、装置、计算机设备和介质
CN116304748B (zh) 一种文本相似度计算方法、系统、设备及介质
CN113255328A (zh) 语言模型的训练方法及应用方法
CN113655893A (zh) 一种词句生成方法、模型训练方法及相关设备
CN117875395A (zh) 多模态预训练模型的训练方法、装置及存储介质
Köksal et al. Improving automated Turkish text classification with learning‐based algorithms
CN114692624A (zh) 一种基于多任务迁移的信息抽取方法、装置及电子设备
CN113204679B (zh) 一种代码查询模型的生成方法和计算机设备
Rodriguez Deep Learning Systems: Algorithms, Compilers, and Processors for Large-Scale Production
CN111126056A (zh) 一种识别触发词的方法及装置
US20210125063A1 (en) Apparatus and method for generating binary neural network
Inbasekaran et al. Using Transfer Learning to contextually Optimize Optical Character Recognition (OCR) output and perform new Feature Extraction on a digitized cultural and historical dataset
CN114330327A (zh) 语言模型预训练方法和装置，计算机存储介质和电子设备
CN114781360A (zh) 一种基于光学向量矩阵的线性机器翻译方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination