CN109977866B - 内容翻译方法及装置、计算机系统及计算机可读存储介质 - Google Patents

内容翻译方法及装置、计算机系统及计算机可读存储介质 Download PDF

Info

Publication number
CN109977866B
CN109977866B CN201910231597.3A CN201910231597A CN109977866B CN 109977866 B CN109977866 B CN 109977866B CN 201910231597 A CN201910231597 A CN 201910231597A CN 109977866 B CN109977866 B CN 109977866B
Authority
CN
China
Prior art keywords
user
language
content
translated
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910231597.3A
Other languages
English (en)
Other versions
CN109977866A (zh
Inventor
焦阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201910231597.3A priority Critical patent/CN109977866B/zh
Publication of CN109977866A publication Critical patent/CN109977866A/zh
Application granted granted Critical
Publication of CN109977866B publication Critical patent/CN109977866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种内容翻译方法,包括:获取用户的图像;对用户的图像进行处理,确定用户的生物学特征;根据用户的生物学特征确定与用户对应的语种;将待翻译内容翻译为与语种对应的目标内容,以使得用户能够识别待翻译内容。本公开还提供了一种内容翻译装置、一种计算机系统以及一种计算机可读存储介质。

Description

内容翻译方法及装置、计算机系统及计算机可读存储介质
技术领域
本公开涉及一种内容翻译方法、一种内容翻译装置、一种计算机系统以及一种计算机可读存储介质。
背景技术
目前,内容翻译功能越来越成熟,可以实现将某一种语言的内容翻译成另一种或多种语言的内容,其中,被翻译的内容包括但不限于文本和音频等等。在相关技术中,当用户想要观看或者收听某一种语言的内容时,需要在终端上手动设置按键或者手动触摸触摸屏的菜单选项选择用户想要的语种,但如果用户在距离终端设备较远的位置,需要走近终端才能改变翻译语种,或者如果使用终端的用户发生了变化,不得不再次手动切换语种,导致用户体验差。
发明内容
本公开的一个方面提供了一种内容翻译方法,包括获取用户的图像;对上述用户的图像进行处理,确定上述用户的生物学特征;根据上述用户的生物学特征确定与上述用户对应的语种;以及将待翻译内容翻译为与上述语种对应的目标内容,以使得上述用户能够识别上述待翻译内容。
根据本公开的实施例,根据上述用户的生物学特征确定与上述用户对应的语种包括:根据上述用户的生物学特征确定与上述用户对应的多个语种;
将待翻译内容翻译为与上述语种对应的目标内容包括:
将上述待翻译内容的第一部分内容翻译为与上述多个语种中的每个语种分别对应的候选内容;
获取上述用户注视上述候选内容时视线所指向的位置信息;
根据上述用户注视上述候选内容时视线所指向的的位置信息确定上述用户能够理解的目标语种;以及
将上述待翻译内容的第二部分内容全部翻译为与上述目标语种对应的内容。
根据本公开的实施例,内容翻译方法还包括:获取上述用户识别与上述每个语种分别对应的内容时的表情信息;根据上述用户注视上述候选内容时视线所指向的的位置信息确定上述用户能够理解的目标语种包括:根据上述用户注视时视线所指向的位置信息和上述用户识别与上述每个语种分别对应的内容时的表情信息确定上述用户能够理解的目标语种。
根据本公开的实施例,其中:对上述用户的图像进行处理,确定上述用户的生物学特征包括:对上述用户的图像进行处理,确定上述用户的肤色信息;
根据上述用户的生物学特征确定与上述用户对应的语种包括:根据上述用户的肤色信息确定上述用户对应的语种集,其中,上述语种集中包括多个语种;
将待翻译内容翻译为与上述语种对应的目标内容包括:
从上述语种集中选择第一语种,将上述待翻译内容翻译为与上述第一语种对应的内容;
获取上述用户识别与上述第一语种对应的内容时的表情信息;以及
根据上述用户识别与上述第一语种对应的内容时的表情信息确定是否从上述语种集中选择第二语种,以确定是否将上述待翻译内容翻译为与上述第二语种对应的内容。
根据本公开的实施例,上述内容翻译方法还包括:在根据上述用户的表情信息确定需要从上述语种集中选择第二语种的情况下,将上述待翻译内容翻译为与上述第二语种对应的内容;获取上述用户识别与上述第二语种对应的内容时的表情信息;以及根据上述用户识别与上述第二语种对应的内容时的表情信息确定是否从上述语种集中选择第三语种,以确定是否将上述待翻译内容翻译为与上述第三语种对应的内容。
根据本公开的实施例,上述内容翻译方法还包括:在根据上述用户的表情信息确定不需要从上述语种集中选择第二语种的情况下,将上述第一语种与上述用户建立关联关系。
本公开的另一个方面提供了一种内容翻译装置,包括:第一获取模块,用于获取用户的图像;第一确定模块,用于对上述用户的图像进行处理,确定上述用户的生物学特征;第二确定模块,用于根据上述用户的生物学特征确定与上述用户对应的语种;以及翻译模块,用于将待翻译内容翻译为与上述语种对应的目标内容,以使得上述用户能够识别上述待翻译内容。
根据本公开的实施例,其中:上述第二确定模块用于根据上述用户的生物学特征确定与上述用户对应的多个语种;
上述翻译模块包括:第一翻译单元,用于将上述待翻译内容的第一部分内容翻译为与上述多个语种中的每个语种分别对应的候选内容;第一获取单元,用于获取上述用户注视上述候选内容时视线所指向的位置信息;第一确定单元,用于根据上述用户注视上述候选内容时视线所指向的的位置信息确定上述用户能够理解的目标语种;以及第二翻译单元,用于将上述待翻译内容的第二部分内容全部翻译为与上述目标语种对应的内容。
根据本公开的实施例,上述内容翻译装置还包括第二获取模块,用于获取上述用户识别与上述每个语种分别对应的内容时的表情信息;上述确定单元用于根据上述用户注视时视线所指向的位置信息和上述用户识别与上述每个语种分别对应的内容时的表情信息确定上述用户能够理解的目标语种。
根据本公开的实施例,其中:上述第一确定模块用于对上述用户的图像进行处理,确定上述用户的肤色信息;上述第二确定模块用于根据上述用户的肤色信息确定上述用户对应的语种集,其中,上述语种集中包括多个语种;上述翻译模块包括:第三翻译单元,用于从上述语种集中选择第一语种,将上述待翻译内容翻译为与上述第一语种对应的内容;第二获取单元,用于获取上述用户识别与上述第一语种对应的内容时的表情信息;以及第二确定单元,用于根据上述用户识别与上述第一语种对应的内容时的表情信息确定是否从上述语种集中选择第二语种,以确定是否将上述待翻译内容翻译为与上述第二语种对应的内容。
根据本公开的实施例,上述翻译模块还包括:第四翻译单元,用于在根据上述用户的表情信息确定需要从上述语种集中选择第二语种的情况下,将上述待翻译内容翻译为与上述第二语种对应的内容;第三获取单元,用于获取上述用户识别与上述第二语种对应的内容时的表情信息;以及第三确定单元,用于根据上述用户识别与上述第二语种对应的内容时的表情信息确定是否从上述语种集中选择第三语种,以确定是否将上述待翻译内容翻译为与上述第三语种对应的内容。
根据本公开的实施例,上述内容翻译装置还包括:创建模块,用于在根据上述用户的表情信息确定不需要从上述语种集中选择第二语种的情况下,将上述第一语种与上述用户建立关联关系。
本公开的另一个方面提供了一种计算机系统,包括:处理器;计算机可读存储介质,用于存储一个或多个程序,其中,当所述一个或多个程序被所述处理器执行时,使得所述处理器实现如上所述的方法。
本公开的另一个方面提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的实现内容翻译方法及装置的应用场景;
图2示意性示出了根据本公开实施例的内容翻译方法的流程图;
图3示意性示出了根据本公开实施例的将待翻译内容翻译为与语种对应的目标内容的流程图;
图4A和4B示意性示出了根据本公开实施例的将待翻译内容翻译为与不同语种对应的目标内容的示意图;
图5示意性示出了根据本公开另一实施例的将待翻译内容翻译为与语种对应的目标内容的流程图;
图6示意性示出了根据本公开另一实施例的内容翻译方法的流程图;
图7示意性示出了根据本公开实施例的内容翻译装置的框图;以及
图8示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
本公开的实施例提供了一种内容翻译方法,包括获取用户的图像;对用户的图像进行处理,确定用户的生物学特征;根据用户的生物学特征确定与用户对应的语种;将待翻译内容翻译为与语种对应的目标内容,以使得用户能够识别待翻译内容。
图1示意性示出了根据本公开实施例的实现内容翻译方法及装置的应用场景。需要注意的是,图1所示仅为可以应用本公开实施例的场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,电子设备100可以用于执行本公开实施例的内容翻译方法。电子设备100可以通过采集模块101获取用户的图像,然后电子设备100对用户的图像进行处理,确定用户的生物学特征。例如,电子设备100可以利用人脸识别技术对用户的脸部进行识别,确定用户的脸部特征。根据用户的脸部特征确定与用户对应的语种。例如,根据用户的脸部特征确定该用户为美国人,那么与用户对应的语种可以确定为英语。
根据本公开的实施例,待翻译内容可以是电子设备100实时从外部获取的内容,包括但不限于语音内容,文本内容。或者,待翻译内容也可以是电子设备100本地存储的内容。
根据本公开的实施例,例如,在待翻译内容为中文内容的情况下,可以将待翻译内容翻译为与上述确定的英语对应的英文内容。在待翻译内容本身就是英文内容的情况下,将不进行翻译,直接输出待翻译内容。
根据本公开的实施例,将待翻译内容翻译为与语种对应的目标内容之后,可以在电子设备100的显示模块102中显示目标内容,也可以通过语音输出模块以语音方式输出目标内容。可选地,还可以既在显示模块102中显示目标内容,同时又以语音方式输出目标内容。
根据本公开的实施例,具体地,以用户在参加国际会议为例,在有些会议室中,每个座位前都有显示终端,可以将发言者的发言内容实时翻译成其他语言的文本或语音。根据本公开的实施例,会议室的显示终端可以根据用户的生物学特征自动判断显示终端前的用户能够理解哪种语言,然后将发言者的发言内容翻译为该用户能够理解的内容,使得显示终端无需显示多种语言,避免了将发言内容翻译为多种语言的字幕会占用过多的显示空间,防止了遮挡过多的显示图像。
通过本公开的实施例,在进行内容翻译之前,先对用户的图像进行处理,获取用户的生物学特征,然后根据用户的生物学特征确定用户对应的语种,最后将待翻译内容翻译为与该语种对应的目标内容,使得用户无需手动切换语种,解决了相关技术中无法自动切换为用户能够识别的语种的技术问题,达到了自动切换语种,并将待翻译内容翻译为目标内容的效果。
图2示意性示出了根据本公开实施例的内容翻译方法的流程图。
如图2所示,该方法包括操作S210~S240。
在操作S210,获取用户的图像。
根据本公开的实施例,用户的图像可以是脸部图像,头部图像,上半身图像,全身图像等等。
在操作S220,对用户的图像进行处理,确定用户的生物学特征。
根据本公开的实施例,用户的生物学特征包括但不限于肤色,体型,眼睛特征,发型,头发颜色,鼻梁等脸部特征。
在操作S230,根据用户的生物学特征确定与用户对应的语种。
根据本公开的实施例,例如,用户的生物学特征包括:白皮肤和蓝眼睛。可以确定与该用户对应的语种为英语。
根据本公开的实施例,根据用户的生物学特征可以确定出与用户对应的多个语种。
根据本公开的实施例,例如,用户的生物学特征包括:黄皮肤,黑头发。可以确定与该用户对应的语种包括汉语,日语,新加坡语等等。
在操作S240,将待翻译内容翻译为与语种对应的目标内容,以使得用户能够识别待翻译内容。
根据本公开的实施例,将待翻译内容翻译为与语种对应的目标内容之后,还可以根据用户识别语种对应的内容时的表情信息确定该语种是否为用户能够识别的语种。例如,用户识别内容时的表情信息为皱眉等表示困惑的表情,则认为语种判断错误或者有误差,则自动切换到其他相近人种的语言文本。用户识别内容时的表情信息为微笑等放松的表情,则认为语种判断正确,将持续显示该语种的文本翻译。
通过本公开的实施例,在进行内容翻译之前,先对用户的图像进行处理,获取用户的生物学特征,然后根据用户的生物学特征确定用户对应的语种,最后将待翻译内容翻译为与该语种对应的目标内容,使得用户无需手动切换语种,解决了相关技术中无法自动切换为用户能够识别的语种的技术问题,达到了自动切换语种,并将待翻译内容翻译为目标内容的效果。
下面参考图3~图6,结合具体实施例对图2所示的方法做进一步说明。
图3示意性示出了根据本公开实施例的将待翻译内容翻译为与语种对应的目标内容的流程图。
如图3所示,将待翻译内容翻译为与语种对应的目标内容包括操作S310~S340。
在操作S310,将待翻译内容的第一部分内容翻译为与多个语种中的每个语种分别对应的候选内容。
根据本公开的实施例,在根据用户的生物学特征确定出与用户对应的多个语种的情况下,可以先翻译待翻译内容的第一部分内容为不同语种分别对应的候选内容。
具体地,图4A和4B示意性示出了根据本公开实施例的将待翻译内容翻译为与不同语种对应的目标内容的示意图。
可以先将待翻译内容的第一部分内容(如图4A所示的第一部分内容)分别翻译为第一语种对应的候选内容和第二语种对应的候选内容(如图4B所示),待翻译内容的除第一部分内容以外的其他内容可以不翻译。
在操作S320,获取用户注视候选内容时视线所指向的位置信息。
根据本公开的实施例,可以利用眼球追踪技术,获取用户注视候选内容时视线所指向的位置信息。例如,用户注视的是第一语种对应的候选内容所在的位置。
在操作S330,根据用户注视候选内容时视线所指向的的位置信息确定用户能够理解的目标语种。
根据本公开的实施例,一般而言,可以将用户最后注视的候选内容所在的位置作为视线所指向的的位置。然后根据用户视线最后所指向的的位置信息确定用户能够理解的目标语种。例如,用户视线最后所指向的的位置为第一语种对应的候选内容所在的位置,则可以将第一语种确定为用户能够理解的目标语种。
根据本公开的实施例,为了提高确定的语种为用户能够理解的目标语种的准确性,还可以结合用户识别与每个语种分别对应的内容时的表情信息进行判断。
根据本公开的实施例,可以同时获取用户识别与每个语种分别对应的内容时的表情信息,然后根据用户注视时视线所指向的位置信息和用户识别与每个语种分别对应的内容时的表情信息确定用户能够理解的目标语种。
例如,用户识别第一语种对应的内容时的表情信息为皱眉等表示困惑的表情,并且用户注视时视线所指向的位置为第一语种,则认为用户不能理解第一语种。用户识别第二语种对应的内容时的表情信息为微笑等放松的表情,并且用户注视时视线所指向的位置为第二语种,则认为语种判断正确,将持续显示该语种的文本翻译。
在操作S340,将待翻译内容的第二部分内容全部翻译为与目标语种对应的内容。
根据本公开的实施例,通过获取用户的图像,可以识别出用户的表情,结合表情来判断该人是否能理解显示的语言文本,可以智能判断翻译语种,不需要手动操作语种菜单进行切换。
根据本公开的实施例,对用户的图像进行处理,可以确定出用户的肤色信息,根据用户的肤色信息可以确定用户对应的语种集,其中,语种集中包括多个语种。例如,用户的肤色为黄皮肤,可以确定汉语,日语,新加坡语等等,这些语种可以组成语种集。
图5示意性示出了根据本公开另一实施例的将待翻译内容翻译为与语种对应的目标内容的流程图。
如图5所示,将待翻译内容翻译为与语种对应的目标内容包括操作S510~S530。
在操作S510,从语种集中选择第一语种,将待翻译内容翻译为与第一语种对应的内容。
根据本公开的实施例,可以从语种集中随机选择第一语种,然后将待翻译内容翻译为与第一语种对应的内容。需要说明的是,可以先仅仅将待翻译内容的部分内容翻译为与第一语种对应的内容。
在操作S520,获取用户识别与第一语种对应的内容时的表情信息。
在操作S530,根据用户识别与第一语种对应的内容时的表情信息确定是否从语种集中选择第二语种,以确定是否将待翻译内容翻译为与第二语种对应的内容。
根据本公开的实施例,根据用户识别第一语种对应的内容时的表情信息可以确定第一语种是否为用户能够识别的语种。例如,用户识别第一语种对应的内容时的表情信息为皱眉等表示困惑的表情,则认为用户无法理解该语种,则自动切换到翻译为第二语种的语言文本。用户识别内容时的表情信息为微笑等放松的表情,则认为语种判断正确,将持续显示该语种的文本翻译。
根据本公开的实施例,在根据用户的表情信息确定不需要从语种集中选择第二语种的情况下,将第一语种与用户建立关联关系。例如,将第一语种与用户的图像进行绑定,当下次识别到该用户的图像时,可以直接将待翻译内容翻译为与第一语种对应的文本。
图6示意性示出了根据本公开另一实施例的内容翻译方法的流程图。
如图6所示,该方法包括操作S610~S630。
在操作S610,在根据用户的表情信息确定需要从语种集中选择第二语种的情况下,将待翻译内容翻译为与第二语种对应的内容。
根据本公开的实施例,如果根据用户的表情信息确定用户无法理解第一语种的情况下,可以从语种集中选择第二语种,将待翻译内容翻译为与第二语种对应的内容。
在操作S620,获取用户识别与第二语种对应的内容时的表情信息。
在操作S630,根据用户识别与第二语种对应的内容时的表情信息确定是否从语种集中选择第三语种,以确定是否将待翻译内容翻译为与第三语种对应的内容。
根据本公开的实施例,例如,用户识别第二语种对应的内容时的表情信息为皱眉等表示困惑的表情,则认为用户无法理解第二语种,则自动切换到翻译为第三语种的语言文本。用户识别内容时的表情信息为微笑等放松的表情,则认为语种判断正确,将持续显示第二语种的文本翻译。
根据本公开的实施例,在遍历语种集中的所有语种之后,如果用户仍然不能找到能够理解的语种,用户可以手动选择语种进行翻译。同时,用户可以在电子设备上完善生物特征信息,并将该生物特征信息与选择的语种进行关联,以使得电子设备可以基于该关联关系进行学习,完善与生物特征信息对应的语种集,以提高电子设备的智能化。
图7示意性示出了根据本公开实施例的内容翻译装置的框图。
如图7所示,内容翻译装置700包括第一获取模块710、第一确定模块720、第二确定模块730和翻译模块740。
第一获取模块710用于获取用户的图像。
第一确定模块720用于对用户的图像进行处理,确定用户的生物学特征。
第二确定模块730用于根据用户的生物学特征确定与用户对应的语种。
翻译模块740用于将待翻译内容翻译为与语种对应的目标内容,以使得用户能够识别待翻译内容。
通过本公开的实施例,在进行内容翻译之前,先对用户的图像进行处理,获取用户的生物学特征,然后根据用户的生物学特征确定用户对应的语种,最后将待翻译内容翻译为与该语种对应的目标内容,使得用户无需手动切换语种,解决了相关技术中无法自动切换为用户能够识别的语种的技术问题,达到了自动切换语种,并将待翻译内容翻译为目标内容的效果。
根据本公开的实施例,第二确定模块730用于根据用户的生物学特征确定与用户对应的多个语种。
翻译模块740包括第一翻译单元、第一获取单元、第一确定单元和第二翻译单元。
第一翻译单元用于将待翻译内容的第一部分内容翻译为与多个语种中的每个语种分别对应的候选内容。
第一获取单元用于获取用户注视候选内容时视线所指向的位置信息。
第一确定单元用于根据用户注视候选内容时视线所指向的的位置信息确定用户能够理解的目标语种。
第二翻译单元用于将待翻译内容的第二部分内容全部翻译为与目标语种对应的内容。
根据本公开的实施例,内容翻译装置700还包括第二获取模块,用于获取用户识别与每个语种分别对应的内容时的表情信息。
确定单元还用于根据用户注视时视线所指向的位置信息和用户识别与每个语种分别对应的内容时的表情信息确定用户能够理解的目标语种。
根据本公开的实施例,第一确定模块720用于对用户的图像进行处理,确定用户的肤色信息。第二确定模块730用于根据用户的肤色信息确定用户对应的语种集,其中,语种集中包括多个语种。
翻译模块740包括第三翻译单元、第二获取单元和第二确定单元。
第三翻译单元用于从语种集中选择第一语种,将待翻译内容翻译为与第一语种对应的内容。
第二获取单元用于获取用户识别与第一语种对应的内容时的表情信息。
第二确定单元用于根据用户识别与第一语种对应的内容时的表情信息确定是否从语种集中选择第二语种,以确定是否将待翻译内容翻译为与第二语种对应的内容。
根据本公开的实施例,翻译模块740还包括第四翻译单元、第三获取单元和第三确定单元。
第四翻译单元,用于在根据用户的表情信息确定需要从语种集中选择第二语种的情况下,将待翻译内容翻译为与第二语种对应的内容。
第三获取单元,用于获取用户识别与第二语种对应的内容时的表情信息。
第三确定单元,用于根据用户识别与第二语种对应的内容时的表情信息确定是否从语种集中选择第三语种,以确定是否将待翻译内容翻译为与第三语种对应的内容。
根据本公开的实施例,内容翻译装置700还包括创建模块,用于在根据用户的表情信息确定不需要从语种集中选择第二语种的情况下,将第一语种与用户建立关联关系。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块710、第一确定模块720、第二确定模块730和翻译模块740中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块710、第一确定模块720、第二确定模块730和翻译模块740中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块710、第一确定模块720、第二确定模块730和翻译模块740中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
本公开还提供了一种计算机系统,包括:处理器;计算机可读存储介质,用于存储一个或多个程序,其中,当所述一个或多个程序被所述处理器执行时,使得所述处理器实现上文描述的方法。
图8示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的方框图。图8示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示,计算机系统800包括处理器810、计算机可读存储介质820。该计算机系统800可以执行根据本公开实施例的方法。
具体地,处理器810例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器810还可以包括用于缓存用途的板载计算机可读存储介质。处理器810可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质820,例如可以是非易失性的计算机可读存储介质,具体示例包括但不限于:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);计算机可读存储介质,如随机存取计算机可读存储介质(RAM)或闪存;等等。
计算机可读存储介质820可以包括计算机程序821,该计算机程序821可以包括代码/计算机可执行指令,其在由处理器810执行时使得处理器810执行根据本公开实施例的方法或其任何变形。
计算机程序821可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序821中的代码可以包括一个或多个程序模块,例如包括821A、模块821B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器810执行时,使得处理器810可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例,第一获取模块710、第一确定模块720、第二确定模块730和翻译模块740中的至少一个可以实现为参考图8描述的计算机程序模块,其在被处理器810执行时,可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现上文描述的方法。
该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问计算机可读存储介质(RAM)、只读计算机可读存储介质(ROM)、可擦式可编程只读计算机可读存储介质(EPROM或闪存)、便携式紧凑磁盘只读计算机可读存储介质(CD-ROM)、光计算机可读存储介质件、磁计算机可读存储介质件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (8)

1.一种内容翻译方法,包括:
获取用户的图像;
对所述用户的图像进行处理,确定所述用户的生物学特征;
根据所述用户的生物学特征确定与所述用户对应的语种;以及
将待翻译内容翻译为与所述语种对应的目标内容,以使得所述用户能够识别所述待翻译内容;
根据所述用户的生物学特征确定与所述用户对应的语种包括:根据所述用户的生物学特征确定与所述用户对应的多个语种;
将待翻译内容翻译为与所述语种对应的目标内容包括:
将所述待翻译内容的第一部分内容翻译为与所述多个语种中的每个语种分别对应的候选内容;
获取所述用户注视所述候选内容时视线所指向的位置信息;
根据所述用户注视所述候选内容时视线所指向的的位置信息确定所述用户能够理解的目标语种;以及
将所述待翻译内容的第二部分内容全部翻译为与所述目标语种对应的内容。
2.根据权利要求1所述的方法,还包括:
获取所述用户识别与所述每个语种分别对应的内容时的表情信息;
根据所述用户注视所述候选内容时视线所指向的的位置信息确定所述用户能够理解的目标语种包括:根据所述用户注视时视线所指向的位置信息和所述用户识别与所述每个语种分别对应的内容时的表情信息确定所述用户能够理解的目标语种。
3.根据权利要求1所述的方法,其中:
对所述用户的图像进行处理,确定所述用户的生物学特征包括:对所述用户的图像进行处理,确定所述用户的肤色信息;
根据所述用户的生物学特征确定与所述用户对应的语种包括:根据所述用户的肤色信息确定所述用户对应的语种集,其中,所述语种集中包括多个语种;
将待翻译内容翻译为与所述语种对应的目标内容包括:
从所述语种集中选择第一语种,将所述待翻译内容翻译为与所述第一语种对应的内容;
获取所述用户识别与所述第一语种对应的内容时的表情信息;以及
根据所述用户识别与所述第一语种对应的内容时的表情信息确定是否从所述语种集中选择第二语种,以确定是否将所述待翻译内容翻译为与所述第二语种对应的内容。
4.根据权利要求3所述的方法,还包括:
在根据所述用户的表情信息确定需要从所述语种集中选择第二语种的情况下,将所述待翻译内容翻译为与所述第二语种对应的内容;
获取所述用户识别与所述第二语种对应的内容时的表情信息;以及
根据所述用户识别与所述第二语种对应的内容时的表情信息确定是否从所述语种集中选择第三语种,以确定是否将所述待翻译内容翻译为与所述第三语种对应的内容。
5.根据权利要求3所述的方法,其中,所述方法还包括:
在根据所述用户的表情信息确定不需要从所述语种集中选择第二语种的情况下,将所述第一语种与所述用户建立关联关系。
6.一种内容翻译装置,包括:
第一获取模块,用于获取用户的图像;
第一确定模块,用于对所述用户的图像进行处理,确定所述用户的生物学特征;
第二确定模块,用于根据所述用户的生物学特征确定与所述用户对应的语种;以及
翻译模块,用于将待翻译内容翻译为与所述语种对应的目标内容,以使得所述用户能够识别所述待翻译内容;
所述第二确定模块用于根据所述用户的生物学特征确定与所述用户对应的多个语种;
所述翻译模块包括:
第一翻译单元,用于将所述待翻译内容的第一部分内容翻译为与所述多个语种中的每个语种分别对应的候选内容;
第一获取单元,用于获取所述用户注视所述候选内容时视线所指向的位置信息;
第一确定单元,用于根据所述用户注视所述候选内容时视线所指向的的位置信息确定所述用户能够理解的目标语种;以及
第二翻译单元,用于将所述待翻译内容的第二部分内容全部翻译为与所述目标语种对应的内容。
7.一种计算机系统,包括:
处理器;
计算机可读存储介质,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述处理器执行时,使得所述处理器实现权利要求1至5中任一项所述的方法。
8.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至5中任一项所述的方法。
CN201910231597.3A 2019-03-25 2019-03-25 内容翻译方法及装置、计算机系统及计算机可读存储介质 Active CN109977866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910231597.3A CN109977866B (zh) 2019-03-25 2019-03-25 内容翻译方法及装置、计算机系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910231597.3A CN109977866B (zh) 2019-03-25 2019-03-25 内容翻译方法及装置、计算机系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109977866A CN109977866A (zh) 2019-07-05
CN109977866B true CN109977866B (zh) 2021-04-13

Family

ID=67080580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910231597.3A Active CN109977866B (zh) 2019-03-25 2019-03-25 内容翻译方法及装置、计算机系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109977866B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932807A (zh) * 2005-09-15 2007-03-21 株式会社东芝 用于翻译语音和进行翻译结果的语音合成的装置和方法
CN104360733A (zh) * 2014-10-27 2015-02-18 西北工业大学 基于眼控操作的翻译辅助方法
CN104412606A (zh) * 2012-06-29 2015-03-11 卡西欧计算机株式会社 内容重放控制装置、内容重放控制方法和程序
CN106649290A (zh) * 2016-12-21 2017-05-10 上海木爷机器人技术有限公司 语音翻译方法及系统
CN107484034A (zh) * 2017-07-18 2017-12-15 深圳Tcl新技术有限公司 字幕显示方法、终端及计算机可读存储介质
CN107943796A (zh) * 2017-11-17 2018-04-20 珠海市魅族科技有限公司 一种翻译方法和装置、终端、可读存储介质
CN108415905A (zh) * 2018-03-06 2018-08-17 喻海联 实时翻译方法、智能眼镜及计算机可读存储介质
CN108597008A (zh) * 2017-12-13 2018-09-28 西安电子科技大学 基于自然文本的人机智能交互控制平台

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063425A (zh) * 2009-11-17 2011-05-18 阿里巴巴集团控股有限公司 一种翻译方法和装置
CN109460556A (zh) * 2017-09-06 2019-03-12 北京搜狗科技发展有限公司 一种翻译方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932807A (zh) * 2005-09-15 2007-03-21 株式会社东芝 用于翻译语音和进行翻译结果的语音合成的装置和方法
CN104412606A (zh) * 2012-06-29 2015-03-11 卡西欧计算机株式会社 内容重放控制装置、内容重放控制方法和程序
CN104360733A (zh) * 2014-10-27 2015-02-18 西北工业大学 基于眼控操作的翻译辅助方法
CN106649290A (zh) * 2016-12-21 2017-05-10 上海木爷机器人技术有限公司 语音翻译方法及系统
CN107484034A (zh) * 2017-07-18 2017-12-15 深圳Tcl新技术有限公司 字幕显示方法、终端及计算机可读存储介质
CN107943796A (zh) * 2017-11-17 2018-04-20 珠海市魅族科技有限公司 一种翻译方法和装置、终端、可读存储介质
CN108597008A (zh) * 2017-12-13 2018-09-28 西安电子科技大学 基于自然文本的人机智能交互控制平台
CN108415905A (zh) * 2018-03-06 2018-08-17 喻海联 实时翻译方法、智能眼镜及计算机可读存储介质

Also Published As

Publication number Publication date
CN109977866A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
US10347254B2 (en) Leveraging head mounted displays to enable person-to-person interactions
EP3396665B1 (en) Voice data processing method and electronic device supporting the same
US11463611B2 (en) Interactive application adapted for use by multiple users via a distributed computer-based system
US20220254158A1 (en) Learning situation analysis method, electronic device, and storage medium
US20140129207A1 (en) Augmented Reality Language Translation
US20090094036A1 (en) System and method of handling problematic input during context-sensitive help for multi-modal dialog systems
CN109522564B (zh) 语音翻译方法和装置
EP1466238A2 (en) Method and apparatus for a gesture-based user interface
US9324134B2 (en) Display apparatus and control method thereof
JPH10301675A (ja) マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法
CN109102824B (zh) 基于人机交互的语音纠错方法和装置
JP2020003925A (ja) 対話システムの制御方法、対話システム及びプログラム
US20220406311A1 (en) Audio information processing method, apparatus, electronic device and storage medium
WO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
CN105324734A (zh) 使用眼睛注视检测加标签
KR102552857B1 (ko) 언어 교육을 위한 영상의 자막 처리 방법 및 장치
JP2016181018A (ja) 情報処理システムおよび情報処理方法
US20170068512A1 (en) Electronic apparatus and information processing method thereof
CN110286771A (zh) 交互方法、装置、智能机器人、电子设备及存储介质
CN109977866B (zh) 内容翻译方法及装置、计算机系统及计算机可读存储介质
JP2020025221A (ja) コミュニケーション支援装置、コミュニケーション支援システム及び通信方法
KR20240077627A (ko) 비언어적 요소 기반 확장현실을 위한 사용자 감정 상호 작용 방법 및 시스템
US20210193133A1 (en) Information processing device, information processing method, and program
CN110428267B (zh) 内容处理方法及装置、计算机系统以及可读存储介质
US11935449B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant