CN104426913A - 使用可编辑视觉对象的通信设备和方法 - Google Patents

使用可编辑视觉对象的通信设备和方法 Download PDF

Info

Publication number
CN104426913A
CN104426913A CN201410648859.3A CN201410648859A CN104426913A CN 104426913 A CN104426913 A CN 104426913A CN 201410648859 A CN201410648859 A CN 201410648859A CN 104426913 A CN104426913 A CN 104426913A
Authority
CN
China
Prior art keywords
visual object
user
intention
text
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410648859.3A
Other languages
English (en)
Inventor
朱相显
郑在淑
李智元
张时奂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR20140000328A external-priority patent/KR20150026726A/ko
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN104426913A publication Critical patent/CN104426913A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/454Multi-language systems; Localisation; Internationalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种通信设备和方法。该通信设备包括意愿输入单元、视觉对象处理单元以及消息管理单元。该意愿输入单元通过界面接收用户的意愿。该视觉对象处理单元向该界面输出与用户意愿相关的推荐视觉对象,并且当用户通过该界面编辑推荐的视觉对象时,生成编辑的视觉对象的元数据。该消息管理单元向对方终端发送包括生成的视觉对象的元数据的消息。

Description

使用可编辑视觉对象的通信设备和方法
相关申请的交叉引用
本申请要求分别于2013年9月3日、和2014年1月2日提交的编号为10-2013-0105330和10-2014-0000328的韩国专利申请的权益,由此通过引用将其全部合并于本申请中。
技术领域
本发明一般地涉及使用可编辑视觉对象的通信设备和方法,并更具体地,涉及使得用户能够根据他们的意愿自由编辑并使用视觉对象的数字通信技术。
背景技术
通常,使用视觉对象的在线通信以这样的方式实行,即用户从预定视觉对象(例如表情和动画表情(flashcons))池中选择视觉对象,并将选择的视觉对象发送给对方。这种使用视觉对象的通信起到了打破文本通信的限制的作用,并从而在具有不同语言或文化的人们之间实现交流。
韩国专利申请公开第10-2013-0049415号公开了一种用于提供使用动态表情的即时消息传送服务、以及用于执行该方法的移动终端。然而,传统通信技术(例如所公开的方法)在用户所期望的精确意愿的传递方面受到限制,因为只能选择由开发者确定的视觉对象,并且由于视觉对象池的增长导致管理对应数据存在困难。进一步地,在使用视觉对象的传统通信平台中,各种编辑功能(例如视觉对象的调整大小、旋转和反转)都不能使用,并且必须仅使用先前存储的视觉对象。特别地,还有一个缺点,即当视觉对象的数量很大时,搜索期望的视觉对象需要过长的时间。此外,推荐用户喜欢的视觉对象的传统技术受限于只提供用户所选的视觉对象的使用频率或历史。
发明内容
相应地,紧记发生于传统技术中的上述问题而做出本发明,并且本发明的目标是提供一种装置和方法,其能够通过识别用户的视觉对象使用图案、文本、声音和图像来推荐适合情况的视觉对象,并且使得用户能够根据他们的意愿自由编辑视觉对象并使用编辑的视觉对象进行通信。
根据本发明的一个方面,提供了一种通信设备,其包括被配置为通过界面接收用户的意愿的意愿输入单元;被配置为向该界面输出与用户意愿相关的推荐视觉对象、并且当用户通过该界面编辑推荐的视觉对象时生成编辑的视觉对象的元数据的视觉对象处理单元;以及被配置为向对方终端发送包括生成的视觉对象的元数据的消息的消息管理单元。
该意愿输入单元可以通过该界面以文本、语音、触摸和图像形式中的至少一种接收用户的意愿。
该视觉对象处理单元可以包括被配置为分析接收的用户意愿的意愿分析单元;以及被配置为基于对用户意愿的分析结果在视觉对象数据库中搜索推荐的视觉对象、并向该界面输出推荐的视觉对象的视觉对象推荐单元。
该意愿分析单元可以包括被配置为当以语音形式接收用户意愿时将语音转换为文本的文本转换单元;以及被配置为当以文本形式接收用户意愿时或当语音被文本转换单元转换为文本时,通过分析文本来提取关键字的关键字提取单元。
该意愿分析单元可以进一步包括被配置为当提取的关键字不对应于预定语言时、将提取的关键字转换为预定语言的多语言转换单元。
该意愿分析单元可以包括被配置为当以图像形式接收用户意愿时、通过识别接收的图像、来提取关于推荐的视觉对象的信息的图像识别单元。
该通信设备可以进一步包括被配置为向用户的终端输出界面、并且当用户在该界面上执行编辑操作时、响应于该编辑操作向该界面输出对正在编辑的推荐视觉对象的处理的界面单元。
该通信设备可以进一步包括被配置为当生成视觉对象的元数据时、在视觉对象数据库中存储元数据的数据库管理单元。
该数据库管理单元可以在视觉对象数据库中生成了变化时向通信服务器发送同步信息,可以从该通信服务器接收可编辑视觉对象的同步信息,并且可以将接收的同步信息合并到视觉对象数据库中。
根据本发明的另一个方面,提供了一种通信方法,其包括通过界面接收用户的意愿;向该界面输出与用户意愿相关的推荐视觉对象;当用户通过该界面编辑推荐的视觉对象时,生成编辑的视觉对象的元数据;以及向对方终端发送包括生成的视觉对象的元数据的消息。
该通信方法可以进一步包括当接收到用户意愿时分析接收的用户意愿;以及基于对用户意愿的分析结果在视觉对象数据库中搜索推荐的视觉对象。
分析接收的用户意愿可以包括确定接收的用户意愿的类型;如果作为确定的结果,确定接收的用户意愿的类型是语音时,将语音转换为文本;以及如果作为确定的结果,确定接收的用户意愿的类型是文本时或将语音转换为文本时该语音被转换为文本,通过分析文本提取关键字。
当提取的关键字不对应于预定语言时,分析接收的用户意愿可以包括将提取的关键字转换为预定语言。
分析接收的用户意愿可以包括如果作为确定的结果、确定接收的用户意愿的类型为图像时、通过识别接收的图像来提取关于推荐的视觉对象的信息。
该通信方法可以进一步包括向用户的终端输出界面;以及当用户在该界面上执行编辑操作时、响应于该编辑操作向该界面输出对正在编辑的推荐视觉对象的处理。
该通信方法可以进一步包括当生成视觉对象的元数据时在视觉对象数据库中存储元数据。
该通信方法可以进一步包括在视觉对象数据库中生成了变化时向通信服务器发送同步信息;从该通信服务器接收可编辑视觉对象的同步信息;以及将接收的同步信息合并到视觉对象数据库中。
附图说明
通过结合附图进行的后续详细描述,本发明的以上以及其他的目的、特征和优点将被更清楚地理解,其中:
图1图示了根据本发明的实施方式的通信系统的配置;
图2是根据本发明的实施方式的通信设备的方框图;
图3是图2的通信设备的视觉对象处理单元的详细方框图;
图4是图3的视觉对象处理单元的意愿分析单元的详细方框图;
图5是图2的通信设备的数据库管理单元的详细方框图;
图6是图2的通信设备的消息管理单元的详细方框图;
图7是根据本发明的实施方式的通信服务器的方框图;
图8是图示了根据本发明的实施方式的通信方法的流程图;以及
图9是图示了图8的通信方法的意愿分析步骤的详细流程图。
具体实施方式
现在应参考附图,在附图中相同附图标记始终被用于指定相同或相似的组件。
接下来参考附图来详细描述使用可编辑视觉对象的数字通信设备和方法的实施方式。
图1图示了根据本发明的实施方式的通信系统的配置。
参考图1,通信系统1可以包括多个用户终端110和120、以及通信服务器130。
如图1所示,用户终端110和120可以经由通信服务器130发送和接收各种类型的消息。用户终端110和120可以是移动终端,例如智能电话或智能平板,或者可以是终端,例如膝上型电脑或桌面个人电脑(PC)。
进一步地,被配置为使得用户能够彼此进行可视通信的通信设备可被安装在第一终端110和第二终端120上。在这种情况下,根据本发明的这一实施方式的通信设备可以被安装在第一终端110和第二终端120的仅一个上。
在后续说明中,为了便于说明,假设通信设备被安装在第一终端110上,并且描述该第一终端110。相反,如果通信设备被安装在第二终端120上,则第二终端120也可以执行后续要详细描述的功能。
第一终端110可以使得用户能够通过该通信设备生成各种可编辑视觉对象,并使用生成的可编辑视觉对象生成消息。第一终端110可以通过通信服务器130来将生成的消息发送到第二终端120。
第一终端110可以接收用户意愿,并可以推荐将由用户编辑的视觉对象。当用户编辑推荐的视觉对象时,第一终端110可以将包括编辑的视觉对象的消息发送到第二终端120。
为了这一目的,第一终端110可以提供界面,从而用户可以容易地输入他或她的意愿,并编辑推荐的视觉对象。进一步地,第一终端110支持用户,从而用户可以通过界面使用各种方法(例如文本、语音和图像)输入他或她的意愿。
例如,第一终端110可以向界面输出文本输入框,可操作为使得用户能够以文本输入他或她的意愿。可替代地,第一终端110可以输出语音输入对象(例如具有麦克风形状的图标),从而用户可以输入他或她的声音。当用户选择语音输入对象时,第一终端110可以通过控制安装在第一终端110上或与外部相联的麦克风来接收来自用户的语音。可替代地,第一终端110可以输出图像输入对象(例如具有照相机形状的图标),从而用户可以输入图像。当用户选择图像输入对象时,第一终端110可以通过控制图像捕获模块来接收用户的面部图像或者来自用户的手势的图像。
进一步地,当接收用户的意愿时,第一终端110可以向用户推荐与该意愿相关的可编辑视觉对象。当用户编辑可编辑视觉对象时,第一终端110可以基于关于该编辑的信息生成新的可编辑视觉对象,可以管理新的可编辑视觉对象,可以生成包括新的可编辑视觉对象、连同要从用户传递到对方的会话内容的消息,并可以将该消息发送到通信服务器130。
进一步地,第一终端110可以实时地与通信服务器120同步地管理用于管理可编辑视觉对象的数据库,从而最新的数据被存储在数据库中。
当从第一终端110接收到要被传送到第二终端120的消息时,通信服务器130向第二终端120发送该消息。
进一步地,通信服务器130可以使得能够实时地与第一终端110同步地使用关于由第一终端110生成的可编辑视觉对象的信息来更新数据库,并可以向正与第一终端110同步的其他终端发送同步信息,从而使用生成的可编辑视觉对象来更新终端。
如上所述,通信服务器130可以在多个用户之间中转消息,可以存储和管理由多个用户生成的可编辑视觉对象,还可以向其他用户的终端发送改变后的信息,从而最新的可编辑视觉对象被每个终端的数据库所管理。
图2是根据本发明的实施方式的通信设备的方框图。
图2图示了通信设备200的实施方式,该通信设备200可以安装在图1的用户终端110和120上。通信设备200参考图2进行更详细的描述。
如图2所示,通信设备200可以包括界面单元210、意愿输入单元220、视觉对象处理单元230、消息管理单元240,以及数据库管理单元250。
界面单元210向用户终端输出界面。该界面可以支持各种功能,通过这些功能用户可以输入他或她的意愿并编辑推荐的可编辑视觉对象。
例如,各种图形对象可以被输出到界面,从而用户通过文本、语音、图像或触摸输入来输入他或她的意愿。也就是说,可以向界面输出文本框从而用户以文本输入他或她的意愿。进一步地,可操作以接收用户请求的语音输入的语音输入对象可以被输出到界面,从而用户通过麦克风输入他或她的语音。进一步地,可操作以接收用户请求的图像输入的图像输入对象可以被输出到界面,从而用户可以通过图像捕获模块(例如照相机)输入图像。
进一步地,该界面可以包括编辑区域,其中输出响应于用户意愿而推荐的可编辑视觉对象。用户可以使用各种预定方法在编辑区域中编辑可编辑视觉对象。
在这种情况下,当用户在编辑区域中编辑推荐的可编辑视觉对象时,界面单元210可以输出对正在编辑的推荐可编辑视觉对象的处理。也就是说,只要用户修改关于可编辑视觉对象的信息,界面单元210就可以通过实时输出对应于修改后的信息的可编辑视觉对象,而示出对正被修改的可编辑视觉对象的处理。
当用户使用上述各种方法通过界面输入他或她的意愿时,意愿输入单元220可以接收用户的意愿,从而视觉对象处理单元230和消息管理单元240可以执行后续过程。
当意愿输入单元220接收到用户意愿时,视觉对象处理单元230可以输出与用户意愿相关的推荐视觉对象到该界面。进一步地,当用户编辑输出到界面的推荐视觉对象时,视觉对象处理单元230可以基于关于该编辑的信息来生成经编辑的视觉对象。在这种情况下,视觉对象处理单元230可以通过生成经编辑的视觉对象的元数据,而生成经编辑的视觉对象。
消息管理单元240可以生成包括要从用户传送到对方的会话内容、和生成的经编辑的视觉对象的元数据的消息,并可以将生成的消息发送到对方的终端。在这种情况下,消息管理单元240可以通过向通信服务器发送消息,来请求通信服务器将生成的消息发送到对方终端。
当用户生成了新的可编辑视觉对象时,数据库管理单元250可以将新的可编辑视觉对象存储在视觉对象数据库中,并可以与通信服务器实时同步地将视觉对象数据库维持为最新状态中。
图3是图2的通信设备的视觉对象处理单元的详细方框图。图4是图3的视觉对象处理单元的意愿分析单元的详细方框图。
参考图3和4对根据本发明的实施方式的视觉对象处理单元300进行更详细的描述。
如图3所示,视觉对象处理单元300可以包括意愿分析单元310、视觉对象推荐单元320、以及视觉对象编辑单元330。
当接收用户意愿时,意愿分析单元310分析用户的意愿。
参考图4对意愿分析单元310进行更详细的描述。意愿分析单元310可以包括关键字提取单元311、文本转换单元312、多语言转换单元313、以及图像识别单元314。
当以文本形式接收用户的意愿时,关键字提取单元311可以提取关键字,该关键字可操作为在文本中搜索推荐的视觉对象。
在这种情况下,尽管文本可以由用户以关键字形式输入,例如“眼睛”、“眼泪”或“眨眼”,也有可能以自然语言形式进行输入,例如“流下眼泪并眨眼的眼睛”。
关键字提取单元311可以确定文本是以关键字形式还是自然语言形式输入的。如果作为确定的结果、确定用户意愿是以关键字形式输入的,则关键字提取单元311可以使用输入的关键字作为可操作为搜索推荐视觉对象的关键字。如果作为确定结果、确定用户意愿是以自然语言形式输入的,则关键字提取单元311可以使用各种已知的分析技术来提取关键字,例如“眼泪”、“眨眼”或“眼睛”。
进一步地,当用户意愿是以语音形式输入时,文本转换单元312将语音转换为文本。在这种情况下,所有已知的技术都可以应用到将语音转换为文本的技术。
当用户语音如上所述被转换为文本时,关键字提取单元311可以从转换的文本中提取关键字。
如果提取的关键字不是预定语言(如韩语),则多语言转换单元313可以将提取的关键字转换为预定语言的关键字。在这种情况下,多语言转换单元313可以管理各种语言间的关键字转换模块,并可使用对应的转换模块将提取的关键字转换为预定语言的关键字。
如上所述,根据本发明的这一实施方式,用户可以与其他用户进行与他或她的语言无关的可视通信。
当接收到面部或手势的图像时,图像识别单元314可以使用各种面部识别或手势识别技术来提取关于预定视觉对象的信息。在这种情况下,图像识别单元314可以基于面部的嘴部形状、面部表情或手势,来提取预定关键字或推荐的视觉对象的ID作为关于视觉对象的信息。在这种情况下,可以使用各种已知的技术作为面部识别或手势识别技术,并且省略其详细描述。
返回参考图3,当意愿分析单元310分析用户意愿并提取信息(例如关键字或推荐的视觉对象的ID)时,视觉对象推荐单元320可以基于该信息在视觉对象数据库中搜索要推荐给用户的视觉对象,并可以将检索到的视觉对象提供给用户。
当用户编辑推荐的视觉对象时,视觉对象编辑单元330可以基于关于该编辑的信息生成编辑后的视觉对象的元数据。在这种情况下,只要用户修改关于推荐的视觉对象的信息,视觉对象编辑单元330就可以实时生成对应于修改后信息的视觉对象。
图5是图2的通信设备的数据库管理单元的详细方框图。
参考图5对根据本发明的实施方式的数据库管理单元500进行更详细的描述。
如图5所示,数据库管理单元500可以包括视觉对象存储单元510、视觉对象数据库520、同步单元530、以及同步信息传送/接收单元540。
当用户编辑推荐的视觉对象并且因此生成新视觉对象的元数据时,视觉对象存储单元510将该视觉对象的元数据存储在视觉对象数据库520中。
除了由用户生成的视觉对象外,视觉对象数据库520可以通过与通信服务器的同步而存储由其他用户或开发人员生成的各种可编辑视觉对象。
同步单元530可以通过实时向通信服务器发送同步信号并从通信服务器接收同步信号,而在视觉对象数据库520中维持最新信息。
例如,当视觉对象存储单元510在视觉对象数据库520中存储新视觉对象,同步单元530可以通过在视觉对象数据库520中检查变化的内容生成同步信息,从而同步信息传送/接收单元540向通信服务器发送所生成的同步信息。
进一步地,当同步信息传送/接收单元540从通信服务器接收到同步信息,同步单元530将接收的同步信息合并到视觉对象数据库520中。也就是说,当其他用户向通信服务器发送新视觉对象时,通信服务器可以检查变化的内容,并发送包括新登记的视觉对象的元数据的同步信息。同步信息传送/接收单元540可以接收该同步信息,从而同步单元530可以将接收的同步信息更新到视觉对象数据库520中。
图6是图2的通信设备的消息管理单元的详细方框图。
参考图6对根据本发明的实施方式的消息管理单元600进行更详细的描述。如图6所示,消息管理单元600可以包括消息生成单元610、消息传送/接收单元620、对话数据库630、以及消息输出单元640。
当用户通过编辑推荐的视觉对象生成要传送的视觉对象,消息生成单元610生成包括生成的视觉对象的消息。在这种情况下,除了要从用户传送到对方的视觉对象之外,该消息可以进一步包括文本、语音或图像形式的会话内容。如上所述,用户可以使用由界面提供的各种功能,来输入要传送给对方的会话内容连同用户的意愿。
消息生成单元610可以在对话数据库630中存储如上所述生成的消息,并可以管理会话内容。进一步地,消息生成单元610可以响应于来自用户的请求在参考对话数据库630的同时向用户推荐先前生成的会话内容,从而用户可以重新使用类似的会话内容。
当消息生成单元610生成消息时,消息传送/接收单元620可以将该消息发送到通信服务器。如上所述被传送到通信服务器的该消息可以被传送到对方终端并输出。
进一步地,消息传送/接收单元630可以从通信服务器接收对方终端的消息。
当从通信服务器接收到对方终端的消息时,消息输出单元640可以将该消息输出到界面,从而该消息被提供给用户。消息输出单元640可以在对话数据库630中存储接收的消息,从而对话数据库630可以管理对话的历史。
图7是根据本发明的实施方式的通信服务器的方框图。
参考图7,通信服务器700可以包括消息中转单元710、同步信息传送/接收单元720、同步单元730、用户对象数据库740、DB分析单元750、以及一般对象数据库760。
当从任意终端接收到消息时,消息中转单元710可以向对方终端发送接收的消息。
同步信息传送/接收单元720可以从终端的通信设备接收同步信息,可以将同步信息发送到同步单元730,还可以与终端的通信设备同步地将同步单元730生成的同步信息发送到终端的通信设备。
当同步信息传送/接收单元720从终端接收到同步信息时,同步单元730使用关于终端的用户的视觉对象的信息来更新用户对象数据库740。在这种情况下,用户对象数据库740存储并管理使用通信服务器700交换消息的用户的视觉对象。
进一步地,当更新关于终端用户的视觉对象的信息时,同步单元730可以确定是否需要更新关于其他终端用户的视觉对象的信息,并可以生成要传送到需要更新视觉对象的终端的同步信息,从而同步信息传送/接收单元720可以将生成的同步信息发送到需要更新其视觉对象的终端。
DB分析单元750可以分析其中基于每个用户管理视觉对象的用户对象数据库740,还可以确定当存储新视觉对象时,所述新视觉对象是否是需要作为基本模板进行管理的视觉对象。如果作为确定的结果、确定该新视觉对象是需要作为基本模板进行管理的视觉对象,则DB分析单元750可以在一般对象数据库760中存储该新视觉对象。
在这种情况下,除了由开发人员先前生成的可编辑视觉对象的模板之外,一般对象数据库760可以存储由用户生成的、并被DB分析单元750作为基本模板添加的视觉对象。
如上所述用于管理各种视觉对象的模板的一般对象数据库760可被用于向未来将使用通信服务的新用户提供视觉对象,或者用于各种其他服务。
图8是图示了根据本发明的实施方式的通信方法的流程图。图9是图示图8的通信方法的意愿分析处理的详细流程图。
图8和9可以图示由图2的通信设备200执行的通信方法的实施方式。尽管之前已经详细描述了由通信设备200执行的该通信方法的实施方式,但是仍简单描述这些实施方式。
参考图8,在步骤810通信设备200向用户的终端输出界面。在这种情况下,该界面可以提供支持从而用户意愿可以使用各种方法(例如文本、语音或图像)接收,并可以提供支持从而用户可以容易地编辑推荐的可编辑视觉对象。
在步骤820,通过该界面从用户接收用户意愿。在这种情况下,用户意愿可以以文本、语音或图像形式接收。
在步骤830,通信设备200可以通过分析接收的用户意愿从用户意愿中提取关于关键字或推荐的视觉对象的信息。
参考图9来更详细地描述分析用户意愿的步骤830。首先,在步骤831通信设备200可以确定接收的用户意愿的类型。
如果作为步骤831处的确定的结果、确定接收的用户意愿的类型为文本,则通信设备200可以在步骤832从该文本提取关键字。在这种情况下,如果用户已经以关键字形式输入文本,则可以没有改变地使用输入的关键字。如果用户已经以自然语言形式输入文本,则可以使用各种分析技术来提取关键字。
在步骤833,通信设备200可以确定提取的关键字是否对应于预定的语言(例如韩语)。
如果作为步骤833处的确定的结果、确定提取的关键字不对应于预定语言,则在步骤834,通信设备200可以将提取的关键字转换为预定语言。
如果作为步骤831处的确定的结果、确定接收的用户意愿的类型为语音,则在步骤835,通信设备200可以将语音转换为文本。
此后,执行从转换的文本中提取关键字的步骤832到将提取的关键字转换为预定语言的步骤834。
如果作为步骤831处的确定的结果、确定接收的用户意愿的类型为图像,则通信设备200在步骤836识别图像。在这种情况下,如果接收的图像是面部图像,则通信设备200可以使用各种已知面部识别技术来进行面部识别。如果接收的图像是手势的图像,则通信设备200可以使用各种已知的姿势识别技术来进行姿势识别。
在步骤837,基于识别的结果,通信设备200可以提取关于推荐的视觉对象的信息,例如推荐的视觉对象的ID和关键字。
返回参考图8,当在步骤830通过分析用户意愿而提取关于关键字或推荐的视觉对象的信息时,通信设备200可以在步骤840在视觉对象数据库520中搜索推荐的视觉对象,并可以在步骤850将检索到的推荐视觉对象输出到界面。
当用户在步骤860在界面中编辑推荐的视觉对象时,通信设备200可以在步骤870基于关于用户的编辑的信息,来生成编辑的视觉对象的元数据。
当生成编辑的视觉对象的元数据时,在步骤880,通信设备200可以在视觉对象数据库520中存储编辑的视觉对象的元数据,并管理视觉对象数据库520。
在这种情况下,在管理视觉对象数据库520的步骤880,当存储在视觉对象数据库中的信息发生改变时,通信设备200可以生成同步信息,并可将该同步信息发送到通信服务器。当从通信服务器接收到同步信息时,通信设备200可以将接收的同步信息合并到视觉对象数据库520中。
在步骤890,通信设备200可以生成包括视觉对象的元数据的消息,并经由通信服务器将该消息发送到对方终端。在这种情况下,除视觉对象的元数据之外,该消息可以进一步包括要由用户传送的会话内容。
如上所述,根据本发明,通过识别用户的视觉对象使用图案、文本、语音和图像,而向用户推荐适合于各种情况的视觉对象。相应地,即使是使用不同语言的人们也可以平滑地彼此通信,因为用户能够根据他们的意愿编辑视觉对象,并使用编辑的视觉对象用于通信。
尽管为了解释的目的已公开了本发明的优选实施方式,但是本领域技术人员将会理解,各种修改、添加和替换都是可能的,而不脱离在所附权利要求中公开的本发明的范围和精神。

Claims (17)

1.一种通信设备,包括:
意愿输入单元,被配置为通过界面接收用户的意愿;
视觉对象处理单元,被配置为向该界面输出与用户的意愿相关的推荐视觉对象,并且当用户通过该界面编辑推荐的视觉对象时,生成编辑的视觉对象的元数据;以及
消息管理单元,被配置为向对方终端发送包括生成的视觉对象的元数据的消息。
2.根据权利要求1的通信设备,其中该意愿输入单元通过该界面以文本、语音、触摸和图像形式中的至少一种来接收用户的意愿。
3.根据权利要求1的通信设备,其中该视觉对象处理单元包括:
意愿分析单元,被配置为分析接收的用户意愿;以及
视觉对象推荐单元,被配置为基于对用户意愿的分析结果而在视觉对象数据库中搜索推荐的视觉对象,并向该界面输出推荐的视觉对象。
4.根据权利要求3的通信设备,其中该意愿分析单元包括:
文本转换单元,被配置为当以语音形式接收用户意愿时,将语音转换为文本;以及
关键字提取单元,被配置为当以文本形式接收用户意愿时、或当通过文本转换单元将语音转换为文本时,通过分析文本来提取关键字。
5.根据权利要求4的通信设备,其中该意愿分析单元进一步包括多语言转换单元,被配置为当提取的关键字不对应于预定语言时,将提取的关键字转换为预定语言。
6.根据权利要求3的通信设备,其中该意愿分析单元包括图像识别单元,被配置为当以图像形式接收用户意愿时,通过识别接收的图像来提取关于推荐的视觉对象的信息。
7.根据权利要求1的通信设备,进一步包括界面单元,被配置为向用户的终端输出界面,并且当用户在该界面上执行编辑操作时,响应于该编辑操作,向该界面输出对正在编辑的推荐视觉对象的处理。
8.根据权利要求1的通信设备,进一步包括数据库管理单元,被配置为当生成视觉对象的元数据时,在视觉对象数据库中存储该元数据。
9.根据权利要求8的通信设备,其中该数据库管理单元在视觉对象数据库中发生了变化时、向通信服务器发送同步信息,从该通信服务器接收可编辑视觉对象的同步信息,并且将接收的同步信息合并到视觉对象数据库中。
10.一种通信方法,其包括:
通过界面接收用户的意愿;
向该界面输出与用户意愿相关的推荐视觉对象;
当用户通过该界面编辑推荐的视觉对象时,生成编辑的视觉对象的元数据;以及
向对方终端发送包括生成的视觉对象的元数据的消息。
11.根据权利要求10的通信方法,进一步包括:
当接收到用户意愿时,分析接收的用户意愿;以及
基于对用户意愿的分析结果,在视觉对象数据库中搜索推荐的视觉对象。
12.根据权利要求11的通信方法,其中分析接收的用户意愿包括:
确定接收的用户意愿的类型;
如果作为确定的结果、确定接收的用户意愿的类型是语音,则将语音转换为文本;以及
如果作为确定的结果、确定接收的用户意愿的类型是文本、或将语音转换为文本时该语音被转换为文本,则通过分析文本来提取关键字。
13.根据权利要求12的通信方法,其中分析接收的用户意愿包括:当提取的关键字不对应于预定语言时,将提取的关键字转换为预定语言。
14.根据权利要求12的通信方法,其中分析接收的用户意愿包括:如果作为确定的结果、确定接收的用户意愿的类型为图像,则通过识别接收的图像来提取关于推荐的视觉对象的信息。
15.根据权利要求10的通信方法,进一步包括:
向用户的终端输出界面;以及
当用户在该界面上执行编辑操作时,响应于该编辑操作,向该界面输出对正在编辑的推荐视觉对象的处理。
16.根据权利要求10的通信方法,进一步包括:当生成视觉对象的元数据时,在视觉对象数据库中存储元数据。
17.根据权利要求16的通信方法,进一步包括:
当在视觉对象数据库中生成变化时,向通信服务器传送同步信息;
从该通信服务器接收可编辑视觉对象的同步信息;以及
将接收的同步信息合并到视觉对象数据库中。
CN201410648859.3A 2013-09-03 2014-08-29 使用可编辑视觉对象的通信设备和方法 Pending CN104426913A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2013-0105330 2013-09-03
KR20130105330 2013-09-03
KR20140000328A KR20150026726A (ko) 2013-09-03 2014-01-02 편집형 영상 객체를 이용한 커뮤니케이션 장치 및 그 방법
KR10-2014-0000328 2014-01-02

Publications (1)

Publication Number Publication Date
CN104426913A true CN104426913A (zh) 2015-03-18

Family

ID=52585090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410648859.3A Pending CN104426913A (zh) 2013-09-03 2014-08-29 使用可编辑视觉对象的通信设备和方法

Country Status (2)

Country Link
US (1) US20150067558A1 (zh)
CN (1) CN104426913A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963839B1 (en) * 2000-11-03 2005-11-08 At&T Corp. System and method of controlling sound in a multi-media communication application
US7752270B2 (en) * 2004-01-21 2010-07-06 At&T Mobility Ii Llc Linking sounds and emoticons
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
KR20140042427A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 애니메이션 이모티콘을 생성하는 장치 및 그 방법

Also Published As

Publication number Publication date
US20150067558A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
KR101909807B1 (ko) 메시지 입력 방법 및 장치
CN105654950B (zh) 自适应语音反馈方法和装置
JP7104683B2 (ja) 情報を生成する方法および装置
US11024286B2 (en) Spoken dialog system, spoken dialog device, user terminal, and spoken dialog method, retrieving past dialog for new participant
US20100100371A1 (en) Method, System, and Apparatus for Message Generation
CN111639503B (zh) 会议数据处理方法、装置、存储介质及设备
KR20060077988A (ko) 멀티미디어 통신 시스템에서 컨텍스트 추출 및 이를 통한정보 제공 시스템 및 방법
CN105632498A (zh) 生成会议记录的方法、装置和系统
EP4235486A1 (en) Electronic document editing method and apparatus, and device and storage medium
EP2747464A1 (en) Sent message playing method, system and related device
CN102984050A (zh) 即时通信中语音搜索的方法、客户端及系统
CN104144108A (zh) 一种消息响应方法、装置及系统
CN107077510A (zh) 一种信息输出方法及装置
CN115840841A (zh) 多模态对话方法、装置、设备及存储介质
KR20220130863A (ko) 음성-텍스트 변환 영상 리소스 매칭 기반 멀티미디어 변환 콘텐츠 제작 서비스 제공 장치
CN116737883A (zh) 人机交互方法、装置、设备及存储介质
CN117389890A (zh) 测试用例的生成方法、装置、电子设备和存储介质
US20140129228A1 (en) Method, System, and Relevant Devices for Playing Sent Message
KR101351264B1 (ko) 음성인식 기반의 메시징 통역서비스 제공 시스템 및 그 방법
CN110020443B (zh) 翻译数据的处理方法、装置、设备及计算机可读存储介质
CN116415597A (zh) 语音翻译、同声传译方法
CN112309387A (zh) 用于处理信息的方法和装置
KR20150026726A (ko) 편집형 영상 객체를 이용한 커뮤니케이션 장치 및 그 방법
CN116955784A (zh) 内容显示方法、装置、设备、介质和程序产品
CN104426913A (zh) 使用可编辑视觉对象的通信设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150318