CN113191929A - 基于内容的对话方法、计算机可读记录介质及计算机装置 - Google Patents

基于内容的对话方法、计算机可读记录介质及计算机装置 Download PDF

Info

Publication number
CN113191929A
CN113191929A CN202110081199.5A CN202110081199A CN113191929A CN 113191929 A CN113191929 A CN 113191929A CN 202110081199 A CN202110081199 A CN 202110081199A CN 113191929 A CN113191929 A CN 113191929A
Authority
CN
China
Prior art keywords
content
reaction
posture
human body
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110081199.5A
Other languages
English (en)
Inventor
吴肇中
郑宇婷
蔡景祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiwanwai Co ltd
Original Assignee
Line Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Corp filed Critical Line Corp
Publication of CN113191929A publication Critical patent/CN113191929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Operations Research (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了基于内容的对话方法、计算机可读记录介质及计算机装置。本发明一实施例的基于内容的对话方法可包括：接收步骤，接收源内容；人体姿势确定步骤，确定所输入的上述源内容所包含的人体姿势；反应姿势确定步骤，确定与所确定的上述人体姿势对应的反应姿势；反应内容确定步骤，确定包含所确定的上述反应姿势的反应内容；以及提供步骤，作为对于上述源内容的响应，提供所确定的上述反应内容。

Description

基于内容的对话方法、计算机可读记录介质及计算机装置
技术领域
以下说明涉及以基于人体姿势的内容为基础的对话方法及系统。
背景技术
即时通讯(instant messaging)为可以在网络上收发简单消息或文件的软件的统称。通常，通过上述即时通讯收发的即时消息包括文本。另一方面，即时消息也可包括图像、声音、视频和/或映射有动画的表情包(或表情符号)。例如，在韩国授权专利第10-1434227号中公开了用于表情符号聊天的移动终端及利用其的手机聊天方法。有时，即时通讯的用户在聊天时会使用表情包，而并非进行打字，根据情况，相比于使用由文本组成的多个单词或句子，映射在表情包中的图像、声音和/或动画将可更好地表达用户的感受或感情。在此情况下，表情包可利用即时通讯扩展成由能够以即时消息的形式收发的图像、声音、视频和/或动画形成的内容。
另一方面，聊天机器(chatbot)或聊天机器人(chatterbot)作为一种计算机程序，可通过以语音或文字与人进行对话来执行特定作业。聊天机器人也可称为对话机器人(talkbot)、聊天盒(chatterbox)或者简称为机器人(bot)。可利用上述聊天机器人来实现人与机器人之间的对话。在此情况下，当人向聊天机器人传输包含如上述说明的表情包的内容的即时消息时，具有如下问题，即，聊天机器人难以应对包含相应即时消息的内容。
发明内容
本发明的目的在于，提供如下的以基于人体姿势的内容为基础的对话方法及系统，即，可根据内容中所包含的人体姿势来对内容进行索引，从而，可根据所输入的内容所包含的人体姿势提供包括对应姿势的反应内容。
本发明提供的基于内容的对话方法，其为包括至少一个处理器的计算机装置的基于内容的对话方法，上述基于内容的对话方法包括：接收步骤，通过上述至少一个处理器，接收源内容；人体姿势确定步骤，通过上述至少一个处理器，确定所输入的上述源内容所包含的人体姿势；反应姿势确定步骤，通过上述至少一个处理器，确定与所确定的上述人体姿势对应的反应姿势；反应内容确定步骤，通过上述至少一个处理器，确定包含所确定的上述反应姿势的反应内容；以及提供步骤，通过上述至少一个处理器，提供所确定的上述反应内容作为对于上述源内容的响应。
根据一实施方式，本发明的特征在于，在接收上述源内容的步骤中，通过在即时通讯服务中在用户账户与聊天机器人的人工智能账户之间建立的会话，通过上述聊天机器人接收由上述用户向上述聊天机器人传输的内容作为上述源内容，在提供所确定的上述反应内容的步骤中，向上述聊天机器人传输上述反应内容，以能够通过上述聊天机器人向上述用户提供上述反应内容作为对于上述源内容的响应。
根据再一实施方式，上述基于内容的对话方法还可包括：识别步骤，通过上述至少一个处理器，识别多个内容中的每一个所包含的人体；转换步骤，通过上述至少一个处理器，将所识别的上述人体的姿势转换成高维向量；计算步骤，通过上述至少一个处理器，计算对于多个上述内容的多个高维向量之间的相似度；以及索引步骤，通过上述至少一个处理器，以所计算的上述相似度为基础对多个上述内容进行索引。
根据另一实施方式，本发明的特征在于，在确定上述人体姿势的步骤中，可通过对于在上述源内容中识别的人体的姿势的高维向量与所转换的上述高维向量之间的相似度对上述源内容进行索引，来确定上述人体姿势。
根据还有一实施方式，本发明的特征在于，在确定上述反应内容的步骤中，可在经过索引的多个上述内容中，将包含所确定的上述反应姿势的任意内容确定为上述反应内容。
根据又一实施方式，本发明的特征在于，在确定上述人体姿势的步骤中，可通过根据人体的姿势对多个内容进行索引的索引服务器确定上述源内容所包含的人体姿势，上述索引服务器识别多个内容中的每一个所包含的人体，将所识别的上述人体的姿势转换成高维向量，计算对于多个上述内容的多个高维向量之间的相似度，以所计算的上述相似度为基础对上述内容进行索引。
根据又一实施方式，本发明的特征在于，在确定上述反应内容的步骤中，可通过向上述索引服务器传输所确定的上述反应姿势来从上述索引服务器接收包含所确定的上述反应姿势的反应内容，上述索引服务器通过在经过索引的多个上述内容中，将包含所确定的上述反应姿势的任意内容确定为上述反应内容来提供。
根据又一实施方式，本发明的特征在于，上述基于内容的对话方法还可包括反应映射表存储步骤，在上述反应映射表存储步骤中，通过上述至少一个处理器，存储反应映射表，上述反应映射表根据反应方案关联用于源内容的第一姿势和用于反应内容的第二姿势来存储，在确定上述反应姿势的步骤中，通过在上述反应映射表中提取与上述人体姿势对应的第二姿势来确定为上述反应姿势。
根据又一实施方式，本发明的特征在于，上述反应方案可包括：第一反应方案，用于将上述第一姿势和上述第二姿势作为相似的姿势关联；第二反应方案，用于将上述第一姿势和上述第二姿势作为连续姿势关联；以及第三反应方案，用于将上述第一姿势和上述第二姿势作为相反姿势关联。
根据又一实施方式，本发明的特征在于，还可包括如下的学习步骤：通过上述至少一个处理器，将从视频片段中提取的人体姿势用作学习数据来以使学习模型输出与第一姿势对应的第二姿势的方式使上述学习模型进行学习，在确定上述反应姿势的步骤中，将所确定的上述人体姿势作为上述第一姿势向上述学习模型输入来将从上述学习模型输出的上述第二姿势确定为上述反应姿势。
根据又一实施方式，本发明的特征在于，在上述学习的步骤中，可将在连续的时间戳中对同一人体获得的多个姿势作为用于连续姿势的学习数据利用，将在同一画面中对不同的人体获得的多个姿势作为用于相反姿势的学习数据利用来使上述学习模型进行学习。
本发明提供的基于内容的对话方法，其为包括至少一个处理器的计算机装置的基于内容的对话方法，包括：识别步骤，通过上述至少一个处理器，识别多个内容中的每一个所包含的人体；转换步骤，通过上述至少一个处理器，将所识别的上述人体的姿势转换成高维向量；计算步骤，通过上述至少一个处理器，计算对于多个上述内容的多个高维向量之间的相似度；以及索引步骤，通过上述至少一个处理器，基于所计算的上述相似度对多个上述内容进行索引。
根据一实施方式，上述基于内容的对话方法还可包括：接收步骤，通过上述至少一个处理器，接收源内容；确定步骤，通过上述至少一个处理器，通过对于在上述源内容中识别的人体的姿势的高维向量对上述源内容进行索引来确定上述源内容所包含的人体姿势；以及提供步骤，通过上述至少一个处理器，提供所确定的上述人体姿势。
根据再一实施方式，上述基于内容的对话方法还可包括：接收步骤，通过上述至少一个处理器，接收与所提供的上述人体姿势对应来确定的反应姿势；确定步骤，通过上述至少一个处理器，在经过索引的多个上述内容中确定包含所接收的上述反应姿势的反应内容；以及提供步骤，通过上述至少一个处理器，提供上述反应内容。
本发明提供计算机程序，存储于计算机可读记录介质，以与计算机装置相结合来在计算机装置中执行上述方法。
本发明提供计算机可读记录介质，记录有用于在计算机装置中执行上述方法的程序。
本发明提供计算机装置，其特征在于，包括实现为执行计算机可读指令的至少一个处理器，通过上述至少一个处理器，接收源内容，确定所输入的上述源内容所包含的人体姿势，确定与所确定的上述人体姿势对应的反应姿势，确定包含所确定的上述反应姿势的反应内容，提供所确定的上述反应内容作为对于上述源内容的响应。
本发明提供计算机装置，其特征在于，包括实现为执行计算机可读指令的至少一个处理器，通过上述至少一个处理器，识别多个内容中的每一个所包含的人体，将所识别的上述人体的姿势转换成高维向量，计算对于多个上述内容的多个高维向量之间的相似度，以所计算的上述相似度为基础对上述内容进行索引。
本发明具有如下效果，即，根据内容中所包含的人体的姿势对内容进行索引来构建姿势相关内容数据库，由此，可根据所输入的内容所包含的人体的姿势有效且即刻提供包括对应姿势的反应内容。
附图说明
图1为示出本发明一实施例的网络环境的例子的图。
图2为示出本发明一实施例的计算机装置的例子的框图。
图3为示出本发明一实施例的基于内容的对话系统的例子的图。
图4为示出本发明一实施例的基于内容的对话方法的例子的流程图。
图5为示出本发明一实施例的基于内容的对话方法的另一例子的流程图。
图6为示出在本发明一实施例中的根据姿势构建索引的过程的例子的图。
图7为示出在本发明一实施例中的连续姿势的例子的图。
图8为示出在本发明一实施例中的相反姿势的例子的图。
具体实施方式
以下，参照附图，详细说明实施例。
本发明实施例的基于内容的对话系统可通过至少一个计算机装置实现，本发明实施例的基于内容的对话方法可通过基于内容的对话系统中所包括的至少一个计算机装置执行。在此情况下，可在计算机装置中安装及驱动本发明一实施例的计算机程序，计算机装置可根据所驱动的计算机程序的控制来执行本发明实施例的基于内容的对话方法。上述计算机程序可存储于计算机可读记录介质，以与计算机装置相结合来在计算机装置中执行基于内容的对话方法。
图1为示出本发明一实施例的网络环境的例子的图。图1的网络环境示出包括多个电子设备110、120、130、140、多个服务器150、160及网络170的例子。上述图1为用于说明发明的一例，电子设备的数量或服务器的数量并不限定于图1所示。并且，图1的网络环境仅用于说明可适用于本实施例的环境中的一例，可适用于本实施例的环境并不限定于图1的网络环境。
多个电子设备110、120、130、140可以为通过计算机装置实现的固定型终端或移动型终端。作为多个电子设备110、120、130、140的例子，包括智能手机(smart phone)、手机、导航仪、计算机、笔记本电脑、数字广播终端、个人数字助理(Personal DigitalAssistants，PDA)、便携式多媒体播放器(Portable Multimedia Player，PMP)、平板电脑等。作为一例，图1中，作为电子设备110的例子，示出智能手机的形状，但在本发明实施例中，电子设备110实质上可以为能够利用无线或有线通信方式来通过网络170与其他多个电子设备120、130、140和/或服务器150、160进行通信的多种物理计算机装置中的一个。
通信方式不受限，可包括利用网络170可包括的通信网(作为一例，移动通信网、有线互联网、无线互联网、广播网)的通信方式和多个设备之间的近距离无线通信。例如，网络170可包括个人局域网(personal area network，PAN)、局域网(local area network，LAN)、校园网(campus area network，CAN)、城域网(metropolitan area network，MAN)、广域网(wide area network，WAN)、宽带网(broadband network，BBN)、互联网等的网络中的一种以上的任意网络。并且，网络170可包括具有总线网络、星型网络、环形网络、网状网络、星型总线网络、树状网络或分层(hierarchical)网络等的网络拓扑结构中的任意一种以上，但并不限定于此。
各个服务器150、160可以实现为通过网络170与多个电子设备110、120、130、140进行通信来提供指令、代码、文件、内容、服务等的一个或多个计算机装置。例如，服务器150可以为向通过网络170连接的多个电子设备110、120、130、140提供服务(作为一例，即时通讯服务、游戏服务、群通话服务(或语音会议服务)、通讯服务、邮件服务、社交网络服务、地图服务、翻译服务、金融服务、支付服务、查询服务、内容提供服务等)的系统。
图2为示出本发明一实施例的计算机装置的例子的框图。在上述说明的多个电子设备110、120、130、140中的每一个或多个服务器150、160中的每一个可通过图2所示的计算机装置200实现。
如图2所示，上述计算机装置200可包括存储器210、处理器220、通信接口230及输入输出接口240。存储器210作为计算机可读记录介质，可包括随机存取存储器(randomaccess memory，RAM)、如只读存储器(read only memory，ROM)及磁盘驱动器的永久性大容量存储装置(permanent mass storage device)。其中，如只读存储器和磁盘驱动器的永久性大容量存储装置作为与存储器210区分的单独的永久性存储装置，可包含在计算机装置200中。并且，存储器210可存储操作系统和至少一个程序代码。这种多个软件结构要素可从与存储器210不同的计算机可读记录介质向存储器210加载。这种单独的计算机可读记录介质可包括软盘驱动器、磁盘、磁带、DVD/CD-ROM驱动器、存储卡等计算机可读记录介质。在另一实施例中，多个软件结构要素可通过通信接口230向存储器210加载，而不是通过计算机可读记录介质向存储器210加载。例如，多个软件结构要素能够以通过经由网络170接收的多个文件安装的计算机程序为基础向计算机装置200的存储器210加载。
处理器220可配置为执行基本的算术、逻辑及输入输出计算，由此，可以处理计算机程序的指令。指令可通过存储器210或通信接口230向处理器220提供。例如，处理器220可根据存储于如存储器210的存储装置中的程序代码来执行所接收的指令。
通信接口230可提供使计算机装置200通过网络170来与其他装置(例如，上述说明的多个存储装置)进行通信的功能。作为一例，计算机装置200的处理器220根据存储于如存储器210的存储装置中的程序代码生成的请求、指令、数据、文件等可根据通信接口230的控制，通过网络170被传输至其他多个装置。相反，来自其他装置的信号、指令、数据、文件等可经由网络170通过计算机装置200的通信接口230被接收至计算机装置200。通过通信接口230接收的信号、指令、数据等可以向处理器220或存储器210传输，文件等可存储于计算机装置200还可包括的存储介质(上述永久性大容量存储装置)。
输入输出接口240可以为用于与输入输出装置250接合的单元。例如，输入装置可包括麦克风、键盘或鼠标等的装置，输出装置可包括如显示器、扬声器的装置。作为另一例子，输入输出接口240可以为用于与如触摸屏的用于输入和输出的功能被合并在一起的装置接合的单元。输入输出装置250中的至少一个可以与计算机装置200构成为一个装置。例如，可实现为如智能手机的触摸屏、麦克风、扬声器等包括在计算机装置200中的形式。
并且，在其他实施例中，计算机装置200可包括比图2的结构要素更少或更多的结构要素。但是，无需明确示出大部分的现有技术结构要素。例如，计算机装置200可包括上述输入输出装置250中的至少一部分，或者还可包括如收发器(transceiver)、数据库等的其他结构要素。
在本说明书中，“人体”可以是不仅包含人还包含拟人化的实物或动植物等的概念，人体的“姿势”不仅包括人体移动或控制的样子，还可包括人的脸部表情。并且，“内容”可以为包含出现上述人体姿势的图像、视频和/或动画的内容。
图3为示出本发明一实施例的基于内容的对话系统的例子的图。本实施例的基于内容的对话系统300可包括索引服务器310、应用程序编程接口服务器320及聊天机器人330。在此情况下，索引服务器310、应用程序编程接口服务器320及聊天机器人330可通过一个物理装置实现，也可实现在一个以上的不同的物理装置中。并且，实质上，图3示出的用户340也可以与用户为了利用即时通讯服务而使用的物理装置相对应。其中，物理装置可以与上述说明的计算机装置200相对应。
第一过程351可以为索引服务器310根据人体的姿势对内容进行索引的过程的例子。在此情况下，索引服务器310可识别内容中所包含的人体，可将人体的姿势转换成高维向量。在此情况下，高维向量可以为具有3以上的维度的向量。索引服务器310可通过将向量归一化并利用归一化向量来对各个内容进行索引。并且，索引服务器310计算对于人体姿势的多个向量之间的相似度，并基于所计算的相似度来将包含人体姿势的多种内容分类成多个姿势组。在此情况下，被索引成高维向量的内容可作为对于之后用户340的内容的反应，可以为向用户340提供的反应内容的候选。
第二过程352可以为用户340向聊天机器人330传输内容的过程的例子。聊天机器人330可以为通过即时通讯服务与用户340进行对话的人工智能系统。例如，在即时通讯服务中，可通过即时消息来在聊天机器人330与用户340之间进行对话，上述即时消息通过在聊天机器人330的人工智能账户与用户340的账户之间连接的会话收发。在此情况下，用户340可通过与和聊天机器人300连接的会话对应的聊天室来传输包含内容的即时消息，上述内容包含人体姿势。上述内容可以为用户340向聊天机器人330传输的对话的一环，用户340可期待聊天机器人330对上述对话作出反应(reaction)。
第三过程353可以为聊天机器人330通过应用程序编程接口调用向应用程序编程接口服务器320请求处理第一内容的过程的例子。对于第一内容的处理可作为聊天机器人330向用户340呈现出的对第一内容的反应，可以为用于获得反应内容的过程。换言之，聊天机器人330可通过应用程序编程接口调用向应用程序编程接口服务器320询问需要向用户340提供对于内容的哪种反应。
第四过程354可以为应用程序编程接口服务器320向索引服务器310请求姿势分析的过程的例子。例如，应用程序编程接口服务器320可向索引服务器310传输内容并请求提供对于内容所包含的人体姿势的信息。
第五过程355可以为索引服务器310向应用程序编程接口服务器320传输姿势的过程的例子。例如，索引服务器310可通过分析从应用程序编程接口服务器320传输的第一内容来识别第一内容所包含的人体，并可提取所识别的人体姿势。在此情况下，索引服务器310可包含第一过程351中对包含人体姿势的多种内容进行索引的结果，并可确定第一内容具有包含在哪种索引中的人体姿势。若确定第一内容所包含的人体姿势，则索引服务器310可向应用程序编程接口服务器320传输所确定的人体姿势。
第六过程356可以为应用程序编程接口服务器320查询对于姿势的反应的过程的例子。例如，当应用程序编程接口服务器320从索引服务器310接收到姿势A时，作为对于姿势A的反应，可查询姿势B。之后更加详细说明作为对于姿势A的反应，应用程序编程接口服务器320查询姿势B的更具体的方式。
第七过程357可以为应用程序编程接口服务器320向索引服务器310请求反应内容的过程的例子。例如，应用程序编程接口服务器320可通过向索引服务器310传输姿势B来请求将与姿势B对应的内容作为反应内容提供。
第八过程358可以为索引服务器310向应用程序编程接口服务器320传输反应内容的过程的例子。例如，索引服务器310可在与从应用程序编程接口服务器320传输的姿势B对应的多个内容中，将任意内容作为反应内容选择。随后，索引服务器310可向应用程序编程接口服务器320传输所选择的反应内容。
第九过程359可以为应用程序编程接口服务器320向聊天机器人330传输反应内容的过程的例子。上述反应内容的传输可以为对于在第三过程353中对于内容的处理请求的响应。
第十过程360可以为聊天机器人330向用户340传输反应内容的过程的例子。上述反应内容的传输可以为对于在第二过程352中用户340传输的内容的聊天机器人330的响应。
像这样，当用户340向聊天机器人330传输包含人体姿势的内容时，聊天机器人330也可向用户340提供包含与相应姿势对应的姿势的反应内容，从而可实现用户340与聊天机器人330之间的基于内容的对话。
另一方面，查询与人体姿势对应的姿势有可能为非常艰难的作业。以下说明对一个人体姿势查询对应的人体姿势的方法。在此情况下，以下，为了帮助理解本发明，将包含人体姿势的内容限定为图像进行说明，但是，可从以下说明中轻易理解包含人体姿势的内容可包括图像、视频或动画等。
在一实施例中，应用程序编程接口服务器320能够以规则(rule)为基础查询对应的人体姿势。为此，作为明确的姿势含义，可对所有图像均赋予标签(label)，上述标签可用于查询图像。例如，可定义#sleep、#running、#fallingdown、#scold、#tobescold等几种标签，如下述表1所示的反应映射表(reacting mapping table)，可针对各个反应方案关联用于源图像的标签与用于对应图像的标签。实际上，用于源图像的标签可以为用于识别用于源内容的第一姿势的信息，用于对应图像的标签可以为用于识别用于反应内容的第二姿势的信息。
表1
反应方案 源图像 对应图像 使用情况
模仿/相似姿势 #sleep #sleep 聊天、图像查询
连续姿势 #running #fallingdown 聊天
相反姿势 #scold #tobescold 聊天
例如，假设用户340向聊天机器人330传输的内容包含人体奔跑的姿势。在此情况下，应用程序编程接口服务器320可通过第五过程355从索引服务器310接收作为与内容所包含的姿势有关的信息的对于奔跑姿势的高维向量。在此情况下，应用程序编程接口服务器320可利用向量与标签映射表来将对于奔跑姿势的高维向量与标签#running对应。应用程序编程接口服务器320可通过标签#running查询反应映射表来提取对于反应姿势的标签#fallingdown。在此情况下，应用程序编程接口服务器320可通过利用向量与标签映射表来获得与标签#fallingdown对应的高维向量。应用程序编程接口服务器320可通过第七过程357向索引服务器310请求反应内容。以与标签#fallingdown对应获得的高维向量为基础，索引服务器310可向应用程序编程接口服务器320传输包含人摔倒姿势的反应内容。可通过聊天机器人330向用户340传输向应用程序编程接口服务器320传输的反应内容。作为更具体的例子，作为对于用户340向聊天机器人330传输人奔跑姿势的表情包的反应，聊天机器人330可向用户340响应人摔倒的姿势(例如，用于提供人在奔跑时摔倒的反应的姿势)的表情包。换言之，可进行用户340与聊天机器人330之间的基于内容的对话。
在另一实施例中，应用程序编程接口服务器320以对源图像的人体姿势输出用于对应图像的人体姿势的方式进行学习。在此情况下，为了进行学习，可使用现有的视频片段。在视频资料中，人体姿势具有两种类型。第一种类型为在连续时间戳中的同一人体的姿势，第二种类型为在同一画面中的不同的人体之间的姿势。在此情况下，第一种类型的多个姿势可作为用于确定连续姿势的学习数据使用，第二种类型的多个姿势可作为用于确定相反姿势的学习数据使用。
图4为示出本发明一实施例的基于内容的对话方法的例子的流程图。本实施例的基于内容的对话方法可通过实现上述说明的应用程序编程接口服务器320的计算机装置200执行。在此情况下，计算机装置200的处理器220可实现为执行存储器210所包含的操作系统的代码或至少一个程序的代码的控制指令(instruction)。其中，处理器220可控制计算机装置200，以根据存储于计算机装置200的代码所提供的控制指令来使计算机装置200可以执行图4的方法所包括的多个步骤(步骤410至步骤450)。
在步骤410中，计算机装置200可接收源内容。在一实施例中，计算机装置200也可实现为根据所输入的源内容提供反应内容。在另一实施例中，如上述图3的实施例所示，计算机装置200也可实现为从聊天机器人330接收源内容来向聊天机器人330提供基于源内容的反应内容。在此情况下，在即时通讯服务中，计算机装置200可通过聊天机器人330将用户340通过在用户340的账户与聊天机器人330的人工智能账户之间建立的会话向聊天机器人330传输的内容作为源内容接收。
在步骤420中，计算机装置200可确定所输入的源内容所包含的人体姿势。作为一例，如上所述，在图3的实施例中说明了应用程序编程接口服务器320通过索引服务器310接收对于源内容所包含的人体姿势的高维向量的过程。在此情况下，索引服务器310可实现为执行之后说明的图5的多个步骤(步骤510至步骤560)，计算机装置200可通过在步骤420中根据人体姿势对内容进行索引的索引服务器310确定源内容所包含的人体姿势。
另一方面，在另一实施例中，当计算机装置200实现为包括应用程序编程接口服务器320和索引服务器310两者时，计算机装置200可实现为执行图5的步骤(步骤510至步骤560)中的多个步骤(步骤510至步骤540)。在此情况下，步骤420可以与图5的步骤550对应，步骤450与图5的步骤560对应。在此情况下，计算机装置200可通过在步骤420中对于在源内容中识别的人体姿势的高维向量与在图5的步骤520中转换的高维向量之间的相似度来对源内容进行索引，从而可确定人体姿势。
在步骤430中，计算机装置200可确定与确定的人体姿势对应的反应姿势。为了确定与人体姿势对应的反应姿势，计算机装置200可使用利用反应映射表的实施例和/或利用学习模型的实施例。
在一实施例中，计算机装置200可存储反应映射表，上述反应映射表可根据反应方案关联用于源内容的第一姿势和用于反应内容的第二姿势来进行存储。在此情况下，计算机装置200可在步骤430中，在反应映射表中提取与人体姿势对应的第二姿势来确定为反应姿势。其中，反应映射表已通过上述表1进行详细说明。在此情况下，反应方案可包括：第一反应方案，用于将第一姿势和第二姿势作为相似的姿势关联；第二反应方案，用于将第一姿势和第二姿势作为连续姿势关联；以及第三反应方案，用于将第一姿势和第二姿势作为相反姿势关联。反应映射表还可包含用户简介项目(用户性别、年龄等)，还可以按用户简介的每个项目映射用于源内容的第一姿势和用于反应内容的第二姿势。
在另一实施例中，计算机装置200可将从视频片段中提取的多个人体姿势用作学习数据来以使学习模型输出与第一姿势对应的第二姿势的方式使学习模型进行学习。在此情况下，计算机装置200可将在连续时间戳中对同一人体获得的多个姿势作为用于连续姿势的学习数据利用，将在同一画面中对不同的人体获得的多个姿势作为用于相反姿势的学习数据利用来使学习模型进行学习。在此情况下，在步骤430中，计算机装置200可将所确定的人体姿势作为第一姿势向学习模型输入，从而可将从学习模型输出的第二姿势确定为第二姿势。
在步骤440中，计算机装置200可确定包含所确定的反应姿势的反应内容。如上所述，在一实施例中，计算机装置200可通过单独的索引服务器310确定包含反应姿势的反应内容。例如，计算机装置200可通过向索引服务器310传输所确定的反应姿势来接收反应内容，该反应内容包含从索引服务器310确定的反应姿势。作为一例，索引服务器310可将任意内容确定为反应内容并提供，该任意内容包含在索引服务器310通过图5的步骤540进行索引的内容中确定的反应姿势。
在另一实施例中，计算机装置200可直接执行图5的多个步骤(步骤510至步骤560)，也可将包含在通过图5的步骤540进行索引的内容中确定的反应姿势的任意内容确定为反应内容。
在步骤450中，计算机装置200可提供作为对于源内容的响应而确定的反应内容。如上所述，计算机装置200可实现为根据简单输入的源内容来提供反应内容。但是，在另一实施例中，计算机装置200可向聊天机器人330传输反应内容，以使反应内容可作为对于源内容的响应通过聊天机器人330向用户340提供。在此情况下，计算机装置200可以通过聊天机器人330提供反应内容作为对于从用户340输入的源内容的响应，由此可以进行基于内容的对话。
图5为示出本发明一实施例的基于内容的对话方法的另一例子的流程图。本实施例的基于内容的对话方法可通过实现上述说明的索引服务器310的计算机装置200执行。在此情况下，计算机装置200的处理器220可实现为执行存储器210所包含的操作系统的代码或至少一个程序代码的控制指令(instruction)。其中，处理器220以可根据存储于计算机装置200的代码所提供的控制指令来使计算机装置200执行图5的方法所包括的多个步骤(步骤510至步骤560)的方式控制计算机装置200。
在步骤510中，计算机装置200可识别包含在多个内容中的每一个的人体。例如，计算机装置200可在作为内容包含的图像、视频和/或动画中识别包含人体的区域。识别人体的方法可利用在图像中用于探测特定对象的现有技术。
在步骤520中，计算机装置200可将所识别的人体的姿势转换成高维向量。在此情况下，计算机装置200可通过利用用于推测人体姿势的现有技术生成高维向量。例如，计算机装置200可以与所识别的人体的身体部位相关地生成包含对于主要关节(key bodyjoints)的向量的高维向量。作为一例，可生成包含对于脸部、右肩、左肩、右肘、左肘、右骨盆、左骨盆、右膝盖、左膝盖等各个关节的多个向量的高维向量。
在步骤530中，计算机装置200可计算对于多个内容的多个高维向量之间的相似度。作为一例，高维向量可以包含对于各个主要关节的多个向量，因此，多个高维向量的比较可以与人体姿势的比较对应。
在步骤540中，计算机装置200能够以计算的相似度为基础对内容进行索引。作为一例，可预先提出能够代表预定的人体姿势的高维向量。在此情况下，计算机装置200可比较预定的各个人体姿势的高维向量与从多个内容中提取的人体姿势的高维向量，来根据高维向量的相似度对内容进行索引。在此情况下，可利用对于人体姿势的关键词来追加分类按姿势类型进行索引的内容。
在步骤550中，计算机装置200可确定源内容所包含的人体姿势。在一实施示例中，当计算机装置200包括应用程序编程接口服务器320和索引服务器310两者时，步骤550可以与图4的步骤420对应。在另一实施例中，当计算机装置200实现索引服务器310且应用程序编程接口服务器320实现在单独的物理装置时，计算机装置200可从应用程序编程接口服务器320接收源内容，可利用对于从源内容中识别的人体姿势的高维向量或对于相应高维向量的索引来确定源内容所包含的人体姿势。在此情况下，计算机装置200可向应用程序编程接口服务器320提供确定的人体姿势。
在步骤560中，计算机装置200可确定包含反应姿势的反应内容。在一实施例中，当计算机装置200实现为包括应用程序编程接口服务器320和索引服务器310两者时，步骤560可以与图4的步骤440对应。在另一实施例中，当计算机装置200实现索引服务器310且应用程序编程接口服务器320实现在单独的物理装置时，计算机装置200可接收与向应用程序编程接口服务器320提供的人体姿势对应地在应用程序编程接口服务器320中确定的反应姿势，可在索引内容中，确定包含所接收的反应姿势的反应内容。在此情况下，计算机装置200可向应用程序编程接口服务器320提供确定的反应内容。
如上所述，应用程序编程接口服务器320将反应内容作为对于源内容的响应提供，由此，可实现用户340与聊天机器人330之间的基于内容的对话。
图6为示出在本发明一实施例中的根据姿势构建索引的过程的例子的图。图6示出将源图像610所包含的人体姿势转换成如第一虚线盒620的高维向量的例子。在源图像610中识别到多个人体的情况下，可以以所识别的人体图像的大小、在图像内的位置或识别可靠性为基础，仅对多个人体中的至少一部分转换成高维向量。作为一例，在源图像610中呈现出识别可靠性分别为0.830、0.971及0.997的三个人体。在此情况下，在所识别到的三个人体中，可以仅针对图像的大小最大、识别可靠性最高的人体(0.997)执行到高维向量的转换。在此情况下，呈现在第一虚线盒620中的高维向量可以为在源图像610中对于识别可靠性最高的人体姿势的高维向量的例子。作为一例，为了转换成高维向量，计算机装置200可通过如下方式生成高维向量，即，从与在图像内识别到的各个主要关节对应的X坐标和Y坐标生成高维向量，或者对各个关节生成归一化的向量(normalized vector)后，从各个主要关节的归一化的多个向量生成高维向量。接着，在如第二虚线盒630的由高维向量构成的向量空间内，以从源图像610的高维向量的距离为基础确定相似度。以上述相似度为基础对多个图像进行索引，从而可提供与特定图像相似的多个图像。在如第二虚线盒630的向量空间内，按从源图像610的高维向量的距离顺序，可将预先确定数量的图像确定为反应图像。图6中，可导出如第三虚线盒640的以从源图像610的高维向量为基础确定的三个不同的图像。作为一例，在图3的实施例中，可假设在聊天机器人330与用户340之间的对话过程中，从用户340接收源图像610的情况。在此情况下，聊天机器人330可将以从源图像610的高维向量为基础确定的三个图像作为反应图像650向用户340传输。即，作为对于用户340传输的源图像610的反应，聊天机器人330可向用户340传输反应图像650。在此情况下，反应图像650可作为用户能够选择的候选，显示在计算机装置200的输入窗的至少一部分上。在图6的实施例中说明了三个不同的图像作为反应图像导出的例子，但是，可导出的反应图像的数量可根据源图像610和/或设定来改变。
在此情况下，可通过利用预构建的数据库提供多个反应图像。例如，可收集包含人体姿势的多个内容，在所收集的多个内容中的每一个中，人体姿势可转换成高维向量。在此情况下，高维向量与相应内容可关联并存储在数据库中。当一个内容包含多个人体时，可对一个内容关联多个高维向量。并且，根据实施例，对于内容所包含的人体的识别可靠性可通过与相应内容关联来存储在数据库中。在此情况下，当一个内容包含多个人体时，也可对一个内容关联多个识别可靠性并存储。若构建完数据库，则计算机装置200可以以从所输入的源图像610获得的高维向量为基础，从数据库提取至少一个反应图像。
图7为示出在本发明一实施例中的连续姿势的例子的图。图7示出在视频片段中，在连续的时间戳中，对同一人体获得的多个姿势的例子。如上所述，这种姿势可作为用于连续姿势的学习数据使用。在此情况下，对于各个姿势的高维向量可以与识别可靠性一同存储。
图8为示出在本发明一实施例中的相反姿势的例子的图。图8示出在同一画面中，对不同的人体获得的多个姿势的例子。如上所述，这种姿势可作为用于相反姿势的学习数据使用。换言之，当与两个中的一个姿势以规定以上的识别可靠性相似的姿势作为源内容输入时，可将与另一个姿势以规定以上的识别可靠性相似的姿势作为反应内容提供。
如上所述，根据本发明实施例，可根据内容中所包含的人体姿势对内容进行索引，从而，可根据所输入的内容中所包含的人体姿势来提供包括对应姿势的反应内容。
以上说明的系统或装置可实现为硬件结构要素或硬件结构要素及软件结构要素的组合。例如，在实施例中说明的装置及结构要素可利用如处理器、控制器、算术逻辑单元(arithmetic logic unit，ALU)、数字信号处理器(digital signal processor)、微型计算机、现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑单元(programmable logic unit，PLU)、微型处理器或可执行并响应指令(instruction)的任何其他装置的一个以上的通用计算机或专用计算机实现。处理装置可执行操作系统(OS)及在上述操作系统上执行的一个以上的软件应用程序。并且，处理装置可响应于软件的执行来访问、存储、操作、处理及生成数据。为了便于理解，说明了仅使用一个处理装置的情况，本发明所属技术领域的技术人员可以知道处理装置可包括多个处理要素(processingelement)和/或多个类型的处理要素。例如，处理装置可包括多个处理器或一个处理器及一个控制器。并且，还可包括如同并行处理器(parallel processor)的其他处理结构(processing configuration)。
软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或它们中的一种以上的组合，能够以按需要进行操作的方式构成处理装置或者独立或结合性(collectively)地对处理装置下达指令。软件和/或数据可以为了通过处理装置解析或者为了向处理装置提供指令或数据而可以具体化(embody)在任何类型的机器、结构要素(component)、物理装置、虚拟装置(virtual equipment)、计算机存储介质或装置中。软件可分散在通过网络连接的计算机系统上，从而通过分散的方法存储或执行。软件及数据可存储于一个以上的计算机可读记录介质。
实施例的方法可实现为可通过多种计算机单元执行的程序指令的形式来记录在计算机可读介质中。上述计算机可读介质可单独或组合性地包括程序指令、数据文件、数据结构等。介质可继续存储能够通过计算机执行的程序，或者为了执行或下载而暂时存储。并且，介质可以为单个或多个硬件结合的形式的多种记录单元或存储单元，而并不局限于与一种计算机系统直接连接的介质，而也可以在网络上分散存在。作为介质的例示，可以有包括如硬盘、软盘及磁带的磁介质、如CD-ROM及DVD的光记录介质、如光磁软盘(flopticaldisk)的磁光介质(magneto-optical medium)及只读存储器、随机存取存储器、闪存等在内的、以存储程序指令的方式构成的介质。并且，作为其他介质的例示，也可以列举流通应用的应用商城或供给或流通其他多种软件的网站、在服务器等中管理的记录介质或存储介质。作为程序指令的例子，不仅包括通过编译器形成的机械语言代码，而且还包括使用解译器等来在计算机中执行的高级语言代码。
如上所述，虽然通过限定的实施例和附图说明了多个实施例，只要是本发明所属技术领域的技术人员，可以从上述记载进行多种修改及变形。例如，即使所说明的技术以与所说明的方法不同的顺序执行和/或所说明的系统、结构、装置、电路等的结构要素以与所说明的方法不同的形式结合或组合，或者通过其他结构要素或等同物代替或置换，也可以实现适当结果。
因此，其他实例、其他实施例及与发明要求保护范围等同的内容也属于后述的发明要求保护范围内。

Claims (20)

1.一种基于内容的对话方法，其为包括至少一个处理器的计算机装置的基于内容的对话方法，其特征在于，包括：
接收步骤，通过上述至少一个处理器，接收源内容；
人体姿势确定步骤，通过上述至少一个处理器，确定所输入的上述源内容所包含的人体姿势；
反应姿势确定步骤，通过上述至少一个处理器，确定与所确定的上述人体姿势对应的反应姿势；
反应内容确定步骤，通过上述至少一个处理器，确定包含所确定的上述反应姿势的反应内容；以及
提供步骤，通过上述至少一个处理器，提供所确定的上述反应内容作为对于上述源内容的响应。
2.根据权利要求1所述的基于内容的对话方法，其特征在于，
在接收上述源内容的步骤中，通过在即时通讯服务中在用户账户与聊天机器人的人工智能账户之间建立的会话，通过上述聊天机器人接收由上述用户向上述聊天机器人传输的内容作为上述源内容，
在提供所确定的上述反应内容的步骤中，向上述聊天机器人传输上述反应内容，以能够通过上述聊天机器人向上述用户提供上述反应内容作为对于上述源内容的响应。
3.根据权利要求1所述的基于内容的对话方法，其特征在于，还包括：
识别步骤，通过上述至少一个处理器，识别多个内容中的每一个所包含的人体；
转换步骤，通过上述至少一个处理器，将所识别的上述人体的姿势转换成高维向量；
计算步骤，通过上述至少一个处理器，计算对于多个上述内容的多个高维向量之间的相似度；以及
索引步骤，通过上述至少一个处理器，以所计算的上述相似度为基础对多个上述内容进行索引。
4.根据权利要求3所述的基于内容的对话方法，其特征在于，在确定上述人体姿势的步骤中，通过对于在上述源内容中识别的人体的姿势的高维向量与所转换的上述高维向量之间的相似度对上述源内容进行索引，来确定上述人体姿势。
5.根据权利要求3所述的基于内容的对话方法，其特征在于，在确定上述反应内容的步骤中，在经过索引的多个上述内容中，将包含所确定的上述反应姿势的任意内容确定为上述反应内容。
6.根据权利要求1所述的基于内容的对话方法，其特征在于，
在确定上述人体姿势的步骤中，通过根据人体姿势对多个内容进行索引的索引服务器确定上述源内容所包含的人体姿势，
上述索引服务器识别多个内容中的每一个所包含的人体，将所识别的上述人体的姿势转换成高维向量，计算对于多个上述内容的多个高维向量之间的相似度，以所计算的上述相似度为基础对上述内容进行索引。
7.根据权利要求6所述的基于内容的对话方法，其特征在于，
在确定上述反应内容的步骤中，通过向上述索引服务器传输所确定的上述反应姿势来从上述索引服务器接收包含所确定的上述反应姿势的反应内容，
上述索引服务器通过在经过索引的多个上述内容中，将包含所确定的上述反应姿势的任意内容确定为上述反应内容来提供。
8.根据权利要求1所述的基于内容的对话方法，其特征在于，还包括反应映射表存储步骤，在上述反应映射表存储步骤中，通过上述至少一个处理器，存储反应映射表，上述反应映射表根据反应方案关联用于源内容的第一姿势和用于反应内容的第二姿势来存储，
在确定上述反应姿势的步骤中，通过在上述反应映射表中提取与上述人体姿势对应的第二姿势来确定为上述反应姿势。
9.根据权利要求8所述的基于内容的对话方法，其特征在于，上述反应方案包括：
第一反应方案，用于将上述第一姿势和上述第二姿势作为相似的姿势关联；
第二反应方案，用于将上述第一姿势和上述第二姿势作为连续姿势关联；以及
第三反应方案，用于将上述第一姿势和上述第二姿势作为相反姿势关联。
10.根据权利要求1所述的基于内容的对话方法，其特征在于，还包括如下的学习步骤：通过上述至少一个处理器，将从视频片段中提取的人体姿势用作学习数据来以使学习模型输出与第一姿势对应的第二姿势的方式使上述学习模型进行学习，
在确定上述反应姿势的步骤中，将所确定的上述人体姿势作为上述第一姿势向上述学习模型输入来将从上述学习模型输出的上述第二姿势确定为上述反应姿势。
11.根据权利要求10所述的基于内容的对话方法，其特征在于，在上述学习的步骤中，将在连续的时间戳中对同一人体获得的多个姿势作为用于连续姿势的学习数据利用，将在同一画面中对不同的人体获得的多个姿势作为用于相反姿势的学习数据利用来使上述学习模型进行学习。
12.一种基于内容的对话方法，其为包括至少一个处理器的计算机装置的基于内容的对话方法，其特征在于，包括：
识别步骤，通过上述至少一个处理器，识别多个内容中的每一个所包含的人体；
转换步骤，通过上述至少一个处理器，将所识别的上述人体的姿势转换成高维向量；
计算步骤，通过上述至少一个处理器，计算对于多个上述内容的多个高维向量之间的相似度；以及
索引步骤，通过上述至少一个处理器，基于所计算的上述相似度对多个上述内容进行索引。
13.根据权利要求12所述的基于内容的对话方法，其特征在于，还包括：
接收步骤，通过上述至少一个处理器，接收源内容；
确定步骤，通过上述至少一个处理器，通过对于在上述源内容中识别的人体的姿势的高维向量对上述源内容进行索引来确定上述源内容所包含的人体姿势；以及
提供步骤，通过上述至少一个处理器，提供所确定的上述人体姿势。
14.根据权利要求13所述的基于内容的对话方法，其特征在于，还包括：
接收步骤，通过上述至少一个处理器，接收与所提供的上述人体姿势对应来确定的反应姿势；
确定步骤，通过上述至少一个处理器，在经过索引的多个上述内容中确定包含所接收的上述反应姿势的反应内容；以及
提供步骤，通过上述至少一个处理器，提供上述反应内容。
15.一种计算机可读记录介质，其特征在于，存储有计算机程序，上述计算机程序与计算机装置相结合来在计算机装置中执行根据权利要求1至14中任一项所述的基于内容的对话方法。
16.一种计算机装置，其特征在于，
包括实现为执行计算机可读指令的至少一个处理器，
通过上述至少一个处理器，接收源内容，确定所输入的上述源内容所包含的人体姿势，确定与所确定的上述人体姿势对应的反应姿势，确定包含所确定的上述反应姿势的反应内容，提供所确定的上述反应内容作为对于上述源内容的响应。
17.根据权利要求16所述的计算机装置，其特征在于，
通过上述至少一个处理器，
为了接收上述源内容，通过在即时通讯服务中在用户账户与聊天机器人的人工智能账户之间建立的会话，通过上述聊天机器人接收由上述用户向上述聊天机器人传输的内容作为上述源内容，
为了提供上述反应内容，向上述聊天机器人传输上述反应内容，以能够通过上述聊天机器人向上述用户提供上述反应内容作为对于上述源内容的响应。
18.根据权利要求16所述的计算机装置，其特征在于，
通过上述至少一个处理器，
存储反应映射表，上述反应映射表根据反应方案关联用于源内容的第一姿势和用于反应内容的第二姿势来存储，
为了确定上述反应姿势，通过在上述反应映射表中提取与上述人体姿势对应的第二姿势来确定为上述反应姿势。
19.根据权利要求16所述的计算机装置，其特征在于，
通过上述至少一个处理器，
将从视频片段中提取的人体姿势用作学习数据来以使学习模型输出与第一姿势对应的第二姿势的方式使上述学习模型进行学习，
为了确定上述反应姿势，将所确定的上述人体姿势作为上述第一姿势向上述学习模型输入来将从上述学习模型输出的上述第二姿势确定为上述反应姿势。
20.根据权利要求19所述的计算机装置，其特征在于，通过上述至少一个处理器，将在连续的时间戳中对同一人体获得的多个姿势作为用于连续姿势的学习数据利用，将在同一画面中对不同的人体获得的多个姿势作为用于相反姿势的学习数据利用来使上述学习模型进行学习。
CN202110081199.5A 2020-01-23 2021-01-21 基于内容的对话方法、计算机可读记录介质及计算机装置 Pending CN113191929A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0009352 2020-01-23
KR1020200009352A KR20210095446A (ko) 2020-01-23 2020-01-23 인간의 포즈에 따른 컨텐츠 기반 대화 방법 및 시스템

Publications (1)

Publication Number Publication Date
CN113191929A true CN113191929A (zh) 2021-07-30

Family

ID=76972617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110081199.5A Pending CN113191929A (zh) 2020-01-23 2021-01-21 基于内容的对话方法、计算机可读记录介质及计算机装置

Country Status (3)

Country Link
KR (1) KR20210095446A (zh)
CN (1) CN113191929A (zh)
TW (1) TWI826767B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
JP2018126810A (ja) * 2017-02-06 2018-08-16 川崎重工業株式会社 ロボットシステム及びロボット対話方法
WO2018209094A1 (en) * 2017-05-11 2018-11-15 Kodak Alaris Inc. Method for identifying, ordering, and presenting images according to expressions
CN107340859B (zh) * 2017-06-14 2021-04-06 北京光年无限科技有限公司 多模态虚拟机器人的多模态交互方法和系统
CN108415561A (zh) * 2018-02-11 2018-08-17 北京光年无限科技有限公司 基于虚拟人的手势交互方法及系统

Also Published As

Publication number Publication date
TWI826767B (zh) 2023-12-21
KR20210095446A (ko) 2021-08-02
TW202129467A (zh) 2021-08-01

Similar Documents

Publication Publication Date Title
CN110287479B (zh) 命名实体识别方法、电子装置及存储介质
WO2022142006A1 (zh) 基于语义识别的话术推荐方法、装置、设备及存储介质
CN111159380B (zh) 交互方法、装置、计算机设备及存储介质
CN107004212B (zh) 根据社交媒体和其它数字轨迹对动作、结果和目标实现进行建模
CN112069302A (zh) 会话意图识别模型的训练方法、会话意图识别方法及装置
US11551171B2 (en) Utilizing natural language processing and machine learning to automatically generate proposed workflows
CN110163121B (zh) 图像处理方法、装置、计算机设备及存储介质
CN109858045B (zh) 机器翻译方法和装置
CN110765294B (zh) 图像搜索方法、装置、终端设备及存储介质
CN107832720B (zh) 基于人工智能的信息处理方法和装置
CN113434716A (zh) 一种跨模态信息检索方法和装置
KR20210050166A (ko) 그룹 앨범을 이용하는 대화방에서 프로필 사진 기반 사용자 얼굴 인식과 활용 방법
CN115017288A (zh) 模型训练方法、模型训练装置、设备及存储介质
CN113158656A (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN115510186A (zh) 基于意图识别的即时问答方法、装置、设备及存储介质
CN111444321B (zh) 问答方法、装置、电子设备和存储介质
CN113191929A (zh) 基于内容的对话方法、计算机可读记录介质及计算机装置
Kim et al. Dynamic arm gesture recognition using spherical angle features and hidden markov models
CN110263743B (zh) 用于识别图像的方法和装置
CN115510457A (zh) 数据识别方法、装置、设备及计算机程序产品
KR20230046030A (ko) 미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템
CN114970494A (zh) 一种评论生成方法、装置、电子设备和存储介质
CN111897910A (zh) 信息推送方法和装置
CN114139031B (zh) 数据分类方法、装置、电子设备及存储介质
US20240249557A1 (en) Systems and methods for determining user intent based on image-captured user actions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Tokyo

Applicant after: AI Holding Co.,Ltd.

Address before: Tokyo

Applicant before: LINE Corp.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220124

Address after: Tokyo

Applicant after: LINE Corp.

Address before: Tokyo

Applicant before: AI Holding Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Japan

Address after: Tokyo, Japan

Applicant after: From Zhongzhong Global Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: LINE Corp.

Country or region before: Japan

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240628

Address after: Tokyo, Japan

Applicant after: Aiwanwai Co.,Ltd.

Country or region after: Japan

Address before: Tokyo, Japan

Applicant before: From Zhongzhong Global Co.,Ltd.

Country or region before: Japan

TA01 Transfer of patent application right