CN113630511A - 反应显示方法、计算机装置及计算机可读记录介质 - Google Patents

反应显示方法、计算机装置及计算机可读记录介质 Download PDF

Info

Publication number
CN113630511A
CN113630511A CN202110478704.XA CN202110478704A CN113630511A CN 113630511 A CN113630511 A CN 113630511A CN 202110478704 A CN202110478704 A CN 202110478704A CN 113630511 A CN113630511 A CN 113630511A
Authority
CN
China
Prior art keywords
reaction
screen
call
user
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110478704.XA
Other languages
English (en)
Inventor
安德溶
金煥
金珉廷
李在铉
金成秀
金敬旻
徐祥赫
金正錄
李太静
权廷炫
金金龙
金娜怜
金仁娥
朴柾俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Line Plus Corp
Original Assignee
Line Plus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Plus Corp filed Critical Line Plus Corp
Publication of CN113630511A publication Critical patent/CN113630511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1096—Supplementary features, e.g. call forwarding or call holding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

本发明公开了反应显示方法、计算机装置及计算机可读记录介质。在利用社交图的网络电话通话过程中，通话参与者之间可以共享多种媒体内容，进而，在网络电话通话过程中，在共享媒体内容的环境下可以实时显示通话参与者之间收发的反应。

Description

反应显示方法、计算机装置及计算机可读记录介质
技术领域
以下的说明涉及基于网络电话(VoIP)来提供通话功能的技术。
背景技术
最近，通信设备除语音通话服务和文字服务之外，还提供无线网络服务、地面/卫星广播服务等多种服务。
尤其，随着视频的压缩技术和复原技术的发展以及设置有摄像头的设备的普及，提供有可以在确认对方的脸的情况下进行通话的视频通话服务。
作为提供视频通话服务的技术的一例，在韩国授权专利公报第10-0401262号(授权日期2003年09月29日)公开了如下的技术，即，在无线环境的移动电话网中提供移动电话终端之间的可视电话服务。
发明内容
在利用社交图(social graph)的网络电话(voice over internet protocol，VoIP)通话过程中，通话参与者之间可以共享多种媒体内容。
在网络电话通话过程中，可以实时显示通话参与者之间收发的反应(reaction)。
本发明提供反应显示方法，在计算机装置中执行，上述计算机装置包括被配置为执行包含在存储器中的计算机可读指令的至少一个处理器，上述反应显示方法包括：显示步骤，通过上述至少一个处理器，在上述计算机装置的用户参与的网络电话通话过程中共享媒体内容的情况下，显示网络电话通话画面和内容共享画面；接收步骤，通过上述至少一个处理器，在上述网络电话通话过程中，接收上述计算机装置的用户输入反应的位置信息；传输步骤，通过上述至少一个处理器，将参与上述网络电话通话的至少一个其他用户作为对象传输与上述反应有关的信息和上述位置信息；以及显示步骤，通过上述至少一个处理器，以上述位置信息为基础，在上述网络电话通话画面或上述内容共享画面上显示上述反应。
根据一实施方式，上述接收步骤可包括如下的识别步骤：将输入上述反应的位置坐标识别成上述网络电话通话画面或上述内容共享画面上的位置信息。
根据再一实施方式，上述接收步骤可包括如下的识别步骤：在对上述内容共享画面输入反应的情况下，将在上述计算机装置的用户输入反应的时间点上在上述内容共享画面上回放中的内容的回放位置(playback position)识别成上述位置信息。
根据另一实施方式，上述反应显示方法还可包括如下的指定步骤：通过上述至少一个处理器，以上述位置信息为基础，在包含在上述网络电话通话画面中的参与者影像和上述内容共享画面中指定反应对象。
根据还有一实施方式，在上述指定步骤中，可在上述网络电话通话画面和上述内容共享画面中，将与输入上述反应的位置坐标对应的画面指定为上述反应对象。
根据又一实施方式，在上述指定步骤中，可在将上述内容共享画面上回放中的内容的回放位置作为上述位置信息接收的情况下，在上述网络电话通话画面和上述内容共享画面中，将上述内容共享画面指定为上述反应对象。
根据又一实施方式，在上述传输步骤中，可在参与上述网络电话通话的其他用户中指定与上述反应对象对应的用户，并将所指定的上述用户作为对象传输与上述反应有关的信息和上述位置信息。
根据又一实施方式，在上述传输步骤中，可生成包含与上述反应有关的信息和上述位置信息的网络电话通话数据包的元数据来传输，在上述其他用户的计算机装置中，以上述元数据为基础来在上述其他用户的计算机装置的画面上显示上述反应。
根据又一实施方式，在上述显示步骤中，可在上述网络电话通话画面和上述内容共享画面中，在与上述位置信息对应的画面上的位置显示与上述反应相匹配的对象。
根据又一实施方式，上述反应显示方法还可包括如下的传输步骤：通过上述至少一个处理器，向与上述网络电话通话有关的聊天室传输与在上述网络电话通话过程中共享的上述媒体内容有关的信息及与在上述网络电话通话过程中接收的上述反应有关的信息。
根据又一实施方式，向与上述网络电话通话有关的聊天室传输信息的步骤可包括如下的管理步骤：按包括在上述聊天室中的消息类型管理与上述媒体内容有关的信息及与上述反应有关的信息。
本发明提供非暂时性计算机可读记录介质，存储有用于在计算机装置执行上述反应显示方法的计算机程序。
本发明提供计算机装置，上述计算机装置包括被实现为执行包含在存储器中的计算机可读指令的至少一个处理器，上述至少一个处理器处理如下的过程：显示过程，在上述计算机装置的用户参与的网络电话通话过程中共享媒体内容的情况下，显示网络电话通话画面和内容共享画面；接收过程，在上述网络电话通话过程中，接收上述计算机装置的用户输入反应的位置信息；传输过程，将参与上述网络电话通话的至少一个其他用户作为对象传输与上述反应有关的信息和上述位置信息；以及显示过程，以上述位置信息为基础，在上述网络电话通话画面或上述内容共享画面上显示上述反应。
附图说明
图1为示出本发明一实施例的网络环境的示例的图。
图2为用于说明本发明一实施例的电子设备及服务器的内部结构的框图。
图3为示出本发明一实施例的电子设备的处理器可包括的结构要素的示例的图。
图4为示出本发明一实施例的电子设备可执行的方法的示例的图。
图5至图8为用于说明本发明一实施例的网络电话通话过程中共享内容的过程的例示图。
图9为示出本发明一实施例的网络电话通话过程中显示反应的方法的示例的流程图。
图10至图12为用于说明本发明一实施例的网络电话通话过程中显示反应的过程的例示图。
具体实施方式
以下，参照附图，详细说明本发明的实施例。
本发明的实施例涉及提供基于网络电话的通话功能的技术。
在包括本说明书中具体公开的内容的实施例中，在利用社交图的网络电话通话过程中，通话参与者之间可以共享多种媒体内容，在网络电话通话过程中，可实时显示通话参与者之间收发的反应。
图1为示出本发明一实施例的网络环境的示例的图。图1的网络环境示出包括多个电子设备110、120、130、140和多个服务器150、160及网络170的示例。上述图1为用于说明本发明的一例，电子设备的数量或服务器的数量并不局限于图1所示。
多个电子设备110、120、130、140可以为通过计算机装置实现的固定型终端或移动型终端。作为多个电子设备110、120、130、140的示例，包括智能手机(smart phone)、手机、导航仪、计算机、笔记本计算机、数字广播终端、个人数字助理(Personal DigitalAssistants，PDA)、便携式多媒体播放器(Portable Multimedia Player，PMP)、平板计算机、游戏机(game console)、可穿戴设备(wearable device)、物联网(internet ofthings，IoT)设备、虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备等。作为一例，图1中，作为电子设备110的示例，示出智能手机的形状，在本发明的实施例中，电子设备110实质上可以为能够利用无线或有线通信方式，通过网络170与其他电子设备120、130、140和/或服务器150、160进行通信的多种物理计算机装置中的一个。
通信方式并不受限，可包括使用网络170可包括的通信网(例如，移动通信网、有线互联网、无线互联网、广播网、卫星网等)的通信方式和多个设备之间的近距离无线通信。例如，网络170可包括个人区域网(personal area network，PAN)、局域网(local areanetwork，LAN)、校园网(campus area network，CAN)、城域网(metropolitan areanetwork，MAN)、广域网(wide area network，WAN)、宽带网(broadband network，BBN)、互联网等网络中的一种以上的任意网络。并且，网络170可包括具有总线网络、星型网络、环型网络、网状网络、星型总线网络、树形网络、分级(hierarchical)网络等的网络拓扑中的任意一个以上，但并不局限于此。
各个服务器150、160可以实现为通过网络170与多个电子设备110、120、130、140进行通信来提供指令、代码、文件、内容、服务等的一个或多个计算机装置。例如，服务器150可以为向通过网络170连接的多个电子设备110、120、130、140提供第一服务的系统，服务器160也可以为向通过网络170连接的多个电子设备110、120、130、140提供第二服务的系统。作为更具体的示例，服务器150可通过作为安装于多个电子设备110、120、130、140来驱动的计算机程序的应用，将该应用所需要的服务(作为一例，网络电话通话服务等)作为第一服务向多个电子设备110、120、130、140提供。作为另一例，服务器160可将向多个电子设备110、120、130、140分发用于安装及驱动上述应用的文件的服务作为第二服务提供。
图2为用于说明本发明一实施例中的电子设备以及服务器的内部结构的框图。在图2中，作为电子设备的示例，说明电子设备110及服务器150的内部结构。并且，其他电子设备120、130、140或服务器160也可以具有与上述电子设备110或服务器150相同或类似的内部结构。
电子设备110和服务器150可包括存储器211、221、处理器212、222、通信模块213、223及输入输出接口214、224。存储器211、221作为非暂时性计算机可读记录介质，可包括如随机存取存储器(random access memory，RAM)、只读存储器(read only memory，ROM)、硬盘驱动器、固态硬盘(solid state drive，SSD)、闪存(flash memory)等的永久性大容量存储装置(permanent mass storage device)。其中，如只读存储器、固态硬盘、闪存、硬盘驱动器等的永久性大容量存储装置也可以作为与存储器211、221区分的单独的永久存储装置包含在电子设备110或服务器150中。并且，存储器211、221可存储操作系统和至少一个程序代码(作为一例，用于安装于电子设备110来驱动的浏览器或为了提供特定服务而安装于电子设备110的应用等的代码)。上述软件结构要素可从与存储器211、221单独的计算机可读记录介质加载。上述单独的计算机可读记录介质可包括软盘驱动器、磁盘、磁带、DVD/CD-ROM驱动器、存储卡等计算机可读记录介质。在另一实施例中，软件结构要素可通过通信模块213、223向存储器211、221加载，而并非通过计算机可读记录介质。例如，至少一个程序可基于通过文件安装的计算机程序(作为一例，上述应用)向存储器211、221加载，上述文件由开发人员或分发应用的安装文件的文件分发系统(例如，上述服务器160)通过网络170提供。
处理器212、222可配置为执行基本的算术、逻辑及输入输出计算，由此处理计算机程序的指令。指令可通过存储器211、221或通信模块213、223向处理器212、222提供。例如，处理器212、222可配置为根据存储于如存储器211、221的记录装置的程序代码来执行所接收的指令。
通信模块213、223可提供使电子设备110与服务器150通过网络170来相互进行通信的功能，并可提供使电子设备110和/或服务器150与其他电子设备(作为一例，电子设备120)或其他服务器(作为一例，服务器160)进行通信的功能。作为一例，电子设备110的处理器212根据存储于如存储器211的记录装置的程序代码生成的请求可根据通信模块213的控制，通过网络170向服务器150传递。相反，根据服务器150的处理器222的控制提供的控制信号、指令、内容、文件等可经过通信模块223和网络170来通过电子设备110的通信模块213向电子设备110提供。例如，通过通信模块213接收的服务器150的控制信号、指令、内容、文件等可向处理器212或存储器211传递，内容或文件等可存储于电子设备110还可包括的存储装置(上述永久存储装置)存储。
输入输出接口214可以为用于与输入输出装置215接合的单元。例如，输入装置可包括键盘、鼠标、麦克风、摄像头等装置，输出装置可包括如显示器、扬声器、触觉反馈装置(haptic feedback device)等的装置。作为另一例，输入输出接口214也可以为用于与如触摸屏的用于输入和输出的功能合并在一起的装置接合的单元。输入输出装置215可以与电子设备110构成为一个装置。并且，服务器150的输入输出接口224可以为用于与和服务器150相连接或者服务器150可包括的用于输入或输出的装置(未图示)接合的单元。作为更具体的示例，电子设备110的处理器212在处理向存储器211加载的计算机程序的指令的过程中，利用服务器150或电子设备120提供的数据来构成的服务画面或内容可通过输入输出接口214显示在显示器上。
并且，在另一实施例中，电子设备110及服务器150可包括比图2的结构要素更多的结构要素。但是，无需明确示出大部分现有技术的结构要素。例如，电子设备110可实现为包括上述输入输出装置215中的至少一部分，或者还可包括如收发器(transceiver)、全球定位系统(Global Positioning System，GPS)模块、摄像头、各种传感器、数据库等的其他结构要素。作为更具体的示例，在电子设备110为智能手机的情况下，电子设备110可实现为还包括智能手机通常包括的加速度传感器、陀螺仪传感器、摄像头模块、各种物理按钮、利用触摸板的按钮、输入输出端口、用于振动的振动器等多种结构要素。
以下，说明在基于网络电话的通话过程中共享内容的方法及系统的具体实施例。
图3为示出本发明一实施例的电子设备的处理器可包括的结构要素的示例的图，图4为示出本发明一实施例的电子设备可执行的方法的示例的流程图。
在本实施例的电子设备110中可构成通过计算机实现的网络电话通话系统。作为一例，网络电话通话系统可实现为独立操作的程序形式，或者以特定应用(例如，即时通信软件)的应用内(in-app)形式构成，可以在上述特定应用上进行操作，根据情况，可通过与服务器150的交互提供网络电话通话服务。
以安装于电子设备110的应用所提供的指令为基础在电子设备110中实现的网络电话通话系统可执行图4所示的内容共享方法。
为了执行图4的内容共享方法，如图3所示，作为结构要素，电子设备110的处理器212可包括通话提供部310、界面提供部320、共享请求部330、内容显示部340及反应显示部350。根据实施例，处理器212的结构要素可选择性地包括在处理器212中或从其排除。并且，根据实施例，处理器212的结构要素可以为了处理器212的功能的表现而可以分离或合并。
上述处理器212及处理器212的结构要素可控制电子设备110执行图4的内容共享方法所包括的多个步骤(步骤S410至步骤S450)。例如，处理器212及处理器212的结构要素可以实现为执行存储器211所包括的操作系统的代码和至少一个程序的代码的指令(instruction)。
其中，处理器212的结构要素可以为根据存储于电子设备110的程序代码所提供的指令(作为一例，在电子设备110中驱动的应用所提供的指令)，通过处理器212执行的处理器212的不同功能(different functions)的表现。例如，作为根据上述指令控制电子设备110提供网络电话通话的处理器212的功能性表现，电子设备110可利用通话提供部310。
处理器212可从加载与电子设备110的控制有关的指令的存储器211读取需要的指令。在此情况下，上述读取的指令可以包含用于控制处理器212执行之后说明的多个步骤(步骤S410至步骤S450)的指令。
参照图4，在步骤S410中，通话提供部310可提供包括电子设备110的用户的两个以上的用户参与的网络电话通话。网络电话通话可包括基于网络电话的语音通话功能和视频通话功能。在此情况下，网络电话通话可支持一对一通话，并可支持预先确定的最大人员数以内的组通话。作为一例，在电子设备110、120、130、140的用户之间请求网络电话通话的情况下，服务器150可以向对方的电子设备传递通话请求，对此，可以以接受通话参与请求的多个用户为对象连接基于网络电话的通话频道。
在视频通话的情况下，通话提供部310可向服务器150传递电子设备110的用户的通话参与意图，从服务器150将网络电话通话的参与者影像作为个别影像分别接收之后，将所接收的参与者影像渲染成(rendering)一个画面来构成视频通话画面。服务器150将各个参与者影像作为个别影像向电子设备110传输，并在电子设备110中，将多个参与者影像构成一个画面的视频通话画面，而并非在服务器150侧形成包含多个参与者影像的一个影像来向电子设备110提供。
在语音通话的情况下，通话提供部310可将接受通话参与请求的用户作为对象，以简介信息等为基础来生成参与者目录并构成包含参与者目录的语音通话画面。
在步骤S420中，在网络电话通话过程中，从电子设备110的用户接收呼叫内容共享功能的用户输入的情况下，界面提供部320可提供用于指定与通话中的参与者进行共享的内容的图形用户界面(graphical user interface)。用户输入可包含作为内容共享介质选择的媒体类型(media type)，例如，媒体类型可包括画面共享(screen share)、如youtube的提供内容共享服务的内容提供商(content provider)等。内容共享功能为如下的功能，即，在网络电话通话过程中，通话参与者之间通过画面共享或内容共享服务等共享媒体内容。界面提供部320为在网络电话通话画面上用于指定与通话参与者共享的内容的界面，可提供与基于用户输入的媒体类型对应的图形用户界面。
作为一例，在作为媒体类型中的一个，共享内容提供商的内容的情况下，界面提供部320可提供用于搜索内容的图形用户界面。界面提供部320优先提供用于选择内容提供商的提供商选择画面之后，若通过提供商选择画面选择内容提供商，则可提供能够搜索在所选择的内容提供商的平台内的内容的图形用户界面。换句话说，界面提供部320可提供内容提供商目录，上述内容提供商目录提供内容共享服务，可提供能够搜索在内容提供商目录中选择的内容提供商的内容的界面。作为媒体类型，用户选择特定内容提供商之后，可通过在对应内容提供商的平台内的内容搜索指定与通话参与者共享的内容。
作为另一例，作为媒体类型中的另一个，在通过画面共享来共享内容的情况下，界面提供部320可提供包括对于画面共享对象的预览(preview)的图形用户界面。在通过统一资源定位符共享内容提供商的内容的情况下，也可以提供包括对于对应统一资源定位符的内容的预览的图形用户界面。在剪贴板中复制有内容提供商的内容统一资源定位符的状态向网络电话通话画面进入的情况下，可以识别成内容共享功能的呼叫指令，在此情况下，随着识别到内容共享功能的呼叫指令，界面提供部320可提供包括对于在剪贴板中复制的统一资源定位符的预览的图形用户界面。用户可通过预览确认画面共享对象或统一资源定位符的媒体内容之后，指定为与通话参与者共享的内容。
在提供用于内容搜索的图形用户界面的过程中，界面提供部320以在网络电话通话过程中的聊天室设定的简介信息或在对应聊天室中过去共享的数据为基础来推荐用于搜索内容的检索语。其中，简介信息可包含聊天室的主题信息等。可以考虑参与聊天室的用户的简介信息，例如，年龄、性别、居住地区等来推荐检索语。除简介信息之外，可通过分析过去共享数据，例如，通过聊天室传输的消息或内容来导出关心事，将与所导出的关心事有关的关键词作为推荐检索语提供。在聊天室中，与新冠病毒有关的消息的比重为规定比例以上的情况下，可推荐与新冠病毒有关的检索语。而且，在与聊天室有关的统计信息，例如，对于最近新闻的共享次数多的情况下，可推荐与对应新闻有关的检索语。并且，以聊天室的内容共享历史为基础，例如，在网络电话通话过程中，在利用LINE LIVE来共享LINEFriends频道的视频最多的情况下，可推荐LINE LIVE的实时人气检索语或LINE Friends频道相关检索语。在即时通讯软件平台上，多个用户以特定主题为基准聚集并收发内容的开放聊天室的情况下，能够以在开放聊天室设定的主题信息为基础来推荐检索语。
在步骤S430中，在从电子设备110的用户通过图形用户界面接收到对于特定内容的共享请求的情况下，共享请求部330将对于对应内容的共享请求以网络电话通话频道的协议内元数据生成来向服务器150传输。换句话说，共享请求部330可生成包含与内容共享请求对应的数据的网络电话通话数据包的元数据来向服务器150传输。
用于在网络电话通话状态下的数据交换的内容共享协议可根据媒体类型预先定义。作为一例，内容共享协议可包含表示内容共享功能的标识符(identifier)和根据媒体类型定义的元数据。用于内容共享的开始(set)和结束(unset)可通过芯(core)的事件处理。在媒体类型为内容提供商的情况下，可在网络电话通话数据包的元数据中添加媒体类型的标识符、由用户指定的内容的标识符、题目、缩略图、回放状态(播放、暂停等)、回放位置(playback position)等，在通过统一资源定位符共享内容提供商的内容的情况下，可在网络电话通话数据包的元数据中添加媒体类型的标识符、内容统一资源定位符、回放状态、回放位置等。在媒体类型为画面共享的情况下，可在网络电话通话数据包的元数据中添加媒体类型的标识符、为了画面共享而需要的数据等。共享请求部330可将在电子设备110的用户与通话参与者之间同步通过图形用户界面(预览或搜索结果)指定的内容来回放所需要的所有数据作为网络电话的元数据记述并向服务器150传输。
在步骤S440中，内容显示部340可以显示网络电话通话画面和基于电子设备110的用户的共享请求的内容。从电子设备110的用户向服务器150传递对于通过图形用户界面指定的内容的共享请求之后，内容显示部340可以一同显示对应内容的回放画面(以下，称之为“内容共享画面”)和网络电话通话画面。作为一例，内容显示部340可通过与通话提供部310的交互在网络电话通话画面中包括内容共享画面来调节成与网络电话通话画面结合的一个画面并显示。作为另一例，内容显示部340可以在网络电话通话画面上，将内容共享画面以PIP等的个别画面重叠显示。
服务器150可通过网络电话通话数据包的元数据识别媒体类型和共享对象内容等，在通话参与者中，将请求内容共享的电子设备110判断为发送者(sender)，并将剩余电子设备(120、130、140中的至少一个)判断为接收者(receiver)。
服务器150向与接收者对应的电子设备(120、130、140中的至少一个)传递包含与发送者侧的内容共享请求对应的数据的网络电话通话数据包的元数据。服务器150可起到用于内容共享的发送者与接收者之间直接传递网络电话通话数据包的元数据的中继作用。
在与接收者对应的电子设备(120、130、140中的至少一个)中，以通过服务器150从发送者接收的网络电话通话数据包的元数据为基础来以与发送者相同的状态共享内容。在共享对象为视频的情况下，在发送者侧，在元数据中仅包含与视频有关的信息(例如，统一资源定位符信息(或内容标识符)及与开始时间点有关的信息)，或者一同包含需要共享的视频数据包来向接收者传递，在接收者侧，以在元数据中所包含的信息为基础来从内容提供商加载视频或者在没有附加的加载作业的情况下，将从发送者接收的网络电话通话数据包中所包含的视频直接以发送者侧的回放状态开始回放。在对于回放目录的共享请求的情况下，在接收者侧，通过网络电话通话数据包的元数据接收发送者侧的状态，直接查询在回放目录中所包含的视频信息来填充对应信息并开始回放。
为了进行网络电话通话而利用传递网络电话通话数据包的服务器150(例如，中继服务器)，但并不局限于此，在没有服务器150的情况下，可利用作为个人之间的通信的对等(peer to peer，P2P)网络。电子设备110可通过一对一通信的对等网络来向与接收者对应的电子设备120直接传递包含与用户的内容共享请求对应的数据的网络电话通话数据包的元数据。因此，在没有服务器150的情况下，发送者与接收者之间，可通过对等网络收发网络电话通话数据包，可利用网络电话通话数据包的元数据，在网络电话通话过程中共享内容。
对于与接收者共享的内容的操作权限基本上存在于发送者，在发送者侧用户改变回放位置或回放状态等的情况下，向接收者传递包含所改变的数据的网络电话通话数据包的元数据，并按发送者的操作将发送者与接收者之间正在共享的内容的状态同步。作为另一例，接收者可从发送者或其他通话参与者获得同意并基于此来改变共享中的内容的状态或者提出其他内容的共享。
在步骤S450中，在网络电话通话过程中，在共享内容的环境下，反应显示部350可以将与对于网络电话通话画面或内容共享画面的用户输入对应的反应显示在对应画面上。以下，详细说明在网络电话通话画面或内容共享画面上显示反应的具体方法。
图5至图8为用于说明本发明的一实施例的网络电话通话过程中共享内容的过程的例示图。
图5至图8示出显示在电子设备110的显示器的界面画面例示。
参照图5，处理器212将网络电话通话的参与者影像以个别影像分别接收之后，将所接收的参与者影像渲染成一个画面来显示视频通话画面510。在网络电话通话过程中，在从电子设备110的用户接收呼叫内容共享功能的用户输入的情况下，处理器212可提供用于指定与通话中的参与者共享的内容的图形用户界面。
视频通话画面510可根据基于用户的环境设定或参与者人数被调节，例如，可以以参与者影像均显示在一个画面的形式构成或者向一方向排列参与者影像之后可以向排列方向滑动的形式构成。
在用户需要共享作为媒体类型中的一个的如youtube的内容提供商的内容的情况下，如图5所示，处理器212可提供用于搜索内容的图形用户界面520。在可连接的内容提供商为多个的情况下，处理器212优先提供用于选择内容提供商的提供商选择画面之后，若通过提供商选择画面选择内容提供商，则可提供能够搜索所选择的内容提供商的平台内的内容的图形用户界面520。
在用户通过作为媒体类型中的另一个的画面共享来共享内容的情况下，如图6所示，处理器212可提供包括电子设备110中执行的画面中对于指定为画面共享对象的画面的预览的图形用户界面630。
处理器212可作为用于指定内容的图形用户界面，将内容搜索图形用户界面520和预览图形用户界面630重叠在视频通话画面510上来显示(参照图5)，或者调节视频通话画面510来以与视频通话画面510相结合的一个画面显示(参照图6)。
在用户通过内容搜索图形用户界面520或预览图形用户界面630指定内容之后请求所指定的内容共享的情况下，处理器212可以向接收者传递包含用于对应内容共享的数据的网络电话通话数据包的元数据。与此同时，如图7所示，处理器212可显示视频通话画面510和作为请求共享的内容的回放画面的内容共享画面740。
在将内容共享画面740显示在与视频通话画面510相结合的一个画面的情况下，视频通话画面510可以在除内容共享画面740之外的剩余区域组合参与者影像来显示。在此情况下，视频通话画面510能够以显示提供自己的影像的参与者影像的全部或一部分的形式构成。或者，视频通话画面510能够以将参与者影像向一方向排列之后可向排列方向滑动的形式构成。
除视频通话之外，在语音通话的情况下，如图8所示，作为网络电话通话画面，处理器212可提供包含参与通话的参与者目录的语音通话画面810。在语音通话过程中共享内容的情况下，处理器212可显示包含参与者目录的语音通话画面810和内容共享画面740。
因此，在本实施例中，在利用社交图的网络电话通话(语音通话或视频通话)过程中，通话参与者之间可共享多种媒体内容。
图9为示出本发明一实施例的网络电话通话过程中显示反应的方法的示例的流程图。图9的反应显示方法通过反应显示部350执行，可包括在图4的内容共享方法所包括的步骤S450中。
在步骤S901中，反应显示部350可在网络电话通话(语音通话或视频通话)过程中接收电子设备110的用户输入反应的位置信息。作为一例，反应显示部350可以将用户通过触摸等实际输入反应的位置坐标识别成输入用户的反应的画面(网络电话通话画面或内容共享画面)上的位置信息。输入反应的位置坐标可根据反应类型由一对XY坐标形成，此外，作为追踪1个或2个以上的触摸的轨迹信息，可由XY坐标集合形成。作为另一例，在对内容共享画面输入的反应的情况下，反应显示部350可以将在用户输入反应的时间点在内容共享画面上回放中的内容的回放位置识别成输入用户的反应的位置信息。
在步骤S902中，反应显示部350可以以在步骤S901中接收的位置信息为基础，在网络电话通话画面中包含的参与者影像和内容共享画面中指定电子设备110的用户输入反应的对象(以下，称之为“反应对象”)。用户可以对网络电话通话画面中所包含的参与者影像中任一个参与者影像或内容共享画面输入反应，在此情况下，反应显示部350以输入用户的反应的位置信息为基础来指定反应对象。作为一例，反应显示部350可以在网络电话通话画面和内容共享画面中将与实际输入反应的位置坐标对应的画面指定为反应对象。在用户在网络电话通话画面内对特定参与者的影像输入反应的情况下，可通过对应参与者的标识符指定反应对象。作为另一例，在内容的回放位置被识别成反应位置信息的情况下，反应显示部350可将内容共享画面指定为反应对象。作为另一例，反应显示部350可分析与内容的回放位置对应的画面的至少一部分来指定反应对象。在此情况下，反应显示部350可以向服务器150传输与画面的至少一部分有关的图像数据，可利用在服务器150或能够与服务器150交互的平台上构建的图像学习模型来从服务器150接收与从图像数据识别的事物、人物、场所等有关的信息，由此可特定反应对象。
在步骤S903中，反应显示部350可以向参与网络电话通话的其他用户，即，通话参与者传输与从电子设备110的用户输入的反应和反应对象有关的信息及与对应反应有关的位置信息。与反应有关的信息可包含反应类型，与反应对象有关的信息可以包含表示是否为对于网络电话通话画面内的一个参与者影像的反应或对于内容共享画面的反应的信息。反应显示部350可以将与反应和反应对象有关的信息及反应位置信息生成为网络电话通话频道的协议内元数据来通过服务器150或对等网络向通话参与者传输。作为一例，反应显示部350将参与网络电话通话的所有用户作为对象来传输包含与反应和反应对象有关的信息及反应位置信息的网络电话通话数据包的元数据。作为另一例，反应显示部350在参与网络电话通话的用户中指定与反应对象对应的参与者并向对应参与者传输包含与反应有关的信息及反应位置信息的网络电话通话数据包的元数据。
在步骤S904中，反应显示部350可以在网络电话通话画面和内容共享画面中，在与反应对象对应的画面上，以反应位置信息为基础，在对应位置显示反应。按反应，与各个反应匹配的对象可以预先被定义，反应显示部350可以使与用户输入的反应相匹配的对象与反应对象相关联来显示在输入对应反应的位置。在此情况下，对象可以包含与反应对应地预先定义的图像、效果动画(effect animation)等视觉要素，除这种视觉要素之外，还可包含触觉等触觉要素或基于音频的听觉要素。
参与网络电话通话的其他用户的电子设备120、130、140均显示网络电话通话画面和内容共享画面，在此情况下，以从电子设备110接收的网络电话通话数据包的元数据为基础，可分析电子设备110的用户输入的反应和反应对象及反应位置信息。在其他用户的电子设备120、130、140中，在网络电话通话画面和内容共享画面中的与反应对象对应的画面上，以反应位置信息为基础，在对应位置显示电子设备110的用户输入的反应。根据实施例，在参与网络电话通话的其他用户的电子设备120、130、140中，可以仅有与反应对象对应的参与者的电子设备(例如，120、130、140中的120)从电子设备110接收反应相关元数据并在网络电话通话画面内在自己的参与者影像画面上显示电子设备110的用户输入的反应。
图10至图12为用于说明本发明一实施例的网络电话通话过程中显示反应的过程的例示图。
图10和图11示出视频通话过程中，用户之间传递反应的场景。
参照图10，电子设备110的用户可通过内容共享画面740与参与视频通话的其他用户共享相同的视频，在此情况下，一同观看视频并可以在特定回放位置留下反应。
在通过与内容共享画面740有关的反应输入界面1001(例如，点赞按钮)输入反应的情况下，处理器212可以将用户输入反应的时间点的内容的回放位置识别成输入用户的反应的位置信息。
处理器212可以在内容共享画面740上，作为一例，在表示内容的回放位置的进度条1041(progress bar)上可以显示用户输入的反应的图像1002，在此情况下，反应图像1002可以显示在与用户输入反应的时间点的回放位置对应的位置。
参与网络电话通话的其他用户的电子设备120、130、140均可在与电子设备110的用户共享的内容共享画面740上，将电子设备110的用户输入的反应显示在对应反应的输入位置，由此，参与网络电话通话的用户之间可以共享留下反应的位置。
参照图11，电子设备110的用户可将作为内容共享画面的在电子设备110中执行的画面中，作为画面共享对象指定的购物网站画面1150与参与视频通话的其他用户共享，在此情况下，在通过画面共享的购物网站画面1150中，可以留下对于特定事项的反应。
处理器212可根据对于与内容共享画面对应的购物网站画面1150的用户输入显示反应输入界面1101，在此情况下，用户可通过反应输入界面1101，在购物网站画面1150内特定事项的位置输入反应。
处理器212可在购物网站画面1150上，在用户输入反应的位置显示用户输入的反应的图像1102。
参与网络电话通话的其他用户的电子设备120、130、140均可以在与电子设备110的用户共享的购物网站画面1150上，将电子设备110的用户输入的反应显示在对应反应的输入位置，由此，在参与网络电话通话的用户之间可以共享留下反应的位置。
处理器212可以在网络电话通话参与者中识别输入反应的用户，在视频通话画面510内，在对应用户的影像画面上显示反应图像1002、1102，由此，可以轻松掌握基于在参与网络电话通话的用户中的哪个用户的反应。
除上述场景之外，利用画面共享的协作也可以与通过图11说明的场景类似地，参与网络电话通话的用户之间共享显示协作文献的画面，并将对于在画面上的文献内特定部分的疑问或意见等作为反应传递。
除对于在网络电话通话过程中共享的内容的反应之外，也可指定在视频通话画面510内的特定参与者来传递反应。在电子设备110的用户在视频通话画面510中选择特定参与者来输入反应的情况下，处理器212可以在视频通话画面510内，在对应参与者影像画面上显示反应图像。
在网络电话通话过程中，反应可以向一方传递并显示，也可以双向收发并显示。例如，若参与网络电话通话的用户1画上心的一部分并传递，则用户2可采取画上剩余部分来完成的形式的反应。
进而，处理器212可以向进行网络电话通话的聊天室传输与在网络电话通话过程中共享的媒体内容有关的信息及与在网络电话通话过程中接收的反应有关的信息并管理。
参照图12，如图10的场景，在参与网络电话通话的用户对在网络电话通话过程中共享的视频留下反应的情况下，处理器212可接收对应视频的缩略图、反应对象、输入反应的时间和用户昵称等来作为包含在聊天室1200中的消息类型1201记录并显示。
并且，如图11的场景，在参与网络电话通话的用户对在网络电话通话过程中共享的画面留下反应的情况下，处理器212可接收共享画面的截图(capture)影像、反应对象、输入反应的时间和用户昵称等来作为包含在聊天室1200中的消息类型1202记录并显示。在此情况下，参与网络电话通话的用户在网络电话通话过程中将其他用户作为对象输入反应的情况下，可显示作为反应对象的用户的图像和输入反应的用户的反应对象。
因此，处理器212可通过聊天室1200管理在网络电话通话过程中收发的媒体内容及与反应有关的信息并构建与网络电话通话有关的历史。换句话说，即使网络电话通话结束，也可在聊天室1200中保存在网络电话通话过程中收发的媒体内容及与反应有关的资料。
如上所述，根据本发明的实施例，在网络电话通话过程中，可以实时显示通话参与者之间收发的反应。
以上说明的装置可实现为硬件结构要素、软件结构要素和/或硬件结构要素及软件结构要素的组合。例如，在实施例中说明的装置及结构要素可利用如处理器、控制器、算术逻辑单元(arithmetic logic unit，ALU)、数字信号处理器(digital signalprocessor)、微型计算机、现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑单元(programmable logic unit，PLU)、微处理器或可执行并响应指令(instruction)的任何其他装置的一个以上的通用计算机或专用计算机实现。处理装置可以执行操作系统(OS)及在上述操作系统上执行的一个以上的软件应用。并且，处理装置响应于软件的执行来访问、存储、操作、处理及生成数据。为了方便理解，说明了仅使用一个处理装置的情况，本发明所属技术领域的技术人员可以知道处理装置可包括多个处理要素(processing element)和/或多种类型的处理要素。例如，处理装置可包括多个处理器或一个处理器及一个控制器。并且，也可以是如并行处理器(parallel processor)的其他处理结构(processing configuration)。
软件可包含计算机程序(computer program)、代码(code)、指令(instruction)或它们中的一种以上的组合，能够以按需要进行操作的方式构成处理装置或对独立或结合性(collectively)地向处理装置下达指令。软件和/或数据可以为了通过处理装置解析或者为了向处理装置提供指令或数据而可以具体化(embody)在任何类型的机器、结构要素(component)、物理装置、计算机存储介质或装置。软件可分散在通过网络连接的计算机系统上，从而通过分散的方法存储或执行。软件及数据可存储于一个以上的计算机可读记录介质中。
实施例的方法可实现为可通过多种计算机单元执行的程序指令形式来记录在计算机可读介质中。在此情况下，介质可以继续存储能够通过计算机执行的程序，或者为了执行或下载而暂时存储。并且，介质可以为单个或多个硬件结合的形式的多种记录单元或存储单元，而并不局限于与一种计算机系统直接连接的介质，而可以在网络上分散存在。作为介质的例示，可以有包括如硬盘、软盘及磁带的磁介质、如CD-ROM及DVD的光记录介质、如光磁软盘(floptical disk)的磁光介质(magneto-optical medium)及只读存储器、随机存取存储器、闪存等在内的、以存储程序指令的方式构成的介质。并且，作为其他介质的例示，也可以列举流通应用的应用商城或供给或流通其他多种软件的网站、在服务器等中管理的记录介质或存储介质。
如上所述，虽然通过限定的实施例和附图说明了多个实施例，但是只要是本发明所属技术领域的技术人员，就可以从上述记载进行多种修改及变形。例如，即使所说明的技术以与所说明的方法不同的顺序执行和/或所说明的系统、结构、装置、电路等的结构要素以与所说明的方法不同的形式结合或组合，或者通过其他结构要素或等同物代替或置换，也可以实现适当结果。
因此，其他实例、其他实施例及与发明要求保护范围等同的内容也属于所附的发明要求保护范围内。

Claims (20)

1.一种反应显示方法，在计算机装置中执行，其特征在于，
上述计算机装置包括被配置为执行包含在存储器中的计算机可读指令的至少一个处理器，
上述反应显示方法包括：
显示步骤，通过上述至少一个处理器，在上述计算机装置的用户参与的网络电话通话过程中共享媒体内容的情况下，显示网络电话通话画面和内容共享画面；
接收步骤，通过上述至少一个处理器，在上述网络电话通话过程中，接收上述计算机装置的用户输入反应的位置信息；
传输步骤，通过上述至少一个处理器，将参与上述网络电话通话的至少一个其他用户作为对象传输与上述反应有关的信息和上述位置信息；以及
显示步骤，通过上述至少一个处理器，以上述位置信息为基础，在上述网络电话通话画面或上述内容共享画面上显示上述反应。
2.根据权利要求1所述的反应显示方法，其特征在于，上述接收步骤包括如下的识别步骤：将输入上述反应的位置坐标识别成上述网络电话通话画面或上述内容共享画面上的位置信息。
3.根据权利要求1所述的反应显示方法，其特征在于，上述接收步骤包括如下的识别步骤：在对上述内容共享画面输入反应的情况下，将在上述计算机装置的用户输入反应的时间点上在上述内容共享画面上回放中的内容的回放位置识别成上述位置信息。
4.根据权利要求1所述的反应显示方法，其特征在于，上述反应显示方法还包括如下的指定步骤：通过上述至少一个处理器，以上述位置信息为基础，在包含在上述网络电话通话画面中的参与者影像和上述内容共享画面中指定反应对象。
5.根据权利要求4所述的反应显示方法，其特征在于，在上述指定步骤中，在上述网络电话通话画面和上述内容共享画面中，将与输入上述反应的位置坐标对应的画面指定为上述反应对象。
6.根据权利要求4所述的反应显示方法，其特征在于，在上述指定步骤中，在将上述内容共享画面上回放中的内容的回放位置作为上述位置信息接收的情况下，在上述网络电话通话画面和上述内容共享画面中，将上述内容共享画面指定为上述反应对象。
7.根据权利要求4所述的反应显示方法，其特征在于，在上述传输步骤中，在参与上述网络电话通话的其他用户中指定与上述反应对象对应的用户，并将所指定的上述用户作为对象传输与上述反应有关的信息和上述位置信息。
8.根据权利要求1所述的反应显示方法，其特征在于，
在上述传输步骤中，生成包含与上述反应有关的信息和上述位置信息的网络电话通话数据包的元数据来传输，
在上述其他用户的计算机装置中，以上述元数据为基础来在上述其他用户的计算机装置的画面上显示上述反应。
9.根据权利要求1所述的反应显示方法，其特征在于，在上述显示步骤中，在上述网络电话通话画面和上述内容共享画面中，在与上述位置信息对应的画面上的位置显示与上述反应相匹配的对象。
10.根据权利要求1所述的反应显示方法，其特征在于，上述反应显示方法还包括如下的传输步骤：通过上述至少一个处理器，向与上述网络电话通话有关的聊天室传输与在上述网络电话通话过程中共享的上述媒体内容有关的信息及与在上述网络电话通话过程中接收的上述反应有关的信息。
11.根据权利要求10所述的反应显示方法，其特征在于，向与上述网络电话通话有关的聊天室传输信息的步骤包括如下的管理步骤：按包括在上述聊天室中的消息类型管理与上述媒体内容有关的信息及与上述反应有关的信息。
12.一种非暂时性计算机可读记录介质，其特征在于，存储有用于在计算机装置中执行根据权利要求1至11中任一项所述的反应显示方法的计算机程序。
13.一种计算机装置，其特征在于，包括被实现为执行包含在存储器中的计算机可读指令的至少一个处理器，
上述至少一个处理器处理如下的过程：
显示过程，在上述计算机装置的用户参与的网络电话通话过程中共享媒体内容的情况下，显示网络电话通话画面和内容共享画面；
接收过程，在上述网络电话通话过程中，接收上述计算机装置的用户输入反应的位置信息；
传输过程，将参与上述网络电话通话的至少一个其他用户作为对象传输与上述反应有关的信息和上述位置信息；以及
显示过程，以上述位置信息为基础，在上述网络电话通话画面或上述内容共享画面上显示上述反应。
14.根据权利要求13所述的计算机装置，其特征在于，上述至少一个处理器将输入上述反应的位置坐标识别成上述网络电话通话画面或上述内容共享画面上的位置信息。
15.根据权利要求13所述的计算机装置，其特征在于，在对上述内容共享画面输入反应的情况下，上述至少一个处理器将在上述计算机装置的用户输入反应的时间点上在上述内容共享画面上回放中的内容的回放位置识别成上述位置信息。
16.根据权利要求13所述的计算机装置，其特征在于，上述至少一个处理器以上述位置信息为基础，在包含在上述网络电话通话画面中的参与者影像和上述内容共享画面中指定反应对象。
17.根据权利要求16所述的计算机装置，其特征在于，上述至少一个处理器在参与上述网络电话通话的其他用户中指定与上述反应对象对应的用户，并将所指定的上述用户作为对象传输与上述反应有关的信息和上述位置信息。
18.根据权利要求13所述的计算机装置，其特征在于，
上述至少一个处理器生成包含与上述反应有关的信息和上述位置信息的网络电话通话数据包的元数据来传输，
在上述其他用户的计算机装置中，以上述元数据为基础来在上述其他用户的计算机装置的画面上显示上述反应。
19.根据权利要求13所述的计算机装置，其特征在于，上述至少一个处理器在上述网络电话通话画面和上述内容共享画面中，在与上述位置信息对应的画面上的位置显示与上述反应相匹配的对象。
20.根据权利要求13所述的计算机装置，其特征在于，上述至少一个处理器向与上述网络电话通话有关的聊天室传输与在上述网络电话通话过程中共享的上述媒体内容有关的信息及与在上述网络电话通话过程中接收的上述反应有关的信息并按包括在上述聊天室中的消息类型进行管理。
CN202110478704.XA 2020-05-06 2021-04-30 反应显示方法、计算机装置及计算机可读记录介质 Pending CN113630511A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0053605 2020-05-06
KR1020200053605A KR20210135683A (ko) 2020-05-06 2020-05-06 인터넷 전화 기반 통화 중 리액션을 표시하는 방법, 시스템, 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
CN113630511A true CN113630511A (zh) 2021-11-09

Family

ID=78377926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110478704.XA Pending CN113630511A (zh) 2020-05-06 2021-04-30 反应显示方法、计算机装置及计算机可读记录介质

Country Status (4)

Country Link
US (2) US11470127B2 (zh)
JP (1) JP2021177625A (zh)
KR (1) KR20210135683A (zh)
CN (1) CN113630511A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023213245A1 (zh) * 2022-05-06 2023-11-09 北京字跳网络技术有限公司 信息展示方法、装置、设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4327731A3 (en) 2015-08-20 2024-05-15 Apple Inc. Exercise-based watch face
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
CN113892077A (zh) 2019-06-01 2022-01-04 苹果公司 多模式活动跟踪用户界面
WO2022245669A1 (en) 2021-05-15 2022-11-24 Apple Inc. User interfaces for group workouts
CN114501089B (zh) * 2022-01-30 2023-05-05 深圳创维－Rgb电子有限公司 投屏通话方法、装置、电子设备及存储介质
US11977729B2 (en) 2022-06-05 2024-05-07 Apple Inc. Physical activity information user interfaces
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035248A (zh) * 2007-03-29 2007-09-12 华为技术有限公司 共享图片和/或视频数据的方法、系统及可视电话
CN107004182A (zh) * 2014-11-25 2017-08-01 微软技术许可有限责任公司 来自实时共享的可行动的纪念物
CN107278361A (zh) * 2014-10-29 2017-10-20 微软技术许可有限责任公司 在即时消息传递期间传输媒体内容
US9807732B1 (en) * 2016-08-10 2017-10-31 Facebook, Inc. Techniques for tuning calls with user input
US20180352303A1 (en) * 2016-12-29 2018-12-06 Dressbot Inc. System and method for multi-user digital interactive experience
CN109155024A (zh) * 2016-05-20 2019-01-04 微软技术许可有限责任公司 与用户和接收设备共享内容

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100401262B1 (ko) 2001-05-08 2003-10-17 에스케이 텔레콤주식회사 이동전화망에서의 화상전화 서비스 제공 장치 및 그 방법
EP2258085A1 (en) * 2008-03-10 2010-12-08 Dilithium Holdings, Inc. Method and apparatus for video services
US8688841B2 (en) * 2008-06-05 2014-04-01 Modena Enterprises, Llc System and method for content rights based on existence of a voice session
US8594740B2 (en) * 2008-06-11 2013-11-26 Pantech Co., Ltd. Mobile communication terminal and data input method
US8613026B2 (en) * 2008-09-10 2013-12-17 Qualcomm Incorporated Methods and systems for viewer interactivity and social networking in a mobile TV broadcast network
US20100153497A1 (en) * 2008-12-12 2010-06-17 Nortel Networks Limited Sharing expression information among conference participants
US9165073B2 (en) * 2009-08-17 2015-10-20 Shoutpoint, Inc. Apparatus, system and method for a web-based interactive video platform
US9553974B2 (en) * 2010-08-11 2017-01-24 Apple Inc. Media/voice binding protocol and related user interfaces
US20120069028A1 (en) * 2010-09-20 2012-03-22 Yahoo! Inc. Real-time animations of emoticons using facial recognition during a video chat
KR101226560B1 (ko) * 2011-03-29 2013-01-25 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
US10638197B2 (en) * 2011-11-07 2020-04-28 Monet Networks, Inc. System and method for segment relevance detection for digital content using multimodal correlations
US11064257B2 (en) * 2011-11-07 2021-07-13 Monet Networks, Inc. System and method for segment relevance detection for digital content
US20170251262A1 (en) * 2011-11-07 2017-08-31 Monet Networks, Inc. System and Method for Segment Relevance Detection for Digital Content Using Multimodal Correlations
US20130173742A1 (en) * 2011-12-28 2013-07-04 United Video Properties, Inc. Systems and methods for latency-based synchronized playback at multiple locations
US8554049B2 (en) * 2011-12-28 2013-10-08 United Video Properties, Inc. Systems and methods for synchronizing playback at multiple locations
US9148611B2 (en) * 2012-10-18 2015-09-29 Mettalk.Com, Inc. Method and apparatus for coviewing video
US10044975B2 (en) * 2016-12-09 2018-08-07 NetTalk.com, Inc. Method and apparatus for coviewing video
US10972521B2 (en) * 2012-10-18 2021-04-06 NetTalk.com, Inc. Method and apparatus for coviewing video
US20140123014A1 (en) * 2012-11-01 2014-05-01 Inxpo, Inc. Method and system for chat and activity stream capture and playback
US20140137144A1 (en) * 2012-11-12 2014-05-15 Mikko Henrik Järvenpää System and method for measuring and analyzing audience reactions to video
US20140333713A1 (en) * 2012-12-14 2014-11-13 Biscotti Inc. Video Calling and Conferencing Addressing
US10200654B2 (en) * 2013-02-27 2019-02-05 Szymczyk Matthew Systems and methods for real time manipulation and interaction with multiple dynamic and synchronized video streams in an augmented or multi-dimensional space
US8903958B1 (en) * 2013-11-20 2014-12-02 Zspace, Inc. System and methods for cloud based 3D design and collaboration
CN110475217B (zh) * 2014-01-20 2023-09-12 三星电子株式会社 用于共享数据的电子设备和用于控制该设备的方法
US10516629B2 (en) * 2014-05-15 2019-12-24 Narvii Inc. Systems and methods implementing user interface objects
US9319442B2 (en) * 2014-05-28 2016-04-19 Cisco Technology, Inc. Real-time agent for actionable ad-hoc collaboration in an existing collaboration session
US10057305B2 (en) * 2014-09-10 2018-08-21 Microsoft Technology Licensing, Llc Real-time sharing during a phone call
US10965633B2 (en) * 2014-09-29 2021-03-30 Microsoft Technoiogy Licensing, LLC Session history horizon control
GB2535980A (en) * 2015-02-11 2016-09-07 Apps Interactive Ltd A communication interface
US20170006356A1 (en) * 2015-07-01 2017-01-05 Microsoft Corporation Augmented experience of media presentation events
US20170034237A1 (en) * 2015-07-28 2017-02-02 Giga Entertainment Media Inc. Interactive Content Streaming Over Live Media Content
JP6777089B2 (ja) * 2015-11-04 2020-10-28 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN106789543A (zh) * 2015-11-20 2017-05-31 腾讯科技（深圳）有限公司 会话中实现表情图像发送的方法和装置
US20170168692A1 (en) * 2015-12-14 2017-06-15 Microsoft Technology Licensing, Llc Dual-Modality Client Application
US20170171275A1 (en) * 2015-12-14 2017-06-15 Jbf Interlude 2009 Ltd. Object Embedding in Multimedia
US11146865B2 (en) * 2016-03-03 2021-10-12 Comcast Cable Communications, Llc Determining points of interest in a content item
CN105791692B (zh) * 2016-03-14 2020-04-07 腾讯科技（深圳）有限公司 一种信息处理方法、终端及存储介质
CN105930828B (zh) * 2016-04-15 2021-05-14 腾讯科技（深圳）有限公司 表情分类标识的控制方法及装置
US10104417B2 (en) * 2016-07-26 2018-10-16 At&T Mobility Ii Llc Method and apparatus for sponsored messaging
US10218749B2 (en) * 2016-11-04 2019-02-26 American Teleconferencing Services, Ltd. Systems, methods, and computer programs for establishing a screen share session for a remote voice call
US10950275B2 (en) * 2016-11-18 2021-03-16 Facebook, Inc. Methods and systems for tracking media effects in a media effect index
US10554908B2 (en) * 2016-12-05 2020-02-04 Facebook, Inc. Media effect application
US20180188905A1 (en) * 2017-01-04 2018-07-05 Google Inc. Generating messaging streams with animated objects
WO2018145577A1 (zh) * 2017-02-08 2018-08-16 腾讯科技（深圳）有限公司 表情推荐方法和装置
US10404636B2 (en) * 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
US10348658B2 (en) * 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US20190019533A1 (en) * 2017-07-17 2019-01-17 Mashlink, Inc. Methods for efficient annotation of audiovisual media
CN107479784B (zh) * 2017-07-31 2022-01-25 腾讯科技（深圳）有限公司 表情展示方法、装置及计算机可读存储介质
CN109388297B (zh) * 2017-08-10 2021-10-22 腾讯科技（深圳）有限公司 表情展示方法、装置、计算机可读存储介质及终端
US10536542B1 (en) * 2017-09-05 2020-01-14 Amazon Technologies, Inc. Dynamic social content exploring systems and methods
US10693830B2 (en) * 2017-10-26 2020-06-23 Halo Innovative Solutions Llc Methods, systems, apparatuses and devices for facilitating live streaming of content on multiple social media platforms
CN107888845B (zh) * 2017-11-14 2022-10-21 腾讯数码（天津）有限公司 一种视频图像处理方法、装置及终端
US10855952B1 (en) * 2018-02-02 2020-12-01 Mado Labs, Inc. User engagement computer system and method of using same
US11206462B2 (en) * 2018-03-30 2021-12-21 Scener Inc. Socially annotated audiovisual content
US11012389B2 (en) * 2018-05-07 2021-05-18 Apple Inc. Modifying images with supplemental content for messaging
US10740680B2 (en) * 2018-05-15 2020-08-11 Ringcentral, Inc. System and method for message reaction analysis
US10820060B1 (en) * 2018-06-27 2020-10-27 Facebook, Inc. Asynchronous co-watching
US10970547B2 (en) * 2018-12-07 2021-04-06 Microsoft Technology Licensing, Llc Intelligent agents for managing data associated with three-dimensional objects
USD997952S1 (en) * 2018-12-21 2023-09-05 Streamlayer, Inc. Display screen with transitional graphical user interface
US11251982B2 (en) * 2019-06-12 2022-02-15 Nextiva, Inc. System and method of creating and organizing private chat messages
US11611714B2 (en) * 2019-08-01 2023-03-21 Meta Platforms, Inc. Generating customized, personalized reactions to social media content
US20210067476A1 (en) * 2019-08-28 2021-03-04 Microsoft Technology Licensing, Llc Intelligent chat object sending animations
US10972682B1 (en) * 2019-12-12 2021-04-06 Facebook, Inc. System and method for adding virtual audio stickers to videos
US11562510B2 (en) * 2019-12-21 2023-01-24 Samsung Electronics Co., Ltd. Real-time context based emoticon generation system and method thereof
KR102316822B1 (ko) * 2020-02-19 2021-10-25 라인플러스 주식회사 영상과 관련된 사용자 반응에 기반하여 컨텐츠를 제공하는 방법, 장치, 및 컴퓨터 프로그램
KR20210130583A (ko) * 2020-04-22 2021-11-01 라인플러스 주식회사 인스턴트 메시징 애플리케이션을 통해 콘텐츠를 공유하는 방법 및 시스템
KR102345242B1 (ko) * 2020-04-22 2021-12-30 라인플러스 주식회사 인터넷 전화 기반 통화 중에 컨텐츠를 공유하는 방법, 시스템, 및 컴퓨터 프로그램

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035248A (zh) * 2007-03-29 2007-09-12 华为技术有限公司 共享图片和/或视频数据的方法、系统及可视电话
CN107278361A (zh) * 2014-10-29 2017-10-20 微软技术许可有限责任公司 在即时消息传递期间传输媒体内容
CN107004182A (zh) * 2014-11-25 2017-08-01 微软技术许可有限责任公司 来自实时共享的可行动的纪念物
CN109155024A (zh) * 2016-05-20 2019-01-04 微软技术许可有限责任公司 与用户和接收设备共享内容
US9807732B1 (en) * 2016-08-10 2017-10-31 Facebook, Inc. Techniques for tuning calls with user input
US20180352303A1 (en) * 2016-12-29 2018-12-06 Dressbot Inc. System and method for multi-user digital interactive experience

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023213245A1 (zh) * 2022-05-06 2023-11-09 北京字跳网络技术有限公司 信息展示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11792241B2 (en) 2023-10-17
JP2021177625A (ja) 2021-11-11
US11470127B2 (en) 2022-10-11
KR20210135683A (ko) 2021-11-16
US20230007058A1 (en) 2023-01-05
US20210352118A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
CN113630511A (zh) 反应显示方法、计算机装置及计算机可读记录介质
EP2522160B1 (en) Tagging of multimedia content with geographical location by the user of a wireless communications device
CN113168660A (zh) 消息管理方法、可读存储介质、计算机系统及电子设备
KR102385081B1 (ko) 메신저 내 플랫폼에 추가된 애플리케이션을 이용하여 대화방에서 정보를 공유하는 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
JP2023065376A (ja) 生放送中の音声フィードバックのための方法とシステム、および非一時的コンピュータ読取可能な記録媒体
US11496428B2 (en) Method and system for sharing content on instant messaging application
KR102638580B1 (ko) 하나의 대화방에서 다수의 그룹통화를 제공하는 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
JP2021129296A (ja) ビデオ通話ボットを利用してコミュニケーションを提供する方法、システム、およびコンピュータプログラム
US20240007510A1 (en) METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER-READABLE RECORD MEDIUM FOR SHARING CONTENT DURING VoIP-BASED CALL
CN112738013A (zh) 群呼方法、计算机装置及计算机可读记录介质
JP2020177655A (ja) イベントメッセージを管理するための方法、システム、および非一時的なコンピュータ読み取り可能な記録媒体
US20230047600A1 (en) Method and system for sharing content on instant messaging application during calls
KR20200133965A (ko) 오픈톡에서 하위 채팅방을 생성하는 방법 및 시스템
KR20210015449A (ko) 메시지 모니터링을 위한 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체에 저장되는 컴퓨터 프로그램
KR20210089420A (ko) 특화된 태그를 이용하여 그룹을 생성하는 방법, 시스템, 및 컴퓨터 프로그램
WO2019172471A1 (ko) 사용자 피드백이 가능한 봇을 기반으로 영상을 제작하는 방법과 시스템 및 비-일시적인 컴퓨터 판독가능한 기록 매체
KR20200138977A (ko) 대화방에서 컨텐츠 생성자를 픽할 수 있는 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination