CN103812761A - 用于使用增强现实提供社交网络服务的设备和方法 - Google Patents

用于使用增强现实提供社交网络服务的设备和方法 Download PDF

Info

Publication number
CN103812761A
CN103812761A CN201310573278.3A CN201310573278A CN103812761A CN 103812761 A CN103812761 A CN 103812761A CN 201310573278 A CN201310573278 A CN 201310573278A CN 103812761 A CN103812761 A CN 103812761A
Authority
CN
China
Prior art keywords
user
image
constructed
unit
receive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310573278.3A
Other languages
English (en)
Other versions
CN103812761B (zh
Inventor
文珉暎
郑隐成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103812761A publication Critical patent/CN103812761A/zh
Application granted granted Critical
Publication of CN103812761B publication Critical patent/CN103812761B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种用于使用增强现实提供社交网络服务的设备和方法。一种用于通过使用增强现实来提供社交网络服务(SNS)的系统。所述系统包括：第一装置，被构造为接收第一用户的图像，基于接收的图像创建参考图像，并将参考图像发送给第二装置；和第二装置，被构造为从第一装置接收参考图像，基于参考图像和第二用户的当前环境信息产生虚拟图像，并在预定位置显示虚拟图像。

Description

用于使用增强现实提供社交网络服务的设备和方法
本申请要求于2012年11月13日提交的第10-2012-0128337号韩国专利申请的优先权和利益，其全部公开为了所有目的通过引用包含于此。
技术领域
下面的描述涉及通过使用电视系统实现增强现实来提供社交网络服务。
背景技术
随着近来经社交网络服务(SNS)分享意见和交换信息的趋势，已经开始关注允许用户在观看相同电视(TV)节目的同时与其他用户实时聊天的系统。通常，用户需要在观看TV的同时观看显示器并使用键盘输入消息以继续会话。因此，用户难以在将其注意力集中于观看TV的同时在键盘上进行输入。因此，通过将SNS简单应用于TV，TV已从家用电器演进为由许多用户享受的通信系统。然而，这些通信系统不提供这样的环境：用户可感觉到一组人实际位于同一地点并在一起观看TV的同时进行真实会话。
发明内容
该“发明内容”用于以简化的形式介绍以下在“具体实施方式”中进一步描述的概念的选择。该“发明内容”并不意图识别要求保护的主题的关键特征或必要特征，它也不应该用于确定要求保护的主题的范围。
在一个总体方面，提供一种用于提供社交网络服务(SNS)的系统，所述系统包括：第一装置，被构造为接收第一用户的图像，基于接收的图像创建参考图像，并将参考图像发送给第二装置；和第二装置，被构造为从第一装置接收参考图像，基于参考图像和第二用户的当前环境信息产生虚拟图像，并在预定位置显示虚拟图像。
第一装置可包括：图像传感器，被构造为收集第二用户的图像并将收集的图像发送给第一用户。
第一装置可还被构造为：接收第一用户的第一音频并输出第一音频或将第一音频发送给第二装置，并且接收第二用户的第二音频并将第二音频发送给第一用户。
第一装置可还被构造为接收一个或多个控制指令以控制第一装置，控制指令包括用于显示当前正在观看广播节目的第二用户的朋友的列表的指令或用于发起与第二用户的一个或多个朋友的会话的指令。
环境信息可包括第二用户的观看方向和观看角度中的至少一个。
第二装置可还被构造为基于环境信息和显示虚拟图像的位置确定虚拟图像的形状。
第一装置可以是被构造为接收并输出TV信号的电视，并且第二装置可以是可穿戴装置。
虚拟图可被显示为与第一装置上显示的另一图像重叠。
在另一总体方面，一种提供社交网络服务(SNS)的方法，所述方法包括：在第一装置接收SNS的第一用户的图像；基于接收的图像创建参考图像；将参考图像发送给第二装置；在第二装置基于参考图像和第二用户的当前环境信息产生虚拟图像；以及在预定位置显示虚拟图像。
所述方法可还包括：接收第一用户的第一音频；以及输出第一用户的第一音频或将第一音频发送给第二装置。
所述方法可还包括：将由图像传感器收集的第二用户的图像发送给第一用户。
环境信息可包括：第二用户的观看方向和观看角度中的至少一个。
产生虚拟图像的步骤可包括：基于环境信息和显示虚拟图像的位置确定将要产生的虚拟图像的形状。
第一装置可以是被构造为接收并输出TV信号的电视，并且第二装可以是可穿戴装置。
创建参考图像的步骤可包括：基于接收的图像和第一用户的默认图像创建参考图像。
默认图像可基于第一用户的情绪状态和第一用户的脸部表情中的至少一个。
默认图像可被存储在默认图像数据库中，并且可包括虚拟化身、名人的图像、第一用户的真实图像和与第一用户关联的图像中的至少一个。
显示虚拟图像的步骤可包括：将虚拟图像显示为与第一装置上显示的另一图像重叠。
显示虚拟图像的步骤可包括：显示第一用户的虚拟图像的一部分。
在另一总体方面，一种装置包括：至少一个图像传感器，所述图像传感器被构造为收集第一用户的图像；第一通信单元，被构造为将第一用户的图像发送给第二用户并且接收第二用户的图像；图像创建单元，被构造为基于接收的第二用户的图像创建参考图像；和第二通信单元，被构造为将参考图像发送给第二装置，并且使用参考图像产生将要被显示给第一用户的虚拟图像。
所述装置可还包括：用户识别单元，被构造为识别第一用户；和指令处理单元，被构造为从第一用户接收各种控制指令并响应于控制指令处理相应操作。
控制指令可包括以下各项中的至少一个：显示所有朋友的列表、显示当前正在观看广播节目的朋友的列表、和发起与特定朋友的会话。
所述装置可还包括：语音输出单元，被构造为输出通过第一通信单元接收的第二用户的音频；和语音接收单元，被构造为接收第一用户的音频并通过第一通信单元将第一用户的音频发送给第二用户。
所述装置可还包括：默认图像数据库(DB)，被构造为存储用于创建参考图像的默认图像，其中，所述图像创建单元被构造为基于接收的第二用户的图像选择一个默认图像以创建参考图像。
在另一总体方面，一种第二装置包括：通信单元，被构造为从第一装置接收第二用户的参考图像；环境识别单元，被构造为识别正在观看第一装置上显示的内容的第一用户的当前环境信息；渲染单元，被构造为基于接收的图像和环境信息产生虚拟图像；和显示单元，被构造为在预定位置显示产生的虚拟图像。
所述第二装置可还包括：图像传感器，被构造为创建第一用户的图像；以及所述环境识别单元分析第一用户的图像并产生包括该用户的观看方向和观看角度中的至少一个的环境信息。
渲染单元可还被构造为基于环境信息和显示虚拟图像的位置确定虚拟图像的形状。
所述第二装置可还包括：语音输出单元，被构造为输出通过通信单元从第一装置接收的第二用户的讲话语音；和语音接收单元，被构造为接收第一用户的讲话语音并通过通信单元将接收的语音发送给第一装置。
第二装置可以是可穿戴装置。
通过下面的详细描述、附图和权利要求，其它特点和方面将会变得清楚。
附图说明
图1是示出用于提供社交网络服务的设备的示例的示图。
图2是示出用于提供社交网络服务的设备的示例的示图。
图3A至图3C是示出显示用户朋友的图像的示例的示图。
图4是示出提供社交网络服务的方法的示例的示图。
图5是示出第一装置的示例的示图。
图6是示出第一装置的操作的示例的示图。
图7是示出第二装置的示例的示图。
图8是示出第二装置的操作的示例的示图。
在贯穿附图和详细描述中，除非另外描述，否则相同标号将会始终被理解为表示相同元件、特点和结构。为了清楚、说明和方便，这些元件的相对尺寸和描述可被夸大。
具体实施方式
提供下面的描述以帮助阅读者获得对这里描述的方法、设备和/或系统的全面理解。因此，对于本领域普通技术人员而言，这里描述的方法、设备和/或系统的各种改变、变型和等同物将会是清楚的。此外，为了更加清楚和简洁，公知功能和构造的描述可被省略。
图1是示出用于提供社交网络服务的设备1的示例的示图。参照图1，系统1可包括第一装置100和第二装置200。仅作为非穷举说明，第一装置100可以是任何类型的装置，诸如例如2D/3D智能TV、高清晰度电视(HDTV)、连接到智能盒的TV、连接到机顶盒的TV、游戏控制台、装备有TV调谐器卡的计算机、移动电话、智能电话、可穿戴智能装置(诸如例如，手表、眼镜等)、平板个人计算机(PC)、个人数字助手(PDA)、数字照相机、便携式游戏控制台和MP3播放器、便携式/个人多媒体播放器(PMP)、手提式电子书、超移动个人计算机(UMPC)、便携式膝上型PC、全球定位系统(GPS)和能够使用户享受各种内容(诸如例如，广播节目、游戏、视频、电影、音频和音乐)的装置(诸如，桌上型PC、光盘播放器、机顶盒、电器等)。为了方便描述，具有TV接收器功能的装置被用作用于描述第一装置100的构造的示例。
第一装置100能够使用户在观看TV的同时实时地与朋友通信。第一装置100将朋友列表提供给用户，将会话请求发送给从朋友列表选择的朋友的第一装置，并且能够使用户向接受会话请求的朋友发起实时会话。第一装置100可从接受会话请求的朋友的第一装置接收朋友的图像。第一装置100可使用图像传感器110收集用户的图像并且将收集的图像发送给从朋友列表选择的用户朋友。可提供一个或多个图像传感器110，并且每个图像传感器110可创建2D图像、3D图像、高清晰度3D图像或全息图。第一装置100可接收并输出用户朋友的语音，并且可将用户的语音发送给用户朋友的第一装置，由此能够使用户在观看TV的同时进行实时音频会话。
第二装置200可通过有线或无线通信网络与第一装置100连接，并且可能够发送和接收各种数据。第二装置200可显示朋友的虚拟图像。例如，如图1中所示，第二装置200可以是具有眼镜形式的可穿戴装置，该眼镜具有镜框21和镜片24。在另一非穷举示例中，第二装置200可以是具有单屏或多屏显示器的智能手表。上述第二装置200的示例仅是非穷举说明，并且能够创建并显示图像并且与第一装置100通信的所有其它类型的第二装置200被视为全部落在本公开的范围内。
第二装置200可基于由第一装置100接收的用户朋友的图像产生将要显示给用户的虚拟图像。第二装置200可在用户所希望的位置显示虚拟图像。参照图1，第二装置200可包括图像传感器22，诸如例如可捕捉用户的移动和位置的相机。第二装置200可还包括显示单元23以在特定位置显示产生的虚拟图像。仅在另一非穷举示例中，显示单元23可在镜片24上显示用户朋友的虚拟图像。图像传感器22可还检测用户的移动以识别用户的状态(诸如例如，用于识别用户的所希望的位置的用户的眼睛位置或观看角度)。
图2是示出用于提供SNS的设备的示例的示图。图1的描述也适用于图2，因此，将不会在这里被重复。参照图2，系统1可包括第一装置100和第二装置200。第一装置100可包括：图像传感器110、外部通信单元120、图像创建单元130、内部通信单元140和语音处理单元150。如上所述，图像传感器110可收集用户的图像。
外部通信单元120可发送和接收实时SNS活动所需的各种数据。例如，外部通信单元120可经有线或无线连接与用户朋友的第一装置连接。仅作为另一非穷举说明，外部通信单元120还可经有线或无线连接与用户朋友的第一装置的外部通信单元连接。外部通信单元120可能够诸如例如在接收到来自用户的请求时执行各种任务，外部通信单元120可将会话发起请求消息发送给其它装置。仅作为其它非穷举说明，外部通信单元120可从其它装置接收会话接受信息，外部通信单元120可从其它装置接收图像、音频和视频，并且外部通信单元120可将图像或用户的语音发送给其它参与装置。
图像创建单元130可基于通过外部通信单元120接收的参与会话的用户朋友的图像创建参考图像。例如，参考图像可以是从用户的朋友接收的图像。仅作为另一非穷举说明，参考图像可以是针对用户的每个朋友预先确定的默认图像。默认图像可被存储在默认图像数据库(DB)(未示出)中。默认图像DB可存储用户及其朋友的各种图像，包括但不限于虚拟化身、名人的图像、参与会话的用户的真实图像以及与用户及其朋友关联的图像。
当用户的朋友接受会话请求时，图像创建单元130可检查默认图像DB是否包含分配给用户朋友的默认图像。如果默认图像存在于默认图像DB中，则图像创建单元130可基于默认图像创建参考图像。仅在另一非穷举示例中，响应于接收到用户朋友的图像，图像创建单元130可向第一装置100的显示器或第二装置200的显示器提供多个默认图像，并且从默认图像选择的图像可被用作参考图像。
用户可基于接收的图像识别用户朋友的情绪状态(例如，高兴、悲伤、愤怒等)，并选择与情绪状态相关的默认图像(例如，具有高兴的脸部表情的默认图像、具有悲伤的脸部表情的默认图像、具有愤怒的脸部表情的默认图像等)。用户还可根据用户的心情为用户朋友选择具有不同脸部表情的默认图像。例如，如果用户对特定会话参与者感到愤怒，则用户可为该用户选择具有不愉快的脸部表情的默认图像。作为另一非穷举示例，如果用户对另一会话参与者抱有赞许的感觉，则用户可为该会话参与者选择具有友好的脸部表情的默认图像。
内部通信单元140可将每个会话参与者的参考图像发送给第二装置200。内部通信单元140可经无线通信网络(诸如例如，无线移动网络、WiMAX、WiFi、蓝牙、近场通信(NFC))或经有线通信网络(诸如例如，以太网、通用串行总线(USB))与第二装置200连接。内部通信单元140可将数据发送给第二装置200以及从第二装置200接收数据。例如，响应于在会话中从用户朋友接收到数据(诸如，语音)，内部通信单元140可将该语音发送给第二装置200并且可从第二装置200接收用户的响应。
语音处理单元150可输出通过外部通信单元120接收的用户朋友的语音。语音处理单元150还可接收用户的语音并通过外部通信单元120将其发送给用户朋友的第一装置。
第一装置100可从用户接收各种控制指令，并响应于接收的指令执行操作。例如，当第一装置100接收到用于显示正在观看同一广播节目的人的列表的控制指令时，第一装置100可将当前正在观看同一广播节目的用户朋友的列表输出到显示器。仅作为其它非穷举示例，当第一装置100从用户接收到用于发起与特定人的会话的控制指令时，第一装置100通过外部通信单元120将会话发起请求信息发送给从该列表选择的用户朋友。
系统1可还包括中继服务器(未示出)。中继服务器可实现用户的不同的SNS活动并且中继用户和用户朋友之间的数据发送/接收。例如，中继服务器可响应于来自外部通信单元120的请求而提供用户朋友的列表。仅作为另一非穷举示例，中继服务器可提供关于用户朋友的活动的信息(例如，每个朋友当前正在观看的广播节目)。仅作为另一非穷举示例，中继服务器可将会话发起请求发送给由用户选择的朋友，或者中继服务器可将来自参与会话的朋友的图像和/或语音信息发送给用户。
图3A至图3C是示出显示另一用户的图像的示例的示图。参照图2以及图3A至图3C描述社交网络服务系统1的第二装置200。第二装置200可包括：内部通信单元210、环境识别单元220、渲染单元230和显示单元240。
内部通信单元210从第一装置100接收参考图像、语音或其它数据，并将用户的语音发送给第一装置100。
环境识别单元220识别用户的当前环境（context）情况并产生环境信息。环境识别单元220基于识别的用户的视觉(诸如例如，用户的当前观看方向或观看角度)创建环境信息。环境识别单元220可从用户的移动的图像识别用户的观看方向或观看角度。可由第一装置100的图像传感器110捕捉并产生用户的移动的图像，并且内部通信单元210可从第一装置100接收该图像。仅在另一非穷举示例中，如图1中所示，第二装置200可包括图像传感器22以捕捉并产生用户的移动的图像。图像传感器22可捕捉包括用户的脸的用户的移动以产生环境信息。
渲染单元230可渲染参考图像以产生用户的虚拟图像。渲染单元230可基于由环境识别单元220创建的环境信息渲染参考图像。渲染单元230可使用关于用户的观看方向和观看角度的信息确定将要渲染的虚拟图像的形状。
图3A和图3B是示出在任意位置显示用户朋友(朋友1和朋友2)的虚拟图像的示例的示图。图3A是示出用户笔直观看TV显示器的正面的示例的示图。在这个示例中，环境识别单元220识别出用户笔直从正面观看TV。在这种情况下，观看角度可以是45度(45度是普通人的观看角度)或者是可由第二装置200提供的给定值。
图3C是示出在用户可感觉到用户朋友的虚拟图像紧挨着该用户的位置处显示虚拟图像的示例的示图。这里，用户可分配显示虚拟图像的位置。例如，当用户坐在地板上观看TV时，用户朋友的虚拟图像可被显示在第二装置中的任意位置，或者当用户坐在沙发上观看TV时，该图像可被显示在第二装置中的这样的位置，该位置使用户可感觉到就好像用户朋友正坐在用户旁边。
渲染单元230可确定显示虚拟图像的位置，并使用关于确定的位置和用户的观看角度的信息确定渲染的虚拟形状。例如，如图3A中所示，当用户的眼睛笔直向前看时，渲染单元230可通过在观看角度内分别仅渲染朋友1的参考图像的左侧和朋友2的参考图像的右侧来产生虚拟图像。如图3B或图3C中所示，渲染单元230可在用户将其眼睛转向右侧时通过渲染落在用户的观看角度内的朋友2的整个参考图像来产生虚拟图像。
显示单元240可按照重叠（overlap）方式在给定位置显示由渲染单元230创建的虚拟图像。如图1中所示，如果用户正在通过镜片24观看给定位置处的实际图像，则显示单元240可将虚拟图像显示为与在第一装置上显示的给定位置的实际图像重叠，由此提供增强现实能力。
因为可创建用户朋友的逼真的图像并且由此允许用户感觉到就好像用户朋友正坐在与用户相同的地点的给定位置，所以当用户朋友由于时间或空间的限制而不能位于相同地点时，在以上示例中描述的装置可向用户提供有用的社交环境。
环境识别单元220可实时地识别用户的环境情况，并且根据用户的观看方向创建实时环境信息。环境识别单元220可将关于前一观看方向的信息与新创建的观看方向信息进行比较，并且如果观看方向的移动超出预定义的范围则可控制渲染单元230再次渲染参考图像。
第二装置200可包括语音处理单元(未示出)，以输出从第一装置100接收的语音，并且接收用户的语音并将其发送给第一装置100。该语音处理单元可包括用于输出语音的扬声器和用于接收语音的麦克风。
图4是示出根据本发明的示例性实施例的提供社交网络服务的方法的示例的示图。可按照如图中所示的顺序和方式执行图4中的操作，但在不脱离描述的说明性示例的精神和范围的情况下，可改变一些操作的顺序或者省略一些操作。可并行地或同时执行图4中示出的许多操作。图1至图3C的描述也适用于图4，因此，将不会在这里重复。
参照图1和图4描述提供社交网络服务的方法。
在410，第一装置100接收用户朋友的图像。想要在观看例如TV上的广播节目的同时实时地与朋友进行会话的用户可在朋友接受会话的请求时从朋友的第一装置接收朋友的图像或语音信息。用户的朋友可以（但未必）正在观看相同的广播节目。
在420，基于接收的用户朋友的图像创建将向用户显示的参考图像。在430，参考图像被发送给第二装置200。第一装置100可如上所述创建参考图像。参考图像经有线或无线通信网络被发送给第二装置200。如果接收到用户朋友的语音，则第一装置100可输出接收的语音或将其发送给第二装置200。
当从第一装置100接收到参考图像时，在440，第二装置200基于当前环境信息渲染参考图像。以上解释了用户的当前环境信息的细节。可基于可由第一装置100的图像传感器110或第二装置200的图像传感器22收集的用户的实时移动(包括但不限于脸部移动)的图像创建当前环境信息。第二装置200通过基于环境信息渲染参考图像来创建虚拟图像。如参照图3A至图3C所述，可基于用户的当前观看方向和观看角度确定虚拟图像的形状，并且可通过根据确定的虚拟图像渲染参考图像来创建虚拟图像。
在450，在给定位置显示创建的虚拟图像。通过将虚拟图像显示为与在第一装置上显示的给定位置的真实图像重叠，用户可体验增强现实。
图5是示出第一装置的示例的示图。图5中示出的第一装置500是用于提供SNS的系统1中的第一装置100的另一非穷举示例。图1至图4的描述也适用于图5，因此，将不会在这里重复。
参照图5，第一装置500可包括：图像传感器501、用户识别单元502、指令处理单元503、外部通信单元504、图像创建单元505、内部通信单元506语音输出单元507、语音接收单元508、显示单元509和TV信号接收单元510。参照图2充分描述了图像传感器501、外部通信单元504、图像创建单元505和内部通信单元506，因此，将不会重复这些单元的详细描述。
用户识别单元502识别当前观看TV的用户。用户识别单元502可通过从用户接收用户识别信息(例如，ID或密码)来识别用户。用户识别单元502可通过将脸部识别方法应用于由图像传感器501收集的用户的脸部的图像来识别用户。用户识别单元502可使用任何其它生物计量识别技术识别用户，并且这种用户识别单元502被视为完全落在本公开的范围内。
TV信号接收单元510可接收TV信号并通过显示单元509输出该信号。
指令处理单元503可从用户接收各种控制指令，并响应于指令执行操作。例如，指令处理单元503可响应于用户通过输入装置(诸如例如，遥控器、键盘或智能电话)输入的对菜单的请求而通过显示单元509输出菜单。如果用户从输出的菜单选择将要聊天的朋友的列表，则用户识别单元502可将预先存储的与用户关联的朋友的列表输出到显示单元509。仅作为非穷举示例，响应于对当前正在观看用户观看的相同TV节目的朋友的列表的请求，指令处理单元503可收集关于先前显示的列表中的用户朋友当前正在观看的TV节目的信息，并将正在观看与用户相同的TV节目的朋友的列表提供给显示单元509。第二列表可被单独显示或与先前显示的用户朋友的列表一起显示。
响应于用户从提供的列表选择特定朋友，指令处理单元503可创建会话发起请求信息并通过外部通信单元504将其发送给选择的朋友的第一装置。响应于从用户的朋友接收到会话接受信息，指令处理单元503可控制图像传感器501创建用户的图像，并且指令处理单元503可控制外部通信单元504将捕捉的用户的图像发送给接受会话请求的用户朋友的第一装置。
响应于通过外部通信单元504从用户的朋友接收到图像，图像创建单元505可创建参考图像并通过内部通信单元506将其发送给第二装置。
语音接收单元505可接收用户的语音信息并通过外部通信单元504将其发送给用户朋友的第一装置。当外部通信单元504从用户朋友的第一装置接收到语音信息时，语音输出单元509可将接收的语音信息输出到输出装置，诸如扬声器或头戴式耳机。作为另一非穷举示例，语音输出单元509可将接收的语音输出到第二装置200。
图6是示出第一装置的操作的示例的示图。可按照如图中所示的顺序和方式执行图6中的操作，但在不脱离描述的说明性示例的精神和范围的情况下，可改变一些操作的顺序或者省略一些操作。可并行地或同时执行图6中示出的许多操作。图1至图5的描述也适用于图6，因此，将不会在这里重复。
在610，识别当前观看TV节目的用户。可通过用户识别信息(例如，ID和密码)或者通过将脸部识别方法应用于由图像传感器收集的用户的脸部图像来识别用户。还可通过其它生物计量识别方法来识别用户。
在620，从识别的用户接收各种控制指令。如果用户希望与朋友进行会话，则在630，第一装置可将朋友的列表提供给用户。在640，当用户从列表选择特定朋友时，会话发起请求信息被发送给该朋友的装置。
在650，从用户的朋友接收到会话接受信息，并且第一装置接收到朋友的图像。在660，第一装置使用图像传感器收集用户的图像并将收集的图像发送给用户的朋友。
在670，使用朋友的图像和/或预先存储的默认图像创建将要被显示给用户的参考图像。在680，创建的参考图像被发送给第二装置。
图7是示出第二装置的示例的示图。图7中示出的第二装置700是图1中示出的系统1的第二装置200的另一示例。第二装置700可以是具有眼镜的形式的可穿戴装置。图1至图6的描述也适用于图7，因此，将不会在这里重复。
参照图7，可穿戴第二装置700可包括：图像传感器710、内部通信单元720、环境识别单元730、渲染单元740、显示单元750、语音接收单元760和语音输出单元770。
第二装置700的图像传感器710可以是能够产生2D图像、3D图像、高清晰度3D图像或全息图的照相机。图像传感器710可实时监测用户的移动和位置，产生移动图像，并且可识别深度信息。如果用户穿戴像眼镜的第二装置700，则图像传感器710可根据用户的头移动来拍摄用户观看的场景的照片，并产生场景的图像。
以上分别参照图2的单元220、230和240描述了环境识别单元730、渲染单元740和显示单元750。环境识别单元730可基于由图像传感器710或第一装置的图像传感器产生的用户的移动的图像来识别用户的观看方向或观看角度。渲染单元740和显示单元750可如参照图2所述渲染并显示参考图像的虚拟图像。
语音接收单元760可通过安装在第二装置700的预定义区域中的麦克风接收用户的语音，并通过内部通信单元720将其发送给第一装置。响应于通过内部通信单元720从第一装置接收到用户的语音，语音输出单元770可将接收的语音输出到安装在第二装置700的预定义区域中的扬声器。
图8是示出第二装置的操作的示例的示图。可按照如图中所示的顺序和方式执行图8中的操作，但在不脱离描述的说明性示例的精神和范围的情况下，可改变一些操作的顺序或者省略一些操作。可并行地或同时执行图8中示出的许多操作。图1至图7的描述也适用于图8，因此，将不会在这里重复。
在810，从第一装置接收用户朋友的参考图像。在820，第二装置700识别用户的当前环境情况并产生环境信息，诸如用户的观看方向或观看角度。可基于用户的移动的图像产生用户的环境信息，并且可由第二装置700的图像传感器创建移动图像或者从第一装置接收移动图像。
在830，接收的参考图像基于接收的用户的环境信息而被渲染为虚拟图像。在840，产生的虚拟图像被显示为在显示单元中在给定位置重叠。
上述方法可被编写为计算机程序、一条代码、指令或其某一组合，以用于独立地或共同地指示或配置处理装置以如所希望的那样操作。软件和数据可被永久或暂时实施于任何类型的机器、部件、物理或虚拟装备、计算机存储介质或能够提供指令或数据或由处理装置解释的装置。软件还可分布在联网的计算机系统上，从而以分布方式存储并执行软件。特别地，软件和数据可由一个或多个非暂态计算机可读记录介质存储。非暂态计算机可读记录介质可包括任何可存储其后可由计算机系统或处理装置读取的数据的数据存储装置。非暂态计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、致密盘只读存储器(CD-ROM)、磁带、USB、软盘、硬盘、光学记录介质(例如，CD-ROM或DVD)和PC接口(例如，PCI、PCI-express、WiFi等)。另外，用于实现这里公开的示例的功能程序、代码和代码段可由本领域程序员基于这里提供的附图的流程图和方框图及其对应描述来解释。
可使用硬件部件实现这里描述的设备和单元。硬件部件可包括例如控制器、传感器、处理器、发生器、驱动器和其它等同的电子部件。可使用一个或多个通用或专用计算机(诸如例如，处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以定义的方式响应于指令并执行指令的任何其它装置)实现硬件部件。硬件部件可运行操作系统(OS)和在OS上运行的一个或多个软件应用。硬件部件还可响应于软件的执行而访问、存储、操纵、处理和创建数据。为了简洁的目的，处理装置的描述被用作单数；然而，本领域技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，硬件部件可包括多个处理器或一个处理器和控制器。另外，可实现不同的处理构造，诸如并行处理器。
以上描述了许多示例。然而，应该理解，可做出各种修改。例如，如果以不同的顺序执行描述的技术和/或如果以不同的方式组合描述的系统、架构、装置或电路中的部件，和/或以其他部件或其等同物替换或补充描述的系统、架构、装置或电路中的部件，则可实现合适的结果。因此，其它实现方式落在权利要求的范围内。

Claims (29)

1.一种用于提供社交网络服务SNS的系统，所述系统包括：
第一装置，被构造为接收第一用户的图像，基于接收的图像创建参考图像，并将参考图像发送给第二装置；和
第二装置，被构造为从第一装置接收参考图像，基于参考图像和第二用户的当前环境信息产生虚拟图像，并在预定位置显示虚拟图像。
2.如权利要求1所述的系统，其中，所述第一装置包括：图像传感器，被构造为收集第二用户的图像并将收集的图像发送给第一用户。
3.如权利要求1所述的系统，所述第一装置还被构造为：接收第一用户的第一音频并输出第一音频或将第一音频发送给第二装置，并且接收第二用户的第二音频并将第二音频发送给第一用户。
4.如权利要求1所述的系统，其中，所述第一装置还被构造为接收一个或多个控制指令以控制第一装置，控制指令包括用于显示当前正在观看广播节目的第二用户的朋友的列表的指令或用于发起与第二用户的一个或多个朋友的会话的指令。
5.如权利要求1所述的系统，其中，所述环境信息包括第二用户的观看方向和观看角度中的至少一个。
6.如权利要求5所述的系统，其中，所述第二装置还被构造为基于环境信息和显示虚拟图像的位置确定虚拟图像的形状。
7.如权利要求1所述的系统，其中，所述第一装置是被构造为接收并输出TV信号的电视，并且第二装置是可穿戴装置。
8.如权利要求1所述的系统，其中，所述虚拟图像被显示为与第一装置上显示的另一图像重叠。
9.一种提供社交网络服务SNS的方法，所述方法包括：
在第一装置接收SNS的第一用户的图像；
基于接收的图像创建参考图像；
将参考图像发送给第二装置；
在第二装置基于参考图像和第二用户的当前环境信息产生虚拟图像；以及
在预定位置显示虚拟图像。
10.如权利要求9所述的方法，还包括：
接收第一用户的第一音频；以及
输出第一用户的第一音频或将第一音频发送给第二装置。
11.如权利要求9所述的方法，还包括：将由图像传感器收集的第二用户的图像发送给第一用户。
12.如权利要求9所述的方法，其中，所述环境信息包括第二用户的观看方向和观看角度中的至少一个。
13.如权利要求12所述的方法，其中，所述产生虚拟图像的步骤包括：基于环境信息和显示虚拟图像的位置确定将要产生的虚拟图像的形状。
14.如权利要求9所述的方法，其中，所述第一装置是被构造为接收并输出TV信号的电视，并且第二装置是可穿戴装置。
15.如权利要求9所述的方法，其中，所述创建参考图像的步骤包括：基于接收的图像和第一用户的默认图像创建参考图像。
16.如权利要求15所述的方法，其中，所述默认图像与第一用户的情绪状态和第一用户的脸部表情中的至少一个相关联。
17.如权利要求15所述的方法，其中，所述默认图像被存储在默认图像数据库中并包括虚拟化身、名人的图像、第一用户的真实图像和与第一用户关联的图像中的至少一个。
18.如权利要求9所述的方法，其中，所述显示虚拟图像的步骤包括：将虚拟图像显示为与第一装置上显示的另一图像重叠。
19.如权利要求9所述的方法，其中，所述显示虚拟图像的步骤包括：显示第一用户的虚拟图像的一部分。
20.一种装置，包括：
至少一个图像传感器，所述图像传感器被构造为收集第一用户的图像；
第一通信单元，被构造为将第一用户的图像发送给第二用户并且接收第二用户的图像；
图像创建单元，被构造为基于接收的第二用户的图像创建参考图像；和
第二通信单元，被构造为将参考图像发送给第二装置，并且使用参考图像产生将要被显示给第一用户的虚拟图像。
21.如权利要求20所述的装置，还包括：
用户识别单元，被构造为识别第一用户；和
指令处理单元，被构造为从第一用户接收各种控制指令并响应于控制指令处理相应操作。
22.如权利要求21所述的装置，其中，所述控制指令包括以下各项中的至少一个：显示所有朋友的列表、显示当前正在观看广播节目的朋友的列表，和发起与特定朋友的会话。
23.如权利要求20所述的装置，还包括：
语音输出单元，被构造为输出通过第一通信单元接收的第二用户的音频；和
语音接收单元，被构造为接收第一用户的音频并通过第一通信单元将第一用户的音频发送给第二用户。
24.如权利要求20所述的装置，还包括：
默认图像数据库DB，被构造为存储用于创建参考图像的默认图像，
其中，所述图像创建单元被构造为基于接收的第二用户的图像选择一个默认图像以创建参考图像。
25.一种第二装置，包括：
通信单元，被构造为从第一装置接收第二用户的参考图像；
环境识别单元，被构造为识别正在观看第一装置上显示的内容的第一用户的当前环境信息；
渲染单元，被构造为基于接收的图像和环境信息产生虚拟图像；和
显示单元，被构造为在预定位置显示产生的虚拟图像。
26.如权利要求25所述的第二装置，还包括：
图像传感器，被构造为创建第一用户的图像；以及
所述环境识别单元分析第一用户的图像并产生包括该用户的观看方向和观看角度中的至少一个的环境信息。
27.如权利要求26所述的第二装置，其中，所述渲染单元还被构造为基于环境信息和显示虚拟图像的位置确定虚拟图像的形状。
28.如权利要求25所述的第二装置，还包括：
语音输出单元，被构造为输出通过通信单元从第一装置接收的第二用户的讲话语音；和
语音接收单元，被构造为接收第一用户的讲话语音并通过通信单元将接收的语音发送给第一装置。
29.如权利要求25所述的装置，其中，所述第二装置是可穿戴装置。
CN201310573278.3A 2012-11-13 2013-11-13 用于使用增强现实提供社交网络服务的设备和方法 Expired - Fee Related CN103812761B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120128337A KR20140061620A (ko) 2012-11-13 2012-11-13 증강 현실을 활용한 소셜 네트워크 서비스 제공 시스템 및 방법과, 디바이스
KR10-2012-0128337 2012-11-13

Publications (2)

Publication Number Publication Date
CN103812761A true CN103812761A (zh) 2014-05-21
CN103812761B CN103812761B (zh) 2018-11-16

Family

ID=49619801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310573278.3A Expired - Fee Related CN103812761B (zh) 2012-11-13 2013-11-13 用于使用增强现实提供社交网络服务的设备和方法

Country Status (5)

Country Link
US (1) US20140132630A1 (zh)
EP (1) EP2731348A3 (zh)
JP (1) JP2014099854A (zh)
KR (1) KR20140061620A (zh)
CN (1) CN103812761B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469004A (zh) * 2015-12-31 2016-04-06 上海小蚁科技有限公司 一种显示装置和显示方法
CN106293087A (zh) * 2016-08-09 2017-01-04 联想(北京)有限公司 一种信息交互方法及电子设备
CN106716225A (zh) * 2014-09-01 2017-05-24 三星电子株式会社 电子设备、用于控制该电子设备的方法、和记录介质
CN107003819A (zh) * 2014-12-18 2017-08-01 英特尔公司 多用户的基于传感器的交互
CN107979763A (zh) * 2016-10-21 2018-05-01 阿里巴巴集团控股有限公司 一种虚拟现实设备生成视频、播放方法、装置及系统
CN109691123A (zh) * 2016-09-09 2019-04-26 诺基亚技术有限公司 用于受控观察点和取向选择视听内容的方法和装置
CN114037467A (zh) * 2015-10-20 2022-02-11 索尼公司 信息处理系统、信息处理方法和计算机可读存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150082824A (ko) * 2014-01-08 2015-07-16 삼성전자주식회사 장치 제어 방법 및 제어 장치
US20160227267A1 (en) * 2015-01-30 2016-08-04 The Directv Group, Inc. Method and system for viewing set top box content in a virtual reality device
KR102547245B1 (ko) * 2015-05-27 2023-06-22 주식회사 넥슨코리아 가상 현실 디스플레이 시스템 및 방법
US10235129B1 (en) 2015-06-29 2019-03-19 Amazon Technologies, Inc. Joining users to communications via voice commands
CN105719522A (zh) * 2016-01-25 2016-06-29 成都趣动力教育科技有限公司 一种双客户端语音通信方法、装置及系统
WO2018135057A1 (ja) * 2017-01-20 2018-07-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10250948B1 (en) * 2018-01-05 2019-04-02 Aron Surefire, Llc Social media with optical narrowcasting
US10897564B1 (en) 2019-06-17 2021-01-19 Snap Inc. Shared control of camera device by multiple devices
US11340857B1 (en) 2019-07-19 2022-05-24 Snap Inc. Shared control of a virtual object by multiple devices
KR102199843B1 (ko) * 2019-10-12 2021-01-07 동서대학교 산학협력단 증강현실에서 가상의 반려동물 제공 시스템
US12101360B2 (en) 2020-03-25 2024-09-24 Snap Inc. Virtual interaction session to facilitate augmented reality based communication between multiple users
US11985175B2 (en) 2020-03-25 2024-05-14 Snap Inc. Virtual interaction session to facilitate time limited augmented reality based communication between multiple users
US11593997B2 (en) * 2020-03-31 2023-02-28 Snap Inc. Context based augmented reality communication
US20220264055A1 (en) * 2021-02-12 2022-08-18 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V Video Conference Apparatus, Video Conference Method and Computer Program Using a Spatial Virtual Reality Environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070242131A1 (en) * 2005-12-29 2007-10-18 Ignacio Sanz-Pastor Location Based Wireless Collaborative Environment With A Visual User Interface
US20080263458A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Facilitate Real Time Communications in Virtual Reality
US20110145881A1 (en) * 2009-12-07 2011-06-16 Anthony Hartman Interactive video system
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
US20120242865A1 (en) * 2011-03-21 2012-09-27 Harry Vartanian Apparatus and method for providing augmented reality based on other user or third party profile information

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63191476A (ja) * 1987-02-04 1988-08-08 Nippon Telegr & Teleph Corp <Ntt> 知能画像通信方式
JPH08336166A (ja) * 1995-06-07 1996-12-17 Matsushita Electric Ind Co Ltd 映像視聴装置
JP4310916B2 (ja) * 2000-11-08 2009-08-12 コニカミノルタホールディングス株式会社 映像表示装置
JP4182656B2 (ja) * 2001-10-01 2008-11-19 コニカミノルタホールディングス株式会社 端末装置、送信方法、およびコンピュータプログラム
JP4236606B2 (ja) * 2004-03-22 2009-03-11 シャープ株式会社 通信端末、テレビジョン受像機、情報出力方法、情報出力プログラム、および情報出力プログラムを記録した記録媒体
JP4000597B2 (ja) * 2004-10-29 2007-10-31 フィリップ 須貝 携帯電話機
US8813163B2 (en) * 2006-05-26 2014-08-19 Cyberlink Corp. Methods, communication device, and communication system for presenting multi-media content in conjunction with user identifications corresponding to the same channel number
JP2010093734A (ja) * 2008-10-10 2010-04-22 Toshiba Corp 映像視聴装置、映像視聴装置の制御方法
US20100306671A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Avatar Integrated Shared Media Selection
JP5265468B2 (ja) * 2009-07-01 2013-08-14 日本放送協会 映像受信装置及び表示装置
KR101193535B1 (ko) * 2009-12-22 2012-10-22 주식회사 케이티 증강현실을 이용한 위치기반 모바일 커뮤니케이션 서비스 제공 시스템
JP4902765B2 (ja) * 2010-03-31 2012-03-21 新日鉄ソリューションズ株式会社 情報処理システム及び情報処理方法
JP2011259383A (ja) * 2010-06-11 2011-12-22 Nippon Telegr & Teleph Corp <Ntt> Ｔｖ番組関連情報表示システム、端末間イベント同期装置、端末間イベント同期方法、及びプログラム
KR101299910B1 (ko) * 2010-08-18 2013-08-23 주식회사 팬택 증강 현실 서비스의 공유 방법 및 그를 위한 사용자 단말기와 원격자 단말기
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
CN102184572B (zh) * 2011-05-19 2017-07-21 威盛电子股份有限公司 三维图形裁剪方法、呈现方法及其图形处理装置
US9746990B2 (en) * 2012-09-28 2017-08-29 Intel Corporation Selectively augmenting communications transmitted by a communication device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070242131A1 (en) * 2005-12-29 2007-10-18 Ignacio Sanz-Pastor Location Based Wireless Collaborative Environment With A Visual User Interface
US20080263458A1 (en) * 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Facilitate Real Time Communications in Virtual Reality
US20110145881A1 (en) * 2009-12-07 2011-06-16 Anthony Hartman Interactive video system
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
US20120242865A1 (en) * 2011-03-21 2012-09-27 Harry Vartanian Apparatus and method for providing augmented reality based on other user or third party profile information

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106716225A (zh) * 2014-09-01 2017-05-24 三星电子株式会社 电子设备、用于控制该电子设备的方法、和记录介质
US10114514B2 (en) 2014-09-01 2018-10-30 Samsung Electronics Co., Ltd. Electronic device, method for controlling the electronic device, and recording medium
CN106716225B (zh) * 2014-09-01 2020-11-06 三星电子株式会社 电子设备、用于控制该电子设备的方法、和记录介质
CN107003819A (zh) * 2014-12-18 2017-08-01 英特尔公司 多用户的基于传感器的交互
CN107003819B (zh) * 2014-12-18 2021-10-08 英特尔公司 多用户的基于传感器的交互
CN114037467A (zh) * 2015-10-20 2022-02-11 索尼公司 信息处理系统、信息处理方法和计算机可读存储介质
CN105469004A (zh) * 2015-12-31 2016-04-06 上海小蚁科技有限公司 一种显示装置和显示方法
CN106293087A (zh) * 2016-08-09 2017-01-04 联想(北京)有限公司 一种信息交互方法及电子设备
CN106293087B (zh) * 2016-08-09 2019-07-26 联想(北京)有限公司 一种信息交互方法及电子设备
CN109691123A (zh) * 2016-09-09 2019-04-26 诺基亚技术有限公司 用于受控观察点和取向选择视听内容的方法和装置
US11172005B2 (en) 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
CN107979763A (zh) * 2016-10-21 2018-05-01 阿里巴巴集团控股有限公司 一种虚拟现实设备生成视频、播放方法、装置及系统

Also Published As

Publication number Publication date
CN103812761B (zh) 2018-11-16
EP2731348A2 (en) 2014-05-14
KR20140061620A (ko) 2014-05-22
EP2731348A3 (en) 2014-06-25
JP2014099854A (ja) 2014-05-29
US20140132630A1 (en) 2014-05-15

Similar Documents

Publication Publication Date Title
CN103812761A (zh) 用于使用增强现实提供社交网络服务的设备和方法
CN111527525A (zh) 混合现实服务提供方法及系统
JP6550522B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
CN103562906A (zh) 用于在线体验的基于情绪的用户标识
CN108108012A (zh) 信息交互方法和装置
CN112261481B (zh) 互动视频的创建方法、装置、设备及可读存储介质
CN113709022B (zh) 消息交互方法、装置、设备及存储介质
WO2018071781A2 (en) Systems and methods for video processing and display
CN111787407B (zh) 互动视频播放方法、装置、计算机设备及存储介质
CN113518264A (zh) 互动方法、装置、终端及存储介质
CN113411652A (zh) 媒体资源播放方法和装置、存储介质及电子设备
CN106973316A (zh) 显示设备
CN109819341B (zh) 视频播放方法、装置、计算设备及存储介质
CN113596560A (zh) 资源处理方法、装置、终端及存储介质
CN106464976A (zh) 显示设备、用户终端设备、服务器及其控制方法
JP6883678B2 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP2022097047A (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
CN113938696A (zh) 基于自定义虚拟礼物的直播互动方法、系统及计算机设备
CN107409230A (zh) 基于视频的社交互动系统
EP3965369A1 (en) Information processing apparatus, program, and information processing method
JP2021033982A (ja) 動画配信システム、動画配信方法及び動画配信プログラム
CN105938497A (zh) 一种投票的动画效果生成方法及装置
CN110008357A (zh) 事件记录方法、装置、电子设备及存储介质
JP6664534B1 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
JP2021077388A (ja) 動画配信システム、動画配信方法及び動画配信プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181116

Termination date: 20191113

CF01 Termination of patent right due to non-payment of annual fee