CN104756096A - 混合媒体通信 - Google Patents

混合媒体通信 Download PDF

Info

Publication number
CN104756096A
CN104756096A CN201480002801.XA CN201480002801A CN104756096A CN 104756096 A CN104756096 A CN 104756096A CN 201480002801 A CN201480002801 A CN 201480002801A CN 104756096 A CN104756096 A CN 104756096A
Authority
CN
China
Prior art keywords
image
video
communication
computer
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480002801.XA
Other languages
English (en)
Inventor
刘旭
杰米·奥戴尔
加里·谢弗斯凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TangoMe Inc
Original Assignee
TangoMe Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TangoMe Inc filed Critical TangoMe Inc
Publication of CN104756096A publication Critical patent/CN104756096A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1089In-session procedures by adding media; by removing media
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/50Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/5307Centralised arrangements for recording incoming messages, i.e. mailbox systems for recording messages comprising any combination of audio and non-audio components
    • H04M3/5315Centralised arrangements for recording incoming messages, i.e. mailbox systems for recording messages comprising any combination of audio and non-audio components where the non-audio components are still images or video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H04W4/185Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

利用混合媒体通信进行通信的方法和系统。经由与装置相关联的图像采集装置来采集图像。经由与装置相关联的麦克风来采集与该图像相关的音频消息。从所述装置向第二装置发送通信,其中该通信包括所述图像和所述音频消息,使得第二装置一旦访问通信,就将自动地显示所述图像并播放所述音频消息。

Description

混合媒体通信
技术领域
本申请涉及并要求于2013年1月8日提交的美国非临时专利申请第13/736,832号的优先权,其全文通过引用合并于此。
背景技术
现代科技使得在两个装置之间进行通信的各种方法和技术成为可能。通信可以是多媒体的,并且可在网络上发生。通信可能受技术所限,使得用户可能无法发送期望的消息类型,并且在通信中对不同媒体进行组合时可能不具有期望的灵活性。
发明内容
概括地说,本文提出了利用混合媒体通信进行通信的方法和系统。经由与装置相关联的图像采集装置来采集图像。经由与装置相关联的麦克风来采集与图像相关的音频消息。从装置向第二装置发送通信,其中通信包括图像和音频消息,使得第二装置一旦访问通信就自动地显示图像并播放音频消息。
附图说明
图1示出了根据本发明的实施例的利用混合媒体通信进行通信的示例装置的框图。
图2示出了根据本发明的实施例的利用混合媒体通信进行通信的示例装置的框图。
图3A示出了根据本发明的实施例的利用混合媒体通信进行通信的示例环境的框图。
图3B示出了根据本发明的实施例的利用混合媒体通信进行通信的示例装置的框图。
图4示出了根据本发明的实施例的利用混合媒体通信进行通信的示例方法的流程图。
图5示出了根据本发明的实施例的利用混合媒体通信进行通信的示例方法的流程图。
除非具体指出,否则本说明书中提到的附图应理解为并非按比例绘制。
具体实施方式
现在将对本发明的实施例进行详细参考,其示例在附图中示出。虽然将结合各种实施例来描述本发明,但是应理解的是,它们并非意在将本发明限制为这些实施例。相反,本发明意在覆盖可包括在如随附权利要求所限定的各种实施例的精神和范围内的变形、修改和等价。
此外,在实施例的以下描述中,将阐述大量具体细节以提供对本发明的完整理解。但是,本发明可无需这些具体细节来实现。在其他情况下,公知的方法、步骤、组件和电路未被详细描述以免不必要地模糊示出的实施例的各方面。
除非从以下描述中显而易见地具体指出例外情况,则应当认识到的是,在贯穿各个实施例的所呈现的描述中,利用诸如“采集”、“接收”、“发送”、“创建”、“过滤”、“修改”、“通信”、“改变”等术语的描述指的是计算机系统或类似的电子计算装置的行为和处理。计算机系统或类似的电子计算装置(诸如电话、智能电话、或手持式移动装置)将计算机系统的寄存器和存储器内的由物理(电子)量表示的数据操纵和转换为计算机系统存储器或寄存器或其他这类信息存储、传输、或显示装置中由物理量类似地表示的其他数据。本发明的实施例也很好地适合于其他计算机系统的使用,例如,光学或机械计算机。
混合媒体通信的综述
本发明的实施例针对的是混合媒体通信。通信可在两个装置(诸如蜂窝式电话、智能电话、计算机、膝上型电脑、电视机、手持式电子装置等)之间进行。这些装置能够采集图像和音频,并且能够显示或播放图像和音频。在一个实施例中,通信在网络(诸如蜂窝式网络、wifi网络、或用于通信的其他网络)上发生。
通信利用对装置可用的组合媒体。在一个实施例中,通信为混合媒体通信,其包括图像和与图片相关的语音或音频消息。例如,装置的用户可使用与该装置相关联的照相机来拍摄对象的图片。接着,该装置记录用户的语音的语音记录。然后,该装置使用对象的图片和用户的语音的记录来创建混合媒体通信。该混合媒体消息随后被发送至第二装置。混合媒体信息可包括多于一个图像或多于一个音频消息,并且也可包含其他成分(诸如视频、文本或动画)。
装置可提示用户采集音频消息。例如,该装置可采集图像,然后可利用该装置的用户界面来提示用户记录音频消息。在一个实施例中,一旦装置的照相机部件(feature)被激活或启动,该装置就可开始记录可听消息。一旦将照相机用于采集图片,装置就停止记录音频消息,并且自动地将音频消息与图片相关联以创建混合媒体通信,该混合媒体通信之后被发送到第二装置。在一个实施例中,图像是从使用装置所记录的诸如视频会议之类的视频中选择的图像。音频可以是该视频会议的音频的片段。
第二装置能够接收混合媒体通信。用户可以在第二装置处访问或打开混合媒体消息。一旦访问混合媒体消息,第二装置可自动地显示图像并播放音频消息。因此,一个装置可向另一装置发送带有这样的音频消息的图像,该音频消息可用作通信或图像的标题或可转播另一类型的可听消息。
在一个实施例中,混合媒体通信是图像,其带有与该图像相关的视频。例如,第一装置可采集对象的图像,然后采集用户的视频,其中该视频特写用户的地方包括所记录的用户语音的音频部分。用户可描述该对象的图像或可提供其他信息。可使用与第一装置相关联的两个不同照相机来采集图像和视频。然后,可向第二装置发送通信,使得一旦第二装置访问通信时,可在第二装置上同时播放或显示该图像和视频。
在通信发送之前,第一设备还能够编辑、过滤、或者修改该通信。例如,通过为用户提供选项的用户界面,可将视频部分进行编辑、修改、改变、缩短、增加效果等。也可将采集的图像制成动画、进行裁剪、过滤、增加效果、增加文本等。装置还可为用户提供将如何在另一装置上显示混合媒体通信的选项。例如,装置可为用户提供是否在前景显示视频而在在背景显示图像的选择或相反的选择。
混合媒体通信的方法和系统
图1示出了装置100的实施例。装置100被构造为参与混合媒体通信。装置100能够创建混合媒体通信、发送或接收混合媒体通信、或显示混合媒体通信。混合媒体通信可包括任意数量的媒体组合,该媒体组合包含音频部分、图像部分、视频部分、文本部分、动画、效果,包含多个任意这些项。应当认识到的是,装置100可以是智能电话、蜂窝式电话、台式计算机、膝上型电脑、笔记本电脑、上网本,手持式装置、个人数字助理、电视机、或能够通过网络参与多媒体数字通信的类似电子装置。
在一个实施例中,装置100能够发送和接收通信。这类通信可以是使用多模传感器采集的混合媒体通信,其中该通信是用于用户间的社交通信。混合媒体通信的一个示例是带有相应音频部分或消息的图像,在图片显示时,该相应音频部分或消息在装置上播放。该带有相应音频部分的图像可描述为可听图片或victure(音图),其中v代表语音,而“icture”源于图片(picture)一词。装置100可以为创建、发送和接收混合媒体通信而专门构建,或者可以是也起到其他作用的装置。例如,装置100可以是采用操作系统的智能电话。在一个实施例中,本发明在可在智能电话上部署为应用程序或app。该app可包括用户界面并且利用装置的硬件部件来采集媒体、创建通信、发送和接收通信、以及显示或播放通信。通信也可描述为消息或消息传递。
简明起见,本描述将专注于装置100的组件和功能。但是,图2的装置200和图3A及3B的装置300以与装置100类似的方式操作并且具有类似的能力。在一个实施例中,装置200及装置300和装置100相同,并且包括与装置100相同的组件。
装置100包含显示器110、混合媒体通信创建器120、收发器140、图像采集装置150、图像采集装置151、麦克风152和扬声器154。装置100可选地包括全球定位系统160。
显示器110被配置为显示图像、图片、文本、动画、效果、混合媒体通信、用户界面等。显示器110还被配置为显示由装置100采集的图像或视频,或显示由另一装置采集且由装置100接收的图像、图片、视频或通信。在一个实施例中,显示器110是触摸屏并且能够显示用户界面,该用户界面带有可被用户按压或选择以发起命令的区域。
收发器140用于传输和接收与通信相关的数据(诸如文本、演讲、音频、视频、动画之类)或通信本身。可操作收发器140以发送和接收网络上的与另一装置的通信。例如,网络可以是诸如3G或4G网络之类的蜂窝式网络。在另一实施例中,网络可以是Wi-Fi网络、蓝牙网络、近场通信、或用于发送和接收电磁无线电信号的其他网络。在一个实施例中,网络是互联网的一部分或与互联网通信。通信可从一个装置向另一装置直接发送,或可通过其他装置或服务器路由或中继。例如,可采用点对点网络或中心服务器,该中心服务器将装置链接到一起或经由联系人信息识别装置。
图像采集装置150是在装置100处用于采集图像、视频、或图片的图像采集装置(诸如数字照相机或摄影机之类)。应当认识到的是,装置100还可包括在装置100的背面上的与图像采集装置150相背的额外照相机(例如,图像采集装置151)。麦克风152用于在装置100处采集音频。扬声器154用于在装置100处生成可听信号(诸如来自另一装置的通信的音频流)。全球定位系统160用于确定装置100的位置。
装置100可响应于来自用户的命令而采集图像、视频或音频。来自用户的这种命令可使得装置100自动提示用户生成更多内容,这些内容之后由装置100采集。例如,用户可采集图像或选择先前采集的图像。接着,装置100可提示用户生成将被麦克风152采集的音频。音频可以是所采集图像的语音描述。然后,混合媒体通信创建器120可将图像和音频组合以创建混合媒体通信。之后,收发器140可将该混合媒体通信发送至另一装置。可选地,用户可手动命令装置100采集附加内容并将其与已经采集的其他内容相关联。因此,可根据不止一种媒体内容创建混合媒体通信。混合媒体通信可以是带有对标题或文本消息进行替代或者可以对图片描述进行替代的音频消息的图片。在一个实施例中,混合媒体通信不包括混合媒体通信的标题或其他描述的文本。
装置100也能够参与与另一装置(诸如手持式装置或计算机之类)的视频会议。在视频会议期间,图像采集装置150在装置100处采集视频。例如,图像采集装置150采集用户或其他对象的视频。麦克风152可同时在装置100处采集与所采集的视频信号相对应的音频信号。类似地,第二装置也可采集音频和视频。然后,这两个装置可交换视频和音频。在视频会议中,装置100能够在显示器110的两个不同区域中显示由第二装置采集的实时或现场视频流且同时地显示由装置100采集的视频。视频会议还可包括多个装置。来自该多个装置的音频和视频可经由装置100来显示。装置100能够记录视频会议,该视频会议可包括来自多个装置的音频和视频。
在一个实施例中,装置100能够采集视频会议的屏幕截图。该屏幕截图也可描述为视频的快照或静止帧。屏幕截图可包括来自多个视频源或只来自一个源的视频的图像。屏幕截图可由用户选择,或者可由混合媒体通信创建器120随机地选择。屏幕截图可在视频会议期间采集,或者可使用视频会议的记录来采集。然后,用户可创建用于混合媒体通信的音频部分,或者该音频部分可以是来自视频会议的音频片段。例如,屏幕截图可被选择,并且音频可以是来自视频会议的音频片段,该音频片段发生在获取屏幕截图时间附近(诸如在视频会议时间轴上发生屏幕截图的几秒前后)。音频部分可经由混合媒体通信创建器120自动添加到混合媒体通信,或者可由用户选择来选择音频。但是,音频部分可来自于视频会议的任意片段,并且不必是在视频会议时间轴上与屏幕截图同时创建的音频。
利用本发明,用户可以在无需将信息打字成文本的情况下发送包括大量信息的混合媒体通信,替代地,用户可使用他或她的语音来生成信息。另外,只包括图像和音频或只包括图像、音频和文本的混合媒体通信的数据大小通常小于包含视频的通信的数据大小。此外,图像可以以比视频更高的分辨率采集,并且与视频相比,具有高分辨率图像和音频的混合媒体通信将仍然具有小的数据大小。具有较小数据大小的通信更易通过网络发送并且可发送得更快。另外,图片是静态的,而视频是动态的。在某些情况下,特别是在视频具有自身的音轨的情况下,对用户而言,与动态视频相比,提供静态图片的描述更为容易。
在一个实施例中,用于混合媒体通信的采集的内容可包括内容被采集的地点的位置数据。该位置数据可经由全球定位系统160生成。
混合媒体通信创建器120能够创建具有多个图像、多个音频部分、多个视频、多个动画或其任意组合的混合媒体通信。在一个实施例中,混合媒体通信的内容不必由装置100生成或采集。例如,装置100可接收来自另一装置的图像或其他内容或者可从互联网下载图像,该图像或其他内容之后被混合媒体通信创建器120使用,以创建混合媒体通信.
音频部分或消息不必是语音,也可以是音乐或其他可听声音。在一个实施例中,音频部分与混合媒体通信的图像、视频或其他内容相关。具体地,音频消息可以是图像或视频中是什么的口头描述。例如,用户可给皮肤状况拍照,然后利用用户语音可听地描述皮肤状况。然后,该音频和图像可包括在发送给医疗技术人员的混合媒体通信中。在另一示例中,用户可在度假中,并且采集重要地标的图像,然后装置100从用户对该地标的描述中采集音频消息。在一个实施例中,音频不是消息并且与混合媒体通信的其他内容无关。
应当认识到的是,装置100可以任意顺序采集音频和图像。在一个实施例中,首先采集音频并随后采集图像。例如,用户可命令装置100启动照相机的取景器,此时,装置100自动开始采集音频。一旦装置100接收到拍照命令,则装置100自动结束音频采集并创建混合媒体通信。在一个实施例中,装置100首先采集图像或用户选择预先采集的图像,然后装置100采集用于混合媒体通信的音频。在一个实施例中,装置100同时采集图像和音频。一旦已经采集或选择了音频和图像,则装置100可询问用户其他内容或媒体是否应包括在混合媒体通信中。然后,用户可指示另一图像、音频或视频应包括在混合媒体通信中。
在一个实施例中,装置100可开始记录音频,然后随着音频采集,采集多个图片。随着每个图片被采集,它被与音频被采集的时间轴相关地时间戳记。然后,混合媒体通信创建器120创建混合媒体通信,该混合媒体通信在音频播放期间显示第一张图片,之后在第二张图片被与音频消息的时间轴相关地采集时的时刻显示第二张图片。因此,混合媒体通信流受音频而非图片控制或驱动。这可针对任意时间长度和任意数量图片来实现。可预先确定时间量,使得装置100可在该预先确定的时间量之后(比如30秒之后)自动停止采集音频。可选地,装置100可在预先确定数量的图片被采集后停止采集音频和图片。装置100也可对混合媒体通信的数据大小进行限制并且一旦达到该数据大小,可停止采集内容。
在混合媒体通信创建器120生成混合媒体通信后,装置100可提示用户关于应该将混合媒体通信发送至哪个装置的信息。装置100可提供与本发明的app相关联的联系人库,可访问与装置100的操作系统相关联的联系人,或可由用户手动输入一个联系人。
装置100或另一装置能够接收混合媒体通信。当装置100接收混合媒体通信时,其可使用与接收消息或通信的装置相关联的任意标准提醒来提醒混合媒体通信的用户。然后,用户可命令装置100打开或访问该混合媒体通信。在一个实施例中,混合媒体通信创建器120创建混合媒体通信使得当通过装置访问该混合媒体通信时,自动显示混合媒体通信中的内容的不同部分。例如,如果混合媒体通信包括图像和音频消息,则一旦访问混合媒体通信,接收装置就会自动显示图像并播放音频。如果存在不止一个图像或音频消息,则混合媒体通信创建器120可自动选择播放内容的顺序并自动确定在显示后续图像之前显示图像的多久。但是,采用分屏技术、画中画技术、或在背景和前景各显示一个图像且这两个图像彼此部分重叠的方式,可同时显示多于一个图像。同样的方式适用于多个视频或视频和图像的组合。在一个实施例中,用户可手动选择混合媒体通信中的内容的不同部分的播放的顺序和/或长度。
装置100还能够对混合媒体通信中的内容进行编辑或过滤。图像和视频可被裁剪或被控制亮度和颜色或采用其他标准编辑技术。视频可被缩短。动画和其他效果可被添加到混合媒体通信的内容。装置100可采用用户界面来接收关于此类编辑、过滤、修改、改变或其他效果的命令。可以在视频或图像上叠加文本和其他效果。在一个实施例中,可添加尖状物(pinpoint)以识别图像中的对象。例如,尖状物可以是箭头或其他指示器形状,其指向诸如树木之类的对象或一部分。图像中被识别的对象也可是图像的区域。在一个实施例中,图像可被修改以使得图像的区域被放大。这可描述为对图像的一部分进行放大。被放大的区域可以是混合媒体通信中显示的图像的唯一部分。
在一个实施例中,可将混合媒体通信发送到存放视频、图片、或其他内容的网站,使得其他用户可按需访问内容,或者该网站可自动地将内容转发给指定用户。
现在参考图2,其是根据本发明的实施例的示例环境的框图。图2示出了具有麦克风225和区域210的装置200。图2还示出了对象215和用户205。装置200可被用于采集对象215的图像220。可以看出,图像220是在图2中被示出为建筑物或地标(诸如建筑)的对象215的图片。装置200可提示用户205记录与图像220相关的音频消息,该音频消息之后被用于创建混合媒体通信。区域210可被用于提示用户205,并且也可用于显示其他控件,诸如编辑控件或用于选择混合媒体通信发送至的联系人的控件。在一个实施例中,当音频消息正在被采集的同时,用户205可在装置200的显示器上看到图像220,或可在采集图像220之前采集音频。
现在参考图3A,其是根据本发明的实施例的示例环境的框图。图3A示出了装置300的侧视图,装置300包括前照相机机305,后照相机310和麦克风312。图3A还示出了用户314和对象320。在一个实施例中,后照相机310用于采集对象320的图片,前照相机用于采集用户314的视频而麦克风312用于采集音频。之后,图片、视频和音频被用于创建混合媒体通信。如果装置300具有多于一个照相机,则可同时采集图片、视频和音频。可选地,可以按任意序列或顺序并且可以由或不由装置300及其组件来采集图片、视频和音频。
在一个示例中,装置300采集对象320的图片并且采集视频,该视频带有用户314解释或提供关于对象320信息的音频或音轨。例如,用户314可解释对象320为何有意义的原因或用户314如何去到对象314或任何其他类型的信息。之后,该图片、音频和视频可被用于创建混合媒体通信。
现在参考图3B,其是根据本发明的实施例的示例环境的框图。图3B示出了装置300的前视图,该前视图显示了利用如图3A描述的采集到的图片、音频和视频而创建的混合媒体通信的播放。图像325是对象320的图片而视频330是用户314的视频。显示混合媒体通信,使得当视频330作为视频显示时,图像325以连续静态方式显示,并同时播放音频消息。因此,混合媒体通信可显示图片和解释或提供关于该图片的信息的用户的视频。视频可有助于表现帮助通信的用户的面部特征、身体语言或手势。可使用分屏技术或画中画技术来在装置300的显示器的分离区域中显示视频330和图像325。但是,视频330和图像325也可在同一区域中彼此重叠显示。例如,图像325可包括整个显示并且位于背景中,而视频330在图像325之上的前景中。相反地,图像325可在前景中,而视频330在背景中。
应当注意的是,这里描述的不同实施例也可彼此组合使用。即,描述的一个实施例可与描述的一个或多个其他的实施例组合使用。
混合媒体通信的操作
图4是示出了根据本发明的一个实施例的利用混合媒体通信进行通信的处理400。在一个实施例中,处理400是计算机实施的方法,其由在计算机可使用和计算机可执行指令的控制下的处理器和电组件来执行。该计算机可使用和计算机可执行指令存在于,例如,诸如计算机可使用的易失性和非易失性存储器之类的数据存储部件中,并且可以是非瞬时的。但是,计算机可使用和计算机可执行指令可存在于任何类型的计算机可使用存储介质中。在一个实施例中,处理400由图1、图2、图3A和/或图3B的组件来执行。
在402处,经由与装置相关联的图像采集装置来采集图像。可采集多个图像。也可采集诸如视频之类的其他内容。在一个实施例中,图像是诸如视频会议之类的视频的快照。
在404处,经由与装置相关联的麦克风来采集与图像相关的音频消息。音频可以是直接描述图像的,诸如图像的语音描述,或者可以是音乐、声效、或其他可听声音。在一个实施例中,音频不描述图像或不是典型地与图像相关联,而是仅仅因为在混合媒体通信中被选择与图像组合而与图像相关。在一个实施例中,装置提示用户采集与图像相关的音频或在预期要采集图像时提示用户采集音频。音频消息和图像可一个接一个依次采集或同时采集。音频消息可以是会议期间采集的音频流的一部分。
在406处,从装置向第二装置发送通信,其中该通信包括图像和音频消息,使得第二装置一旦访问该通信就将自动地显示图像并播放音频消息。通信可以是混合媒体通信并且可以在蜂窝式网络上发送。通信可包括任意数量的由各种内容组成的附加部分,该各种内容包括文本、动画、图像、视频、效果、音频等。图像可被修改以包括识别图像的对象或区域的尖状物,或可被修改为拉近并放大图像的区域。
图5是示出了根据本发明的一个实施例的利用混合媒体通信进行通信的处理500。在一个实施例中,处理500是计算机实施的方法,其在由计算机可使用和计算机可执行指令的控制下的处理器和电组件来执行。该计算机可使用和计算机可执行指令存在于,例如,诸如计算机可使用的易失性和非易失性存储器之类的数据存储部件中,并且可以是非瞬时的。但是,计算机可使用和计算机可执行指令可存在于任何类型的计算机可使用存储介质中。在一个实施例中,处理500由图1、图2、图3A和/或图3B的组件来执行。
在502处,经由与装置相关联的第一图像采集装置来采集图像。
在504处,经由与所述装置相关联的第二图像采集装置来采集视频,其中该视频包括音频部分,并且其中该音频部分与图像相关。
在506处,从装置向第二装置发送通信,其中该通信包括图像和视频,使得第二装置一旦访问该通信就将自动地显示图像并播放视频。通信可在图像在前景而视频在背景的情况下同时显示视频和图像。通信可在图像在背景中而视频在前景中的情况下同时显示视频和图像。通信可以是混合媒体通信并且可以包括内容的附加部分。视频在其与通信进行合并之前可被修改或编辑。
由此描述了不同的实施例。尽管已描述了特定的实施例,但是应当了解的是,不应将实施例解释为受该描述的限制,而应根据随附权利要求进行解释。
示例计算机系统环境
本发明的部分由计算机可读和计算机可执行指令组成,指令存在于例如计算机系统或其他用户装置(诸如用于混合媒体通信的智能电话)的计算机可使用介质中。下面描述的是可用于本发明的各个方面或与本发明的各个方面结合的示例计算机系统或组件。
应认识到的是,本发明可在许多不同计算机系统之上或之间操作,计算机系统包括通用联网计算机系统、嵌入式计算机系统、基于云的计算机、路由器、交换机、服务器装置、用户装置、各种中间装置/工件、单机计算机系统、移动电话、个人数据助理、电视机等。计算机系统适合于具备外围计算机可读媒体,诸如与其耦接的例如软盘、光盘等。
计算机系统包括用于通信信息的地址/数据总线,和用于处理信息和指令的与总线耦接的处理器。计算机系统还适合于多处理器或单处理器环境,并且还包括与总线耦接的诸如计算机可使用易失性存储器(例如,随机存取存储器(RAM))之类数据存储部件,用于存储信息和用于处理器的指令。
计算机系统还可包括计算机可使用非易失性存储器(例如,只读存储器(ROM))以及诸如字母数字输入装置、鼠标、或其他常用输入装置之类的输入装置。计算机系统还可包括诸如液晶装置、阴极射线管、等离子显示器之类的显示器以及诸如打印机或其他常见输出装置之类的其他输出组件。
计算机系统还可包括一个或多个与总线相耦接的信号生成和接收装置,用于使得该系统能够与其他电子装置和计算机系统相连接。本实施例的信号生成和接收装置可包括有线式串口适配器、有线式调制解调器、网络适配器、无线式调制解调器、无线式网络适配器、以及其他这样的通信技术。信号生成和接收装置可同一个或多个通信接口联合工作,用于向和/或从计算机系统耦合信息。通信接口可包括串行端口、并行端口、通用串行总线(USB)、以太网端口、天线、或其他输入/输出接口。通信接口可物理地、电地、光学地、或无线地(例如,通过射频)将计算机系统与另一装置(诸如蜂窝式电话、收音机、手持式装置、智能电话)或计算机系统耦接。
尽管以针对结构特征和/或方法步骤的语言描述了本发明,但是应当理解的是,在随附权利要求中限定的本发明不必限于上述的特定特征或步骤。相反,上述特定特征或步骤被公开为实现权力要求的示例形式。
本文描述的所有元件、部件和步骤是优选的包括。应当理解的是,对于本领域技术人员而显而易见的是,任意的这些元件、部件和步骤可被其他元件、部件和步骤替代或完全删除。
构思
本文至少呈现了如下构思。
构思1.一种利用混合媒体通信进行通信的计算机实施的方法,所述方法包括:
经由与装置相关联的图像采集装置来采集图像;
经由与所述装置相关联的麦克风来采集与所述图像相关的音频消息;和
从所述装置向第二装置发送通信,其中所述通信包括所述图像和所述音频消息,使得所述第二装置一旦访问所述通信就将自动地显示所述图像并播放所述音频消息。
构思2.根据构思1所述的计算机实施的方法,其中所述通信通过网络发送,所述网络选自由蜂窝式网络和wifi网络组成的网络组。
构思3.根据构思1所述的计算机实施的方法,其中所述装置向用户提示所述音频消息。
构思4.根据构思1、2或3所述的计算机实施的方法,其中所述通信包括多个图像,并且所述音频消息与所述多个图像相关。
构思5.根据构思1、2或3所述的计算机实施的方法,其中所述通信进一步包括附加部分,其中所述附加部分选自由文本消息、动画、附加图像和视频组成的附加部分组。
构思6.根据构思1、2或3所述的计算机实施的方法,其中所述采集所述图像发生在所述采集所述音频消息之前。
构思7.根据构思1、2或3所述的计算机实施的方法,其中所述采集所述图像发生在所述采集所述音频消息之后。
构思8.根据构思1、2或3所述的计算机实施的方法,其中所述采集所述图像发生所述采集所述音频消息期间。
构思9.根据构思1、2或3所述的计算机实施的方法,其中在所述发送所述通信之前经由滤波器修改所述图像。
构思10.根据构思9所述的计算机实施的方法,其中将所述图像修改以添加识别所述图像中的对象的尖状物。
构思11.根据构思9所述的计算机实施的方法,其中所述图像被修改以放大所述图像的区域。
构思12.根据构思1所述的计算机实施的方法,其中所述图像是由所述图像采集装置采集的视频会议的快照图像,并且所述音频消息是所述视频会议的音频部分。
构思13.一种利用混合媒体通信进行通信的装置,所述装置包括:
图像采集装置,用于采集图像;
麦克风,用于采集与所述图像相关的音频消息;和
混合媒体通信创建器,用于创建和发送从所述装置到第二装置的通信,其中所述通信包括所述图像和所述音频消息,使得所述第二装置一旦访问所述通信就将自动地显示所述图像并播放所述音频消息。
构思14.根据构思13所述的装置,所述装置进一步包括:
第二图像采集装置,用于采集图像。
构思15.一种利用混合媒体通信的进行通信的计算机实施的方法,所述方法包括:
经由与装置相关联的第一图像采集装置来采集图像;
经由与所述装置相关联的第二图像采集装置来采集视频,其中所述视频包括音频部分,并且其中所述音频部分与所述图像相关;和
从所述装置向第二装置发送通信,其中所述通信包括所述图像和所述视频,使得所述第二装置一旦访问所述通信就将自动地显示所述图像并播放所述视频。
构思16.根据构思15所述的计算机实施的方法,其中通信同时显示所述视频和所述图像,所述图像在显示的前景部分,而所述视频在所述显示的背景部分。
构思17.根据构思15所述的计算机实施的方法,其中通信同时显示所述视频和所述图像,所述图像在显示的背景部分,而所述视频在所述显示的前景部分。
构思18.根据构思15、16或17所述的计算机实施的方法,其中所述视频包括音频和视频,并且其中所述音频与所述图像中描绘的事物相关。
构思19.根据构思15、16或17所述的计算机实施的方法,其中所述通信包括多个图像和视频。
构思20.根据构思15、16或17所述的计算机实施的方法,其中所述通信进一步包括附加部分,其中所述附加部分选自由文本信息、动画、附加图像和视频组成的附加部分组。
构思21.根据构思15、16或17所述的计算机实施的方法,其中所述采集所述图像发生在所述采集所述视频之前。
构思22.根据构思15、16或17所述的计算机实施的方法,其中所述采集所述图像发生在所述采集所述视频之后。
构思23.根据构思15、16或17所述的计算机实施的方法,其中在所述发送所述通信之前,经由滤波器来修改所述视频。

Claims (23)

1.一种利用混合媒体通信进行通信的计算机实施的方法,所述方法包括:
经由与装置相关联的图像采集装置来采集图像;
经由与所述装置相关联的麦克风来采集与所述图像相关的音频消息;和
从所述装置向第二装置发送通信,其中所述通信包括所述图像和所述音频消息,使得所述第二装置一旦访问所述通信,就将自动地显示所述图像并播放所述音频消息。
2.根据权利要求1所述的计算机实施的方法,其中所述通信通过网络发送,所述网络选自由蜂窝式网络和wifi网络组成的网络组。
3.根据权利要求1所述的计算机实施的方法,其中所述装置向用户提示所述音频消息。
4.根据权利要求1所述的计算机实施的方法,其中所述通信包括多个图像,并且所述音频消息与所述多个图像相关。
5.根据权利要求1所述的计算机实施的方法,其中所述通信进一步包括附加部分,其中所述附加部分选自由文本信息、动画、附加图像和视频组成的附加部分组。
6.根据权利要求1所述的计算机实施的方法,其中所述采集所述图像发生在所述采集所述音频消息之前。
7.根据权利要求1所述的计算机实施的方法,其中所述采集所述图像发生在所述采集所述音频消息之后。
8.根据权利要求1所述的计算机实施的方法,其中所述采集所述图像发生在所述采集所述音频消息期间。
9.根据权利要求1所述的计算机实施的方法,其中在所述发送所述通信之前,经由滤波器来修改所述图像。
10.根据权利要求9所述的计算机实施的方法,其中将所述图像修改以添加识别所述图像中对象的尖状物。
11.根据权利要求9所述的计算机实施的方法,其中将所述图像修改以放大所述图像的区域。
12.根据权利要求1所述的计算机实施的方法,其中所述图像是由所述图像采集装置采集的视频会议的快照图像,并且所述音频消息是所述视频会议的音频部分。
13.一种利用混合媒体通信进行通信的装置,所述装置包括:
图像采集装置,用于采集图像;
麦克风,用于采集与所述图像相关的音频消息;和
混合媒体通信创建器,用于创建和发送从所述装置到第二装置的通信,其中所述通信包括所述图像和所述音频消息,使得所述第二装置一旦访问所述通信,就将自动地显示所述图像并且播放所述音频消息。
14.根据权利要求13所述的装置,所述装置进一步包括:
第二图像采集装置,用于采集图像。
15.一种利用混合媒体通信进行通信的计算机实施的方法,所述方法包括:
经由与装置相关联的第一图像采集装置来采集图像;
经由与所述装置相关联的第二图像采集装置来采集视频,其中所述视频包括音频部分,并且其中所述音频部分与所述图像相关;和
从所述装置向第二装置发送通信,其中所述通信包括所述图像和所述视频,使得所述第二装置一旦访问所述通信,就将自动地显示所述图像并播放所述视频。
16.根据权利要求15所述的计算机实施的方法,其中通信同时显示所述视频和所述图像,所述图像在显示的前景部分,而所述视频在所述显示的背景部分。
17.根据权利要求15所述的计算机实施的方法,其中通信同时显示所述视频和所述图像,所述图像在显示的背景部分,而所述视频在所述显示的前景部分。
18.根据权利要求15所述的计算机实施的方法,其中所述视频包括音频和视频,并且其中所述音频与所述图像中描绘的事物相关。
19.根据权利要求15所述的计算机实施的方法,其中所述通信包括多个图像和视频。
20.根据权利要求15所述的计算机实施的方法,其中所述通信进一步包括附加部分,其中所述附加部分选自由文本信息、动画、附加图像和视频组成的附加部分组。
21.根据权利要求15所述的计算机实施的方法,其中所述采集所述图像发生在所述采集所述视频之前。
22.根据权利要求15所述的计算机实施的方法,其中所述采集所述图像发生在所述采集所述视频之后。
23.根据权利要求15所述的计算机实施的方法,其中在所述发送所述通信之前,经由滤波器来修改所述视频。
CN201480002801.XA 2013-01-08 2014-01-07 混合媒体通信 Pending CN104756096A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/736,832 2013-01-08
US13/736,832 US9325776B2 (en) 2013-01-08 2013-01-08 Mixed media communication
PCT/US2014/010556 WO2014110055A1 (en) 2013-01-08 2014-01-07 Mixed media communication

Publications (1)

Publication Number Publication Date
CN104756096A true CN104756096A (zh) 2015-07-01

Family

ID=51061325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480002801.XA Pending CN104756096A (zh) 2013-01-08 2014-01-07 混合媒体通信

Country Status (4)

Country Link
US (1) US9325776B2 (zh)
JP (1) JP2016506700A (zh)
CN (1) CN104756096A (zh)
WO (1) WO2014110055A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113194279A (zh) * 2021-04-30 2021-07-30 上海博泰悦臻网络技术服务有限公司 网络会议的记录方法、计算机可读存储介质及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140362290A1 (en) * 2013-06-06 2014-12-11 Hallmark Cards, Incorporated Facilitating generation and presentation of sound images
CN106713636B (zh) * 2016-12-23 2019-10-25 北京安云世纪科技有限公司 图片数据的加载方法、装置及移动终端
US10248306B1 (en) * 2017-12-20 2019-04-02 Motorola Mobility Llc Systems and methods for end-users to link objects from images with digital content
CN109309762B (zh) * 2018-11-30 2021-08-10 努比亚技术有限公司 消息处理方法、装置、移动终端以及存储介质
US11962482B2 (en) * 2022-07-14 2024-04-16 Rovi Guides, Inc. Systems and methods for maintaining video quality using digital twin synthesis

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
US6414707B1 (en) 1998-10-16 2002-07-02 At&T Corp. Apparatus and method for incorporating virtual video conferencing environments
US7085259B2 (en) * 2001-07-31 2006-08-01 Comverse, Inc. Animated audio messaging
NO318868B1 (no) * 2003-10-24 2005-05-18 Tandberg Telecom As Videokonferanse med forbedrede multimediakapabiliteter
US20060041632A1 (en) * 2004-08-23 2006-02-23 Microsoft Corporation System and method to associate content types in a portable communication device
US20070182822A1 (en) * 2005-12-12 2007-08-09 Microsoft Corporation Media Composer
WO2008139251A2 (en) 2006-04-14 2008-11-20 Patrick Levy Rosenthal Virtual video camera device with three-dimensional tracking and virtual object insertion
US8375283B2 (en) * 2006-06-20 2013-02-12 Nokia Corporation System, device, method, and computer program product for annotating media files
US20080090607A1 (en) * 2006-10-11 2008-04-17 Christian Kraft Mobile communication terminal and method thereof
KR100827802B1 (ko) * 2006-10-24 2008-05-07 삼성전자주식회사 휴대 단말기의 화상 통화 장치 및 화상 통화 송수신방법
KR101433157B1 (ko) * 2007-10-26 2014-08-22 삼성전자주식회사 휴대 단말기 및 그 이미지 전송 방법
US8363019B2 (en) * 2008-05-26 2013-01-29 Lg Electronics Inc. Mobile terminal using proximity sensor and method of controlling the mobile terminal
US9015242B2 (en) 2009-09-06 2015-04-21 Tangome, Inc. Communicating with a user device
KR20120006675A (ko) 2010-07-13 2012-01-19 엘지전자 주식회사 화상회의 장치 및 화상회의 영상을 디스플레이하는 방법
US9544543B2 (en) 2011-02-11 2017-01-10 Tangome, Inc. Augmenting a video conference

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113194279A (zh) * 2021-04-30 2021-07-30 上海博泰悦臻网络技术服务有限公司 网络会议的记录方法、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
JP2016506700A (ja) 2016-03-03
US9325776B2 (en) 2016-04-26
WO2014110055A1 (en) 2014-07-17
US20140194152A1 (en) 2014-07-10

Similar Documents

Publication Publication Date Title
US10255929B2 (en) Media presentation playback annotation
US10841661B2 (en) Interactive method, apparatus, and system in live room
US10685059B2 (en) Portable electronic device and method for generating a summary of video data
CN104967902B (zh) 视频分享方法、装置及系统
JP6117446B2 (ja) リアルタイム・ビデオの提供方法、リアルタイム・ビデオの提供装置、サーバ、端末装置、プログラム及び記録媒体
CN104756096A (zh) 混合媒体通信
CN105845124B (zh) 音频处理方法及装置
CN109461462B (zh) 音频分享方法及装置
JP2015535964A (ja) スライドショーを作成するためのシステムおよび方法
US11379180B2 (en) Method and device for playing voice, electronic device, and storage medium
CN109245997B (zh) 语音消息播放方法及装置
CN109660873B (zh) 基于视频的交互方法、交互装置和计算机可读存储介质
US20210266633A1 (en) Real-time voice information interactive method and apparatus, electronic device and storage medium
CN104636164B (zh) 启动页面生成方法及装置
WO2018076358A1 (zh) 多媒体信息播放方法及系统、标准化服务器、直播终端
CN107888965A (zh) 图像礼物展示方法及装置、终端、系统、存储介质
KR101601003B1 (ko) 인스턴트 메세지를 관리하는 방법, 장치, 프로그램 및 기록매체
WO2017107648A1 (zh) 一种聊天信息的发布方法及装置
CN105808231B (zh) 录制与播放脚本的系统及方法
CN115278139A (zh) 一种视频处理方法、装置、电子设备及存储介质
CN109756783B (zh) 海报的生成方法及装置
WO2019076202A1 (zh) 多屏互动方法、装置及电子设备
JP2016063477A (ja) 会議システム、情報処理方法、及びプログラム
WO2017193343A1 (zh) 媒体文件分享方法、媒体文件分享设备及终端
CN104769527A (zh) 来自多模式传感器的混合媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150701