JP2016531498A - リアルタイムステータス通知を用いた音声通信 - Google Patents

リアルタイムステータス通知を用いた音声通信 Download PDF

Info

Publication number
JP2016531498A
JP2016531498A JP2016531611A JP2016531611A JP2016531498A JP 2016531498 A JP2016531498 A JP 2016531498A JP 2016531611 A JP2016531611 A JP 2016531611A JP 2016531611 A JP2016531611 A JP 2016531611A JP 2016531498 A JP2016531498 A JP 2016531498A
Authority
JP
Japan
Prior art keywords
control mechanism
audio recording
text
portable
touch screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016531611A
Other languages
English (en)
Other versions
JP6594871B2 (ja
Inventor
クーム、ヤン
ビー. ドナヒュー、マイケル
ビー. ドナヒュー、マイケル
アクトン、ブライアン
ジェームズ リード、エリック
ジェームズ リード、エリック
ストゥカロフ、ディマ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WhatsApp LLC
Original Assignee
WhatsApp LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WhatsApp LLC filed Critical WhatsApp LLC
Publication of JP2016531498A publication Critical patent/JP2016531498A/ja
Application granted granted Critical
Publication of JP6594871B2 publication Critical patent/JP6594871B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/56Unified messaging, e.g. interactions between e-mail, instant messaging or converged IP messaging [CPM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

ステータス通知を用いて電子音声通信を行うシステム、装置、グラフィカルユーザインターフェース、及び方法を提供する。通信アプリケーションを実行する第1のポータブルデバイスのユーザは、オーディオ記録を自動的に開始する多機能制御機構を選択し、制御機構が解放されると、アクティブな通信セッションの別の参加者に向けてオーディオ記録が自動的に送信される。同じ多機能制御機構が、テキストメッセージの送信にも使用可能である。記録の表現は、他の参加者が記録を再生する場合に外観を変更するインジケータと共にユーザのデバイスに表示される。加えて、あるユーザが、別のユーザに自動的に送信されるオーディオ記録を開始すると、他のユーザのデバイスには記録の開始が伝えられ、そのステータスが他のユーザに表示される。

Description

本発明は、コンピュータ及び電子通信の分野に関する。より詳細には、ステータス通知を用いて電子音声通信を行うシステム、装置、グラフィカルユーザインターフェース、及び方法を提供する。
ワイヤレス電話は不可欠の付属品になり、どこへ行くにも大半の人々に付随する。したがって、モバイル電話ユーザには何らかの形態の通信を介してほぼ常に連絡可能である。ライブのリアルタイム音声通信を行う能力はなお、多くの人々が電話を携帯する主な理由であるが、多くの他の人々は、リアルタイム音声通信よりも非音声通信に電話を使用し得る。
特に、多くの人々は、ワイヤレス電話を使用し、SMS(ショートメッセージサービス)を介してショートテキストメッセージを交換する。SMSメッセージは一般に、140文字のテキストに制限され、ワイヤレス電話サービスプロバイダの音声ネットワークの制御チャネルを介して伝達される。したがって、ワイヤレス電話ユーザは、テキストメッセージを一人の人に送信しているか、又は多くの人に送信しているかに関係なく、一度に通信することができる量が制限される。MMS(マルチメディアメッセージングサービス)は、メディア(例えば、イメージ、ビデオ)をワイヤレス電話とやりとりできるようにするために開発されたが、それでもなお、受信者に通知を届けるためにSMSプロトコルに依存している。
しかしながら、記録された音声通信を別のワイヤレス電話ユーザと交換するワイヤレス電話ユーザの能力は、MMSを用いる場合であっても面倒である。特に、典型的なワイヤレス電話で音声記録(又は他のオーディオ記録)を開始するには、正確な順序で複数の制御機構を操作する等の複数の動作が必要である。例えば、ユーザは、記録アプリケーションを開き、記録を開始し、記録を終了し、おそらくは記憶するために名前を付け、通信アプリケーションを開き、所望の受信者へのメッセージを作成し、添付物を追加するためのオプションを選択し、次に記録を見つけて添付する必要があり得る。発信元ユーザ及び宛先ユーザが共通の通信アプリケーションを動作させている場合であっても、発信者はなお、メニューを開いて、記録を行うオプションを見つけて選択し、記録を開始し、記録を停止し、次にそれを受信者に送信するオプションを選択する必要があり得る。
本発明の幾つかの実施形態では、リアルタイムステータス通知を用いて音声通信を行うシステム、装置、グラフィカルユーザインターフェース、及び方法が提供される。これらの実施形態では、あるポータブルデバイスのユーザは、容易に素早くオーディオ記録を作成し、別のデバイスのユーザに送信することが可能である。何れか一方又は両方のユーザは、他のユーザのステータス又は記録のリアルタイム通知を受信し得る。
幾つかの実施形態では、多機能制御機構の1回の操作で、あるポータブル電子デバイスのユーザは、オーディオ記録を作成し、別のユーザに送信する。異なる状況では、同じ制御機構により、ユーザは、オーディオ記録とは別個のテキストメッセージを送信することができる。幾つかの実装形態では、制御機構は、ユーザがテキストをテキストウィンドウ又はダイアログボックスに入力したか否か等の状況に応じて外観を変更し得る。
幾つかの実施形態では、オーディオ記録の送信者は、受信者がオーディオ記録の再生を開始し、及び/又は完了したことのリアルタイム通知を受信する。幾つかの実装形態では、オーディオ記録の表現(例えば、ユーザの会話をグラフィカルに表示したものにおいて)又は他のユーザの表現は、記録のステータスのこの変更を示すように外観を変更する。
幾つかの実施形態では、オーディオ記録の受信者に、送信者がオーディオ記録を開始したことを知らせ得る。例えば、記録が開始されたとき、信号が受信者のデバイスに向けて発行され得、受信者は、送信者が記録を完了する前にステータスを閲覧し得る。
本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて記録音声通信を促進するシステムのブロック図である。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うデバイスのユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースを示す。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信をサポートする方法を示すフローチャートである。 本発明の幾つかの実施形態による、リアルタイムステータス通知を用いた記録オーディオ通信を行うポータブルデバイスのブロック図である。
以下の説明は、当業者が本発明を作製し使用できるようにするために提示されている。開示される実施形態の様々な変更形態が当業者に容易に明らかになる。本明細書において定義される一般原理は、本発明の範囲から逸脱せずに、他の実施形態及び用途に適用し得る。したがって、本発明は、示される実施形態に限定されることが意図されない。
本発明の幾つかの実施形態では、リアルタイムステータス通知を用いて音声通信を行うシステム、装置、ユーザインターフェース、及び方法が提供される。異なる実施形態では、ワンタッチ音声記録、音声記録の開始の通信相手への動的リアルタイム通知、相手への記録の確実な送達、通信相手による記録の再生のリアルタイム通知、及びオーディオ記録を再生する出力デバイスの自動選択等の複数の相補的な特徴の1つ又は複数が実施される。
本発明の実施形態は、テキスト、イメージ、音声記録、及び/又は他の電子情報がIEEE802.11規格(例えば、Wi−Fi(登録商標)接続)に準拠したデータ通信チャネルを介して交換される通信環境内で実施される。これらの実施形態では、ライブ音声会話以外のインスタント又はリアルタイム通信の送信に対して限られたサポートを提供する従来のワイヤレス音声通信チャネルに頼るのではなく、データ通信チャネルにより、同じタイプ及び/又は異なるタイプのデバイス間で略全てのタイプの通信及びメディアの無制限交換を可能にする。
本発明の例示的な実施形態は、1対1通信セッション(例えば、チャットセッション)の一部として実施し得るものとして説明されるが、グループ通信セッション(例えば、グループチャット)に適用することも可能である。
図1は、本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて記録音声通信を促進するシステムのブロック図である。
これらの実施形態では、通信システム120のユーザは、同じ又は異なるオペレーティングシステム(例えば、アンドロイド(Android)(登録商標)、ブラックベリー(BlackBerry)(登録商標)、iOS(登録商標)、ノキアS40(Nokia S40)、シンビアン(Symbian)(登録商標)、ウィンドウズフォン(Windows Phone)(登録商標))を動作させている様々なポータブル通信デバイスを操作する。したがって、デバイス102、104は、異なるユーザによって操作されるが、同様又は非常に異なるように構成され得る。デバイス102とデバイス104との間の通信セッション110は、デバイス102とシステム120との間及びデバイス104とシステム120との間の別個の接続を含む。
システム120は、複数のユーザが同時に使用することができる通信アプリケーション又はサービス(又は通信アプリケーションのサーバ部分)をホストするデータセンタ、コンピュータネットワーク、又はコンピュータ資源の他の連携する集まりである。幾つかの実装形態では、アプリケーションは、ユーザの通信デバイス(例えば、デバイス102)から、他の通信デバイス(例えば、デバイス104)を操作している一人又は複数の他のユーザへ/から、テキスト、オーディオ記録、写真、ビデオ、及びマルチメディアのインスタントメッセージングをユーザに提供する。
システム120によってホストされる通信アプリケーションは、デバイス102、104に対応し、デバイスのネイティブオペレーティングシステム下で実行されるクライアント論理を含む。あるタイプのデバイスを操作し、ある通信サーバプロバイダに加入しているユーザは、他のタイプのデバイスを操作し、他の通信サービスプロバイダに加入しているユーザとメッセージを交換することができる。個々のメッセージは、任意の数の受信者に送信し得、例えば、複数のユーザがインスタント通信をインタラクティブに交換するグループ形態の通信(例えば、チャット)が提供可能である。
通信サーバ122は、システムとのユーザの接続をホストし、ユーザ間の通信の交換を促進するシステム120のフロントエンド構成要素である。サーバ122は、一人又は複数の他のユーザに送るためにリアルタイムメッセージ及びチャットセッション通信を個々のユーザから受信するという点で、「チャット」サーバと呼ぶことができる。
例示的に、ユーザがシステム120にオンラインであり、アプリケーションがユーザのデバイスで実行されている限り、接続又はセッションは、デバイスと通信サーバ122との間で維持し得る。ユーザがデバイスでアプリケーションを閉じると、ユーザの接続はある時間期間(例えば、5分、15分)にわたって続き得る。
状態サーバ124は、ユーザ及び/又はユーザのデバイスの状態又はステータスを保持する。したがって、状態サーバは、該当する好み(例えば、好まれる可聴及び/又は視覚的アラート、ステータスメッセージ)、デバイスタイプ/モデル等を含め、ユーザのプロファイルの幾つか又は全てを記憶する。ユーザに関して状態サーバによって保持される幾らかのステータス情報は、システム120とのユーザの接続の持続時間にわたってのみ存続し得る。ユーザのデバイスが異なる方法又は異なるモデルで動作する、オフラインになる、オンラインになる等が起こると、状態サーバはそれらの変更を捕捉し得る。
しかし、本発明の幾つかの実施形態では、ユーザのデバイス又はシステム接続のステータスは保持されない。しかし、これらの実施形態では、ユーザ又はユーザデバイスのステータスの変更は、デバイスによりシステムに報告し得、そのユーザとの通信(例えば、チャット)セッションに従事している他のユーザ及び/又はそのユーザとのオープン通信セッションを有さないが、そのユーザに関するステータスアップデートに加入しているユーザに中継し得る。
これらの実施形態では、状態サーバに保持されるユーザプロファイルの一部として、そのユーザに関連付けられた他のユーザの識別子が識別され得る。これらの他のユーザには、オンラインになったとき及びオフラインになったとき等、ユーザのステータスの幾つか若しくは全ての変更(又はユーザのデバイスのステータスの変更)が通知される。後述するように、他のステータス変更は関連付けられたユーザに通信することもできる。
メッセージサーバ126は、ターゲット又は宛先ユーザに即座に届けることができない通信を記憶する。システム120に現在オンラインであるユーザについて受信される新しいメッセージ(例えば、テキストチャットメッセージ)は、即座に(すなわち、通信サーバ122とのユーザのオープン接続を通して)届けることができる。しかし、現在オフラインである(すなわち、通信サーバ122とのオープン接続を有さない)ユーザについて受信されたメッセージは、それを届けることができるまでメッセージサーバ126に記憶し得る。
メディアサーバ128は、メッセージサーバ126に記憶し得るメッセージの他に、宛先ユーザへの送達を待つメディアファイル又はコンテンツを記憶する。例えば、あるユーザから別のメッセージへのメッセージは、写真、ビデオ、オーディオ記録、又は何らかの他のメディアであり得、又はそれを含み得る。メディアは、それを届けることができるまで、メディアサーバ128に記憶され、送達は、宛先ユーザがオンラインであるときに自動的に行うこともでき、又は宛先ユーザがメディアを要求するときのみ(例えば、メディアコンテンツを宛先ユーザに知らせるために宛先ユーザに届けられるテキストメッセージ内のリンクをクリックすることにより)開始することもできる。
システム120とのオンラインユーザの接続の終了点を識別する情報は、通信/チャットサーバ122、状態サーバ124、及び/又は他のエンティティ(例えば、セッションサーバ(図1に示されず))に記憶し得る。例えば、各通信サーバは、システムとの接続がそのサーバで終了されるか、又はそのサーバによってホストされるユーザを識別するテーブル又は他のデータ構造を保持し得る。別のエンティティ(例えば、状態サーバ124、セッションサーバ)は、システムに接続されたあらゆるユーザについて、どの通信サーバが接続を保持しているかを識別するより大きなデータセットを記憶し得る。
したがって、通信サーバは、1つ又は複数の他のユーザへの新しい通信を接続ユーザから受信すると、ローカルデータ及び/又は別のシステムエンティティに記憶されたデータ内のルックアップを実行して、他のユーザのステータス、例えば、接続されているか否か、ビジー通信中であるか否かなどを決定し、そうである場合にはどこなのか特定し得る。幾つかの実装形態では、まず、ローカルデータテーブル(例えば、ルーティングテーブル)を検索し、幾人か又は全ての宛先ユーザのステータスがローカルに見つからない場合のみ、別の構成要素にクエリを発行する。
任意の数(例えば、1つ又は複数)の通信サーバ、状態サーバ、メッセージサーバ、メディアサーバ、及び/又は他のサーバが、システム100内で展開され得る。サーバ122、124、126、128の機能は、より少数のサーバに統合されるか、又は追加のサーバに分割されること等により、他の実施形態では別様に分散し得る。
システム120のサーバは、ハードウェア資源(例えば、プロセッサ、ストレージ、通信インターフェース)と、それらに帰属する機能の実行に適するソフトウェア資源(例えば、プログラムコード、データ)とを備える別個の物理的なコンピュータシステムであり得る。幾つかの代替の実施形態では、任意又は全てのサーバは、ハードウェア及び/又はソフトウェア資源を共有する仮想演算マシンであり得る。したがって、異なる機能を実行する複数のソフトウェアサーバモジュールが1つのサーバコンピュータに存在し得る。
ネットワーク150は、デバイス102、104、及びシステム120間の通信パスを備え、データチャネル及び/又は音声通信チャネルを含み得る。データ通信を搬送するために、ネットワーク150は、インターネット、1つ又は複数のイントラネット、LAN(ローカルエリアネットワーク)、WAN(広域ネットワーク)、及び/又はポイントツーポイント又は分散接続を含み得、これらは有線及び/又は無線の性質であり得る。音声通信を搬送するために、ネットワーク150は、異なる通信サービスプロバイダによって管理され、モバイル通信用グローバルシステム(GSM)(登録商標)、GSMエボリューション用エンハンスドデータレート(EDGE)、ロングタームエボリューション(LTE)、符号分割多元アクセス(CDMA)、エボリューションデータ最適化(EV−DO)等の略あらゆるワイヤレス技術を実施する有線及び/又は無線音声通信リンクを含み得る。
したがって、ネットワーク150は、ルータ、ゲートウェイ、スイッチ、基地局(例えば、ワイヤレスアクセスポイント、ノードB、eノードB)、及び/又はデータ及び/又は音声接続の確立、維持、切り換え、又は他の方法での操作を行うための他の機器等の図1に示されていない様々なエンティティを含み得る。
図2は、本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うデバイスのユーザインターフェースを示す。これらの実施形態では、デバイス202は、図1のシステム120によってホストされる通信アプリケーションがインストールされたスマートフォン又はポータブル演算デバイスであり得る。したがって、デバイス202のオペレータは、アプリケーションの他のユーザとリアルタイムで通信を交換することが可能である。それらの通信は、テキスト、イメージ、オーディオ記録、及び/又は他のメディアを含み得る。デバイス202は、タッチスクリーンディスプレイ、1つ又は複数のマイクロホン、及び1つ又は複数のスピーカを含み、本明細書で参照されない他の構成要素を含むこともできる。
図2では、デバイス202のユーザ又は操作者は、通信アプリケーションを開いており、セッションスレッド210を含め、ユーザインターフェース204が提示されている。各セッションスレッド210は、一人又は複数のユーザとの別個の通信セッションに関する。幾つか又は全てのスレッドは、セッションに関わる別のユーザがスレッド210aのサムネイルイメージ212aを提供していた場合、そのユーザに関連付けられたサムネイルイメージを含み得る。スレッドは、そのユーザと交換された最後の通信の時刻又は日付(例えば、スレッド210aの時刻214a)及び最後の通信の抜粋(その通信がテキストコンテンツを含んだ場合)又は通信が十分に短い場合には全通信(例えば、スレッド210aの抜粋216a)を識別することもできる。
セッションスレッドは、デバイス202のユーザが参加している任意のアクティブ通信セッションについて、及びユーザが構成可能であることもあれば、又はないこともある、ある経過時間期間内でユーザが参加した任意のセッションについて列挙される。ユーザは、デバイス202の表示構成要素で一度に全てを表示することができない場合、スレッドをスクロールする必要があり得る。スレッド210は、一番新しいアクティブ通信セッションに関連付けられたスレッドが一番上にあるように、最もアクティブなセッション(例えば、全体で最大数のメッセージ又は最大の平均通信レートを有するセッション)が一番上にあるように、ユーザによって選択された人々が最初に列挙されるようにソートし得るか、又は何らかの他の方法でソートし得る。
セッションスレッド210の中の個々のセッションは、通信セッションに参加している他のユーザの名前(1対1セッションの場合)又はグループ通信セッションの場合にはグループの名前によって識別し得る。グループセッションのスレッドは、最も新しい通信を提出したメンバを識別し、グループのどのメンバが現在オンラインであり、及び/又は他の情報を提供するかを識別することもできる。
セッションスレッド210の他に、図2のインターフェース204は、フッタ220及びヘッダ240を含み、これらの一方又は両方は、様々な機能を実行するソフト制御を提供し得る。例示的な機能は、検索(例えば、特定のユーザ又はグループに関連付けられたスレッドの発見)、交信(例えば、交信相手の追加、交信相手との会話/通信スレッドの開始)、設定(例えば、ユーザインターフェースの外観を変更するような通信アプリケーション又はデバイスの動作パラメータの調整)、ステータス(例えば、通信相手及び/又は余暇のユーザに表示するステータスの設定)、新しいグループの作成等を含む。
デバイス202のハード制御と、図2に示されていないか、又は記されていない他のソフト制御とは、他の機能を有し得、デバイスのタイプ、デバイスの製造業者、デバイスのオペレーティングシステム、及び/又は他の要因に依存し得る。これらの他の機能は、ここに列挙されず、本発明に関連する特徴の説明を曖昧にしない。
図3A〜図3Hは、本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信を行うグラフィカルユーザインターフェースの使用を示す。
図3Aでは、グラフィカルユーザインターフェース(GUI)304が、ユーザが図2のインターフェース204からセッションスレッド210(例えば、スレッド210a)を選択したとき、デバイス302のタッチスクリーンディスプレイに表示される。ユーザインターフェース204、304は、同じインターフェースの異なる部分であり得る。
インターフェース304は、会話領域又はエリア310を特徴とし、このエリア310は、現在の通信セッションの一部として送信された最近の通信312を表示する。特に、ユーザがこのセッション又はスレッド中、任意の通信を前に交換した場合、それらの会話(又は少なくとも最新の会話)は、会話領域310に表示又は表現される。テキストメッセージ全体(又は長いメッセージの初期部分のみ)が表示され、送信又は受信されたオーディオ記録、イメージ、ビデオ、及び/又は他の通信の表現も、続く図に示されるように、表示し得る。ユーザが前に(又はある時間期間以内に)会話していないか、又はこれが新たに作成された会話である場合、領域310は通信を欠き得る。
図3AのGUI304はフッタ320を特徴とし、フッタ320は、図示の実施形態では、多機能制御機構322、テキスト入力ウィンドウ324、及び感情アイコンツール326を含む。感情アイコンツール326は、アクティブ化されて、選択用の感情のパレットを取得し、テキストメッセージに入力し得る。テキスト入力ウィンドウ324は、ユーザによってアクティブ化されて、テキストメッセージの入力を開始又は再開し得る。
GUI304の多機能制御機構322は、提示され、更に後述するように、状況に応じて異なるように動作する。ユーザが図3Aに示されるように現在の通信セッションを開くとき等のような一状況では、制御機構322は例えば選択(例えば、押下、クリック)することができるマイクロホンなどの一態様又は形態で表示される。
この状況では、ユーザは、音声又はオーディオ記録を容易に生成し、セッションに参加している他のユーザに送信することができる。特に、制御機構322を押下してそのまま押下した状態を保つことにより、デバイス302のマイクロホンがアクティブ化され、記録を開始する。その後、制御機構を解放すると、記録は自動的に会話での他の参加者に向けて送信される。特に、記録は、アプリケーションをホストするシステム(例えば、図1のシステム120)に送信され、続けて受信者に届けられる。別の状況では、後述するように、多機能制御機構322は、テキストメッセージを送信できるようにする。
図3Aのインターフェース304は、1対1セッションの場合には、通信セッションに参加している他のユーザの又は他のユーザに関連付けられたサムネイルイメージ342を提供ヘッダ340及び図2のインターフェース204に戻るリターン344も含む。
図3Bでは、グラフィカルユーザインターフェース304は、多機能制御機構322の選択後に見え得るように、デバイス302のタッチスクリーンディスプレイ構成要素に表示される。図示の実装形態では、制御機構の選択は、(例えば、指、スタイラス、又は何らかの他の物体を用いて)押下してその状態を維持することを含む。制御機構322が選択されると、GUIのフッタ320は、ヒント334、タイマ336、及びインジケータ338を含むように変更される。
上述したように、図3Aに示される外観で提示された場合の多機能制御機構の選択は、デバイス302のマイクロホン及びオーディオレコーダ構成要素を自動的に引き込む。記録の開始は、制御機構322が偶発的又は過って選択される場合に備えてわずかに(例えば、1/2秒、1秒)遅れ得、通信相手306に何も送らずに記録プロセスを素早く放棄できるようにする。
ヒント334は、制御機構322を押下している物体でフッタを水平にスライドさせることにより、記録をキャンセルすることができることをユーザに想起させる役割を果たす。タイマ336は、それまでに記録した長さをユーザに通知し、インジケータ338は、記録が進行中であることの視覚的手掛かりを提供する。インジケータ338は、カラー(例えば、赤色)であってもよく、点滅又は他の方法で動いてもよく、それにより、記録が進行中であること、デバイスのマイクロホンによって捕捉されているオーディオの相対強度等を示す。幾つかの実装形態では、多機能制御機構322は、色合いがより暗くなる(又は明るくなる)等、押下時にわずかに変更された外観をとる。
図3Cは、デバイス302の操作者が多機能制御機構322を解放し、インターフェースが図3Aに示されるものと同様の状態に戻った後の図3BのGUI304を示す。通信312aが会話エリア310に追加されて、オーディオ記録を表す。加えて、操作者が多機能制御機構322を(例えば、解放することにより)選択解除すると、記録は閉じられ、オーディオ記録ファイルは、受信者に届けるために、グラフィカルユーザインターフェース304に関連付けられた通信アプリケーションをホスト/サポートする通信システムにアップロードされる。
通信312aは、記録を再生する(且つ、交互に一時停止する)制御機構、記録の持続時間を識別する時間フィールド、記録の所望の部分に素早くアクセスするためのスライダ(この制御機構の操作中、時間フィールドは記録内の現在時間位置を示し得る)等のオーディオ記録に関連する様々な制御機構を含み得る。
しかし、また、通信312aには、記録の作成者のサムネイル又は表現314aが付随する。1対1チャット又は図3Cに示される等の通信セッションでは、各通信者は通常、会話領域310に現れ、自分が作成しなかった記録が、他の通信者によって作成されたに違いないことを知る。しかし、グループ通信セッションでは、送信者表現314aは、グループメンバが、関連付けられた記録を誰が発信したのかを容易に特定できるようにし得る。加えて、表現314aは、記録のステータスに基づいて(例えば、直後に説明されるステータスインジケータの変更への追加又は代替として)経時変更し得る。
通信312aには、ステータスインジケータ316a及び送達インジケータ318aも付随する。送達インジケータ318aは、通信312aが通信セッションの他のメンバに届けられた時点を示す。例示のために、単一のチェックマーク(又は他の記号)が、通信がデバイス302から通信システムにディスパッチされたことを示す。一対のチェックマーク(又は他の記号)が、前の通信312に関して示されたように、通信が他の相手のデバイスに届けられたことを示す。
しかし、ステータスインジケータ316aは、デバイス302の操作者が、受信者が記録を再生したか否かを素早く特定できるようにする。受信者が記録の再生を開始する場合、受信者のデバイスはシステムに通知し、システムはデバイス302に通知し、デバイス302はインジケータ316aを変更又は置換する。幾つかの実装形態ではインジケータ316aは色を(例えば、グレーから青に)変更し、他の実装形態ではサイズ又は形状を変更する(例えば、マイクロホンに代えてスピーカになる)。幾つかの他の実装形態では、消失する。更に他の実装形態では、ステータスインジケータ316aは、他又は複数の方法で変更し得、送信者表現314aは変更し、及び/又は他の変更を通信312aに対して行い、記録が受信者によって再生されたことを知らせ得る。
グループ通信セッションでは、ステータスインジケータ316aは、グループメンバが記録を再生する任意の回数だけ(例えば、記録を再生した受信者の人数又は割合を示すために)外観を変更し得、別個のステータスインジケータが異なるメンバに使用され得、操作者は、記録を再生した(又は再生していない)グループメンバのリストを見るためのインジケータを選択し得る等である。
ステータスインジケータ316a(及び/又は本明細書に記載される他のインジケータ及びステータス)への更新は、確実であることもあれば、ないこともある。換言すれば、通信312aに関連付けられたオーディオ記録の受信者が記録を再生するとき、デバイス302がオフラインであるか、又はオフになる場合であっても、その行動の通知は通信システムにバッファリングし、デバイス302に送達し得、それにより、デバイス302が再びオンラインになるときに、インジケータの更新が可能である。
図3Dは、デバイス302の操作者又はユーザがテキスト入力ウィンドウ324を選択して、テキストメッセージを作成する場合の図3AのGUI304を示す。会話領域310は収縮して、メッセージをタイプする際に使用されるキーボード350の外観に適合し、カーソルがテキスト入力ウィンドウに配置される。多機能制御機構322は、初期又は最初の外観を保持し、上述したように使用して、テキストメッセージの送信の代替又は追加として、オーディオ記録を作成し送信することができる。
図3Eは、デバイス302の操作者がキーボード又はキーパッド350上の1つ又は複数のキーを押下するときの図3DのGUI304を示す。テキスト入力ウィンドウ324にユーザの入力に対応するテキストを表示することに加えて、多機能制御機構322は、第2の形態又は外観に変更して、この時点で、ウィンドウ324内のテキストを含むテキストメッセージを送信するために使用することができることを示す。
本発明の異なる実施形態では、多機能機構322は、実質上あらゆる形態又は外観(例えば、「送信」という単語の代わりに1つ又は複数の記号)を取り得、及び/又は表示される状況に応じて異なる機能を提供し得る。図示の例では、第1の状況は、デバイスの操作者によって入力されるテキストがないことを特徴とし、一方、第2の状況はそのようなテキストの存在を特徴とする。
しかし、幾つかの実施形態では、ユーザがテキストをテキスト入力ウィンドウ324に入力した後であっても、制御機構322はなお、オーディオ記録を作成するために使用可能であり得、外観を変えてもよく、又は変えなくてもよい。これらの実施形態では、手短に制御機構322を選択する(例えば、制御機構322を押下して解放する)ことで、テキスト入力ウィンドウ内のテキストをテキストメッセージとして送信させ得、その後、ユーザインターフェースは、(新しいテキストメッセージが領域310に表示された状態で)図3A又は図3Dに示される状態等の状態に戻り得る。
しかし、これらの実施形態では、制御機構322をより長く選択する(例えば、制御機構322を押下してその状態を保つ)ことで、所定の時間期間(例えば、1秒、2秒)後に記録を開始させる。制御機構の解放は、上述したように、記録を受信者に向けて転送させるとともに、テキスト入力ウィンドウ内のテキストをテキストメッセージとして送信させ得る。代替的には、記録が送信された後、インターフェースは、オーディオ記録の新しい通信が領域310に出現することを除き、オーディオ記録の生成前の状態に(例えば、図3Eに示されるように)戻り得、それにより、ユーザはテキスト入力を完了し得る。これらの実施形態では、記録の作成中、ユーザはなお、制御機構322が選択されている間、制御機構322から水平、垂直、又は他の方向にスライドすること等により、記録をキャンセルすることが可能であり得る。
図3Eに示される本発明の実施形態の考察に戻ると、ユーザが、ウィンドウ324内でテキストメッセージを作成した後、制御機構322をアクティブ化する場合、そのメッセージは送信され、会話領域310に表示される(又はメッセージの表現が表示される)。キーボード350は、閉じることができ、又は開いたままであり、追加のテキストの生成を可能にし得る。
図3Fは、キーボード350上のキーを押下せずに、又は押下する前にデバイス302の操作者が多機能制御機構322をアクティブ化した場合の図3DのGUI304を示す。図3Dと併せて説明したように、オーディオ記録は開始されるが、ヒント334によってアドバイスされるようにキャンセルすることができる。
図3Gは、制御機構322が選択解除され、新しいオーディオ記録が受信者に向けて転送された後の図3FのGUI304を示す。新しい通信312bは、会話領域310に追加され、送信者表現314b、ステータスインジケータ316b及び送達インジケータ318bが付随するか、又はそれらを含み、これらのインジケータは図3Cに関連して上述した目的と同様の目的を果たす。この場合、インジケータ318bのダブルチェックマークは、オーディオ記録が受信者のデバイスに届けられたことを示し得る。
図3Hは、受信者が通信312a(又は通信312b)の再生を開始し、その行動のリアルタイム通知がデバイス302に送信された後の図3C(又は図3G)のGUI304を示す。本発明のそれらの実施形態では、ステータスインジケータ316aは、色を変更して、記録が再生されたか、又は再生中であるデバイス302の操作者に注意喚起する。色の変更(例えば、グレーから青へ)は、図の白黒性質に起因して図3Hでは明確ではないことがあり得るが、デバイス302のカラーディスプレイでは顕著である。代替的には、ステータスインジケータ316aの何らかの他の特徴(例えば、サイズ、形状、塗りつぶし)を変更し得る。
図4A〜図4Dは、本発明の幾つかの実施形態による、リアルタイムステータス通知と音声通信を行うグラフィカルユーザインターフェースを示す。これらの実施形態では、デバイス402は、図3A〜図3Hにおいて反映された通信セッションでの他の参加者、換言すれば、デバイス302の操作者によって送信されるオーディオ記録の受信者によって操作されるスマートフォン又はポータブル通信デバイスである。デバイス402は、タッチスクリーンディスプレイ及びマイクロホンを含み、また、同じ通信アプリケーションを実行するという点で、デバイス302と同様であり得る。同じタイプ若しくはモデルのデバイスであってもよく、又はなくてもよく、又は同じオペレーティングシステムを実行してもよく、又は実行しなくてもよい。
デバイス402のタッチスクリーンディスプレイに表示されるグラフィカルユーザインターフェース404は、多機能制御機構422、テキスト入力ウィンドウ424、及び感情アイコンツール426を含み、これらは上述したように機能し得る。しかし、インターフェース404は、図4Aでは会話への他の相手のステータス448、ここでは「オーディオ記録中...」も含む。したがって、デバイス302のオペレータは、デバイス402に向けて送信されるオーディオを現在記録中である(又は直前まで記録中であった)。
本発明の図示の実施形態では、通信セッションの一人のメンバがオーディオ記録を開始する(例えば、本明細書に提供される多機能制御機構を介して)場合、その他の相手にはその行動がリアルタイムで通知される。他のデバイスの操作者がオーディオを記録していることを示すステータス448に変更する前、ステータスは、その操作者が「オンライン」又は「<特定の時刻>に最後に見られた」等であったことを示し得る。
ステータス448は、異なるステータスが分かるまで表示されたままであり得る。例えば、他のデバイスの操作者が記録を完了する(且つ、記録がデバイス402に送信中である)場合、ステータスはそれに従って変更し得る。デバイスユーザは、他のユーザのデバイスにステータス448として表示されるメッセージ若しくは情報を選択するか、又はカスタムメッセージを作成することが可能であってもよく、又は可能でなくてもよい。
図4Bは、通信412a、デバイス402の操作者の通信相手によって記録されていたオーディオ記録がダウンロードされている場合の図4AのGUI404を示す。幾つかの実装形態では、記録は、デバイス402がオンラインである場合、自動的にダウンロードし得る。他の実装形態では、デバイス402の操作者は、記録が(例えば、図4Aにおいて識別される会話領域410に表示されるリンクを介して)利用可能であることを通知され得るため、それをダウンロードするために行動(例えば、リンクを選択)しなければならない。ステータス448が、他のユーザの現在ステータスを反映するように変更されたことに留意し得る。
通信412aは、ダウンロードの進行、記録の持続時間、ダウンロードをキャンセルする制御機構等を反映するスライダ等のダウンロードのステータスを示す記号及び/又は制御機構を含み得る。通信412aは、記録が受信デバイスで再生されたか否かを示す送信者表現314a及びステータスインジケータ416aも含む。
幾つかの実装形態では、インジケータ316a、416a等のステータスインジケータの外観は、記録の送信者と受信者との間及び異なるデバイスプラットフォーム間で異なり得る。例えば、ステータスインジケータは、異なる色、異なる形状、アニメーション等を有し得る。しかし、ステータスインジケータは提示され、受信者が関連付けられた記録の再生を開始又は終了すると、何らかの方法で変更される。
図4Cは、通信412aによって表されるオーディオ記録のダウンロードが完了し、(例えば、通信412a内に埋め込まれた制御機構を用いて)再生可能になった後の図4BのGUI404を示す。ステータスインジケータ416aは、デバイス402の操作者がまだ記録を再生してないため、まだ変更されていない。
図4Dでは、デバイス402の操作者はオーディオ記録を再生(又は少なくとも再生を開始)している。したがって、ステータスインジケータ416aは外観を変更、この場合には、色を変更することによって外観を変更している。他の実装形態では、インジケータ416aは、上述したように、より顕著な変更を受け得る。図4Dに反映された色の(緑から青への)変更は、図の白黒性質に起因して明確ではないことがある。
図4Eは、デバイス402のユーザが通信412aを選択した場合(例えば、押下してその状態を保つ場合)の図4DのGUI404を示す。この行動が検出される場合、メニュー460がタッチスクリーンディスプレイに表示されて、ユーザが通信(及び関連付けられた記録)に関する何らかの行動をとることを可能にする。例えば、図4Eに示されるように、記録を削除又は転送するオプションが提供され得る。ユーザは、自分の記録で通信412aに応答しようとする場合、上述したように、多機能制御機構422をアクティブ化し得、記録は、制御機構422に1回触れるだけで自動的に作成され、送信される。
図5は、本発明の幾つかの実施形態による、リアルタイムステータス通知を用いて音声通信をサポートする方法を示すフローチャートである。図示の方法では、デバイス102のユーザは、他の一人、すなわちデバイス104のユーザとのチャットセッションに従事する。図示の方法は、本発明の範囲を超えずに、グループ通信セッション内の音声通信をサポートするように変更し得る。
動作500において、デバイス102のユーザは、デバイスで通信アプリケーションを開き、デバイス104のユーザとの会話を開く(又は作成する)。デバイス102のユーザは、多機能制御機構(例えば、図3Aの制御機構322)を押下して、音声又は他のオーディオ記録を開始する。なお、オーディオ記録に関連して幾らかのテキストをテキスト入力ウィンドウに入力することもでき、テキストは、オーディオ記録前(例えば、記録を開始する前に入力される場合)、オーディオ記録中(例えば、記録と共に送信)、又はオーディオ記録後(例えば、記録完了後に入力される場合)に届け得る。
記録が開始されると、デバイス102で実行中の通信アプリケーションは、一時的な信号を通信システム120に発行する。この信号は、メッセージとしてデバイス104に届けられないという点で、通信セッションの一部としてアプリケーションによって送信される通常のチャットメッセージと異なる。代わりに、本明細書に記載のようにアプリケーション論理によって消費されることが意図される。
動作502において、通信システムは、記録の開始に関するリアルタイムステータス通知を受信し、その通知をデバイス104に中継する。幾つかの実装形態では、通知は、デバイス104に中継するのに十分な長さだけ(又はその肯定応答がデバイス104から受信されるまで)システム120に保持し得、次に、廃棄し得る。他の実装形態では、ステータスは、デバイス102の新しいステータスで置換されるまで保持し得る。図5に反映される本発明の実施形態では、デバイス102のユーザが他のユーザとのアクティブ又はオープン通信スレッド又はセッションを有する場合であっても、現在の会話(すなわち、オーディオ記録が開始された会話)に関わるユーザのみに、記録の開始が通知される。
動作504において、デバイス104は、デバイス102でのオーディオ記録の通知を受信し、ステータスを示すように関連付けられた会話の表示を更新する。例示のために、デバイス104での会話のビューは、「オーディオ記録中」、「記録中」、又はデバイス102で行われている行動の何らかの他の表示を示すように変更し得る。
会話がデバイス104に現在表示されていないが、通信アプリケーションが実行中である場合、ステータス通知は、示されてもよく、又は示されなくてもよい。例えば、デバイス104が現在、複数の会話のサムネイルを表示している(例えば、図2に示されるように)場合、会話のサムネイル(又はアイコン若しくはサムネイルの他の部分)は、点滅、色変更、又は他の方法で変更された外観をとり、その会話に関連付けられたオーディオ活動を示し得る。又は、デバイス104が現在、別の会話を表示している場合、ヘッダ又はその会話の他の部分は、デバイス102のユーザを識別し、デバイス102のユーザがオーディオを記録していることを示す(例えば、プリントされた通知、トーン、アイコンを用いて)ように簡単に変更し得る。例えば、ティッカーディスプレイがヘッダをスクロールし得、その一部は、他の会話のステータスを表示するように一時的に変更し得、他のユーザのサムネイルが可聴アラートと共に表示され得る等である。しかし、デバイス104のユーザが現在、オーディオを記録中であるか、又は別の会話からのオーディオを再生中である場合、可聴アラートが鳴らなくてもよく、又はデバイス102のステータスの全てに表示がなくてもよい。
通信アプリケーションが現在、デバイス104で実行中ではない場合、通知は廃棄され得る。アプリケーションがバックグラウンドで実行中である場合、通知は消費し得るが、デバイス104のユーザは、アプリケーションをフォアグラウンドに持ってくる場合のみアプリケーションを見ることになる。
動作510において、デバイス102のユーザは、オーディオ(例えば、音声、音楽、サウンドエフェクト)を記録し、多機能制御機構を解放する。制御機構が解放されると、デバイス102(すなわち、通信アプリケーション)は、新しい一時的信号をシステム120に発行し、ステータスの変更を報告する。
動作512において、通信システム120は通知を受信し、動作502の通知と同様に処理し、デバイス104に中継する。
動作514において、デバイス104は、通知を受信し、可能な場合(例えば、アプリケーションがデバイスのフォアグラウンドで動作中である場合)には表示を更新して、新しいステータスを反映する。例示のために、ユーザは、現在、デバイス102のユーザとの会話を閲覧している場合、「オンライン」、「アイドル」、「書き込み中」、又は他の何かへのステータスインジケータ(例えば、ディスプレイのヘッダにおいて)の変更を確認し得る。
動作520において、デバイス102は、オーディオ記録を通信システム120(例えば、メディアサーバ)にアップロードする。デバイスは、記録の作成前及び/又は後にデバイス102のユーザが入力した任意のテキストを送信することもできる。記録は、アップロード前又は後に、コード変換し、圧縮し、及び/又は他の方法で処理し得る。
動作522において、システム120は、記録を記憶し、それをデバイス104に報告又は提供し、記録に付随し得る任意のテキストを届け得る。幾つかの実装形態では、システムは、デバイス104がオンラインである場合、記録を即座に届けようとし得る。他の実装形態では、システムは、デバイス104に表示される会話に出現するメッセージを届け得、メッセージは、記録に関連付けられた任意のテキストを含み得、デバイス104のユーザが記録のダウンロードを開始できるようにする。記録がデバイス104にダウンロードされる場合、その再生を開始する制御機構が会話に挿入される。したがって、デバイス104のユーザは、1つのアイコン又は制御機構を押下することによって再生を開始することができる。
動作530において、ユーザは、デバイス104で記録の再生を開始する。したがって、通信アプリケーションは、一時的な信号をシステム120に送信して、このステータス変更を報告する。
動作532において、システムは、通知を受信し、デバイス102からの通知と同様に処理し、デバイス102に中継する。
動作534において、デバイス102は、通知を受信し、可能な場合(例えば、アプリケーションがデバイス102のフォアグラウンドで実行中である場合)にはユーザの会話のステータスを更新する。例えば、デバイス104のユーザを表す識別子又はサムネイルの一部(例えば、アイコン)は、色を変更し得、異なる形状に変更し得、チェックマーク又は他の記号が表示され得る等である。
任意選択的な動作540では、デバイス104のユーザは、記録の再生中、デバイスをユーザに近づけて又は遠ざけるように移動させ、再生は異なる出力構成要素を通して進められる。例えば、デバイスがユーザから比較的離れている間、デバイスがスピーカフォン動作モードである場合にアクティブ化されるスピーカ等の第1のスピーカが使用され得る。デバイスがユーザの近くに配置される場合(例えば、ユーザがデバイスを用いて電話を掛ける等の場合)、オーディオ出力は、スピーカフォンモードではなく、ユーザが電話を掛けるときに使用されるスピーカに自動的に切り換えられ得る。
任意選択的な動作550において、デバイス102のユーザは、オーディオ記録へのフォローアップメッセージ等のデバイス104のユーザへのテキストメッセージを作成し、オーディオ記録を作成し送信するためにアクティブ化された同じ多機能ツールを使用して送信する。したがって、本発明の幾つかの実施形態では、単一の状況依存制御機構が使用されて、通信セッション内でテキスト及び記録されたオーディオの両方を送信する。
図6は、本発明の幾つかの実施形態による、リアルタイムステータス通知を用いてオーディオ通信を行うポータブルデバイスのブロック図である。
デバイス602は、1つ又は複数の処理ユニット又はプロセッサ602、タッチスクリーンディスプレイ604、ソフト及び/又はハード入力制御機構606(例えば、キーパッド、キーボード、マウス、トラックボール)、補助記憶装置608、ワイヤレス送受信器610(アンテナ610aに結合される)、任意選択的な追加の入力/出力ポート612、及びメモリ618を備え、これらは全てバス614を介して結合される。ワイヤレス送受信器610は、ワイヤレス通信サービスプロバイダ(例えば、ワイヤレス電話会社のネットワーク)への永続的な通信接続を有し得る。
メモリ618は、プロセッサ602によって実行されるプログラム及び/又は他の命令を記憶する。これらのプログラムは、基本デバイスサービスを管理し、ハードウェア依存機能及びタスクを実行するオペレーティングシステム630を含む。
メモリ618は、リアルタイム通知を用いて音声通信を交換する方法をサポートし、及び/又は実施する複数のプログラムモジュール又はプロセッサ実行可能命令セットも記憶する。特に、メモリ618は、テキスト及び/又はメディアを介してリアルタイム通信を行う通信プログラム620を含む。プログラム620は、図1のシステム120等の通信システムのオペレータによって提供され得る。
通信アプリケーション620の一部として、又はアプリケーションへの追加として、メモリ618は、グラフィカルユーザインターフェース622、通知論理624、通信626(オーディオ記録628を含む)等を記憶する。
GUI622は、記録オーディオメッセージ及びテキストメッセージの一方又は両方を開始し、異なる状況で外観を変更して、機能を知らせ得る多機能制御機構を含め、様々なコンテンツをタッチスクリーンディスプレイ604に表示し管理する。GUI622は、関連付けられたオーディオ記録が再生されるときに外観を変更し、他の理由(例えば、受信者がオーディオ記録を転送するか、又は削除する)で外観を更に変更し得る通信ステータスインジケータを更に含む。更に、GUI622は、通信相手のステータス(例えば、その相手がオーディオを記録しているときを示すなど)、通信相手のサムネイル画像等をディスプレイ604の会話領域に表示する通信の表現を含む。
通知論理624は、プロセッサ602によって実行されると、リアルタイム通知を発行及び/又は消費する。例えば、論理624は、デバイス602の操作者が他のデバイスのユーザに送信されるオーディオを記録する場合、別のデバイスに向けて通知を発行し得、記録が完了した場合、別の通知を送信し得、デバイス602の操作者が他のデバイスから受信される記録を再生する場合、別の通知を送信し得る。
通信626は、デバイス602の操作者と操作者の通信/チャットセッションの参加者との間で交換される通信の少なくとも幾らかを含む。他の(例えば、より古い)通信は、必要になる(例えば、デバイス操作者が通信をスクロールする場合)まで補助記憶装置608に記憶し得る。
本発明の幾つかの実施形態が実行される環境は、ハンドヘルドコンピュータ又は通信デバイス等の汎用コンピュータ又は専用デバイスを組み込み得る。特に、本明細書で参照されるデバイス(例えば、ポータブル電気通信デバイス)は、スマートフォン、ラップトップ又はタブレットコンピュータ、又は何らかの他のポータブル演算及び/又は通信デバイスであり得る。そのようなデバイス(例えば、プロセッサ、メモリ、データ記憶装置、ディスプレイ)の幾らかの詳細は、明確にするために省かれることがある。1つ又は複数のタスク又は機能が帰属するプロセッサ又はメモリ等の構成要素は、指定されたタスク若しくは機能を実行するように一時的に構成された汎用構成要素であってもよく、又はタスク若しくは機能を実行するように製造された特定の構成要素であってもよい。「プロセッサ」という用語は、本明細書で使用される場合、1つ又は複数の電子回路、デバイス、チップ、処理コア、及び/又はデータ及び/又はコンピュータプログラムコードを処理するように構成された他の構成要素を指す。ワイヤレス通信設備は、1つ又は複数のワイヤレスネットワーク(例えば、Wi−Fi(登録商標)、3Gセルラ電話)にサポートを提供し得る。
この詳細な説明で説明されたデータ構造及びプログラムコードは通常、非一時的なコンピュータ可読記憶媒体に記憶され、この記憶媒体は、コンピュータシステムが使用するコード及び/又はデータを記憶することができる任意のデバイス又は媒体であり得る。非一時的なコンピュータ可読記憶媒体は、揮発性メモリ、不揮発性メモリ、ディスクドライブ、磁気テープ、CD(コンパクトディスク)、及びDVD(デジタル多用途ディスク又はデジタルビデオディスク)、固体状態ドライブ等の磁気及び光学記憶デバイス、及び/又は現在知られているか、又は後に開発される他の非一時的コンピュータ可読媒体を含むが、これらに限定されない。
詳細な説明に記載される方法及びプロセスは、コード及び/又はデータとして実施することができ、これらは、上述したように、非一時的コンピュータ可読記憶媒体に記憶することができる。プロセッサ又はコンピュータシステムは、コードを読み出して実行し、媒体に記憶されたデータを操作する場合、コード及びデータ構造として実施され、媒体内に記憶される方法及びプロセスを実行する。
本発明の実施形態の上記説明は、例示及び説明のためにのみ提示されている。これは、網羅的であること、すなわち、本発明を開示された形態に限定する意図はない。したがって、多くの変更形態及び変形形態が当業者には明らかである。本発明の範囲は、上述した開示ではなく添付の特許請求の範囲によって規定される。

Claims (40)

  1. ワイヤレス通信機能と、グラフィカルユーザインターフェースをサポートするタッチスクリーンディスプレイと、オーディオ記録を行うために使用可能なマイクロホンと、メモリと、前記メモリに記憶された1つ又は複数のプログラムを実行する1つ又は複数のプロセッサとを有するポータブル電気通信デバイスであって、
    前記グラフィカルユーザインターフェースは、
    前記タッチスクリーンディスプレイに表示され、前記ワイヤレス通信機能を使用した前記ポータブル電気通信デバイスと別のデバイスとの通信のやりとりが通信発生時に記入される会話領域と、
    前記タッチスクリーンディスプレイに表示される選択可能な制御機構と
    を備え、
    第1の状況での前記制御機構のユーザによる選択が前記ワイヤレス通信機能を使用しての前記別のデバイスへのオーディオ記録の送信を開始させ、
    第2の状況での前記制御機構の前記ユーザによる選択が前記ワイヤレス通信機能を使用しての前記別のデバイスへのテキストメッセージの送信を開始させる、ポータブル電気通信デバイス。
  2. 前記グラフィカルユーザインターフェースは、前記別のデバイスのオペレータを識別するように構成されたヘッダ領域を更に備える、請求項1に記載のポータブル電気通信デバイス。
  3. 前記グラフィカルユーザインターフェースは、前記テキストメッセージを作成するテキスト入力ウィンドウを更に備え、
    前記テキスト入力ウィンドウにテキストが入力されたときに前記制御機構の形態が自動的に変更される、請求項1又は2に記載のポータブル電気通信デバイス。
  4. 前記グラフィカルユーザインターフェースは、テキスト入力ウィンドウを更に備え、
    前記第1の状況は前記テキスト入力ウィンドウにテキストがないことを特徴とし、
    前記第2の状況は前記テキスト入力ウィンドウにテキストがあることを特徴とする、請求項1〜3の何れか一項に記載のポータブル電気通信デバイス。
  5. 前記制御機構の選択が前記マイクロホンを使用した前記オーディオ記録の作成を開始させ、
    前記制御機構の選択解除が前記オーディオ記録を前記別のデバイスに自動的に送信させる、請求項1〜4の何れか一項に記載のポータブル電気通信デバイス。
  6. 前記制御機構の選択が前記制御機構の押下を含み、
    前記制御機構の選択解除が前記制御機構の解放を含む、請求項5に記載のポータブル電気通信デバイス。
  7. 少なくとも所定の持続時間にわたる前記制御機構の選択がオーディオを記録させるとともに、前記制御機構の選択解除時に前記オーディオ記録を自動的に送信させ、
    前記所定の持続時間未満での前記制御機構の選択が、前記制御機構の選択解除時に前記テキストメッセージを自動的に送信させる、請求項1〜6の何れか一項に記載のポータブル電気通信デバイス。
  8. 前記テキストメッセージは、前記所定の持続時間未満での前記制御機構の選択前に、前記グラフィカルユーザインターフェースのテキスト入力ウィンドウを介して入力される、請求項7に記載のポータブル電気通信デバイス。
  9. 前記オーディオ記録を前記別のデバイスに送信した後、前記会話領域に前記オーディオ記録を表現することを更に備え、
    前記表現は、前記別のデバイスでの前記オーディオ記録の再生前に第1の形態を有し、前記別のデバイスでの前記オーディオ記録の再生後に第2の形態を有する、請求項1〜8の何れか一項に記載のポータブル電気通信デバイス。
  10. 前記表現は、前記別のデバイスでの前記オーディオ記録の再生の完了前に、前記第1の形態から前記第2の形態に変更される、請求項9に記載のポータブル電気通信デバイス。
  11. 前記グラフィカルユーザインターフェースは、前記別のデバイスのステータスを表示するように構成されるステータスフィールドを更に備え、
    前記ポータブル電気通信デバイスにアドレス指定された新たなオーディオ記録が前記別のデバイスで開始されるとき、前記ステータスが、オーディオの記録を示すように変更される、請求項1〜10の何れか一項に記載のポータブル電気通信デバイス。
  12. 前記グラフィカルユーザインターフェースは、前記第1の状況での前記制御機構の選択中に、前記オーディオ記録のキャンセルに関する視覚的アラートを更に含み、
    前記制御機構の選択中に前記制御機構から離れる移動が前記オーディオ記録をキャンセルさせる、請求項1〜11の何れか一項に記載のポータブル電気通信デバイス。
  13. タッチスクリーンディスプレイを有するポータブルデバイスにて、
    前記ポータブルデバイスのオペレータと別のデバイスのオペレータとの会話を反映する会話領域を前記タッチスクリーンディスプレイに表示すること、
    前記タッチスクリーンディスプレイに選択可能な制御機構を表示すること、
    第1の状況において前記制御機構が選択されたときに前記別のデバイスへのオーディオ記録の送信を開始すること、
    第2の状況において前記制御機構が選択解除されたときに前記別のデバイスへのテキストメッセージの送信を開始すること
    を備える方法。
  14. 前記会話領域には最初に通信のやりとりがなく、前記ポータブルデバイスのオペレータと前記別のデバイスのオペレータとの通信のやりとりが通信発生時に記入される、請求項13に記載の方法。
  15. 前記会話領域は、前記ポータブルデバイスのオペレータと前記別のデバイスのオペレータとの1つ又は複数の通信のやりとりを含む、請求項13又は14に記載の方法。
  16. 前記ポータブルデバイスはマイクロホンを更に備え、
    前記別のデバイスへのオーディオ記録の送信を開始することは、
    前記マイクロホンをアクティブ化して前記オーディオ記録を記録すること、
    前記制御機構が選択解除されたときに前記別のデバイスへ前記オーディオ記録を自動的に送信すること
    を含む、請求項13〜15の何れか一項に記載の方法。
  17. 前記オーディオ記録を送信した後に前記オーディオ記録の表現を前記会話領域に表示することを更に備え、前記表現は、前記オーディオ記録が前記別のデバイスで再生されていないことを示す第1の特徴を含む、請求項16に記載の方法。
  18. 前記表現を表示した後に、
    前記オーディオ記録の再生が前記別のデバイスで開始されたことの通知を受信すること、
    前記オーディオ記録の少なくとも一部が前記別のデバイスで再生されたことを示すように前記第1の特徴を変更すること
    を更に備える請求項17に記載の方法。
  19. 前記別のデバイスへのテキストメッセージの送信を開始することは、
    前記制御機構が選択解除されたときに前記別のデバイスに向けて前記テキストメッセージを送信することを含む、請求項13〜18の何れか一項に記載の方法。
  20. 前記テキストメッセージを送信することの前に、
    テキスト入力ウィンドウを前記タッチスクリーンディスプレイに表示すること、
    前記ポータブルデバイスのオペレータによる制御機構の操作に対応するテキストを前記テキスト入力ウィンドウに入力すること
    を更に備える請求項19に記載の方法。
  21. 前記テキストメッセージを送信することの前に、
    前記テキスト入力ウィンドウに前記テキストが入力されたときに、前記選択可能な制御機構の外観を変更することを更に備える請求項20に記載の方法。
  22. 前記第1の状況では、前記タッチスクリーンディスプレイに表示されたテキスト入力ウィンドウにテキストは入力されておらず、
    前記第2の状況では、前記テキスト入力ウィンドウにテキストが入力されている、請求項13〜21の何れか一項に記載の方法。
  23. 前記別のデバイスのオペレータを識別するヘッダ領域を前記タッチスクリーンディスプレイに表示することを更に備える請求項13〜22の何れか一項に記載の方法。
  24. 前記別のデバイスのステータスを示すように構成されたステータスフィールドを前記タッチスクリーンディスプレイに表示することを更に備え、
    新たなオーディオ記録が前記別のデバイスで開始されたとき、前記ステータスが、オーディオの記録を示すように変更される、請求項13〜23の何れか一項に記載の方法。
  25. 前記別のデバイスから新たな記録を受信すること、
    前記ポータブルデバイスのオペレータによる再生制御機構の操作に応答して、前記ポータブルデバイスの第1の出力構成要素を介して前記新たな記録の再生を開始すること、
    前記ポータブルデバイスのオペレータの近接性の検出に応答して、前記新たな記録の再生を第2の出力構成要素に切り換えること
    を更に備える請求項13〜24の何れか一項に記載の方法。
  26. 前記第1の状況での前記制御機構の選択中、前記タッチスクリーンディスプレイの前記制御機構の近傍に、前記オーディオ記録のキャンセルに関する視覚的アラートを表示することを更に備える請求項13〜25の何れか一項に記載の方法。
  27. 前記第1の状況での前記制御機構の選択中、前記視覚的アラートの方向において前記制御機構から離れる移動の検出に応答して、前記オーディオ記録をキャンセルすることを更に備える請求項26に記載の方法。
  28. タッチスクリーンディスプレイとマイクロホンとを有するポータブルデバイスを動作させる方法であって、
    前記ポータブルデバイスのオペレータと別のデバイスのオペレータとの通信のやりとりが通信発生時に記入される会話領域を前記タッチスクリーンディスプレイに表示すること、
    前記タッチスクリーンディスプレイにテキスト入力ウィンドウを表示すること、
    選択可能な制御機構を前記タッチスクリーンディスプレイに表示すること、
    前記選択可能な制御機構が選択されたとき、
    前記制御機構が所定の持続時間にわたって選択された場合には、
    前記マイクロホンを用いてオーディオ記録を開始すること、
    前記制御機構の選択解除時に前記オーディオ記録を前記別のデバイスに向けて送信すること、
    前記制御機構が前記所定の持続時間未満で選択された場合には、前記テキスト入力ウィンドウで以前に作成されたテキストメッセージを前記別のデバイスに向けて送信すること
    を備える方法。
  29. 通信デバイスの1つ又は複数のプロセッサによって実行されると、請求項13〜28の何れか一項に記載の方法の全てのステップを実行するプログラム命令を含むコンピュータプログラム。
  30. グラフィカルユーザインターフェースを備える請求項29に記載のコンピュータプログラム。
  31. タッチスクリーンディスプレイを有するポータブルデバイスによって実行されるとき、前記ポータブルデバイスに、
    前記ポータブルデバイスのオペレータと別のデバイスのオペレータとの会話を反映した会話領域を前記タッチスクリーンディスプレイに表示すること、
    前記タッチスクリーンディスプレイに選択可能な制御機構を表示すること、
    第1の状況において前記制御機構が選択されたときに前記別のデバイスへのオーディオ記録の送信を開始すること、
    第2の状況において前記制御機構が選択されたときに前記別のデバイスへのテキストメッセージの送信を開始すること
    を実行させる命令を記憶した非一時的コンピュータ可読媒体。
  32. ポータブルデバイスであって、
    タッチスクリーンディスプレイと、
    1つ又は複数のプロセッサと、
    前記1つ又は複数のプロセッサによって実行される命令を記憶するメモリと
    を備え、前記命令は、前記1つ又は複数のプロセッサに、
    前記ポータブルデバイスのオペレータと別のデバイスのオペレータとの会話を前記タッチスクリーンディスプレイに表示すること、
    前記タッチスクリーンディスプレイに選択可能な制御機構を表示すること、
    第1の状況において前記制御機構が選択されたときに前記別のデバイスへのオーディオ記録の送信を開始すること、
    第2の状況において前記制御機構が選択されたときに前記別のデバイスへのテキストメッセージの送信を開始すること
    を実行させるように構成される、ポータブルデバイス。
  33. マイクロホンを更に備える請求項32に記載のポータブルデバイス。
  34. 前記命令は、前記1つ又は複数のプロセッサに、前記テキストメッセージを作成するテキスト入力ウィンドウを表示することを実行させるように更に構成されており、
    前記テキスト入力ウィンドウにテキストが入力されたときに前記制御機構の形態が変更される、請求項32又は33に記載のポータブルデバイス。
  35. 前記命令は、前記1つ又は複数のプロセッサに、前記タッチスクリーンディスプレイにテキスト入力ウィンドウを表示することを実行させるように更に構成されており、
    前記第1の状況では前記テキスト入力ウィンドウにテキストがなく、
    前記第2の状況では前記テキスト入力ウィンドウにテキストがある、請求項32〜34の何れか一項に記載のポータブルデバイス。
  36. 前記制御機構の選択が前記オーディオ記録の作成を開始させ、
    前記制御機構の選択解除が前記オーディオ記録を前記別のデバイスに送信させる、請求項32〜35の何れか一項に記載のポータブルデバイス。
  37. 少なくとも所定の持続時間にわたる前記制御機構の選択がオーディオを記録させるとともに、前記制御機構の選択解除時に前記オーディオ記録を自動的に送信させ、
    前記所定の持続時間未満での前記制御機構の選択が、前記制御機構の選択解除時に前記テキストメッセージを自動的に送信させる、請求項32〜36の何れか一項に記載のポータブルデバイス。
  38. 前記命令は、前記1つ又は複数のプロセッサに、前記オーディオ記録の表現を表示することを実行させるように更に構成されており、
    前記表現は、前記別のデバイスでの前記オーディオ記録の再生前に第1の形態を有し、前記別のデバイスでの前記オーディオ記録の再生後に第2の形態を有する、請求項32〜37の何れか一項に記載のポータブルデバイス。
  39. 前記命令は、前記1つ又は複数のプロセッサに、前記別のデバイスのステータスを示すステータスフィールドを前記タッチスクリーンディスプレイに表示することを実行させるように更に構成されており、
    新たなオーディオ記録が前記別のデバイスで開始されたとき、前記ステータスが、オーディオの記録を示すように変更される、請求項32〜38の何れか一項に記載のポータブルデバイス。
  40. 前記命令は、前記1つ又は複数のプロセッサに、前記第1の状況における前記制御機構の選択中、前記オーディオ記録のキャンセルに関する視覚的アラートを前記タッチスクリーンディスプレイに表示することを実行させるように更に構成されており、
    前記制御機構の選択中に前記制御機構から離れる移動が前記オーディオ記録をキャンセルさせる、請求項32〜39の何れか一項に記載のポータブルデバイス。
JP2016531611A 2013-08-02 2014-06-12 リアルタイムステータス通知を用いた音声通信 Active JP6594871B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/958,417 2013-08-02
US13/958,417 US9419935B2 (en) 2013-08-02 2013-08-02 Voice communications with real-time status notifications
PCT/US2014/042085 WO2015017029A2 (en) 2013-08-02 2014-06-12 Voice communications with real-time status notifications

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019073508A Division JP6682026B2 (ja) 2013-08-02 2019-04-08 リアルタイムステータス通知を用いた音声通信

Publications (2)

Publication Number Publication Date
JP2016531498A true JP2016531498A (ja) 2016-10-06
JP6594871B2 JP6594871B2 (ja) 2019-10-23

Family

ID=51168397

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016531611A Active JP6594871B2 (ja) 2013-08-02 2014-06-12 リアルタイムステータス通知を用いた音声通信
JP2019073508A Active JP6682026B2 (ja) 2013-08-02 2019-04-08 リアルタイムステータス通知を用いた音声通信

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019073508A Active JP6682026B2 (ja) 2013-08-02 2019-04-08 リアルタイムステータス通知を用いた音声通信

Country Status (10)

Country Link
US (3) US9419935B2 (ja)
JP (2) JP6594871B2 (ja)
CN (1) CN105594163B (ja)
AU (1) AU2014296808B2 (ja)
BR (1) BR112016002364A2 (ja)
CA (1) CA2919439A1 (ja)
IL (1) IL243770A0 (ja)
MX (1) MX358742B (ja)
TW (1) TWI689184B (ja)
WO (1) WO2015017029A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249443A1 (ja) * 2021-05-28 2022-12-01 日本たばこ産業株式会社 情報処理方法、情報処理端末、及び情報処理システム
JP7525971B1 (ja) 2022-02-25 2024-07-31 ビーサイズ株式会社 情報処理端末、情報処理装置、情報処理方法、情報処理プログラム

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US8989773B2 (en) 2013-01-29 2015-03-24 Apple Inc. Sharing location information among devices
US9226121B2 (en) 2013-08-02 2015-12-29 Whatsapp Inc. Voice communications with real-time status notifications
US20150046807A1 (en) * 2013-08-07 2015-02-12 Gface Gmbh Asynchronous Rich Media Messaging
US10845982B2 (en) * 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
US9733807B2 (en) * 2014-04-30 2017-08-15 Cisco Technology, Inc. Techniques to handle multimedia questions from attendees in an online meeting
WO2015175729A1 (en) * 2014-05-13 2015-11-19 Dennis Quan Systems and methods for managing, sharing, and organizing information stored on multiple cloud services
US9887949B2 (en) * 2014-05-31 2018-02-06 Apple Inc. Displaying interactive notifications on touch sensitive devices
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US10382378B2 (en) 2014-05-31 2019-08-13 Apple Inc. Live location sharing
WO2016022496A2 (en) 2014-08-06 2016-02-11 Apple Inc. Reduced-size user interfaces for battery management
CN106575146A (zh) * 2014-08-20 2017-04-19 塔祺拉姆公司 用于发送触摸消息的系统和方法
CN115695632B (zh) 2014-09-02 2024-10-01 苹果公司 电子设备、计算机存储介质和操作电子设备的方法
JP6349030B2 (ja) 2014-09-02 2018-06-27 アップル インコーポレイテッド アラートを管理するための小型インターフェース
CN105991418B (zh) * 2015-02-16 2020-09-08 钉钉控股(开曼)有限公司 通讯方法、装置、服务器
KR102377277B1 (ko) * 2015-02-27 2022-03-23 삼성전자주식회사 전자 장치에서 커뮤니케이션 지원 방법 및 장치
CN106034068A (zh) 2015-03-20 2016-10-19 阿里巴巴集团控股有限公司 群聊中进行私聊的方法、装置、客户端、服务器及系统
CN105162678B (zh) * 2015-07-07 2022-03-11 腾讯科技(深圳)有限公司 语音聊天的模式自适应方法及装置
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US10409901B2 (en) * 2015-09-18 2019-09-10 Microsoft Technology Licensing, Llc Providing collaboration communication tools within document editor
US9559995B1 (en) * 2015-10-19 2017-01-31 Meteors Information Systems Limited System and method for broadcasting contents from web-based browser to a recipient device using extensible messaging and presence protocol (XMPP)
CN105610695B (zh) 2015-12-21 2021-01-12 阿里巴巴集团控股有限公司 对象分配方法及装置
CN105681056B (zh) 2016-01-13 2019-03-19 阿里巴巴集团控股有限公司 对象分配方法及装置
CN105812237B (zh) 2016-03-07 2020-12-04 钉钉控股(开曼)有限公司 快速添加提醒对象的方法及装置
CN107306286B (zh) 2016-04-21 2020-12-04 钉钉控股(开曼)有限公司 离线考勤的处理方法及装置
CN107305459A (zh) 2016-04-25 2017-10-31 阿里巴巴集团控股有限公司 语音和多媒体消息的发送方法及装置
CN107368995A (zh) 2016-05-13 2017-11-21 阿里巴巴集团控股有限公司 任务处理方法及装置
CN107846345A (zh) 2016-09-18 2018-03-27 阿里巴巴集团控股有限公司 通讯方法及装置
JP6236510B1 (ja) * 2016-10-31 2017-11-22 Line株式会社 情報処理システム、情報処理方法、および、プログラム
US10680986B1 (en) 2016-12-11 2020-06-09 Snap Inc. Stacked chat conversations
KR102323797B1 (ko) * 2017-05-22 2021-11-09 삼성전자 주식회사 전자 장치 및 그의 정보 공유 방법
WO2020032788A1 (en) * 2018-08-10 2020-02-13 Poqeapp B.V. Computer-implemented method for communication between a first electronic device and a second electronic device
NL2021453B1 (en) 2018-08-10 2020-02-20 Poqeapp B V Computer-implemented method for communication between a first electronic device and a second electronic device
CN114938360B (zh) * 2019-04-12 2023-04-18 腾讯科技(深圳)有限公司 一种基于即时通讯应用的数据处理方法和装置
JP2023527624A (ja) * 2020-03-20 2023-06-30 ライン プラス コーポレーション コンピュータプログラムおよびアバター表現方法
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
CN112000411B (zh) * 2020-08-18 2023-07-07 青岛海信移动通信技术有限公司 移动终端及其录音通道占用信息的显示方法
CN118192924A (zh) * 2023-12-15 2024-06-14 深圳市众鸿科技股份有限公司 智能座舱多通道音频通路设计方法、装置、设备以及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060189333A1 (en) * 2003-09-12 2006-08-24 Core Mobility, Inc. Unified interface for voice, text or picture message authoring
JP2008070994A (ja) * 2006-09-12 2008-03-27 Sharp Corp メッセージ交換端末
US20080201438A1 (en) * 2007-02-20 2008-08-21 Indrek Mandre Instant messaging activity notification
US20100080084A1 (en) * 2008-09-30 2010-04-01 Shaohai Chen Microphone proximity detection
JP2013090242A (ja) * 2011-10-20 2013-05-13 Kyocera Corp 携帯端末装置、プログラムおよび実行抑制方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4928302A (en) * 1987-11-06 1990-05-22 Ricoh Company, Ltd. Voice actuated dialing apparatus
US6959207B2 (en) * 2000-12-22 2005-10-25 Nokia Corporation Mobile emotional notification application
US20040145608A1 (en) 2003-01-24 2004-07-29 International Business Machines Corporation User interface for conducting chats over a network
US20050210394A1 (en) * 2004-03-16 2005-09-22 Crandall Evan S Method for providing concurrent audio-video and audio instant messaging sessions
US7721227B2 (en) * 2004-09-23 2010-05-18 Nokia Corporation Method for describing alternative actions caused by pushing a single button
US8346862B2 (en) * 2005-04-28 2013-01-01 Nokia Corporation Mobile communication terminal and method
US7769142B2 (en) * 2005-07-14 2010-08-03 Microsoft Corporation Asynchronous discrete manageable instant voice messages
KR100637327B1 (ko) 2005-08-22 2006-10-20 (주)엠비즈코리아 에스엠에스메시지 수신확인 서비스 방법과, 이를 수행하기위한 이동통신 단말기 및 서비스 시스템
JP4645418B2 (ja) 2005-11-15 2011-03-09 カシオ計算機株式会社 画像メッセージ伝達システム及びプログラム
CN103124317B (zh) 2006-01-06 2016-06-22 奥拉蒂夫公司 移动系统中企业语音邮件的集成
US8391447B2 (en) * 2006-05-02 2013-03-05 Smith Micro Software, Inc Visual voice messaging state synchronization
US20080055263A1 (en) * 2006-09-06 2008-03-06 Lemay Stephen O Incoming Telephone Call Management for a Portable Multifunction Device
CN101356493A (zh) * 2006-09-06 2009-01-28 苹果公司 用于照片管理的便携式电子装置
AU2008204402B2 (en) * 2007-01-09 2012-12-20 Spinvox Limited Selection of a link in a received message for speaking reply, which is converted into text form for delivery
US20090176517A1 (en) 2008-01-06 2009-07-09 Apple Inc. Multiple Recipient Messaging Service for Mobile Device
US8542804B2 (en) 2008-02-08 2013-09-24 Voxer Ip Llc Voice and text mail application for communication devices
US8060069B1 (en) 2008-04-01 2011-11-15 Sprint Communciations Company L.P. Mobile call outcome display
US8312380B2 (en) * 2008-04-04 2012-11-13 Yahoo! Inc. Local map chat
US8437744B1 (en) * 2008-04-23 2013-05-07 Zerotouchdigital, Inc. Methods and devices for remote processing of information originating from a mobile communication device
US8159469B2 (en) * 2008-05-06 2012-04-17 Hewlett-Packard Development Company, L.P. User interface for initiating activities in an electronic device
KR101477743B1 (ko) * 2008-06-16 2014-12-31 삼성전자 주식회사 단말 및 그의 기능 수행 방법
US20130310089A1 (en) * 2008-08-05 2013-11-21 Vasileios John Gianoukos Voice texting over sms
US9070149B2 (en) 2008-09-30 2015-06-30 Apple Inc. Media gifting devices and methods
US8244221B2 (en) 2008-12-19 2012-08-14 Cox Communications, Inc. Visual voicemail messages and unique directory number assigned to each for accessing corresponding audio voicemail message
US20100205539A1 (en) 2009-02-12 2010-08-12 Amivox Ehf. Instant messaging and telephony value added services
CN101854425A (zh) * 2009-04-02 2010-10-06 深圳富泰宏精密工业有限公司 移动装置及其声音模式切换方法
US20110111805A1 (en) 2009-11-06 2011-05-12 Apple Inc. Synthesized audio message over communication links
US9553974B2 (en) 2010-08-11 2017-01-24 Apple Inc. Media/voice binding protocol and related user interfaces
WO2012092677A1 (en) * 2011-01-06 2012-07-12 Research In Motion Limited Delivery and management of status notifications for group messaging
JP5005103B1 (ja) 2011-06-24 2012-08-22 一矢 野中 通話システム
US9736089B2 (en) * 2011-11-02 2017-08-15 Blackberry Limited System and method for enabling voice and video communications using a messaging application
CN103959206B (zh) * 2011-12-08 2016-10-19 英特尔公司 用于动态适应虚拟键盘的方法和装置
US10313279B2 (en) * 2011-12-12 2019-06-04 Rcs Ip, Llc Live video-chat function within text messaging environment
US8738715B2 (en) * 2012-01-31 2014-05-27 Global Relay Communications Inc. System and method for processing messages in a messaging service
US10051104B2 (en) * 2012-05-14 2018-08-14 Apple Inc. Delivery/read receipts for electronic messaging
US20140071060A1 (en) * 2012-09-11 2014-03-13 International Business Machines Corporation Prevention of accidental triggers of button events
US8848026B2 (en) 2013-02-01 2014-09-30 Maitland M. DeLand Video conference call conversation topic sharing system
US9226121B2 (en) 2013-08-02 2015-12-29 Whatsapp Inc. Voice communications with real-time status notifications
US9720640B2 (en) * 2013-08-20 2017-08-01 Hallmark Cards, Incorporated Multifunction button

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060189333A1 (en) * 2003-09-12 2006-08-24 Core Mobility, Inc. Unified interface for voice, text or picture message authoring
JP2008070994A (ja) * 2006-09-12 2008-03-27 Sharp Corp メッセージ交換端末
US20080201438A1 (en) * 2007-02-20 2008-08-21 Indrek Mandre Instant messaging activity notification
US20100080084A1 (en) * 2008-09-30 2010-04-01 Shaohai Chen Microphone proximity detection
JP2013090242A (ja) * 2011-10-20 2013-05-13 Kyocera Corp 携帯端末装置、プログラムおよび実行抑制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HOW TO USE WALKIE TALKIE IN KAKAO TALK, JPN7018002372, 6 May 2012 (2012-05-06), ISSN: 0003935576 *
WHATSAPP - ANDROID - VOICE NOTES, JPN7018002373, 14 May 2013 (2013-05-14), ISSN: 0003837081 *
相手の心をグッと掴む!LINEで音声メッセージを送る時の裏ワザ, JPN6018026676, 19 July 2013 (2013-07-19), ISSN: 0003935575 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249443A1 (ja) * 2021-05-28 2022-12-01 日本たばこ産業株式会社 情報処理方法、情報処理端末、及び情報処理システム
JP7573741B2 (ja) 2021-05-28 2024-10-25 日本たばこ産業株式会社 情報処理方法、情報処理端末、及び情報処理システム
JP7525971B1 (ja) 2022-02-25 2024-07-31 ビーサイズ株式会社 情報処理端末、情報処理装置、情報処理方法、情報処理プログラム

Also Published As

Publication number Publication date
US20150040029A1 (en) 2015-02-05
JP6594871B2 (ja) 2019-10-23
IL243770A0 (en) 2016-04-21
JP2019149813A (ja) 2019-09-05
CN105594163B (zh) 2020-03-03
AU2014296808A1 (en) 2016-02-18
US11159478B1 (en) 2021-10-26
TW201519600A (zh) 2015-05-16
JP6682026B2 (ja) 2020-04-15
WO2015017029A3 (en) 2015-07-23
TWI689184B (zh) 2020-03-21
WO2015017029A2 (en) 2015-02-05
US20160323726A1 (en) 2016-11-03
MX358742B (es) 2018-09-03
CN105594163A (zh) 2016-05-18
BR112016002364A2 (pt) 2017-08-01
AU2014296808B2 (en) 2017-05-18
CA2919439A1 (en) 2015-02-05
US10608978B2 (en) 2020-03-31
MX2016001402A (es) 2016-08-18
US9419935B2 (en) 2016-08-16

Similar Documents

Publication Publication Date Title
JP6682026B2 (ja) リアルタイムステータス通知を用いた音声通信
JP6466936B2 (ja) リアルタイムステータス通知を用いた音声通信
KR102339236B1 (ko) 신규한 통신 및 메시징 시스템
CN111316624B (zh) 用于电话呼叫的个性化音频/视频邀请
WO2022057393A1 (zh) 事件处理方法、装置、存储介质、移动终端及电脑
TW201600990A (zh) 訊息儲存
US9866687B2 (en) Systems and methods for presenting a caller's media content on a call recipient's phone device with a receipt of a phone call from the caller

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190408

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190517

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190603

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190925

R150 Certificate of patent or registration of utility model

Ref document number: 6594871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250