JP2018142287A - メッセージング・システム - Google Patents

Abstract

【課題】音声によるメッセージングとテキストによるメッセージングをシームレスに統合したメッセージング・システム、方法、および、プログラムを提供する。
【解決手段】音声メッセージをボイス・サーバで音声認識によりテキスト変換すると共に変換前の音声メッセージを保存する。音声メッセージへのリンク情報を変換後のテキスト・メッセージに埋め込み、送信する。受信側ではユーザーの指示により、リンク情報に基づいて変換前の音声メッセージをアクセスし、再生することができる。これにより、音声認識が不正確であった場合でも、正確な情報のやり取りが可能である。ユーザーの指示を待たず自動的に音声メッセージを再生するようにしてもよい。
【選択図】図３

Description

本願発明は、音声によるメッセージングとテキストによるメッセージングをシームレスに統合したメッセージング・システムに関する。

インターネットを使用したメッセージング（インスタント・メッセージング、チャット等とも呼ばれる）が広く普及している。メッセージングにおいては、テキストに加えて、画像や動画が使用されることが多い。加えて、テキスト・メッセージを音声で読み上げる、および、音声認識によるテキストの入力も一般的に行なわれている。音声認識技術を使用することでテキスト・メッセージングと音声メッセージングを統合する技術が知られている（たとえば、特許文献１）。

上記のような音声によるテキストの入出力は、一般に「ヒアラブル」とも呼ばれるカテゴリーに属し、画面を操作することなく、ヘッドホンやイヤホンおよびマイクのみで操作を行なえる点でメリットがある。しかし、音声認識技術は飛躍的に向上しているものの、依然として100%の正確性を達成することは不可能であり、音声を自動的にテキスト化したメッセージのみでのコミュニケーションは信頼性面での課題があった（たとえば、数字に相当する部分に少しでも認識間違いがあれば大きな問題になる）。

また、音声データをエンコードしてメッセージ中に含めることが技術的に可能（たとえば、非特許文献１）であるものの、メッセージの送信側と受信側が同じ標準規格をサポートしている必要があり、かつ、そのような標準規格も業界で確立したとは言えないことから相互運用性上の課題があった。

特許公開公報 特開２００２−１７１３４５

IT用語事典 e-Words MIME（Multipurpose Internet Mail Extensions）（http://e-words.jp/w/MIME.html）

音声によるメッセージングとテキストによるメッセージングをシームレスに統合したメッセージング・システム実現のための方法、および、プログラムを提供する。

本願発明は、第一の端末が、音声メッセージをボイス・サーバに送信する手順と、前記ボイス・サーバが、前記音声メッセージをテキスト・メッセージに変換し、前記音声メッセージを保存する手順と、前記ボイス・サーバが、前記保存された音声メッセージへのリンク情報を前記テキスト・メッセージに埋め込む手順と、前記ボイス・サーバが、第二の端末に対して前記テキスト・メッセージを送信する手順と、前記第二の端末が、受信した前記テキスト・メッセージを表示する手順と、前記第二の端末の使用者の指示にしたがって、前記第二の端末が、前記リンク情報に基づいて前記保存された音声メッセージにアクセスし、再生する手順とを含むコンピューターにより実行されるメッセージ送受信方法を提供することで上記課題を解決する。

また、本願発明は、第一の端末が、音声メッセージをボイス・サーバに送信する手順と、前記ボイス・サーバが、前記音声メッセージをテキスト・メッセージに変換し、前記音声メッセージを保存する手順と、前記ボイス・サーバが、前記保存された音声メッセージへのリンク情報を前記テキスト・メッセージに埋め込む手順と、前記ボイス・サーバが、第二の端末に前記テキスト・メッセージを送信する手順と、前記第二の端末が、受信した前記テキスト・メッセージを表示すると共に、前記リンク情報に基づいて前記保存された音声メッセージにアクセスし、再生する手順とを含むコンピューターにより実施されるメッセージ送受信方法を提供することで上記課題を解決する。

また、本願発明は、前記保存された音声メッセージのアクセスの際に、保存された時刻から所定の時間を経過した後にのみパスワードの要求を求める手順をさらに含む、段落０００８、または、段落０００９に記載のメッセージ送受信方法を提供することで上記課題を解決する。

また、本願発明は、第一の端末に、音声メッセージをボイス・サーバに送信させる命令と、前記ボイス・サーバに、前記音声メッセージをテキスト・メッセージに変換させ、前記音声メッセージを保存させる命令と、前記ボイス・サーバに、前記保存された音声メッセージへのリンク情報を前記テキスト・メッセージに埋め込ませる命令と、前記ボイス・サーバに、前記第二の端末に対して前記テキスト・メッセージを送信させる命令と、前記第二の端末に、受信した前記テキスト・メッセージを表示させる命令と、前記第二の端末の使用者の指示にしたがって、前記第二の端末に、前記リンク情報に基づいて前記保存された音声メッセージをアクセスさせ、再生させる命令とをコンピューターに実行させるメッセージ送受信プログラムを提供することで上記課題を解決する。

また、本願発明は、第一の端末に、音声メッセージをボイス・サーバに送信させる命令と、前記ボイス・サーバに、前記音声メッセージをテキスト・メッセージに変換させ、前記音声メッセージを保存させる命令と、前記ボイス・サーバに、前記保存された音声メッセージへのリンク情報を前記テキスト・メッセージに埋め込ませる命令と、前記ボイス・サーバに、第二の端末に対して前記テキスト・メッセージを送信させる命令と、前記第二の端末に、受信した前記テキスト・メッセージを表示させると共に、前記リンク情報に基づいて前記保存された音声メッセージをアクセスさせ、再生させる命令とをコンピューターに実行させるメッセージ送受信プログラムを提供することで上記課題を解決する。

また、本願発明は、前記保存された音声メッセージのアクセスの際に、保存された時刻から所定の時間を経過した後にのみパスワードの入力を求める命令をさらにコンピューターに実行させる、段落００１１、または、段落００１２に記載のプログラムを提供することで上記課題を解決する。

音声によるメッセージングとテキストによるメッセージングをシームレスに統合したメッセージング・システム実現のための方法、および、プログラムが提供される。

本願発明に係るメッセージング・システムの全体構成例である。 本願発明に係るメッセージング・システムにおける構成要素の機能構成例である。 本願発明に係るメッセージング・システムの第一の実施例の処理フローである。 本願発明に係るメッセージング・システムの第二の実施例の処理フローである。

以下に図を参照しながら本願発明の実施例について説明する。図はすべて例示である。

図１に本願発明に係るメッセージング・システムの全体構成例を示す。

メッセージ・サーバ（１０１）は、標準的なメール・プロトコル（SMTP、POP3、IMAP等）や、メッセージング・プロトコルをサポートするサーバ装置であり、端末から送られたメッセージを連携するアプリケーションを稼働するサーバ装置であってもよい。または、LINE（登録商標）、Facebook（登録商標）等の一般消費者向けにメッセージングのサービスを提供するサーバ装置であってもよい。なお、本願明細書では、蓄積交換型のメール、リアルタイムのメッセージ、および、典型的にはサーバ上のアプリケーションを介して端末間で交換されるメッセージ等を「メッセージ」と総称し、そのような「メッセージ」の交換処理を「メッセージング」と呼ぶこととする。ボイス・サーバ（１０２）は、音声とテキスト間の相互変換を行なうと共に、音声によるメッセージを標準的な形式（mp3、WAV等）で保存するためのサーバである。保存機能には、一般的に使用されているストレージ・サービス（Dropbox（登録商標）等）を使用してもよい。メッセージ・サーバ（１０１）とボイス・サーバ（１０２）は物理的に同一のサーバ装置であってもよいし、機能ごとに独立した複数のサーバ装置から成っていてもよい。また、典型的にはクラウドサービス上で実現された仮想サーバであってもよい。メッセージ・サーバ（１０１）を使用せずに端末上のアプリケーションがネットワークを介して直接メッセージをやり取りする構成であってもよい。

送信側端末（１０３）、および、受信側端末（１０４）は、音声およびテキストによるメッセージを送受信するためのスマートフォン、タブレット端末、パーソナル・コンピューター等のコンピューター機器である。送信側端末（１０３）と受信側端末（１０４）上では、LINE（登録商標）等の標準的メッセージング・アプリとChrome（登録商標）等の標準的ウェブ・ブラウザーが稼働することが望ましい。送信側端末（１０３）と受信側端末（１０４）のソフトウェア構成およびハードウェア構成は同一であってよく、その名称の相違は両者が異なる機能を持ち、異なる目的を果たすことを示すものではなく、単に説明上、最初にメッセージを送信する端末を送信側端末（１０３）と呼び、最初にメッセージを受信する端末を受信側端末（１０４）と呼んでいるに過ぎない。

ネットワーク（１０５）は、上記の構成要素を相互接続する手段であり、典型的にはインターネットである。

図２に、本願発明に係るメッセージング・システムの構成要素の機能構成の例を示す。通信機能、表示機能、入力機能等の自明な構成要素は示していない。前述のとおり、メッセージ・サーバ（１０１）はメッセージ中継機能を有する。ボイス・サーバ（１０２）は、音声-テキスト変換機能と音声メッセージ保存機能を備える。音声-テキスト変換機能は公知の音声認識技術により音声メッセージをテキスト・メッセージに変換する機能である。音声-テキスト変換は端末側で行なってもよいが、変換の正確性向上のためには計算資源が豊富なサーバ側で行なうことが望ましい。音声メッセージ保存機能は、変換された音声メッセージを保存し、（典型的にはURLを通じて）外部からアクセス可能とするための機能であり、前述のとおり、Dropbox等の汎用ストレージ・サービスを使用してよい。送信側端末（１０３）は、メッセージング・アプリ（２０４）と拡張機能（２０５）を備える。メッセージング・アプリ（２０４）はメッセージングの基本機能を提供するプログラムであり、拡張機能（２０５）はボイス・サーバ（１０２）上の音声メッセージのアクセスや再生などの機能を備える。メッセージング・アプリ（２０４）と拡張機能（２０５）が同一のプログラムとして提供されていてもよい。受信側端末（１０４）も、メッセージング・アプリ（２０６）と拡張機能（２０７）を備える（それぞれ、送信側端末（１０３）のメッセージング・アプリ（２０４）と拡張機能（２０５）と同じプログラムであってもよい）。メッセージング・アプリ（２０６）は、メッセージングの基本機能を提供するプログラムであり、拡張機能（２０７）はテキスト・メッセージの読み上げや音声メッセージのボイス・サーバ（１０２）への送信等の機能を提供する。メッセージング・アプリ（２０６）と拡張機能（２０７）が同一のプログラムとして提供されていてもよい。

図３に、本願発明に係るメッセージング・システムの第一の実施例の処理フローの一例を示す。図３は、時間が下から上に流れる形で示されており、矢印はメッセージング・システムの各構成要素間のメッセージ等のデータの流れを表わす。

（Ｓ３０１）送信側端末（１０３）の使用者（使用者A）がメッセージをテキスト形式で入力すると、そのメッセージは、メッセージ・サーバ（１０１）（図示していない）を介して受信側端末（１０４）に送られる。

（Ｓ３０２）受信側端末（１０４）の使用者（使用者B）は、メッセージをテキスト形式で読むことも、拡張機能（２０７）によって音声に変換されたメッセージをヘッドホンやイヤホンで聞くこともできる。ここでは、使用者Bが、音声でメッセージを聞き、音声により返信したと仮定する。

（Ｓ３０３）使用者Bの音声による返信メッセージが、拡張機能（２０７）を介してボイス・サーバ（１０２）に送信され、音声認識技術によりテキストに変換される。さらに、変換前の音声メッセージがボイス・サーバ（１０２）に保存され、それにアクセスするためのリンク情報（典型的にはURL）が生成される。生成されたリンク情報は変換されたテキスト・メッセージに埋め込まれる。埋め込みはメッセージの本文の末尾等の所定の場所に単純に追加する形で行なうことが望ましい。使用者にとってリンクの位置がわかりやすくなるように、リンクの前に予め定めて文字列（たとえば、「音声メッセージ・リンク→」）を付加するようにしてもよい。この埋め込み処理はボイス・サーバ（１０２）上で稼働するプログラムで行なっても、受信側端末（１０４）上で稼働する拡張機能（２０７）上で行なってもよい（図では拡張機能プログラム上で行なうと仮定している）。

（Ｓ３０４）音声メッセージへのリンクが埋め込まれたテキスト・メッセージが、受信側端末（１０４）の拡張機能（２０７）とメッセージング・アプリ（２０６）とメッセージ・サーバ（１０１）（図示していない）とを介して、送信側端末（１０３）のメッセージング・アプリ（２０４）に送られる（受信側端末（１０４）の拡張機能を介さず、テキスト・メッセージがボイス・サーバから直接的に送信側端末（１０３）のメッセージング・アプリ（２０４）に送られる構成としてもよい）。

（Ｓ３０５）テキスト・メッセージを受信した使用者Aはそのテキスト・メッセージをメッセージング・アプリ（２０４）の画面で読むことができる。テキスト変換の正確性に確信が持てる場合、または、正確性がさほど重要でないと判断される場合（たとえば、「了解しました」といったメッセージを受信した場合）は、そのまま使用者Bとのやり取りを終了してもよい。

（Ｓ３０６）使用者Aが、テキスト変換の正確性に確信が持てない場合（たとえば、意味が通じない文章である場合等）、または、正確性がきわめて重要である場合（たとえば、「支払額は340万2700円でした」といった金額を含むメッセージである場合等）は、テキスト・メッセージ内のリンクをクリックし、元々の音声メッセージを再生し、その内容を確認することができる。音声メッセージの再生は（図示したように）拡張機能（２０５）を介して行なってもよいし、標準的なブラウザーで行なってもよい。利用者の判断により、変換前の音声メッセージを聞くかどうかを判断できるため、効率的なコミュニケーションが可能である。また、URLで示されたリンクへのアクセス、リンク先にある音声の再生等は、標準的なブラウザによっても実行可能なため、この実施例に係る方法は一般に普及したスマートフォン等の端末装置とメッセージング・アプリを使用して、特殊なソフトウェアの使用なしに実施可能である点に優位性がある。

ボイス・サーバ（１０２）上の音声メッセージのリンクへのアクセスにはパスワード等による認証を適用してもよいが、逐一パスワードを入力させることは、使用者の利便性を損なうため、十分に長いハッシュ化したURLを使用することで、パスワードなしでも第三者が当てずっぽうで音声メッセージへのリンクにアクセスすることがないようにすることが望ましい（たとえば、32バイトASCII文字からなるハッシュを含むURLを生成するようにすればこの目的を達成できる）。この場合において、同一IPから所定の短期間に連続してボイス・サーバ（１０２）へのアクセスが行なわれた場合には、そのIPからのアクセスを一定時間停止する、あるいは、アクセスへの応答時間を段階的に長くしていく等の方法により、不正アクセスを防ぐようにしてもよい。ボイス・サーバ（１０２）に蓄積された音声メッセージの有効期限を短く（たとえば、10分程度）とすることで、不正アクセスの可能性を軽減してもよい。代替の方法として、所定の保存期間（たとえば、3日）を過ぎた音声メッセージのアクセスにのみ、パスワード等による認証が必要なようにし、不正アクセスを防止すると共に、ボイス・サーバ（１０２）を過去の音声メッセージのアーカイブとして利用できるようにしてもよい。

図４に、本願発明に係るメッセージング・システムの第二の実施例の処理フローの一例を示す。図３と同様に、図４は、時間が下から上に流れる形で示されており、矢印はメッセージング・システムの各構成要素間のメッセージ等のデータの流れを表わす。第二の実施例は、受信したテキスト・メッセージ内の音声メッセージ・リンクを使用して、自動的に音声メッセージを再生する点で、第一の実施例と相違する。使用者Aがヘッドホンやイヤホンを使用した「ヒアラブル」の環境にある場合、または、自動車を運転中等で手を使えない状態にある場合に特に有効である。

（Ｓ４０１）〜（Ｓ４０４）のステップは図３の（Ｓ３０１）〜（Ｓ３０４）のステップと同等であるため説明を省略する。

（Ｓ４０５）音声メッセージへのリンクが埋め込まれたテキスト・メッセージを受信した送信側端末（１０３）の拡張機能（２０５）はボイス・サーバ（１０２）を自動的にアクセスし、リンクに相当する音声メッセージを使用者Aに向けて再生する。この場合に、テキストによる画面表示を並行して行なってもよい。または、テキストの表示から一定時間（たとえば、５秒間）経過後に音声メッセージを再生するようにしてもよい。テキスト・メッセージ中に埋め込まれたボイス・サーバ（１０２）に保存された音声メッセージをアクセスするためのリンク（URL）の前に予め定めた文字列を置く規約とすること等により、拡張機能（２０５）のプログラムはテキスト・メッセージ内の当該URLの位置を容易にサーチし、当該URLアクセスして音声メッセージを再生することが可能である。

（本願発明による顕著な技術的効果）
本願発明により、普及しつつある音声メッセージングをテキスト・メッセージングとシームレスに融合し、ユーザーに利便性を提供できる。特に、今日の音声認識技術の限界を前提とし、メッセージの内容に疑いがある場合のみに音声メッセージの再生を行なうことができることから効率的なコミュニケーションが可能である。また、音声メッセージのテキスト・メッセージの取り込みは、リンクのアドレス（URL）をテキスト中に埋め込むという環境依存性がない方式で行なうため、異機種端末間においても互換性を気にする必要がなく、既に一般的に提供されているメッセージング・サービスの付加機能として本発明を実施することも容易に行なえる。

本願発明は、第一の端末が、音声メッセージをボイス・サーバに送信する手順と、前記ボイス・サーバが、前記音声メッセージをテキスト・メッセージに変換し、前記音声メッセージを保存する手順と、前記ボイス・サーバが、前記保存された音声メッセージのＵＲＬを前記テキスト・メッセージに埋め込む手順と、前記ボイス・サーバが、第二の端末に対して前記テキスト・メッセージを送信する手順と、前記第二の端末が、受信した前記テキスト・メッセージを表示する手順と、前記第二の端末の使用者の指示にしたがって、前記第二の端末が、前記ＵＲＬに基づいて前記保存された音声メッセージにアクセスし、再生する手順とを含むコンピューターにより実行されるメッセージ送受信方法を提供することで上記課題を解決する。

また、本願発明は、第一の端末が、音声メッセージをボイス・サーバに送信する手順と、前記ボイス・サーバが、前記音声メッセージをテキスト・メッセージに変換し、前記音声メッセージを保存する手順と、前記ボイス・サーバが、前記保存された音声メッセージのＵＲＬを前記テキスト・メッセージに埋め込む手順と、前記ボイス・サーバが、第二の端末に前記テキスト・メッセージを送信する手順と、前記第二の端末が、受信した前記テキスト・メッセージを表示した時から所定の時間経過後に、前記ＵＲＬに基づいて前記保存された音声メッセージにアクセスし、再生する手順とを含むコンピューターにより実施されるメッセージ送受信方法を提供することで上記課題を解決する。

また、本願発明は、前記保存された音声メッセージへのアクセスはウェブ・ブラウザーにより行なわれる段落０００８または段落０００９に記載のメッセージ送受信方法を提供することで上記課題を解決する。

また、本願発明は、第一の端末に、音声メッセージをボイス・サーバに送信させる命令と、前記ボイス・サーバに、前記音声メッセージをテキスト・メッセージに変換させ、前記音声メッセージを保存させる命令と、前記ボイス・サーバに、前記保存された音声メッセージのＵＲＬを前記テキスト・メッセージに埋め込ませる命令と、前記ボイス・サーバに、前記第二の端末に対して前記テキスト・メッセージを送信させる命令と、前記第二の端末に、受信した前記テキスト・メッセージを表示させる命令と、前記第二の端末の使用者の指示にしたがって、前記第二の端末に、前記ＵＲＬに基づいて前記保存された音声メッセージをアクセスさせ、再生させる命令とをコンピューターに実行させるメッセージ送受信プログラムを提供することで上記課題を解決する。

また、本願発明は、第一の端末に、音声メッセージをボイス・サーバに送信させる命令と、前記ボイス・サーバに、前記音声メッセージをテキスト・メッセージに変換させ、前記音声メッセージを保存させる命令と、前記ボイス・サーバに、前記保存された音声メッセージのＵＲＬを前記テキスト・メッセージに埋め込ませる命令と、前記ボイス・サーバに、第二の端末に対して前記テキスト・メッセージを送信させる命令と、前記第二の端末に、受信した前記テキスト・メッセージを表示させた時から所定の時間経過後に、前記ＵＲＬに基づいて前記保存された音声メッセージをアクセスさせ、再生させる命令とをコンピューターに実行させるメッセージ送受信プログラムを提供することで上記課題を解決する。

また、本願発明は、前記保存された音声メッセージへのアクセスはウェブ・ブラウザにより行なわれる段落００１１または段落００１２に記載のメッセージ送受信プログラムを提供することで上記課題を解決する。

Claims (6)

1. 第一の端末が、音声メッセージをボイス・サーバに送信する手順と、
   前記ボイス・サーバが、前記音声メッセージをテキスト・メッセージに変換し、前記音声メッセージを保存する手順と、
   前記ボイス・サーバが、前記保存された音声メッセージへのリンク情報を前記テキスト・メッセージに埋め込む手順と、
   前記ボイス・サーバが、第二の端末に対して前記テキスト・メッセージを送信する手順と、
   前記第二の端末が、受信した前記テキスト・メッセージを表示する手順と、
   前記第二の端末の使用者の指示にしたがって、前記第二の端末が、前記リンク情報に基づいて前記保存された音声メッセージにアクセスし、再生する手順とを含む
   コンピューターにより実行されるメッセージ送受信方法。
2. 第一の端末が、音声メッセージをボイス・サーバに送信する手順と、
   前記ボイス・サーバが、前記音声メッセージをテキスト・メッセージに変換し、前記音声メッセージを保存する手順と、
   前記ボイス・サーバが、前記保存された音声メッセージへのリンク情報を前記テキスト・メッセージに埋め込む手順と、
   前記ボイス・サーバが、第二の端末に前記テキスト・メッセージを送信する手順と、
   前記第二の端末が、受信した前記テキスト・メッセージを表示すると共に、前記リンク情報に基づいて前記保存された音声メッセージにアクセスし、再生する手順とを含む
   コンピューターにより実施されるメッセージ送受信方法。
3. 前記保存された音声メッセージのアクセスの際に、保存された時刻から所定の時間を経過した後にのみパスワードの要求を求める手順をさらに含む、請求項１、または、請求項２に記載のメッセージ送受信方法。
4. 第一の端末に、音声メッセージをボイス・サーバに送信させる命令と、
   前記ボイス・サーバに、前記音声メッセージをテキスト・メッセージに変換させ、前記音声メッセージを保存させる命令と、
   前記ボイス・サーバに、前記保存された音声メッセージへのリンク情報を前記テキスト・メッセージに埋め込ませる命令と、
   前記ボイス・サーバに、前記第二の端末に対して前記テキスト・メッセージを送信させる命令と、
   前記第二の端末に、受信した前記テキスト・メッセージを表示させる命令と、
   前記第二の端末の使用者の指示にしたがって、前記第二の端末に、前記リンク情報に基づいて前記保存された音声メッセージをアクセスさせ、再生させる命令とを
   コンピューターに実行させるメッセージ送受信プログラム。
5. 第一の端末に、音声メッセージをボイス・サーバに送信させる命令と、
   前記ボイス・サーバに、前記音声メッセージをテキスト・メッセージに変換させ、前記音声メッセージを保存させる命令と、
   前記ボイス・サーバに、前記保存された音声メッセージへのリンク情報を前記テキスト・メッセージに埋め込ませる命令と、
   前記ボイス・サーバに、第二の端末に対して前記テキスト・メッセージを送信させる命令と、
   前記第二の端末に、受信した前記テキスト・メッセージを表示させると共に、前記リンク情報に基づいて前記保存された音声メッセージをアクセスさせ、再生させる命令とを
   コンピューターに実行させるメッセージ送受信プログラム。
6. 前記保存された音声メッセージのアクセスの際に、保存された時刻から所定の時間を経過した後にのみパスワードの入力を求める命令をさらにコンピューターに実行させる、請求項４、または、請求項５に記載のプログラム。

Images