JP2022069370A - 画像コミュニケーションサービスと連動して対話を記録する方法、システム、およびコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】 画像コミュニケーションサービスと連動して対話を記録する方法、システム、およびコンピュータ読み取り可能な記録媒体を提供する。【解決手段】 音声記録管理方法は、画像コミュニケーションチャネルの音声をテキストに変換して音声記録を生成する段階、および前記画像コミュニケーションチャネルに参加するユーザを対象に前記音声記録を提供する段階を含む。【選択図】図４

Description

以下の説明は、対話音声をテキストで記録する技術に関する。

モバイル音声変換技術の流れとしては、モバイルデバイスで音声を録音し、音声録音が終わると、録音された区間の音声をテキストに変換してディスプレイ上に表示するのが一般的である。

このような音声変換技術の一例として、特許文献１（公開日２０１４年５月２３日）には、音声録音およびテキスト変換を実行する技術が開示されている。

韓国公開特許第１０－２０１４－００６２２１７号公報

ビデオ通話やビデオ会議のような画像コミュニケーションサービスと連動して対話を自動で記録する方法とシステムを提供する。

音声認識技術により、画像コミュニケーションチャネルの対話音声をテキストで記録する方法とシステムを提供する。

コンピュータ装置が実行する音声記録管理方法であって、前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記音声記録管理方法は、前記少なくとも１つのプロセッサにより、画像コミュニケーションチャネルの音声をテキストに変換して音声記録を生成する段階、および前記少なくとも１つのプロセッサにより、前記画像コミュニケーションチャネルに参加するユーザを対象に前記音声記録を提供する段階を含む、音声記録管理方法を提供する。

一側面によると、前記音声記録管理方法は、前記少なくとも１つのプロセッサにより、前記画像コミュニケーションチャネルとの連動のために、音声記録管理のためのチャットボットアカウントを前記画像コミュニケーションチャネルに参加させる段階をさらに含んでよい。

他の側面によると、前記提供する段階は、音声記録管理サービスと連係するメッセンジャーのチャットルームで前記音声記録を提供してよい。

また他の側面によると、前記提供する段階は、前記チャットボットアカウントが含まれたメッセンジャーチャットルームで、前記音声記録をテキストタイプのメッセージで提供してよい。

また他の側面によると、前記提供する段階は、前記チャットボットアカウントが含まれたメッセンジャーチャットルームで、前記音声記録をテキストファイル形態で提供してよい。

また他の側面によると、前記生成する段階は、前記チャットボットアカウントを前記画像コミュニケーションチャネルに招待したユーザのデバイスから前記音声を録音したファイルを受信し、話者発声区間に該当する音声データをテキストに変換する段階を含んでよい。

また他の側面によると、前記音声記録管理方法は、前記少なくとも１つのプロセッサにより、前記デバイスで前記音声の録音中に作成されたメモを前記音声記録とマッチングして管理する段階をさらに含み、前記提供する段階は、前記音声記録と前記メモを連係させて提供する段階を含んでよい。

また他の側面によると、前記管理する段階は、前記音声記録のタイムスタンプを基準として、前記音声の録音中に作成されたメモをマッチングして管理してよい。

また他の側面によると、前記メモを連係させて提供する段階は、タイムスタンプを基準として、前記音声記録と前記メモを時間的にマッチングして表示する段階を含んでよい。

さらに他の側面によると、前記メモを連係させて提供する段階は、デュアルビュー方式によって前記音声記録と前記メモをともに表示する段階を含んでよい。

前記音声記録管理方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体を提供する。

コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、画像コミュニケーションチャネルの音声をテキストに変換して音声記録を生成する音声記録生成部、および前記画像コミュニケーションチャネルに参加するユーザを対象に前記音声記録を提供する音声記録提供部を含む、コンピュータ装置を提供する。

本発明の実施形態によると、ビデオ通話やビデオ会議のような画像コミュニケーションサービスと連動し、音声認識技術によって画像コミュニケーションチャネルの対話音声をテキストで自動記録することにより、サービスの利用を拡大し、ユーザの利便性を向上させることができる。

本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。 本発明の一実施形態における、コンピュータ装置のプロセッサが含むことのできる構成要素の例を示した図である。 本発明の一実施形態における、コンピュータ装置が実行することのできる方法の例を示したフローチャートである。 本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。 本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。 本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。 本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。 本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。 本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。 本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。 本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。 本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態に係る音声記録管理システムは、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る音声記録管理方法は、音声記録管理システムに含まれる少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されるコンピュータプログラムの制御にしたがって本発明の実施形態に係る音声記録管理方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置に結合されて音声記録管理方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境の一例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

サーバ１５０、１６０それぞれは、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、音声記録管理サービス（または、議事録管理サービス）、コンテンツ提供サービス、グループ通話サービス（または、音声会議サービス）、メッセージングサービス、メールサービス、ソーシャルネットワークサービス、地図サービス、翻訳サービス、金融サービス、決済サービス、検索サービスなど）を提供するシステムであってよい。

図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ装置２００によって実現されてよい。

このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してもよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、マウスなどの装置を、出力装置は、ディスプレイ、スピーカなどのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。

また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。

以下では、画像コミュニケーションサービスと連動して対話を記録する方法およびシステムの具体的な実施形態について説明する。

一般的には、対面会議中に音声を録音するか音声ファイルをアップロードし、該当の音声をテキストに変換するサービスを提供している。

対面会議ではない、ビデオ会議やビデオ通話の場合には、対話記録および管理に困難がある。

このような問題を解決するために、本実施形態では、ビデオ通話やビデオ会議のような画像コミュニケーションサービスと連動し、画像コミュニケーションサービスの対話音声をテキストに変換した結果（以下、「音声記録」と称する）を提供する音声記録管理サービスを提供する。

図３は、本発明の一実施形態における、コンピュータ装置のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図４は、本発明の一実施形態における、コンピュータ装置が実行することのできる方法の例を示したフローチャートである。

本実施形態に係るコンピュータ装置２００は、クライアントを対象に、クライアント上にインストールされた専用アプリケーションやコンピュータ装置２００と関連するウェブ／モバイルサイトへの接続によって音声記録管理サービスを提供してよい。コンピュータ装置２００には、コンピュータによって実現された音声記録管理システムが構成されてよい。一例として、音声記録管理システムは、独立的に動作するプログラム形態で実現されてもよいし、特定のアプリケーションのイン－アプリ（ｉｎ－ａｐｐ）形態で構成され、前記特定のアプリケーション上で動作可能なように実現されてもよい。例えば、音声記録管理専用アプリであるノートアプリは、ビデオ通話機能やビデオ会議機能を提供するメッセンジャーアプリのイン－アプリ形態で構成されてもよいし、個別の独立したアプリで構成されてメッセンジャーアプリと連動する形態で実現されてもよい。

コンピュータ装置２００のプロセッサ２２０は、図４に係る音声記録管理方法を実行するための構成要素として、図３に示すように、サービス連動部３１０、音声記録生成部３２０、および音声記録提供部３３０を含んでよい。実施形態によって、プロセッサ２２０の構成要素は、選択的にプロセッサ２２０に含まれても除外されてもよい。また、実施形態によって、プロセッサ２２０の構成要素は、プロセッサ２２０の機能の表現のために分離されても併合されてもよい。

このようなプロセッサ２２０およびプロセッサ２２０の構成要素は、図４の音声記録管理方法が含む段階４１０～４３０を実行するようにコンピュータ装置２００を制御してよい。例えば、プロセッサ２２０およびプロセッサ２２０の構成要素は、メモリ２１０が含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。

ここで、プロセッサ２２０の構成要素は、コンピュータ装置２００に記録されたプログラムコードが提供する命令にしたがってプロセッサ２２０によって実行される、互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、コンピュータ装置２００が画像コミュニケーションサービスとの連動を制御するように上述した命令にしたがってコンピュータ装置２００を制御するプロセッサ２２０の機能的表現として、サービス連動部３１０が利用されてよい。

プロセッサ２２０は、コンピュータ装置２００の制御と関連する命令がロードされたメモリ２１０から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、以下で説明する段階４１０～４３０をプロセッサ２２０が実行するように制御するための命令を含んでよい。

以下で説明する段階４１０～４３０は、図４に示した順とは異なる順で実行されることもあるし、段階４１０～４３０のうちの一部が省略されたり追加の過程が含まれたりすることもある。

図４を参照すると、段階４１０で、サービス連動部３１０は、音声記録管理サービスとビデオ通話やビデオ会議のような画像コミュニケーションサービスとを連動してよい。一例として、サービス連動部３１０は、音声記録管理サービスと関連するチャットボットアカウント（以下、「音声記録チャットボット」と称する）を画像コミュニケーションチャネルに参加させる方式によって画像コミュニケーションサービスと連動してよい。画像コミュニケーションのための参加者招待過程において、音声記録チャットボットは、画像コミュニケーションに参加する１人のユーザとして招待されてよく、サービス連動部３１０は、音声記録チャットボットを利用して、音声記録チャットボットが参加する画像コミュニケーションチャネルと音声記録管理サービスとを連動してよい。

段階４２０で、音声記録生成部３２０は、音声記録管理サービスと連動する画像コミュニケーションチャネルの対話音声を受信し、受信された音声をテキストに変換することによって音声記録を生成してよい。画像コミュニケーションに参加するユーザのうちの少なくとも１人のユーザ、例えば、音声記録チャットボットを招待したユーザ（以下、「マスター」と称する）のデバイスでは、画像コミュニケーションチャネルの対話音声に対する録音が実行されてよい。音声記録生成部３２０は、マスターのデバイスから、画像コミュニケーションチャネルの対話音声として録音された音声ファイルを受信してよい。音声記録生成部３２０は、一定の時間単位（例えば、５分）で録音ファイルを受信してもよいし、画像コミュニケーションが終わった後に録音ファイルを一括で受信してもよい。音声記録生成部３２０は、周知の音声認識技術を利用して、録音ファイルで話者による発声区間に該当する音声データをテキストに変換した結果である音声記録を生成してよい。このとき、音声記録生成部３２０は、音声記録を生成する過程において話者ごとに発声区間を分割する話者分割技術を適用してよい。音声記録生成部３２０は、多くの話者が順不同に発声する状況において、対話内容に該当する発声内容を話者ごとに分割して自動記録してよい。

音声記録生成部３２０は、画像コミュニケーションチャネルの対話音声を録音する過程で作成されたメモをマスターのデバイスから受信し、音声記録とマッチングして管理してよい。音声記録生成部３２０は、録音が実行される時間を基準として、音声記録中および録音実行中に作成されたメモをマッチングしてよい。音声記録は、話者発声区間の基点を示すタイムスタンプを含んでよく、音声記録生成部３２０は、音声記録のタイムスタンプを基準として、該当の区間に作成されたメモをともに管理してよい。言い換えれば、音声記録生成部３２０は、特定の時点の発声区間に作成されたメモを該当の時点の音声記録とマッチングして管理してよい。

マスターのデバイスには、音声記録管理専用アプリであるノートアプリがインストールされてよく、画像コミュニケーションチャネルの対話音声を録音するデバイスは、ノートアプリがインストールされたデバイスであり、画像コミュニケーションチャネルに接続するデバイスに該当してよい。画像コミュニケーションチャネルの対話音声と関連してメモを作成するデバイスの場合、対話音声を録音するデバイスと同じデバイスであってもよいし、マスターが使用する他のデバイスであってもよい。マスターが同一アカウントによってログインしたモバイルアプリ（ノートアプリ）とＰＣウェブ（音声記録管理サービスのための専用ウェブサイト）が連動され、画像コミュニケーションに参加中のモバイルデバイスではノートアプリによって対話音声を録音し、録音中の対話音声と関連してＰＣが接続したウェブにはメモを作成する使用環境を適用してよい。このような使用環境は一例に過ぎず、これに限定されてはならない。

段階４３０で、音声記録提供部３３０は、画像コミュニケーションチャネルの対話音声をテキストに変換した音声記録を画像コミュニケーションに参加するユーザが確認できるように、音声記録管理サービスと関連するインタフェースによって提供してよい。一例として、音声記録提供部３３０は、音声記録管理サービス専用のモバイルアプリ（ノートアプリ）やＰＣウェブによって音声記録を提供してよい。例えば、音声記録提供部３３０は、音声記録生成が完了すると、モバイルアプリやＰＣウェブが提供するファイルリスト上に、音声記録に該当するテキストファイルを含ませて提供してよい。他の例として、音声記録提供部３３０は、音声記録生成が完了すると、音声記録管理サービスと連係するメッセンジャーのチャットルームで音声記録を提供してよい。例えば、音声記録提供部３３０は、音声記録チャットボットとのチャットルームで、テキストメッセージ形態またはファイル形態で、音声記録に該当するテキストを送信してよい。

図５～１３は、本発明の一実施形態における、音声記録管理のためのユーザインタフェース画面の例を示した図である。

図５～７は、画像コミュニケーションに音声記録チャットボットが参加する過程を説明するためのユーザインタフェース画面の例を示した図である。

図５を参照すると、モバイルデバイスにインストールされたノートアプリは、ビデオ通話やビデオ会議のような画像コミュニケーション機能を備えたメッセンジャーアプリと連動してよい。このとき、メッセンジャーアプリは、友達リスト５００に、ノートアプリと関連するチャットボットである音声記録チャットボット５０１「ｎｏｔｅ ｂｏｔ」を含んで提供してよい。

モバイルデバイスのユーザは、メッセンジャーアプリ上の友達リスト５００から画像コミュニケーションのための参加者を選択してよく、画像コミュニケーションに参加する１人のユーザとして音声記録チャットボット５０１を招待してよい。

図６を参照すると、メッセンジャーアプリは、友達リスト５００から選択された参加者を対話相手とするチャットルーム６００を生成してよい。このとき、チャットルーム６００には、画像コミュニケーションの一例として、ビデオ通話のための「ビデオ通話」メニュー６０１が含まれてよい。

メッセンジャーアプリは、チャットルーム６００から「ビデオ通話」メニュー６０１を選択する場合、図７に示すようにビデオ通話画面７００に切り換わり、チャットルーム６００に含まれた参加者が参加するビデオ通話を提供してよい。

ビデオ通話画面７００には、参加者それぞれのデバイスから受信された個別の画像が含まれてよく、音声記録チャットボット５０１の場合、チャットボット画像として音声記録チャットボット５０１と関連する画像７０１が表示されてよい。実施形態によっては、音声記録チャットボット５０１と関連する画像７０１は省略されてもよい。

チャットルーム６００を生成する過程で音声記録チャットボット５０１を招待することが説明されているが、これに限定されてはならず、音声記録チャットボット５０１を招待する方式や過程はいくらでも変更可能である。画像コミュニケーションのための参加者招待過程で音声記録チャットボット５０１を招待することはもちろん、画像コミュニケーションの途中に、画像コミュニケーションに参加中の１人のユーザが追加の参加者として音声記録チャットボット５０１を招待することも可能である。

メッセンジャーアプリを利用した画像コミュニケーションに音声記録チャットボット５０１が参加することに伴い、ノートアプリでは、画像コミュニケーションチャネルの対話音声に対する録音が実行されてよい。

図８は、ノートアプリのインタフェース画面であって、音声記録管理画面８００の例を示した図である。音声記録管理画面８００には、音声記録として生成された音声ファイルリスト８１０が含まれてよく、メッセンジャーアプリとの連動情報として、画像コミュニケーションチャネルの対話音声に対して録音中であることを示す状態情報８０１が表示されてよい。

また、音声記録管理画面８００には、メッセンジャーアプリで画像コミュニケーションが実行されることに伴い、録音実行中である音声ファイルに対してメモを作成するための「メモ」メニュー８０２が提供されてよい。モバイルデバイスは、「メモ」メニュー８０２が選択される場合、メモ作成画面（図示せず）を提供してよい。このとき、メモ作成画面は、メモ作成のためのインタフェースであって、テキストによる入力はもちろん、写真や動画撮影機能、ファイル添付機能などが含まれてよい。また、メモ作成画面には、録音実行中の音声ファイルにブックマークを記録できるようにするブックマークインタフェースなどがさらに含まれてよい。メモ作成画面でメモが作成される場合、メモそれぞれに対し、録音実行中の音声ファイルの録音時間に基づくタイムスタンプがともに表示されてよい。

メモ作成画面に進むための「メモ」メニュー８０２が提供されることを説明しているが、これに限定されてはならない。実施形態によっては、「メモ」メニュー８０２が個別のメニューとして提供されるのではなく、音声ファイルリスト８１０から特定の音声ファイル、例えば、録音実行中の音声ファイルが選択されることによって切り換わった詳細画面にメモ作成画面が含まれるようにしてもよい。

プロセッサ２２０は、モバイルデバイスから、ノートアプリを経て画像コミュニケーションチャネルの対話音声が録音された音声ファイルを受信して音声記録を生成してよい。また、プロセッサ２２０は、モバイルデバイスから、画像コミュニケーションチャネルの対話音声を録音する過程で作成されたメモを受信し、音声記録とマッチングして管理することも可能である。

プロセッサ２２０は、画像コミュニケーションが完了すると、対話音声をテキストに変換した音声記録を、該当の画像コミュニケーションに参加するユーザが確認可能な形態で提供してよい。

一例として、図９を参照すると、プロセッサ２２０は、音声記録チャットボットとのチャットルーム９００で、音声記録に該当するテキスト全体をテキストタイプのメッセージ９１０で提供してよい。言い換えれば、プロセッサ２２０は、音声記録のテキスト自体を、音声記録チャットボットとのチャットルーム９００に送信してよい。

他の例として、図１０を参照すると、プロセッサ２２０は、音声記録チャットボットとのチャットルーム９００で、音声記録のテキストの一部はテキストタイプのメッセージ９１０で提供しながら、テキスト全体を確認する「もっと見る」メニュー１００１をともに提供してよい。「もっと見る」メニュー１００１は、ノートアプリが実行されて該当の音声記録の詳細画面に移動するためのリンクを含んでよい。

また他の例として、図１１を参照すると、プロセッサ２２０は、音声記録チャットボットとのチャットルーム９００で、音声記録をファイルでダウンロードするためのリンクが含まれたファイルダウンロードリンクタイプのメッセージ１１２０を提供してよい。言い換えれば、プロセッサ２２０は、音声記録チャットボットとのチャットルーム９００に、音声記録をテキストファイル形態で送信してよい。

また他の例として、図１２を参照すると、プロセッサ２２０は、音声記録チャットボットとのチャットルーム９００で、音声記録を提供するサービス画面に移動するためのサービスページ移動リンク１２３１が含まれたメッセージ１２３０を提供してよい。プロセッサ２２０は、サービス連動リンクタイプのメッセージ１２３０とともに、音声記録の少なくとも一部に対するプレビュー１２３２を提供してよい。

図１３は、音声記録詳細画面１３００の例を示している。

プロセッサ２２０は、特定の音声記録に対する選択命令が受信される場合、該当の音声記録と音声記録とマッチングされたメモとを連係させて提供してよい。プロセッサ２２０は、音声記録管理画面８００で提供される音声ファイルリスト８１０から特定の音声記録が選択されるか、あるいはチャットルーム９００から「もっと見る」メニュー１００１またはサービスページ移動リンク１２３１が選択される場合、図１３に示すように、該当の音声記録に対するビューモードに該当する音声記録詳細画面１３００を提供してよい。

プロセッサ２２０は、音声記録詳細画面１３００に、音声記録領域１３４０とメモ領域１３５０を表示してよい。音声記録詳細画面１３００には、音声記録のタイトル１３４１と参加者情報１３４２がともに提供されてよい。

プロセッサ２２０は、音声記録領域１３４０とメモ領域１３５０を、一画面上で区分される個別のタブページとして提供してよい。他の例としては、モバイルデバイスの画面比により、デュアルビュー方式によって音声記録領域１１４０とメモ領域１１５０をともに表示してもよい。

音声記録領域１３４０では、発声区間ごとに、該当の区間の音声を変換したテキストが表示されてよく、このとき、音声ファイルでテキストが発声される時点を基準にタイムスタンプが表示されてよい。メモ領域１３５０には、音声ファイルの録音中に作成されたメモが表示されてよく、各メモには、メモ作成が始まった時点の録音実行時間が該当のメモのタイムスタンプとして表示されてよい。

音声記録領域１３４０とメモ領域１３５０がデュアルビュー方式によって提供される場合は、音声記録領域１３４０とメモ領域１３５０を二列に並べて表示してよい。このとき、音声記録領域１３４０とメモ領域１３５０は、タイムスタンプを基準に時間的にマッチングさせて表示してよい。例えば、話者１が発声した００分０２秒時点に作成されたメモは、該当の発声区間のテキストと同一線上に表示されるようにしてよい。

音声記録領域１３４０とメモ領域１３５０が個別のタブページとして提供される場合は、音声記録領域１３４０とメモ領域１３５０を、タイムスタンプ基準とした同一線上に表示するのではなく、単にそれぞれ時間順にしたがって整列することも可能である。

このように、本発明の実施形態によると、音声記録管理サービスをビデオ通話やビデオ会議のような画像コミュニケーションサービスと連動し、画像コミュニケーションチャネルの対話音声をテキストに自動変換した音声記録を提供することにより、サービスの利用を拡大し、ユーザの利便性を向上させることができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

以上のように、実施形態を、限られた実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な変更および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

２２２：プロセッサ
３１０：サービス連動部
３２０：音声記録生成部
３３０：音声記録提供部

Claims (20)

1. コンピュータ装置が実行する音声記録管理方法であって、
   前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
   前記音声記録管理方法は、
   前記少なくとも１つのプロセッサにより、画像コミュニケーションチャネルの音声をテキストに変換して音声記録を生成する段階、および
   前記少なくとも１つのプロセッサにより、前記画像コミュニケーションチャネルに参加するユーザを対象に前記音声記録を提供する段階
   を含む、音声記録管理方法。
2. 前記音声記録管理方法は、
   前記少なくとも１つのプロセッサにより、前記画像コミュニケーションチャネルとの連動のために、音声記録管理のためのチャットボットアカウントを前記画像コミュニケーションチャネルに参加させる段階
   をさらに含む、請求項１に記載の音声記録管理方法。
3. 前記提供する段階は、
   音声記録管理サービスと連係するメッセンジャーのチャットルームで、前記音声記録を提供すること
   を特徴とする、請求項１に記載の音声記録管理方法。
4. 前記提供する段階は、
   前記チャットボットアカウントが含まれたメッセンジャーチャットルームで、前記音声記録をテキストタイプのメッセージで提供すること
   を特徴とする、請求項２に記載の音声記録管理方法。
5. 前記提供する段階は、
   前記チャットボットアカウントが含まれたメッセンジャーチャットルームで、前記音声記録をテキストファイル形態で提供すること
   を特徴とする、請求項２に記載の音声記録管理方法。
6. 前記生成する段階は、
   前記チャットボットアカウントを前記画像コミュニケーションチャネルに招待したユーザのデバイスから前記音声を録音したファイルを受信し、話者発声区間に該当する音声データをテキストに変換する段階
   を含む、請求項２に記載の音声記録管理方法。
7. 前記音声記録管理方法は、
   前記少なくとも１つのプロセッサにより、前記デバイスで前記音声の録音中に作成されたメモを前記音声記録とマッチングして管理する段階
   をさらに含み、
   前記提供する段階は、
   前記音声記録と前記メモを連係させて提供する段階
   を含む、請求項６に記載の音声記録管理方法。
8. 前記管理する段階は、
   前記音声記録のタイムスタンプを基準として、前記音声の録音中に作成されたメモをマッチングして管理すること
   を特徴とする、請求項７に記載の音声記録管理方法。
9. 前記メモと連係させて提供する段階は、
   タイムスタンプを基準として、前記音声記録と前記メモを時間的にマッチングして表示する段階
   を含む、請求項７に記載の音声記録管理方法。
10. 前記メモと連係させて提供する段階は、
    デュアルビュー方式によって前記音声記録と前記メモをともに表示する段階
    を含む、請求項７に記載の音声記録管理方法。
11. 請求項１～１０のうちのいずれか一項に記載の音声記録管理方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
12. コンピュータ装置であって、
    メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
    を含み、
    前記少なくとも１つのプロセッサは、
    画像コミュニケーションチャネルの音声をテキストに変換して音声記録を生成する音声記録生成部、および
    前記画像コミュニケーションチャネルに参加するユーザを対象に前記音声記録を提供する音声記録提供部
    を含む、コンピュータ装置。
13. 前記少なくとも１つのプロセッサは、
    音声記録管理のためのチャットボットアカウントを前記画像コミュニケーションチャネルに参加させて前記画像コミュニケーションチャネルと連動するサービス連動部
    をさらに含む、請求項１２に記載のコンピュータ装置。
14. 前記音声記録提供部は、
    音声記録管理サービスと連係するメッセンジャーのチャットルームで、前記音声記録を提供すること
    を特徴とする、請求項１２に記載のコンピュータ装置。
15. 前記音声記録提供部は、
    前記チャットボットアカウントが含まれたメッセンジャーチャットルームで、前記音声記録をテキストタイプのメッセージで提供すること
    を特徴とする、請求項１３に記載のコンピュータ装置。
16. 前記音声記録提供部は、
    前記チャットボットアカウントが含まれたメッセンジャーチャットルームで、前記音声記録をテキストファイル形態で提供すること
    を特徴とする、請求項１３に記載のコンピュータ装置。
17. 前記音声記録生成部は、
    前記チャットボットアカウントを前記画像コミュニケーションチャネルに招待したユーザのデバイスから前記音声を録音したファイルを受信し、話者発声区間に該当する音声データをテキストに変換すること
    を特徴とする、請求項１３に記載のコンピュータ装置。
18. 前記音声記録生成部は、
    前記デバイスで前記音声の録音中に作成されたメモを前記音声記録とマッチングして管理し、
    前記音声記録提供部は、
    前記音声記録と前記メモを連係させて提供すること
    を特徴とする、請求項１７に記載のコンピュータ装置。
19. 前記音声記録生成部は、
    前記音声記録のタイムスタンプを基準として、前記音声の録音中に作成されたメモをマッチングして管理すること
    を特徴とする、請求項１８に記載のコンピュータ装置。
20. 前記音声記録提供部は、
    タイムスタンプを基準として、前記音声記録と前記メモを時間的にマッチングして表示すること
    を特徴とする、請求項１８に記載のコンピュータ装置。

Images