以下、図面を用いて、発明を実施するための形態について説明する。なお、図面の説明において同一要素には同一符号を付し、重複する部分があればその説明を省略する。
〔第1の実施形態〕
図1乃至図39を用いて、第1の実施形態について説明する。
〔通信システムの全体構成〕
<システム構成例>
図1は、通信システムの全体構成の一例を示す図である。図1に示されているように、通信システム1は、一以上の通信端末3、音声記録管理装置5及び音声認識サーバ7を含む各装置を有している。通信端末3、音声記録管理装置5及び音声認識サーバ7は、通信ネットワーク100を介してそれぞれ互いに接続されている。ここで、通信ネットワーク100は、不特定多数の通信が行われる通信ネットワークであり、インターネット、イントラネット、LAN(Local Area Network)等によって構築されている。なお、通信ネットワーク100には、有線通信だけでなく、3G(3rd Generation)、4G(4th Generation)、5G(5th Generation)、WiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)等の無線通信による通信ネットワークが含まれてもよい。更に、通信システム1は、通信端末3及び音声記録管理装置5によって構築された音声記録管理システム2を含んでいる。また、通信端末3と音声記録管理装置5は、専用の社内ネットワーク等で互いに接続されていてもよいし、通信ネットワーク100の内
側に、ファイアウォール(Fire Wall)を介して互いに接続されていてもよい。
<通信端末>
通信端末3は、一般的なOSなどが搭載された通信を行うための一以上の情報処理装置(コンピュータシステム)によって実現される。通信端末3は、通信ネットワーク100を介して、音声記録管理装置5と通信が可能である。図1に示されているように、通信端末3は、通信端末3(A)、通信端末3(B)、通信端末3(C)を含む一以上の通信端末で構成されている。
通信端末3(A)は、例えば、音声記録管理装置5と通信するためのブラウザアプリ及び音声記録管理装置5が送信したテキスト情報に基づいて会議等の議事録などを作成するための記録管理アプリがそれぞれインストールされている。更に、通信端末3(A)は、通信端末3(B)との間で、リモートワーク、テレビ会議、インスタントメッセージング、グループチャットなどを行うための汎用ツール(ここでは「会話ツール」と呼ぶ)を利用して会話等の所定のイベントに参加し、議事録を作成可能な通信端末である。このように、通信端末3(A)は、例えば、議事録作成端末として機能する。
通信端末3(B)は、通信端末3(A)と上述した汎用ツールを利用し、所定のイベントに参加している通信端末3(A)を使用する利用者(例えば、利用者A)とともに所定のイベントに参加する。このように、通信端末3(B)は、例えば、イベント参加端末として機能する。
通信端末3(A)及び通信端末3(B)は、上述したような汎用ツールを利用して所定のイベントにおいて発話することにより、互いの発話音声を聞くことができる。そのため、議事録作成端末としての通信端末3(A)は、通信端末3(A)を利用する利用者Aの発話音声のみならず、通信端末3(A)と通信を行っているイベント参加端末としての通信端末3(B)を利用する利用者(例えば、利用者B)の発話音声も取得することができる。
通信端末3(C)は、通信端末3(A)及び通信端末3(B)が参加した所定のイベントに基づいて作成された議事録を閲覧する端末である。この場合、通信端末3(C)は、記録管理アプリがインストールされていなくても、ブラウザ経由で所定のイベントの議事録を閲覧することが可能である。このように、通信端末3(C)は、例えば、議事録閲覧端末として機能する。
本実施形態において、特に指定がなければ単に「通信端末3」と記す。なお、通信端末3は、一般的に使用されるPC(Personal Computer)、携帯型ノートPC、携帯電話、スマートフォン、タブレット端末、ウェアラブル端末(サングラス型、腕時計型等)の通信機能を有する通信端末であってもよい。通信端末3は、更に、ブラウザソフトウエア等のソフトウエアを動作させることが可能な通信装置又は通信端末が用いられてもよい。
<音声記録管理装置>
音声記録管理装置5は、一般的なサーバOSなどが搭載された一以上の情報処理装置(コンピュータシステム)によって実現される。音声記録管理装置5は、専用のアプリケーションプログラムを実行し、通信ネットワーク100を介して通信端末3が送信した音声情報に基づいて得られた音声記録情報を管理するクラウドサーバの機能を有する。なお、音声記録管理装置5は、音声記録情報として、イベントの一例としての会議の議事録に限らず、個人、グループの任意の活動に対する音声メモ、オペレータの電話応対時の音声記録、工場等の特定の場所における作業記録等に基づいた各種音声記録情報を管理してもよい。
音声記録管理装置5は、更に、通信端末3を利用する利用者を作成者識別情報で管理する。本実施形態に係る通信システムでは、利用者は作成者識別情報を用いて音声記録管理装置5にログインすることが可能である。このため、作成者識別情報は、音声記録管理装置5が利用者を一意に特定する機能を有している。なお、作成者識別情報には、電子メール、ID、電話番号など、利用者を一意に識別することが可能な情報が含まれる。
音声記録管理装置5は、単一のコンピュータによって構築されてもよいし、ストレージ等の各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、音声記録管理装置5の機能の全てまたは一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。
<音声認識サーバ>
音声認識サーバ7は、一般的なサーバOSなどが搭載された一以上の情報処理装置(コンピュータシステム)によって実現される。音声認識サーバ7は、音声記録管理装置5が送信した音声情報(データ)を受信すると、音声認識エンジンを起動して音声情報(データ)をテキストデータに変換し、変換したテキストデータを音声記録管理装置5に返信(送信)する機能を有する。つまり本実施形態に係る通信システムでは、音声認識サーバ7が、音声情報からテキスト情報に変換するクラウドサービス機能を有している。
具体的には、音声認識サーバは、音声認識を可能とする他社サービスを利用するようにしてもよく、例えば、汎用の音声認識エンジンサービスで提供されてよい。
●用語について●
本実施形態において利用者とは、以下に該当する者をいう。例えば、利用者には、所定のイベントで発話する参加者、人間が話す言語を生成可能なAIを搭載した機械、人型ロボット等が含まれる。本実施形態では、説明の便宜上、利用者という用語を使用する。
更に、本実施形態においてイベントとは、各種行事、催し物などをいう。例えば、イベントには、会議、打合せ、講義、講演、レクチャー、競技大会などが含まれる。
更に、本実施形態においてテキストとは、利用者が発話した音声に係る音声情報を、所定の辞書等によって認識された結果に基づいて、視認可能な文字で表される単語、熟語、数字、記号、文などに変換された各種情報をいう。
更に、本実施形態において音声記録とは、会議等の所定のイベントにおいて一以上のイベントへの参加者(利用者)が発話した発話音声に係る音声情報(データ)に基づいて得られたテキスト情報(データ)、画像、発話音声を含む議事録などで構成される記録をいう。そして、音声記録情報とは、上述した音声記録に係る情報をいう。
〔ハードウエア構成〕
続いて、図2及び図3を用いて、実施形態に係る通信システムを構成する装置又は端末のハードウエア構成について説明する。なお、図2及び図3に示されている装置又は端末のハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
<通信端末、音声認識サーバのハードウエア構成>
図2は、通信端末及び音声認識サーバのハードウエア構成の一例を示す図である。図2に示されているように、通信端末3は、例えばコンピュータによって構築されている。通信端末3は、CPU301、ROM302、RAM303、EEPROM304、CMOS(Complementary Metal Oxide Semiconductor)センサ305、撮像素子I/F(Inter face)306、メディアI/F309、バスライン310、ネットワークI/F312、ネットワークI/F312のアンテナ312a、マイク315、スピーカ316、音入出力I/F317、ディスプレイ318、外部機器接続I/F319、近距離通信回路320、近距離通信回路320のアンテナ320a及びタッチパネル321を備えている。
これらのうち、CPU301は、通信端末3の全体の動作を制御する。ROM302は、CPU301の処理に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。EEPROM304は、CPU301の制御にしたがって、アプリ等の各種データの読出し又は書込みを行う。CMOSセンサ305は、CPU301の制御にしたがって被写体を撮像して画像データ又は動画データを得る内蔵型の撮像手段の一種である。なお、撮像手段は、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等で構成される撮像手段であってもよい。撮像素子I/F306は、CMOSセンサ305の駆動を制御する回路である。メディアI/F309は、フラッシュメモリ等の記録メディア308に対するデータの読出し又は書込み(記憶)を制御する。バスライン310は、CPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ネットワークI/F312は、通信ネットワーク100を介して他の機器と各種データ(情報)通信するための通信インターフェイスである。このとき、ネットワークI/F312は、ネットワークI/F312のアンテナ312aを使って通信を行ってもよい。マイク315は、音を電気信号に変える内蔵型の回路であり、外部のスピーカ等から発する音声や音波を取得し電気信号を用いた情報を取得する。スピーカ316は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F317は、CPU301の制御にしたがってマイク315及びスピーカ316との間で音信号の入出力を処理する回路である。ディスプレイ318は、被写体の画像や文字、各種アイコン等を表示する液晶や有機EL(Electro Luminescence)などの表示手段の一種である。外部機器接続I/F319は、各種の外部機器を接続するためのインターフェイスである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ等である。近距離通信回路320は、NFC(Near Field Communication)、Bluetooth(登録商標。以下省略)、ミリ波無線通信、Wi-Fi(登録商標。以下省略)、QRコード(登録商標。以下省略)、可視光、環境音又は超音波等の無線通信インターフェイスを備える通信装置又は通信端末等と近距離無線通信を行うための通信回路である。また、近距離通信回路320には近距離通信回路320のアンテナ320aが備わっている。タッチパネル321は、利用者がディスプレイ318上に配置された所定のボタン、アイコン等に対して押下、クリック又はタップ等の操作をすることで、通信端末3を操作する入力手段の一種である。
なお、通信端末3は、ブラウザソフトウエア等のプログラムを動作させることが可能な通信装置又は通信端末が用いられてもよい。
音声認識サーバ7は、CPU701、ROM702、RAM703、EEPROM704、CMOS(Complementary Metal Oxide Semiconductor)センサ705、撮像素子I/F706、メディアI/F709、バスライン710、ネットワークI/F712、ネットワークI/F712のアンテナ712a、マイク715、スピーカ716、音入出力I/F717、ディスプレイ718、外部機器接続I/F719、近距離通信回路720、近距離通信回路720のアンテナ720a及びタッチパネル721を備えている。これらのハードウエア資源は、通信端末3のCPU301、ROM302、RAM303、EEPROM304、CMOS(Complementary Metal Oxide Semiconductor)センサ305、撮像素子I/F306、メディアI/F309、バスライン310、ネットワークI/F312、ネットワークI/F312のアンテナ312a、マイク315、スピーカ316、音入出力I/F317、ディスプレイ318、外部機器接続I/F319、近距離通信回路320、近距離通信回路320のアンテナ320a及びタッチパネル321の各ハードウエア資源と同様であるため、説明を省略する。
<音声記録管理装置のハードウエア構成>
図3は、音声記録管理装置のハードウエア構成の一例を示す図である。図3に示されているように、音声記録管理装置5は、例えばコンピュータによって構築されており、CPU501、ROM502、RAM503、EEPROM504、HD505、HDD(Hard Disk Drive)コントローラ506、ディスプレイ507、近距離通信I/F508、CMOSセンサ509、撮像素子I/F510、ネットワークI/F511、キーボード512、ポインティングデバイス513、メディアI/F515、外部機器接続I/F516、音入出力I/F517、マイク518、スピーカ519及びバスライン520を備えている。
これらのうち、CPU501は、音声記録管理装置5全体の動作を制御する。ROM502は、CPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。EEPROM504は、CPU501の制御にしたがって、アプリ等の各種データの読出し又は書込みを行う。HD505は、プログラム等の各種データを記憶する。HDDコントローラ506は、CPU501の制御にしたがってHD505に対する各種データの読出し又は書込みを制御する。ディスプレイ507は、カーソル、メニュー、ウィンドウ、文字又は画像などの各種情報を表示する。近距離通信I/F508は、NFC(Near Field Communication)、Bluetooth(登録商標。以下省略)、Wi-Fi(登録商標。以下省略)等の無線通信インターフェイスを備える通信装置、又は通信端末等とデータ通信を行うための通信回路である。CMOSセンサ509は、CPU501の制御にしたがって被写体を撮像して画像データ又は動画データを得る内蔵型の撮像手段の一種である。なお、撮像手段は、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等で構成される撮像手段であってもよい。撮像素子I/F510は、CMOSセンサ509の駆動を制御する回路である。
ネットワークI/F511は、通信ネットワーク100を利用してデータ通信をするためのインターフェイスである。キーボード512は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス513は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。メディアI/F515は、フラッシュメモリ等の記録メディア514に対するデータの読出し又は書込み(記憶)を制御する。外部機器接続I/F516は、各種の外部機器を接続するためのインターフェイスである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ等である。音入出力I/F517は、CPU501の制御にしたがってマイク518及びスピーカ519との間で音信号の入出力を処理する回路である。マイク518は、音を電気信号に変える内蔵型の回路であり、外部のスピーカ等から発する音声や音波を取得し電気信号を用いた情報を取得する。スピーカ519は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。バスライン520は、CPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、音声記録管理装置5は、通信端末3に対してプッシュ通知(送信)によりデータ(情報)を通知(送信)してもよい。その場合、音声記録管理装置5は、例えば、プッシュ通知サーバの一例であるFCM(Firebase Cloud Messaging)を利用してプッシュ通知することで実現することが可能である。なお、音声記録管理装置5は、一般的に使用されるPC(Personal Computer)であってもよい。音声記録管理装置5は、更に、ブラウザソフトウエア等のソフトウエアを動作させることが可能な通信装置又は通信端末が用いられてもよい。
更に、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読取り可能な記録媒体に記録、又はネットワークを介してダウンロードを行い流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray Disc、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、音声記録管理装置5は、本発明に係るプログラムが実行されることで、本発明に係る音声記録管理方法を実現する。
〔通信システムの機能構成〕
次に、図4乃至図9を用いて、本実施形態の機能構成について説明する。図4は、通信システムの機能構成の一例を示す図である。
<通信端末の機能構成>
図4に示されているように、通信端末3は、送受信部31、操作受付部32、音・画像取得部33、表示制御部34、音声再生部36、アプリ起動部38及び記憶読出部39を有する。これら各機能部は、図2に示された各ハードウエア資源のいずれかが、ROM302及びEEPROM304のうち少なくとも一つからRAM303に展開された通信端末3用のプログラムに従ったCPU301からの命令により動作することで実現される機能又は手段である。また、通信端末3は、図2に示されているROM302及びEEPROM304のうち少なくとも一方により構築される記憶部3000を有している。更に、記憶部3000には、音声記録管理装置5と通信ネットワーク100を介して通信を行うための通信プログラム(通信アプリ)と、音声情報に基づいて議事録等を生成するためのブラウザアプリ、記録管理アプリ等が記憶されている。
<<通信端末の各機能構成>>
次に、通信端末3の各機能構成について詳細に説明する。図4に示されている通信端末3の送受信部31は、主に、ネットワークI/F312及び近距離通信回路320に対するCPU301の処理によって実現され、通信ネットワーク100を介して音声記録管理装置5との間で各種データ(又は情報)の送受信を行う。本実施形態において、送受信部31は、送信手段及び受信手段のうち少なくとも一方の手段の一例として機能する。
操作受付部32は、主に、タッチパネル321が受け付けた各種操作により生成された信号をCPU301が処理することによって実現される。なお、操作受付部32は、タッチパネル321に代えて、キーボード、ポインティングデバイス等の入力手段が用いられてもよい。本実施形態において、操作受付部32は、受付手段の一例として機能する。
音・画像取得部33は、主に、マイク315、音入出力I/F317、CMOSセンサ313及び撮像素子I/F314に対するCPU301の処理によって実現され、通信端末3を利用する利用者が発話した発話音声等に係る音声(音)を集音して音声情報(音声データ)又は音情報(音データ)を取得する。音・画像取得部33は、更に、利用者の顔などの画像に係る画像を撮影して画像情報(画像データ)を取得する。また、音・画像取得部33は、ディスプレイ318に表示されている画面データを所定の時間間隔で取得する。なお、音声情報には、人間が発話した発話音声を示す発話音声情報、AIを搭載した機械、人型ロボット等が生成した人工的な音声である人工音声情報が含まれる。本実施形態において、音・画像取得部33は、取得手段の一例として機能する。
表示制御部34は、主に、ディスプレイ318に対するCPU301の処理によって実現され、通信端末3における各種画面及び情報(データ)の表示制御を行う。また、表示制御部34は、例えば、ブラウザを用いて、HTML等により作成された表示画面を、ディスプレイ318に表示させる。また、表示制御部34は、音声記録管理装置5が送信した編集後画面データに係る編集後画面をディスプレイ318に表示する。また、表示制御部34は、テキスト非表示要求を生成するために操作されるテキスト非表示操作部を、ディスプレイ318に表示された所定のテキストの近傍に表示する。また、表示制御部34は、画像非表示要求を生成するために操作される画像非表示操作部を、ディスプレイ318に表示された所定の画像の近傍に表示する。ここで、テキスト非表示要求は、所定のテキストを非表示とするために音声記録管理装置5に対して送信される要求である。テキスト非表示操作部は、後述する「非公開」ボタン(アイコン)3542、「削除」ボタン(アイコン)3544を含む。また、画像非表示要求は、所定の画像を非表示とするために音声記録管理装置5に対して送信される要求である。画像非表示操作部は、後述する「非公開」ボタン(アイコン)3545、「削除」ボタン(アイコン)3546を含む。さらに、テキスト非表示要求と画像非表示要求によって非表示処理される第1の非表示テキストデータ、第2の非表示テキストデータ、第1の非表示画像データ、及び第2の非表示画像データはそれぞれ、所定の事業の業績情報、売上情報、利益情報及び個人情報を含む秘匿データである。
また、表示制御部34は、編集対象となる画面の画面データが取得部52によって取得された取得時刻に跨って音声データに基づいて得られた特定のテキストデータが存在する状態のとき、以下の処理を行う。具体的には、表示制御部34は、取得時刻に取得された所定の画像に対する画像非表示要求が受信された場合に、第2の非表示テキストデータに加えて、特定のテキストデータを非表示処理した第3の非表示画面データに係る第3の非表示画面をディスプレイ318に表示する。表示制御部34は、更に、所定の画像に対する画像非表示要求が受信された後、所定の画像を再度表示する画像表示要求が受信された場合に、特定のテキストデータに係る特定のテキストが非表示状態に維持された画面をディスプレイ318に表示する。
表示制御部34は、更に、ディスプレイ318に表示された複数のテキストを含む一のテキストグループとして選択された場合に、テキストグループを表す要約を入力させるための要約入力操作部を一のテキストグループの近傍に表示する。ここで、要約入力操作部は、後述する要約入力ダイアログ3181を含む。表示制御部34は、更に、要約入力操作部とあわせて、テキスト非表示操作部を一のテキストグループの近傍に表示する。ここで、テキスト非表示操作部は、後述する「非公開」ボタン(アイコン)3542又は「削除」ボタン(アイコン)3544を含む。本実施形態において、表示制御部34は、表示制御手段の一例として機能する。
音声再生部36は、主に、スピーカ316及び音入出力I/F317に対するCPU301の処理によって実現され、通信端末3を利用する利用者に対して音声情報(音声データ)又は音情報(音データ)を再生する。また、音声再生部36は、音声記録管理装置5が送信した、所定のテキストに対する非公開、公開、及び削除等の編集を行った編集後の音声データに係る編集後音声を再生する。また、音声再生部36は、第2の非表示テキストデータと特定のテキストデータに係る各テキストで示される音声データが無音化処理された音声を再生する。音声再生部36は、更に、特定のテキストで示される特定の音声データに係る特定の音声が無音化状態に維持された音声を再生する。本実施形態において、音声再生部36は、音声再生手段の一例として機能する。
アプリ起動部38は、主に、CPU301の処理によって実現され、音声記録管理装置5との間で通信ネットワーク100を介して各種アプリの起動を行う。また、アプリ起動部38は、音声記録管理装置5で管理されている各種テキスト情報を編集、管理するための記録管理アプリ及びブラウザアプリを、RAM303の所定の作業領域上で動作させる。本実施形態において、アプリ起動部38は、起動手段の一例として機能する。
記憶読出部39は、主に、図2に示されているROM302及びEEPROM304のうち少なくとも一つに対するCPU301の処理によって実現され、記憶部3000に各種データ(又は情報)を記憶したり、記憶部3000から各種データ(又は情報)を読み出したりする。本実施形態において、記憶読出部39は、記憶読出手段の一例として機能する。
<音声記録管理装置の機能構成>
図4に示されているように、音声記録管理装置5は、送受信部51、取得部52、算出特定部53、表示制御部54、判断部55、認証部56、生成・処理部57、設定登録部58及び記憶読出部59を有する。これら各機能部は、図3に示された各ハードウエア資源のいずれかが、ROM502及びHD505のうち少なくとも一つからRAM503に展開された音声記録管理装置5用のプログラムに従ったCPU501からの命令により動作することで実現される機能又は手段である。また、音声記録管理装置5は、図3に示されているROM502及びHD505のうち少なくとも一方により構築される記憶部5000を有している。更に、記憶部5000には、通信端末3及び音声認識サーバ7と通信ネットワーク100を介してそれぞれ通信を行うための通信プログラム(通信アプリ)と、通信端末3との間で実行されるブラウザアプリ、記録管理アプリ等が記憶されている。
●ログイン管理テーブル●
図5は、ログイン管理テーブルの一例を示す概念図である。記憶部5000には、図5に示されているようなログイン管理テーブルによって構成されたログイン管理DB5001が構築されている。ログイン管理テーブルでは、セッションIDごとに、端末識別情報、参加した通信端末のIPアドレス、作成者識別情報(ユーザID)、パスワード及び利用者名が関連付けられて記憶、管理されている。これらのうち、セッションIDは、音声記録管理装置5と一以上の通信端末3との間で行われる通信で確立されるセッションを識別するための情報で、例えば、SE0001, SE0002等で与えられる。
端末識別情報は、通信端末3を識別するための情報であり、例えば、TM0001, T0002等で与えられる。参加した通信端末のIPアドレスは、所定のイベントに参加した通信端末のIPアドレスを示し、IPv4, IPv6等のバージョンに対応させて与えられる固有の情報である。本実施形態では、例えば、1.2.1.3, 1.2.2.4などの情報で与えられる。作成者識別情報は、利用者を識別するための情報であり、本実施形態では、利用者のユーザIDとして、例えば、「taroh.r@ricoh.ex.com」等の電子メールアドレスが与えられる。パスワードは、通信システム1を利用する際のログイン時の作成者識別情報と関連付けられた識別情報であり、初回の起動時(ログイン時)等に利用者が設定する。なお、パスワードは、任意の文字列、数字、記号をランダムに含む複数文字(桁)の情報である。利用者名は、作成者識別情報で示される利用者の氏名を表し、例えば、「理光太郎」、「馬込花子」、「海老名二郎」等で与えられる。
●記録書誌情報管理テーブル●
図6は、記録書誌情報管理テーブルの一例を示す概念図である。記憶部5000には、図6に示されているような記録書誌情報管理テーブルによって構成された記録書誌情報管理DB5002が構築されている。記録書誌情報管理テーブルでは、記録識別情報をタブとして、それぞれのタブで分けられた記録名称、開始日時、終了日時、音声データパス、作成者識別情報(ユーザID)、イベントURL、パスコード及び対応付け処理の各項目が関連付けられて記憶、管理されている。なお、タブとしての記録識別情報は、例えば、「R5006」,「R5007」等で与えられる。
これらのうち、記録名称は、所定のイベントで記録された記録内容の名称であり、例えば、ヘルスケア事業業績報告会などの名称が与えられる。開始日時及び終了日時は、所定のイベントが開始された日時及びイベントが終了された日時が与えられ、例えば、「2021/03/31 11:00:00」、「2021/03/31 12:00:00」などの情報である。音声データパスは、所定のイベントで記録された音声記録データ(全体データ)が保管、管理されている場所を示すもので、例えば、「…/00005006/record.mp3」のようにファイル名を含めたパス情報として与えられる。なお、音声データパスは、通信システム1に配置された専用の音声サーバ装置を表すURL情報であってもよい。
作成者識別情報(ユーザID)は、会議等のイベントにおける議事録等を一例とする記録閲覧を作成する作成者の識別情報であり、例えば、「taro.r@ricoh.ex.com」等で与えられる。イベントURLは、会議等のイベントにおける記録閲覧を編集するための場所を示すもので、利用者は、このイベントURLにアクセスすることで、後述する「記録閲覧編集画面」にアクセスすることができる。なお、イベントURLは、通信システム1に配置された専用の画像サーバ装置を表すURL情報であってもよい。パスコードは、議事録等の記録閲覧を作成(編集)する作成者以外の他の利用者がその議事録等の記録閲覧を閲覧するためのコード情報である。具体的には、作成者がイベントURLとパスコードをコピーし、電子メール、チャット等を用いて他の利用者にそのイベントURLとパスコードを送信する。他の利用者は、そのイベントURLとパスコードを受信して、イベントURLとあわせてパスコードを入力する。これにより、他の利用者は、作成者が作成した記録閲覧を閲覧することが可能になる。
対応付け処理は、会議等のイベントにおいて記録された音声情報(音声データ)に基づいて記録閲覧を生成する際に、音声データに基づいて得られた所定のテキストに対応する画像を表す画像識別情報の対応付け処理が行われたかを示す項目である。対応付け処理が「未処理」の場合は、上述した対応付け処理がまだ行われていない状態であり、対応付け処理が「処理済」の場合は、上述した対応付け処理が行われた状態であることを示す。なお、画像識別情報については、次のテキスト情報管理テーブルにて詳細に説明する。
本実施形態に係る記録書誌情報管理テーブルにおいて管理される項目のうち、終了日時と音声データパスの項目は、イベント終了時に利用者又は編集者によって編集、追加される項目である。
●テキスト情報管理テーブル●
図7は、テキスト情報管理テーブルの一例を示す概念図である。記憶部5000には、図7に示されているようなテキスト情報管理テーブルによって構成されたテキスト情報管理DB5003が構築されている。テキスト情報管理テーブルでは、記録識別情報をタブとして、それぞれのタブで分けられたテキスト識別情報、開始時刻、終了時刻、テキスト、公開フラグ、削除フラグ及び画像識別情報が関連付けられて記憶、管理されている。なお、タブとしての記録識別情報は、例えば、「R5006」,「R5007」等で与えられる。
これらのうち、テキスト識別情報は、所定の発話内容や発話文を一つのテキスト(又はテキスト情報)としたときの一単位として識別するための情報で、例えば、「TX0005」、「TX0006」、・・・「TX0009」等で与えられる。開始時刻及び終了時刻は、所定の発話が開始された時刻と終了された時刻を分と秒で管理する情報である。例えば、所定のイベントが開始された日時が、記録書誌情報管理DB5002(図6参照)で管理されている開始日時「2021/03/31 11:00:00」であった場合、開始時刻は、開始日時から経過した時間として管理される。つまり、開始時刻が「1分53秒」であれば、テキスト識別情報が「TX0005」で管理される発話が開始された日時は、「2021/03/31 11:01:53」であることを示している。終了時刻は、開始時刻と同様に、開始日時から経過した時間として管理される。つまり、終了時刻が「1分58秒」であれば、テキスト識別情報が「TX0005」で管理される発話が終了された日時は、「2021/03/31 11:01:58」であることを示している。したがって、この場合、テキスト情報が「TX0005」で管理される発話に要した時間は、58秒-53秒=5秒間となる。
テキストは、上述したように、開始時刻と終了時刻との間で利用者等が発話した発話内容をテキスト情報に置き換えたものである。テキストは、例えば、「本日の会議は録音させていただきます。」、「本日の議題はヘルスケア事業の業績です。」といった内容として管理される。
公開フラグは、テキスト情報管理テーブルで管理される所定のテキストが記録閲覧編集画面に表示(以下、公開ともいう)されているか否かを表す状態フラグである。所定のテキストが記録閲覧編集画面に公開されている場合に、公開フラグは「True」として管理される。他方、所定のテキストが記録閲覧編集画面に非表示又は削除(以下、非公開ともいう)されている場合に、公開フラグは「False」として管理される。なお、公開フラグの初期設定は、例えば、公開(表示)することを意味する「True」であってもよい。
削除フラグは、テキスト情報管理テーブルで管理される所定のテキストが記録閲覧編集画面から削除されたか否かを表す状態フラグである。所定のテキストが記録閲覧編集画面から削除された場合に、削除フラグは「True」として管理される。他方、所定のテキストが記録閲覧編集画面から削除されていない場合は、「削除フラグは」「False」として管理される。なお、削除フラグの初期設定は、例えば、削除しないことを意味する「False」であってもよい。
画像識別情報は、記録閲覧編集画面に表示される所定のキャプチャ画像を識別する識別情報であり、例えば、「IM0004」、「IM0005」等で与えられる。
●キャプチャ画像管理テーブル●
図8Aは、キャプチャ画像管理テーブルの一例を示す概念図である。記憶部5000には、図8Aに示されているようなキャプチャ画像管理テーブルによって構成されたキャプチャ画像管理DB5004が構築されている。本実施形態において、通信端末3の表示制御部34は、所定のイベントの実行中に表示、編集される閲覧編集画面を、所定の時間間隔(例えば30秒間隔)でキャプチャする機能を有する。キャプチャ画像管理テーブルは、その画面キャプチャ機能に係る情報を記憶、管理するためのテーブルで、キャプチャ画像テーブルでは、記録識別情報をタブとして、それぞれのタブで分けられた画像識別情報、取得時刻、公開フラグ、削除フラグ及び画像データパスが関連付けられて記憶、管理されている。
これらのうち、画像識別情報は、キャプチャされる画像を識別するための情報で、例えば、「IM0001」,・・・「IM0003」等で与えられる。取得時刻は、キャプチャ画像を取得した際の所定のイベントにおける経過時間を示すもので、例えば、「1分30秒」、「2分0秒」等で与えられる。
公開フラグは、キャプチャ画像管理テーブルで管理される所定のキャプチャ画像が記録閲覧編集画面に表示(以下、公開ともいう)されているか否かを表す状態フラグである。所定のキャプチャ画像が記録閲覧編集画面に公開されている場合に、公開フラグは「True」として管理される。他方、所定のキャプチャ画像が記録閲覧編集画面に非表示又は削除(以下、非公開ともいう)されている場合に、公開フラグは「False」として管理される。なお、公開フラグの初期設定は、例えば、公開(表示)を意味する「True」であってもよい。
削除フラグは、キャプチャ画像管理テーブルで管理される所定のキャプチャ画像が記録閲覧編集画面から削除されたか否かを表す状態フラグである。所定のキャプチャ画像が記録閲覧編集画面から削除された場合に、削除フラグは「True」として管理される。他方、所定のキャプチャ画像が記録閲覧編集画面から削除されていない場合は、削除フラグは「False」として管理される。なお、削除フラグの初期設定は、例えば、非削除を意味する「False」であってもよい。
画像データパスは、所定のイベントでキャプチャされたキャプチャ画像データが保管、管理されている場所を示すもので、例えば、「…/00005006/0003.jpg」のようなパス情報として与えられる。なお、画像データパスは、通信システム1に配置された専用の画像サーバ装置を表すURL情報であってもよい。
●キャプチャ画像取得間隔テーブル●
図8Bは、キャプチャ画像取得間隔テーブルの一例を示す概念図である。記憶部5000には、図8Bに示されているようなキャプチャ画像取得間隔テーブルによって構成されたキャプチャ画像取得間隔DB5005が構築されている。キャプチャ画像取得間隔テーブルでは、キャプチャ画像を取得するキャプチャ画像取得間隔が例えば、「30秒」、「60秒(1分)」等で設定され管理される。なお、キャプチャ画像を取得する所定の時間間隔は30秒に限らず、10秒毎、1分毎など、任意に設定されてよい。更に、キャプチャ画像取得管理テーブルは、音声記録管理装置5での管理に代えて、実際に自らの画面のキャプチャ画像を取得する通信端末3側で管理されるようにしてもよい。
●非公開音声管理テーブル●
図9は、非公開音声管理テーブルの一例を示す概念図である。記憶部5000には、図9に示されているような非公開音声管理テーブルによって構成された非公開音声管理DB5006が構築されている。非公開音声管理テーブルでは、記録識別情報をタブとして、それぞれのタブで分けられた開始時刻及び終了時刻が関連付けられた記憶、管理されている。この開始時刻及び終了時刻は、取得された音声記録ごとに管理される。
<<音声記録管理装置の各機能構成>>
次に、音声記録管理装置5の各機能構成について詳細に説明する。図4に示されている音声記録管理装置5の送受信部51は、主に、近距離通信I/F508及びネットワークI/F511に対するCPU501の処理によって実現され、通信ネットワーク100を介して通信端末3との間でそれぞれ各種データ(又は情報)の送受信を行う。送受信部51は、一以上の通信端末のそれぞれを利用する一以上の利用者が発話した発話音声に係る音声情報を受信する。また、送受信部51は、取得された音声データに基づいて得られた所定のテキストを表す所定のテキストデータと、取得された画面データに係る画面に含まれる画像であり、所定のテキストに対応付けられた所定の画像を表す所定の画像データと、所定のテキストで示される所定の音声データとを、通信端末3(A)(第1の通信端末の一例)を含む一以上の通信端末に送信する。
また、送受信部51は、通信端末3(A)(第1の通信端末)が送信した編集要求であり、所定のテキスト又は所定の画像に対する編集要求に応じて、所定のテキストデータを編集処理した編集後テキストデータと所定の画像データを編集処理した編集後画像データとを含む編集後画面データと、所定の音声データを編集処理した編集後音声データとを、通信端末3(B)(第2の通信端末の一例)に対して送信する。
また、送受信部51は、通信端末3(A)が送信した、所定のテキストを非表示にするためのテキスト非表示要求及び所定のテキストに対応付けられた所定の画像を非表示にするための画像非表示要求のうちのいずれか一方の要求を編集要求として受信する。
また、送受信部51は、通信端末3が送信した編集要求がテキストを非表示とするためのテキスト非表示要求である場合、編集処理として、所定のテキストデータを非表示処理した第1の非表示テキストデータを通信端末3(B)に対して送信する。
また、送受信部51は、所定の画像データを非表示処理した第1の非表示画像データを含む第1の非表示画面データと、編集処理として所定の音声データを無音化処理した第1の無音化音声データとを、通信端末3(B)に対して送信する。
また、送受信部51は、通信端末3が送信した編集要求が画像非表示要求である場合、編集処理として、所定の画像データを非表示処理した第2の非表示画像データ及び所定の画像に対応付けられた一以上のテキストを非表示処理した第2の非表示テキストデータを含む第2の非表示画面データを通信端末3(B)に対して送信する。また、送受信部51は、編集処理として一以上のテキストに対応付けられた一以上の所定の音声データを無音化処理した第2の無音化音声データとを、通信端末3(B)に対して送信する。本実施形態において、送受信部51は、送信手段及び受信手段のうち少なくとも一方の手段の一例として機能する。
取得部52は、主に、CPU501の処理によって実現され、音声認識サーバ7が送信したテキスト情報に基づくテキストデータの取得、閲覧編集画面におけるキャプチャ情報の取得等を行う。また、取得部52は、一以上の通信端末3のうち、音声記録を編集する作成者(編集者)が使用する通信端末3(A)(第1の通信端末)が送信した音声情報を表す音声データ、及び通信端末3(A)に表示された画面を表す画面データを取得する。本実施形態において、取得部52は、取得手段の一例として機能する。
算出特定部53は、主に、CPU501の処理によって実現され、所定のイベントにおいて利用者が発話を開始した開始日時等を算出する。この算出にあたり、CPU501のクロック信号を用いて生成された時計情報を用いてもよい。本実施形態において、算出特定部53は、算出手段の一例として機能する。
表示制御部54は、主に、ディスプレイ507に対するCPU501の処理によって実現され、音声記録管理装置5における各種画面及び情報(データ)の表示制御を行う。また表示制御部54は、例えば、ブラウザを用いて、HTML等により作成された表示画面を、通信ネットワーク100を介して、通信端末3のディスプレイ318に表示させるとも可能である。本実施形態において、表示制御部54は、表示制御手段の一例として機能する。
判断部55は、主に、CPU501の処理によって実現され、音声記録管理装置5における各種判断を行う。また、判断部55は、音声認識サーバが送信した後述する「確信度」が所定の閾値を超えたかを判断する。本実施形態において、判断部55は、与えられた所定の条件を満たすか否かを判断する判断手段の一例として機能する。
認証部56は、主に、CPU501の処理によって実現され、例えば、通信端末3から要求された認証要求に基づいて、通信端末3の認証処理を行う。本実施形態において、認証部56は、認証手段の一例として機能する。
生成・処理部57は、主に、CPU501の処理によって実現され、音声認識サーバが送信したテキスト情報に基づいて音声記録データを生成する。また、生成・処理部57は、通信端末3で表示される記録閲覧編集画面の画面データを生成する。また、生成・処理部57は、通信端末3(A)が送信したテキスト非表示要求に応じて第1の非表示画面データ及び第1の無音化音声データを生成し、画像非表示要求に応じて第2の非表示画面データ及び第2の無音化音声データを生成する。生成・処理部57は、更に、テキスト非表示要求と画像非表示要求がそれぞれ、所定のテキストデータ及び所定の画像データを削除又は非公開とする要求のうち削除する要求の場合に、所定のテキストデータ及び所定の画像データを削除する処理を行う。生成・処理部57は、更に、所定のテキストデータ及び所定の画像データを非公開とする要求の場合に、所定のテキストデータ及び所定の画像データを削除せずに、第1の非表示画面データで表される第1の非表示画面又は第2の非表示画面データで表される第2の非表示画面において非表示とする処理を行う。本実施形態において、生成・処理部57は、生成手段の一例として機能する。また、生成・処理部57は、処理手段の一例として機能する。
設定登録部58は、主に、CPU501の処理によって実現され、例えば、音声記録管理装置5に対して行った通信端末3を利用する利用者の認証情報を記憶部5000に登録する。設定登録部58は、更に、補正テキスト、ブックマーク等の登録、並びにブックマークの削除を行う。本実施形態において、設定登録部58は、設定手段一例として機能する。また、本実施形態において、設定登録部58は、登録手段の一例として機能する。
記憶読出部59は、主に、ROM502、EEPROM504及びHD505のうち少なくとも一つに対するCPU501の処理によって実現され、記憶部5000に各種データ(又は情報)を記憶したり、記憶部5000から各種データ(又は情報)を読み出したりする。本実施形態において、記憶読出部59は、記憶読出手段の一例として機能する。
<音声認識サーバの機能構成>
図4に示されているように、音声認識サーバ7は、送受信部71、音声認識部76及び記憶読出部79を有する。これら各機能部は、図2に示された各ハードウエア資源のいずれかが、ROM702及びEEPROM704のうち少なくとも一つからRAM703に展開された音声認識サーバ7用のプログラムに従ったCPU701からの命令により動作することで実現される機能又は手段である。また、音声認識サーバ7は、図2に示されているROM702及びEEPROM704のうち少なくとも一つにより構築される記憶部7000を有している。更に、記憶部7000には、音声記録管理装置5と通信ネットワーク100を介して通信を行うための通信プログラム(通信アプリ)等が記憶されている。
<<音声認識サーバの各機能構成>>
次に、音声認識サーバ7の各機能構成について詳細に説明する。図4に示されている音声認識サーバ7の送受信部71は、主に、ネットワークI/F712及び近距離通信回路720に対するCPU701の処理によって実現され、通信ネットワーク100を介して音声記録管理装置5との間で各種データ(又は情報)の送受信を行う。本実施形態において、送受信部71は、送信手段及び受信手段のうち少なくとも一方の手段の一例として機能する。
音声認識部76は、主に、マイク715及び音入出力I/F717に対するCPU701の処理によって実現され、音声記録管理装置5が送信した音声データ又は音データ(音声情報)を認識してテキストデータ(テキスト情報)に変換する。本実施形態において、音声認識部76は、音声認識手段の一例として機能する。
記憶読出部79は、主に、ROM702及びEEPROM704のうち少なくとも一つに対するCPU701の処理によって実現され、記憶部7000に各種データ(又は情報)を記憶したり、記憶部7000から各種データ(又は情報)を読み出したりする。本実施形態において、記憶読出部79は、記憶読出手段の一例として機能する。
本実施形態に係る通信システムでは、上述した音声認識サーバ7に加えて音声認識サーバ9も含まれるが、音声認識サーバ9の各機能構成は、音声認識サーバ7の各機能構成と同様であるため、説明を省略する。
〔実施形態の処理又は動作〕
次に、図10乃至図39を用いて、第1の実施形態に係る音声記録管理システムにおける各処理又は動作を説明する。図10は、アプリ起動、認証処理及びセッション確立処理の一例を示すシーケンス図である。
<<アプリ起動及び認証処理>>
まず、通信端末3の利用者は、通信端末3で動作する記録管理アプリ及びブラウザアプリの起動操作を行う。これにより、通信端末3の操作受付部32は、利用者により通信アプリ及びブラウザアプリの起動操作を受け付ける(ステップS11)。なお、本実施形態では、上述した議事録作成端末の一例である通信端末3(A)が記録管理アプリを起動すればよく、通信端末3(A)とともに所定のイベントに参加する通信端末3(B)は記録管理アプリを起動する必要はない。通信端末3(B)は、記録管理アプリの起動に代えて、上述した会話ツールを起動しておけば、通信端末3(A)との音声通信が可能となり、その結果、互いの音声を認識することができる。更に、本実施形態では、通信端末3において他の装置との間で利用される通信アプリは、所定のプロトコル等によって他の装置との間で通信可能な状態になっていることを前提とする。
次に、アプリ起動部38は、予め記憶部3000にインストールされている音声記録管理装置5との間で通信を行うための通信アプリ及びブラウザアプリを起動する(ステップS12)。その後、表示制御部34は、ディスプレイ318に認証用の認証画面(サインイン画面等)を表示して利用者による認証操作を待つ(ステップS13)。
次に、利用者は、音声記録管理装置5に対する認証処理(サインイン)を行う。これにより、操作受付部32は、利用者によって入力された認証情報を受け付ける(ステップS21)。
続いて、送受信部31は、音声記録管理装置5に対して受け付けた認証情報に基づいて認証処理の要求を送信する(ステップS22)。これにより、音声記録管理装置5の送受信部41は、通信端末3が送信した認証処理の要求を受信する。このとき、認証処理の要求には、音声記録管理装置5とのセッションを確立するためのセッションID、通信端末3の端末識別情報、利用者を識別する作成者識別情報及びパスワードが含まれる。
次に、音声記録管理装置5の認証部46は、受信されたセッションID、端末識別情報、作成者識別情報及びパスワードと記憶読出部59によってログイン管理DB5001(図5参照)から読み出されたセッションID、端末識別情報及び作成者識別情報に対応するパスワードとを比較してログイン認証処理を行う(ステップS23)。ここでは、利用者による音声記録管理装置5に対するログイン認証処理が成功しているものとする。ステップS23の処理において、設定登録部58は、ログイン認証処理をした通信端末3のIPアドレスをログイン管理DB5001(図5参照)に登録してもよい。
次に、ステップS23においてログイン認証処理が成功し、通信端末3との通信セッションが確立すると、送受信部51は、通信端末3に対して認証処理の応答及び参加処理の応答を送信する(ステップS24)。これにより、通信端末3の送受信部31は、音声記録管理装置5が送信した認証処理の応答及び参加処理の応答を受信する。このとき、認証処理の応答及び参加処理の応答には、セッションIDと音声記録管理装置5との通信セッションへの参加処理を許可する参加処理結果が含まれる。
続いて、通信端末3のアプリ起動部38は、次回以降のログイン処理及び通信セッション確立の簡略化のために、記憶読出部39と協働して、記憶部3000の所定領域に、作成者識別情報、パスワード及び利用者名を組にして記憶させて登録する(ステップS25)。なお、ステップS25の処理は省略されてもよい。
上述した処理シーケンスの例では、通信端末3にブラウザアプリがインストールされていることを前提に説明したが、議事録閲覧端末の一例として利用される通信端末3(C)のように、ブラウザを利用したWebサービスが提供されてもよい。Webサービスの場合、音声記録管理装置5は、Webサーバの機能を有し、閲覧編集画面等の画面データ(画面全体又は画面の一部を表示させるためのデータ)を通信端末3に送信して表示させるようにしてもよい。
本実施形態に係る音声記録管理システムでは、例えば、上述したステップS22及びS24の処理が実行される場合、通信端末3と音声記録管理装置5との間に他の装置等が存在してもよい。つまり、通信端末3と音声記録管理装置5との間で送受信される各情報(データ)は、一度他の装置を介して送受信されるような構成であってもよい。上述した構成は、通信端末3と音声記録管理装置5との間に他の処理ステップが存在しても適用可能である。
●画面表示例●
図11は、通信端末におけるアプリ起動時の画面表示例である。通信端末3のディスプレイ318には、表示制御部34によってディスプレイ318にアプリ起動画面3101が表示される。アプリ起動画面3101には、例えば、アプリをイメージするマーク(マイクの絵)と、アプリのバージョン情報が表示されている。
<<記録開始処理>>
続いて、記録開始処理について説明する。図12は、記録開始処理の一例を示すシーケンス図である。図12に示されているように、通信端末3の表示制御部34は、図11に示したようなアプリ起動画面3101を表示した後、記録開始指示画面をディスプレイ318に表示する(ステップS31)。
●画面表示例●
図13は、通信端末における記録開始指示の画面表示例である。通信端末3のディスプレイ318には、上述したステップS32の処理が実行されることにより、表示制御部34によって記録開始指示画面3111が表示される。記録開始指示画面3111には、例えば、「概要(議題)」、「参加者」、「会議メモ」、「録音するマイク」、及び「録画する画面」の各入力欄が含まれる。
「概要(議題)」欄には、例えば、実行される会議等のイベントの議題が入力される。「参加者」欄には、例えば、イベントの参加者が入力される。「会議メモ」欄には、例えば、イベントにおける主な議事内容が入力される。主な議事内容は、例えば、概要、決定事項、アクションアイテム等である。これらの「概要(議題)」、「参加者」及び「会議メモ」の各入力欄に入力される項目は、会議等のイベントに参加する参加者等によって予め入力されてもよいし、イベントの終了後に追加編集されることも可能である。「録音するマイク」及び「録画する画面」の入力欄には、マイク配列や録画される画面の番号などが表示される。これらのマイク配列や録画される画面の番号は、音声記録管理装置5に対して利用者が予め設定しておいてもよいし、音声記録管理装置5が任意の条件、タイミング等に基づいて設定してもよい。なお、記録開始指示画面3111には、会議等のイベントにおいて特に重要な内容等が利用者によって入力することが可能な「ブックマーク」欄が設けられてもよい。
更に、記録開始指示画面3111には、表示制御部34によって記録開始ボタン3511が表示される。通信端末3の利用者は、記録開始ボタン3511を操作(押下又はタップ等)することにより、会議等のイベントで発話される発話内容の記録を開始させることができる。
図12に戻り、操作受付部32は、利用者の操作による記録開始指示を受け付ける(ステップS32)。記録開始指示の受付は、上述した記録開始ボタン3501に対する利用者からの操作を受け付けることにより行われる。
次に、通信端末3の送受信部31は、音声記録管理装置5に対して記録開始要求を送信する(ステップS33)。これにより、音声記録管理装置5の送受信部51は、通信端末3が送信した記録開始要求を受信する。
続いて、送受信部51は、音声認識サーバ7に対して音声データ送信開始通知を送信する(ステップS34)。これにより、音声認識サーバ7の送受信部71は、音声記録管理装置5が送信した音声データ送信開始通知を受信する。
次に、音声認識サーバ7の送受信部71は、音声記録管理装置5に対して送信開始の許可応答を送信する(ステップS35)。これにより、音声記録管理装置5の送受信部51は、音声認識サーバ7が送信した送信開始の許可応答を受信する。
次に、音声記録管理装置5の送受信部51は、通信端末3に対して記録中画面の表示要求を送信する(ステップS36)。これにより、通信端末3の送受信部31は、音声記録管理装置5が送信した記録中画面の表示要求を受信する。
続いて、通信端末3の表示制御部34は、ディスプレイ318に記録中画面を表示し、操作受付部32は、利用者によって操作される「記録終了ボタン」の操作を受け付ける(ステップS37)。
<<記録書誌情報の登録処理>>
図14は、記録書誌情報の登録処理の一例を示すシーケンス図である。音声記録管理装置5の送受信部51は更に、通信端末3に対して、音声データ送信開始要求を送信する(ステップS41)。これにより、通信端末3の送受信部31は、音声記録管理装置5が送信した音声データ送信開始要求を受信する。
次に、通信端末3の送受信部31は、音声記録管理装置5に対して音声データ及び記録書誌情報を送信する(ステップS42)。これにより、音声記録管理装置5の送受信部51は、通信端末3が送信した音声データ及び記録書誌情報を受信する。このときに送受信される記録書誌情報には、記録書誌情報管理DB5002(図6参照)で管理されている記録名称、開始日時、作成者識別情報(ユーザID)、イベントURL、パスコード及び対応付け処理の各項目に対応する情報が含まれる。
次に、音声記録管理装置5の送受信部51は、音声認識サーバ7のAPI(Application Programming Interface)に対して音声認識要求を送信する(ステップS43)。これにより、音声認識サーバ7の送受信部71は、音声記録管理装置5が送信した音声認識要求を受信する。このとき、音声認識要求には、音声認識サーバによってテキスト変換の対象となる音声データが含まれる。ステップS42及びS43の処理が行われることによって、音声記録管理装置5の送受信部51は、通信端末3が送信した音声データ(音声ストリーミングによる音声データ)を継続的に音声認識サーバ7に対して送信する。この場合、利用者の発話が検出されていなくても、送受信部51は、音声認識サーバ7に対して継続的に音声ストリーミングを送信し続けてよい。但し、音声記録管理装置5は、音声認識サーバ7のAPIの仕様に基づいて音声データを個別に送信し、音声認識を要求するようにしてもよい。
次に、音声記録管理装置5の設定登録部58は、記録書誌情報管理DB5002(図6参照)に対して、ステップS42で受信した記録書誌情報を登録する(ステップS44)。このとき登録される記録書誌情報には、記録名称としての「ヘルスケア事業業績報告会」、「開始日時」、「作成者識別情報(ユーザID)」、「イベントURL」、パスコード及び対応付け処理に加えて、新たに「終了日時」と「音声データパス」を示す内容が含まれる。
<<音声認識処理>>
図15は、音声認識処理の一例を示すシーケンス図である。まず、一以上の通信端末3のうち、議事録作成端末の一例である通信端末3(A)の音・画像取得部33は、マイク315を介して通信端末3(A)を利用する利用者が発話した発話音声又は音を集音して音声情報(音声データ又は音データを含む。以下、単に「音声情報」と記す)を取得する(ステップS51)。
続いて、送受信部31は、取得した音声情報を音声記録管理装置5に対して送信する(ステップS52)。これにより、音声記録管理装置5の送受信部51は、通信端末3(A)の送受信部31が送信した、通信端末3(A)を利用する利用者が発話した発話音声に係る音声情報を受信する。なお、以降の説明においては、単に通信端末3と記載する。
次に、音声記録管理装置5の送受信部51は、音声認識サーバ7に対して音声認識要求を送信する(ステップS53)。これにより、音声認識サーバ7の送受信部71は、音声記録管理装置5が送信した音声認識要求を受信する。このとき、音声認識要求には、通信端末3が送信した音声情報(音声データ、音データ)が含まれる。つまり、音声記録管理装置5は、通信端末3と音声認識サーバ7との間の仲介装置の役割も果たしている。
次に、音声認識サーバ7の音声認識部76は、受信した音声情報に対して音声認識処理を実行し、音声情報をテキスト情報(テキストデータ)に変換する(ステップS54)。例えば、音声認識部76は、受信された音声データを音データとして認識した後、認識した音データに対応する所定のテキストデータに変換する。その後、音声認識部76は、変換した所定のテキストデータを、音声認識サーバ7が備える一以上の音声認識エンジン(辞書)を用いて最適なテキストデータに変換する。なお、上述した音声データからテキストデータに変換する手法はこの限りではない。そのため、通信システム1は、一般的に知られている音声認識エンジンを用いて、所望のテキストデータを得るようなシステム構成であってよい。
続いて、送受信部71は、音声記録管理装置5に対して音声認識結果を送信する(ステップS55)。これにより、音声記録管理装置5の送受信部51は、音声認識サーバ7が送信した音声認識結果を受信する。このとき、音声認識結果には、変換されたテキストデータ、開始時刻、終了時刻が含まれる。具体的には、音声認識サーバ7は、例えば、テキスト情報管理DB5005A(図9A参照)で管理されている「今回の開発はジャイロ方式を採用します。」という内容と、その内容が発話された開始時刻(1分59秒)を、音声記録管理装置5に対して送信する。なお、開始時刻に関しては、テキスト情報管理テーブルで説明したように、開始日時から経過した時間として管理される。終了時刻についても同様の考え方が適用される。
次に、設定登録部58は、受信した1レコード分のテキスト情報をテキスト情報管理DB5003(図7参照)に登録する(ステップS56)。この場合の1レコード分のテキスト情報とは、「テキスト識別情報」、「開始時刻」、「終了時刻」、「テキスト」、公開フラグ、「終了フラグ」、「画像識別情報」に対する情報である。
続いて、取得部52は、例えば、受信した開始時刻を検索キーとしてテキスト情報管理DB5005A(図9A参照)を検索することにより対応するテキストデータを取得する(ステップS57)。
続いて、算出特定部53は、開始日時を算出する(ステップS58)。開始日時の算出については、以下の式に基づいて行われる。つまり、開始日時は、記録書誌情報管理DB5002(図6参照)で管理されている開始日時とテキスト情報管理DB5005A(図9A参照)で管理されている開始日時を足し合わせた時間となる。具体的には、2021/03/31 11:00:00 + 00:01:53 = 2021/03/31 11:01:53が、ステップS58で算出される開始日時となる。
続いて、送受信部51は、通信端末3に対して記録画面更新要求を送信する(ステップS59)。これにより、通信端末3の送受信部31は、音声記録管理装置5が送信した記録画面更新要求を受信する。このとき、記録画面更新要求には、音声認識サーバ7が認識したテキスト情報(テキストデータ)、及びステップS58で算出された開始日時を示す開始日時情報が含まれる。
次に、通信端末3の表示制御部34は、音声記録管理装置5が送信した補正テキスト情報で示される音声記録をディスプレイ318に表示する(ステップS60)。具体的には、表示制御部34は、図18に示したような記録中画面に含まれる第1のテキスト情報で示される音声記録を表示させる。
なお、本実施形態に係る通信システムにおいて生成・処理部57は、音声記録管理装置5に備えられる構成以外に、通信ネットワーク100を介して音声記録管理装置5と通信端末3とを互いに通信可能な他の装置が有するような構成であってもよい。
本実施形態に係る音声記録管理システムでは、更に、例えば、上述したステップS53及びS55の処理が実行される場合、音声記録管理装置5と音声認識サーバ7との間に他の装置等が存在してもよい。つまり、音声記録管理装置5と音声認識サーバ7との間で送受信される各情報(データ)は、一度他の装置を介して送受信されるような構成であってもよい。上述した構成は、音声記録管理装置5と音声認識サーバ7との間に他の処理ステップが存在しても適用可能である。
●画面表示例●
図16は、通信端末における記録中の画面表示例である。通信端末3のディスプレイ318には、上述したステップS60の処理が実行されることにより、表示制御部34によって記録中画面3121が表示される。記録中画面3121には、例えば、図13に示した記録開始指示画面3111の内容に加えて、少なくとも一以上のテキスト表示欄が表示される。このテキスト表示欄では、発話した利用者ごとに、利用者の顔写真又はイメージ画像、発話日時、発話内容を一単位として時系列に表示される。ここで、テキスト表示欄には、例えば、音声認識サーバ7が送信した「本日の会議は録音させていただきます。」、「本日の議題はヘルスケア事業の業績です。」、「まず共有画面をご覧ください。」といった内容のテキスト情報が表示される。なお、テキスト表示欄に表示される内容は、後述する音声認識エンジン変更画面以降で変更されるが、記録中画面3121において音声認識を変更して再度認識するようにしてもよい。
記録中画面3121には、更に、表示制御部34によって通信端末3で画面キャプチャ処理されたキャプチャ画像としての「画面3」が表示される。この「画面3」の内容は、「画面3」を表すサムネイル画像、画像アイコン等であってもよい。
記録中画面3121には、更に、表示制御部34によって記録の一時停止を指示するための「一時停止」ボタン(アイコン)3521、及び記録終了を指示するための「記録終了」ボタン(アイコン)3522が表示される。利用者は、「一時停止」ボタン(アイコン)3521又は「記録終了」ボタン(アイコン)3522を操作(押下又はタップ等)することにより、会議等のイベントで発話される発話内容の記録を一時停止又は終了させることができる。そして、「記録終了」ボタン3522が操作されると、通信端末3は、音声記録管理装置5に対して音声データの送信を開始する。
<<画面キャプチャ処理>>
次に、画面キャプチャ処理について説明する。図17は、画面キャプチャ処理の一例を示すシーケンス図である。図17に示されているように、音声記録管理装置5の記憶読出部59は、キャプチャ画像取得間隔DB5005(図8B参照)で管理されているキャプチャ画像取得間隔の情報(例えば、30秒)を読み出す(ステップS71)。
続いて、送受信部51は、通信端末3に対して、読み出されたキャプチャ画像取得間隔の情報を送信する(ステップS72)。これにより、通信端末3の送受信部31は、音声記録管理装置5が送信したキャプチャ画像取得間隔の情報を受信する。このとき、キャプチャ画像取得間隔の情報は、30秒という時間情報である。
次に、通信端末3の音・画像取得部33は、通信端末3自身のディスプレイ318に表示された画面を30秒ごとにキャプチャ処理してキャプチャ画像を取得する(ステップS73)。画面キャプチャ処理については、例えば、一般的に知られているプリントスクリーンキーを用いた画面キャプチャ処理に相当する手法を用いてもよい。その場合、音声記録管理装置5は、利用者によるプリントスクリーンキーの操作を介さずに、上述した所定の時間間隔で画面キャプチャ処理を自動実行することで実現される。
続いて、送受信部31は、取得したキャプチャ画像を示すキャプチャ画像データを音声記録管理装置5に対して送信する(ステップS74)。これにより、音声記録管理装置5の送受信部51は、通信端末3が送信したキャプチャ画像データを受信する。このとき、通信端末3が送信する情報には、画像識別情報と画像識別情報に対応するキャプチャ画像データが含まれる。
次に、音声記録管理装置5の設定登録部58は、キャプチャ画像管理DB5004(図8A参照)に、画像識別情報に対応するキャプチャ画像情報としてのキャプチャ画像データ、取得時刻及びキャプチャ画像の保存先を示す画像データパスを含む情報を登録する(ステップS75)。
続いて、送受信部51は、通信端末3に対して、記録画面更新要求を送信する(ステップS76)。これにより、通信端末3の送受信部31は、音声記録管理装置5が送信した記録画面更新要求を受信する。
次に、通信端末3の表示制御部34は、記録中画面を更新し(ステップS77)、ディスプレイ318に更新後の画面を表示する(ステップS78)。このときに更新される記録中画面は、後述する図24にて詳細に説明する。
本実施形態では、音声記録管理システム2は、上述したステップS71-S78までの処理を、所定のイベントが終了するまで、つまり、音声記録管理システム2は、例えば、会議における音声記録が終了するまで、上述したステップS71-S78までの処理を繰り返して実行する。
<<記録終了処理>>
次に、記録終了処理について説明する。図18は、記録終了処理の一例を示すシーケンス図である。まず、通信端末3の操作受付部32は、利用者による「記録終了」ボタン(アイコン)3522に対する操作によって、記録終了指示を受け付ける(ステップS81)。この記録終了指示は、会議等のイベントで発話される発話内容の記録を終了させるための指示であり、例えば、図16に示した記録中画面3121に表示された「記録終了」ボタン(アイコン)3522を利用者が操作(押下又はタップ等)することで行われる。
次に、送受信部31は、音声記録管理装置5に対して、記録終了要求を送信する(ステップS82)。これにより、音声記録管理装置5の送受信部51は、通信端末3が送信した記録終了要求を受信する。
次に、音声記録管理装置5の送受信部51は、音声認識サーバ7に対して音声データ送信終了通知を送信する(ステップS83)。これにより、音声認識サーバ7の送受信部71は、音声記録管理装置5が送信した音声データ送信終了通知を受信する。
続いて、音声認識サーバ7の送受信部71は、音声記録管理装置5に対して音声データ送信終了通知の受領を送信する(ステップS84)。これにより、音声記録管理装置5の送受信部51は、音声認識サーバ7が送信した音声データ送信終了通知の受領を受信する。
次に、音声記録管理装置5の送受信部51は、通信端末3に対して、記録終了画面表示要求を送信する(ステップS85)。これにより、通信端末3の送受信部31は、音声記録管理装置5が送信した記録終了画面表示要求を受信する。
次に、通信端末3の表示制御部34は、ディスプレイ318に、図19に示すような記録終了画面を表示する(ステップS86)。なお、ステップS86の処理は省略されてもよい。
一方、ステップS85において記録終了画面表示要求を送信した音声記録管理装置5の生成・処理部57は、記録終了操作が行われた所定のイベントの音声記録データを生成する(ステップS87)。具体的には、生成・処理部57は、記録終了操作が行われた所定のイベントの音声記録データが記憶、管理される音声データパス(「…/00005006/record.mp3)」等)を生成する。
続いて、設定登録部58は、ステップS87の処理で生成された音声データパスを含む記録書誌情報を、音声データパスの記憶先である記録書誌情報管理DB5002(図6参照)に登録する(ステップS88)。このとき、設定登録部58によって登録される記録書誌情報には、終了日時及び音声データパス(「…/00005006/record.mp3」)が含まれる。
一方、通信端末3の操作受付部32は、後述する記録選択画面が表示されている状態において、利用者によって操作される共有議事録の選択を受け付ける(ステップS89)。具体的には、操作受付部32は、利用者が操作した所定のイベントタイトルに対応付けられた後述する「議事録共有」ボタンの選択を受け付ける。
続いて、通信端末3の送受信部31は、音声記録管理装置5に対してURLの要求を送信する(ステップS90)。これにより、音声記録管理装置5の送受信部51は、通信端末3が送信したURLの要求を受信する。このとき、URLの要求には、ステップS89で選択された所定のイベントタイトルとセットで配置された「議事録共有」ボタンに対応付けられた記録識別情報が含まれる。
次に、音声記録管理装置5の記憶読出部59は、ステップS90の処理で受信した記録識別情報を検索キーとして記録書誌情報管理DB5002(図6参照)を検索することにより、対応するイベントのイベントURLを検索する(読み出す)(ステップS91)。
次に、送受信部51は、通信端末3に対して、ダイアログ画面情報を送信する(ステップS92)。これにより、通信端末3の送受信部31は、音声記録管理装置5が送信したダイアログ画面情報を受信する。このとき、ダイアログ画面情報には、イベントURL、パスコードが含まれる。
次に、通信端末3の表示制御部34は、ディスプレイ318に後述する共有情報入力ダイアログを表示する(ステップS93)。これにより、例えば、記録閲覧編集画面を作成する作成者は、共有情報入力ダイアログに表示されたイベントURL、パスコードをコピーして、他の利用者にこれらのイベントURLとパスコードの各情報を提供することが可能になる。
なお、上述したステップS87,S88の各処理とステップS86,S89の各処理は非同期で行われるため、どちらが先に実行されてもよい。
●画面表示例●
図19は、通信端末における記録終了時の画面表示例である。通信端末3のディスプレイ318には、上述したステップS86の処理が実行されることにより、表示制御部34によって記録終了画面3131が表示される。記録終了画面3131には、例えば、保存終了を示す保存終了マーク、新しい会議を記録するための「会議記録」ボタン3531、及びログを見るための「ログ確認」ボタン3532が表示される。利用者は「会議記録」ボタン3531を操作することによって新しい会議を記録する画面に遷移することができる。また、利用者は、「ログ確認」ボタン3532を操作することによって、所定のイベントで発話された内容の履歴、利用者によって操作された各種ボタン、処理のログを含む各種情報(データ)を確認することができる。
●画面表示例●
図20は、通信端末における記録選択時の画面表示例である。通信端末3のディスプレイ318には、上述したステップS89の処理が実行されることにより、表示制御部34によって記録選択画面3141が表示される。記録選択画面3141には、例えば、会議等のイベントの記録内容(議事録等)を示す日付、イベントタイトル、議事録共有ボタン(アイコン)3535が一揃えとして選択可能な表示形態で表示される。これにより、利用者は、任意の日付及びイベントタイトルで表された所定のイベントに対応付けられた議事録共有ボタン(アイコン)3535を操作して選択することができる。本実施形態では、「2021/3/31 11:01:28-12:00:00」を日付情報として与えられた「ヘルスケア事業業績報告会」のイベントに対応する議事録共有ボタン(アイコン)3535が、利用者によって選択された場合が示されている。具体的には、通信端末3(A)の利用者が、記録選択画面3141中の所定のイベントタイトルをマウスオーバー操作によってマウスポインタ(カーソル)3701を翳すと、マウスポインタ(カーソル)3701によって翳されたイベントタイトルに対応付けられた議事録共有ボタン(アイコン)3535が表示される。そこで、通信端末3(A)の利用者は、議事録共有ボタン(アイコン)3535を操作することによって、所定のURLとパスコードを含むダイアログにアクセスすることが可能となる。通信端末3(A)の利用者は、このダイアログに所定のURLとパスコードを入力することにより、後述する音声認識エンジン変更画面へのアクセスが可能になる。
●画面表示例●
図21は、通信端末における共有情報入力ダイアログの画面表示例である。通信端末3のディスプレイ318には、図20で示した任意のイベントタイトルに対応付けて配置された「議事録共有」ボタン3535を操作することで、表示制御部34により、図21に示したような共有情報入力ダイアログ3142が表示される。共有情報入力ダイアログ3142には、イベントURLの表示、及びパスコードの入力欄と「URLパスコードコピー」ボタン3551が含まれる。音声記録を作成、編集する作成者は、表示されたイベントURLを確認して、パスコード入力欄に所定のパスコードを入力して「URLパスコードコピー」ボタン3551を操作することができる。その後、作成者は、電子メール、チャット等を利用して他の利用者に対してコピーしたURL(「https://・・・/00005006」等)とパスコードを提供することができる。
<<記録閲覧編集画面の生成処理>>
次に、音声記録管理装置5による記録閲覧編集画面の生成処理について説明する。図22は、記録閲覧編集画面の生成処理の一例を示すシーケンス図である。まず、通信端末3の操作受付部32は、利用者により入力されたイベントURLとパスコードを受け付ける(ステップS101)。具体的な処理の例として、利用者はイベントURLをブラウザのアドレス入力欄に入力し、パスワードの入力の必要性があればパスワードの入力欄が表示され、そこにパスワード(パスコード)を入力することで実現できる。
次に、送受信部31は、記録閲覧編集画面要求を音声記録管理装置5に対して送信する(ステップS102)。これにより、音声記録管理装置5の送受信部51は、通信端末3が送信した記録閲覧編集画面要求を受信する。このとき、記録閲覧編集画面要求には、イベントURLで示される所定のイベントの音声記録が記録された記録識別情報が含まれる。
続いて、音声記録管理装置5の取得部52は、記録書誌情報、テキスト情報、キャプチャ情報を取得する(ステップS103)。具体的には、取得部52は、ステップS102で受信した記録識別情報を検索キーとして記録書誌情報管理DB5002(図6参照)を検索することにより、対応する記録書誌情報を取得する。ここで記録書誌情報には、開始日時、ステップS88で登録された終了日時と及び音声データパス(「…/00005006/record.mp3」)、「イベントURL」、「パスコード」が含まれる。更に、取得部52は、ステップS102で受信した記録識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対応するテキスト情報を取得する。ここでテキスト情報には、「テキスト識別情報」、「開始時刻」、「終了時刻」、「テキスト」、公開フラグ、削除フラグ及び「画像識別情報」が含まれる。更に、取得部52は、ステップS102で受信した記録識別情報を検索キーとしてキャプチャ画像管理DB5004(図8A参照)を検索することにより、対応するキャプチャ情報を取得する。ここでキャプチャ情報には、「画像識別情報」、「取得時刻」、公開フラグ、削除フラグ及び「画像データパス」が含まれる。
次に、生成・処理部57は、記録書誌情報管理DB5002(図6参照)、テキスト情報管理DB5003(図7参照)、キャプチャ画像管理DB5004(図8A参照)及びキャプチャ画像取得間隔DB5005(図8B参照)を用いて記録閲覧編集画面を生成し、記憶部5000の所定領域に記憶、管理する(ステップS104)。より詳細には、生成・処理部57は記憶読出部59と協働して、記録閲覧編集画面を構成する画面構成データ(画面用のテンプレートデータ)を、例えば、記憶部5000の所定領域から読み出す。その後、生成・処理部57は、記録書誌情報管理DB5002(図6参照)で管理されている「記録名称」、「開始日時」、「作成者識別情報(ユーザID)」、「イベントURL」を含む記録書誌情報、テキスト情報、キャプチャ画像等を画面構成データに組み込み、記録閲覧編集画面データを生成する。
<<記録閲覧編集画面の生成処理の詳細:1回目>>
続いて、記録閲覧編集画面の生成処理について詳細に説明する。図23は、作成者の通信端末又は最初の閲覧時に対する記録閲覧編集画面生成処理の一例を示すフローチャートである。このフローチャートは、会議等の所定のイベントにおける音声記録が記録された後、音声データに基づいて得られた複数のテキストと各テキストに対応付けられた画像に係る画像データ、及び複数のテキストの各々に対応する音声データとの対応付け処理が最初に行われる処理を示している。更に、このフローチャートは、音声記録を編集可能な作成者(編集者)が記録閲覧編集画面を開く場合に実行される処理を示している。
まず、音声記録管理装置5の取得部52は、ステップS102で受信した記録識別情報を検索キーとして記録書誌情報管理DB5002(図6参照)を検索することにより、対応する「対応付け処理」項目の項目値を取得する(ステップS104-1-1)。
続いて、判断部55は、取得部52によって取得された「対応付け処理」の項目値が「処理済」であるかを判断する(ステップS104-1-2)。取得された「対応付け処理」の項目値が「処理済」である場合(ステップS104-1-2:YES)、生成・処理部57は、キャプチャ画像単位でテキストをグルーピングする(ステップS104-1-3)。
続いて、生成・処理部57は、グルーピング結果に基づいて画面を生成し、記憶読出部59は、生成された画面に係る画面データを記憶部5000の所定領域に記憶してこのフローを抜ける(ステップS104-1-4)。
他方、取得された「対応付け処理」の項目値が「処理済」でない場合、すなわち「未処理」である場合(ステップS104-1-2:NO)、音声記録管理装置5は、以下のステップS104-1-5からステップS104-10までの処理を繰り返し実行する。具体的には、音声記録管理装置5は、テキスト情報管理DB5003(図7参照)に登録されたテキストごとに以下の処理を実行する(ステップS104-1-5)。
まず、取得部52は、テキストに対応する開始時刻及び終了時刻の各時刻情報を取得する(ステップS104-1-6)。具体的には、取得部52は、それぞれのテキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対応する開始時刻及び終了時刻の各時刻情報を取得する。
次に、算出特定部53は、取得した開始時刻及び終了時刻の間の第1の区間を特定する(ステップS104-7)。具体的には、算出特定部53は、第1の区間として以下の区間をそれぞれ特定する。
1.1分53秒から1分58秒までの5秒間(ステップS104-1-5のN回目)
2.1分59秒から2分2秒までの3秒間(ステップS104-1-5のN+1回目)
3.2分5秒から2分12秒までの8秒間(ステップS104-1-5のN+2回目)
4.2分18秒から2分23秒までの5秒間(ステップS104-1-5のN+3回目)
5.2分25秒から2分28秒までの3秒間(ステップS104-1-5のN+4回目)
6.・・・
次に、算出特定部53は、取得時刻と「キャプチャ画像取得間隔」後の時刻との間の第2の区間が、第1の区間と重なったキャプチャ画像を特定する(ステップS104-8)。具体的には、算出特定部53は、キャプチャ画像取得間隔DB5005(図8B参照)を検索して、設定されているキャプチャ画像取得間隔:30秒を読み出す。続いて、算出特定部53は、テキスト情報管理DB5003(図7参照)とキャプチャ画像管理DB5004(図8A参照)を用いて、以下の特定を行う。この場合、取得時刻と「キャプチャ画像取得間隔」後の時刻との間の第2の区間は、
11.1分00秒から1分30秒までの30秒間
12.1分30秒から2分00秒までの30秒間
13.2分00秒から2分30秒までの30秒間
14.・・・
これらの区間より、算出特定部53は、第2の区間が第1の区間と重なるのは、
2.1分59秒から2分2秒までの3秒間と、13.2分00秒から2分30秒までの30秒間であると特定する。そして、算出特定部53は、第2の区間が第1の区間と重なったキャプチャ画像として、画像識別情報:「IM0005」に対応付けられたキャプチャ画像(画像データパス:「・・・/00005006/0005.jpg」)を特定する。
次に、設定登録部58は、特定したキャプチャ画像の画像識別情報を、対象テキストの「画像識別情報」の項目に登録する(ステップS104-1-9)。具体的には、設定登録部58は、テキスト情報管理DB5003(図7参照)のテキスト識別情報:「TX0006」に対応する画像識別情報の項目に「IM0005」を登録する。
ステップS104-9の処理が実行された後のステップS104-1-10では、音声記録管理装置5は、ループ処理を行うために、ステップS104-1-5に戻り、上述したステップS104-5からステップS104-1-10までの処理を繰り返す。
ステップS104-5からステップS104-1-10までの処理を繰り返した後、設定登録部58は、記録書誌情報の「対応付け処理」項目の項目値を「未処理」から「処理済」に設定する(ステップS104-1-11)。
続いて、音声記録管理装置5は、上述したステップS104-1-3及びステップS104-1-4の処理をそれぞれ実行して、このフローを抜ける。
<<記録閲覧編集画面の生成処理の詳細:2回目以降>>
次に、記録閲覧編集画面の生成処理の他の場合について詳細に説明する。図24は、作成者以外の利用者の通信端末に対する記録閲覧画面生成処理の一例を示すフローチャートである。このフローチャートは、会議等の所定のイベントにおける音声記録が記録された後、音声データに基づいて得られた複数のテキストと各テキストに対応付けられた画像に係る画像データ、及び複数のテキストの各々に対応する音声データとの対応付け処理が2回目以降に行われる処理を示している。更に、このフローチャートは、音声記録を編集可能な作成者(編集者)以外の利用者が記録閲覧画面を開く場合に実行される処理を示している。
記録閲覧編集画面の生成処理において、利用者、削除フラグ、公開フラグに対応する、「テキスト又はキャプチャ画像の表示」及び「各操作ボタンの表示」の内容をまとめると、表1のような組合せとなる。本実施形態では、以下の表1に纏めた組合せに基づく図24のフローチャートを説明する。
表1は、利用者、各種フラグ、テキスト又は画像の表示、並びに各種操作ボタン表示の組合せの一例を示す。
まず、取得部52は、ログイン管理DB5001(図5参照)を検索することにより、ログイン処理を行ったログインユーザのログインユーザID(利用者識別情報)と、ステップS102で受信した記録識別情報を検索キーとして記録書誌情報管理DB5002(図6参照)を検索することにより、対応する作成者識別情報を取得する(ステップS104-2-1)。
続いて、音声記録管理装置5は、以下のステップS104-2-2からステップS104-2-9までの処理を繰り返し実行する。まず、音声記録管理装置5は、テキスト情報管理DB5003(図7参照)に登録された「テキスト」及びキャプチャ画像管理DB5004(図8A参照)に登録されたキャプチャ画像(「画像識別情報」)ごとに、以下の処理を実行する(ステップS104-2-2)。
まず、取得部52は、記録識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、各テキスト識別情報に対応する公開フラグ及び削除フラグを取得する。取得部52は更に、記録識別情報を検索キーとしてキャプチャ画像管理DB5004(図8A参照)を検索することにより、各画像識別情報に対応する公開フラグ及び削除フラグを取得する(ステップS104-2-3)。
続いて判断部55は、ログインユーザID(利用者識別情報)と作成者識別情報とが一致するかを判断する(ステップS104-2-4)。ログインユーザID(利用者識別情報)と作成者識別情報とが一致すると判断された場合(ステップS104-2-4:YES)、判断部は更に、ステップS104-2-3で取得した削除フラグが「True」であるかを判断する(ステップS104-2-5)。
削除フラグが「True」であると判断された場合(ステップS104-2-5:YES)、判断部55は更に、公開フラグが「True」であるかを判断する(ステップS104-2-6)。
公開フラグが「True」であると判断された場合(ステップS104-2-6:YES)、判断部55は、「テキスト」又はキャプチャ画像(「画像識別情報」)と、「削除」ボタンと、「非公開」ボタンとを通信端末3に「表示する」と判断して(ステップS104-2-7)、ステップS104-2-9の処理に遷移する。
他方、公開フラグが「True」でないと判断された場合(ステップS104-2-6:NO)、判断部55は、「テキスト」又はキャプチャ画像(「画像識別情報」)と、「削除」ボタンと、「公開」ボタンとを通信端末3に「表示する」と判断して(ステップS104-2-8)、ステップS104-2-9の処理に遷移し、以降の丸1の処理を実行する。
ステップS104-2-4の処理において、「ログインユーザID(利用者識別情報)」と「作成者識別情報(ユーザID)」とが一致すると判断された場合、判断部55は更に、公開フラグが「True」、且つ削除フラグが「False」であるかを判断する(ステップS104-2-10)。
公開フラグが「True」、且つ削除フラグが「False」であると判断された場合(ステップS104-2-10:YES)、判断部55は、各編集ボタンを通信端末3に「表示しない」、テキスト又はキャプチャ画像を通信端末3に「表示する」と判断して(ステップS104-2-11)、ステップS104-2-9の処理に遷移する。
他方、公開フラグが「True」、且つ削除フラグが「False」でないと判断された場合(ステップS104-2-10:NO)、判断部55は、各編集ボタンと、テキスト又はキャプチャ画像とを通信端末3に「表示しない」と判断して(ステップS104-2-12)、ステップS104-2-9の処理に遷移する。
上述した各処理が実行され、ステップS104-2-9の処理が実行されると、音声記録管理装置5は、ステップS104-2-1に戻り、対象となるテキストすべてに対して同様の処理を行う。
ステップS104-2-1からステップS104-2-9までの繰返し処理を実行後、生成・処理部57は、以降の丸1の処理としてキャプチャ画像単位でテキストをグルーピングする(ステップS104-2-13)。
続いて、生成・処理部57は、グルーピング結果に基づいて画面を生成し、記憶読出部59は、生成された画面に係る画面データを記憶部5000の所定領域に記憶してこのフローを抜ける(ステップS104-2-14)。
図22に戻り、送受信部51は、通信端末3に対して、記録閲覧編集画面要求の応答として記録閲覧編集画面応答を送信する(ステップS105)。これにより、通信端末3の送受信部31は、音声記録管理装置5が送信した記録閲覧編集画面応答を受信する。このとき、記録閲覧編集画面応答には、記録閲覧編集画面を構成する画面データが含まれる。
続いて、通信端末3の表示制御部34は、図25に示すような記録閲覧編集画面をディスプレイ318に表示する(ステップS106)。
●画面表示例●
図25は、作成者の通信端末の記録閲覧編集画面の画面表示例である。通信端末3のディスプレイ318には、上述したステップS106の処理が実行されることにより、表示制御部34によって記録閲覧編集画面3151が表示される。記録閲覧編集画面3151には、図16に示した記録中画面3121と同様に、例えば、「概要(議題)」、「参加者」、「会議メモ」の各入力欄が表示される。記録閲覧編集画面3151には、更に、少なくとも一以上のテキスト表示欄が表示される。記録閲覧編集画面3151には、更に、画面キャプチャ処理によってキャプチャ処理された画面3、画面4及び画面5が、それぞれキャプチャ処理された時刻ごとに、各テキスト表示欄に表示された各テキストと対応付けて表示される。なお、記録閲覧編集画面3151が表示される通信端末3の利用者は、例えば、「理光太郎」である。
記録閲覧編集画面3151では、例えば、各テキスト表示欄の近傍にマウス3701が置かれる操作(マウスオーバー操作)が行われた場合、表示制御部34によって、「議事録共有」ボタン(アイコン)3541、「非公開」ボタン(アイコン)3542、「音声再生」ボタン(アイコン)3543及び「削除」ボタン(アイコン)3544が、マウスオーバー操作された近傍に表示される。
これらの各ボタン(アイコン)のうち、「議事録共有」ボタン(アイコン)3541は、所定のイベントの音声記録(例えば、議事録)を作成する作成者が編集した議事録が表示された記録閲覧画面を作成者以外の他の利用者が利用する通信端末3に共有させるためのボタン(アイコン)である。この「議事録共有」ボタン(アイコン)3541は、図20で説明した「議事録共有」ボタン(アイコン)3535と同様の機能を備える。そのため、図20で示した記録選択画面3141が表示されない場合は、この記録閲覧編集画面3151中に表示される「議事録共有」ボタン(アイコン)3541を操作して議事録等を共有する処理を行ってもよい。これにより作成者は、この「議事録共有」ボタン(アイコン)3541を操作することにより、他の利用者に対して、議事録等を共有させることができる。
「非公開」ボタン(アイコン)3542は、後述する作成者以外の利用者の通信端末3における記録閲覧画面において、マウスオーバーされた近傍のテキストを非公開(非表示)にさせるためのボタン(アイコン)である。利用者によって「非公開」ボタン(アイコン)3542が操作されることにより、音声記録管理装置5は、後述する作成者以外の利用者の通信端末3における記録閲覧画面において、マウスオーバーされた近傍のテキストを非公開(非表示)にさせることができる。なお、「非公開」ボタン(アイコン)が表示され、非公開処理が実行された後、再度同じテキストに対してマウスオーバー操作が行われると、記録閲覧編集画面3151では、対象のテキストの近傍に「再生」ボタン(アイコン)が表示されるようにしてもよい。利用者によって「公開」ボタン(アイコン)が操作されることにより、音声記録管理装置5は、後述する作成者以外の利用者の通信端末3における記録閲覧画面において、マウスオーバーされた近傍のテキストを公開(再表示)させることができる。このように、非公開処理は、対象となるテキストが削除されるのではなく、一時的に非公開(非表示)とさせる機能の一例である。
「音声再生」ボタン(アイコン)3543は、利用者が特定の音声を再生させるためのボタンである。利用者は、「音声再生」ボタン(アイコン)3543を操作することにより、利用者が選択した特定の音声記録に係る音声を再生させることができる。
「削除」ボタン(アイコン)3544は、特定のテキストを削除するためのボタンである。利用者によって「削除」ボタン(アイコン)3544が操作されることにより、音声記録管理装置5は、記録閲覧編集画面3151及び後述する作成者以外の利用者の通信端末3における記録閲覧画面において、マウスオーバーされた近傍のテキストを削除させることができる。
記録閲覧編集画面3151では更に、各画面の近傍でマウスオーバー操作がされた場合に、表示制御部34によって、「非公開」ボタン(アイコン)3545、及び「削除」ボタン(アイコン)3546が表示される。
これらの各ボタン(アイコン)のうち、「非公開」ボタン(アイコン)3545は、後述する作成者以外の利用者の通信端末3における記録閲覧画面において、マウスオーバーされた近傍の画面内の画像を非公開(非表示)にさせるためのボタン(アイコン)である。利用者によって「非公開」ボタン(アイコン)3545が操作されることにより、音声記録管理装置5は、後述する作成者以外の利用者の通信端末3における記録閲覧画面において、マウスオーバーされた近傍の画面内の画像を非公開(非表示)にさせることができる。
「削除」ボタン(アイコン)3546は、特定の画像を削除するためのボタンである。利用者によって「削除」ボタン(アイコン)3546が操作されることにより、音声記録管理装置5は、記録閲覧編集画面3151及び後述する作成者以外の利用者の通信端末3における記録閲覧画面において、マウスオーバーされた近傍の画面内の画像を削除させることができる。
記録閲覧編集画面3151では更に、上述した「音声再生」ボタン(アイコン)3543に対する操作に連動した音声再生表示部3601が表示制御部34によって表示される。音声再生表示部3601における●印は、各テキストが表示されている日時情報(時刻情報)に対応して移動する。例えば、利用者が「音声再生」ボタン(アイコン)3543を操作して「2021/03/31 11:02:18」の位置に●印をシーク操作させると、音声記録管理装置5の音声再生部36によって、「2020年度の売上は〇〇です」という音声が再生される。
なお、上述した各「非公開」ボタン(アイコン)3542、「音声再生」ボタン(アイコン)3543、「削除」ボタン(アイコン)3544、「非公開」ボタン(アイコン)3545、「削除」ボタン(アイコン)3546は、マウスオーバー操作等によってそれぞれのテキスト及び画面の近傍に表示される。図25に示した例では、便宜上、いずれか一つのボタン(アイコン)に対してのみ符号(番号)が付与され、他のボタン(アイコン)は点線表示されている。但し、同じ種類のボタンに対しては、同じ符号(番号)が付与される。
●画面表示例●
図26は、作成者以外の利用者の通信端末における記録閲覧の画面表示例である。作成者以外の利用者の通信端末3のディスプレイ318には、図25で示した記録閲覧編集画面3151に対応して、表示制御部34によって記録閲覧画面3161が表示される。記録閲覧画面3161には、記録閲覧編集画面3151と同様の内容が表示されるが、「非公開」ボタン(アイコン)3545、「削除」ボタン(アイコン)3546、「非公開」ボタン(アイコン)3545、及び「削除」ボタン(アイコン)3546は表示されない。これは、記録閲覧編集画面の作成者が「理光太郎」であって作成者以外の利用者には、記録閲覧編集画面に対する編集権限が与えられていないためである。
なお、記録閲覧編集画面3151が表示される作成者以外の利用者は、例えば、「海老名二郎」である。
<<記録閲覧編集処理>>
次に、記録閲覧編集処理について説明する。図27は、記録閲覧編集処理の一例を示すシーケンス図である。図27に示されているように、通信端末3の表示制御部34は、ディスプレイ318にステップS106で生成された記録閲覧編集画面を表示し、操作受付部32は、利用者(作成者)により編集操作指示を受け付ける(ステップS111)。
続いて、送受信部31は、音声記録管理装置5に対して、編集操作指示要求を送信する(ステップS112)。これにより、音声記録管理装置5の送受信部51は、通信端末3が送信した編集操作指示要求を受信する。このとき、編集操作指示要求には、以下の三つの情報のうち、少なくとも一つの情報が含まれる。一つは、対象のテキストを識別するテキスト識別情報と対象のテキストに対応付けられた各種操作ボタン情報である。もう一つは、対象の画像を識別する画像識別情報と対象の画像に対応付けられた各種操作ボタン情報である。更にもう一つは、後述するテキストグループを識別するテキストグループIDと対象のテキストグループに対応付けられた各種操作ボタン情報である。
次に、音声記録管理装置5は、記録閲覧編集処理を行う(ステップS113)。この記録閲覧編集処理においては、記録書誌情報管理DB5002(図6参照)、テキスト情報管理DB5003(図7参照)、キャプチャ画像管理DB5004(図7A参照)、キャプチャ画像取得間隔DB5005(図7B参照)、及び非公開音声管理DB5006(図8参照)がそれぞれ用いられる。
<<記録閲覧編集処理の振分け>>
続いて、記録閲覧編集処理の振分けについて説明する。図28Aは、各種ボタン操作により分岐される処理の一例を示すフローチャートである。まず、取得部52は、ステップS112で受信した各種ボタン情報を取得する(ステップS113-1)。
続いて、判断部55は、取得したボタン情報がテキストの「非公開」ボタン(アイコン)であるかを判断する(ステップS113-1-1)。取得したボタン情報がテキストの「非公開」ボタン(アイコン)である場合(ステップS113-1-1:YES)、音声記録管理装置5は、後述する丸Aの処理に遷移する。
取得したボタン情報がテキストの「非公開」ボタン(アイコン)でない場合(ステップS113-1-1:NO)、判断部55は更に、取得したボタン情報がテキストの「公開」ボタン(アイコン)であるかを判断する(ステップS113-1-2)。取得したボタン情報がテキストの「公開」ボタン(アイコン)である場合(ステップS113-1-2:YES)、音声記録管理装置5は、後述する丸Bの処理に遷移する。
取得したボタン情報がテキストの「公開」ボタン(アイコン)でない場合(ステップS113-1-2:NO)、判断部55は更に、取得したボタン情報がテキストの「削除」ボタン(アイコン)であるかを判断する(ステップS113-1-3)。取得したボタン情報がテキストの「削除」ボタン(アイコン)である場合(ステップS113-1-3:YES)、音声記録管理装置5は、後述する丸Cの処理に遷移する。
取得したボタン情報がテキストの「削除」ボタン(アイコン)でない場合(ステップS113-1-3:NO)、音声記録管理装置5は、各種ボタン情報を取得2の処理に遷移する(ステップS113-1-4)。
図28Bは、各種ボタン操作により分岐される処理の一例を示すフローチャートである。図28Bにおいて、取得部52は、ステップS112で受信した各種ボタン情報を取得する(ステップS113-2)。
続いて、判断部55は、取得したボタン情報がキャプチャ画像の「非公開」ボタン(アイコン)であるかを判断する(ステップS113-2-1)。取得したボタン情報がキャプチャ画像の「非公開」ボタン(アイコン)である場合(ステップS113-2-1:YES)、音声記録管理装置5は、後述する丸Dの処理に遷移する。
取得したボタン情報がキャプチャ画像の「非公開」ボタン(アイコン)でない場合(ステップS113-2-1:NO)、判断部55は更に、取得したボタン情報がキャプチャ画像の「公開」ボタン(アイコン)であるかを判断する(ステップS113-2-2)。取得したボタン情報がキャプチャ画像の「公開」ボタン(アイコン)である場合(ステップS113-2-2:YES)、音声記録管理装置5は、後述する丸Eの処理に遷移する。
取得したボタン情報がキャプチャ画像の「公開」ボタン(アイコン)でない場合(ステップS113-2-2:NO)、判断部55は更に、取得したボタン情報がキャプチャ画像の「削除」ボタン(アイコン)であるかを判断する(ステップS113-2-3)。取得したボタン情報がキャプチャ画像の「削除」ボタン(アイコン)である場合(ステップS113-2-3:YES)、音声記録管理装置5は、後述する丸Fの処理に遷移する。
取得したボタン情報がテキストの「削除」ボタン(アイコン)でない場合(ステップS113-2-3:NO)、音声記録管理装置5は、各種ボタン情報を取得3の処理に遷移する(ステップS113-2-4)。
<<テキストに対する非公開ボタン操作時の処理>>
次に、テキストに対する非公開ボタン操作時の処理について説明する。図29は、テキストに対する非公開ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図28Aで判断された遷移先としての丸Aの処理(ステップS113-1-101からステップS113-1-105)が実行される。
まず、音声記録管理装置5の設定登録部58は、テキスト情報管理DB5003(図7参照)で管理されている、ステップS112で受信したテキスト識別情報に対応する公開フラグを「False」に設定する(ステップS113-1-101)。
次に、取得部52は、テキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対象テキストに対応する画像識別情報を取得する(ステップS113-1-102)。このときの画像識別情報は、対象テキストを含む画面をキャプチャ処理したキャプチャ画像を識別するための情報である。
次に、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、各キャプチャ画像を識別する画像識別情報に対応する公開フラグを「False」に設定する(ステップS113-2-201)。(ステップS113-1-103)。
次に、取得部52は、テキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対応する開始時刻及び終了時刻の各時刻情報を取得する(ステップS113-1-104)。
続いて、設定登録部58は、取得した開始時刻及び終了時刻の各時刻情報を記録書誌情報管理DB5002(図6参照)に登録し、非公開音声管理DB5006(図9参照)で管理されている各時刻情報の間の音声を無音化処理してこのフローを抜ける(ステップS113-1-105)。
●画面表示例●
図30は、テキストに対する非公開ボタンが操作された時の作成者以外の利用者の通信端末に表示される画面表示例である。作成者以外の利用者の通信端末3のディスプレイ318には、図24で示した処理及び上述した丸Aの処理に基づいて、表示制御部34によって、図30に示した記録閲覧画面3161が表示される。この場合、記録閲覧画面3161では、図25で指定した特定のテキストに対する非表示操作に基づいて、特定のテキスト(「2020年度下期の売上は〇〇です。」)がテキスト表示欄から非表示処理された状態が表示されている。このとき、テキスト表示欄はグレーのハッチング処理、網目模様処理等の処理によってテキストが解読できない状態となっていてもよい。さらに、テキスト表示欄は、非表示処理されたテキストを表示させない処理を施すものでもよい。記録閲覧画面3161では、更に、特定のテキストに対応する画面5の画像も併せて非表示処理される。この場合、画面5の画像は空白画像となっていてもよい。また、画面5の画像から別の画像に置き換えられていてもよい。記録閲覧画面3161では、更に、特定のテキストに対応する音声データも無音化処理される。この場合、特定のテキストに対応する発話音声が再生されるべき時間に、その発話音声が無音化処理される。また、無音化処理に代えて、他の信号音等に変換されていてもよい。
<<テキストに対する公開ボタン操作時の処理>>
次に、テキストに対する公開ボタン操作時の処理について説明する。図31は、テキストに対する公開ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図28Aで判断された遷移先としての丸Bの処理(ステップS113-1-201からステップS113-1-207)が実行される。
まず、音声記録管理装置5の設定登録部58は、テキスト情報管理DB5003(図7参照)で管理されている、ステップS112で受信したテキスト識別情報に対応する公開フラグを「True」に設定する(ステップS113-1-201)。
次に、取得部52は、テキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対応する開始時刻及び終了時刻の各時刻情報を取得する(ステップS113-1-202)。
次に、取得部52は、テキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対象テキストに対応する画像識別情報を取得する(ステップS113-1-203)。このときの画像識別情報は、対象テキストを含む画面をキャプチャ処理したキャプチャ画像を識別するための情報である。
次に、取得部52は、取得した画像識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、取得した画像識別情報で示されるキャプチャ画像に対応する各テキストの公開フラグを取得する(ステップS113-1-204)。
次に、判断部55は、取得した公開フラグが全て「True」であるかを判断する(ステップS113-1-205)。取得した公開フラグが全て「True」である場合(ステップS113-1-205:YES)、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、取得した画像識別情報で示されるキャプチャ画像の公開フラグを「True」に設定する(ステップS113-1-206)。
続いて、設定登録部58は、非公開音声管理DB5006(図9参照)で管理されている開始時刻及び終了時刻の各時刻情報を削除して、このフローを抜ける(ステップS113-1-207)。
他方、取得した公開フラグが全て「True」でない場合、すなわち、少なくとも一つの公開フラグが「False」である場合(ステップS113-1-205:NO)、上述したステップS113-1-207の処理を実行してこのフローを抜ける。
●画面表示例●
図32は、作成者の通信端末におけるテキストに対する公開ボタン操作時の画面表示例である。作成者の通信端末3のディスプレイ318には、図24で示した処理及び上述した丸Bの処理に基づいて、表示制御部34によって、記録閲覧編集画面3151が表示される。記録閲覧編集画面3151では、図25で示した記録閲覧編集画面3151における「非公開」ボタン(アイコン)3542の表示後に、「非公開」ボタン(アイコン)3542に代えて「公開」ボタン(アイコン)3547が表示された状態が示されている。つまり、「非公開」ボタン(アイコン)3542と「公開」ボタン(アイコン)3547は、同一のテキストに対して対となって記録閲覧編集画面3151上に表示される。「公開」ボタン(アイコン)3547は、作成者以外の利用者の通信端末3における記録閲覧画面3161において、特定のテキストが非公開(非表示)にされた後、再度特定のテキストを記録閲覧画面3161に表示させるときに操作されるボタン又はアイコンである。記録閲覧編集画面3151では、作成者が特定のテキストに対して「非公開」処理を行うと、例えば、特定のテキストの横に、「非公開」に設定されたことを示す特有のマークが表示制御部34によって表示されてもよい。この特有のマークは、例えば、四角の中に「非」という文字を入れた「非公開」マーク3201である。これにより、作成者は、どのテキストを非公開処理したかを簡単に見分けることができる。なお、「非公開」マーク3201の内容は、上述した四角の中に「非」という文字を入れた内容に限らず、「非公開」という記号と文字の組合せであってもよい。更に、「非公開」マーク3201の表示位置は、上述した特定のテキストの横に限らず、非公開処理が行われたテキストの近傍であればどの位置でもよい。
作成者によって非公開処理されたテキストが再度マウスオーバー操作されると、表示制御部34によって、非公開処理されたテキストの近傍に「公開」ボタン(アイコン)3547が表示される。これに伴い、「非公開」マーク3201は非表示となる。つまり、記録閲覧編集画面3151において、あるテキストに対する「非公開」ボタン(アイコン)3542と「公開」ボタン(アイコン)3547は、トグル表示されることになる。この「公開」ボタン(アイコン)3547が作成者の通信端末3において操作されると、作成者以外の利用者の通信端末3で非公開となっていた特定のテキストが再表示されるとともに、画面5の画像も再表示される。さらに、特定のテキストに対応する音声データも、元の再生可能状態となり、特定のテキストに対応する音声を聞くことが可能となる。
<<テキストに対する削除ボタン操作時の処理>>
次に、テキストに対する削除ボタン操作時の処理について説明する。図33は、テキストに対する削除ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図28Aで判断された遷移先としての丸Cの処理(ステップS113-1-301からステップS113-1-307)が実行される。
まず、音声記録管理装置5の設定登録部58は、テキスト情報管理DB5003(図7参照)で管理されている、ステップS112で受信したテキスト識別情報に対応するテキストを空白に設定し、削除フラグを「True」に設定する(ステップS113-1-301)。つまり、この時点で対象テキストの内容が削除される。
次に、取得部52は、テキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対象テキストに対応する画像識別情報を取得する(ステップS113-1-302)。このときの画像識別情報は、対象テキストを含む画面をキャプチャ処理したキャプチャ画像を識別するための情報である。
次に、取得部52は、取得した画像識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、取得した画像識別情報で示されるキャプチャ画像に対応する各テキストの公開フラグを取得する(ステップS113-1-303)。
次に、判断部55は、取得した削除フラグが全て「True」であるかを判断する(ステップS113-1-304)。取得した削除フラグが全て「True」である場合(ステップS113-1-304:YES)、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、取得した画像識別情報に対応するキャプチャ画像の画像データを所定の画像に置き換え、公開フラグを「True」に設定する(ステップS113-1-305)。
続いて、取得部52は、テキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対応する開始時刻及び終了時刻の各時刻情報を取得する(ステップS113-1-306)。
続いて、設定登録部58は、取得した開始時刻及び終了時刻の間の音声データであり、記録書誌情報管理DB5002(図6参照)で管理されている音声データを削除(無音化)処理してこのフローを抜ける(ステップS113-1-307)。
他方、取得した削除フラグが全て「True」でない場合、すなわち、少なくとも一つの削除フラグが「False」である場合(ステップS113-1-304:NO)、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、取得した画像識別情報に対応する各キャプチャ画像の公開フラグを「False」に設定し(ステップS113-1-308)、以降、ステップS113-1-306,S113-1-307の処理を実行してこのフローを抜ける。
●画面表示例●
図34は、テキストに対する削除ボタンが操作された時の作成者以外の利用者の通信端末に表示される画面表示例である。作成者以外の利用者の通信端末3のディスプレイ318には、図24で示した処理及び上述した丸Cの処理に基づいて、表示制御部34によって、記録閲覧画面3161が表示される。この場合、記録閲覧画面3161では、図25で指定した特定のテキストに対する削除操作に基づいて、他の特定のテキスト(「本日の議題はヘルスケア事業の業績です。」)がテキスト表示欄から削除処理された状態が表示されている。さらに、他の特定のテキストに対応付けられた画面4の画像も削除対象となるため、画面4の画像も削除処理される。その結果、例えば、他の特定のテキストが表示されていたテキスト表示欄は黒塗り処理され、画面4は空白画像又は他の画像に置き換えられた画像が表示される。更に、削除処理が実行された場合は、削除対象となったテキスト及びテキストに対応付けられた画像は、以降、公開(復元)できない状態となる。記録閲覧画面3161では、更に、他の特定のテキストに対応する音声データも無音化処理される。この場合、他の特定のテキストに対応する発話音声が再生されるべき時間に、その発話音声が無音化処理される。なお、無音化処理に代えて、他の信号音等への変換処理が行われてもよい。
<<キャプチャ画像に対する非公開ボタン操作時の処理>>
次に、キャプチャ画像に対する非公開ボタン操作時の処理について説明する。図35は、キャプチャ画像に対する非公開ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図28Bで判断された遷移先としての丸Dの処理(ステップS113-2-101からステップS113-2-105)が実行される。
まず、音声記録管理装置5の設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、ステップS112で受信した対象キャプチャ画像の画像識別情報に対応付けられた公開フラグを「False」に設定する(ステップS113-2-101)。
次に、取得部52は、画像識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対象キャプチャ画像に対応する各テキストのテキス識別情報を取得する(ステップS113-2-102)。
次に、設定登録部58は、テキスト情報管理DB5003(図7参照)で管理され、取得した各テキスト識別情報に対応する各テキストの公開フラグを「False」に設定する(ステップS113-2-103)。
次に、取得部52は、取得した各テキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対応する各テキストの開始時刻及び終了時刻の各時刻情報を取得する(ステップS113-2-104)。
次に、設定登録部58は、取得した各時刻情報のうち、最も早い開始時刻及び最も遅い終了時刻の各時刻情報を、非公開音声管理DB5006(図9参照)に登録する(ステップS113-2-105)。なお、上述したステップS113-2-103からステップS113-2-105までの処理は丸Xの処理として定義され、以降の処理において再度実行される。
●画面表示例●
図36は、キャプチャ画像に対する非公開ボタンが操作された時の作成者以外の利用者の通信端末に表示される画面表示例である。作成者以外の利用者の通信端末3のディスプレイ318には、図24で示した処理及び上述した丸Dの処理に基づいて、表示制御部34によって、記録閲覧画面3161が表示される。この場合、記録閲覧画面3161では、図25で指定した特定の画像に対する非公開操作に基づいて、特定の画像(画面5に表示されたキャプチャ画像)と特定の画像に対応付けられた一以上のテキストが非表示処理された状態が表示されている。一以上のテキストには、画面5のキャプチャ画像が取得された時刻(「11:02:00」)以降に発話された三つのテキスト(「11:02:05」、「11:02:18」、「11:02:25」)に加えて、画面4のキャプチャ画像が取得された時刻(「11:01:30」)以降に発話され、「11:02:00」に跨る時刻(「11:01:59」)に発話されたテキストが含まれる。すなわち、画面5を表す画面データを取得した取得時刻(「11:02:00」)に跨って特定のテキストデータが存在する場合、取得時刻に取得された画面5の画面データと、画面5の画面データに対応付けられた三つのテキストのテキストデータと、特定のテキストデータとが、非公開処理の対象となる。これは、「11:02:00」に跨る時刻(「11:01:59」)に発話されたテキストの内容は、画面5の画像の内容に関与する可能性が高いと判断されるため、画面5の画像に対応付けられた三つのテキストと同様に非表示処理を行う必要があるという前提による。なお、非表示処理は、図30に示した方法と同様でよい。
これまでに説明した通り、上述した非表示対象となるテキストに対応付けられた発話音声(音声データ)も同様に無音化処理される。なお、無音化処理に代えて、他の信号音等への変換処理が行われてもよい。
<<キャプチャ画像に対する公開ボタン操作時の処理>>
続いて、キャプチャ画像に対する公開ボタン操作時の処理について説明する。図37は、キャプチャ画像に対する公開ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図28Bで判断された遷移先としての丸Eの処理(ステップS113-2-201からステップS113-2-211)が実行される。
まず、音声記録管理装置5の設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、ステップS112で受信した対象キャプチャ画像の画像識別情報に対応付けられた公開フラグを「True」に設定する(ステップS113-2-201)。
次に、取得部52は、画像識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対象キャプチャ画像に対応する各テキストのテキスト識別情報を取得する(ステップS113-2-202)。
続いて取得部52は、取得した各テキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、各テキスト識別情報に対応する各テキストの開始時刻及び終了時刻の各時刻情報を取得する(ステップS113-2-203)。
次に、設定登録部58は、取得した各時刻情報に基づいて、非公開音声管理DB5006(図9参照)で管理されている時刻情報のうち、最も早い開始時刻及び最も遅い終了時刻の各時刻情報を削除する(ステップS113-2-204)。
次に、音声記録管理装置5は、以下のステップS113-2-205からステップS113-2-209までの処理を繰り返し実行する。具体的には、音声記録管理装置5は、特定されたテキストごとに以下の処理を実行する(ステップS113-2-205)。
まず、取得部52は、対象テキストに対応する各キャプチャ画像の画像識別情報を検索キーとしてキャプチャ画像管理DB5004(図8A参照)を検索することにより、対応する公開フラグを取得する(ステップS113-2-206)。
次に、判断部55は、取得した各キャプチャ画像に係る公開フラグが全て「True」であるかを判断する(ステップS113-2-207)。
取得した各キャプチャ画像に係る公開フラグが全て「True」である場合(ステップS113-2-207:YES)、設定登録部58は、テキスト情報管理DB5003(図7参照)で管理されている対象テキストの公開フラグを「True」に設定し(ステップS113-2-208)、次のステップS113-2-209を経てステップS113-2-205に戻る。このステップS113-2-205からステップS113-3-209までの処理は、テキストごとに繰り返される。
他方、取得した各キャプチャ画像に係る公開フラグが全て「True」でない場合、すなわち、少なくとも一つの公開フラグが「False」である場合(ステップS113-2-207:NO)、取得部52は、公開フラグに対応するテキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対応する開始時刻及び終了時刻を取得する(ステップS113-2-210)。
続いて、設定登録部58は、取得した開始時刻及び終了時刻の各時刻情報を非公開音声管理DB5006(図9参照)に登録し(ステップS113-2-211)、ステップS113-2-209に遷移してステップS113-2-205の処理に戻る。そして、ステップS113-2-205からステップS113-2-209までの繰返し処理が完了したとき、音声記録管理装置5は、このフローを抜ける。なお、上述したステップS113-2-203からステップS113-2-211までの処理は丸Yの処理として定義され、以降の処理において再度実行される。
<<キャプチャ画像に対する削除ボタン操作時の処理>>
次に、キャプチャ画像に対する削除ボタン操作時の処理について説明する。図38は、キャプチャ画像に対する削除ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図28Bで判断された遷移先としての丸Fの処理(ステップS113-2-301からステップS113-2-312)が実行される。
まず、音声記録管理装置5の設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、ステップS112で受信した画像識別情報に対応する対象キャプチャ画像の画像データを所定の画像データに置き換え(書き換え)、画像識別情報に対応する削除フラグを「True」に設定する(ステップS113-2-301)。
次に、取得部52は、画像識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対象キャプチャ画像に対応する各テキストのテキスト識別情報を取得する(ステップS113-2-302)。
次に、音声記録管理装置5は、以下のステップS113-2-303からステップS113-2-312までの処理を繰り返し実行する。具体的には、音声記録管理装置5は、特定されたテキストごとに以下の処理を実行する(ステップS113-2-303)。
まず、取得部52は、対象テキストに対応する各キャプチャ画像の画像識別情報を検索キーとしてキャプチャ画像管理DB5004(図8A参照)を検索することにより、対応する削除フラグを取得する(ステップS113-2-304)。
次に、判断部55は、取得した各キャプチャ画像に係る削除フラグが全て「True」であるかを判断する(ステップS113-2-305)。
取得した各キャプチャ画像に係る削除フラグが全て「True」である場合(ステップS113-2-305:YES)、設定登録部58は、テキスト情報管理DB5003(図7参照)で管理され、画像識別情報に対応付けられた対象テキストを空白に設定(削除)し、対象テキストに対応する削除フラグを「True」に設定する(ステップS113-2-306)。
次に、取得部52は、テキスト情報管理DB5003(図7参照)で管理されている、対象テキストに対応する開始時刻及び終了時刻の各時刻情報を取得し(ステップS113-2-307)、次のステップS113-2-308を経てステップS113-2-303に戻る。このステップS113-2-303からステップS113-3-308までの処理は、テキストごとに繰り返される。
他方、取得した各キャプチャ画像に係る削除フラグが全て「True」でない場合、すなわち、少なくとも一つの削除フラグが「False」である場合(ステップS113-2-305:NO)、設定登録部58は、テキスト情報管理DB5003(図7参照)で管理されている対象テキストの公開フラグを「False」に設定する(ステップS113-2-309)。
続いて、取得部52は、対象テキストのテキスト識別情報を検索キーとしてテキスト情報管理DB5003(図7参照)を検索することにより、対応する開始時刻及び終了時刻の各時刻情報を取得する(ステップS113-2-310)。
次に、設定登録部58は、取得した開始時刻及び終了時刻の各時刻情報を、非公開音声管理DB5006(図9参照)に登録して(ステップS113-2-311)、ステップS113-2-308を経てステップS113-2-303に戻る。
ステップS113-2-308までの繰返し処理が終了すると、設定登録部58は、記録書誌情報管理DB5002(図6参照)で管理されている音声データの一部を削除(無音化)して(ステップS113-2-312)、このフローを抜ける。具体的には、設定登録部58は、テキスト情報管理DB5003(図7参照)で管理されている削除フラグが「True」に設定されたテキストに対応する音声データであり、記録書誌情報管理DB002(図6参照)で管理されている音声データのうち、最も早い開始時刻及び最も遅い終了時刻の間の音声データを削除(無音化)する。なお、上述したステップS113-2-303からステップS113-2-312までの処理は丸Zの処理として定義され、以降の処理において再度実行される。
●画面表示例●
図39は、キャプチャ画像に対する削除ボタンが操作された時の作成者以外の利用者の通信端末に表示される画面表示例である。作成者以外の利用者の通信端末3のディスプレイ318には、図24で示した処理及び上述した丸Fの処理に基づいて、表示制御部34によって、記録閲覧画面3161が表示される。この場合、記録閲覧画面3161では、図25で指定した特定の画像に対する削除操作に基づいて、特定の画像(画面5に表示されたキャプチャ画像)と特定の画像に対応付けられた一以上のテキストが非表示処理された状態が表示されている。一以上のテキストには、画面5のキャプチャ画像が取得された時刻(「11:02:00」)以降に発話された三つのテキスト(「11:02:05」、「11:02:18」、「11:02:25」)に加えて、画面4のキャプチャ画像が取得された時刻(「11:01:30」)以降に発話され、「11:02:00」に跨る時刻(「11:01:59」)に発話されたテキストが含まれる。すなわち、画面5を表す画面データを取得した取得時刻(「11:02:00」)に跨って特定のテキストデータが存在する場合、取得時刻に取得された画面5の画面データと、画面5の画面データに対応付けられた三つのテキストのテキストデータが削除対象となる。更に、特定のテキストデータが、非公開処理の対象となる。つまり、図36との相違点は、画面5のキャプチャ画像が取得された時刻(「11:02:00」)以降に発話された三つのテキスト(「11:02:05」、「11:02:18」、「11:02:25」)が非公開ではなく削除される点である。削除されるテキストについては、例えば、黒塗りされた状態となっている。なお、特定のテキストデータに対応付けられた画面4に係る画面データは、非表示処理の対象とならない。これは、画面4の画面データに対応付けられた特定のテキストデータのほかに別のテキストデータが存在するためである。別のテキストデータは、例えば、「2021/03/31 11:01:53」テキストデータである。別のテキストデータは、特定のテキストデータに対応付けられた画面5の画面データには対応付けられていないため、画面4の画面データは、非表示処理の対象にはならない。
これまでに説明した通り、上述した非表示対象となるテキストに対応付けられた発話音声(音声データ)も同様に無音化処理される。なお、無音化処理に代えて、他の信号音等への変換処理が行われてもよい。
<<更新画面の生成処理>>
続いて、更新画面の生成処理について説明する。図27に戻り、生成・処理部57は、通信端末3における更新画面を生成して、生成した更新画面の画面データ(テンプレートデータ)を記憶部5000の所定領域に記憶する(ステップS114)。なお、更新画面の生成処理の具体的な内容は、上述したステップS104の処理がそれぞれの場合に応じて実行される。
次に、音声記録管理装置5の送受信部51は、通信端末3に対して編集操作指示応答を送信する(ステップS115)。これにより、通信端末3の送受信部31は、編集操作指示応答を受信する。このとき、編集操作指示応答には、更新後の記録閲覧編集画面の画面データ(テキストデータ、画面データ)、及び音声データが含まれる。
続いて、通信端末3の表示制御部34は、各種編集操作指示に伴う更新後の記録閲覧編集画面をディスプレイ318に表示する(ステップS116)。
〔第1の実施形態の主な効果〕
以上説明したように本実施形態によれば、音声記録管理装置5は、通信端末3が送信した、所定のテキスト又は所定の画像に対する編集要求に応じて、所定のテキストデータを編集処理した編集後テキストデータと所定の画像データを編集処理した編集後画像データとを含む編集後画面データと、所定の音声データを編集処理した編集後音声データとを、通信端末3に対して送信する。通信端末3は、音声記録管理装置5が送信した編集後画面データに係る編集後画面をディスプレイ318に表示手段に表示し、音声記録管理装置5が送信した編集後音声データに係る編集後音声を再生する。これにより、音声情報に基づいて生成された音声記録を編集する場合、音声記録に含まれるテキストデータ又はそのテキストデータに対応する画像データを編集すればよいので、音声記録の編集における利便性を向上させることができるという効果を奏する。
更に、本実施形態によれば、音声記録において編集したいテキスト又は画像を選択的に操作可能なUI(User Interface)が提供されるので、利用者は、非公開、公開、削除及び再生を含む各種処理を所望のテキスト又は画像に対して行うことで、公開範囲を限定的に操作することが可能になる。これにより、秘匿情報を含む音声記録に対する秘匿性を向上させることが可能になる。
〔第2の実施形態〕
次に、図40乃至図51を用いて、第2の実施形態について説明する。第2の実施形態に係る第1の実施形態との相違点は、所定のテキストに対する編集要求(例えば、非公開、公開、及び削除の各要求)があった場合に、編集の対象となるテキストをテキストグループとし、テキストグループに対して所定の要約を与えた上で編集処理を行うようにした点である。つまり、通信システム1を構成する各ハードウエア資源、各ハードウエア資源における機能構成は、第1の実施形態と同様であり、データテーブルの構造が一部変更されている。そのため、図27に示した、記録閲覧編集処理(ステップS111-S116)に係るシーケンス図は、第2の実施形態においても同様に使用される。
●テキスト情報管理テーブル●
図40は、第2の実施形態に係るテキスト情報管理テーブルの一例を示す概念図である。記憶部5000には、図40に示されているようなテキスト情報管理テーブルによって構成されたテキスト情報管理DB5007が構築されている。テキスト情報管理DB5007では、図7に示されたテキスト情報管理DB5003を構成するテキスト情報管理テーブルに、テキストグループIDの項目が追加されている。このテキストグループIDは、記録閲覧編集画面において作成者がマウス操作等により編集対象の一以上のテキストを一つのテキストグループとして生成したときに付与される識別情報である。テキストグループIDは、例えば、「TG0003」、「TG0004」等で与えられる。テキスト情報管理DB5007では、このテキストグループIDが、記録識別情報ごとに管理される。
●要約情報管理テーブル●
図41は、第2の実施形態に係る要約情報管理テーブルの一例を示す概念図である。記憶部5000には、図41に示されているような要約情報管理テーブルによって構成された要約情報管理DB5008が構築されている。要約情報管理DB5008では、記録識別情報をタブとして、それぞれのタブで分けられたテキストグループID及び要約内容が関連付けられた記憶、管理されている。このテキストグループID及び要約内容は、取得された音声記録ごとに管理される。
<<記録閲覧編集処理の振分け>>
続いて、記録閲覧編集処理の振分けについて説明する。図42Aは、第2の実施形態に係る各種ボタン操作により分岐される処理の一例を示すフローチャートである。まず、取得部52は、図28BのステップS113-2-4の処理を続けて、ステップS112で受信した各種ボタン情報を取得する(ステップS113-3)。
続いて、判断部55は、取得したボタン情報がテキストグループの「非公開」ボタン(アイコン)であるかを判断する(ステップS113-3-1)。取得したボタン情報がテキストグループの「非公開」ボタン(アイコン)である場合(ステップS113-3-1:YES)、音声記録管理装置5は、後述する丸Gの処理に遷移する。
取得したボタン情報がテキストグループの「非公開」ボタン(アイコン)でない場合(ステップS113-3-1:NO)、判断部55は更に、取得したボタン情報がテキストグループの「公開」ボタン(アイコン)であるかを判断する(ステップS113-3-2)。取得したボタン情報がテキストグループの「公開」ボタン(アイコン)である場合(ステップS113-3-2:YES)、音声記録管理装置5は、後述する丸Hの処理に遷移する。
取得したボタン情報がテキストグループの「公開」ボタン(アイコン)でない場合(ステップS113-3-2:NO)、判断部55は更に、取得したボタン情報がテキストグループの「削除」ボタン(アイコン)であるかを判断する(ステップS113-3-3)。取得したボタン情報がテキストグループの「削除」ボタン(アイコン)である場合(ステップS113-3-3:YES)、音声記録管理装置5は、後述する丸Iの処理に遷移する。
取得したボタン情報がテキストグループの「削除」ボタン(アイコン)でない場合(ステップS113-3-3:NO)、音声記録管理装置5は、各種ボタン情報を取得4の処理に遷移する(ステップS113-3-4)。
図42Bは、第2の実施形態に係る各種ボタン操作により分岐される処理の一例を示すフローチャートである。図42Bにおいて、取得部52は、ステップS112で受信した各種ボタン情報を取得する(ステップS113-4)。
続いて、判断部55は、取得したボタン情報がキャプチャ画像の「非公開」ボタン(アイコン)であるかを判断する(ステップS113-4-1)。取得したボタン情報がキャプチャ画像の「非公開」ボタン(アイコン)である場合(ステップS113-4-1:YES)、音声記録管理装置5は、後述する丸Jの処理に遷移する。
取得したボタン情報がキャプチャ画像の「非公開」ボタン(アイコン)でない場合(ステップS113-4-1:NO)、判断部55は更に、取得したボタン情報がキャプチャ画像の「公開」ボタン(アイコン)であるかを判断する(ステップS113-4-2)。取得したボタン情報がキャプチャ画像の「公開」ボタン(アイコン)である場合(ステップS113-4-2:YES)、音声記録管理装置5は、後述する丸Kの処理に遷移する。
取得したボタン情報がキャプチャ画像の「公開」ボタン(アイコン)でない場合(ステップS113-4-2:NO)、判断部55は更に、取得したボタン情報がキャプチャ画像の「削除」ボタン(アイコン)であるかを判断する(ステップS113-4-3)。取得したボタン情報がキャプチャ画像の「削除」ボタン(アイコン)である場合(ステップS113-4-3:YES)、音声記録管理装置5は、後述する丸Lの処理に遷移する。
取得したボタン情報がテキストの「削除」ボタン(アイコン)でない場合(ステップS113-4-3:NO)、音声記録管理装置5は、各種ボタン情報を取得1の処理に遷移する(ステップS113-4-4)。つまり、音声記録管理装置5は、図28Aの処理に戻る。
<<テキストグループに対する非公開ボタン操作時の処理>>
次に、テキストグループに対する非公開ボタン操作時の処理について説明する。図43は、第2の実施形態に係るテキストグループに対する非公開ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図42Aで判断された遷移先としての丸Gの処理(ステップS113-3-101からステップS113-3-105)が実行される。
まず、音声記録管理装置5の記憶読出部59は、ステップS112で受信した要約内容を検索キーとして要約情報管理DB5008(図41参照)を検索することにより、対応するテキストグループIDを読み出す。続いて、設定登録部58は、処理の対象となるテキストグループのテキストグループIDに対応する各テキストの公開フラグを「False」に設定する。具体的には、設定登録部58は、テキスト情報管理DB5007(図40参照)で管理されている、読み出されたテキストグループIDに対応する各テキストの公開フラグを「False」に設定する(ステップS113-3-101)。
次に、取得部52は、テキストグループIDに対応し、各テキストに対応する画像識別情報を取得する。具体的には、取得部52は、テキストグループのテキストグループIDを検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する各テキストに関連付けられた画像識別情報を取得する(ステップS113-3-102)。
次に、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、取得した画像識別情報で示されるキャプチャ画像の公開フラグを「False」に設定する(ステップS113-3-103)。
次に、取得部52は、テキストグループIDを検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する各テキストの開始時刻及び終了時刻を取得する(ステップS113-3-104)。
続いて、設定登録部58は、取得した各時刻情報のうち、最も早い開始時刻及び最も遅い終了時刻の各時刻情報を、非公開音声管理DB5006(図9参照)に登録して(ステップS113-3-105)、このフローを抜ける。
●画面表示例●
図44は、第2の実施形態に係る通信端末におけるテキストグループに対する要約入力ボタン操作時の画面表示例である。作成者の通信端末3のディスプレイ318には、表制御部34によって、記録閲覧編集画面3171が表示される。図44では、図25に示した作成者の記録閲覧編集画面3151に対して、グループ指定領域3172と、グループ指定領域3172の近傍に表示される「要約入力」ボタン(アイコン)3561が、表示制御部34によって表示される。グループ指定領域3172は、例えば、作成者によるマウス3701のドラッグ&ドロップ操作によって指定、表示されるようにしてもよい。例えば、利用者は、記録閲覧編集画面3171の任意の始点Aからマウス3701をドラッグ操作し、任意の終点Bでマウス3701をドロップ操作して任意の領域を指定する。これにより、記録閲覧編集画面3171上に、図44に示したようなグループ指定領域3172が表示される。これにあわせて、算出特定部53と判断部55は、グループ指定領域3172が有する各頂点の座標値と各テキスト表示欄の各頂点の座標値とを比較して、どのテキスト表示欄がグループ指定領域3172内に存在するかを算出して特定する。このようにして、算出特定部53と判断部55は、どのテキスト表示欄がグループ指定領域3172に含まれるかを特定することができる。
また、「要約入力」ボタン(アイコン)3561は、領域指定されたグループ指定領域3172の近傍に対して行われたマウスオーバー操作にあわせて、表示制御部34によって表示される。
●画面表示例●
図45は、第2の実施形態に係る通信端末における要約情報入力ダイアログの画面表示例である。作成者の通信端末3のディスプレイ318には、図44に示した「要約入力」ボタン(アイコン)3561に対して操作が行われると、表示制御部34によって、要約入力ダイアログ3181が表示される。「要約入力」ダイアログ3181は、作成者が任意に指定したグループ指定領域3172を表す任意の要約(文)を入力するためのダイアログである。このダイアログに対して作成者が任意の単語、文、リンク先等の各種情報を入力し、「登録」ボタン(アイコン)3571を操作すると、入力された各種情報が確定され、音声記録管理装置5に送信される。
●画面表示例●
図46は、第2の実施形態に係る通信端末における要約表示欄を含む画面表示例である。作成者の通信端末3のディスプレイ318には、表示制御部34によって、記録閲覧編集画面3171が表示される。図46では、例えば、グループ指定領域3172の近傍においてマウスオーバー操作が行われると、表示制御部34によって吹き出し状の要約表示欄3191が表示される。この要約表示欄3191は、図45に示した「要約入力」ダイアログ3181に入力した要約内容(要約情報)が表示される。そして「編集」ボタン(アイコン)3581が操作されると、入力済みの要約情報を編集するための編集画面(ダイアログ画面)が表示される。このときの編集画面(ダイアログ画面)は、図45に示された要約入力ダイアログ3181と同じものでもよい。そして、要約入力ダイアログ3181で任意の要約内容に再編集され、「登録」ボタン(アイコン)3571が操作されると、再編集された内容が音声記録管理装置5に送信される。
また、図46に示したグループ指定領域3172の近傍に対して行われたマウスオーバー操作にあわせて、表示制御部34によって「非公開」ボタン(アイコン)3591が表示される。通信端末3では、「非公開」ボタン(アイコン)3591と同様に、「公開」ボタン(アイコン)及び「削除」ボタン(アイコン)が、表示制御部34によってそれぞれの状態に応じて表示される。
<<テキストグループに対する公開ボタン操作時の処理>>
次に、テキストグループに対する公開ボタン操作時の処理について説明する。図47は、第2の実施形態に係るテキストグループに対する公開ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図42Aで判断された遷移先としての丸Hの処理(ステップS113-3-201からステップS113-3-207)が実行される。
まず、音声記録管理装置5の記憶読出部59は、ステップS112で受信した要約内容を検索キーとして要約情報管理DB5008(図41参照)を検索することにより、対応するテキストグループIDを読み出す。続いて、設定登録部58は、処理の対象となるテキストグループのテキストグループIDに対応する各テキストの公開フラグを「True」に設定する。具体的には、設定登録部58は、テキスト情報管理DB5007(図40参照)で管理されている、読み出されたテキストグループIDに対応する各テキストの公開フラグを「True」に設定する(ステップS113-3-201)。
次に、取得部52は、テキストグループIDに対応し、各テキストに対応する画像識別情報を取得する。具体的には、取得部52は、テキストグループIDを検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する画像識別情報を取得する(ステップS113-3-202)。
次に、取得部52は、テキスト情報管理DB5007(図40参照)で管理され、取得した画像識別情報で示されるキャプチャ画像に対応する各テキストの公開フラグを取得する(ステップS113-3-203)。
続いて、判断部55は、取得した公開フラグが全て「True」であるかを判断する(ステップS113-3-204)。取得した公開フラグが全て「True」である場合(ステップS113-3-204:YES)、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理されている、取得した画像識別情報で示されるキャプチャ画像の画像識別情報に対応する公開フラグを「True」に設定する(ステップS113-3-205)。
続いて、取得部52は、テキストグループIDに対応する各テキストの開始時刻及び終了時刻の各時刻情報を取得する。具体的には、取得部52は、テキストグループIDを検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する各テキストの開始時刻及び終了時刻を取得する(ステップS113-3-206)。
続いて、設定登録部58は、取得した各時刻情報のうち、最も早い開始時刻及び最も遅い終了時刻の各時刻情報を、非公開音声管理DB5006(図9参照)から削除して(ステップS113-3-207)、このフローを抜ける。
他方、取得した公開フラグが全て「True」でない場合、すなわち、取得した公開フラグのうち、少なくとも一つが「False」である場合(ステップS113-3-204:NO)、音声記録管理装置5は、上述したステップS113-2-206及びステップS113-3-207の処理を実行してこのフローを抜ける。
<<テキストグループに対する削除ボタン操作時の処理>>
次に、テキストグループに対する削除ボタン操作時の処理について説明する。図48は、第2の実施形態に係るテキストグループに対する削除ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図42Aで判断された遷移先としての丸Iの処理(ステップS113-3-301からステップS113-3-307)が実行される。
まず、音声記録管理装置5の記憶読出部59は、ステップS112で受信した要約内容を検索キーとして要約情報管理DB5008(図41参照)を検索することにより、対応するテキストグループIDを読み出す。続いて、設定登録部58は、対象のテキストグループIDに対応する全てのテキストを空白に設定し、削除フラグを「True」に設定する。具体的には、設定登録部58は、テキスト情報管理DB5007(図40参照)で管理されている、読み出されたテキストグループIDに対応する全てのテキストを空白に設定し、対応する削除フラグを「True」に設定する(ステップS113-3-301)。
次に、取得部52は、対象のテキストグループIDに対応し、各テキストに対応する画像識別情報を取得する。具体的には、取得部52は、テキストグループIDを検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する画像識別情報を取得する(ステップS113-3-302)。
次に、取得部52は、テキスト情報管理DB5007(図40参照)で管理され、取得した画像識別情報で示されるキャプチャ画像に対応する各テキストの削除フラグを取得する(ステップS113-3-303)。
続いて、判断部55は、取得した削除フラグが全て「True」であるかを判断する(ステップS113-3-304)。取得した削除フラグが全て「True」である場合(ステップS113-3-304:YES)、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理されている、取得した画像識別情報で示されるキャプチャ画像の画像データを所定の画像データに置き換え(書き換え)、対応する削除フラグを「True」に設定する(ステップS113-3-305)。
続いて、取得部52は、対象のテキストグループIDに対応し、各テキストに対応する開始時刻及び終了時刻の各時刻情報を取得する。具体的には、取得部52は、テキストグループIDを検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、処理の対象となるテキストグループに対応する各テキストの開始時刻及び終了時刻を取得する(ステップS113-3-306)。
続いて、設定登録部58は、テキスト情報管理DB5007(図40参照)で管理されている削除フラグが「True」に設定されたテキストに対応する音声データであり、記録書誌情報管理DB5002(図6参照)で管理されている音声データのうち、最も早い開始時刻及び最も遅い終了時刻の間の音声データを削除(無音化)して(ステップS113-3-307)、このフローを抜ける。
他方、取得した削除フラグが全て「True」でない場合、すなわち、取得した削除フラグのうち、少なくとも一つが「False」である場合(ステップS113-3-304:NO)、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理されている、取得した画像識別情報で示されるキャプチャ画像に対応する削除フラグを「False」に設定し(ステップS113-3-308)、上述したステップS113-3-306及びステップS113-3-307の各処理を実行してこのフローを抜ける。
<<キャプチャ画像に対する非公開ボタン操作時の処理>>
次に、キャプチャ画像に対する非公開ボタン操作時の処理について説明する。図49は、第2の実施形態に係るキャプチャ画像に対する非公開ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図42Bで判断された遷移先としての丸Jの処理(ステップS113-4-101からステップS113-4-107)が実行される。
まず、設定登録部58は、対象キャプチャ画像を示す画像識別情報に対応する公開フラグを「False」に設定する。具体的には、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、非公開ボタン(アイコン)が操作された対象キャプチャ画像を示す画像識別情報に対応する公開フラグを「False」に設定する(ステップS113-4-101)。
次に、取得部52は、対象キャプチャ画像を示す画像識別情報に対応する各テキストを取得する。具体的には、取得部52は、処理の対象となるキャプチャ画像を示す画像識別情報を検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する各テキストを取得する(ステップS113-4-102)。
次に、算出特定部53は、取得した各テキストを検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応するテキストグループ(テキストグループID)を特定する(ステップS113-4-103)。
次に、判断部55は、テキストグループ(テキストグループID)を特定できたかを判断する(ステップS113-4-104)。テキストグループ(テキストグループID)を判断できた場合(ステップS113-4-104:YES)、設定登録部58は、テキスト情報管理DB5007(図40参照)で管理され、特定したテキストグループ(テキストグループID)に対応する全てのテキストの公開フラグを「False」に設定する(ステップS113-4-105)。
続いて、取得部52は、特定したテキストグループ(テキストグループID)を検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する全てのテキストの開始時刻及び終了時刻の各時刻情報を取得する(ステップS113-4-106)。
続いて、音声記録管理装置5は、図35で定義した処理X(ステップS113-2-103からステップS113-2-105)を実行して(ステップS113-4-107)、このフローを抜ける。
他方、テキストグループ(テキストグループID)を判断できなかった場合(ステップS113-4-104:NO)、音声記録管理装置5は、図35で定義した処理X(ステップS113-2-103からステップS113-2-105)を実行して(ステップS113-4-107)、このフローを抜ける。
<<キャプチャ画像に対する公開ボタン操作時の処理>>
次に、キャプチャ画像に対する公開ボタン操作時の処理について説明する。図50は、第2の実施形態に係るキャプチャ画像に対する公開ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図42Bで判断された遷移先としての丸Kの処理(ステップS113-4-201からステップS113-4-208)が実行される。
まず、設定登録部58は、対象キャプチャ画像を示す画像識別情報に対応する公開フラグを「True」に設定する。具体的には、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、公開ボタン(アイコン)が操作された対象キャプチャ画像を示す画像識別情報に対応する公開フラグを「True」に設定する(ステップS113-4-201)。
次に、取得部52は、対象キャプチャ画像を示す画像識別情報に対応する各テキストを取得する。具体的には、取得部52は、対象キャプチャ画像を示す画像識別情報を検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する各テキストを取得する(ステップS113-4-202)。
次に、算出特定部53は、取得した各テキストを検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応するテキストグループ(テキストグループID)を特定する(ステップS113-4-203)。
次に、判断部55は、テキストグループ(テキストグループID)を特定できたかを判断する(ステップS113-4-204)。テキストグループ(テキストグループID)を判断できた場合(ステップS113-4-204:YES)、設定登録部58は、テキスト情報管理DB5007(図40参照)で管理され、特定したテキストグループ(テキストグループID)に対応する全てのテキストの公開フラグを「True」に設定する(ステップS113-4-205)。
続いて、取得部52は、特定したテキストグループ(テキストグループID)に対応する各テキストの開始時刻及び終了時刻の各時刻情報を取得する。具体的には、取得部52、特定したテキストグループ(テキストグループID)を検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する各テキストの開始時刻及び終了時刻の各時刻情報を取得する(ステップS113-4-206)。
続いて、設定登録部58は、取得した各時刻情報のうち、最も早い開始時刻及び最も遅い終了時刻の各時刻情報を、非公開音声管理DB5006(図9参照)から削除する(ステップS113-4-207)。
続いて、音声記録管理装置5は、図37で定義した処理Y(ステップS113-2-203からステップS113-2-211)を実行して(ステップS113-4-208)、このフローを抜ける。
他方、テキストグループ(テキストグループID)を判断できなかった場合(ステップS113-4-204:NO)、音声記録管理装置5は、図37で定義した処理Y(ステップS113-2-203からステップS113-2-211)を実行して(ステップS113-4-208)、このフローを抜ける。
<<キャプチャ画像に対する削除ボタン操作時の処理>>
次に、キャプチャ画像に対する削除ボタン操作時の処理について説明する。図51は、第2の実施形態に係るキャプチャ画像に対する削除ボタン操作時の処理の一例を示すフローチャートである。このフローチャートでは、図42Bで判断された遷移先としての丸Lの処理(ステップS113-4-301からステップS113-4-308)が実行される。
まず、設定登録部58は、対象キャプチャ画像の画像データを所定の画像に置き換え、対象キャプチャ画像を示す画像識別情報に対応する削除フラグを「True」に設定する。具体的には、設定登録部58は、キャプチャ画像管理DB5004(図8A参照)で管理され、非公開ボタン(アイコン)が操作された処理の対象となるキャプチャ画像を示す画像識別情報に対応する公開フラグを「True」に設定する(ステップS113-4-301)。
次に、取得部52は、処理の対象となるキャプチャ画像を示す画像識別情報に対応する各テキストを取得する。具体的には、取得部52は、対象キャプチャ画像を示す画像識別情報を検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する各テキストを取得する(ステップS113-4-302)。
次に、算出特定部53は、取得した各テキストを検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応するテキストグループ(テキストグループID)を特定する(ステップS113-4-303)。
次に、判断部55は、テキストグループ(テキストグループID)を特定できたかを判断する(ステップS113-4-304)。テキストグループ(テキストグループID)を判断できた場合(ステップS113-4-304:YES)、設定登録部58は、テキスト情報管理DB5007(図40参照)で管理され、特定したテキストグループ(テキストグループID)に対応する全てのテキストを空白に設定し、削除フラグを「True」に設定する(ステップS113-4-305)。
続いて、取得部52は、特定したテキストグループ(テキストグループID)に対応する各テキストの開始時刻及び終了時刻の各時刻情報を取得する。具体的には、取得部52は、特定したテキストグループ(テキストグループID)を検索キーとしてテキスト情報管理DB5007(図40参照)を検索することにより、対応する各テキストの開始時刻及び終了時刻の各時刻情報を取得する(ステップS113-4-306)。
続いて、設定登録部58は、取得した各時刻情報のうち、最も早い開始時刻及び最も遅い終了時刻の間の音声データを、記録書誌情報管理DB5002(図6参照)から削除(無音化)する(ステップS113-4-307)。
続いて、音声記録管理装置5は、図38で定義した処理Z(ステップS113-2-303からステップS113-2-312)を実行して(ステップS113-4-308)、このフローを抜ける。
他方、テキストグループ(テキストグループID)を判断できなかった場合(ステップS113-4-304:NO)、音声記録管理装置5は、図38で定義した処理Z(ステップS113-2-303からステップS113-2-312)を実行して(ステップS113-4-308)、このフローを抜ける。
〔第2の実施形態の主な効果〕
以上説明したように本実施形態によれば、音声記録管理システムは、非公開、公開、削除を含む編集処理の対象となるテキストデータを纏めて設定する。これにより、第1の実施形態の効果に加えて、編集したい一以上のテキストデータを纏めて選択し、編集処理を行うことが可能になるため、音声記録の編集における操作性をさらに向上させることが可能になるという効果を奏する。
更に、本実施形態によれば、編集処理を行いたい一以上のテキストが含まれるテキストグループに対して要約内容を設定するため、利用者は、その要約内容に応じた編集の内容を選択しやすくなるという効果も期待できる。つまり、利用者は、一以上のテキストを纏めた要約内容を参考にすることで、編集処理の対象となる音声記録の一部を公開とするか、非公開とするか、更には、要約された部分の音声記録自体を削除すべきかといった判断をしやすくなるという効果も期待できる。
〔第3の実施形態〕
次に、図52乃至図68を用いて、第3の実施形態について説明する。第3の実施形態では、所定のテキストデータを編集処理した編集後テキストデータと所定の画像データを編集処理した編集後画像データとを含む編集後画面データで示される編集後画面に対して、所定の日時で分割する記録閲覧編集処理(記録閲覧編集画面の分割処理)を行うようにした。なお、第3の実施形態に係る通信システム1を構成する各ハードウエア資源は、第1の実施形態と同様である。ここで、図52は、第3の実施形態に係る通信システムの機能構成の一例を示す図である。第3の実施形態に係る通信システムにおいても、各ハードウエア資源と協働で動作する各機能の機能構成は、第1の実施形態と同様である。そのため、図27に示した記録閲覧編集画面の生成処理(ステップS101-S106)に係るシーケンス図は、第3の実施形態においても同様に適用される。
但し、第3の実施形態では、以下に説明する各データテーブルの内容が第1の実施形態と異なるため、それぞれの相違点について説明する。
●記録書誌情報管理テーブル●
図53は、記録書誌情報管理テーブルの一例を示す概念図である。記憶部5000には、図53に示されているような記録書誌情報管理テーブルによって構成された記録書誌情報管理DB5302が構築されている。第1の実施形態における記録書誌情報管理DB5002との相違点は、各記録識別情報のタブごとに、「参加者」及び「会議メモ」の項目が追加されている点である。なお、後述する図58等に記載された記録閲覧編集画面の中の概要(議題)欄に表示される内容は、記録書誌情報管理テーブルで管理されている「記録名称」の項目の内容に対応する。
●テキスト情報管理テーブル●
図54は、第3の実施形態に係るテキスト情報管理テーブルの一例を示す概念図である。記憶部5000には、図54に示されているようなテキスト情報管理テーブルによって構成されたテキスト情報管理DB5303が構築されている。第1の実施形態におけるテキスト情報管理DB5003との相違点は、各記録識別情報のタブごとに、ブックマークの項目が追加されている点である。このブックマークは、記録閲覧編集画面のそれぞれのテキストの近傍に表示されるブックマークボタン(アイコン)を利用者が操作することにより関連付けられるフラグである。このブックマークは、例えば、通常時「False」の値(フラグ)で管理され、上述したように利用者が所定のテキストに対してブックマークボタン(アイコン)を操作することにより、「True」の値(フラグ)で管理される。
●キャプチャ画像管理テーブル●
図55は、第3の実施形態に係るキャプチャ画像管理テーブルの一例を示す概念図である。記憶部5000には、図54に示されているようなキャプチャ画像管理テーブルによって構成されたキャプチャ画像管理DB5304が構築されている。第1の実施形態におけるキャプチャ画像管理DB5004との相違点は、各記録識別情報のタブごとに、公開フラグ及び削除フラグの各項目が削除されている点である。
<<通信端末の各機能構成>>
第3の実施形態では、通信端末3において以下の各機能に係る詳細が追加されるため、それらの機能について詳細に説明する。
通信端末3の表示制御部34は、主に、ディスプレイ318に対するCPU301の処理によって実現され、通信端末3における各種画面及び情報(データ)の表示制御を行う。また、表示制御部34は、例えば、ブラウザを用いて、HTML等により作成された表示画面を、ディスプレイ318に表示させる。また表示制御部34は、音声記録管理装置5が送信した分割編集後画面データに係る分割編集後画面をディスプレイ318に表示する。また表示制御部34は、音声記録管理装置5が送信した分割編集後画面データに含まれるブックマーク情報を分割編集後画面に含めて、ディスプレイ318に表示する。本実施形態において表示制御部34は、表示制御手段の一例として機能する。
音声再生部36は、主に、スピーカ316及び音入出力I/F317に対するCPU301の処理によって実現され、通信端末3を利用する利用者に対して音声情報(音声データ)又は音情報(音データ)を再生する。また音声再生部36は、音声記録管理装置5が送信した分割編集後音声データに係る分割編集後音声を再生する。また音声再生部36は、所定のテキストデータを分割した分割日時よりも前の日時であって、分割日時に最も近い日時に開始された発話の終了日時が分割日時を跨ぐ場合に、発話の終了日時を分割日時として分割され音声記録管理装置5が送信した分割編集後音声データに係る分割編集後音声を再生する。本実施形態において音声再生部38は、音声再生手段の一例として機能する。
<<音声記録管理装置の各機能構成>>
第3の実施形態では、音声記録管理装置5において以下の各機能に係る詳細が追加されるため、それらの機能について詳細に説明する。
音声記録管理装置5の送受信部51は、主に、近距離通信I/F508及びネットワークI/F511に対するCPU501の処理によって実現され、通信ネットワーク100を介して通信端末3との間でそれぞれ各種データ(又は情報)の送受信を行う。また、送受信部51は、通信端末3が送信した編集要求として、編集後画面に表示された所定の領域を分割するための分割操作指示要求を受信する。また、送受信部51は、分割操作指示要求に応じて、所定のテキストデータを分割処理した分割編集後テキストデータと所定の画像データを分割処理した分割編集後画像データとを含む分割編集後画面データを、通信端末3に対して送信する。また、送受信部51は、領域分割要求に応じて、分割編集後画面データに含まれる所定のテキストデータを含む所定のブックマーク情報を通信端末3に対して送信する。送受信部51は更に、所定の音声データを分割処理した分割編集後音声データを、通信端末3に対して送信する。本実施形態において送受信部51は、送信手段及び受信手段のうち少なくとも一方の手段の一例として機能する。
<記録(イベント)選択処理>
続いて、第3の実施形態に係る記録(イベント)選択処理について説明する。上述したように、第3の実施形態では、第1の実施形態と同様に適用される記録閲覧編集画面の生成処理(ステップS101-S106)は、予め実行されていることを前提とするため、ここでの説明を省略する。
●画面表示例●
図56は、第3の実施形態に係る通信端末における記録選択時の画面表示例である。通信端末3のディスプレイ318には、上述したステップS89の処理が実行されることにより、表示制御部34によって記録選択画面3341が表示される。記録選択画面3341には、例えば、会議等のイベントの記録内容(議事録等)を示す日付、イベントタイトル、議事録共有ボタン(アイコン)3535が一揃えとして選択可能な表示形態で表示される。これにより、例えば、議事録を作成する通信端末3(A)の利用者は、任意の日付及びイベントタイトルで表された所定のイベントに対応付けられた議事録共有ボタン(アイコン)3535を操作して選択することができる。本実施形態では、「2021/3/31 11:00:00-12:00:00」を日付情報として与えられた「ヘルスケア事業業績報告会」のイベントに対応する議事録共有ボタン(アイコン)3535が、利用者によって選択された場合が示されている。具体的には、通信端末3(A)の利用者が、記録選択画面3341中の所定のイベントタイトルをマウスオーバー操作によってマウスポインタ(カーソル)3701を翳すと、マウスポインタ(カーソル)3701によって翳されたイベントタイトルに対応付けられた議事録共有ボタン(アイコン)3535が表示される。そこで、通信端末3(A)の利用者は、議事録共有ボタン(アイコン)3535をクリック等で作することによって、所定のURLとパスコードを含むダイアログにアクセスすることが可能となる(ダイアログ画面は第1の実施形態と同様のため、説明を省略する)。通信端末3(A)の利用者は、このダイアログに所定のURLとパスコードを入力することにより、第1の実施形態と同様に、記録閲覧編集画面へのアクセスが可能になる。
<記録閲覧画面の編集処理>
次に、第3の実施形態に係る記録閲覧画面の編集処理について説明する。図57は、第3の実施形態に係る記録閲覧画面の編集処理の一例を示すシーケンス図である。まず、通信端末3の表示制御部34は、ディスプレイ318にステップS106で生成された記録閲覧編集画面を表示し、操作受付部32は、利用者(作成者)により編集操作指示の一例としての分割操作を受け付ける(ステップS311)。なお、第3の実施形態における「分割」処理も、第1の実施形態及び第2の実施形態で示した「編集」処理の一例として扱割れる。
●画面表示例●
図58は、第3の実施形態に係る作成者の通信端末の記録閲覧編集画面の画面表示例である。通信端末3のディスプレイ318には、上述したステップS311の処理(S106と同様の処理)が実行されることにより、表示制御部34によって記録閲覧編集画面3361が表示される。記録閲覧編集画面3361には、図25に示した記録閲覧編集画面3151と同様に、例えば、「概要(議題)」、「参加者」、「会議メモ」の各入力欄、音声再生表示部3601及びブックマーク表示欄3603が表示される。記録閲覧編集画面3361には、更に、少なくとも一以上のテキスト表示欄が表示される。記録閲覧編集画面3361には、更に、画面キャプチャ処理によってキャプチャ処理された画面3、画面4及び画面5が、それぞれキャプチャ処理された時刻ごとに、各テキスト表示欄に表示された各テキストと対応付けて表示される。なお、記録閲覧編集画面3361が表示される通信端末3の利用者は、例えば、音声記録(議事録)の作成者である「理光太郎」である。
記録閲覧編集画面3361では、例えば、各テキスト表示欄の近傍にマウス3701が置かれる操作(マウスオーバー操作)が行われた場合、表示制御部34によって、「音声再生」ボタン(アイコン)3543、「削除」ボタン(アイコン)3544及び「ブックマーク」ボタン(アイコン)3602が、マウスオーバー操作されたテキスト表示欄の近傍に表示される。第3の実施形態で新たに設けられた「ブックマーク」ボタン(アイコン)3602は、利用者によって選択された所望のテキストに対してブックマークとしてブックマーク表示欄3603に表示させるためのボタン(アイコン)である。利用者は、「ブックマーク」ボタン(アイコン)3602を操作することにより、利用者が選択した特定のテキストをブックマーク表示欄3603に表示させることができる。
なお、利用者が「ブックマーク」ボタン(アイコン)3602を操作(クリック)すると、通信端末3は、後述するように、テキスト識別情報、記録識別情報及びブックマーク要求を音声記憶管理装置5に送信する。音声記憶管理装置5は、テキスト識別情報と記録識別情報に基づいてテキスト情報管理DB5303(図53参照)を参照し、当該テキストを特定して「ブックマーク」の項目の項目値を「true」に設定する。その後、音声記憶管理装置5は、設定が成功した通知を通信端末3に送信する。この通知を受信することにより、通信端末3は、当該テキストの「ブックマーク」ボタン(アイコン)3602の表示態様をオフ(OFF)からオン(ON)に切り替え、ブックマーク表示欄3603に表示させることが可能になる。
記録閲覧編集画面3361では更に、テキストグループ及びそのテキストグループに対応する画像を区切るための所定の時間間隔(例えば、30秒)で区切られた区切り線(日時表示部(「11:02:00」等))の近傍にマウス3701が置かれる操作(マウスオーバー操作)が行われた場合に、例えば、ハサミの形状をした分割ボタン(アイコン)3604が表示される。この状態で利用者は、例えば、分割ボタン(アイコン)3604をクリックすることで、表示制御部34は、次に説明する会議ログの分割ダイアログを分割ボタン(アイコン)3604の近傍にポップアップ表示させる。
具体的な処理の一例として、音声記録管理装置5では、分割ボタン(アイコン)3604と対応する区切り線(日時表示部)で示される日時とが画面の画面データにおいて対応付けられている。この状態で利用者により分割ボタン(アイコン)3604がクリックされると、通信端末3はこの分割ボタン(アイコン)3604に対応する日時情報を取得する。そして、利用者によりダイアログの「分割する」ボタン(アイコン)がクリックされると(ステップS311)、取得した分割日時情報、音声記録の記録識別情報、及び分割操作指示要求を音声記録管理装置5に送信する(ステップS312)。
●画面表示例●
図59は、第3の実施形態に係る作成者の通信端末の記録閲覧編集画面の他の画面表示例である。通信端末3のディスプレイ318には、分割ボタン(アイコン)3604への操作が実行されることにより、表示制御部34によって会議ログ分割ダイアログ3362が分割ボタン(アイコン)3604の近傍にポップアップ表示される。利用者は、会議ログ分割ダイアログ3362の「分割する」ボタン(アイコン)をマウス3701でクリック等の操作を行うことができる。
図57に戻り、送受信部31は、音声記録管理装置5に対して、分割操作指示要求を送信する(ステップS312)。これにより、音声記録管理装置5の送受信部51は、通信端末3が送信した分割操作指示要求を受信する。このとき、分割操作指示要求には、以下の三つの情報のうち、少なくとも一つの情報が含まれる。一つは、対象のテキストを識別するテキスト識別情報、対象の画像を識別する画像識別情報と上述した分割操作ボタンに対して行われた分割操作ボタン情報が含まれる。なお、分割操作指示要求は、通信端末3が音声記録管理装置5に対して送信する記録閲覧画面の分割処理を行うための要求の一例である。
次に、音声記録管理装置5は、ステップS312で受信した分割操作指示要求に対する応答として分割操作指示応答を送信する(ステップS313)。これにより、通信端末3の送受信部31は、音声記録管理装置5が送信した分割操作指示応答を受信する。このとき、分割操作指示応答には、分割操作指示の受付IDが含まれる。これにより、通信端末3は、後述する図60に示すダイアログ画面をディスプレイ318に表示させることができる。
次に、操作受付部32は、ダイアログ画面に対する「OK」ボタン操作を受け付ける(ステップS314)。具体的には、操作受付部32は、ステップS313で送受信された分割操作指示の受付IDに基づいて音声記録管理装置5により表示されたダイアログ画面に対する利用者による「OK」ボタンの操作を受け付ける。なお、利用者によって「OK」ボタンへの操作が行われると、表示制御部34は操作受付部32を介して、分割開始通知ダイアログ3363及び会議ログ分割ダイアログ3362を消去し、元の画面に遷移させる。なお、ステップS314の処理において、通信端末3は、所定のアプリを起動して、通信端末3で生成したダイアログ画面を表示するようにしてもよい。通信端末3は更に、ステップS314の処理において、ステップS313で音声記録管理装置5が送信したダイアログ画面に係る画面データを通信端末3に表示させるようにしてもよい。
●画面表示例●
図60は、第3の実施形態に係る作成者の通信端末の記録閲覧編集画面の他の画面表示例である。通信端末3のディスプレイ318には、図58で示した「分割する」ボタン(アイコン)への操作が実行されることにより、表示制御部34によって例えば、分割開始通知ダイアログ3363が会議ログ分割ダイアログ3362に重畳するようにポップアップ表示される。これにより、利用者は、分割開始通知ダイアログ3363の「OK」ボタン(アイコン)をマウス3701でクリック等の操作を行うことができる。
再度図57に戻り、音声記録管理装置5は、記録閲覧編集画面の分割処理を行う(ステップS321)。ここで、記録閲覧編集画面の分割処理には、上述した分割処理が含まれる。また、この記録閲覧編集画面の分割処理においては、記録書誌情報管理DB5302(図53参照)、テキスト情報管理DB5303(図54参照)及びキャプチャ画像管理DB5304(図55参照)がそれぞれ用いられる。なお、ステップS321の処理は、上述したステップS314の処理と非同期で実行されるため、どちらの処理が先に実行されてもかまわない。
<<記録閲覧編集画面の分割処理の詳細>>
ここで、ステップS321の記録閲覧編集画面の分割処理の詳細について説明する。図61は、第3の実施形態に係る記録閲覧編集画面の分割処理の一例を示すフローチャートである。まず、音声記録管理装置5の送受信部51は、音声記録の記録識別情報、分割時刻及び分割要求を受信する(ステップS321-1)。なお、ステップS321-1の処理は、上述したステップS312の処理に相当し、分割要求にはテキスト識別情報、画像識別情報、分割操作ボタン情報が含まれる。
次に、算出特定部53は、テキスト情報管理テーブル(テキスト情報管理DB5303(図54参照))から記録識別情報に対応するものを特定し、開始時刻が分割時刻より前のレコードと分割時刻以降のレコードとを特定する(ステップS321-2)。具体的には、算出特定部53は、テキスト識別情報及び分割時刻を検索キーとしてテキスト情報管理DB5303を検索することにより、開始時刻が分割時刻より前のレコードと、分割時刻以降のレコードを特定する。
次に、設定登録部58は、それぞれに基づいてテキスト情報管理テーブルを更新して登録する(ステップS321-3)。具体的には、設定登録部58は、ステップS321-2で特定された開始時刻が分割時刻より前のレコードと終了時刻が分割時刻以降のレコードとに基づいて、新しく設定された分割前の記録識別情報のタブと分割後の記録識別情報のタブとで関連付けられた二つのテキスト情報管理テーブル(テキスト情報管理DB5303)を更新して登録する。
図62は、第3の実施形態に係る記録閲覧編集画面の分割処理後のテキスト情報管理テーブルの一例を示す概念図で、(a)は分割された一つ目の音声記録画面を構成するテキスト情報管理テーブルの概念図、(b)は分割された二つ目の音声記録画面を構成するテキスト情報管理テーブルの概念図である。図62(a)では、新しく設定された分割後の記録識別情報「R5301」のタブに関連付けられたテキスト情報管理テーブルが示されている。具体的には、テキスト識別情報「TX3006」に対応する終了時刻が、設定登録部58によって「2分00秒」に更新される。このとき、「2分00秒」は、図58で示した日時表示部(「11:02:00」)で分割された場合の日時情報に対応する時間である。なお、テキスト情報識別情報に対応するそれぞれのブックマークの項目はすべて「False」が設定されており、このテーブルで管理されている発話内容については、ブックマーク処理が行われなかったことを示している。
図62(b)では、新しく設定された分割後の記録識別情報「R5302」のタブに関連付けられたテキスト情報管理テーブルが示されている。具体的には、テキスト識別情報「TX3007」、「TX3008」、「TX3009」、・・・にそれぞれ対応する開始時刻及び終了時刻が、設定登録部58によって更新して登録される。より具体的には、テキスト識別情報「TX3007」に対応する開始時刻は「0分5秒」、終了時刻は「0分12秒」となる。これらの時刻は、「まず共有画面をご覧ください。」の内容の発話が開始された開始日時(開始時刻)及び終了された終了日時(終了時刻)を表している。同様に、テキスト識別情報「TX3008」に対応する開始時刻は「0分18秒」、終了時刻は「0分23秒」となる。これらの時刻は、「2020年度下期の売り上げは○○です。」の内容の発話が開始及び終了された各時刻を表している。同様に、テキスト識別情報「TX3009」に対応する開始時刻は「0分25秒」、終了時刻は「0分28秒」となる。これらの時刻は、「営業利益は△△です。」の内容の発話が開始及び終了された各時刻を表している。なお、テキスト情報識別情報に対応するブックマークの項目のうち、テキスト識別情報「TX3008」に対応するブックマークに「True」が設定されている。つまり、このテーブルで管理されている発話内容については、テキスト識別情報「TX3008」に対応するテキストに対してブックマーク処理が行われたことを示している。
図61に戻り、算出特定部53は、キャプチャ画像管理テーブル(キャプチャ画像管理DB5304(図55参照))から記録識別情報に対応するものを特定し、取得時刻が分割時刻より前のレコードと、分割時刻以降のレコードとを特定する(ステップS321-4)。具体的には、算出特定部53は、分割ボタン(アイコン)3604が操作された日時表示部に表示された日時に対応する取得時刻を検索キーとしてキャプチャ画像管理DB5304を検索することにより、対応する画像データパスを読み出して特定する。このとき、算出特定部53は、例えば、記録書誌情報管理DB5002(図53参照)の開始日時と経過時間とに基づいて、実際の開始時刻を算出する。これは、テキスト情報管理DB5303(図54参照)及びキャプチャ画像管理DB5304(図55参照)において、会議等のイベント開始時刻からの経過時間が記録、管理されているためであり、算出特定部53は、記録書誌情報管理DB5002の開始日時と経過時間とに基づいて、実際の開始時刻を算出する。
次に、設定登録部58は、それぞれに基づいてテキスト情報管理テーブルを更新して登録する(ステップS321-5)。具体的には、設定登録部58は、ステップS321-4で特定された分割時刻より前のレコードと、分割時刻以降のレコードとに基づいて、新しく設定された分割前の記録識別情報のタブと分割後の記録識別情報のタブとで関連付けられた二つのキャプチャ画像管理テーブル(キャプチャ画像管理DB5304)を更新して登録する。
図63は、第3の実施形態に係る記録閲覧編集画面の分割処理後のキャプチャ画像管理テーブルの一例を示す概念図で、(a)は分割された一つ目の音声記録画面を構成するキャプチャ画像管理テーブルの概念図、(b)は分割された二つ目の音声記録画面を構成するキャプチャ画像管理テーブルの概念図である。図63(a)では、新しく設定された分割後の記録識別情報「R5301」のタブに関連付けられたキャプチャ画像管理テーブルが示されている。具体的には、画像識別情報「IM0003」、「IM0004」、・・・に対応する各取得時刻及び各画像データパスが、設定登録部58によって予め登録されていた内容で引き継がれている状態を示している。
図63(b)では、新しく設定された分割後の記録識別情報「R5302」のタブに関連付けられたキャプチャ画像管理テーブルが示されている。具体的には、画像識別情報「IM0005」に対応する取得時刻が、設定登録部58によって「0分00秒」に更新される。より具体的には、分割された二つ目の音声記録に関しては、分割された日時を示す日時表示部が「11:02:00」を示していたことから、この日時に対応する取得時刻「2分00秒」は、設定登録部58によって「0分00秒」に更新される。
再び図61に戻り、算出特定部53は、記録書誌情報管理テーブル(記録書誌情報管理DB5302(図53参照))から記録識別情報に対応する記録書誌情報を特定する(ステップS321-6)。具体的には、算出特定部53は、分割された日時を示す日時表示部が「11:02:00」を示していたことから、この日時を含む記録書誌情報を有する記録書誌情報のタブを特定する。
次に、取得部52は、音声データパスから音声データを取得する(ステップS321-7)。具体的には、取得部52は、分割された日時を示す日時表示部が「11:02:00」を示していたことから、この日時を含む記録書誌情報を有する記録書誌情報のタブで管理されている音声データパスを取得する。この場合、取得される音声データパスは、例えば、「・・・/00005006/record.mp3」である。
次に、生成・処理部57は、分割時刻より前の部分音声データと、分割時刻以降の部分音声データとを生成し、それぞれに対応するイベントURLを生成する(ステップS321-8)。
次に、設定登録部58は、音声データのパスとイベントURLとに基づいて記録書誌情報管理テーブルを更新して登録し、このフローを抜ける(ステップS321-9)。
図64Aは、第3の実施形態に係る記録閲覧編集画面の分割処理後の記録書誌情報管理テーブルの一例を示す概念図で、分割された一つ目の音声記録画面を構成する記録書誌情報管理テーブルの概念図である。図64Aでは、新しく設定された分割後の記録識別情報「R5301」のタブに関連付けられた記録書誌情報管理テーブルが示されている。具体的には、設定登録部58によって記録名称が「分割1_ヘルスケア事業業績報告会」に更新される。更に、設定登録部58によって終了日時が「2021/03/31 11:02:00」に更新される。更に、設定登録部58によって音声データパスが「・・・/00005301/record.mp3」に更新される。更に、イベントURLが、設定登録部58によって「https://・・・/00005301」に更新される。
図64Bは、第3の実施形態に係る記録閲覧編集画面の分割処理後の記録書誌情報管理テーブルの一例を示す概念図で、分割された二つ目の音声記録画面を構成する記録書誌情報管理テーブルの概念図である。図64Bでは、新しく設定された分割後の記録識別情報「R5302」のタブに関連付けられた記録書誌情報管理テーブルが示されている。具体的には、設定登録部58によって記録名称が「分割2_ヘルスケア事業業績報告会」に更新される。更に、設定登録部58によって開始日時が「2021/03/31 11:02:00」に更新される。更に、設定登録部58によって音声データパスが「・・・/00005302/record.mp3」に更新される。更に、イベントURLが、設定登録部58によって「https://・・・/00005302」に更新される。
なお、上述したステップS321において特定、更新された各レコードを含む分割後の音声記録画面は、利用者が分割された所望のイベントを示すイベントURLとパスコードとを入力した場合(上述したステップS101の処理が実行された場合)に、通信端末3において表示される。
<分割後の記録選択画面表示>
続いて、分割後の記録(イベント)の選択、及び選択されたそれぞれの選択画面の表示について説明する。
●画面表示例●
図65は、第3の実施形態に係る通信端末における記録閲覧編集画面の分割処理後の記録選択時の画面表示例である。通信端末3のディスプレイ318には、上述したステップS89の処理が実行されることにより、表示制御部34によって記録選択画面3341が表示される。第3の実施形態に係る記録選択画面3341には、図56で説明した内容に加えて、分割された二つのイベント新たに表示される。本実施形態では、「2021/3/31 11:00:00-11:02:00」を日付情報として与えられた「分割1_ヘルスケア事業業績報告会」と、「2021/3/31 11:02:00-11:02:00」を日付情報として与えられた「分割2_ヘルスケア事業業績報告会」の二つのイベントタイトル及びそれらに対応する議事録共有ボタン(アイコン)が新たに表示される。これにより、議事録を作成する通信端末3(A)の利用者は、新たに表示されたイベントのいずれかのイベントタイトルをマウスオーバー操作によってマウスポインタ(カーソル)3701を翳すことにより、マウスポインタ(カーソル)3701によって翳されたイベントタイトルに対応付けられた議事録共有ボタン(アイコン)を操作することができる。そこで、通信端末3(A)の利用者は、所望のイベントの議事録共有ボタン(アイコン)3535をクリック等で操作することによって、所定のURLとパスコードを含むダイアログにアクセスすることが可能となる。なお、ポップアップ表示されるダイアログ画面は第1の実施形態と同様のため、その説明を省略する。通信端末3(A)の利用者は、このダイアログに所定のURLとパスコードを入力することにより、第1の実施形態と同様に、記録閲覧編集画面へのアクセスが可能になる。また、利用者は、所望のイベントタイトルを操作(クリック、タップ等)することにより、操作したイベントの音声記録画面を開くことができる。図65では、「分割1_ヘルスケア事業業績報告会」のイベントに対する操作が利用者によって行われる例が示されている。ここで、音声記録管理装置5は、議事録共有ボタン(アイコン)を操作した利用者と分割された音声記録に参加した利用者の識別情報を管理することにより、議事録共有ボタン(アイコン)を操作した利用者が分割された議事録に係るイベントの閲覧を制限するようにしてもよい。具体的には、例えば、議事録共有ボタン(アイコン)を操作した利用者が分割された議事録で示されるイベントに参加していない場合は、音声記録管理装置5は、その利用者に対して分割された議事録の閲覧を禁止するようにしてもよい。なお、本実施形態においては、イベントに係る音声記録の分割は二つに限らず、三つ以上の分割を行うものであってもよい。
●画面表示例●
図66は、第3の実施形態に係る作成者以外の利用者の通信端末に表示される分割された一つ目の音声記録画面の画面表示例である。通信端末3のディスプレイ318には、上述した「分割1_ヘルスケア事業業績報告会」のイベントタイトルへの操作が利用者によって実行されることにより、表示制御部34によって音声記録画面3361が表示される。音声記録画面3361には、図58に示した記録閲覧編集画面3361と同様に、例えば、「概要(議題)」、「参加者」、「会議メモ」の各入力欄、音声再生表示部及びブックマーク表示欄3603が表示される。記録閲覧編集画面3361には、更に、少なくとも一以上のテキスト表示欄が表示される。記録閲覧編集画面3361では、図58で示した11:01:30の日時表示部より前の各テキスト、及びそれらのテキストに対応付けられた画面3及び画面4が表示される。なお、記録閲覧編集画面3361が表示される通信端末3の利用者は、例えば、音声記録(議事録)の閲覧者である「海老名二郎」である。なお、音声記録画面3361に含まれるブックマーク表示欄3603には、表示される内容が無いことが示されている。
●画面表示例●
図67は、第3の実施形態に係る通信端末における記録閲覧編集画面の分割処理後の記録選択時の他の画面表示例である。図67で表示される表示内容は、図65で説明した記録選択画面3341の表示内容と同様であり、利用者による操作も同様の手順が可能であるため、説明を省略する。図67では、「分割2_ヘルスケア事業業績報告会」のイベントに対する操作が利用者によって行われる例が示されている。ここで、音声記録管理装置5は、議事録共有ボタン(アイコン)を操作した利用者と分割された音声記録に参加した利用者の識別情報を管理することにより、議事録共有ボタン(アイコン)を操作した利用者が分割された議事録に係るイベントの閲覧を制限するようにしてもよい。具体的には、例えば、議事録共有ボタン(アイコン)を操作した利用者が分割された議事録で示されるイベントに参加していない場合は、音声記録管理装置5は、その利用者に対して分割された議事録の閲覧を禁止するようにしてもよい。なお、本実施形態においては、イベントに係る音声記録の分割は二つに限らず、三つ以上の分割を行うものであってもよい。
●画面表示例●
図68は、第3の実施形態に係る作成者以外の利用者の通信端末に表示される分割された二つ目の音声記録画面の画面表示例である。通信端末3のディスプレイ318には、上述した「分割2_ヘルスケア事業業績報告会」のイベントタイトルへの操作が利用者によって実行されることにより、表示制御部34によって音声記録画面3361が表示される。音声記録画面3361には、図58に示した記録閲覧編集画面3361と同様に、例えば、「概要(議題)」、「参加者」、「会議メモ」の各入力欄、音声再生表示部及びブックマーク表示欄3603が表示される。記録閲覧編集画面3361には、更に、少なくとも一以上のテキスト表示欄が表示される。記録閲覧編集画面3361では、図58で示した11:02:00の日時表示部以降の各テキスト、及びそれらのテキストに対応付けられた画面3及び画面4が表示される。なお、記録閲覧編集画面3361が表示される通信端末3の利用者は、例えば、音声記録(議事録)の閲覧者である「海老名二郎」である。なお、図68に示した音声記録画面3361には、ブックマーク表示欄3603には、「2021/03/31 11:02:18」に発話された「2020年度下期の売上は○○です。」の内容のテキストがブックマークとして表示されている。これは、ブックマークされた部分は「分割2_ヘルスケア事業業績報告会」のイベントに含まれるため、この画面に反映される。
上述したように、第3の実施形態では、編集後画面を分割した結果、ブックマークも分割されることが特徴になっている。更に、通信端末3は、音声記録管理装置5が送信した分割音声データに係る分割音声を、分割画像の表示とあわせて再生させることができる。
〔第3の実施形態の主な効果〕
以上説明したように本実施形態によれば、音声記録管理システム2の音声記録管理装置5は、通信端末3が送信した編集要求として、記録閲覧編集画面に表示された所定の領域を分割するための分割操作指示要求を受信し(S312)、分割操作指示要求に応じて、所定のテキストデータを分割処理して得られた分割編集後テキストデータと、所定の画像データを分割処理して得られた分割編集後画像データと、を含む分割編集後画面データを、通信端末3に対して送信する(S105)。その後、通信端末3は、音声記録管理装置5が送信した分割編集後画面データに係る分割編集後画面(記録閲覧編集画面)を通信端末3のディスプレイ318に表示させる(S106)。これにより、第1の実施形態の効果に加えて、作成した会議議事録等が表示される音声記録画面に対して会議等の参加者に無関係な画面を分割編集し、必要な情報だけをその情報を必要とする参加者に閲覧させることが可能になる。その結果、音声記録画面に表示される表示画面データ、音声再生される音声データ等の秘匿性を向上させることが可能になるという効果を奏する。
更に、本実施形態によれば、音声記録管理装置5は、各分割編集後画面データに含まれる所定のブックマーク情報を含めた各分割編集後画面データを送信し、通信端末3は、分割された各分割編集後画面データに含まれるテキスト及び画面に対応付けられたブックマークをブックマーク表示欄4603に表示させる。これにより、第1の実施形態の効果に加えて、ブックマーク処理したテキストについても、分割された画面に対応させて表示又は非表示させることが可能になる。その結果、利用者に対して音声記録画面における編集の利便性をさらに向上させることが可能になるという効果も期待できる。
〔第3の実施形態の変形例〕
次に、図69乃至図71を用いて、第3の実施形態の変形例について説明する。第3の実施形態では、分割時刻を基準に音声データを分割していたが、分割日時(時刻)の直前の発話が分割日時(時刻)を跨いでいると、発話の途中で発話に伴う音声データが分割されてしまうことになる。一方テキストデータは、開始日時(時刻)を基準に分割されるため、音声データとテキストデータとの整合が取れなくなってしまう。
そこで、第3の実施形態の変形例では、記録閲覧編集画面における切れ目のテキスト(音声)の終了日時(終了時刻)が分割日時(分割時刻)より後である場合に、分割日時(分割時刻)を当該テキスト(音声)の終了日時(終了時刻)に変更させて、変更後の終了日時(終了時刻)で、テキストデータ、画像データ及び音声データを分割する。このようにすることにより、記録閲覧編集画面の分割処理においても音声データを途切れさせることなく、適切に分割することができるようにする。なお、第3の実施形態の変形例においても、第3の実施形態と同様に、第1の実施形態で利用されたシステム構成、ハードウエア構成及び各ハードウエア資源、並びに、各ハードウエア資源を利用した各機能構成によって実現される。
<<記録閲覧編集画面の分割処理の詳細>>
ここで、ステップS321の記録閲覧編集画面の分割処理の変形例における詳細について説明する。図69は、第3の実施形態の変形例に係る記録閲覧編集画面の分割処理の一例を示すフローチャートである。まず、音声記録管理装置5の送受信部51は、音声記録の記録識別情報、分割時刻及び分割要求を受信する(ステップS321-21)。なお、ステップS321-1の処理は、上述したステップS312の処理に相当し、分割要求にはテキスト識別情報、画像識別情報、分割操作ボタン情報が含まれる。
次に、取得部52は、テキスト情報管理テーブル(テキスト情報管理DB5303(図54参照))から記録識別情報に対応するものを特定し、開始時刻が分割時刻より前のレコードのうち、最後のレコードの終了時刻情報を取得する(ステップS321-22)。具体的には、取得部52は、テキスト情報管理DB5303(図54参照)から記録識別情報「R5006」のレコードを参照し、開始時刻が分割時刻より前のレコードのうち最後のレコードの終了時刻情報を取得する。すなわち、取得部52は、開始時刻が「1分59秒」に発話された「本日の議題はヘルスケア事業の業績です。」のレコードの終了時刻「2分02秒」の時刻情報を取得する。
次に、判断部55は、取得した終了時刻が分割時刻より後かを判断する(ステップS321-23)。取得した終了時刻が分割時刻より後である場合(ステップS321-23:YES)、算出特定部53は、取得した終了時刻を分割時刻にして次のステップS321-25の処理に進む(ステップS321-24)。具体的には、算出特定部53は、ステップS321-22で取得した「2分02秒」を分割時刻にする。
他方、取得した終了時刻が分割時刻より後でない場合(ステップS321-23:NO)、ステップS321-25の処理に進む。
ステップS321-25では、算出特定部53は、テキスト情報管理テーブル(テキスト情報管理DB5303(図54参照))から記録識別情報に対応するものを特定し、開始時刻が分割時刻より前のレコードと分割時刻以降のレコードとを特定する。この処理は、図61で説明したフローチャートのステップS321-2の処理と同様であるため、詳細の説明を省略する。上述したように、図54で示されたテキスト情報管理DB5303において、「本日の議題はヘルスケア事業の業績です。」の発話の終了時刻が「2分02秒」であることから、分割時刻「11:02:00」よりも2秒遅いことがわかる。これにより、ステップS321-24で得られた分割時刻は、ステップS321-22の処理にしたがって、「2分02秒」が採用される。換言すれば、以降の処理において、分割処理された時刻から音声データが終了するまでの「2秒」分のオフセット(保障時間)が設けられることになる。
次に、設定登録部58は、それぞれに基づいてテキスト情報管理テーブルを更新して登録する(ステップS321-26)。この処理は、図61で説明したフローチャートのステップS321-3の処理と同様であるため、詳細の説明を省略する。
図70は、第3の実施形態の変形例に係る記録閲覧編集画面の分割処理後のテキスト情報管理テーブルの一例を示す概念図で、(a)は分割された一つ目の音声記録画面を構成するテキスト情報管理テーブルの概念図、(b)は分割された二つ目の音声記録画面を構成するテキスト情報管理テーブルの概念図である。図70(a)では、新しく設定された分割後の記録識別情報「R5311」のタブに関連付けられたテキスト情報管理テーブルが示されている。具体的には、算出特定部53は、テキスト識別情報「TX3106」に対応する終了時刻に対して、ステップS321-24で設けられたオフセット分に相当する「2秒」を加算する。これにより、設定登録部58は、終了時刻を「2分02秒」に更新する。このとき、「2分02秒」は、図58で示した日時表示部(「11:02:00」)で分割された日時(時刻)に対してオフセット分の「2秒」を加算した時間である。この処理により、「本日の議題はヘルスケア事業の業績です。」の音声は、記録閲覧編集画面に対する分割処理が実行されても途中で音声が途切れることなく最後まで保証されることになる。なお、テキスト情報識別情報に対応するそれぞれのブックマークの項目はすべて「False」が設定されており、このテーブルで管理されている発話内容については、ブックマーク処理が行われなかったことを示している。
図70(b)では、新しく設定された分割後の記録識別情報「R5312」のタブに関連付けられたテキスト情報管理テーブルが示されている。具体的には、テキスト識別情報「TX3107」、「TX3108」、「TX3109」、・・・にそれぞれ対応する開始時刻及び終了時刻が、設定登録部58によって更新して登録される。より具体的には、テキスト識別情報「TX3107」に対応する開始時刻は「0分3秒」、終了時刻は「0分10秒」となる。これらの時刻は、「まず共有画面をご覧ください。」の内容の発話が開始及び終了された新たな各時刻を表している。つまり、「まず共有画面をご覧ください。」の内容の発話は、実際には「2分05秒」に開始されていても、分割処理の段階で前の発話内容を保証するためのオフセット分の「2秒」がすでに経過している状態であるため、音声記録管理装置5では、「2分05秒」から2秒を差し引いた「2分03秒」を新たな発話開始時刻に設定する。同様に、発話終了時刻についても、「2分12秒」2秒を差し引いた「2分10秒」を新たな発話終了時刻に設定する。但し、テキスト情報管理DB5303の記録識別情報「R5302」のタブで管理されるテキスト情報管理テーブルにおいては、その前に発話が存在しない状態であるため、「0分03秒」が新たな発話開始時刻、「0分10秒」が新たな発話終了時刻に設定される。以下、同様に、テキスト識別情報「TX3108」に対応する開始時刻は「0分16秒」、終了時刻は「0分21秒」となる。これらの時刻は、「2020年度下期の売り上げは○○です。」の内容の発話が開始及び終了された新たな各時刻を表している。同様に、テキスト識別情報「TX3109」に対応する開始時刻は「0分23秒」、終了時刻は「0分26秒」となる。これらの時刻は、「営業利益は△△です。」の内容の発話が開始及び終了された新たな各時刻を表している。なお、テキスト情報識別情報に対応するブックマークの項目のうち、テキスト識別情報「TX3108」に対応するブックマークに「True」が設定されている。つまり、このテーブルで管理されている発話内容については、テキスト識別情報「TX3108」に対応するテキストに対してブックマーク処理が行われたことを示している。
図69に戻り、算出特定部53は、キャプチャ画像管理テーブル(キャプチャ画像管理DB5304(図55参照))から記録識別情報に対応するものを特定し、取得時刻が分割時刻より前のレコードと、分割時刻以降のレコードとを特定する(ステップS321-27)。この処理は、図61で説明したフローチャートのステップS321-4の処理と同様であるため、詳細の説明を省略する。
次に、設定登録部58は、それぞれに基づいてテキスト情報管理テーブルを更新して登録する(ステップS321-28)。具体的には、設定登録部58は、ステップS321-4で特定された分割時刻より前のレコードと、分割時刻以降のレコードとに基づいて、新しく設定された分割前の記録識別情報のタブと分割後の記録識別情報のタブとで関連付けられた二つのキャプチャ画像管理テーブル(キャプチャ画像管理DB5304)を更新して登録する。
次に、算出特定部53は、記録書誌情報管理テーブル(記録書誌情報管理DB5302(図53参照))から記録識別情報に対応する記録書誌情報を特定する(ステップS321-29)。具体的には、算出特定部53は、分割された日時を示す日時表示部が「11:02:00」を示していたことから、この日時を含む記録書誌情報を有する記録書誌情報のタブを特定する。
次に、取得部52は、音声データパスから音声データを取得する(ステップS321-30)。具体的には、取得部52は、分割された日時を示す日時表示部が「11:02:00」を示していたことから、この日時を含む記録書誌情報を有する記録書誌情報のタブで管理されている音声データパスを取得する。この場合、取得される音声データパスは、例えば、「・・・/00005006/record.mp3」である。
次に、生成・処理部57は、分割時刻より前の部分音声データと、分割時刻以降の部分音声データとを生成し、それぞれに対応するイベントURLを生成する(ステップS321-31)。
次に、設定登録部58は、音声データのパスとイベントURLとに基づいて記録書誌情報管理テーブルを更新して登録し、このフローを抜ける(ステップS321-32)。
図71Aは、第3の実施形態に係る記録閲覧編集画面の分割処理後の記録書誌情報管理テーブルの一例を示す概念図で、分割された一つ目の音声記録画面を構成する記録書誌情報管理テーブルの概念図である。図71Aでは、新しく設定された分割後の記録識別情報「R5301」のタブに関連付けられた記録書誌情報管理テーブルが示されている。具体的には、設定登録部58によって記録名称が「分割1_ヘルスケア事業業績報告会」に更新される。更に、設定登録部58によって終了日時が「2021/03/31 11:02:02」に更新される。更に、設定登録部58によって音声データパスが「・・・/00005301/record.mp3」に更新される。更に、設定登録部58によってイベントURLが「https://・・・/00005301」に更新される。
図71Bは、第3の実施形態に係る記録閲覧編集画面の分割処理後の記録書誌情報管理テーブルの一例を示す概念図で、分割された二つ目の音声記録画面を構成する記録書誌情報管理テーブルの概念図である。図71Bでは、新しく設定された分割後の記録識別情報「R5302」のタブに関連付けられた記録書誌情報管理テーブルが示されている。具体的には、設定登録部58によって記録名称が「分割2_ヘルスケア事業業績報告会」に更新される。更に、設定登録部58によって開始日時が「2021/03/31 11:02:02」に更新される。更に、設定登録部58によって音声データパスが「・・・/00005302/record.mp3」に更新される。更に、設定登録部58によってイベントURLが「https://・・・/00005302」に更新される。
なお、上述したステップS321において特定、更新された各レコードを含む分割後の音声記録画面は、利用者が分割された所望のイベントを示すイベントURLとパスコードとを入力した場合(ステップS101の処理が実行された場合)に、通信端末3に表示される。
〔第3の実施形態の変形例の主な効果〕
以上説明したように本実施形態によれば、音声記録管理装置5は、テキスト情報管理テーブルから記録識別情報に対応するものを特定し、開始時刻が分割時刻より前のレコードのうち、最後のレコードの終了時刻情報を取得し(ステップS321-22)、取得した終了時刻が分割時刻より後である場合に、取得した終了時刻を分割時刻にする(ステップS321-24)。これにより、記録閲覧編集画面に対する分割処理が実行されても途中で音声が途切れることなく最後まで保証されるという効果を奏する。
〔実施形態の補足〕
上述した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたデバイスを含むものとする。このデバイスとは、例えば、プロセッサ、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、SOC(System On a Chip)、GPU(Graphics Processing Unit)、及び従来の回路モジュール等をいう。
更に、上述した実施形態により得られる各種テキスト及びテキスト情報は、人工知能(AI)を利用した機械学習の学習効果によって取得されたものでもよい。この場合、音声認識サーバが機械学習を用いて音声情報から各種テキスト及びテキスト情報を取得してもよいし、音声認識サーバと異なるデータベース等が機械学習を用いて音声情報から各種テキスト及びテキスト情報を取得してもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを事前に取り込まれる学習データから自律的に作成、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよい。更に、機械学習のための学習方法は、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
これまで本発明の一実施形態に係る音声記録管理システム、音声記録管理装置、音声記録管理方法及びプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更又は削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
■まとめ■
本発明に係る態様は、例えば、以下のとおりである。
<第1態様>
第1態様としての音声記録管理システム(例えば、音声記録管理システム2。以下省略)は、音声情報に基づいて得られた音声記録情報を管理する音声記録管理装置(例えば、音声記録管理装置5。以下省略)と、前記音声記録管理装置と通信することで前記音声記録情報を表示可能な一以上の通信端末(例えば、通信端末3。以下省略)と、を含み、前記音声記録管理装置は、前記一以上の通信端末のうち、第1の通信端末が送信した前記音声情報を表す音声データ、及び前記第1の通信端末に表示された画面を表す画面データを取得する取得手段(例えば、取得部52)と、取得された前記音声データに基づいて得られた所定のテキストを表す所定のテキストデータと、取得された前記画面データに係る前記画面に含まれる画像であり、前記所定のテキストに対応付けられた所定の画像を表す所定の画像データと、前記所定のテキストで示される所定の音声データとを、前記第1の通信端末を含む前記一以上の通信端末に送信する送信手段(例えば、送受信部51。以下省略)と、を有し、前記送信手段は、前記第1の通信端末が送信した編集要求であり、前記所定のテキスト又は前記所定の画像に対する編集要求に応じて、前記所定のテキストデータを編集処理した編集後テキストデータと前記所定の画像データを編集処理した編集後画像データとを含む編集後画面データと、前記所定の音声データを編集処理した編集後音声データとを、前記第1の通信端末と異なる第2の通信端末に対して送信し、前記第2の通信端末は、前記音声記録管理装置が送信した前記編集後画面データに係る編集後画面を表示手段に表示する表示制御手段(例えば、表示制御部34)と、前記音声記録管理装置が送信した前記編集後音声データに係る編集後音声を再生する音声再生手段(例えば、音声再生部36)と、を有する。
第1態様によれば、音声情報に基づいて生成された音声記録を編集する場合、音声記録に含まれるテキストデータ又はそのテキストデータに対応する画像データを編集すればよいので、音声記録の編集における利便性を向上させることが可能になる。
<第2態様>
第2態様としての音声記録管理システムは、第1態様において、前記音声記録管理装置は、更に、前記編集要求として、前記所定のテキストを非表示にするためのテキスト非表示要求及び前記所定の画像を非表示にするための画像非表示要求のうちのいずれか一方の要求を受信する受信手段(例えば、送受信部51。以下省略)を有し、前記送信手段は、受信された前記編集要求が前記テキスト非表示要求である場合、前記編集処理として、前記所定のテキストデータを非表示処理した第1の非表示テキストデータ及び前記所定の画像データを非表示処理した第1の非表示画像データを含む第1の非表示画面データと、前記編集処理として前記所定の音声データを無音化処理した第1の無音化音声データとを、前記第2の通信端末に対して送信し、受信された前記編集要求が前記画像非表示要求である場合、前記編集処理として、前記所定の画像データを非表示処理した第2の非表示画像データ及び前記所定の画像に対応付けられた一以上のテキストを非表示処理した第2の非表示テキストデータを含む第2の非表示画面データと、前記編集処理として前記一以上のテキストに対応付けられた一以上の所定の音声データを無音化処理した第2の無音化音声データとを、前記第2の通信端末に対して送信する。
第2態様によれば、第1態様と同様に、音声記録の編集における利便性を向上させることが可能になる。
<第3態様>
第3態様としての音声記録管理システムは、第2態様において、前記表示制御手段が、前記テキスト非表示要求を生成するために操作されるテキスト非表示操作部を、前記画面に表示された前記所定のテキストの近傍に表示し、前記画像非表示要求を生成するために操作される画像非表示操作部を、前記画面に表示された前記所定の画像の近傍に表示する。
第3態様によれば、第2態様に係る音声記録の編集における利便性の向上に加えて、音声記録の編集における操作性を向上させることが可能になる。
<第4態様>
第4態様としての音声記録管理システムは、第2態様又は第3態様において、前記音声記録管理装置は、更に、前記テキスト非表示要求に応じて前記第1の非表示画面データ及び前記第1の無音化音声データを生成し、前記画像非表示要求に応じて前記第2の非表示画面データ及び前記第2の無音化音声データを生成する生成手段を有する。
第4態様によれば、第2態様又は第3態様に係る音声記録の編集における利便性及び操作性の向上に加えて、音声再生時の秘匿性を向上させることが可能になる。
<第5態様>
第5態様としての音声記録管理システムは、第2態様乃至第4態様において、前記第1の通信端末が、更に、前記画面に係る画面データを所定の時間間隔で取得する取得手段を有し、前記表示制御手段は、前記画面データが前記取得手段によって取得された取得時刻に跨って前記音声データに基づいて得られた特定のテキストデータが存在する状態で、前記取得時刻に取得された前記所定の画像に対する前記画像非表示要求が受信された場合に、前記第2の非表示テキストデータに加えて、前記特定のテキストデータを非表示処理した第3の非表示画面データに係る第3の非表示画面を前記表示手段に表示し、前記音声再生手段は、前記第2の非表示テキストデータと前記特定のテキストデータに係る各テキストで示される音声データが無音化処理された音声を再生する。
第5態様によれば、第2態様乃至第4態様に係る音声記録の編集における利便性及び操作性の向上に加えて、音声再生時の秘匿性を更に向上させることが可能になる。
<第6態様>
第6態様としての音声記録管理システムは、第5態様において、前記表示制御手段が、前記所定の画像に対する前記画像非表示要求が受信された後、前記所定の画像を再度表示する画像表示要求が受信された場合に、前記特定のテキストデータに係る特定のテキストが非表示状態に維持された画面を表示し、前記音声再生手段が、前記特定のテキストで示される特定の音声データに係る特定の音声が無音化状態に維持された音声を再生する。
第6態様によれば、第5態様に係る音声再生時の秘匿性を更に向上させることが可能になる。
<第7態様>
第7態様としての音声記録管理システムは、第2態様乃至第6態様において、前記音声記録管理装置が更に、前記テキスト非表示要求と前記画像非表示要求はそれぞれ、前記所定のテキストデータ及び前記所定の画像データを削除又は非公開とする要求であり、前記削除する要求の場合に、前記所定のテキストデータ及び前記所定の画像データを削除処理し、前記非公開とする要求の場合に、前記所定のテキストデータ及び前記所定の画像データを削除せずに、前記第1の非表示画面データで表される第1の非表示画面又は前記第2の非表示画面データで表される第2の非表示画面において非表示処理する処理手段(例えば、生成・処理部57)を有する。
第7態様によれば、第2態様乃至第6態様に係る音声記録の編集における操作性及び秘匿性を更に向上させることが可能になる。
<第8態様>
第8態様としての音声記録管理システムは、第1態様乃至第7態様において、前記表示制御手段が、前記画面に表示された複数のテキストを含む一のテキストグループとして選択された場合に、前記テキストグループを表す要約を入力させるための要約入力操作部(例えば、要約入力ダイアログ3181。以下省略)を前記一のテキストグループの近傍に表示する。
第8態様によれば、音声記録の編集時の操作性と視認性をさらに向上させることが可能になる。
<第9態様>
第9態様としての音声記録管理システムは、第8態様において、前記表示制御手段が、前記要約入力操作部とあわせて、前記テキスト非表示操作部(例えば、「非公開」ボタン(アイコン)3542、「削除」ボタン(アイコン)3544)を前記一のテキストグループの近傍に表示する。
第9態様によれば、第8態様に係る音声記録の編集における操作性と視認性をさらに向上させることが可能になる。
<第10態様>
第10態様としての音声記録管理システムは、第1態様乃至第9態様において、前記テキスト非表示要求又は前記画像非表示要求により非表示処理される前記第1の非表示テキストデータ、前記第2の非表示テキストデータ、前記第1の非表示画像データ、及び前記第2の非表示画像データはそれぞれ、所定の事業の業績情報、売上情報、利益情報及び個人情報を含む秘匿データである。
第10態様によれば、第1態様乃至第9態様に係る音声記録の編集時における秘匿データの種別を管理することが可能になる。
<第11態様>
第11態様としての音声情報に基づいて得られた音声記録情報を管理する音声記録管理装置は、前記音声記録管理装置と通信することで前記音声記録情報を表示可能な一以上の通信端末のうち、第1の通信端末が送信した前記音声情報を表す音声データ、及び前記第1の通信端末に表示された画面を表す画面データを取得する取得手段と、取得された前記音声データに基づいて得られた所定のテキストを表す所定のテキストデータと、取得された前記画面データに係る前記画面に含まれる画像であり、前記所定のテキストに対応付けられた所定の画像を表す所定の画像データと、前記所定のテキストで示される所定の音声データとを、前記第1の通信端末を含む前記一以上の通信端末に送信する送信手段と、を有し、前記送信手段は、前記第1の通信端末が送信した編集要求であり、前記所定のテキスト又は前記所定の画像に対する編集要求に応じて、前記所定のテキストデータを編集処理した編集後テキストデータと前記所定の画像データを編集処理した編集後画像データとを含む編集後画面データと、前記所定の音声データを編集処理した編集後音声データとを、前記第1の通信端末と異なる第2の通信端末に対して送信する。
第11態様によれば、音声情報に基づいて生成された音声記録を編集する場合、音声記録に含まれるテキストデータ又はそのテキストデータに対応する画像データを編集すればよいので、音声記録の編集における利便性を向上させることが可能になる。
<第12態様>
第12態様としての音声情報に基づいて得られた音声記録情報を管理する音声記録管理装置が実行する音声記録管理方法は、前記音声記録管理装置と通信することで前記音声記録情報を表示可能な一以上の通信端末のうち、第1の通信端末が送信した前記音声情報を表す音声データ、及び前記第1の通信端末に表示された画面を表す画面データを取得する取得ステップと、取得された前記音声データに基づいて得られた所定のテキストを表す所定のテキストデータと、取得された前記画面データに係る前記画面に含まれる画像であり、前記所定のテキストに対応付けられた所定の画像を表す所定の画像データと、前記所定のテキストで示される所定の音声データとを、前記第1の通信端末を含む前記一以上の通信端末に送信する送信ステップと、を含み、前記送信ステップは、前記第1の通信端末が送信した編集要求であり、前記所定のテキスト又は前記所定の画像に対する編集要求に応じて、前記所定のテキストデータを編集処理した編集後テキストデータと前記所定の画像データを編集処理した編集後画像データとを含む編集後画面データと、前記所定の音声データを編集処理した編集後音声データとを、前記第1の通信端末と異なる第2の通信端末に対して送信する。
第12態様によれば、音声情報に基づいて生成された音声記録を編集する場合、音声記録に含まれるテキストデータ又はそのテキストデータに対応する画像データを編集すればよいので、音声記録の編集における利便性を向上させることが可能になる。
<第13態様>
第13態様としての音声情報に基づいて得られた音声記録情報を管理する音声記録管理装置に以下の処理を実行させるプログラムは、前記音声記録管理装置と通信することで前記音声記録情報を表示可能な一以上の通信端末のうち、第1の通信端末が送信した前記音声情報を表す音声データ、及び前記第1の通信端末に表示された画面を表す画面データを取得する取得ステップと、取得された前記音声データに基づいて得られた所定のテキストを表す所定のテキストデータと、取得された前記画面データに係る前記画面に含まれる画像であり、前記所定のテキストに対応付けられた所定の画像を表す所定の画像データと、前記所定のテキストで示される所定の音声データとを、前記第1の通信端末を含む前記一以上の通信端末に送信する送信ステップと、を含み、前記送信ステップとして、前記第1の通信端末が送信した編集要求であり、前記所定のテキスト又は前記所定の画像に対する編集要求に応じて、前記所定のテキストデータを編集処理した編集後テキストデータと前記所定の画像データを編集処理した編集後画像データとを含む編集後画面データと、前記所定の音声データを編集処理した編集後音声データとを、前記第1の通信端末と異なる第2の通信端末に対して送信する、処理を実行させる。
第13態様によれば、音声情報に基づいて生成された音声記録を編集する場合、音声記録に含まれるテキストデータ又はそのテキストデータに対応する画像データを編集すればよいので、音声記録の編集における利便性を向上させることが可能になる。
<第14態様>
第14態様としての音声記録管理システムは、第1態様において、前記音声記録管理装置の前記受信手段が、前記編集要求として、前記編集後画面に表示された所定の領域を分割するための分割操作指示要求を受信し、前記送信手段が、前記分割操作指示要求に応じて、前記所定のテキストデータを分割処理して得られた分割編集後テキストデータと、前記所定の画像データを分割処理して得られた分割編集後画像データと、を含む分割編集後画面データを、前記第2の通信端末に対して送信し、前記第2の通信端末の表示制御手段が、前記音声記録管理装置が送信した前記分割編集後画面データに係る分割編集後画面を、前記表示手段に表示する。
第14態様によれば、作成した会議議事録等が表示される音声記録画面に対して会議等の参加者に無関係な画面を分割編集し、必要な情報だけをその情報を必要とする参加者に閲覧させることが可能になる。その結果、音声記録画面に表示される表示画面データ、音声再生される音声データ等の秘匿性を向上させることが可能になる。
<第15態様>
第15態様としての音声記録管理システムは、第1態様において、前記音声記録管理装置の前記送信手段が、前記分割操作指示要求に応じて、前記分割編集後画面データに含まれる所定のテキストデータを含む所定のブックマーク情報を前記第2の通信端末に対して送信し、前記第2の通信端末の表示制御手段が、前記音声記録管理装置が送信した前記分割編集後画面データに含まれる前記所定のブックマーク情報を含めた前記分割編集後画面データに係る分割編集後画面を、前記表示手段に表示する。
第15態様によれば、第14態様に係る音声記録画面に表示される表示画面データ、音声再生される音声データ等の秘匿性の向上に加えて、ブックマーク処理したテキストについても、分割された画面に対応させて表示又は非表示させることが可能になる。その結果、利用者に対して音声記録画面における編集の利便性をさらに向上させることが可能になる。
<第16態様>
第16態様としての音声記録管理システムは、第1態様において、前記第2の通信端末の音声再生手段は、前記所定のテキストデータを分割した分割日時よりも前の日時であって、前記分割日時に最も近い日時に開始された発話の終了日時が前記分割日時を跨ぐ場合に、前記発話の終了日時を前記分割日時として分割され前記音声記録管理装置が送信した分割編集後音声データに係る分割編集後音声を再生する。
第16態様によれば、第14態様及び第15態様に係る音声記録画面における編集の利便性の向上に加えて、音声データの内容を保証することが可能になる。