JP2009267447A - 通信システム - Google Patents

Abstract

【課題】データ通信機能付きの通話装置等を介して、受信した写真をプリンタに印刷しようと思っても、機械の操作に不慣れなお年よりにとっては、所望の画像データがどこに保存されているのかを見つけることが困難であった。
【解決手段】通話中に所定のトリガをきっかけとして通話を録音して音声ファイルとして保存するアダプタ装置１０００とハンドセット２０００等からなる通信システムにおいて、作成された音声ファイルから通話中に操作したファイルへの関連付け情報を、該音声ファイルに付随する属性情報として生成するようにした。これにより、受信して保存したデータを容易に見つけ出すことができる。
【選択図】図１

Description

本発明は、通話を行いながらデータの送受信を行うことが可能な通信システムに関する。

近年、インターネットを介して遠隔地と通話を行うインターネット電話や、音声と共に映像の送受信を行うインターネットテレビ電話製品が登場している。このような製品では、アナログ電話とは異なり、通話と同時にデジタルデータを送受信することが可能である。例えば、マイク付きヘッドセットで通話を行いながら、デジタルカメラで撮影した静止画像をファイル転送し、受信側では受信した静止画像を画面に表示したりファイルに保存したりすることが可能である。

具体的には、データ通信機能付きの通話装置を使用することにより、例えば、遠隔地に住むおじいちゃんの家に孫がインターネット電話をかけ、会話をしながら、デジタルカメラで撮影した運動会の写真を送ってあげるというような利用シーンが可能である。

このようなインターネット電話やテレビ電話においては、通話を録音する技術や、通話履歴を作成する技術、あるいは、テレビ会議中のテレビ画面と通話を保存し、後から会議を再現する技術が複数提案されている。

例えば、特許文献１では、録音した通話を音声認識技術によりテキストデータに変換し、変換したテキストデータをキーワード検索することにより、通話履歴を検索する技術が示されている。また特許文献２では、テレビ会議中に動画として表示される自画像又は相手画像をユーザが選択し、選択した瞬間の映像を時刻情報と共に静止画に保存するようにしている。そして、会議中に録音した音声と静止画とを時刻情報を元に同期して再生することにより、後から会議を擬似的に再現する技術が示されている。

特開２００５−２７７５８９号公報 特開２０００−５０２２４号公報

しかしながら従来の技術では、もらった写真をプリンタに印刷しようと思っても、機械の操作に不慣れなお年よりが所望の画像データがどこに保存されているのかを見つけることは困難である、という問題が解決されていなかった。本発明は係る問題を解消することを目的とする。

本発明の通信システムは、通話中に所定のトリガをきっかけとして通話を録音して音声ファイルとして保存する通信システムであって、作成された音声ファイルから通話中に操作したファイルへの関連付け情報を、該音声ファイルに付随する属性情報として生成することを特徴とする。

本発明によれば、データ通信機能付きの通話装置等の通信システムにおいて、受信して保存したデータを容易に見つけ出すことができる。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。
（第１の実施形態）
図１に本発明の第１の実施形態に係るアダプタ装置及びアダプタ装置にＵＳＢ接続して使用して通話に使用するハンドセットのブロック構成を示す。

１０００は本発明のアダプタ装置、１００はアダプタ全体の動作を統括するシステムコントローラ（シスコン）、１０１はシスコン１００の動作プログラム及び設定値を格納するフラッシュメモリである。

１０２は一時的なデータを記憶しておくＲＡＭ、１０３は音声や静止画像等の各種データを保管するための内蔵ハードディスク、１０４はハードディスクインタフェースである。１０５はＩ／Ｏポート制御回路、１０６はユーザ入力を受け付けるソフトスイッチである。

１０７はＵＳＢハンドセットやデジタルスチルカメラ等のＵＳＢデバイスと通信するためのＵＳＢホストコントローラ、１０８、１０９はＵＳＢデバイス接続用のホストポート（ＵＳＢホストポート）である。

１１０はインクジェットプリンタと接続してダイレクト印刷するためのＵＳＢデバイスコントローラ、１１１はそのためのＵＳＢデバイスポートである。１１２はアダプタ内部の回路へ電力を供給する電源回路、１１３は外部から電力を供給するためのＡＣ電源コネクタである。電源回路１１２はまた、ＵＳＢホストポート１０８、１０９を介して接続されるＵＳＢデバイス機器への電力供給も行う。

１１４はネットワーク上のクライアント端末と通信するためのＬＡＮコントローラ、１１５はネットワークケーブルを接続するためのＲＪ４５コネクタ（ＬＡＮコネクタ）である。

１１６はテレビに操作メニューやデジタルカメラの静止画像あるいは受信した映像等を出力するためのビデオインタフェース、１１７はテレビ接続用ビデオ出力端子、１１８は表示用画像を格納するビデオＲＡＭである。

２０００はアダプタ装置１０００にＵＳＢ接続して使用するＵＳＢハンドセットであり、主には、電話番号の入力操作やメニュー選択等に使用する操作キー、通話に使用するマイク、スピーカから構成される。

２００はハンドセットの動作をつかさどるシステムコントローラ、２０１はプログラムを格納するフラッシュメモリ、２０２は一時データを格納するＲＡＭ、２０３は音声データをＡＤ／ＤＡ変換する音声コーデックである。

２０４はマイク、２０５はアンプ、２０６はスピーカ、２０７はＩ／Ｏポート制御回路である。２０８は操作入力用のキーボードであり、番号入力用のテンキー、メニュー操作用の上下キー、決定キー及びキャンセルキー、通話の開始を指示する開始キー、及び通話の切断を指示する切断キーなどの各種キーを有する。

２０９はアダプタ装置１０００と通信して音声データの送受信や操作キー情報の送信等を行うＵＳＢデバイスコントローラである。２１０はＵＳＢケーブルでアダプタのホストポートへ接続するためのＵＳＢデバイスコネクタ、２１１はＵＳＢコネクタから給電を受けてハンドセット内部へ電力を供給する電源回路である。なお、フラッシュメモリ２０１には、個々のハンドセットを固有に識別するためのハンドセットＩＤも格納される。

図２に本発明のアダプタをネットワークに接続して使用する場合の接続図を示す。１０００は本発明のアダプタであり、ネットワーク４０００に接続され、テレビ３０００に操作画面や静止画又は動画等の表示をビデオ出力する。

２０００はアダプタ装置１０００にＵＳＢ接続して通話に使用するＵＳＢハンドセットである。１１００は１０００と同じアダプタ装置であるが、通話のためのハンドセット２００１、ビデオ表示用テレビ３００１、ネットワーク４００１への接続の他に、デジタルスチルカメラ３００３ともＵＳＢ接続している。

４０００、４００１はネットワークであり、それぞれブロードバンドルータ６００１、６００２を介してインターネット５０００に接続される。ネットワーク４０００には、更にプリンタアダプタ１２００を介してプリンタ３００２が接続されている。

５１００はネットワークに接続された端末同士を接続するためのプロキシサーバ（ＳＩＰプロキシーサーバ）である。アダプタ装置１０００はネットワーク４０００を介してプリンタアダプタ１２００と通信することにより、内蔵ストレージに格納された静止画データをプリンタ３００２に印刷できる。

次に、図３を用いて、ユーザ宅１とユーザ宅２の間で通話を行いながらデジカメデータを伝送する場合の、基本となる通信シーケンスを示す。本実施形態では、インターネット通話のプロトコルに、パソコンや最近では家電製品でも用いられることのあるＳＩＰ（Session Initiation Protocol）を用いる。

本図では、端末間の通話の接続／切断はＳＩＰプロキシサーバ５１００を介して行い、接続が確立された後の、音声やデータ等、実際のメディアデータの伝送は直接通信を用いて行っている。ＳＩＰプロキシを介した接続により、ＩＰアドレス等のネットワークに関する情報が端末で変更された場合でも、変更通知をＳＩＰプロキシに通知することにより、変更前と同一のＳＩＰアドレスで接続することが可能である。簡略化のために、ブロードバンドルータ等の各装置の間に介在する一般的なネットワーク接続機器については、記述を省略している。なお、図３のシーケンスで説明するシステム構成は図２の接続図に示した構成と同じである。

ユーザ宅２のユーザは、アダプタ装置１１００に接続したハンドセット２００１からユーザ宅１のＳＩＰアドレス番号を入力し、通話の開始ボタンを押して通話開始をアダプタに指示する。アダプタ装置１１００では入力されたＳＩＰ番号を当て先アドレスとして、ＳＩＰプロキシサーバ５１００に、ＳＩＰのＩＮＶＩＴＥメッセージを送る。

ＳＩＰプロキシは自サーバ内で管理するアドレス情報により、アダプタ装置１０００のネットワークアドレス情報を取得し、アダプタ装置１０００に向けてＩＮＶＩＴＥメッセージを送る。アダプタ装置１０００はハンドセット２０００のスピーカを駆動してリンギング音を鳴らすと共に、ＳＩＰのＲｉｎｇｉｎｇメッセージを返信する。

ユーザ宅１のユーザがハンドセットの通話開始ボタンを押すと、ＳＩＰのＯＫメッセージがアダプタ装置１１００に送られ、ＳＩＰの接続が確立される。ＳＩＰのＩＮＶＩＴＥメッセージには、ハンドセット２００１のアドレス情報及び、サポート可能なメディア種別や使用するポート番号等の能力情報がＳＤＰ（Session Description Protocol)にしたがって記述されている。

また、ＯＫメッセージにはアダプタ装置１０００のアドレス情報及びメディア能力情報が記述されている。本実施形態では、この能力情報にデータチャネル用ポートに関する情報を含めることにより、音声パケットの伝送のみならず、データ伝送用チャネルを用いたデータの伝送も行う。ＳＩＰの接続が確立されると、上位アプリケーションにより、メディア情報の伝送が行われるデータ転送フェーズへ進む。

ハンドセットを使用して入力された音声はデジタルデータに変換されてからＵＳＢを介してアダプタに送られ、アダプタでＲＴＰ（Real Time Protocol)パケットにパケット化されてネットワークに送信される。ＲＴＰパケットを受信したアダプタは、パケットから音声データを取り出し、ＵＳＢを介してハンドセットに送る。ハンドセットではデジタルデータをＡ／Ｄ変換し、スピーカで再生する。

音声の送信と受信とで２つのチャネルのＲＴＰ通信を使用することにより、双方向の音声通話が行われる。必要に応じてアダプタ装置１０００は、受信したＲＴＰ音声パケットから取り出した音声データを、内蔵するハードディスクに音声ファイルとして保存することができる。

また、ハンドセット２０００からＵＳＢ経由で取得する送信用音声データについても同様に、ハードディスクに音声ファイルとして保存することができる。アダプタ間では、音声の伝送と同時に、ＳＤＰ記述により記述されたデータ伝送用ポートを使用して、データ伝送を行うことができる。

伝送するデータのサイズやファイル名等の情報は、データ伝送用の上位アプリにより管理され、伝送されるデータと同じ伝送用ポートを使用して送られる。ユーザがハンドセット２００１を操作してデジカメデータの送信をアダプタ装置１１００に指示すると、アダプタ装置１１００はＵＳＢで接続されたデジタルスチルカメラ３００３から静止画データを取得する。そしてアダプタ装置１１００はデータチャネルを使用してアダプタ装置１０００に送信することができる。

アダプタ装置１０００は受信した静止画データを内蔵ハードディスクに格納する。また、同時に受信した画像データの圧縮を解凍し、表示するテレビ画面サイズに応じたスケーリング等の画像処理を行った後に、テレビ３０００に表示することができる。

以上に説明した双方向の通話音声とデータチャネルを介して伝送するデータは、それぞれ異なる伝送チャネルを使用するため、同時かつ非同期に送信することができる。

ユーザがハンドセット２００１の切断ボタンを押すと、アダプタ装置１１００は切断シーケンスを開始する。音声データ及び画像データの送受信を停止し、それぞれのチャネル用に開いていた通信ポートを閉じる。アダプタ装置１０００に対してＢＹＥメッセージを送信する。

アダプタ装置１０００はＢＹＥメッセージを受信すると、音声データ及び画像データの送受信を停止して、通信ポートを閉じる。ハンドセットに切断音を送り、アダプタ装置１１００にＯＫメッセージを返答してＳＩＰの切断が完了する。ユーザはハンドセット２０００で終了キーを押すと切断音が停止し、全てのシーケンスを終了する。

以上により、アダプタ間の基本的な通信シーケンスが説明された。

次に、本発明固有の処理である、アダプタ装置１０００で行われる録音された音声ファイルと画像ファイルの関連付け処理について説明する。

図４−１は本実施形態における通話録音と操作ファイルへの関連付けを示した図である。図で横線は左から右に時間の経過を示しており、左端が通話開始時刻、右端が通話終了時刻である。上段の実線は通話を録音中の期間を、下段の実線はファイルを操作中の期間を示している。本実施形態における通話録音は、録音１の実線が示すように、通話開始と共に録音を自働で開始し、所定の時間経過後に終了する。

また、操作１、操作２の二つのファイル操作時間は、ファイルの受信中を示しており、通話中に二回に分けて２つのファイルが受信されたことを示している。本実施形態では、録音１で録音された受信音声ファイルから受信した２つの画像ファイルに対して関連付けを作成する。

図５にアダプタ装置間でＳＩＰセッションが確立され、音声チャネル及びデータチャネルの開設が行われた後の、通話中のアダプタ装置１０００の処理を示す。

通話が開始されると、通話の録音処理を開始する（ステップＳ５０１）。受信した通話先の音声の内蔵ハードディスクへの保存を開始する。その後、所定の時間が経過したかを調べ（ステップＳ５０２）、経過していれば録音処理を完了する。

音声データを逐次書き込まれていたハードディスク上の音声ファイルを閉じる（ステップＳ５０３）。ここで、通話先のユーザがデジタルスチルカメラ３００３で撮影した静止画データを送信する操作を行うと、データチャネルを通じて、通話先からデータ転送要求を受信する（ステップＳ５０４）。受信した要求をユーザがハンドセットの操作ボタンで許可すると、静止画データが受信開始される。

受信するデータは内蔵ハードディスクに逐次保存されていく（ステップＳ５０５）。データ受信完了かを調べ（ステップＳ５０６）、受信完了であれば受信データを保存するために開かれていたハードディスク上のファイルを閉じ、保存を完了する（ステップＳ５０７）。

受信データをアダプタのＣＰＵ処理でイメージデータに解凍し、出力用のテレビ画面に適したスケーリング処理等の画像処理を施した後に、ビデオインタフェースからビデオ出力し、テレビ画面に表示する（ステップＳ５０８）。次に、ハードディスクに格納された録音音声ファイルから新たに保存した静止画ファイルへのリンク情報を作成し、音声ファイルに付随する情報としてファイルに保存する。

仮にここで音声ファイルが録音中であったとしても、録音中の音声ファイルに対する関連付け情報を生成しファイルに保存する（ステップＳ５０９）。

ステップＳ５１０に進み、切断要求を受信しなければ、ステップＳ５１１に進む。通話録音中であればステップＳ５０２に戻り、録音終了の判定処理を行う。

通話録音が完了していれば、ステップＳ５０４に進み、新たなデータ転送要求があれば要求を処理する。受信される静止画ファイルの数だけ、ステップＳ５０５及びステップＳ５０７からステップＳ５０９の処理が繰り返される。

これにより、例えば３つの静止画ファイルを受信した場合には、一つの音声ファイルから３つの静止画ファイルへのリンクが作成される。ステップＳ５１０で切断要求を受信すると、切断処理に進み、通話中処理を終了する。

以上により、通話中の録音処理、画像データの保存処理、及びそれらの関連付け処理について説明された。作成された関連付けは、通話切断後であっても、いつでもユーザが参照することができる。例えば、孫と音声通話をしながら、運動会の写真を受信した場合に、孫の音声に運動会の写真が関連付けられる。後から、再生された孫の音声を確認して、そこから参照することにより、運動会の写真を画面に表示するというような使い方が可能となる。

図６は、ハンドセット操作により音声ファイルを検索して所望の画像ファイルを取得するアダプタ装置１１００の処理を示す。ここでは、検索に先立って、ファイルに関連付けられている音声だけに処理を絞ることにより、検索を容易にしている。

内蔵ハードディスクに保存されている音声ファイルから、関連付け情報を参照して、ファイルが関連付けられている音声ファイルだけを抽出する（ステップＳ６０１）。

抽出した音声ファイルを、ファイル作成時刻でソートしてテレビ画面に表示する（ステップＳ６０２）。ハンドセットの上下キー及び選択キーを操作して、表示された音声ファイルの中から、希望する日時近辺で最も古い音声ファイルを選択する。例えば、所望の画像ファイルが１ヶ月以内に取得したものであることがわかっていれば、１ヶ月以内に作成された中で最も古い音声ファイルを選択する（ステップＳ６０３）。

選択された音声ファイルを再生し、ハンドセットのスピーカに出力する（ステップＳ６０４）。所望の音声であった場合は（ステップＳ６０５）、ユーザがハンドセット操作で画像参照メニューを選択すると、音声ファイルに付随する関連付け情報をたどって、ハードディスクに保存された静止画像を取得できる。

取得した画像はテレビ画面に順に表示する。ユーザが希望すれば、取得した画像をハンドセット操作で印刷指示して、プリンタアダプタに接続されたプリンタに印刷することができる（ステップＳ６０８）。所望の音声でなかった場合には、まだ処理してない音声ファイルがあれば（ステップＳ６０６）、ハンドセット操作により、次音声ファイルに進め（ステップＳ６０７）、所望の音声にたどり着くまで、順次音声ファイルを再生していくことができる。処理してない音声ファイルが無ければ処理を終了する。

次に、音声ファイルから画像データファイルへのリンクについて説明する。音声ファイルから画像データファイルへのリンクは、音声ファイルや画像ファイルの移動操作に対して、ファイルの移動後も移動前の関連付け状態を保持する方法で実現する必要がある。

例えば図７−１に示すような関連付けが作成されていた場合に、"音声１．ｗａｖ"と"音声３．ｗａｖ"の二つのファイルをフォルダ"ＷＡＶ"の下からフォルダ"Ｔａｒｏ"の下に移動したとする。この場合、移動後も"音声１．ｗａｖ"からは"画像１．ＪＰＧ"へのリンクが、"音声３．ｗａｖ"からは"画像２．ＪＰＧ"、"画像３．ＪＰＧ"、及び"画像４．ＪＰＧ"へのリンクが、保持される必要がある。

また、図７−２に示すように、画像ファイルを移動した場合にも、"音声３．ｗａｖ"からの関連付けが保持されるようなリンクの実現手段及びデータの移動手段を用いる必要がある。

図８はこのようなデータの移動を実現するリンク情報の作成例として、各フォルダの下にユーザには不可視のリンク情報管理ファイルを作成する方法を説明する図である。

図８−１（ａ）は音声ファイルを格納するフォルダのリンク情報管理ファイルを示している。図からフォルダ名が"／Ｄａｔａ／ＷＡＶ"であること、音声ファイル"音声１．ｗａｖ"と"音声３．ｗａｖ"が画像ファイルへのリンクを持つことが記述されている。また、逆方向リンクを持つファイルが存在しないことがわかる。

図８−１（ｂ）は、画像ファイルを格納するフォルダのリンク情報管理ファイルを示している。本図からフォルダ名が"／Ｄａｔａ／Ｉｍａｇｅ"であること、順方向リンクを持つファイルが存在しないこと、各画像ファイルから音声格納フォルダ"／Ｄａｔａ/ＷＡＶ"の下の音声ファイルにそれぞれ逆方向リンクを持つことがわかる。図８−１（ｃ）、（ｄ）、（ｅ）は移動を行った後の、各フォルダのリンク情報管理ファイルを示す。図８−１（ｃ）では、移動された音声ファイルの情報が削除されている。図８−１（ｄ）では、音声ファイル移動に伴って、画像ファイルから音声ファイルへの逆方向リンクが書き換えられていることがわかる。これは、図８−１（ａ）のリンク情報ファイルを用いて、移動される音声ファイルから順方向リンクの張られた画像ファイル情報を取得し、該当する画像ファイルが持つ逆方向リンク情報を更新することにより実現している。

また図８−１（ｅ）では、音声ファイルの移動により新たな管理ファイルがフォルダ"／Ｕｓｅｒ／Ｔａｒｏ"に作成され、音声ファイルから画像ファイルへの関連付けが保持されていることがわかる。

図８−２は、図７−２に示す画像ファイルの移動を行った場合のリンク関連情報の変化を示している。図８−２（ａ）、（ｂ）は、図８−１（ａ）、（ｂ）と同様に、移動前の音声ファイル格納フォルダと画像ファイル格納フォルダのリンク関連情報を示している。

図８−２（ｃ）、（ｄ）、（ｅ）は、図７−２に示す移動を行った後の、各フォルダのリンク情報管理ファイルを示す。図８−２（ｃ）では、画像ファイルの移動に伴って、音声ファイルからのリンク先が書き換えられ、移動後も関連付けが保持されていることがわかる。これは、図８−１（ｂ）の逆方向リンク情報を用いて、移動される画像ファイルから逆方向リンクが張られた音声ファイル情報を取得し、該当する音声ファイルが持つリンク情報を更新することにより実現される。

また、図８−２（ｄ）では、移動されたファイルの情報が削除されている。図８−２（ｅ）では、画像ファイルが移動されたことにより、新たに管理情報が作成され、画像ファイルから音声ファイルへの逆方向ファイルが作成されている。

以上に説明したようなリンク情報の作成方法およびリンク情報の更新を伴うファイルの移動方法を用いることにより、ファイルの移動を行った後も音声ファイルから画像ファイルへの関連情報を保持することができる。以上により第１の実施形態が説明された。

なお、音声ファイルから画像データファイルへのリンクの実現手段は、ファイルシステム自体の属性情報で実現する方法、あるいは、ファイルの実体に一対一で対応するリンク属性ファイルをユーザに不可視の状態で作成する方法等であってもよい。

（第２の実施形態）
第２の実施形態では、一回の通話中に複数の通話録音ファイルを作成する。最初の録音は第１の実施形態と同様に、通話開始と共に所定の時間録音を行う。二番目以降の録音は、通話先から録音開始のトリガを受信して、所定の時間録音を行う。通話先が録音開始のトリガを送信するタイミングは、例えば話者が入れ替わった場合に、新たにハンドセットを受け取ったユーザが、所定のボタンを押すことにより通知することができる。この場合の音声ファイルと操作ファイルの対応付けを図４−２を用いて説明する。

図４−２では、通話開始から所定の時間の音声を録音ファイル１として作成する。その後、２つの画像ファイルを通話先から受信したとする。本図では、操作１、操作２に該当する。その後、通話が進んだある時点で、通話先から録音開始のトリガを受信し、新たな録音を開始する。これは図中の録音２に対応する。新たに２つの画像ファイルを受信する。これは操作３、操作４に対応する。

以上のシーケンスの場合に、録音２の開始以前に操作を開始し完了した操作１、２に対応するファイルは、録音１に関連付ける。

録音２の開始以後に開始した操作３、４に対応するファイルは録音２に関連付ける。図４−２に示す例は単純な場合の例であり、録音音声と操作されたファイルの対応付けかたも単純であった。

一方、図４−３に示す操作２のように、操作開始が録音開始に先行し、かつ、その操作完了前に録音が開始されるようなシーケンスの場合には、そのファイルをどちらの録音に対応付けるかが問題となる。言い換えれば、操作の開始が録音開始より先行し、かつ操作期間と録音期間に時間的な重なりがある場合であるが、このような場合は、ファイル操作の種類によって最適な関連付け方法は異なる。

そこで、問題となる操作がどのような種類であるかにより、それぞれに適した対応付け方法を適用する。ファイル操作がファイルの表示であった場合には、ファイル表示中の発言は表示されているファイルへの関連性が高いと考えられるため、時間的な重なりを持つ録音ファイルに対して関連付けられる。

先行して録音したファイルへの関連付けを行うか否かは、例えば、ユーザの初期設定にまかせてもよい。図４−４の操作２は、このような問題となる操作ファイルに対して、時間的な重なりを持つ録音ファイルにのみ関連付けを行う場合の例である。ここでは、操作２は録音２にのみ関連付けられている。

また、図４−５の操作１は、先行する録音音声と後続する録音音声の両方に関連付けを行う場合の例である。ここでは操作１は、録音１、録音２、録音３の全てに関連付けられている。

ファイル操作がファイルの印刷であった場合には、印刷を開始したのは先行する録音ファイルの話者と会話中であるため、時間的な重なりを持つ録音ファイルには関連付けを行わず、先行して録音したファイルへの関連付けを行う。このような場合の例を図４−６に示す。操作１はファイル印刷中であるため、録音１とだけ関連付ける。録音２は関連付けを持たない。録音３は、操作２及び操作３と関連付けを持つ。ファイル操作がファイルの受信であった場合には、通話先からファイル送信を開始したのは先行する録音ファイルの話者である。そのため、時間的な重なりを持つ録音ファイルには関連付けを行わず、先行して録音したファイルへの関連付けを行う。

図４−７には、連続して３つのファイルを受信し、その後単発で２つのファイルを受信した場合の例を示す。操作１、２、３は連続した一回の操作であるため、受信した３つのファイルは録音１に関連付けられる。録音２は操作４と操作５に関連付けを持つ。

図９を用いて、録音ファイルに操作されたファイルを関連付けるときに、ファイル操作ごとに個別の関連付け処理を行う方法を説明する。

関連付けを作成すべき所定のファイル操作が開始されると、操作開始時の録音状況をメモリに記憶する。この録音状況とは、ファイル操作以前に録音を開始したファイルに関する情報及び録音が完了しているか否かという情報である（ステップＳ９０１）。

ファイル操作が完了するまで、録音に関する状態を記録しながら、通常の通話処理を実行する（ステップＳ９０２、ステップＳ９０３）。ファイル操作が完了したら、操作完了時の録音状況を記憶する。ここで記憶するのは、ファイル操作開始からファイル操作完了までの間の録音状況である（ステップＳ９０４）。

次にファイル操作の種類で場合分けを行う。ファイル操作がファイル印刷であれば（ステップＳ９０５）、記憶された録音状況の情報を用いて、ファイル印刷操作用の、音声ファイルと操作されたファイルとの関連付け処理を行う（ステップＳ９０６）。

ファイル操作がファイル受信であれば（ステップＳ９０７）、記憶された録音状況の情報を用いて、ファイル受信操作用の関連付け処理を行う（ステップＳ９０８）。

ファイル操作がファイルの表示であれば（ステップＳ９０９）、記憶された録音状況の情報を用いて、ファイル表示操作用の関連付け処理を行う（ステップＳ９１０）。

以上により第２の実施形態の処理が説明された。このように、通話の途中で話者が入れ替わった場合であっても、その都度所定の時間だけ通話を録音することにより、話者と関連して操作されたファイルをそれぞれの話者の音声ファイルに関連付けることができる。

（第３の実施形態）
第３の実施形態では、音声ファイルに対して、通話中に使用しているハンドセットの識別ＩＤを関連付けて、関連付け情報を作成する。ハンドセットは、内部のフラッシュメモリに固有の識別ＩＤを格納しており、この識別ＩＤはＵＳＢ接続されたホスト機器から取得可能となっている。

アダプタはＵＳＢ接続されたハンドセットからハンドセット識別ＩＤを取得し、内部のメモリに記憶しておく。通話の録音が開始されると、音声ファイルに付随する関連付け情報に、ハンドセット識別ＩＤを含めて情報を作成する。

図１０にハンドセットＩＤを付加した関連付け情報ファイルの例を示す。図１０（ａ）は、音声ファイルを格納するフォルダに作成される関連付け情報ファイル、図１０（ｂ）は画像ファイルを格納するフォルダに作成される関連付け情報ファイルである。

図１０（ａ）の各音声ファイルに対する情報キー"ｍｙ ｈａｎｄｓｅｔ ＩＤ"に、通話に使用した自ハンドセットＩＤが格納される。例えば、"音声１.ｗａｖ"ファイルに関連付けられるハンドセットＩＤは１番、"音声２.ｗａｖ"ファイルに関連付けられるハンドセットＩＤは２番である。

図１１を用いて、ハンドセットＩＤを利用した音声ファイルの検索処理により、より容易に所望の画像を取得することを可能とする、アダプタ装置の処理を説明する。最初に、アダプタに現在接続されているハンドセットの識別ＩＤを取得する（ステップＳ１１０１）。

次に、音声ファイルの関連付け情報ファイルを検索し、取得したハンドセットＩＤに一致する音声ファイルだけを抽出する。関連付け情報ファイルが図１０（ａ）に示す状態であった場合、現在接続されているハンドセットＩＤが１であれば、"音声１．ｗａｖ"と"音声３．ｗａｖ"の二つのファイルだけが抽出される（ステップＳ１１０２）。

抽出した音声ファイルを、ファイルの作成日時順にソートしてテレビ画面に表示する（ステップＳ１１０３）。ユーザはハンドセットを操作して最初に再生する音声ファイルを選択する（ステップＳ１１０４）。

以下、ステップＳ１１０５からステップＳ１１０９までの処理は、図６におけるステップＳ６０４からステップＳ６０８までの処理と同じなので、詳細説明は省略する。

以上の処理により、例えば家族でアダプタ装置を共用して使用する場合でも、各自が専用のハンドセットを所有して使用すれば、自分のハンドセットＩＤに関連付けられた音声ファイルだけが選択される。これにより、音声に関連付けられた画像の検索をより容易に行うことができる。また、自分のハンドセットを使用した通話に関連づけられた音声だけが選択されるため、家族内のプライバシーを守ることもできる。

（第４の実施形態）
第４の実施形態では、通話履歴から音声ファイルへの関連付けを作成する。また、通話先のハンドセットＩＤを受信して通話先の話者識別に利用し、新たなハンドセットＩＤを受信するタイミングで通話の録音を開始する。更に、通話先ＩＤの情報を関連付け情報に含め、音声の検索時にその情報を利用することにより、より検索対象を絞り込むことを可能とする。

図１６に本実施形態の接続図を示す。アダプタ装置１１００には通話開始時点では、ハンドセット２００１を接続している。ハンドセット２００１を使用して通話を行っているユーザが通話の途中でハンドセット上の保留ボタンを押し、アダプタ装置１０００との通信を継続したままハンドセットを取り外したいことを、アダプタ装置１１００に知らせる。その後、実際にハンドセット２００１をアダプタ装置１１００から取り外す。アダプタ装置１１００は通信を継続したまま音声の送受信をいったん中断する。その後、ハンドセット２００２を持つ別のユーザがアダプタ装置１１００にハンドセットを接続し、ハンドセット上の再開ボタンを押して、通話の再開を指示すると、アダプタ装置１１００は通話を再開する。新たなユーザはハンドセット２００２を使用して通話を行う。

図１２に本実施形態における通話中処理を示す。通話が開始されると、通話先からハンドセットＩＤ転送要求があるか否かを調べる。要求があれば、ハンドセットＩＤを受信してメモリに記憶し（ステップＳ１２０１）、ステップＳ１２０２の通話録音開始処理へ進む。

ハンドセットＩＤを受信しなければ、ステップＳ１２０６のデータ受信処理へ進む。録音を開始した後、所定の時間が経過したか否か調べる（ステップＳ１２０３）。

経過していれば、通話録音終了処理に進み、ハードディスクに作成された音声ファイルを閉じる（ステップＳ１２０４）。その後、通話履歴と音声ファイル及びハンドセットＩＤとの関連付け情報をファイルに作成する。

図１３（ｂ）に作成される関連付けファイルの例を示す。この例では、通話履歴がファイル名"ｒｉｒｅｋｉ1.ｄａｔ"という名前のファイルに作成され、関連付け情報ファイル自体は"ｒｉｒｅｋｉ１.ｔｘｔ"という名前で作成されていることがわかる。また、通話ＩＤが３番の場合を例にすると、最初に通話先ハンドセットＩＤが１１番の音声ファイル"音声３.ｗａｖ"が作成されている。

さらに自アダプタに接続されているハンドセットＩＤを取得する。そして、図１３（ｃ）に示すように、音声ファイルに対する関連付け情報ファイルに、音声ファイル名、自ハンドセットＩＤ、通話先ハンドセットＩＤ、及び履歴情報ファイルへの逆方向リンクの項目を作成する（ステップＳ１２０５）。

ステップＳ１２０６ではデータ転送要求があるか否かを調べる。要求が無ければ、ステップＳ１２０８に進む。データ転送要求があれば、データ受信処理を開始する。受信するデータをハードディスク上のファイルに逐次保存していく（ステップＳ１２０７）。

次にデータ受信中であれば、データ受信完了したか否かを調べる（ステップＳ１２０８）。データ受信完了でなければ、ステップＳ１２１２に進む。

データ受信を完了したら、ハードディスク上の受信データが保存されたファイルを閉じる（ステップＳ１２０９）。ファイルの保存が完了したら、受信したデータを表示画面に表示する（ステップＳ１２１０）。

次に、図１３（ｃ）に示す音声データに付随する関連付けファイルに、音声データから受信ファイルへの関連付けを作成する。更に、不図示の、保存した受信ファイルから音声ファイルへの逆方向リンクを、受信した画像ファイルに付随する関連付け情報ファイルに作成する（ステップＳ１２１１）。

切断要求を受信したか否かを調べる（ステップＳ１２１２）。切断要求を受信したなら切断処理に進む。受信していなければ、現在通話録音中か否かを調べる。通話録音中であれば、ステップＳ１２０３へ、録音中でなければステップＳ１２０１へ処理を戻る。

図１４に本実施形態の切断処理を示す。通話録音中か否かを調べ、録音中であれば通話録音処理を終了する。ハードディスク上に作成された音声ファイルを閉じる（ステップＳ１４０１）。

次にデータチャネルが開設されているか否かを調べる。開設されていれば、データチャネルの切断処理を行う。データチャネル用に開いているポートを閉じる。これ以後、データの送受信は行われなくなる（ステップＳ１４０２）。

続いて、通話切断処理が行われる。音声のＲＴＰストリームの送信を停止し、ＲＴＰストリームで使用していたポートを閉じる。音声の送受信は行われなくなる。通話先アダプタへＳＩＰのＯＫメッセージを返信する。ハンドセットへは、通話の切断を示す切断音を流す。

ユーザは切断音を聞いてハンドセットの通話終了ボタンを押す。切断音を停止し終了する。（ステップＳ１４０３）。次に通話履歴作成処理に進む。通話開始時刻、終了時刻、通話先アドレス、発信／着信種別、自ハンドセットＩＤを含む通話履歴を作成する（ステップＳ１４０４）。さらに、通話履歴に対して、通話中に録音された音声ファイルへの関連付け情報を作成する（ステップＳ１４０５）。

作成される通話履歴の例を図１３（ａ）に示す。履歴を管理する通話ＩＤ、通話開始時刻、通話終了時刻、相手アドレス、発信／着信種別、自ハンドセットＩＤが格納されている。図１３（ｂ）及び（ｃ）は既に説明したので、ここでは説明を省略する。

図１５を用いて、通話履歴を利用して通話の録音ファイルから所望の静止画ファイルを取得する処理を説明する。アダプタに現在接続されているハンドセットＩＤを取得する（ステップＳ１５０１）。通話先ハンドセットＩＤの選択メニューをテレビ画面に表示し、ハンドセット操作で選択する。

表示するハンドセットＩＤには選択を容易にするために、ハンドセットを使用するユーザの氏名等、予め作成されたコメント情報を一緒に表示する（ステップＳ１５０２）。

履歴内の自ハンドセットID情報と、履歴に関連付けられた関連付け情報に含まれる通話先ハンドセットＩＤ情報と〜、取得した自ハンドセットＩＤ及び選択された通話先ハンドセットＩＤが共に一致する通話履歴を抽出する（ステップＳ１５０３）。

抽出した通話履歴からさらに、操作したファイルが関連付けられた音声ファイルを持つ履歴だけに絞り込んで通話履歴を抽出する（ステップＳ１５０４）。

抽出した通話履歴を通話開始時刻でソートし、履歴情報を画面に表示する（ステップＳ１５０５）。ユーザは表示された履歴の中から、処理を開始する先頭履歴をハンドセット操作で選択する。

アダプタは選択された履歴に対応する音声ファイルの中で、自ハンドセットＩＤ及び通話先ハンドセットＩＤの条件に合致する音声ファイルを一つ取得する（ステップＳ１５０６）。

取得した音声ファイルを再生しハンドセットのスピーカに出力する（ステップＳ１５０７）。再生された音声から所望の通話か否かをユーザが判断する（ステップＳ１５０８）。

所望の通話でない場合には、ユーザは、次の音声に進むことを指示するボタンを操作する。アダプタは現在の履歴内に、検索条件に合致する音声がまだあれば、次の音声に処理を進め（ステップＳ１５１０）、ステップＳ１５０７に戻って音声を再生処理する。

処理してない音声がもう無ければ、条件に合う通話履歴がまだあるか否かを判断する（ステップＳ１５１１）。条件に合う未処理の履歴があれば、その履歴に処理を進め、履歴内の条件に合致する音声ファイルを一つ取得する（ステップＳ１５１２）。

ステップＳ１５０７に戻って音声の再生を行う。処理していない履歴がもう無ければ処理を終了する。ステップＳ１５０８で所望の通話であった場合には、ユーザは表示ボタンを押す。

通話に関連付けられている画像データを取得し、画面に表示する（ステップＳ１５１３）。

以上により第４の実施形態が説明された。本実施形態では、通話先が使用するハンドセットＩＤを利用することにより、通話の相手を絞り込んだ検索を行うことが可能となる。同時に、履歴情報を検索に利用することにより、同じ相手であっても、短時間しか電話しなかったのか、長電話をしたのか、というような情報もユーザが知ることができ、所望の画像ファイルの取得がより容易になる。

なお、本実施形態では、ハンドセットとアダプタとの接続及びハンドセットの切り替えは、ＵＳＢケーブルを抜き差しする場合を例にあげたが、本発明はそれだけに限定されるものではない。例えば、ハンドセットとアダプタをワイヤレスＵＳＢのような無線インタフェースで接続してもよい。無線接続の場合でも、無線接続開始ボタン、無線切断ボタンのようなキーをハンドセットに用意することにより、有線接続の場合と同様なハンドセットの切り替え処理を行うことができる。

（その他の実施形態）
ここまでの実施形態では、録音音声はアダプタ内のハードディスクに格納していた。しかし、音声を格納する場所はアダプタ内だけに限るものではない。例えば、他の実施形態として、ハンドセット内部のフラッシュメモリに格納することもできる。その場合には、音声に付随する関連付け情報ファイルもハンドセット内に保存する。

また、ファイルの格納場所の表現形式を、サーバ名又はアダプタ名、及びフルパスファイル名を組み合わせる形式にすることにより、画像ファイルの格納場所もアダプタ内に限らず、ネットワークに接続された別の機器のハードディスクに格納することができる。

画像ファイルに付随する関連付け情報ファイルも画像ファイルと同じフォルダ内に置くことになる。同様に、第４の実施形態で作成した通話履歴は、アダプタ内のハードディスクに格納していたが、通話履歴を保存する場所もアダプタ内だけに限るものではない。

例えば、他の実施形態として、ハンドセット内部のフラッシュメモリに格納することができる。例えば通話履歴と録音音声をハンドセットに格納し、画像ファイルはネットワークに接続されたハードディスクに格納することにより、ハンドセットを移動して異なるアダプタに接続しても通話履歴や録音音声から所望の画像ファイルへアクセスすることが可能となる。

なお、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。

本発明の実施の形態に係るアダプタ装置及びハンドセットのブロック図である。 本発明の実施の形態に係るアダプタ装置の接続図である。 本発明の実施の形態に係るアダプタ装置による通信シーケンスを説明する図である。 通話中に録音された音声ファイルと操作されたファイルの関連付けの一例を説明する図である。 通話中に録音された音声ファイルと操作されたファイルの関連付けの一例を説明する図である。 通話中に録音された音声ファイルと操作されたファイルの関連付けの一例を説明する図である。 通話中に録音された音声ファイルと操作されたファイルの関連付けの一例を説明する図である。 通話中に録音された音声ファイルと操作されたファイルの関連付けの一例を説明する図である。 通話中に録音された音声ファイルと操作されたファイルの関連付けの一例を説明する図である。 通話中に録音された音声ファイルと操作されたファイルの関連付けの一例を説明する図である。 通話中のアダプタ装置の処理を説明するフローチャートである。 音声ファイルから画像ファイルを取得する処理を説明するフローチャートである。 音声ファイルの移動例を示す図である。 画像ファイルの移動例を示す図である。 音声ファイルを移動した場合の関連情報ファイルの作成例を示す図である。 画像ファイルを移動した場合の関連情報ファイルの作成例を示す図である。 本発明の第２の実施の形態における録音された音声ファイルと操作されたファイルの関連付けの処理を説明するフローチャートである。 ハンドルセットＩＤを付加した関連付け情報ファイルの例を示す図である。 ハンドルセットＩＤを利用して音声ファイルから画像ファイルを検索する処理を説明するフローチャートである。 本発明の第４の実施の形態における通話中のアダプタ装置の処理を説明するフローチャートである。 通話履歴に音声ファイルとハンドセットＩＤを関連付ける場合の履歴情報及び関連付け情報ファイルの作成例を示す図である。 本発明の第４の実施の形態におけるアダプタ装置の通信切断処理を説明するフローチャートである。 通話履歴を利用して音声ファイルから画像ファイルを検索する処理を説明するフローチャートである。 本発明の第４の実施の形態に係るアダプタ装置の接続例を示す図である。

符号の説明

１０００、１１００ アダプタ装置
１００ システムコントローラ
１０１ フラッシュメモリ
１０２ ＲＡＭ
１０３ ハードディスク
１０４ ハードディスクインタフェース
１０５ Ｉ／Ｏポート制御回路
１０６ ソフトスイッチ
１０７ ＵＳＢホストコントローラ
１０８ ＵＳＢホストポート
１０９ ＵＳＢホストポート
１１０ ＵＳＢデバイスコントローラ
１１１ ＵＳＢデバイスポート
１１２ 電源回路
１１３ ＡＣ電源コネクタ
１１４ ＬＡＮコントローラ
１１５ ＬＡＮコネクタ
１１６ ビデオインタフェース
１１７ ビデオ出力端子
１１８ ビデオＲＡＭ
２０００、２００１、２００２ ＵＳＢハンドセット
２００ システムコントローラ
２０１ フラッシュメモリ
２０２ ＲＡＭ
２０３ 音声コーデック
２０４ マイク
２０５ アンプ
２０６ スピーカ
２０７ Ｉ／Ｏポート制御回路
２０８ 操作キーボード
２０９ ＵＳＢデバイスコントローラ
２１０ ＵＳＢコネクタ
２１１ 電源回路
４０００、４００１ ネットワーク
５０００ インターネット
５１００ ＳＩＰプロキシサーバ

Claims (3)

1. 通話中に所定のトリガをきっかけとして通話を録音して音声ファイルとして保存する通信システムであって、
   作成された音声ファイルから通話中に操作したファイルへの関連付け情報を、該音声ファイルに付随する属性情報として生成することを特徴とする通信システム。
2. 請求項１に記載の通信システムにおいて、通話中のファイルの操作とは、通話先からのファイル受信、ファイルの表示、ファイルの印刷のうちの少なくとも一つの操作を含むことを特徴とする通信システム。
3. 請求項１に記載の通信システムにおいて、保存されている複数の音声ファイルの中から、ファイルが関連付けられている音声ファイルだけを抽出する手段と、抽出した音声ファイルを再生する手段と、再生された音声に関連付けられたファイルを取得する手段とを設けたことを特徴とする通信システム。

Images