JP2011066944A - テレビ電話装置、テレビ電話装置における映像データ処理方法 - Google Patents

Abstract

【課題】通話時または録音した通話の再生時に、映像を迅速に表示することができるテレビ電話装置を提供する。
【解決手段】テレビ電話装置１Ａは、時刻ｔ２において、テレビ電話装置１Ｂとのセッションを確立するためのシグナリング処理が終了すると、テレビ電話装置１Ｂへの映像データの送信を開始する。このとき、テレビ電話装置１Ａは、セッション確立後の一定期間（時刻ｔ３から時刻ｔ５までの期間）では、イントラフレームの送信間隔を短くする。これにより、時刻ｔ３でイントラフレームがネットワークのトラフィック負荷により消失したとしても、テレビ電話装置１Ｂ側では、時刻ｔ４においてテレビ電話装置１Ａから送信されたイントラフレームをすぐに受信し、受信したイントラフレームをキーにして、テレビ電話装置１Ａからの映像を迅速に表示することができる。
【選択図】図２

Description

本発明は、映像データおよび音声データを送受信するテレビ電話装置、テレビ電話装置における映像データ処理方法に関し、特に、映像データをフレーム間符号化されたインターフレームまたはフレーム間符号化されたイントラフレームとして送受信するテレビ電話装置、テレビ電話装置における映像データ処理方法に関する。

テレビ電話装置においては、相手装置に映像データを送信する場合、フレーム内符号化されたイントラフレームを所定の間隔（例えば、１０秒ごと）で送信し、イントラフレームを送信する合間に、フレーム間符号化されたインターフレームを連続して送信する（例えば、特許文献１参照）。

ここで、イントラフレームとは、キーフレームやＩフレーム等とも呼ばれ、自己完結された映像データである。すなわち、イントラフレームは、他のフレームに基づかずに復号化を行うことが可能である。

一方、インターフレームは、デルタフレームやＰフレーム等とも呼ばれ、その前のフレームを基準として、その前のフレームからの変化が符号化された映像データである。よって、インターフレームは、その前のフレームを基準にして復号化が行われる。

そのため、テレビ電話装置において、イントラフレームとインターフレームを用いた映像データを表示する場合、インターフレームを最初に受信しても、その前のフレームからの差分情報しかないため、完全な映像を生成（復元）することが不可能である。

従って、テレビ電話装置においては、相手装置から受信した映像データを表示する場合、最初にイントラフレームを受信してから、そのイントラフレームをキーにして映像データを表示する必要がある。

特開２００１−１５７１８３号公報

しかしながら、従来のテレビ電話装置においては、イントラフレームをキーにして映像データを表示するため、通話を開始しようとしても、イントラフレームを受信するまでは映像データを表示することができず、通話を開始するまでに時間がかかってしまうという課題がある。以下、この課題について図７を参照して詳細に説明する。

図７を参照すると、時刻ｔ１において、テレビ電話装置Ａは、テレビ電話装置Ｂに対して呼接続要求を行う。すると、テレビ電話装置Ｂは、着信音を鳴らし、時刻ｔ２において、オフフック状態になると、テレビ電話装置Ａとの接続を許可する。これにより、テレビ電話装置Ａ，Ｂ間のセッション（呼接続）が確立する。

以上でシグナリング処理が終了し、以降、テレビ電話装置Ａ，Ｂ間では、音声データおよび映像データを送受信する。

なお、テレビ電話装置においては、通話時には、マイク等で集音した音声データを圧縮して映像データと共に相手装置に送信し、相手装置から映像データと共に受信した音声データを伸長してスピーカ等から出力する。また、通話録音時には、相手装置から映像データと共に受信した音声データをＨＤＤ（Hard Disk Drive）に保存し、通話再生時には、ＨＤＤから映像データと共に読み出した音声データを再生する。このような音声データの処理は一般に行われるものであり、本発明の本質的部分ではない。そのため、以下の記載では、音声データの処理は、上記のように行われるものとして説明を省略する。

テレビ電話装置Ｂとのセッションが確立すると、テレビ電話装置Ａは映像データの送信を開始する。このとき、テレビ電話装置Ａは、時刻ｔ３において、まず、イントラフレームを送信し、続けて、インターフレームを連続して送信する。テレビ電話装置Ａは、時刻ｔ３から一定時間後の時刻ｔ４において、再度、イントラフレームを送信し、続けて、インターフレームを連続して送信する。このように、テレビ電話装置Ａは、所定の間隔でイントラフレームを送信し、その合間にインターフレームを連続して送信する。

ところが、時刻ｔ３において、テレビ電話装置Ａからテレビ電話装置Ｂに送信されたイントラフレーム（直後に送信したインターフレームも同様）が、ネットワークのトラフィックなどが原因で消失している（パケットロス）。

テレビ電話装置Ｂは、テレビ電話装置Ａからの映像データを表示する際には、イントラフレームをキーにして映像データを表示する。しかし、テレビ電話装置Ｂは、時刻ｔ４まではイントラフレームを受信しないため、時刻ｔ４までにインターフレームを受信したとしても、そのインターフレームを表示することはできない。このときは、テレビ電話装置Ｂは無映像状態となる。

すなわち、テレビ電話装置Ｂは、時刻ｔ４までは相手装置からの映像データを表示することはできず、時刻ｔ４でイントラフレームを受信した時点で、映像データの表示すなわち相手との通話が可能となるため、通話を開始するまでに時間がかかってしまう。

また、従来のテレビ電話装置においては、イントラフレームをキーにして映像データを表示するため、録音した通話を再生しようとしても、イントラフレームを読み出すまでは映像データを表示することができず、通話の再生を開始するまでに時間がかかってしまうという課題もある。以下、この課題について図８を参照して詳細に説明する。なお、図８は、テレビ電話装置Ａ，Ｂ間で行うシグナリング処理については省略している。

テレビ電話装置Ａは、時刻ｔ１，ｔ３において、イントラフレームを所定の間隔で送信し、その合間にインターフレームを連続して送信している。

テレビ電話装置Ｂは、時刻ｔ２において、ユーザからの通話録音開始の指示（録音ボタン押下等）を受けると、通話の録音を開始し、時刻ｔ２以降にテレビ電話装置Ａから受信した映像データをＨＤＤに保存する。

一方、テレビ電話装置Ｂは、ユーザからの通話再生開始の指示（再生ボタン押下等）を受けると、ＨＤＤに保存した映像データを、イントラフレームをキーにして表示する。しかし、テレビ電話装置Ｂは、時刻ｔ３で受信したイントラフレームを読み出すまでは、時刻ｔ２〜ｔ３までの間に受信したインターフレームを読み出したとしても、そのインターフレームを表示することはできない。

すなわち、テレビ電話装置Ｂは、時刻ｔ３で受信したイントラフレームを読み出すまでは映像データを表示することはできず、時刻ｔ３で受信したイントラフレームを読み出した時点で、映像データの表示すなわち通話の再生が可能となるため、通話の再生を開始するまでに時間がかかってしまう。

このように、従来のテレビ電話装置においては、通話をしようとする場合や録音した通話を再生しようとする場合、映像データを迅速に表示することができないために、通話や通話の再生を開始するまでに時間がかかってしまうおそれがあるという課題がある。

そこで、本発明の目的は、通話時または録音した通話の再生時に、映像を迅速に表示することができるテレビ電話装置、テレビ電話装置における映像データ処理方法を提供することにある。

本発明のテレビ電話装置は、
映像データをフレーム内符号化されたイントラフレームまたはフレーム間符号化されたインターフレームとして相手装置に送信するテレビ電話装置であって、
相手装置とのセッションを確立するためのシグナリング処理を行うシグナリング処理手段と、
イントラフレームを相手装置に送信し、該イントラフレームを送信する合間には、インターフレームを相手装置に送信するデータ送信手段とを有し、
前記データ送信手段は、相手装置とのセッション確立後の一定期間では、該一定期間経過後よりも短い間隔でイントラフレームを相手装置に送信するものである。

この構成によれば、セッション確立後の一定期間において相手装置から送信されてきたイントラフレームが消失したとしても、その後すぐに短い間隔で送信されてくるイントラフレームを受信し、このイントラフレームをキーにして、相手装置からの映像を迅速に表示することができるため、通話を開始するまでの時間を短縮することができる。

本発明の別の態様によるテレビ電話装置は、
映像データをフレーム内符号化されたイントラフレームまたはフレーム間符号化されたインターフレームとして相手装置から受信するテレビ電話装置であって、
相手装置からイントラフレームを所定の間隔で受信し、該イントラフレームを受信する合間には、相手装置からインターフレームを受信するデータ受信手段と、
相手装置からイントラフレームを受信すると、該イントラフレーム以降に受信した映像データの格納を開始し、該イントラフレームを受信してから一定期間の経過前に通話録音開始の指示を受けた場合、以降に通話録音停止の指示を受けたタイミングで、格納している映像データのうち通話録音開始の指示を受ける直前にイントラフレームを受信してから通話録音停止の指示を受けるまでに受信した映像データを出力するバッファと、
通話録音停止の指示を受けたタイミングで、前記バッファから出力された映像データを保存する記憶手段と、
通話再生開始の指示を受けた場合に、前記記憶手段から読み出した映像データを復号化する復号化手段とを有するものである。

あるいは、映像データをフレーム内符号化されたイントラフレームまたはフレーム間符号化されたインターフレームとして相手装置から受信するテレビ電話装置であって、
相手装置からイントラフレームを所定の間隔で受信し、該イントラフレームを受信する合間には、相手装置からインターフレームを受信するデータ受信手段と、
相手装置からイントラフレームを受信すると、該イントラフレーム以降に受信した映像データの格納を開始し、該イントラフレームを受信してから一定期間の経過前に通話録音開始の指示を受けた場合、通話録音開始の指示を受けたタイミングで、格納している映像データのうち通話録音開始の指示を受ける直前にイントラフレームを受信してから通話録音開始の指示を受けるまでに受信した映像データを出力するバッファと、
通話録音開始の指示を受けたタイミングで、以降に通話録音停止の指示を受けるまでに受信する映像データの保存を開始するとともに、該映像データの先頭部分に、前記バッファから出力された映像データを付加するように保存する記憶手段と、
通話再生開始の指示を受けた場合に、前記記憶手段から読み出した映像データを復号化する復号化手段とを有するものである。

これらの構成によれば、記憶手段に保存される映像データの先頭部分は、通話録音開始の指示を受ける前に受信したイントラフレームとなるため、通話再生開始の指示を受けた場合、記憶手段の先頭に保存されているイントラフレームを読み出し、このイントラフレームをキーにして、映像データを表示することができる。すなわち、通話録音開始の指示を受けた後に受信したイントラフレームを記憶手段から読み出すのを待たずに、映像データを迅速に表示することができるため、録音した通話の再生を開始するまでの時間を短縮することができる。

また、前記記憶手段は、保存している映像データの先頭部分のイントラフレームを受信してから通話録音開始の指示を受けるまでの時間を示す時間差情報も保存し、
前記復号化手段は、通話再生開始の指示を受けた場合、前記記憶手段からの映像データの読み出しを開始し、前記時間差情報で示される時間の経過後に読み出した映像データを復号化した映像から表示部への出力を開始することとしても良い。

この構成によれば、通話再生開始の指示を受けた後に受信した映像データから復号化を開始するため、通話録音開始の指示を受ける前に受信した映像データを再生表示してしまうことを防止することができる。

本発明のさらに別の態様によるテレビ電話装置は、
映像データをフレーム内符号化されたイントラフレームまたはフレーム間符号化されたインターフレームとして相手装置から受信するテレビ電話装置であって、
相手装置からイントラフレームを所定の間隔で受信し、該イントラフレームを受信する合間には、相手装置からインターフレームを受信するデータ受信手段と、
通話録音開始の指示を受けた場合に、その直後に相手装置から受信した映像データに基づいてイントラフレームを生成するイントラフレーム生成手段と、
通話録音開始の指示を受けた場合に、それ以降に相手装置から受信する映像データの先頭部分に、前記イントラフレーム生成手段にて生成されたイントラフレームがマージされたものを保存する記憶手段と、
通話再生開始の指示を受けた場合に、前記記憶手段から読み出した映像データを復号化する復号化手段とを有するものである。

この構成によれば、記憶手段に保存される映像データの先頭部分は、通話録音開始の指示を受けた直後に受信した映像データから生成されたイントラフレームとなるため、通話再生開始の指示を受けた場合、記憶手段の先頭に保存されているイントラフレームを読み出し、このイントラフレームをキーにして、映像データを表示することができる。すなわち、通話録音開始の指示を受けた後に受信したイントラフレームを記憶手段から読み出すのを待たずに、映像データを迅速に表示することができるため、録音した通話の再生を開始するまでの時間を短縮することができる。

本発明によれば、セッション確立後の一定期間では、イントラフレームを短い間隔で送信するため、相手装置から送信されてきたイントラフレームが消失したとしても、その後すぐに送信されてくるイントラフレームを受信することができ、このイントラフレームをキーにして、相手装置からの映像を迅速に表示することができるという効果を奏する。

本発明の第１の実施形態によるテレビ電話装置の構成を説明するブロック図である。 図１に示したテレビ電話装置の動作を説明する図である。 本発明の第２の実施形態によるテレビ電話装置の構成を説明するブロック図である。 図３に示したテレビ電話装置の動作を説明する図である。 本発明の第３の実施形態によるテレビ電話装置の構成を説明するブロック図である。 図５に示したテレビ電話装置の動作を説明する図である。 従来のテレビ電話装置の課題を説明する図である。 従来のテレビ電話装置の別の課題を説明する図である。

以下に、本発明を実施するための最良の形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態によるテレビ電話装置の構成を示すブロック図である。ただし、図１は、本実施形態の本質的部分のみを示すものであり、実際には、当然ながらモニタ、マイク、スピーカ等のテレビ電話装置を構成する一般的な構成要素も設けられている。

図１を参照すると、本実施形態のテレビ電話装置１は、本体部１０１およびカメラ１０２から構成されている。本体部１０１は、ＮＩＣ（Network Interface Card）１０３、シグナリング処理部１０４、データ送信手段であるＲＴＰ（Real-time Transport Protocol）処理部１０５、符号化手段であるビデオエンコーダ１０６、ビデオデコーダ１０７、ビデオＩ／Ｏ（Input/Output）１０８、および制御部１０９を有している。制御部１０９は、タイマ１１０および映像データ制御部１１１を含んでいる。なお、図１の破線部は、相手装置に送信される映像データの流れを示している。

ＮＩＣ１０３は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）であるネットワークとのインターフェース部分である。

シグナリング処理部１０４は、相手装置とのセッションを確立するためのシグナリング処理を行う。シグナリング処理には、相手装置に対して呼接続要求を行う処理、相手装置から呼接続要求を受けた場合に着信音を鳴らす処理、オフフック状態になった時に相手装置との接続を許可する処理などが含まれる。

カメラ１０２は、自装置を使用するユーザの映像を撮影し、ビデオＩ／Ｏ１０８は、カメラ１０２にて撮影された映像データの入力処理を行う。

タイマ１１０は、相手装置とのセッション確立後に時間計測を開始し、映像データ制御部１１１は、タイマ１１０にて計測された時間に基づき、ビデオエンコーダ１０６に対してイントラフレームの生成を指示する。その際、映像データ制御部１１１は、セッション確立後の一定期間では、該一定期間経過後よりも短い間隔でイントラフレームの生成を指示する。なお、セッション確立後の一定期間とは、映像データ制御部１１１がシグナリング処理部１０４から相手装置とのセッションが確立した旨の情報を受けてからの一定期間であっても良く、または、映像データ制御部１１１が所定の映像に対するイントラフレームの生成をビデオエンコーダ１０６に指示してからの一定期間であっても良い。

ビデオエンコーダ１０６は、映像データ制御部１１１からイントラフレームの生成指示を受けたタイミングで、カメラ１０２にて撮影されビデオＩ／Ｏ１０８から入力された映像データに対してフレーム内符号化を行ってイントラフレームを生成する。なお、ビデオエンコーダ１０６は、上記以外のタイミングでは、入力された映像データに対してフレーム間符号化を行ってインターフレームを生成する。

ＲＴＰ処理部１０５は、ビデオエンコーダ１０６にて生成されたイントラフレームまたはインターフレームにＲＴＰヘッダを付加し、ＮＩＣ１０３からネットワーク経由で相手装置に対して送信する。なお、インターフレームの送信は、イントラフレームを所定の間隔で送信する合間に行われるが、後にイントラフレームを送信しなくても、インターフレームの送信が行われる場合もある（以下、同じ）。また、本実施形態では、通信用プロトコルとしてＲＴＰを使用しているが、本発明で使用する通信用プロトコルはＲＴＰに限定されない。

なお、相手装置からネットワーク経由で送信されてきた映像データは、ＲＴＰ処理部１０５でＲＴＰヘッダが除去され、ビデオデコーダ１０７で復号化され、ビデオＩ／Ｏ１０８で不図示のモニタへ出力され、そのモニタにて表示される。

以下、本実施形態のテレビ電話装置の動作について図２を参照して説明する。ここでは、本実施形態のテレビ電話装置１Ａ，１Ｂが通話を行う場合のテレビ電話装置１Ａ側の動作を中心に説明する。

図２を参照すると、時刻ｔ１において、テレビ電話装置１Ａのシグナリング処理部１０４は、テレビ電話装置１Ｂとのセッションを確立するためのシグナリング処理を開始し、時刻ｔ２において、シグナリング処理が終了すると、その旨を制御部１０９に通知する。すると、制御部１０９では、タイマ１１０による時間計測を開始する。なお、シグナリング処理は図７に示したものと同様であるため、詳細な説明は省略する。

セッション確立後の一定期間（時刻ｔ３から時刻ｔ５までの期間。例えば、１０秒）では、テレビ電話装置１Ａの映像データ制御部１１１は、ビデオエンコーダ１０６に対して短い間隔でイントラフレームの生成を指示する。従って、セッション確立後の一定期間は、テレビ電話装置１ＡのＲＴＰ処理部１０５から送信されるイントラフレームの送信間隔は短くなる。

よって、時刻ｔ３においてテレビ電話装置１Ａから送信されたイントラフレームがネットワークのトラフィック負荷により消失したとしても、次にイントラフレームを送信する時刻ｔ４までの間隔が短いため、テレビ電話装置１Ｂ側では、時刻ｔ４においてテレビ電話装置１Ａから送信されたイントラフレームをすぐに受信することができる。

このように、テレビ電話装置１Ｂ側では、時刻ｔ３において送信したイントラフレームが消失したとしても、その後すぐに時刻ｔ４でイントラフレームを受信し、そのイントラフレームをキーにして、テレビ電話装置１Ａからの映像を迅速に表示することができるため、テレビ電話装置１Ａ，１Ｂ間で通話を開始するまでの時間を短縮することができる。

一方、セッション確立後の一定期間経過後（時刻ｔ５以降）は、その一定期間内に通常よりも多くのイントラフレームを送信しているため、テレビ電話装置１Ｂ側でイントラフレームを既に受信していて映像が表示されている可能性が高い。そこで、テレビ電話装置１Ａの映像データ制御部１１１は、セッション確立後の一定期間経過後は、その一定期間中よりも長い間隔でビデオエンコーダ１０６に対してイントラフレームの生成を指示する。従って、セッション確立後の一定期間経過後は、テレビ電話装置１ＡのＲＴＰ処理部１０５から送信されるイントラフレームの送信間隔は長くなる。

このように、テレビ電話装置１Ａからテレビ電話装置１Ｂに対して、インターフレームと比較して相対的に容量が大きなイントラフレームを送信する回数が少なくなるため、ネットワークのトラフィック負荷を低減することができる。

なお、本実施形態においては、セッション確立後の一定期間のイントラフレームの送信間隔は、該一定期間経過後の送信間隔よりも短くなっていれば、どのような間隔としても良い。例えば、以下の例１，例２のような間隔とすることができる。
（例１）
０．１ｓ→０．２ｓ→０．４ｓ→０．８ｓ→１．０ｓ→１．５ｓ→２．０ｓ・・・
（例２）
０．５ｓ→０．５ｓ→０．５ｓ→０．５ｓ→１．０ｓ→１．０ｓ→１．０ｓ・・・
（第２の実施形態）
図３は、本発明の第２の実施形態によるテレビ電話装置の構成を示すブロック図である。ただし、図３は、本実施形態の本質的部分のみを示すものであり、実際には、当然ながらカメラ、マイク、スピーカ等のテレビ電話装置を構成する一般的な構成要素も設けられている。

図３を参照すると、本実施形態のテレビ電話装置２は、本体部２０１およびモニタ２０２から構成されている。本体部２０１は、ＮＩＣ２０３、シグナリング処理部２０４、データ受信手段であるＲＴＰ処理部２０５、ビデオエンコーダ２０６、復号化手段であるビデオデコーダ２０７、ビデオＩ／Ｏ２０８、記憶手段であるＨＤＤ２０９、および制御部２１０を有している。制御部２１０は、イントラフレーム判定部２１１およびバッファ２１２を含んでいる。なお、図３の破線部は、相手装置から受信した映像データの流れを示している。

ＮＩＣ２０３は、ＬＡＮやＷＡＮであるネットワークとのインターフェース部分である。

シグナリング処理部２０４は、相手装置とのセッションを確立するためのシグナリング処理を行う。シグナリング処理には、相手装置に対して呼接続要求を行う処理、相手装置から呼接続要求を受けた場合に着信音を鳴らす処理、オフフック状態になった時に相手装置との接続を許可する処理などが含まれる。

ＲＴＰ処理部２０５は、相手装置からネットワーク経由で受信した映像データからＲＴＰヘッダを除去する。

イントラフレーム判定部２１１は、受信された映像データがイントラフレームであるかを判定する。

バッファ２１２は、相手装置から受信したイントラフレームから、次のイントラフレームの前に受信するインターフレームまでの映像データを格納する容量がある。バッファ２１２は、イントラフレームが受信されたとイントラフレーム判定部２１１にて判定されると、該イントラフレーム以降に受信する映像データの格納を開始し、イントラフレームを受信してから一定期間経過後に映像データを破棄する。なお、イントラフレームを受信してから一定期間とは、次にイントラフレームを受信するまでの期間、または、バッファ２１２に格納している映像データが一定量に達するまでの期間である。後者の場合は、バッファ２１２に格納している全ての映像データを破棄するのではなく、直前に受信したイントラフレームよりも前に受信した映像データのみを破棄することになる。

ただし、バッファ２１２は、上記一定期間経過前に、ユーザからの通話録音開始の指示（録音ボタン押下等）を受けた場合、映像データの格納を継続して行い、ユーザからの通話録音停止の指示（録音ボタン押下解除等）を受けたタイミングで、格納している映像データのうち通話録音開始の指示を受ける直前にイントラフレームを受信してから通話録音停止の指示を受けるまでに受信した映像データをＨＤＤ２０９に出力してから、その映像データを破棄する。この場合、ＨＤＤ２０９は、通話録音停止の指示を受けたタイミングで、バッファ２１２から出力された映像データを保存する。

または、バッファ２１２は、上記一定期間経過前に、ユーザからの通話録音開始の指示を受けた場合、通話録音開始の指示を受けたタイミングで、格納している映像データのうち通話録音開始の指示を受ける直前にイントラフレームを受信してから通話録音開始の指示を受けるまでに受信した映像データをＨＤＤ２０９に出力してから、その映像データを破棄する。この場合、ＨＤＤ２０９は、通話録音開始の指示を受けたタイミングで、以降、通話録音停止の指示を受けるまでに受信した映像データの保存を開始し、その映像データの先頭部分に、バッファ２１２から出力された映像データを付加するように保存する。なお、通話録音開始の指示を受けた以降に受信した映像データについては、バッファ２１２以外のバッファ（不図示）を介してＨＤＤ２０９に保存しても良い。

なお、バッファ２１２は、映像データをＨＤＤ２０９に出力する際には、格納している映像データの先頭部分のイントラフレームを受信してから通話録音開始の指示を受けるまでの時間を示す時間差情報も併せて出力し、ＨＤＤ２０９は、バッファ２１２から出力された時間差情報を映像データと共に保存する。

ビデオデコーダ２０７は、通話時には、ＲＴＰ処理部１０５から出力された映像データを復号化し、録音した通話の再生時には、ユーザからの通話再生開始の指示（再生ボタン押下等）を受けて、ＨＤＤ２０９から読み出した映像データを復号化する。

ただし、ビデオデコーダ２０７は、録音した通話の再生時に、映像データを復号化する場合、ＨＤＤ２０９から読み出したイントラフレームから復号化を開始するのではなく、イントラフレームの読み出しを開始してから上記の時間差情報で示される時間の経過後に読み出した映像データから復号化を開始する。それにより、ユーザから通話録音開始の指示を受けた時間の映像から再生を開始することができる。

ビデオＩ／Ｏ２０８は、ビデオデコーダ２０７にて復号化された映像データのモニタ２０２への出力処理を行い、モニタ２０２は、ビデオＩ／Ｏ２０８から出力された映像データを表示する。

なお、相手装置へ送信する映像データは、不図示のカメラにて撮影され、ビデオＩ／Ｏ２０８で入力処理され、ビデオエンコーダ２０６で符号化され、ＲＴＰ処理部２０５でＲＴＰヘッダが付加されて、ＮＩＣ２０３からネットワーク経由で送信される。

以下、本実施形態のテレビ電話装置の動作について図４を参照して説明する。ここでは、本実施形態のテレビ電話装置２Ａ，２Ｂが通話を行う場合のテレビ電話装置２Ｂ側の動作を中心に説明する。なお、図４は、テレビ電話装置２Ａ，２Ｂ間で行うシグナリング処理については省略している。

通話時には、時刻ｔ１において、テレビ電話装置２Ｂのイントラフレーム判定部２１１にてイントラフレームが受信されたと判定されると、テレビ電話装置２Ｂのバッファ２１２は、時刻ｔ１で受信されたイントラフレーム以降の映像データの格納を開始する。

時刻ｔ２において、ユーザからの通話録音開始の指示を受けると、時刻ｔ２の直前にイントラフレームを受信した時刻ｔ１から、以降に通話録音停止の指示を受けるまでに受信する映像データをテレビ電話装置２ＢのＨＤＤ２０９に保存する処理を開始する。

具体的には、時刻ｔ１から通話録音停止の指示を受けるまでの間に受信する全ての映像データをバッファ２１２に格納し、通話録音停止の指示を受けたタイミングで、バッファ２１２格納している映像データをＨＤＤ２０９に出力し、ＨＤＤ２０９に保存する。

または、時刻ｔ１から時刻ｔ２までの間に受信する映像データをバッファ２１２に格納し、時刻ｔ２で通話録音開始の指示を受けたタイミングで、バッファ２１２格納している映像データをＨＤＤ２０９に出力する。そして、時刻ｔ２で通話録音開始の指示を受けたタイミングで、以降、通話録音停止の指示を受けるまでに受信した映像データのＨＤＤ２０９への保存を開始し、その映像データの先頭部分に付加するように、バッファ２１２から出力された映像データをＨＤＤ２０９に保存する。

なお、ＨＤＤ２０９には、時刻ｔ１でイントラフレームを受信してから時刻ｔ２で通話録音開始の指示を受けるまでの時間（ここでは、時刻ｔ１から時刻ｔ２までの時間）を示す時間差情報も併せて保存される。

一方、通話再生時には、テレビ電話装置２Ｂのビデオデコーダ２０７は、ユーザからの通話再生開始の指示を受けて、ＨＤＤ２０９に保存された映像データを、イントラフレームをキーにして復号化する。ここでは、時刻ｔ１で受信したイントラフレームがＨＤＤ２０９の先頭部分に保存されているため、ビデオデコーダ２０７は、このイントラフレームをキーにして時刻ｔ１から時刻ｔ２までに受信した映像データを復号化し、モニタ２０２に表示することも可能である。しかし、そうすると、時刻ｔ２で通話録音開始の指示を受ける前に受信した映像データについても再生表示してしまうことになる。

そこで、ビデオデコーダ２０７は、ユーザからの通話再生開始の指示を受けて、ＨＤＤ２０９に保存された映像データの読み出し、復号化を開始するが、ＨＤＤ２０９からイントラフレームの読み出しを開始してから上記の時間差情報で示される時間までの映像データの復号化された映像はモニタへ出力せずに、上記の時間差情報で示される時間の経過後に読み出した映像データ、すなわち時刻ｔ２で受信した映像データを復号化した映像からモニタ２０２へ出力し、表示を開始する。

このように、テレビ電話装置２Ｂ側では、時刻ｔ２でユーザからの通話録音開始の指示を受けたとしても、ＨＤＤ２０９に保存される映像データの先頭部分は、その前の時刻ｔ１で受信したイントラフレームとなるため、通話再生開始の指示を受けた場合、ＨＤＤ２０９の先頭に保存されているイントラフレームを読み出し、このイントラフレーム以降のフレームを用いて時刻ｔ２以降に受信したインターフレームを復号化でき、映像データを表示することができる。

すなわち、テレビ電話装置２Ｂ側では、時刻ｔ３で受信したイントラフレームをＨＤＤ２０９から読み出すのを待たずに、録音した映像データを迅速に表示することができるため、録音した通話の再生を開始するまでの時間を短縮することができる。

また、テレビ電話装置２Ｂ側では、ＨＤＤ２０９からのイントラフレームの読み出しを開始してから上記の時間差情報で示される時間の経過後に読み出した映像データすなわち時刻ｔ２で受信した映像データから表示を開始するため、通話録音開始の指示を受ける前に受信した映像データを再生表示してしまうことを防止することができる。

（第３の実施形態）
図５は、本発明の第３の実施形態によるテレビ電話装置の構成を示すブロック図である。ただし、図５は、本実施形態の本質的部分のみを示すものであり、実際には、当然ながらカメラ、マイク、スピーカ等のテレビ電話装置を構成する一般的な構成要素も設けられている。

図５を参照すると、本実施形態のテレビ電話装置３は、本体部３０１およびモニタ３０２から構成されている。本体部３０１は、ＮＩＣ３０３、シグナリング処理部３０４、データ受信手段であるＲＴＰ処理部３０５、イントラデータ生成手段であるビデオエンコーダ３０６、復号化手段であるビデオデコーダ３０７、ビデオＩ／Ｏ３０８、記憶手段であるＨＤＤ３０９、および制御部３１０を有している。制御部３１０は、コピー部３１１、バッファ３１２、およびマージ部３１３を含んでいる。なお、図５の破線部は、相手装置から受信した映像データの流れを示している。

ＮＩＣ３０３は、ＬＡＮやＷＡＮであるネットワークとのインターフェース部分である。

シグナリング処理部３０４は、相手装置とのセッションを確立するためのシグナリング処理を行う。シグナリング処理には、相手装置に対して呼接続要求を行う処理、相手装置から呼接続要求を受けた場合に着信音を鳴らす処理、オフフック状態になった時に相手装置との接続を許可する処理などが含まれる。

ＲＴＰ処理部３０５は、相手装置からネットワーク経由で受信した映像データからＲＴＰヘッダを除去する。

コピー部３１１は、受信された映像データをスルーしてビデオデコーダ２０７に対して出力するが、ユーザからの通話録音開始の指示（録音ボタン押下等）を受けると、受信された映像データをコピーして、バッファ３１２に一時的に格納する。

ビデオデコーダ３０７は、通話時には、コピー部３１１からスルーで出力された映像データを復号化し、録音した通話の再生時には、ユーザからの通話再生開始の指示（再生ボタン押下等）を受けて、ＨＤＤ３０９から読み出した映像データを復号化する。

ビデオエンコーダ３０６は、ユーザからの通話録音開始の指示を受けると、通話録音開始の指示を受けた直後に相手装置から受信した映像データ（例えば、２〜３フレーム）を復号化したものをビデオデコーダ３０７から制御部３１０経由で取得し、取得した映像データを符号化してイントラフレームを生成する。

マージ部３１３は、ビデオエンコーダ３０６にて生成されたイントラフレームを、バッファ３１２に一時的に格納された映像データの先頭部分にマージしてＨＤＤ３０９に出力し、以降、バッファ３１２に一時的に格納された映像データを順次ＨＤＤ３０９に出力する。

ＨＤＤ３０９は、マージ部３１３から出力された映像データを保存する。

ビデオＩ／Ｏ３０８は、ビデオデコーダ３０７にて復号化された映像データのモニタ３０２への出力処理を行い、モニタ３０２は、ビデオＩ／Ｏ３０８から出力された映像データを表示する。

なお、相手装置へ送信する映像データは、不図示のカメラにて撮影され、ビデオＩ／Ｏ３０８で入力処理され、ビデオエンコーダ３０６で符号化され、ＲＴＰ処理部３０５でＲＴＰヘッダが付加されて、ＮＩＣ３０３からネットワーク経由で送信される。

以下、本実施形態のテレビ電話装置の動作について図６を参照して説明する。ここでは、本実施形態のテレビ電話装置３Ａ，３Ｂが通話を行う場合のテレビ電話装置３Ｂ側の動作を中心に説明する。なお、図６は、テレビ電話装置３Ａ，３Ｂ間で行うシグナリング処理については省略している。

通話録音時には、時刻ｔ２において、ユーザからの通話録音開始の指示を受けると、テレビ電話装置３Ｂのコピー部３１１は、時刻ｔ２以降にテレビ電話装置３Ａから受信した映像データをコピーして、バッファ３１２に一時的に格納する。

また、テレビ電話装置３Ｂのビデオエンコーダ３０６は、時刻ｔ２以降にテレビ電話装置３Ａから受信した映像データ（例えば、２〜３フレーム）を復号化したものをビデオデコーダ３０７から制御部３１０経由で取得し、取得した映像データを符号化してイントラフレームを生成する。

そして、マージ部３１３は、ビデオエンコーダ３０６にて生成されたイントラフレームを、バッファ３１２に一時的に格納された映像データの先頭部分にマージしてＨＤＤ３０９に出力し、以降、バッファ３１２に一時的に格納された映像データを順次ＨＤＤ３０９に出力する。ＨＤＤ３０９には、マージ部３１３から出力された映像データが保存される。

よって、ＨＤＤ３０９には、時刻ｔ２で通話録音開始の指示を受けた後に受信した映像データだけでなく、その直後に受信された映像データから生成されて先頭にマージされたイントラフレームも保存されることになる。

一方、通話再生時には、テレビ電話装置３Ｂのビデオデコーダ３０７は、ユーザからの通話再生開始の指示を受けて、ＨＤＤ３０９に保存された映像データを、イントラフレームをキーにして復号化する。ここでは、ビデオエンコーダ３０６にて生成されたイントラフレームがＨＤＤ３０９の先頭部分に保存されているため、ビデオデコーダ３０７は、このイントラフレームをキーにして、時刻ｔ２以降に受信した映像データの復号化を開始する。

このように、テレビ電話装置３Ｂ側では、時刻ｔ２でユーザからの通話録音開始の指示を受けたとしても、ＨＤＤ３０９に保存される映像データの先頭部分は、時刻ｔ２の直後に受信された映像データから生成されたイントラフレームとなるため、通話再生開始の指示を受けた場合、ＨＤＤ３０９の先頭に保存されているイントラフレームを読み出し、このイントラフレームをキーにして時刻ｔ２以降に受信した映像データを表示することができる。

すなわち、テレビ電話装置３Ｂ側では、時刻ｔ３で受信したイントラフレームをＨＤＤ３０９から読み出すのを待たずに、録音した映像データを表示することができるため、録音した通話の再生を開始するまでの時間を短縮することができる。

なお、上述した第１〜第３の実施形態において、特に記述しなかった処理については各実施形態の制御部が指示や処理を行っており、制御部が各種映像やデータ等を処理するために一時記憶部等を設ける場合があるものとする。

１，１Ａ，１Ｂ テレビ電話装置
２，２Ａ，２Ｂ テレビ電話装置
３，３Ａ，３Ｂ テレビ電話装置
１０１ 本体部
１０２ カメラ
１０３ ＮＩＣ
１０４ シグナリング処理部
１０５ ＲＴＰ処理部
１０６ ビデオエンコーダ
１０７ ビデオデコーダ
１０８ ビデオＩ／Ｆ
１０９ 制御部
１１０ タイマ
１１１ 映像データ制御部
２０１ 本体部
２０２ モニタ
２０３ ＮＩＣ
２０４ シグナリング処理部
２０５ ＲＴＰ処理部
２０６ ビデオエンコーダ
２０７ ビデオデコーダ
２０８ ビデオＩ／Ｏ
２０９ ＨＤＤ
２１０ 制御部
２１１ イントラフレーム判定部
２１２ バッファ
３０１ 本体部
３０２ モニタ
３０３ ＮＩＣ
３０４ シグナリング処理部
３０５ ＲＴＰ処理部
３０６ ビデオエンコーダ
３０７ ビデオデコーダ
３０８ ビデオＩ／Ｏ
３０９ ＨＤＤ
３１０ 制御部
３１１ コピー部
３１２ バッファ
３１３ マージ部

Claims (16)

1. 映像データをフレーム内符号化されたイントラフレームまたはフレーム間符号化されたインターフレームとして相手装置から受信するテレビ電話装置であって、
   相手装置からイントラフレームを所定の間隔で受信し、該イントラフレームを受信する合間には、相手装置からインターフレームを受信するデータ受信手段と、
   相手装置からイントラフレームを受信すると、該イントラフレーム以降に受信した映像データの格納を開始し、該イントラフレームを受信してから一定期間の経過前に通話録音開始の指示を受けた場合、以降に通話録音停止の指示を受けたタイミングで、格納している映像データのうち通話録音開始の指示を受ける直前にイントラフレームを受信してから通話録音停止の指示を受けるまでに受信した映像データを出力するバッファと、
   通話録音停止の指示を受けたタイミングで、前記バッファから出力された映像データを保存する記憶手段と、
   通話再生開始の指示を受けた場合に、前記記憶手段から読み出した映像データを復号化する復号化手段とを有するテレビ電話装置。
2. 映像データをフレーム内符号化されたイントラフレームまたはフレーム間符号化されたインターフレームとして相手装置から受信するテレビ電話装置であって、
   相手装置からイントラフレームを所定の間隔で受信し、該イントラフレームを受信する合間には、相手装置からインターフレームを受信するデータ受信手段と、
   相手装置からイントラフレームを受信すると、該イントラフレーム以降に受信した映像データの格納を開始し、該イントラフレームを受信してから一定期間の経過前に通話録音開始の指示を受けた場合、通話録音開始の指示を受けたタイミングで、格納している映像データのうち通話録音開始の指示を受ける直前にイントラフレームを受信してから通話録音開始の指示を受けるまでに受信した映像データを出力するバッファと、
   通話録音開始の指示を受けたタイミングで、以降に通話録音停止の指示を受けるまでに受信する映像データの保存を開始するとともに、該映像データの先頭部分に、前記バッファから出力された映像データを付加するように保存する記憶手段と、
   通話再生開始の指示を受けた場合に、前記記憶手段から読み出した映像データを復号化する復号化手段とを有するテレビ電話装置。
3. イントラフレームを受信してからの一定期間とは、次にイントラフレームを受信するまでの期間である、請求項１または２に記載のテレビ電話装置。
4. イントラフレームを受信してからの一定期間とは、前記バッファに格納している映像データが一定量に達するまでの期間である、請求項１または２に記載のテレビ電話装置。
5. 前記記憶手段は、保存している映像データの先頭部分のイントラフレームを受信してから通話録音開始の指示を受けるまでの時間を示す時間差情報も保存し、
   前記復号化手段は、通話再生開始の指示を受けた場合、前記記憶手段からの映像データの読み出しを開始し、前記時間差情報で示される時間の経過後に読み出した映像データを復号化した映像から表示部への出力を開始する、請求項１から４のいずれか１項に記載のテレビ電話装置。
6. 映像データをフレーム内符号化されたイントラフレームまたはフレーム間符号化されたインターフレームとして相手装置から受信するテレビ電話装置であって、
   相手装置からイントラフレームを所定の間隔で受信し、該イントラフレームを受信する合間には、相手装置からインターフレームを受信するデータ受信手段と、
   通話録音開始の指示を受けた場合に、その直後に相手装置から受信した映像データに基づいてイントラフレームを生成するイントラフレーム生成手段と、
   通話録音開始の指示を受けた場合に、それ以降に相手装置から受信する映像データの先頭部分に、前記イントラフレーム生成手段にて生成されたイントラフレームがマージされたものを保存する記憶手段と、
   通話再生開始の指示を受けた場合に、前記記憶手段から読み出した映像データを復号化する復号化手段とを有するテレビ電話装置。
7. 相手装置から受信する映像データの復号化を行う復号化手段をさらに有し、
   前記イントラフレーム生成手段は、通話録音開始の指示を受けた場合に、その直後に相手装置から受信した映像データを復号化したものを前記復号化手段から取得し、取得した映像データを符号化してイントラフレームを生成する、請求項６に記載のテレビ電話装置。
8. 通話録音開始の指示を受けた場合に、相手装置から受信する映像データの格納を開始するバッファと、
   前記イントラフレーム生成手段にて生成されたイントラフレームを、前記バッファに格納された映像データの先頭部分にマージして出力し、以降、前記バッファに格納された映像データを順次出力するマージ手段とをさらに有し、
   前記記憶手段は、前記マージ手段から出力された映像データを順次保存する、請求項６または７に記載のテレビ電話装置。
9. 映像データをフレーム内符号化されたイントラフレームまたはフレーム間符号化されたインターフレームとして相手装置から受信するテレビ電話装置による映像データの処理方法であって、
   相手装置からイントラフレームを所定の間隔で受信し、該イントラフレームを受信する合間には、相手装置からインターフレームを受信するステップと、
   相手装置からイントラフレームを受信すると、該イントラフレーム以降に受信した映像データのバッファへの格納を開始し、該イントラフレームを受信してから一定期間の経過前に通話録音開始の指示を受けた場合、以降に通話録音停止の指示を受けたタイミングで、前記バッファに格納している映像データのうち通話録音開始の指示を受ける直前にイントラフレームを受信してから通話録音停止の指示を受けるまでに受信した映像データを前記バッファから出力するステップと、
   通話録音停止の指示を受けたタイミングで、前記バッファから出力された映像データを記憶手段に保存するステップと、
   通話再生開始の指示を受けた場合に、前記記憶手段から読み出した映像データを復号化するステップとを有する方法。
10. 映像データをフレーム内符号化されたイントラフレームまたはフレーム間符号化されたインターフレームとして相手装置から受信するテレビ電話装置による映像データの処理方法であって、
    相手装置からイントラフレームを所定の間隔で受信し、該イントラフレームを受信する合間には、相手装置からインターフレームを受信するステップと、
    相手装置からイントラフレームを受信すると、該イントラフレーム以降に受信した映像データのバッファへの格納を開始し、該イントラフレームを受信してから一定期間の経過前に通話録音開始の指示を受けた場合、通話録音開始の指示を受けたタイミングで、前記バッファに格納している映像データのうち通話録音開始の指示を受ける直前にイントラフレームを受信してから通話録音開始の指示を受けるまでに受信した映像データを前記バッファから出力するステップと、
    通話録音開始の指示を受けたタイミングで、以降に通話録音停止の指示を受けるまでに受信する映像データの記憶手段への保存を開始するとともに、該映像データの先頭部分に、前記バッファから出力された映像データを付加するように前記記憶手段に保存するステップと、
    通話再生開始の指示を受けた場合に、前記記憶手段から読み出した映像データを復号化するステップとを有する方法。
11. イントラフレームを受信してからの一定期間とは、次にイントラフレームを受信するまでの期間である、請求項９または１０に記載の方法。
12. イントラフレームを受信してからの一定期間とは、前記バッファに格納している映像データが一定量に達するまでの期間である、請求項９または１０に記載の方法。
13. 前記記憶手段に映像データを保存するステップでは、該記憶手段に保存している映像データの先頭部分のイントラフレームを受信してから通話録音開始の指示を受けるまでの時間を示す時間差情報も前記記憶手段に保存し、
    映像データを復号化するステップでは、通話再生開始の指示を受けた場合に、前記記憶手段からの映像データの読み出しを開始し、前記時間差情報で示される時間の経過後に読み出した映像データを復号化した映像から表示部への出力を開始する、請求項９から１２のいずれか１項に記載の方法。
14. 映像データをフレーム内符号化されたイントラフレームまたはフレーム間符号化されたインターフレームとして相手装置から受信するテレビ電話装置による映像データの処理方法であって、
    相手装置からイントラフレームを所定の間隔で受信し、該イントラフレームを受信する合間には、相手装置からインターフレームを受信するステップと、
    通話録音開始の指示を受けた場合に、その直後に相手装置から受信した映像データに基づいてイントラフレームを生成するステップと、
    通話録音開始の指示を受けた場合に、それ以降に相手装置から受信する映像データの先頭部分に、前記イントラフレーム生成手段にて生成されたイントラフレームがマージされたものを記憶手段に保存するステップと、
    通話再生開始の指示を受けた場合に、前記記憶手段から読み出した映像データを復号化するステップとを有する方法。
15. 相手装置から受信する映像データの復号化を行うステップをさらに有し、
    イントラフレームを生成するステップでは、通話録音開始の指示を受けた場合に、その直後に相手装置から受信した映像データを復号化したものを取得し、取得した映像データを符号化してイントラフレームを生成する、請求項１４に記載の方法。
16. 通話録音開始の指示を受けた場合に、相手装置から受信する映像データのバッファへの格納を開始するステップと、
    前記生成されたイントラフレームを、前記バッファに格納された映像データの先頭部分にマージして出力し、以降、前記バッファに格納された映像データを順次出力するステップとをさらに有し、
    前記記憶手段に映像データを保存するステップでは、前記出力された映像データを順次保存する、請求項１４または１５に記載の方法。

Images