JP2006340321A

JP2006340321A - ネットワークシステム及びネットワークシステムにおける通信方法

Info

Publication number: JP2006340321A
Application number: JP2005166078A
Authority: JP
Inventors: Miki Ito; 幹伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-06-06
Filing date: 2005-06-06
Publication date: 2006-12-14

Abstract

【課題】音声データの送信部と受信部が異なる端末にある場合でも、エコーの発生を抑制することができるネットワークシステムを提供する。
【解決手段】ネットワークカメラ１００ａと映像音声受信端末２００ａと備えるネットワークシステムであって、映像音声受信端末２００ａにおいて、時間情報が付加されたデジタル音声データがネットワークカメラ１００ａに送信され、ネットワークカメラ１００ａにおいて、時間情報が付加されたデジタル音声データが入力され、そのデジタル音声データの出力を、当該時間情報に基づいて一定時間遅延させ、当該一定時間遅延されたデジタル音声データから、音声の折り返しにより入力されたデジタル音声データを減算する。
【選択図】図３

Description

本発明は、ネットワークカメラと映像音声受信端末を利用して、映像および音声の双方向配信を使ったテレビ電話機能を実現するネットワークシステム及びネットワークシステムにおける通信方法に関する。

最近、一般家庭でＡＤＳＬやＣＡＴＶ、ＦＴＴＨなどを使った料金定量制のＩＰ常時接続の運用が広まってきた。このように、家庭端末がインターネットに常時接続されるようになると、今まで公衆回線網を使っていた電話やＦＡＸなどの通信手段が、パケット通信網を利用したＩＰパケット通信で実現できるようになる。また、オフィス環境において、従来のＥｔｈｅｒｎｅｔ（登録商標）で構築されていたＬＡＮ環境も、光ＬＡＮなどの広帯域化が進み、数Ｇｂｐｓの単位で高速化が進んでいる。

現在、動画像、音声、静止画、その他のマルチメディア情報の配信をＬＡＮ上で行うストリーム配信は、ネットワークの高速化に伴い、より大容量なコンテンツが配信されるようになっている。監視システムにおいて、画像をＪＰＥＧフォーマットで圧縮し、静止画として、または、ＭｏｔｉｏｎＪＰＥＧとして、動画でネットワークに配信するものが多い。また、スポーツイベントやコンサートなどのライブ中継においては、動画をＭＰＥＧ２フォーマットで、音声をＭＰＥＧ１Ｌａｙｅｒ２フォーマット又はＬ−ＰＣＭ形式などの高音質で配信することが望まれる。また、近年の携帯端末のブロードバンド化によって、携帯電話および携帯端末への音声・映像のライブ配信も可能となった。その際、動画をＭＰＥＧ４形式、音声をＡＭＲ形式で配信されることが始まっている。

さらに、ネットワークにつながれたカメラおよびマイクを映像および音声の入力機器として使って、映像および音声の双方向配信を行うことにより、テレビ電話機能を実現することもできる。

図９は、パケットネットワーク網に接続されたネットワークカメラシステムの構成例を示す図である。

広域パケットネットワーク網（ＷＡＮ）７００に、ルータ３００Ａ，３００Ｂ，３００Ｃを介して、ローカルネットワーク（ＬＡＮ）５００Ａ，５００Ｂ，５００Ｃがそれぞれ接続されており、ＬＡＮ５００Ａ，５００Ｂ，５００Ｃにネットワークカメラ１００Ａ，１００Ｂ，１００Ｃ及び映像音声受信端末２００Ａ，２００Ｂ，２００Ｃがそれぞれ接続されている。例えば、ＬＡＮ５００Ａに接続されているネットワークカメラ１００Ａから、ＬＡＮ５００Ｂに接続されている映像音声受信端末２００Ｂへ映像および音声を配信し、さらにＬＡＮ５００Ｂに接続されているネットワークカメラ１００Ｂから、ＬＡＮ５００Ａに接続されている映像音声受信端末２００Ａへ映像および音声を配信することによって、テレビ電話機能を実現できる。

そこで、このテレビ電話機能のうち、音声の双方向通信において、従来、エコーと呼ばれる現象が起こることが知られている。これは、スピーカーなどの音声出力装置より出力された音声は、話者に届くとともに音声の回り込みや話者のいる環境での反響により、マイクなどの音声入力装置に再入力されてしまい、相手に届いてしまうというものである。これに対処するため、従来からエコーキャンセル技術が用いられている（例えば、特許文献１参照）。

図１０は、従来のエコーキャンセラを用いたエコー抑制システムを示した図である。

図１０において、８００は音声送受信端末であり、通信回線としてネットワーク７００を介して遠隔地の音声送受信端末と音声双方向通信を行う。音声送受信端末８００は、音声信号を符号化して音声データとして送信し、又は受信した音声データを復号化して音声信号にする音声コーデック８０２と、エコーキャンセラ８０１を有している。エコーキャンセラ８０１はスピーカー６０２から出力される音声の信号を雑音信号として取り込み、その取り込んだ雑音信号分をマイク１１０から入力される信号から減ずることにより、マイク１１０から回り込んで再入力された音声の雑音信号を打ち消す構成となっている。
特開２００４−８０１４３号公報

しかし、従来のエコーキャンセラ８０１を用いたエコー抑制システムでは、音声送受信端末８００という１つの端末内でエコーキャンセルを行っているために、上記図９で示したネットワークカメラ１００Ａ，１００Ｂ，１００Ｃと映像音声受信端末２００Ａ，２００Ｂ，２００Ｃを用いる、映像および音声の双方向配信を使ったテレビ電話機能では、音声データの送信部と受信部が異なった端末にあるため、そのままではエコーキャンセルができない構成となっている。

本発明の目的は、上記の課題を鑑みて、音声データの送信部と受信部が異なる端末にある場合でも、エコーの発生を抑制することができるネットワークシステム及びネットワークシステムにおける通信方法を提供することにある。

上記目的を達成するため、請求項１のネットワークシステムは、外部装置にデータを配信する第１ユニットと、前記外部装置と異なる他の外部装置から音声データを受信する第２ユニットとがネットワークを介して互いに接続されるネットワークシステムにおいて、前記第２ユニットは、前記第１ユニットに送信すべき音声データに時間情報を付加する時間情報付加手段と、前記時間情報が付加された音声データを前記第１ユニットに送信する送信手段とを備え、前記第１ユニットは、前記音声データを入力する第１入力手段と、前記第２ユニットから前記時間情報が付加された音声データを入力する第２入力手段と、前記第２入力手段で入力された音声データの出力を、前記時間情報に基づいて一定時間遅延させる遅延手段と、前記遅延手段で一定時間遅延された音声データから、前記第１入力手段により入力された音声データを減算する減算手段とを備えることを特徴とする。

請求項４のネットワークシステムは、外部装置にデータを配信する第１ユニットと、当該第１ユニット及び前記外部装置と異なる他の外部装置から音声データを受信する第２ユニットとがネットワークを介して互いに接続されるネットワークシステムにおいて、前記第１ユニットは、前記第２ユニットに送信すべき音声データに時間情報を付加する時間情報付加手段と、前記時間情報が付加された音声データを前記第２ユニットに送信する送信手段とを備え、前記第２ユニットは、前記外部装置と異なる他の外部装置から音声データを入力する第１入力手段と、前記第１ユニットから前記時間情報が付加された音声データを入力する第２入力手段と、前記第１入力手段で入力された音声データの出力を、前記時間情報に基づいて一定時間遅延させる遅延手段と、前記遅延手段で一定時間遅延された音声データから、前記第２入力手段により入力された音声データを減算する減算手段とを備えることを特徴とする。

請求項７のネットワークシステムにおける通信方法は、外部装置にデータを配信する第１ユニットと、前記外部装置と異なる他の外部装置から音声データを受信する第２ユニットとがネットワークを介して互いに接続されるネットワークシステムにおける通信方法であって、前記第２ユニットが、前記第１ユニットに送信すべき音声データに時間情報を付加する時間情報付加工程と、前記時間情報が付加された音声データを前記第１ユニットに送信する送信工程とを実行し、前記第１ユニットが、前記音声データを入力する第１入力工程と、前記第２ユニットから前記時間情報が付加された音声データを入力する第２入力工程と、前記第２入力工程で入力された音声データの出力を、前記時間情報に基づいて一定時間遅延させる遅延工程と、前記遅延工程で一定時間遅延された音声データから、前記第１入力工程により入力された音声データを減算する減算工程とを実行することを特徴とする。

請求項８のネットワークシステムにおける通信方法は、外部装置にデータを配信する第１ユニットと、当該第１ユニット及び前記外部装置と異なる他の外部装置から音声データを受信する第２ユニットとがネットワークを介して互いに接続されるネットワークシステムにおける通信方法であって、前記第１ユニットが、前記第２ユニットに送信すべき音声データに時間情報を付加する時間情報付加工程と、前記時間情報が付加された音声データを前記第２ユニットに送信する送信工程とを実行し、前記第２ユニットが、前記外部装置と異なる他の外部装置から音声データを入力する第１入力工程と、前記第１ユニットから前記時間情報が付加された音声データを入力する第２入力工程と、前記第１入力工程で入力された音声データの出力を、前記時間情報に基づいて一定時間遅延させる遅延工程と、前記遅延工程で一定時間遅延された音声データから、前記第２入力工程により入力された音声データを減算する減算工程とを実行することを特徴とする。

請求項１，７に係る発明によれば、第２ユニットにおいて、時間情報が付加された音声データが第１ユニットに送信され、第１ユニットにおいて、時間情報が付加された音声データが入力され、その音声データの出力を、当該時間情報に基づいて一定時間遅延させ、当該一定時間遅延された音声データから、音声の折り返しにより入力された音声データを減算する。これにより、音声データの送信部と受信部が異なる端末にある場合でも、エコーの発生を抑制することができる。

請求項４，８に係る発明によれば、第２ユニットにおいて、第１ユニットがデータを配信する外部装置と異なる他の外部装置から音声データが入力され、第１ユニットから時間情報が付加された音声データが入力され、前記他の外部装置から入力された音声データの出力を、時間情報に基づいて一定時間遅延させ、一定時間遅延された音声データから、前記時間情報が付加された音声データを減算する。これにより、音声データの送信部と受信部が異なる端末にある場合でも、エコーの発生を抑制することができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

図１は、本発明の第１の実施の形態に係るネットワークシステムに適用されるネットワークカメラの構成を示したブロック図である。

同図において、１００はネットワークカメラの本体を示す。ネットワークカメラ１００は、焦点合わせ及び絞り調整を行うためのレンズユニット１０１と、レンズユニット１０１を駆動するための駆動制御部１０２と、ＣＣＤセンサーやＭＯＳセンサーなどの撮像素子（具体的にはＣＣＤ）１０３と、相関二重サンプリング部と自動利得制御部（以下、「ＣＤＳ／ＡＧＣ」）１０４と、ビデオＡ／Ｄ変換器１０５と、タイミングジェネレータ（以下、「ＴＧ」という）１０６と、同期信号発生器（以下、「ＳＳＧ」という）１０７と、信号処理部１０８と、信号処理部１０８からのＹ、Ｕ／Ｖ形式のデジタル画像信号（映像信号）をデジタル映像データとして圧縮し符号化するビデオ符号化部１０９と、マイクユニット１１０と、外付けのマイクから音声を入力する外部マイク入力部１１１と、マイクユニット１１０又は外部マイク入力部１１１からの音声信号を増幅させるオーディオアンプ１１２と、オーディオアンプ１１２からの音声信号をデジタル音声データに変換するオーディオＡ／Ｄ変換器１１３とを備えている。

ネットワークカメラ１００は、さらに、後述する映像音声受信端末２００で復号化されたパケット化デジタル音声データをデパケット化するオーディオデパケット化部１２０と、オーディオデパケット化部１２０でデパケット化されたデジタル音声データを一定時間、バッファリングするオーディオ遅延部１１９と、オーディオ遅延部１１９から受信したデジタル音声データから、オーディオＡ／Ｄ変換器１１３から受信したデジタル音声データを減算するオーディオ減算部１１８と、オーディオ減算部１１８から受信するデジタル音声データを圧縮し符号化するオーディオ符号化部１１４と、ビデオ符号化部１０９及びオーディオ符号化部１１４の機能を包含し、ＤＳＰ（Digital Signal Processor）などで実現されるビデオ・オーディオエンコーダー１２１と、パケット化多重化部１１６と、ネットワークカメラ１００のシステム全体を制御するシステム制御部１１５と、ＬＡＮ５００などのパケットネットワーク網とネットワークカメラ１００との間における通信制御を行うＬＡＮＩ／Ｆ部１１７とを備えている。

パケット化多重化部１１６は、符号化されたデジタル映像データおよびデジタル音声データをそれぞれビデオパケット、オーディオパケットに変換するパケット化処理を行い、さらに所定のフォーマットに従い、送信すべきビデオパケット、オーディオパケットおよび制御パケットをＬＡＮＩ／Ｆ部１１７に出力するために、所定の形式に従ってこれらのパケットを配置してパケットの多重化処理を行う。

次に、ネットワークカメラ１００の動作を説明する。まず、映像は、レンズユニット１０１で撮像された画像をＣＣＤ１０３上に結像させ、ＴＧ１０６とＳＳＧ１０７のタイミングに合わせて光学画像を電気信号に変換し出力する。出力されたＣＣＤ信号は、ＣＤＳ／ＡＧＣ１０４で調整される。

調整後のＣＣＤ信号は、ビデオＡ／Ｄ変換器１０５へ供給されてデジタル画像信号となる。このデジタル画像信号は、信号処理部１０８で所定の色処理・ホワイトバランス調整などをデジタル的に行い、適正レベルに調整されたデジタル信号であるＹ、Ｕ／Ｖ信号として出力される。また、信号処理部１０８ではレンズユニット１０１を駆動するために必要なＡＥ値（Auto Exposure）や鮮鋭度信号などを取り出し、システム制御部１１５に出力する。システム制御部１１５は、レンズユニット駆動制御部１０２を駆動して、絞りの調整や合焦を行う。信号処理部１０８から出力されたデジタル画像信号は、Ｙ、Ｕ／Ｖの形式でビデオ符号化部１０９に供給され、伝送用にデジタル画像信号はデジタル映像データとして圧縮され、フレームレート設定などが施される。ここでの伝送用の圧縮方式は、例えば、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６３又はＪＰＥＧなどの規格に基づいている。

次に、音声はマイクユニット１１０を通して、又は多種の外部マイクを使用する場合は外部マイク入力部１１１を通して音声信号に変換され、オーディオアンプ１１２で増幅される。増幅された音声信号はオーディオＡ／Ｄ変換器１１３へ供給されて、８ＫＨｚ、１６ＫＨｚ、又は４４．１ＫＨｚなどの周波数によりサンプリングが行われてデジタル音声データとなる。さらに、デジタル音声データはオーディオ減算部１１８へ供給される。オーディオ減算部１１８では、映像音声受信端末２００から転送されてきたデジタル音声データから、オーディオＡ／Ｄ変換器１１３から入力されたデジタル音声データを減算する減算処理が行われる。

ＬＡＮ５００を介して後述する映像音声受信端末２００から転送されてきたオーディオパケット（エコーの原因となる）は、ＬＡＮＩ／Ｆ部１１７を介してオーディオデパケット化部１２０にてデパケット化されてオーディオ遅延部１１９に供給される。

このオーディオ遅延部１１９にて、端末の使用している環境での音声折り返し時間を考慮した一定時間をカウントしてバッファリングを行う。この音声折り返し時間は、予め、後述する映像音声受信端末２００より白色ノイズを発生させて、このノイズにタイムスタンプをつけて、ネットワークカメラ１００に転送させたデジタルノイズデータの到着時間と、実際にマイクユニット１１０を通して入力されて得られたデジタルノイズデータの到着時間との差を計測することによって得られる。

また、実使用においてのデジタル音声データの類似比較学習によって、時間を測定する方法でも可能である。このようにして得られたデジタル音声データはオーディオ符号化部１１４に供給され、伝送用に音声データの圧縮、フレームレート設定などが施される。

ここでの伝送用の圧縮方式は、例えば、ＡＭＲ、Ｇ．７１１、Ｇ．７２２などの規格に基づいている。又は圧縮せずにそのままのレベルのＬ−ＰＣＭフォーマットで出力してもよい。

ビデオ符号化部１０９から供給された符号化されたデジタル映像データは及びオーディオ符号化部１１４から供給された符号化されたデジタル音声データはパケット化多重化部１１６にて、それぞれビデオパケット、オーディオパケットにパケット化され、さらにそれらのパケットに対してＲＴＰなどのプロトコルに従って、多重化処理が行われ、多重化処理が行われたパケットがＬＡＮＩ／Ｆ部１１７よりＬＡＮ５００を介して遠隔地へ伝送される。

図２は、ネットワークシステムに適用される映像音声受信端末の構成を示したブロック図である。

同図において、２００は映像音声受信端末の本体を示す。映像音声受信端末２００は、ＬＡＮＩ／Ｆ部２０１、ＬＡＮＩ／Ｆ部２０１介して受信した多重化されたパケットをビデオパケット、オーディオパケットおよび制御パケットの各メディアに分離し、ビデオパケット、オーディオパケットをそれぞれデパケット化し、符号化されたデジタル映像データ及び符号化されたデジタル音声データを生成するデパケット化分離部２０２と、ネットワークでのパケット到着ジッタを考慮してメディアストリームに付加された遅延を処理すると共にデパケット化分離部２０２から受信した符号化されたデジタル音声データを所定期間遅延して符号化されたデジタル映像データとの同期（リップ・シンク）をとる遅延処理部２０３と、遅延処理部２０３から受信した符号化されたデジタル映像データを伸張し復号化することでデジタル映像データを生成するビデオ復号化部２０５と、遅延処理部２０３から受信した符号化されたデジタル音声データを伸張し復号化することでデジタル音声データを生成するオーディオ復号化部２０６と、ビデオ復号化部２０５及びオーディオ復号化部２０６の機能を包含し、ＤＳＰなどで実現されるビデオ・オーディオデコーダ２０７と、ビデオ復号化部２０５によって復号化されたデジタル映像データをアナログの映像信号に変換してビデオモニタなどのビデオ出力装置６０１に出力するビデオＤ／Ａ変換器２０８と、オーディオ復号化部２０６によって復号化されたデジタル音声データをアナログの音声信号に変換してスピーカーなどのオーディオ出力装置６０２に出力するオーディオＤ／Ａ変換器２０９とを備えている。

さらに、映像音声受信端末２００は、オーディオ復号化部２０６によって復号化されたデジタル音声データに対しタイムスタンプを付加する時間情報付加部２１０と、時間情報付加部２１０によってタイムスタンプを付加されたデジタル音声データをオーディオパケットに変換するパケット化処理を行い、ＬＡＮＩ／Ｆ部２０１を介してネットワークカメラ１００へ転送を行うオーディオパケット化部２１１と、映像音声受信端末２００のシステム全体を制御するシステム制御部２０４とを備えている。システム制御部２０４は、デパケット化分離部２０２及び時間情報付加部２１０を介してシステム全体を制御する。

図３は、ネットワークカメラ１００と映像音声受信端末２００との組み合わせによるネットワークシステムの構成図である。

ここで、図３のネットワークカメラ１００ａ及びネットワークカメラ１００ｂは、図１のネットワークカメラ１００と同一の構成を備えており、図３の映像音声受信端末２００ａ及び映像音声受信端末２００ｂは、図２の映像音声受信端末２００と同一の構成を備えているが、説明の便宜上、「ａ」又は「ｂ」の文字を符号に付加している。また、ネットワークカメラ１００ａ及び映像音声受信端末２００ａはＬＡＮ５００ａに接続されており、ネットワークカメラ１００ｂ及び映像音声受信端末２００ｂはＬＡＮ５００ｂに接続されている。ＬＡＮ５００ａ及びＬＡＮ５００ｂは広域パケットネットワーク網（ＷＡＮ）７００に接続されている。

上記の構成で、図３に基づいて、ネットワークカメラ１００ａ及び映像音声受信端末２００ａから遠隔地のネットワークカメラ１００ｂ及び映像音声受信端末２００ｂに対してＬＡＮ５００ａ，５００ｂ及び広域パケットネットワーク網（ＷＡＮ）７００を介して伝送されるパケットの流れを説明する。

まず、マイク１１０ａを備えるネットワークカメラ１００ａは、ＲＴＰ（Real-time Transport Protocol）などのリアルタイム転送プロトコルにしたがってパケット化したビデオパケット及びオーディオパケットのストリーム（ＡＶＳ１）を映像音声受信端末２００ｂに伝送する。

映像音声受信端末２００ｂは、ネットワークカメラ１００ａから受信したビデオパケット及びオーディオパケットのストリームパケット（ＡＶＳ１）をビデオパケット及びオーディオパケットにそれぞれ復号化し、当該復号化されたビデオパケット及びオーディオパケットは、モニタ６０１ｂ及びスピーカー６０３ｂで再生される。

映像音声受信端末２００ｂで復号化されたデジタル音声データは、復号化時のタイムスタンプを付加された上でパケット化されて、ＬＡＮ５００ａ，５００ｂ及び広域パケットネットワーク網（ＷＡＮ）７００を介してネットワークカメラ１００ｂへオーディオパケット（Ａ２）として転送される。

ネットワークカメラ１００ｂは、転送されたオーディオパケット（Ａ２）をデパケット化してデジタル音声データを作成し、オーディオパケット（Ａ２）に付加されたタイムスタンプを基にネットワークカメラ１００ｂを使用している環境で生じる音声折り返しの時間を考慮して、一定時間のカウントをしてデジタル音声データのバッファリングを行い、マイク１１０ｂから入力された音声信号をデジタル化したデジタル音声データから当該バッファリングされたデジタル音声データを減算する減算処理を施し、減算されたデジタル音声データを符号化する。その後、ネットワークカメラ１００ｂは、ネットワークカメラ１００ａと同様に、その符号化されたデジタル音声データを映像信号とともにビデオパケット、オーディオパケットに変換し、これらのパケットを多重化して、ＲＴＰプロトコルにしたがって、多重化したビデオパケットおよびオーディオパケットのストリーム（ＡＶＳ２）を映像音声受信端末２００ａに伝送する。

従って、ネットワークカメラ１００ａはネットワークカメラ１００ｂと同様の処理を実行し、映像音声受信端末２００ａは映像音声受信端末２００ｂと同様の処理を実行する。

次に、このネットワークカメラ１００ａを用いたパケット通信でテレビ会議を行う場合について、説明する。

図４は、ＬＡＮ５００ａ上にあるネットワークカメラ１００ａから遠隔地のＬＡＮ５００ｂ上の映像音声受信端末２００ｂへパケットのストリームを伝送し、さらに遠隔地ＬＡＮ５００ｂ上のネットワークカメラ１００ｂからＬＡＮ５００ａ上にある映像音声受信端末２００ａへパケットのストリームを伝送するＳＩＰテレビ会議通信（ＳＩＰ；Session Initiation Protocol）を行うための通信接続手順を示した図である。

まず、ＳＩＰテレビ会議通信を行う前に、映像音声受信端末２００ａは入力ソースとして使用するパケットのストリーム（以下、「メディアストリーム」という）を伝送するネットワークカメラ１００ａとの間で、ネゴシエーションをする必要がある。映像音声受信端末２００ａがブロードキャストなどの方法によるデバイス発見手順によって、ＬＡＮ５００ａ上に接続されているネットワークカメラ１００ａのＩＰアドレスを取得する。そして、数台のリストアップされたネットワークカメラ１００の中から操作するネットワークカメラ１００ａの取得したＩＰアドレスの予め決められたポートに対し、映像音声受信端末２００ａからネットワークカメラ１００ａを使用する意で、“Ｏｐｅｎ”コマンドを送り、それに対してネットワークカメラ１００ａは“ＯＫ”の応答を映像音声受信端末２００ａに送り返す。会議{−，ＭＰＥＧ４ＡＳＰ（ＣＩＦ，−，−），ＡＭＲ（１６ＫＨｚ，６４Ｋｂｐｓ）}”の意を示すようなプロファイルを“ＳｅｔＰｒｏｆｉｌｅ”コマンドで設定し、それに対するネットワークカメラ１００ａから“ＯＫ”の応答を受け取るところまで、予め、準備しておく。

そして、ＳＩＰテレビ会議通信を開始する上で、ＬＡＮ５００ａ上の映像音声受信端末２００ａから発信する場合、まず通信相手である遠隔地の映像音声受信端末２００ｂのＩＰアドレスなど、ＩＤを入力してコール操作をすると、遠隔地の映像音声受信端末２００ｂとの間でＳＩＰの手順のとおりに、相手局との間で呼制御・システム制御部２０４を通じて、セッション確立要求（ＩＮＶＩＴＥ）、応答（１８０Ｒｉｎｇｉｎｇ）、応答（２００ＯＫ）、確認応答（ＡＣＫ）を行う。応答を受け取った映像音声受信端末２００ａは、ＬＡＮ５００ａ上にあるネットワークカメラ１００ａに対して、“Ｓｔａｒｔ”コマンドを送ることにより、予め設定したプロファイルを基にしたメディアストリームを遠隔地の映像音声受信端末２００ｂへ伝送を開始する。もちろん、応答拒否の場合は、“Ｓｔａｒｔ”コマンドを送ることはしないようにする。ネットワークカメラ１００ａから伝送されるメディアストリームを、ネットワークカメラ１００ａのパケット化多重化部１１６においてＲＴＰプロトコルのフォーマットにしたがって、遠隔地の映像音声受信端末２００ｂへ伝送する。遠隔地のネットワークカメラ１００ｂから受け取ったＲＴＰパケットデータは前述した動作説明のように映像音声受信端末２００ａで復号化され、映像音声受信端末２００ａのビデオ出力部６０１およびオーディオ出力部６０２に出力される。さらに、復号化されたデジタル音声データは、前述のとおりに折り返し音声を減算処理するためにネットワークカメラ１００ａへ転送される。着信側のＬＡＮ５００ｂの映像音声受信端末２００ｂは、予め、ネットワークカメラ１００ｂに対してプロファイルを設定しておくところまでは発信側と同じである。着信側の映像音声受信端末２００ｂは、ＳＩＰの手順において、セッション確立要求（ＩＮＶＩＴＥ）を受け取った時点で、応答か応答拒否かを判断し、応答する場合には発信側に応答（２００ＯＫ）を返した時点で、ＬＡＮ５００ｂ上にあるネットワークカメラ１００ｂに対して“Ｓｔａｒｔ”コマンドを送ることにより、予め設定したプロファイルを基にしたメディアストリームを遠隔地の映像音声受信端末２００ａへ伝送するようにする。応答拒否の場合は、ネットワークカメラ１００ｂに対して“Ｓｔａｒｔ”コマンドを送らずに、遠隔地の映像音声受信端末２００ａへ拒否（６０３Ｄｅｃｌｉｎｅ）を返すようにする。

以上詳細に説明したように、本実施の形態によれば、映像音声受信端末２００ａにおいて、時間情報が付加されたデジタル音声データがネットワークカメラ１００ａに送信され、ネットワークカメラ１００ａにおいて、時間情報が付加されたデジタル音声データが入力され、そのデジタル音声データの出力を、当該時間情報に基づいて一定時間遅延させ、当該一定時間遅延されたデジタル音声データから、音声の折り返しにより入力されたデジタル音声データを減算する。これにより、音声データの送信部と受信部が異なる端末にある場合でも、エコーの発生を抑制することができる。

また、ネットワークカメラ１００ａと映像音声受信端末２００ａとの間は、デジタル音声データがパケット化されて通信されるので、効率良く通信することができる。さらにデジタル音声データと映像データがパケット化されかつ多重化されて通信が実行されるので、データ量を抑えた高速通信が可能になる。

次に、本発明の第２の実施の形態を説明する。

本実施の形態は、上記第１の実施の形態と比べて、ネットワークカメラ及び映像音声受信端末が備える構成やパケットの転送方法が異なる。

図５は、本発明の第２の実施の形態に係るネットワークシステムに適用されるネットワークカメラの構成を示したブロック図である。

同図において、３００はネットワークカメラの本体を示す。ネットワークカメラ３００は、焦点合わせ及び絞り調整を行うためのレンズユニット３０１と、レンズユニッ３０１を駆動するための駆動制御部３０２と、ＣＣＤセンサーやＭＯＳセンサーなどの撮像素子（具体的にはＣＣＤ）３０３と、相関二重サンプリング部と自動利得制御部（以下、「ＣＤＳ／ＡＧＣ」）３０４と、ビデオＡ／Ｄ変換器３０５と、タイミングジェネレータ（以下、「ＴＧ」という）３０６と、同期信号発生器（以下、「ＳＳＧ」という）３０７と、信号処理部３０８と、信号処理部３０８からのＹ、Ｕ／Ｖ形式のデジタル画像信号（映像信号）をデジタル映像データとして圧縮し符号化するビデオ符号化部３０９と、マイクユニット３１０と、外付けのマイクから音声を入力する外部マイク入力部３１１と、マイクユニット３１０又は外部マイク入力部３１１からの音声信号を増幅させるオーディオアンプ３１２と、オーディオアンプ３１２からの音声信号をデジタル音声データに変換するオーディオＡ／Ｄ変換器３１３とを備えている。

ネットワークカメラ３００は、さらに、ネットワークカメラ１００のシステム全体を制御するシステム制御部３１４と、符号化されたデジタル映像データをビデオパケットに変換するパケット化処理を行い、さらに所定のフォーマットに従い、送信すべきビデオパケットおよび制御パケットをＬＡＮＩ／Ｆ部３１６に出力するために、所定の形式に従ってこれらのパケットを配置してパケットの多重化処理を行うパケット化制御部３１５と、ＬＡＮ５００などのパケットネットワーク網とネットワークカメラ３００との間における通信制御を行うＬＡＮＩ／Ｆ部３１６と、オーディオＡ／Ｄ変換器３１３によって変換されたデジタル音声データに対しタイムスタンプを付加する時間情報付加部３１７と、時間情報付加部３１７によってタイムスタンプを付加されたデジタル音声データをオーディオパケットに変換するパケット化処理を行い、ＬＡＮＩ／Ｆ部３１６を介して後述する映像音声受信端末４００へ転送を行うオーディオパケット化部３１８とを備えている。

図６は、ネットワークシステムに適用される映像音声受信端末の構成を示したブロック図である。

同図において、４００は映像音声受信端末の本体を示す。映像音声受信端末４００は、ＬＡＮＩ／Ｆ部４０１、ＬＡＮＩ／Ｆ部４０１介して制御パケットが多重化されたビデオパケットや制御パケットが多重化されたオーディオパケットなどを各メディアに分離し、受信したビデオパケット、オーディオパケットをそれぞれデパケット化し、符号化されたデジタル映像データ及び符号化されたデジタル音声データを生成するデパケット化分離部４０２と、ネットワークでのパケット到着ジッタを考慮してメディアストリームに付加された遅延を処理すると共にデパケット化分離部４０２から受信した符号化されたデジタル音声データを所定期間遅延して符号化されたデジタル映像データとの同期（リップ・シンク）をとる遅延処理部４０３と、遅延処理部４０３から受信した符号化されたデジタル映像データを伸張し復号化することでデジタル映像データを生成するビデオ復号化部４０５と、遅延処理部４０３から受信した符号化されたデジタル音声データを伸張し復号化することでデジタル音声データを生成するオーディオ復号化部４０６と、ビデオ復号化部４０５及びオーディオ復号化部４０６の機能を包含し、ＤＳＰなどで実現されるビデオ・オーディオデコーダ４０７と、ビデオ復号化部４０５によって復号化されたデジタル映像データをアナログの映像信号に変換してビデオモニタなどのビデオ出力装置６０１に出力するビデオＤ／Ａ変換器４０８と、オーディオ復号化部４０６によって復号化されたデジタル音声データをアナログの音声信号に変換してスピーカーなどのオーディオ出力装置６０２に出力するオーディオＤ／Ａ変換器４０９とを備えている。

さらに、映像音声受信端末４００は、ネットワークカメラ３００から受信したオーディオパケットをデパケット化しデジタル音声データを抽出するオーディオデパケット化部４１０と、オーディオ復号化部４０６によって復号化されたデジタル音声データを一定時間、バッファリングするオーディオ遅延部４１４と、オーディオ遅延部４１４から受信したデジタル音声データから、オーディオデパケット化部４１０から受信したデジタル音声データを減算するオーディオ減算部４１３と、オーディオ減算部４１３から受信するデジタル音声データを圧縮し符号化するオーディオ符号化部４１２と、符号化されたデジタル音声データをオーディオパケットに変換するパケット化処理を行い、さらに所定のフォーマットに従い、送信すべきオーディオストリームをＬＡＮＩ／Ｆ部４０１に出力するために、所定の形式に従ってパケット配置するパケット化制御部４１１とを備えている。

図７は、ネットワークカメラ３００と映像音声受信端末４００との組み合わせによるネットワークシステムの構成図である。

ここで、図７のネットワークカメラ３００ｃ及びネットワークカメラ３００ｄは、図５のネットワークカメラ３００と同一の構成を備えており、図６の映像音声受信端末４００ｃ及び映像音声受信端末４００ｄは、図６の映像音声受信端末４００と同一の構成を備えているが、説明の便宜上、「ｃ」又は「ｄ」の文字を符号に付加している。また、ネットワークカメラ３００ｃ及び映像音声受信端末４００ｃはＬＡＮ５００ｃに接続されており、ネットワークカメラ３００ｄ及び映像音声受信端末４００ｄはＬＡＮ５００ｄに接続されている。ＬＡＮ５００ｃ及びＬＡＮ５００ｄは広域パケットネットワーク網（ＷＡＮ）７００に接続されている。

上記の構成で、図７に基づいて、ネットワークカメラ３００ｃ及び映像音声受信端末４００ｃから遠隔地のネットワークカメラ３００ｄ及び映像音声受信端末４００ｄに対してＬＡＮ５００ｃ，５００ｄ及び広域パケットネットワーク網（ＷＡＮ）７００を介して伝送されるパケットの流れを説明する。

まず、マイク１１０ｃを備えるネットワークカメラ３００ｃは、ＲＴＰ（Real-time Transport Protocol）などのリアルタイム転送プロトコルにしたがってビデオパケットのストリーム（ＶＳ３）は映像音声受信端末４００ｃを介さずに、直接、遠隔地の映像音声受信端末４００ｄに伝送する。さらにネットワークカメラ３００ｃはタイムスタンプを付加した上でパケット化されたデジタル音声データのオーディオパケット（Ａ３）を映像音声受信端末４００ｃへ転送する。そのオーディオパケット（Ａ３）は映像音声受信端末４００ｃのオーディオデパケット化部４１０に入力される。

映像音声受信端末４００ｃは、ネットワークカメラ３００ｃから受信したパケット化されたオーディオパケット（Ａ３）をデパケット化し、付加されたタイムスタンプを基にしてネットワークカメラ３００ｃを使用している環境で生じる音声折り返しの時間を測定する。

そして、映像音声受信端末４００ｃでは一定時間カウントしてバッファリングされたデジタル音声データから上記ネットワークカメラ３００ｃから転送されたデジタル音声データを減算する減算処理を施し、符号化して、ＲＴＰプロトコルにしたがって、パケット化したオーディオパケットのストリーム（ＡＳ３）を映像音声受信端末４００ｄに伝送する。ネットワークカメラ３００ｄおよび映像音声受信端末４００ｄにおいても同様に、それぞれビデオパケットのストリーム（ＶＳ４）及びオーディオパケットのストリーム（ＡＳ４）を映像音声受信端末４００ｃに伝送する。ビデオパケットのストリーム（ＶＳ４）及びオーディオパケットのストリーム（ＡＳ４）は映像音声受信端末４００ｃのデパケット化分離部４０２に入力される。

次に、このネットワークカメラ３００ｃを用いたパケット通信でテレビ会議を行う場合について、説明する。

図８は、ＬＡＮ５００ｃ上にあるネットワークカメラ３００ｃから遠隔地ＬＡＮ５００ｄ上の映像音声受信端末４００ｄへパケットのストリームを伝送し、さらに遠隔地ＬＡＮ５００ｄ上のネットワークカメラ３００ｄからＬＡＮ５００ｃ上にある映像音声受信端末４００ｃへパケットのストリームを伝送するＳＩＰテレビ会議通信を行うための通信接続手順を示した図である。

ＳＩＰテレビ会議通信を行う上での接続手順は、図４で示した接続手順と同じである。メディアストリーム（パケットのストリーム）を伝送する方法は、まず、ビデオパケットストリームはネットワークカメラ３００ｃからそのパケット化制御部３１５においてＲＴＰプロトコルのフォーマットにしたがって、遠隔地の遠隔地の映像音声受信端末４００ｄへ伝送する。映像音声受信端末４００ｄはネットワークカメラ３００ｃから受け取ったビデオパケットを前述した動作説明のように復号化し、ビデオ出力部６０１に出力する。

ネットワークカメラ３００ｃはオーディオパケットのストリームをデジタル音声データとして映像音声受信端末４００ｃへ転送し、ここで前述のとおりに折り返し音声を減算処理して、映像音声受信端末４００ｃのパケット化制御部４１１においてＲＴＰプロトコルのフォーマットにしたがって、遠隔地の遠隔地の映像音声受信端末４００ｄへ伝送する。着信側のＬＡＮ５００ｄにおける接続手順も図４で示した接続手順と同じである。

以上詳細に説明したように、本実施の形態によれば、映像音声受信端末４００ｃにおいて、ネットワークカメラ３００ｄからデジタル音声データが入力され、ネットワークカメラ３００ｃから時間情報が付加された音声データが入力され、ネットワークカメラ３００ｄから入力された音声データの出力を、時間情報に基づいて一定時間遅延させ、一定時間遅延された音声データから、前記時間情報が付加された音声データを減算する。これにより、音声データの送信部と受信部が異なる端末にある場合でも、エコーの発生を抑制することができる。

また、ネットワークカメラ１００ａと映像音声受信端末２００ａとの間は、デジタル音声データがパケット化されて通信されるので、効率良く通信することができる。さらにデジタル音声データと制御データ、映像データと制御データがそれぞれパケット化されかつ多重化されて通信が実行されるので、データ量を抑えた高速通信が可能になる。

また、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

又、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

本発明の第１の実施の形態に係るネットワークシステムに適用されるネットワークカメラの構成を示したブロック図である。ネットワークシステムに適用される映像音声受信端末の構成を示したブロック図である。ネットワークカメラ１００と映像音声受信端末２００との組み合わせによるネットワークシステムの構成図である。ＬＡＮ５００ａ上にあるネットワークカメラ１００ａから遠隔地のＬＡＮ５００ｂ上の映像音声受信端末２００ｂへパケットのストリームを伝送し、さらに遠隔地ＬＡＮ５００ｂ上のネットワークカメラ１００ｂからＬＡＮ５００ａ上にある映像音声受信端末２００ａへパケットのストリームを伝送するＳＩＰテレビ会議通信を行うための通信接続手順を示した図である。本発明の第２の実施の形態に係るネットワークシステムに適用されるネットワークカメラの構成を示したブロック図である。ネットワークシステムに適用される映像音声受信端末の構成を示したブロック図である。ネットワークカメラ３００と映像音声受信端末４００との組み合わせによるネットワークシステムの構成図である。ＬＡＮ５００ｃ上にあるネットワークカメラ３００ｃから遠隔地ＬＡＮ５００ｄ上の映像音声受信端末４００ｄへパケットのストリームを伝送し、さらに遠隔地ＬＡＮ５００ｄ上のネットワークカメラ３００ｄからＬＡＮ５００ｃ上にある映像音声受信端末４００ｃへパケットのストリームを伝送するＳＩＰテレビ会議通信を行うための通信接続手順を示した図である。パケットネットワーク網に接続されたネットワークカメラシステムの構成例を示す図である。従来のエコーキャンセラを用いたエコー抑制システムを示した図である。

符号の説明

１００，３００ネットワークカメラ
１０１，３０１レンズユニット
１０８，３０８信号処理部
１０９，３０９ビデオ符号化部
１１０，３１０マイクユニット
１１８，４１３オーディオ減算部
１１９，４１４オーディオ遅延部
１２０，４１０オーディオデパケット化部
２００，４００映像音声受信端末
２０２，４０２デパケット化分離部
２０４，３１４システム制御部
２０５，４０５ビデオ復合化部
２０６，４０６オーディオ復合化部
２１１，３１８オーディオパケット化部

Claims

外部装置にデータを配信する第１ユニットと、前記外部装置と異なる他の外部装置から音声データを受信する第２ユニットとがネットワークを介して互いに接続されるネットワークシステムにおいて、
前記第２ユニットは、
前記第１ユニットに送信すべき音声データに時間情報を付加する時間情報付加手段と、
前記時間情報が付加された音声データを前記第１ユニットに送信する送信手段とを備え、
前記第１ユニットは、
前記音声データを入力する第１入力手段と、
前記第２ユニットから前記時間情報が付加された音声データを入力する第２入力手段と、
前記第２入力手段で入力された音声データの出力を、前記時間情報に基づいて一定時間遅延させる遅延手段と、
前記遅延手段で一定時間遅延された音声データから、前記第１入力手段により入力された音声データを減算する減算手段と
を備えることを特徴とするネットワークシステム。
前記第１ユニットは、前記減算手段で減算された音声データを符号化し、音声パケットを作成する音声符号化手段を備え、
前記第２ユニットは、符号化された音声パケットを復合化し、音声データを作成する音声復合化手段を備えていることを特徴とする請求項１記載のネットワークシステム。
前記第１ユニットは、
映像データを入力する映像入力手段と、
前記映像入力手段により入力された映像データを符号化し、映像パケットを作成する映像データ符号化手段と、
前記映像データ符号化手段により作成された映像パケットと前記音声符号化手段により作成された音声パケットとを多重化する多重化手段と、
前記第２入力手段から入力された音声パケットをデパケット化し、前記時間情報が付加された音声データを作成する音声デパケット化手段と
を備え、
前記第２ユニットは、
前記多重化手段により多重化された映像パケットと音声パケットとを分離する分離手段と、
前記分離手段により分離された映像パケットを復合化し、映像データを作成する映像復合化手段と、
前記時間情報付加手段により時間情報が付加された音声データのパケットを作成する音声パケット化手段と、
を備えていることを特徴とする請求項２記載のネットワークシステム。
外部装置にデータを配信する第１ユニットと、当該第１ユニット及び前記外部装置と異なる他の外部装置から音声データを受信する第２ユニットとがネットワークを介して互いに接続されるネットワークシステムにおいて、
前記第１ユニットは、
前記第２ユニットに送信すべき音声データに時間情報を付加する時間情報付加手段と、
前記時間情報が付加された音声データを前記第２ユニットに送信する送信手段とを備え、
前記第２ユニットは、
前記外部装置と異なる他の外部装置から音声データを入力する第１入力手段と、
前記第１ユニットから前記時間情報が付加された音声データを入力する第２入力手段と、
前記第１入力手段で入力された音声データの出力を、前記時間情報に基づいて一定時間遅延させる遅延手段と、
前記遅延手段で一定時間遅延された音声データから、前記第２入力手段により入力された音声データを減算する減算手段と
を備えることを特徴とするネットワークシステム。
前記第１ユニットは、前記時間情報が付加された音声データを符号化し、音声パケットを作成する音声符号化手段を備え、
前記第２ユニットは、前記音声符号化手段により作成された音声パケットを復合化し、時間情報が付加された音声データを作成する音声復合化手段を備えていることを特徴とする請求項４記載のネットワークシステム
前記第１ユニットは、
映像データを入力する映像入力手段と、
前記映像入力手段により入力された映像データを符号化し、映像パケットを作成する映像データ符号化手段とを備え、
前記第２ユニットは、
前記映像パケットを復合化し、映像データを作成する映像復合化手段と、
前記音声符号化手段により作成された音声パケットを復合化し、音声データを作成する音声復合化手段と、
前記減算手段で減算された音声データを圧縮し符号化する音声データ符号化手段と、
前記音声データ符号化手段で符号化された音声データをパケットに変換するパケット化処理を行うパケット化手段と
を備えていることを特徴とする請求項５記載のネットワークシステム。
外部装置にデータを配信する第１ユニットと、前記外部装置と異なる他の外部装置から音声データを受信する第２ユニットとがネットワークを介して互いに接続されるネットワークシステムにおける通信方法であって、
前記第２ユニットが、
前記第１ユニットに送信すべき音声データに時間情報を付加する時間情報付加工程と、
前記時間情報が付加された音声データを前記第１ユニットに送信する送信工程とを実行し、
前記第１ユニットが、
前記音声データを入力する第１入力工程と、
前記第２ユニットから前記時間情報が付加された音声データを入力する第２入力工程と、
前記第２入力工程で入力された音声データの出力を、前記時間情報に基づいて一定時間遅延させる遅延工程と、
前記遅延工程で一定時間遅延された音声データから、前記第１入力工程により入力された音声データを減算する減算工程と
を実行することを特徴とするネットワークシステムにおける通信方法。
外部装置にデータを配信する第１ユニットと、当該第１ユニット及び前記外部装置と異なる他の外部装置から音声データを受信する第２ユニットとがネットワークを介して互いに接続されるネットワークシステムにおける通信方法であって、
前記第１ユニットが、
前記第２ユニットに送信すべき音声データに時間情報を付加する時間情報付加工程と、
前記時間情報が付加された音声データを前記第２ユニットに送信する送信工程とを実行し、
前記第２ユニットが、
前記外部装置と異なる他の外部装置から音声データを入力する第１入力工程と、
前記第１ユニットから前記時間情報が付加された音声データを入力する第２入力工程と、
前記第１入力工程で入力された音声データの出力を、前記時間情報に基づいて一定時間遅延させる遅延工程と、
前記遅延工程で一定時間遅延された音声データから、前記第２入力工程により入力された音声データを減算する減算工程と
を実行することを特徴とするネットワークシステムにおける通信方法。