JP2009194489A - 画像配信システムにおける音声処理方法 - Google Patents

Abstract

【課題】携帯端末側から発声した音声であるのか、クライアント側から発声した音声であるのかが、明確に区別できるようにした。
【解決手段】クライアント装置と端末情報装置との相互間で音声会話通信を行うようにした画像配信システムにおける音声処理方法において、予め端末情報装置１１からクライアント装置１３ａに伝送される情報に端末識別子を付加して送信し、１つのクライアント装置１３ａから発信された音声情報を他のクライアント装置１３ｂ、１３ｃが受信したときに、その音声情報に付加されている端末識別子を取り出した後、その端末識別子をもつ画像情報を表示しているクライアント装置すべてに受信した音声情報を送信し、その音声情報がクライアント装置１３ａの識別子なら各クライアント装置１３ｂ、１３ｃの左側に配置したスピーカから音声を出力し、識別子が端末情報装置ならクライアント装置１３ｂ、１３ｃの右側のスピーカから送出する。
【選択図】図１

Description

本発明は、画像配信システムにおける音声処理方法に関するものである。

カメラ付き携帯電話やデジタルカメラ等の普及により、携帯電話同士やインターネット回線とパソコン（コンピュータ）ＰＣを使用して画像や音声等のデータを送受信することが、急速に高まってきている（例えば、特許文献１参照。）。

このような状況の中で、一つの携帯端末（携帯電話等）から発せられた画像や音声を画像・音声配信サーバからインターネットやイントラネット回線を介して映像表示装置等を有する複数のクライアントＰＣに送ったり、クライアントＰＣから音声を端末側に送ったりする画像配信システムがある。

図３は、上記画像配信システムの概略ブロック構成図で、図３において、３１は携帯端末情報装置で、この携帯端末情報装置３１には、カメラ３１ａ、マイクロフォン３１ｂ、スピーカ３１ｃが備わっている。３２は画像配信サーバで、この画像配信サーバ３２は、音声の配信も行う。３３ａ、３３ｂは複数のクライアントＰＣである。なお、図中、矢印付き細線は画像（映像）の流れを示し、矢印付き太線は音声の流れを示す。

携帯端末情報装置３１は、図４に示すように構成され、カメラ３１ａからの映像を入力する映像入力部４１ａ、マイクロフォン３１ｂからの音声を入力する音声入力部４２ｂ、スピーカ３１ｃから音声を放声する音声出力部４１ｃを有し、映像入力部４１ａの映像入力については、エンコード部４２ａで画像データを符号化（ディジタル化）し、端末側通信制御部４３で１枚の画像をパケットに分割してサーバ３２に送信する。

同様に、音声入力部４１ｂの音声入力については、エンコード部４２ｂで音声データを符号化し、３３ミリ秒単位でパケット化し、端末側通信制御部４３からサーバ３２に送信する。また、クライアントから伝送されてきたデータは、サーバ３２を介して端末側通信制御部４３で受信され、デコード部４２ｃで音声データに変換して再生される。

画像配信サーバ３２は、図５に示すように、配信制御部３２ａとクライアント側通信制御部３２ｂから構成され、サーバ３２は、携帯端末情報装置３１やクライアントＰＣ３３ａ，３３ｂから伝送されてきた音声や画像のデータ（パケット）を配信制御部３２ａ、クライアント側通信制御部３２ｂを介してクライアントＰＣ３３ａ、３３ｂに配信する。

携帯端末情報装置３１からの音声データ（パケット）と画像データ（パケット）の場合、パケットに送信元の端末識別子を付加して、送信可能なクライアントＰＣ全てにパケットをコピーして送信する。クライアントＰＣで該当端末を選択して、携帯端末の画像を表示しているクライアントＰＣからの音声データ（パケット）は、パケットに付加されている端末識別子（相手端末）をもとに該当する端末にデータを送信する。

クライアントＰＣ３３ａ、３３ｂは、図６に示すように構成され、デコード部６１ａ、６１ｂとエンコード部６１ｃ及び映像出力部６２ａ、音声出力部６２ｂ、音声入力部６２ｃから構成され、クライアントＰＣ３３ａ、３３ｂは、画像配信サーバ３２のクライアント側通信制御部３２ｂから送られてきた音声や画像のデータ（パケット）をデコード部６１ａ、６１ｂで再生する。また、音声入力部６２ｃについては、エンコード部６１ｃで音声データを符号化し、３３ミリ秒単位でパケット化し、クライアント通信制御部３２ｂを介して、配信制御部３２ａに送信する。
特開２００２−２７１７７７号公報

上記図３に示す画像配信システムにおいては、画像の配信と同時に携帯端末とクライアントＰＣ間で音声会話を実現しているが、通話は、携帯端末との会話権を有する特定のクライアントＰＣ間で行われる。但し、携帯端末からの音声は、他のクライアントＰＣにも出力される。

図３に示す画像配信システムにおいて、会話権を有するクライアントＰＣで発声した音声は、他のクライアントＰＣに出力されないため、他のクライアントＰＣでは、携帯端末からの一方向的な音声出力になり、どのような会話が行われているのかが、把握することができない問題がある。

また、あるクライアントＰＣで発声した音声を画像配信サーバ経由で他のクライアントＰＣに出力した場合、会話の内容によっては、携帯端末側が発声した音声であるのか、あるクライアントＰＣ側が発声した音声であるのかが、区別することができない問題もある。

本発明は、上記の事情に鑑みてなされたもので、携帯端末側から発声した音声であるのか、クライアント側から発声した音声であるのかが、明確に区別できるようにした画像配信システムにおける音声処理方法を提供することを目的とする。

上記の課題を達成するために、本発明は、画像入力、音声入出力の情報を取り扱う端末情報装置と、この端末情報装置から各情報をクライアント側に配信する画像配信サーバと、このサーバから配信された情報受信し、その情報の画像を映出したり、音声として送出する複数のクライアント装置とを備えた画像配信システムであって、
前記クライアント装置と端末情報装置との相互間で音声会話通信を行うようにした画像配信システムにおける音声処理方法において、
予め前記端末情報装置からクライアント装置に伝送される情報に端末識別子を付加して送信し、１つのクライアント装置から発信された音声情報を他のクライアント装置が受信したときに、その音声情報に付加されている前記端末識別子を取り出した後、その端末識別子をもつ画像情報を表示しているクライアント装置すべてに受信した音声情報を送信し、その音声情報がクライアント装置の識別子なら各クライアント装置の左側あるいは右側に配置したスピーカから音声を出力し、前記識別子が端末情報装置ならクライアント装置の右側あるいは左側のスピーカから送出するようにしたことを特徴とする。

本発明によれば、クライアント側から発声した音声は、他のクライアント側にも出力するようにし、そのときに、クライアント側から発声した音声は、左側のスピーカから出力し、携帯端末側から発声した音声は右側のスピーカから出力するようにして、携帯端末とクライアントのどちらの方が発声した音声であるかを、感覚的に明確に判断できる利点がある。

以下本発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態を示すブロック構成図で、１１は携帯端末情報装置、１２は画像配信サーバ、１３ａ、１３ｂ、１３ｃは複数のクライアント装置である。

前記携帯端末情報装置１１は、図３に示す携帯端末情報装置３１と同一構成で、図４に示すように構成されていて、動作も同様である。画像配信サーバ１２は、図２に示すように構成され、動作もほぼ同様であるが、クライアント装置１３ａ、１３ｂ、１３ｃからの下り音声が供給される点が異なる。

なお、携帯端末情報装置１１から、予めクライアント装置に伝送する情報に端末識別子を付加して送信するように設定されている。

いま、下り音声のデータ（パケット）が、クライアント装置１３ａから発せられ、その音声データを他のクライアント装置１３ｂ、１３ｃが受信したとき、そのデータに付加されている端末識別子を図示しない取り出し部で取出し、その端末の画像データを表示しているクライアント装置（自分自身を除く）すべてに、受信した音声データを送信する。

例えば、クライアント装置１３ｂが、音声データを受信したときに、その音声データの識別子（発信元ＩＤ）がクライアント装置からであると判断したなら、音声データはクライアント装置の本体機器の左側に配置したスピーカから出力する。また、音声データの識別子が携帯端末情報装置１１のものであると、判断されたなら前記本体機器の右側に配置されたスピーカから出力される。

なお、画像配信システムとして、端末情報装置とクライアント装置はｎ対ｍであるが、一つの端末情報装置を複数のクライアント装置で同時に操作できないように同期を取っているので、クライアント装置１台の音声情報を他のクライアント装置へ伝送するだけに限定しても良い。このため、端末情報装置に対する操作権をクライアント装置同士で獲得・譲歩できるようにしている。

ここで、上記一つの端末情報装置を複数のクライアント装置で同時に操作できないように同期を取っている具体例について述べる。
（１）クライアント装置１３ａ、１３ｂ、１３ｃは、全て同じ構成（Ｈ／Ｗ，Ｓ／Ｗ）で、全てのクライアント装置１３ａ、１３ｂ、１３ｃから下り音声を送信できる。ただし、同時に送信（通話）を行うと、混線するので、通話権限を設けて、通話権限を持っているクライアント装置のみが携帯端末情報装置と通話できるようにしている。従って、通話権限を持たないクライアント装置は、次のような手順で通話する。

（ａ）通話権限取得要求を画像配信サーバに対して送信する。

（ｂ）画像配信サーバは、通話権限を持っているクライアント装置に通話移譲要求を送信する。

（ｃ）クライアント装置は、他のクライアント装置が通話を要求している旨を、ポップアップ画面に表示する。ポップアップ画面の移譲ＯＫ釦を押すと、通話権限を要求しているクライアント装置に通話権限が移り、携帯端末情報装置と通話を行なうことができる。なお、ポップアップ画面の移譲ＮＯ釦を押すと、通話権限は移譲されない。
（２）音声データに送信元のクライアント識別子（又はアドレス）を付加しているので、下り音声を送信したクライアント装置を識別している。
（３）画像配信サーバは、下り音声を受信したとき、携帯端末情報装置に送信するとともに、データの送信元を調べて、送信元以外のクライアント装置に送信する。
（４）クライアント装置は、送信元を調べて、送信元が携帯端末情報装置なら音声を右側（又は左側）のスピーカから出力し、送信元がクライアント装置なら音声を左側（又は右側）スピーカから出力する。

本発明の実施の形態を示すブロック構成図。 画像配信サーバの詳細なブロック構成図。 従来の画像配信システムを示すブロック構成図。 携帯端末情報装置の詳細なブロック構成図。 画像配信サーバの詳細なブロック構成図。 クライアント装置の詳細なブロック構成図。

符号の説明

１１…携帯端末情報装置
１１ａ…カメラ
１１ｂ…マイクロフォン
１１ｃ…スピーカ
１２…画像配信サーバ
１３ａ，１３ｂ，１３ｃ…クライアント装置

Claims (1)

1. 画像入力、音声入出力の情報を取り扱う端末情報装置と、この端末情報装置から各情報をクライアント側に配信する画像配信サーバと、このサーバから配信された情報受信し、その情報の画像を映出したり、音声として送出する複数のクライアント装置とを備えた画像配信システムであって、
   前記クライアント装置と端末情報装置との相互間で音声会話通信を行うようにした画像配信システムにおける音声処理方法において、
   予め前記端末情報装置からクライアント装置に伝送される情報に端末識別子を付加して送信し、１つのクライアント装置から発信された音声情報を他のクライアント装置が受信したときに、その音声情報に付加されている前記端末識別子を取り出した後、その端末識別子をもつ画像情報を表示しているクライアント装置すべてに受信した音声情報を送信し、その音声情報がクライアント装置の識別子なら各クライアント装置の左側あるいは右側に配置したスピーカから音声を出力し、前記識別子が端末情報装置ならクライアント装置の右側あるいは左側のスピーカから送出するようにしたことを特徴とする画像配信システムにおける音声処理方法。

Images