JP2008103806A - 通信端末、通信システムおよび通信端末の制御方法 - Google Patents

Abstract

【課題】低遅延・低電力の高画質無線ＡＶ伝送を可能な通信端末を提供する。
【解決手段】静止画の場合には画像転送停止信号、動画の場合には画像転送再開信号を制御信号として生成し、制御信号と同期信号と画像及び音声の合成を行う制御信号合成して送信することを特徴とした画像及び音声送信端末と、受信した制御信号を解釈し、画像転送停止信号を検出した場合には、蓄積した画像及び音声を出力するように制御し、画像転送再開信号を検出した場合には、直接受信した画像及び音声を出力するように制御することを特徴とした画像及び音声受信端末とを組み合わせることにより、低遅延・低電力の高画質無線ＡＶ伝送を実現することが可能である。
【選択図】図１

Description

本発明は、低遅延・低電力で高画質無線ＡＶ伝送が可能な通信端末及びモジュール、通信システム、制御方法に関するものである。

有線で画像・音声をデジタル信号で伝送する方式として、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎｓ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）がある。色深度が２４ビットを越える３０ビット、３６ビット、４８ビットにも対応しており、高画質、高フレームレートでの画像・音声の伝送が可能である。また画像・音声データだけでなく、制御信号であるＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）も同時に伝送可能である。今後は、モバイル機器との接続など使い勝手の観点から、有線での接続だけでなく無線での接続が求められる。

従来の画像伝送を低電力で行う技術としては、静止画検出時に送信機・受信機間のデータ転送を停止し、受信機側で１つ前の画像を再生することにより低電力を実現するものがあった（例えば、特許文献１参照）。図３は、前記特許文献1に記載された従来の通信端末を示すものである。

図３において、３０１は制御部、３０２はアンテナ、３０３は無線部、３０４はベースバンド部、３０５はカメラ部、３０６は画像処理部、３０７は表示部、３０８はキー操作部、３０９は記憶部、３１１は差分算出演算部、３１２は比較判定部、３１３は通知監視部、３１４は通知生成部である。

送信側の移動通信端末の制御部３０１は、カメラ部３０５から入力された画像データをフレーム単位で記憶部３０９に保存する。次に、比較判定部３１２を用いて、最新フレームの画像と１つ前のフレームの画像との変化の大きさを判定する。そして、変化の大きさが規定レベルより小さい場合は、通知生成部３１４を用いて、受信側の移動通信端末へ画像データ送信停止通知信号を送出する。そして前記画像データの送信を停止する。受信側の移動通信端末の制御部３０１は、通知監視部３１３により画像データ送信停止通知信号を検出すると、画像データの受信動作を停止する。そして、受信側の移動通信端末の記憶部に最後に保存した画像データを静止画として表示装置に表示する。
特開２００５−１８４６３２号公報（第１２頁、図１）

ＩＰ（Internet Protocol）を使用した圧縮画像・音声のネットワーク伝送では、宅外へ通信などの遠距離の伝送が可能であるが、ネットワークの伝送の遅延が大きく、通信帯域も数Ｍｂｐｓ〜数百Ｍｂｐｓ程度に制限される為、一般にＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）などのフレーム間圧縮符号化が用いられ、画像の色深度が２４ビットの４：２：０に抑え、帯域を抑えることに重点が置かれている。このことがさらに遅延量を増大させている。

一方ＨＤＭＩに代表される有線での直接接続では、高画質化に重点を置いており、色深度も２４ビットを越える３０ビット、３６ビット、４８ビットを採用している。

この伝送レートを満たす為には、無線ＰＡＮ（Personal Area Network）などの手段で、近距離における伝送レートを向上させる必要がある。色深度の拡張や高フレームレートによる高画質化、伝送レートを向上させると共に、低遅延、モバイル機器との接続による消費電力低減を同時に必要となるという課題を有していた。

従来は静止画の判定のため、送信機側に差分算出演算等の静止検出回路を必要としていた。しかしながら、差分算出演算に電力が必要とされ、モバイル機器では好ましくない。少しの画像の違いに対してマージンを持たせて、静止画と判断して、静止画を増やそうとしているが、高画質で転送する用途には向かない。また、素人がカムコーダ等で撮影した画像では静止画が含まれる割合は極めて低い。

そこで、動画像より静止画を抽出することをやめ、あらかじめ静止画とわかっている画像に対して、電力削減を行うことにより、より正確な画像の転送と電力削減の両立を実現すると共に、素早い応答性を確保する為、遅延量を削減する。

本発明は、前記従来の課題を解決するもので、低遅延・低電力で高画質無線ＡＶ伝送が可能な無線通信端末及び制御方法を提供することを目的とする。

前記従来の課題を解決するために、本発明の通信端末は、画像及び音声送信端末として、画像及び音声を蓄積した蓄積部と、画像及び音声を撮影するカメラ部と、蓄積部及びカメラ部からの画像及び音声の入力を切り替える入力選択部と、グラフィックスを生成するＯＳＤ生成部と、ＯＳＤ生成部で生成されたグラフィックス画像と入力選択部で選択された画像及び音声を合成する合成部と、静止画の場合には画像転送停止信号を生成し、動画の場合には、画像転送再開信号を生成する制御信号生成/解釈部と、制御信号生成/解釈部で生成された制御信号と前記合成部より入力された同期信号と、合成部より入力された画像及び音声の合成を行う制御信号合成/分離部と、制御信号合成/分離部で合成された信号をデジタル変調する高速無線通信部と、高速無線通信部でデジタル変調された信号を送信するアンテナ部とを有し、アンテナ部で受信した信号は、高速無線通信部でデジタル復調され、制御信号合成/分離部で制御信号を分離し、制御信号生成/解釈部で受信した制御信号を解釈する特徴を有する。

また、画像及び音声受信端末として、信号を受信するアンテナ部と、アンテナ部で受信した信号をデジタル復調する高速無線通信部と、高速無線通信部でデジタル復調された信号を画像及び音声と制御信号と同期信号に分離する制御信号合成/分離部と、制御信号合成/分離部で分離された画像及び音声信号を蓄積する記憶部と、制御信号合成/分離部で分離された画像及び音声信号と、記憶部で蓄積された画像及び音声とを選択する選択部と、選択部で選択された画像及び音声を表示再生する表示部と、制御信号合成/分離部で分離された制御信号を解釈し、画像転送停止信号を検出した場合に、選択部が前記記憶部の出力を選択するように制御し、画像転送再開信号を検出した場合に、選択部が前記制御信号合成/分離部の出力を選択するように制御する制御信号生成/解釈部と、制御信号生成/解釈部で検出した信号を元に全体を制御する全体制御部とを有し、全体制御部の出力を前記制御信号生成/解釈部に伝え、制御信号生成/解釈部で制御信号に変換し、制御信号合成/分離部を介し、高速無線通信部でデジタル変調し、アンテナ部から送信する特徴を有する。

本構成の画像及び音声送信端末と画像及び音声受信端末を組み合わせることにより、低遅延・低電力の高画質無線ＡＶ伝送を実現することができる。

本発明の通信端末によれば、差分算出演算等の静止検出回路を不要にし、低遅延・低電力の高画質無線ＡＶ伝送を実現することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）では、ミリ波ＵＷＢなどの広帯域高速無線通信を利用して、機器間の距離が数メートルの近距離通信で、１．５Ｇｂｐｓ以上の伝送レートも実現可能である。

図１は、画像及び音声送信端末と画像及び音声受信端末の構成図である。一例として、画像音声送信機１００がカムコーダ、画像音声受信機１２０がデジタルＴＶであり、カムコーダからデジタルＴＶに画像音声伝送を行う場合について説明する。

画像音声送信機１００から画像音声受信機１２０へ画像および音声を伝送するにあたって、最初に画像音声送信機１００から画像音声受信機１２０へ機器接続認証及び対応するモードについて、相互に問い合わせが必要である。例えば、カムコーダからデジタルＴＶに画像音声伝送では、画像音声受信機１２０であるデジタルＴＶから画像音声送信機１００であるカムコーダに対して、「電源のコンセント接続、またはバッテリ接続」の確認や、「有線、または無線接続」の確認などが必要である。また本発明では、画像音声送信機１００、画像音声受信機１２０相互に、「画像・音声それぞれに対する転送停止・再開モードの有無」、「低遅延モードの有無」を問い合わせる。

本発明の画像音声送信機１００、画像音声受信機１２０は、「画像転送停止」、「画像・音声転送停止」、「画像転送再開」、「画像・音声転送再開」の４つのモードを持ち、画像・音声両方の転送、音声のみ転送、画像・音声共に転送しないレベルを設けることで、電力消費量を削減する。特に、送信機側の電力を低減することが可能である。この際に、水平、垂直同期などの制御信号は画像音声送信機１００から画像音声受信機１２０へ常時転送し続ける。上記のモード信号を画像・音声信号とは独立して、垂直同期転送前の数ライン前の水平同期転送時に合わせて転送する。

画像音声送信機１００は、全体制御部１１２が蓄積メディアからの読み出しの指示を出した場合には、メモリカードやディスクメディア等の蓄積部１０１に蓄積された動画像または写真等の静止画及び音声を読み込み、垂直同期、水平同期信号と共に入力選択部１０３に転送する。また全体制御部１１２が撮影の指示を出した場合には、カメラ部１０２により撮影された動画像または写真等の静止画及び音声も同様に、垂直同期、水平同期信号と共に入力選択部１０３に転送する。

全体制御部１１２が蓄積メディアからの読み出しの指示を出した場合には、蓄積部１０１からの出力を入力選択部１０３で選択し、全体制御部１１２が撮影の指示を出した場合には、カメラ部１０２からの出力を入力選択部１０３で選択し、合成部１０５へ出力する。

ＯＳＤ生成部１０４では、全体制御部１１２の指示の下、メニュー画面やサムネイル画像の貼り付け等を行い、静止画のグラフィックス画像を生成する。またＯＳＤ生成部１０４で音声を生成してもよい。ＯＳＤ生成部１０４で生成したグラフィックス画像は、合成部１０５により入力選択部１０３で選択した動画像または静止画とαブレンドにより合成される。α値を０または１に設定することにより、グラフィックス画像と動画像または静止画を合成せずに選択することが可能である。ＯＳＤ生成部１０４で生成した音声がある場合には、ＯＳＤ生成部１０４で生成した音声と入力選択部１０３で選択した音声を合成部１０５で合成される。

消費電力を削減する為、従来は差分算出演算器等を用い、現フレームの画像と１フレーム前の画像の差分を求め、差分値が規定の範囲内にある場合には静止画とみなすことにより、動画から静止画を作り出していた。しかしながら、この方法では受信機側での画像が異なる為、高画質の用途では到底受け入れられない。また、カムコーダ等による動画の素人撮影では、撮影した動画の中に含まれる静止画は極めて少ない。さらに、毎フレーム差分算出演算を行う為、消費電力が大きくなる問題がある。

そこで、スライドショー等の静止画の写真再生モードや、メニュー、静止画サムネイル、ＯＳＤ（On Screen Display）等では、全体制御部１１２であらかじめ静止画を認識しており、静止画検出を行う必要もなく、差分算出演算部が不要である。これにより、静止画検出の為の不必要な電力を削減することが可能である。

対象画像が静止画の場合には、全体制御部１１２から静止画の情報を制御信号生成/解釈部１１１に伝達し、御信号生成/解釈部１１１で画像転送停止信号を生成する。

対象画像が動画の場合には、全体制御部１１２から動画の情報を制御信号生成/解釈部１１１に伝達し、御信号生成/解釈部１１１で画像転送再開信号を生成する。

制御信号合成/分離部１０７は、制御信号生成/解釈部１１１で生成した制御信号と、合成部１０５より入力した同期信号と画像、音声を合成する。制御信号合成/分離部１０７で合成された信号は、高速無線通信部１０９でデジタル変調され、アンテナ部１１０から画像音声受信機１２０へ送信される。

画像音声受信機１２０は、画像音声送信機１００から送信された信号をアンテナ部１２１で受信し、高速無線通信部１２２でデジタル復調する。制御信号合成/分離部１２４は、デジタル復調された信号を画像及び音声と制御信号と同期信号に分離する。

記憶部１２６は、制御信号合成/分離部１２４で分離された画像信号を蓄積すると共に、蓄積された１フレーム前の画像と無音の音声を垂直・水平同期信号に合わせて出力する。

選択部１２７では、制御信号合成/分離部１２４で分離された画像及び音声信号と、記憶部１２６で蓄積された画像及び音声をそれぞれ独立に選択することにより、記憶部１２６に蓄積された静止画を出力することができる。

制御信号生成/解釈部１２９は、制御信号合成/分離部１２４で分離された制御信号を解釈する。

制御信号生成/解釈部１２９が「画像・音声転送停止信号」を検出した場合には、画像に対して選択部１２７が記憶部１２６の出力画像を選択するように制御すると同時に、音声に対して、記憶部１２６から出力される無音の音声を選択するように制御する。

制御信号生成/解釈部１２９が「画像転送停止信号」を検出した場合には、画像に対して選択部１２７が記憶部１２６の出力画像を選択するように制御すると同時に、音声に対して、制御信号合成/分離部１２４で分離された音声を選択するように制御する。

制御信号生成/解釈部１２９が、「画像・音声転送再開信号」または「画像転送再開信号」を検出した場合には、選択部１２７が制御信号合成/分離部１２４の画像、音声出力を選択するように制御する。表示部１２８は、選択部１２７で選択された画像及び音声を表示再生する。全体制御部１３０は、制御信号生成/解釈部１２９で検出した信号を元に、全体を制御する。

画像音声受信機１２０から画像音声送信機１００を制御する場合には、全体制御部１３０で生成した画像音声送信機１００を制御する信号を、制御信号生成/解釈部１２９でＨＤＭＩのＣＥＣコマンド等の画像音声送信機１００が解釈できる形式の制御信号に変換し、制御信号合成/分離部１２４を介して高速無線通信部１２２でデジタル変調し、アンテナ部１２１から画像音声送信機１００へ送信する。

画像音声送信機１００では、アンテナ部１１０で画像音声受信機１２０から送信された信号を受信し、高速無線通信部１０９でデジタル復調し、制御信号合成/分離部１０７で制御信号を分離する。制御信号生成/解釈部１０７で受信した制御信号の内容を解釈し、全体制御部１１２に伝達し、全体制御部１１２で画像音声受信機１２０から受け取った制御内容に応じた制御を行う。

同様に、画像音声送信機１００から画像音声受信機１２０を制御する場合には、上記の画像音声送信機１００と画像音声受信機１２０が入れ替わった手順を取る。

また、通信エラーや圧縮画像・音声の復号エラーにより、画像音声送信機１００から静止画を正しく受信できなかった場合には、画像音声受信機１２０から画像音声送信機１００に静止画の再送要求を送り、再度画像音声送信機１００から静止画を伝送する。

なお、無線伝送路における安全性を確保する為にデータの暗号化や、伝送帯域の削減の為にフレーム内圧縮符号化を、必要に応じて遅延増加とのトレードオフを考慮して、追加してもよい。無線伝送路における安全性を確保する為に、伝送路の暗号・復号を行う暗号/復号部１０８及び１２３を追加可能である。また伝送帯域を下げる為に、フレーム内の画像・音声の圧縮符号化を行うフレーム内圧縮符号部１０６、及び圧縮復号を行うフレーム内圧縮復号部１２５を同様に追加可能である。フレーム内圧縮符号部に用いる圧縮方法は、ロスレス圧縮が好ましい。

また、制御信号を容易に追加・変更が可能となるように、制御信号生成部、及び制御信号解釈部に、再構成可能ロジックを適用してもよい。同様に、高速無線通信部１０６、１２１について、通信方式を変更する為に再構成可能ロジックを用いてもよい。

（実施の形態２）
図２は、画像及び音声通信を行う送受信モジュール及びシステムＬＳＩの構成図である。

画像及び音声の送信側はアンテナ１１０と送信モジュール２００、システムＬＳＩ２０１で構成し、受信側はアンテナ１２１と受信モジュール２２０、システムＬＳＩ２２１で構成する。画像及び音声の通信処理の流れは、実施の形態１記載の内容と同じであり、送信側のシステムＬＳＩ２０１から蓄積部１０１へのアクセスは、蓄積ＩＦ部２０２を介して行い、カメラ部１０２へのアクセスは、カメラＩＦ部２０３を介して行う。受信側のシステムＬＳＩ２２１から表示部１２８へのアクセスは、表示ＩＦ部２２２を介して行う。

本発明の通信端末によれば、差分算出演算等の静止検出回路を不要にし、低遅延・低電力の高画質無線ＡＶ伝送を実現することができる。また通信機能付きデジタルビデオカメラ及びデジタルカメラ、ＢＤレコーダ、ＤＶＤレコーダ、ＴＶ等の用途にも応用できる。

本発明の実施の形態１における画像及び音声送信端末と画像及び音声受信端末の構成図 本発明の実施の形態２における画像及び音声通信端末向け通信モジュールおよびシステムＬＳＩの構成図 従来の画像通信端末の構成図

符号の説明

１００ 画像音声送信機
１０１ 蓄積部
１０２ カメラ部
１０３ 入力選択部
１０４ ＯＳＤ生成部
１０５ 合成部
１０６ フレーム内圧縮符号部
１０７ 制御信号合成/分離部
１０８ 暗号/復号部
１０９ 高速無線通信部
１１０ アンテナ部
１１１ 制御信号生成/解釈部
１１２ 全体制御部
１２０ 画像音声受信機
１２１ アンテナ部
１２２ 高速無線通信部
１２３ 暗号/復号部
１２４ 制御信号合成/分離部
１２５ フレーム内圧縮復号部
１２６ 記憶部
１２７ 選択部
１２８ 表示部
１２９ 制御信号生成/解釈部
１３０ 全体制御部
２００ 送信モジュール
２０１ システムＬＳＩ
２０２ 蓄積ＩＦ部
２０３ カメラＩＦ部
２２０ 受信モジュール
２２１ システムＬＳＩ
２２２ 表示ＩＦ部
３０１ 制御部
３０２ アンテナ
３０３ 無線部
３０４ ベースバンド部
３０５ カメラ部
３０６ 画像処理部
３０７ 表示部
３０８ キー操作部
３０９ 記憶部
３１１ 差分算出演算部
３１２ 比較判定部
３１３ 通知監視部
３１４ 通知生成部

Claims (13)

1. 蓄積された静止画像を転送する無線伝送する通信端末において、一つの静止画像に対して一度だけ受信端末に送信し、垂直・水平同期信号は受信端末に送信し続けることを特徴とした通信端末。
2. 画像及び音声を蓄積した蓄積部と、
   画像及び音声を撮影するカメラ部と、
   前記蓄積部及び前記カメラ部からの画像及び音声の入力を切り替える入力選択部と、
   グラフィックスを生成するＯＳＤ生成部と、
   前記ＯＳＤ生成部で生成されたグラフィックス画像と前記入力選択部で選択された画像及び音声を合成する合成部と、
   静止画の場合には画像転送停止信号を生成し、動画の場合には、画像転送再開信号を生成する制御信号生成部と、
   前記制御信号生成部で生成された制御信号と前記合成部より入力された同期信号と、前記合成部より入力された画像及び音声の合成を行う制御信号合成部と、
   前記制御信号合成部で合成された信号をデジタル変調する高速無線通信部と、
   前記高速無線通信部でデジタル変調された信号を送信するアンテナ部と
   を具備することを特徴とした通信端末。
3. 前記高速無線通信部は、前記アンテナ部で受信した信号をデジタル復調し、
   前記制御信号合成部は、デジタル復調した信号から制御信号を分離し、
   前記制御信号生成部は、分離した制御信号を解釈する
   ことを特徴とした請求項２に記載の通信端末。
4. 前記制御信号合成と前記高速無線通信部との間に、暗号化及び／または復号化を施す手段を具備する請求項２または３記載の通信端末。
5. 前記合成部と前記制御信号合成部との間に、フレーム内圧縮符号化を施すフレーム内圧縮符号部を具備する請求項２、３または４記載の通信端末。
6. 信号を受信するアンテナ部と、
   前記アンテナ部で受信した信号をデジタル復調する高速無線通信部と、
   前記高速無線通信部でデジタル復調された信号を画像及び音声と制御信号と同期信号に分離する制御信号分離部と、
   前記制御信号分離部で分離された画像及び音声信号を蓄積する記憶部と、
   前記制御信号分離部で分離された画像及び音声信号と、前記記憶部で蓄積された画像及び音声とを選択する選択部と、
   前記選択部で選択された画像及び音声を表示再生する表示部と、
   前記制御信号分離部で分離された制御信号を解釈し、画像転送停止信号を検出した場合に、前記選択部が前記記憶部の出力を選択するように制御し、画像転送再開信号を検出した場合に、前記選択部が前記制御信号分離部の出力を選択するように制御する制御信号解釈部と、
   前記制御信号解釈部で検出した信号を元に全体を制御する全体制御部と
   を具備することを特徴とした通信端末。
7. 前記全体制御部の出力を前記制御信号解釈部に伝え、前記制御信号解釈部で制御信号に変換し、前記制御信号分離部を介し、前記高速無線通信部でデジタル変調し、前記アンテナ部から送信することを特徴とした請求項６記載の通信端末。
8. 前記高速無線通信部と前記制御信号分離部との間に、復号化及び／または暗号化を施す手段を具備することを特徴とした請求項６または７記載の通信端末。
9. 前記制御信号分離部と前記記憶部及び前記選択部との間に、フレーム内圧縮復号化を施すフレーム内圧縮復号部を具備することを特徴とした請求項６、７または８記載の通信端末。
10. 請求項３記載の通信端末と、請求項７記載の通信端末の間で通信を行うことを特徴とした通信システム。
11. 通信端末に用いるシステムＬＳＩであって、
    前記通信端末は、
    画像及び音声を蓄積した蓄積部と、
    画像及び音声を撮影するカメラ部と、
    システムＬＳＩからの出力信号をデジタル変調する高速無線通信部と、
    前記高速無線通信部でデジタル変調された信号を送信するアンテナ部と
    を備え、
    前記システムＬＳＩは、
    前記蓄積部及び前記カメラ部からの画像及び音声の入力を切り替える入力選択部と、
    グラフィックスを生成するＯＳＤ生成部と、
    前記ＯＳＤ生成部で生成されたグラフィックス画像と前記入力選択部で選択された画像及び音声を合成する合成部と、
    静止画の場合には画像転送停止信号を生成し、動画の場合には、画像転送再開信号を生成する制御信号生成部と、
    前記制御信号生成部で生成された制御信号と前記合成部より入力された同期信号と、前記合成部より入力された画像及び音声の合成を行う制御信号合成部と、
    を具備することを特徴としたシステムＬＳＩ。
12. 通信端末に用いるシステムＬＳＩであって、
    前記通信端末は、
    信号を受信するアンテナ部と、
    前記アンテナ部で受信した信号をデジタル復調する高速無線通信部と、
    画像及び音声信号を蓄積する記憶部と、
    画像及び音声を表示再生する表示部とを備え、
    前記システムＬＳＩは、
    前記高速無線通信部でデジタル復調された信号を画像及び音声と制御信号と同期信号に分離する制御信号分離部と、
    前記制御信号分離部で分離された画像及び音声信号を前記記憶部に蓄積する手段と、
    前記制御信号分離部で分離された画像及び音声信号と、前記記憶部で蓄積された画像及び音声とを選択する選択部と、
    前記選択部で選択された画像及び音声を前記表示部で表示再生する手段と、
    前記制御信号分離部で分離された制御信号を解釈し、画像転送停止信号を検出した場合に、前記選択部が前記記憶部の出力を選択するように制御し、画像転送再開信号を検出した場合に、前記選択部が前記制御信号分離部の出力を選択するように制御する制御信号解釈部と、
    前記制御信号解釈部で検出した信号を元に全体を制御する全体制御部と
    を具備することを特徴としたシステムＬＳＩ。
13. 蓄積された静止画像を転送する無線伝送する通信端末において、一つの静止画像に対して一度だけ受信端末に送信し、垂直・水平同期信号は受信端末に送信し続けることを特徴とした通信端末の制御方法。

Images