JP2005033679A - 制御ユニット及び携帯端末装置 - Google Patents

Abstract

【課題】 データバスのシステム構成を工夫して単位データバス当たりのデータ転送制御負担を軽減できるようにすると共に、消費電力を低減化できるようにする。
【解決手段】 携帯端末用のモバイル用ＣＰＵ１０であって、動画情報を入力して圧縮し、又は、既に圧縮された動画情報を伸長する圧縮伸長部１６と、動画情報を入力して圧縮及び伸長以外の画像処理をするＣＰＵ１５と、このＣＰＵ１５によって画像処理された動画情報を伝送するデータバス１と、圧縮伸長部１６によって圧縮処理された動画情報を伝送するデータバス９２と、ＣＰＵ１５に接続されるデータバス９１又は圧縮伸長部１６に接続されるデータバス９２のいずれか一方を選択するバス切換部１４を備えるものである。ＣＰＵ１５により画像処理された動画情報を伝送するデータバス９１と圧縮伸長部１６により圧縮処理された動画情報を伝送するデータバス９２とを切り離す構成を採ることができる。
【選択図】 図１

Description

本発明は、撮ったその場で映像を確認できると共に相手方に転送可能なモバイル用ＣＰＵ内蔵のカメラ付き携帯電話機や、モバイル用ＣＰＵ内蔵のカメラ付きノート型のパーソナルコンピュータ（以下パソコンという）、テレビ電話システム等に適用して好適な制御ユニット及び携帯端末装置に関するものである。

詳しくは、動画情報を入力して画像処理をする制御装置に接続される第１のデータバスと、その動画情報を圧縮処理する圧縮伸長部に接続される第２のデータバスと、これらの第１又は第２のデータバスのいずれか一方を選択するバス切換部とを備え、第１のデータバスと第２のデータバスとを切り離すシステム構成を採用できるようにすると共に、単位データバス当たりのデータ転送制御負担を軽減できるようにしたものである。

近年、撮ったその場で映像を確認できると共に相手方に転送可能なモバイル用ＣＰＵ内蔵のカメラ付き携帯電話機や、モバイル用ＣＰＵ内蔵のカメラ付きノート型のパソコン等が使用される場合が多くなってきた。このようなモバイル機器において、テレビや、カメラ等により出力される外部映像を高い品質（例えば、ＣＩＦ（Cell In Frames）の３０ｆｐｓのエンコード）で画像処理する制御ユニットが取り入れられる。この種の制御ユニットはモバイル用ＣＰＵと呼ばれ、液晶表示部（ＬＣＤ）に映像を表示する画像表示系と、圧縮もしくは伸張された映像データを扱う画像処理系の２系統が必要となる。

図６は、この種の従来例に係る携帯端末装置１の構成例を示すブロック図である。図６に示す携帯端末装置１には、ＳＤＲＡＭ２、フラッシュメモリ３、圧縮伸長用のＬＳＩ６、モバイル用ＣＰＵ８、テレビ又はカメラモジュール２０、液晶表示部５０、ＳＤＲＡＭ６０、メモリコントローラ６１、フラッシュメモリ７０及び記録メディア８０が備えられる。

液晶表示部５０に映像を表示する画像表示系は、モバイル用ＣＰＵ８内のスケーリング回路２１、ＦＩＦＯ＆マトリクス回路１２、ＶＲＡＭ１３、ＬＣＤ−インターフェース５１から構成される。また、記録メディア８０に圧縮した映像データを記録したり、記録メディア８０から読み出した圧縮映像データを伸張する画像処理系は、ＳＤＲＡＭ２、フラッシュメモリ３、圧縮伸長用のＬＳＩ６及び、モバイル用ＣＰＵ８内のＭＳ−インターフェース８１から構成される。

スケーリング回路２１、ＦＩＦＯ＆マトリクス回路１２、ＶＲＡＭ１３、ＣＰＵ１５、ＬＣＤ−インターフェース５１、メモリコントローラ６１、ＭＳ−インターフェース８１は同一のデータバス９１に接続され、当該ＣＰＵ１５によってデータ転送制御がなされる。

圧縮伸長用のＬＳＩ６はモバイル用ＣＰＵ８に対して外付け部品としてプリント配線基板に実装される。図６において二点鎖線で示したのは、圧縮伸長用のＬＳＩ６とモバイル用ＣＰＵ８との間で圧縮映像データを入出力するためのインターフェース４又はインターフェース５である。このインターフェース４は、圧縮伸長用のＬＳＩ６側に内蔵される場合であり、インターフェース５は、モバイル用ＣＰＵ８側に内蔵される場合である。

このようなインターフェース４、５は、圧縮伸長用のＬＳＩ６と、モバイル用ＣＰＵ８とで駆動電源が例えば、１．５Ｖシリーズ、３．０Ｖシリーズのように異なる場合にレベルコンバータとして機能する。レベルコンバータはＴＴＬ（トランジスタ−トランジスタレベル）変換機能を有している。

インターフェース４、５も上述したデータバス９１に接続され、圧縮映像データを時分割で圧縮伸長用のＬＳＩ６から記録メディア８０へ転送したり、スケーリング回路２１や、ＦＩＦＯ＆マトリクス回路１２、ＶＲＡＭ１３等にデータバス９１を通じて制御データを出力し、テレビ又はカメラモジュール２０から取得した映像データを画像処理した後のＶＲＡＭデータをＬＣＤ−インターフェース５１を通じて液晶表示部５０に出力するようになされる。

この種のモバイル用ＣＰＵ８を取り入れた携帯端末装置に関して、特許文献１には、画像処理装置及び、方法、並びにプログラム及び記録媒体が記載されている。この画像処理装置によれば、複数の画像処理形式の画像情報を符号化又は復号化する複数のモジュールと、複数のモジュールの各々に対応する先入れ先出し方式による複数の一時記憶手段とを備える。画像処理装置は、複数の画像処理形式に応じて、複数のモジュールが実行する一連の作業に関する作業情報として複数のコマンドディスクリプタを作成し、複数のコマンドディスクリプタのうち最初のコマンドディスクリプタを実行するモジュールに対応する一時記憶手段に、最初のコマンドディスクリプタが記憶されている領域を指定する情報を書き込むようになされる。このようにすると、複数のモジュールの間で作業の受け渡しをする際に、複数の画像処理形式の画像情報を同時に符号化又は復号化することができるというものである。

また、特許文献２には表示装置及びその駆動方法が記載されている。この表示装置によれば、表示パネル、ドライバ、表示コントローラ及びフレームレイト検出回路を備え、マトリクス状に複数の表示素子を有した表示パネルにおいて、当該表示素子はドライバにより駆動される。ドライバは外部供給源から供給される表示信号に基づいて表示コントローラにより制御される。フレームレイト検出回路は表示信号の更新状況を検出し、この更新状況に応じて表示パネルの映像更新速度を制御するようになされる。このようにすることで、表示パネルで画面の更新前後の画像が混在して見苦しい画面を表示する事態を避けられるというものである。

更に、特許文献３には、カメラ装置及び当該カメラ装置を具備する電子装置が記載されている。このカメラ装置によれば、圧縮手段を備えた一の経路と、圧縮手段を備えていない他の経路とを接続した出力手段を備え、映像信号処理手段から出力したデジタル画像データを圧縮手段を備えた一の経路と、圧縮手段を備えていない他の経路に並列に入力し、一の経路から圧縮手段を経て入力された圧縮データと、他の経路から入力された非圧縮デジタル映像データを出力手段で選択して同一の信号線により同一の信号タイミングで外部機器へ出力する。このような構成にすると、外部機器でデジタル映像データを受信する場合と、圧縮データを受信する場合とで、別々の回路を設ける必要がなく、回路構成を共通化できるというものである。

特開２００３−０９１４９号公報（第８頁、図１） 特開２００３−３６０４６号公報（第４頁、図１） 特開２００２−３３０３２６号公報（第８頁、図１）

ところで、従来例に係る携帯端末装置１によれば、液晶表示部５０に映像を表示する画像表示系と、記録メディア８０に圧縮した映像データを記録したり、そこから読み出した圧縮映像データを伸張する画像処理系とを備えて、これらの処理を並行して行う際に、以下のような問題がある。

ｉ．特許文献１乃至３の画像処理技術を含めて、圧縮伸長用のＬＳＩ６がモバイル用ＣＰＵ８に対して外付け部品としてプリント配線基板に実装されることから、動画像の圧縮伸張を行いながら、液晶表示部５０に表示する場合に、圧縮伸長用のＬＳＩ６の各ｐｉｎの信号変化の急増によって消費電力が増加する。

特に、圧縮伸長用のＬＳＩ６とモバイル用ＣＰＵ８との間に設けられたインターフェース４又はインターフェース５で消費電力が飛躍的に増加する傾向がある。従って、バッテリー駆動式の携帯端末装置１の連続使用時間が短くなってしまう。

ii．また、圧縮伸張用のＬＳＩ６で画像のスケーリング処理をする際に、一度フレームメモリに展開してからスケーリングを行うため、圧縮伸張用のＬＳＩ６に接続されているＳＤＲＡＭ２等を含めて消費電力が増加するおそれがある。

iii．更に、動画像の圧縮伸張時にデータバス（ＣＰＵバス）９１のＣＰＵ１５によるデータ転送制御負担が重たくなり、他の作業に影響を与えることになる。ＳＤＲＡＭ２，フラッシュメモリ３が、ＳＤＲＡＭ６０，フラッシュメモリ７０のように２重に必要となるなど、圧縮伸長用のＬＳＩ６をモバイル用ＣＰＵ８に対して外付け部品とすることが、モバイル機器のコストと消費電力の増加の要因となっている。

そこで、この発明はこのような従来の課題を解決したものであって、データバスのシステム構成を工夫して単位データバス当たりのデータ転送制御負担を軽減できるようにすると共に、消費電力を低減化できるようにした制御ユニット及び携帯端末装置を提供することを目的とする。

上述した課題は、動画情報を画像処理する携帯端末用の制御ユニットであって、動画情報を入力して圧縮し、又は、既に圧縮された動画情報を伸長する圧縮伸長部と、動画情報を入力して圧縮及び伸長以外の画像処理をする制御装置と、この制御装置によって画像処理された動画情報を伝送する第１のデータバスと、圧縮伸長部によって圧縮処理された動画情報を伝送する第２のデータバスと、制御装置に接続される第１のデータバス又は圧縮伸長部に接続される第２のデータバスのいずれか一方を選択するバス切換部とを備えることを特徴とする制御ユニットによって解決される。

本発明に係る制御ユニットによれば、動画情報を画像処理する場合に、圧縮伸長部は動画情報を入力して圧縮し、又は、既に圧縮された動画情報を伸長する。制御装置は、動画情報を入力して圧縮及び伸長以外の画像処理をする。制御装置によって画像処理された動画情報は第１のデータバスを伝送する。圧縮伸長部によって圧縮処理された動画情報は第２のデータバスを伝送する。バス切換部は、制御装置に接続される第１のデータバス又は圧縮伸長部に接続される第２のデータバスのいずれか一方を選択する。これを前提にして、例えば、制御装置は、制御モードに基づいて第１又は第２のデータバスのいずれか一方を選択するようにバス切換部を制御する。

従って、制御装置により画像処理された動画情報を伝送する第１のデータバスと圧縮伸長部により圧縮処理された動画情報を伝送する第２のデータバスとを切り離す構成を採ることができる。これにより、データバスを共通にして制御装置により画像処理された動画情報や、圧縮伸長部により圧縮処理された動画情報等を伝送する場合に比べて、単位データバス当たりのデータ転送制御負担を軽減することができる。しかも、独立した圧縮伸長部を外付けする場合に比べ、ＴＴＬ変換を伴うインターフェースを削減できるので、当該制御ユニットにおける消費電力の低減化を図ることができる。

本発明に係る携帯端末装置は動画情報を画像処理する携帯型の端末装置であって、制御ユニットと、この制御ユニットにより画像処理された動画像を表示する表示手段と、制御ユニットにより圧縮処理された動画情報を記憶する記憶装置とを備え、制御ユニットは、動画情報を入力して圧縮し、又は、既に圧縮された動画情報を伸長する圧縮伸長部と、動画情報を入力して圧縮及び伸長以外の画像処理をする制御装置と、制御装置によって画像処理された動画情報を伝送する第１のデータバスと、圧縮伸長部によって圧縮処理された動画情報を伝送する第２のデータバスと、第１又は第２のデータバスのいずれか一方を選択するように制御装置によって制御されるバス切換部とを有することを特徴とするものである。

本発明に係る携帯端末装置によれば、本発明に係る制御ユニットが応用され、制御装置は、第１又は第２のデータバスのいずれか一方を選択するようにバス切換部を制御する。バス切換部では、例えば、制御モードに基づいて第２のデータバスを選択する。この第２のデータバスの選択によって、記憶装置には、圧縮伸長部により圧縮処理された動画情報が記憶される。第１のデータバスに接続される表示手段には制御装置により画像処理された動画像が表示される。

従って、データバスを共通にして制御装置により画像処理された動画情報や、圧縮伸長部により圧縮処理された動画情報等を伝送する従来方式の制御ユニットに比べて消費電力の低減化を図ることができる。これにより、バッテリーの単位充電時間当たりの当該携帯端末装置の使用時間を長くすることができる。

以上説明したように、本発明に係る制御ユニットによれば、動画情報を入力して画像処理をする制御装置に接続される第１のデータバス又は、その動画情報を圧縮処理する圧縮伸長部に接続される第２のデータバスのいずれか一方を選択するバス切換部を備えるものである。

この構成によって、第１又は第２のデータバスのいずれか一方を選択するようにバス切換制御をすることができるので、制御装置により画像処理された動画情報を伝送する第１のデータバスと圧縮伸長部により圧縮処理された動画情報を伝送する第２のデータバスとを切り離す構成を採ることができる。従って、データバスを共通にして制御装置により画像処理された動画情報や、圧縮伸長部により圧縮処理された動画情報等を伝送する場合に比べて、単位データバス当たりのデータ転送制御負担を軽減することができる。

しかも、独立した圧縮伸長部を外付けする場合に比べ、ＴＴＬ変換を伴うデータ入出力部を削減できるので、当該制御ユニットにおける消費電力の低減化を図ることができる。

本発明に係る携帯端末装置によれば、本発明に係る制御ユニットが応用されるので、データバスを共通にして制御装置により画像処理された動画情報や、圧縮伸長部により圧縮処理された動画情報等を伝送する従来方式の制御ユニットに比べて消費電力の低減化を図ることができる。これにより、バッテリーの単位充電時間当たりの当該携帯端末装置の使用時間を長くすることができる。

続いて、この発明に係る制御ユニット及び携帯端末装置の一実施の形態について、図面を参照しながら説明をする。
図１は本発明に係る実施形態としての携帯端末装置１００の構成例を示すブロック図である。
この実施形態では、本発明に係る制御ユニットを応用した携帯端末装置１００を構成すると共に、動画情報を入力して画像処理をする制御装置に接続される第１のデータバスと、その動画情報を圧縮処理する圧縮伸長部に接続される第２のデータバスと、これらの第１又は第２のデータバスのいずれか一方を選択するバス切換部とを備え、第１のデータバスと第２のデータバスとを切り離すシステム構成を採用できるようにすると共に、単位データバス当たりのデータ転送制御負担を軽減できるようにしたものである。

図１に示す携帯端末装置１００は、動画情報を画像処理する携帯型の情報処理端末装置であって、本発明に係る制御ユニットを応用したものである。携帯端末装置１００は、撮ったその場で映像を確認できると共に相手方に映像転送可能なモバイル用ＣＰＵ内蔵のカメラ付き携帯電話機、モバイル用ＣＰＵ内蔵のカメラ付きノート型のパーソナルコンピュータ（以下パソコンという）、テレビ電話システム等に適用して好適である。

携帯端末装置１００は、制御ユニットの一例となるモバイル用ＣＰＵ１０と、表示手段の一例となる液晶表示部（ＬＣＤ）５０と、記憶装置の一例となる記録メディア８０とを有している。この他に、テレビやカメラ等の機能モジュール（以下ＴＶ又はカメラモジュールという）２０、操作部３０、通信モジュール４０、ＳＤＲＡＭ６０，フラッシュメモリ７０を有している。

液晶表示部５０にはモバイル用ＣＰＵ１０により画像処理された動画像が表示される。記録メディア８０にはモバイル用ＣＰＵ１０により圧縮処理された動画情報を記憶するようになされる。記録メディア８０にはメモリスティック（ＭＳ）等の不揮発メモリが使用される。

図１に示すモバイル用ＣＰＵ１０は、バス・スイッチ回路１１、ＦＩＦＯ＆マトリクス回路１２、ビデオＲＡＭ（以下単にＶＲＡＭという）１３、バス切換部１４、ＣＰＵ１５、圧縮伸長部１６、スケーリング（ＲeＳize）回路２１、操作部用のインターフェース３１、ＬＣＤ−インターフェース（Ｉ／Ｆ）５１、ＭＳ−インターフェース（Memory Stick Ｉ／Ｆ）８１を有しており、液晶表示部５０を表示する画像処理系と動画を圧縮する画像処理系の２つを同時に動作させるようになされる。

この例では、これらの回路１１、１２、ＶＲＡＭ１３、バス切換部１４、ＣＰＵ１５、圧縮伸長部１６、インターフェース３１，５１，８１に加えて第１及び第２のデータバス９１，９２が同一の半導体チップに形成されて成る。圧縮伸長部１６を同一の半導体チップ内に形成したことで、駆動電圧を揃えることができ、従来方式に比べて外付け圧縮伸長用のインターフェースが省略できるようになる。

スケーリング回路２１はインターフェース機能を有しており、テレビ又はカメラモジュール２０に接続され、これらのモジュール２０から出力される垂直同期信号ＶＤや、水平同期信号ＨＤ及び、例えば、８ビットのデジタルの映像データ（動画情報）Ｄinを入力する。スケーリング回路２１では垂直同期信号ＶＤや、水平同期信号ＨＤ等に基づいて映像データＤinを画像データ圧縮に適した画サイズに調整したり、そのフレームレートを調整するようになされる。例えば、スケーリング回路２１は、映像データＤinをＶＧＡ方式からＱＶＧＡ方式へ変換する。

スケーリング回路２１にはデータバス９１が接続される。データバス９１にはＣＰＵ１５や、メモリコントローラ６１が接続される。データバス９１は例えば、２４ビットのバス幅を有している。データバス９１に沿ってアドレスバス９３が配置される。アドレスバス９３は例えば、３２ビットのバス幅を有している。

ＣＰＵ１５は、メモリコントローラ６１に接続されたＳＤＲＡＭ６０及びフラッシュメモリ７０を使用して、映像データＤinに関して圧縮及び伸長以外の画像処理をする。ＣＰＵ１５によって画像処理された映像データＤinは、メモリコントローラ６１の制御を受け、データバス９１を通じてＳＤＲＡＭ６０や、フラッシュメモリ７０等に伝送される。

この例で、動画圧縮伸張用エンジンをモバイル用ＣＰＵ１０に内蔵することにより、従来方式で動画圧縮伸張処理に必要なＳＤＲＡＭ等をモバイル用のＳＤＲＡＭと兼用することができる。

また、データバス９１には、ＣＰＵ１５やメモリコントローラ６１の他にＦＩＦＯ＆マトリクス回路１２及びＶＲＡＭ１３が接続される。スケーリング回路２１とＦＩＦＯ＆マトリクス回路１２との間にはバス・スイッチ回路１１を介してローカルバス９１Ａが接続される。バス・スイッチ回路１１は圧縮伸長部１６によって制御される。例えば、圧縮伸長部１６は、制御モードに基づいてバス・スイッチ回路１１を切換制御する。この例で、制御モードに関しては、入力映像表示＆映像圧縮記録モード（以下Ａモードという）、映像伸長再生表示モード（以下Ｂモードという）及び、入力映像表示＆圧縮映像送信モード（以下Ｃモードという）が準備されている。

Ａモード、Ｂモード、又はＣモードは、ユーザにより、操作部３０を使用して設定される。操作部３０は操作部用のインターフェース（Ｉ／Ｆ）３１に接続される。ユーザにより設定されたＡモード、Ｂモード、又はＣモードは、インターフェース３１及びデータバス９１を通じてＣＰＵ１５や圧縮伸長部１６等に供給される。

この例で、Ａモードが設定されたときは、バス・スイッチ回路１１をオンする。バス・スイッチ回路１１がオンされると、スケーリング回路２１とＦＩＦＯ＆マトリクス回路１２との間が接続される。Ｂモード及びＣモードが設定されたときは、バス・スイッチ回路１１をオフする。バス・スイッチ回路１１がオフされると、スケーリング回路２１とＦＩＦＯ＆マトリクス回路１２との間が切り離される。

このＦＩＦＯ＆マトリクス回路１２では、図示しないＦＩＦＯメモリに映像データＤinが順次記録されると共に、その最初に記録された映像データＤinから順にマトリクス回路１２に読み出される。マトリクス回路１２では、例えば、カラー映像データＤinであるＹ、Ｕ、Ｖ信号をＲ色、Ｇ色、Ｂ色成分の映像データＲ，Ｇ、Ｂに変換するようになされる。

このＦＩＦＯ＆マトリクス回路１２にはＶＲＡＭ（Ｖideo−ＲＡＭ領域）１３が接続され、カラーマトリクス変換後の映像データＲ，Ｇ，Ｂを垂直同期信号ＶＤや、水平同期信号ＨＤ等に基づいて読み出すようになされる。ＦＩＦＯ＆マトリクス回路１２とＶＲＡＭ１３との間には、ローカルバス９１Ｂが接続される。

ＶＲＡＭ１３から読み出された映像データＲ，Ｇ，ＢをＶＲＡＭデータという。ＶＲＡＭ１３にはローカルバス９１Ｃを通じてＬＣＤ−インターフェース５１が接続される。ローカルバス９１Ａ〜９１Ｃはデータバス９１を補助するものであり、データバス９１と同じ機能を有している。このＬＣＤ−インターフェース５１には液晶表示部５０が接続され、ＶＲＡＭデータに基づいて動画を表示するようになされる。

また、スケーリング回路２１には圧縮伸長部１６が接続される。圧縮伸長部１６には、スケーリング回路２１から画サイズ及びフレームレート調整後の映像データＤinが供給される。圧縮伸長部１６は映像データＤinを入力して、例えば、ＭＰＥＧ４等のデータ圧縮方式により、映像データＤinを圧縮符号化し、又は、既に圧縮符号化された映像データＤinを伸長復号化するようになされる。

この例で、スケーリング（画像サイズ調整）処理を行った後に、映像データＤinの圧縮処理をするようになされるので、従来方式のようにＳＤＲＡＭ等の外部メモリに入力画素を全展開する必要が無くなり消費電力を削減することができる。従来例に比べて、スケーリング回路２１を圧縮伸長部１６の前段に設けたことで、圧縮伸長部１６の負荷を低減でき、消費電力を削減できるようになる。これは圧縮伸長部１６をモバイル用ＣＰＵ内部の同一電源で駆動でき、ＴＴＬ（トランジスタ−トランジスタレベル）変換を伴う従来方式のようなインターフェースが省略できるためである。

圧縮伸長部１６にはデータバス９２が接続され、この圧縮伸長部１６によって圧縮処理された映像データＤoutが伝送される。データバス９２は例えば、２４ビットのバス幅を有している。データバス９２に沿ってアドレスバス９４が配置される。アドレスバス９４は例えば、３２ビットのバス幅を有している。データバス９２には、バス切換部１４が接続され、データバス９１又はデータバス９２のいずれか一方を選択するようにＣＰＵ１５によって制御される。例えば、ＣＰＵ１５は、上述した制御モードに基づいてデータバス９１又はデータバス９２のいずれか一方を選択するようにバス切換部１４を制御する。

ＣＰＵ１５は、例えば、Ｂモード（入力映像表示＆映像圧縮記録モード）が設定され、圧縮伸長部１６によって映像データＤinが圧縮処理されるとき、データバス９２を選択し、データバス９１を非選択とするようにバス切換部１４を制御する。その後、データバス９２は、ＣＰＵ１５から圧縮伸長部１６への制御に切り替わる。ＣＰＵ１５は、圧縮伸長部１６が映像データＤinを圧縮処理している間、データバス９１を使用して当該映像データＤinに基づく動画表示処理を実行する。

バス切換部１４にはインターフェース（外部記録媒体用ペリフェラル）８１が接続される。インターフェース８１には記憶装置の一例となる記録メディア８０（外部記録媒体）が接続され、圧縮符号化後の映像データＤoutを記憶するようになされる。記録メディア８０にはメモリスティック（Memory Stick）や、磁気ディスク、光磁気ディスクが使用される。このように、ＬＣＤ−インターフェース５１を通じて液晶表示部５０へ転送されるＶＲＡＭデータと、インターフェース８１を通じて記録メディア８０へ転送される映像データＤoutとは、各々別々のデータバス９１，９２を使用することとなる。これはＣＰＵ１５のデータバス制御負担を軽減するためである。

なお、圧縮伸長部１６には通信−インターフェース４１が接続される。インターフェース４１には通信モジュール４０が接続される。通信モジュール４０には、例えば、カード型の無線通信モデムが使用される。この例で、Ｃモードが設定されたとき、自機で取得した映像データＤinは、圧縮伸長部１６によって画像圧縮処理される。その後、圧縮動画映像データＤoutは、通信インターフェース４１及び、通信モジュール４０を通じて相手方へ送信され、これと共に、相手方からの映像データを通信モジュール４０及びインターフェース４１を通じて受信する。相手方から受信した映像データは、圧縮伸長部１６によって画像伸長処理される。その後、伸長された映像データに基づいて映像表示するようになされる。通信−インターフェース４１は、ＣＰＵ１５や圧縮伸長部１６等と共に同一半導体チップに形成されて成る。

続いて、Ａ，Ｂ，Ｃモードにける各々のデータ処理及びデータ転送例について３つに分けて説明をする。

［Ａモード］
図２は入力映像表示＆映像圧縮記録モード（Ａモード）時にけるデータ処理及びデータ転送例を示す図である。
この例では、モバイル用ＣＰＵ１０に圧縮伸張部１６を内蔵し、ＴＶ又はカメラモジュール２０から供給される映像データＤinを液晶表示部５０にプレビューしつつ、圧縮した映像データＤoutをモバイル用ＣＰＵ１０に拡張される記録メディア８０に記録するようにして、ＣＰＵ１５の負荷と消費電力を最小限に抑えるシステムを構築したものである。

図２に示す操作部３０によって「Ａモード」が操作入力されると、インターフェース３１を通じて「Ａモード」がＣＰＵ１５及び圧縮伸長部１６に設定される。ＣＰＵ１５はバス切換部１４を制御して、圧縮伸長部１６がデータバス９２を選択し、データバス９１を非選択とするようになされる。その後、データバス９２は、ＣＰＵ１５から圧縮伸長部１６への制御に切り替わる。これと共に、圧縮伸長部１６はバス・スイッチ回路１１をオンする。バス・スイッチ回路１１がオンされると、スケーリング回路２１とＦＩＦＯ＆マトリクス回路１２との間が接続される。

スケーリング回路２１ではＴＶ又はカメラモジュール２０から供給される垂直同期信号ＶＤや、水平同期信号ＨＤ等に基づいて映像データＤinを画像データ圧縮に適した画サイズに調整したり、そのフレームレートを調整するようになされる。ＦＩＦＯ＆マトリクス回路１２では、この映像データＤinをスケーリング回路２１及び、バス・スイッチ回路２１を通じて図示しないＦＩＦＯメモリに順次記録するようになされる。

これと共に、その最初に記録された映像データＤinから順に、図示しないマトリクス回路に読み出される。マトリクス回路では、例えば、カラー映像データＤinであるＹ、Ｕ、Ｖ信号をＲ色、Ｇ色、Ｂ色成分の映像データＲ，Ｇ、Ｂに変換するようになされる。この変換後の映像データＲ，Ｇ，Ｂは、ＦＩＦＯ＆マトリクス回路１２からＶＲＡＭ１３へ格納される。なお、映像データＤinがＲ色，Ｇ色，Ｂ色成分に係る映像データＲ，Ｇ，Ｂの場合は、マトリクス回路をスルー（映像データＲ，Ｇ，Ｂをそのまま通過）してＶＲＡＭ１３に転送される。

マトリクス変換後の映像データＲ，Ｇ，ＢはＶＲＡＭデータとなって、垂直同期信号ＶＤや、水平同期信号ＨＤ等に基づいてＶＲＡＭ１３からＬＣＤ−インターフェース５１を通じて液晶表示部５０に転送される。液晶表示部５０は、このＶＲＡＭデータに基づいて動画を表示（プレビュー表示）するようになされる。

一方、スケーリング回路２１から分岐した映像データＤinは圧縮伸長部１６に転送される。圧縮伸長部１６では、例えば、ＭＰＥＧ４の圧縮規格により映像データＤinを圧縮符号化処理するようになされる。圧縮処理後の映像データＤoutはバス切換部１４及び、ＭＳ−インターフェース８１を通じて記録メディア８０に記録するようになされる。圧縮伸長部１６が映像データＤinを圧縮処理する間、ＣＰＵ１５は、データバス９１を使用して当該映像データＤinに基づく動画表示処理を実行する。

これにより、ＴＶ又はカメラモジュール２０から供給される映像データＤinを液晶表示部５０にプレビューしつつ、圧縮した映像データＤoutを記録メディア８０に記録することができる。このとき、記録メディア８０のＭＳ−インターフェース８１と液晶表示部５０のＬＣＤ−インターフェース５１とは独立して使用することになり、ＣＰＵ１５のデータ転送制御負担を低減することができる。

［Ｂモード］
図３は、映像伸長再生表示モード（Ｂモード）時にけるデータ処理及びデータ転送例を示すデータ処理例を示す図である。Ｂモードでは、映像データＤinを記録メディア８０が読み出して伸長し、伸長後の映像データＤoutに基づいて液晶表示部５０で動画再生表示するようにして、ＣＰＵ１５のデータ転送制御負担と消費電力を最小限に抑えるシステムを構築したものである。

図３に示す操作部３０によって「Ｂモード」が操作入力されると、インターフェース３１を通じて「Ｂモード」がＣＰＵ１５及び圧縮伸長部１６に設定される。ＣＰＵ１５はバス切換部１４を制御して、圧縮伸長部１６がデータバス９２を選択し、データバス９１を非選択とするようになされる。その後、データバス９２は、ＣＰＵ１５から圧縮伸長部１６への制御に切り替わる。これと共に、圧縮伸長部１６はバス・スイッチ回路１１をオフする。バス・スイッチ回路１１がオフされると、スケーリング回路２１とＦＩＦＯ＆マトリクス回路１２との間が切り離される。

圧縮伸長部１６は、インターフェース８１及びバス切換部８１を通じて記録メディア８０から映像データＤoutを読み出して伸長処理をする。伸長処理後の映像データＤoutはバス・スイッチ回路１１を経由してＦＩＦＯ＆マトリクス回路１２に転送される。ＦＩＦＯ＆マトリクス回路１２では、この映像データＤinを図示しないＦＩＦＯメモリに順次記録するようになされる。

これと共に、その最初に記録された映像データＤinから順に、図示しないマトリクス回路に読み出される。マトリクス回路では、映像データＤinをＲ色、Ｇ色、Ｂ色成分の映像データＲ，Ｇ、Ｂに変換するようになされる。この変換後の映像データＲ，Ｇ，ＢはＦＩＦＯ＆マトリクス回路１２からＶＲＡＭ１３へ格納される。

マトリクス変換後の映像データＲ，Ｇ，ＢはＶＲＡＭデータとなって、垂直同期信号ＶＤや、水平同期信号ＨＤ等に基づいてＶＲＡＭ１３からＬＣＤーインターフェース５１を通じて液晶表示部５０に転送される。液晶表示部５０は、このＶＲＡＭデータに基づいて動画を表示（再生表示）するようになされる。

これにより、記録メディア８０から読み出した映像データＤinを伸長し、伸長後の映像データＤoutに基づいて液晶表示部５０で動画再生表示することができる。このとき、記録メディア８０のＭＳ−インターフェース８１と液晶表示部５０のＬＣＤ−インターフェース５１とは独立して使用することになり、ＣＰＵ１５のデータ転送制御負荷を低減することができる。

［Ｃモード］
図４は、入力映像表示＆圧縮映像送信モード（Ｃモード）時のデータ処理例を示す図である。Ｃモードでは、テレビ又はカメラモジュール２０から映像データＤoutを取得し、これを圧縮伸長部１６で圧縮符号化して相手方へ送信すると共に、相手方から受信した映像データＤinを圧縮伸長部１６で伸長復号化し、伸長後の映像データＤoutに基づいて液晶表示部５０で動画受信表示処理をするようにして、ＣＰＵ１５の負荷と消費電力を最小限に抑えるシステムを構築したものである。

図４に示す操作部３０によって「Ｃモード」が操作入力されると、インターフェース３１を通じて「Ｃモード」がＣＰＵ１５及び圧縮伸長部１６に設定される。圧縮伸長部１６はバス・スイッチ回路１１をオフする。バス・スイッチ回路１１がオフされると、スケーリング回路２１とＦＩＦＯ＆マトリクス回路１２との間が切り離される。

一方で、テレビ又はカメラモジュール２０等で取得された映像データＤinはスケーリング回路２１を通じて圧縮伸長部１６に転送される。圧縮伸長部１６では、ＭＰＥＧ４等の圧縮規格により映像データＤinを圧縮符号化処理するようになされる。圧縮処理後の映像データＤoutは通信−インターフェース４１を通じて通信モジュール４０に転送され、相手方の端末装置等へ送信される。

他方、相手方から通信モジュール４０及び通信−インターフェース４１を通じて受信された映像データＤinは圧縮伸長部１６に転送される。圧縮伸長部１６は、映像データＤoutを伸長処理をする。伸長処理後の映像データＤoutはバス・スイッチ回路１１を経由してＦＩＦＯ＆マトリクス回路１２に転送される。ＦＩＦＯ＆マトリクス回路１２では、この映像データＤinを図示しないＦＩＦＯメモリに順次記録するようになされる。

これと共に、その最初に記録された映像データＤinから順に、図示しないマトリクス回路に読み出される。マトリクス回路では、映像データＤinをＲ色、Ｇ色、Ｂ色成分の映像データＲ，Ｇ、Ｂに変換するようになされる。この変換後の映像データＲ，Ｇ，ＢはＦＩＦＯ＆マトリクス回路１２からＶＲＡＭ１３へ格納される。

マトリクス変換後の映像データＲ，Ｇ，ＢはＶＲＡＭデータとなって、垂直同期信号ＶＤや、水平同期信号ＨＤ等に基づいてＶＲＡＭ１３からＬＣＤーインターフェース５１を通じて液晶表示部５０に転送される。液晶表示部５０は、このＶＲＡＭデータに基づいて動画を表示（再生表示）するようになされる。これにより、カメラモジュール２０から映像データＤoutを取得し、これを圧縮伸長部１６で圧縮符号化して相手方へ送信すると共に、相手方から受信した映像データＤinを伸長復号化し、伸長後の映像データＤoutに基づいて動画表示処理をすることができる。

このようにデータバスシステムを構築すると、液晶表示部５０に外部映像を表示処理すること、及び、映像データＤoutの圧縮格納処理を同時に、しかも、低消費電力で実現できるようになる。これは従来方式のような外付け圧縮伸長用のインターフェースが省略できるためである。また、動画の圧縮伸張時は、モバイル用ＣＰＵ１０に内蔵されているＭＳ−インターフェース８１を制御するデータバス９２を圧縮伸張部側に渡してデータバス（ＣＰＵバス）９１のデータ転送制御負担を低減させる。ＣＰＵ１５はその余った処理能力を他の負荷の作業処理に充当できるようになる。

続いて、本発明に係る携帯端末装置１００の動作例について説明をする。図５は携帯端末装置１００の全体の動作例を示すフローチャートである。

この実施形態では、図２〜図４に示したＡ〜Ｃモードが準備されると共に、Ａ〜Ｃモードのいずれの制御モードが選択されない場合は、他の制御モードを実行する場合を例に挙げる。

これを動作条件にして、図５に示すフローチャートのステップＰ１で電源をオンして情報処理要求を待機する。情報処理要求が有った場合は、ステップＰ２でユーザは操作部３０を操作して制御モードを入力し、当該制御モードをＣＰＵ１５及び圧縮伸長部１６に設定する。ＣＰＵ１５はステップＰ３で「Ａモード」が設定されたか否かを判別する。この際に、ＣＰＵ１５は操作部３０からのＡモードを示す操作データＤ３と例えば、基準データとを比較し、この比較結果に基づいて「Ａモード」が設定されたか否かを判別する。

ユーザによって設定された制御モードがＡモードであると判別された場合は、ステップＰ４に移行してＣＰＵ１５は、図２に示した入力映像表示＆映像圧縮記録モードを実行する。Ａモードでは、ＴＶ又はカメラモジュール２０から供給される映像データＤinを液晶表示部５０にプレビューしつつ、圧縮した映像データＤoutをモバイル用ＣＰＵ１０に拡張される記録メディア８０に記録するようになされる。

また、ステップＰ３でＡモードを除く他の制御モードが設定された場合は、ステップＰ５に移行して「Ｂモード」が設定されたかを判別する。この際も、ＣＰＵ１５は操作部３０からのＢモードを示す操作データＤ３と例えば、基準データとを比較し、この比較結果に基づいて判別する。

ユーザによって設定された制御モードがＢモードであると判別された場合は、ステップＰ６に移行して、ＣＰＵ１５は図３に示した映像伸長再生表示モードを実行する。このＢモードでは、映像データＤinを記録メディア８０が読み出して伸長し、伸長後の映像データＤoutに基づいて液晶表示部５０で動画再生表示するようになされる。

更に、ステップＰ７でＡ及びＢモードを除く他の制御モードが設定された場合は、ステップＰ５に移行して「Ｃモード」又は他の制御モードが設定されたかを判別する。この際に、ＣＰＵ１５は操作部３０からのＣモードを示す操作データＤ３と基準データとを比較し、この比較結果に基づいて判別する。

ユーザによって設定された制御モードがＣモードであると判別された場合は、ステップＰ８に移行して、ＣＰＵ１５は、図４に示した入力映像表示＆圧縮映像送信モードを実行する。Ｃモードでは、テレビ又はカメラモジュール２０から映像データＤoutを取得し、これを圧縮伸長部１６で圧縮符号化して相手方へ送信すると共に、相手方から受信した映像データＤinを圧縮伸長部１６で伸長復号化し、伸長後の映像データＤoutに基づいて液晶表示部５０で動画受信表示処理をするようになされる。

なお、ステップＰ７でＡ〜Ｃモードを除く他の制御モードが設定された場合は、ステップＰ９に移行してＣＰＵ１５は他の制御モードに基づいて画像処理を実行する。例えば、ＣＰＵ１５はバス切換部１４を制御してデータバス９１及びデータバス９２とを接続し、フラッシュメモリ７０からデータを読出して圧縮伸長部１６へ転送する。圧縮伸長部１６はフラッシュメモリ７０から読み出されたデータを圧縮して通信−インターフェース４１及び、通信モジュール４０を通じてサーバー等に送信するようになされる。この逆のデータ処理もなされる。バージョンアップ時のプログラムデータのダウンロードや、ＩＤデータの認証処理等がなされる場合を想定したものである。

このように、本発明に係る実施形態としての携帯端末装置によれば、本発明に係る制御ユニットを成すモバイル用ＣＰＵ１０が内蔵（実装）され、映像データＤinを画像処理するようになされる。モバイル用ＣＰＵ１０において、圧縮伸長部１６を同一半導体基板内に形成し、従来方式のデータバスを２つに分割することで、当該ＣＰＵ１５により画像処理された映像データＤinを伝送するデータバス９１と圧縮伸長部１６により圧縮処理された映像データＤinを伝送するデータバス９２とを切り離す構成を採ることができる。

従って、液晶表示部５０に動画映像を表示し、記録メディア８０に映像データＤoutを記録する際に、モバイル用ＣＰＵ１０の外部から入力する映像入力系を１系統に集約することができる。また、データバスを共通にしてＣＰＵ１５により画像処理された映像データＤinや、圧縮伸長部１６により圧縮処理された映像データＤin等を伝送する場合に比べて、単位データバス当たりのデータ転送制御負担を軽減することができる。

しかも、独立した圧縮伸長部１６を外付けする場合に比べ、ＴＴＬ変換を伴うインターフェース等を削減できるので、これによって、インターフェースにおける消費電力を削減することができる。従来例ではインターフェース＋外付け圧縮伸張エンジンのインターフェースを要していた。本発明によれば、当該モバイル用ＣＰＵ１０における消費電力の低減化を図ることができ、バッテリーの単位充電時間当たりの当該携帯端末装置１００の使用時間を長くすることができる。

この発明は、撮ったその場で映像を確認できると共に相手方に映像転送可能なモバイル用ＣＰＵ内蔵のカメラ付き携帯電話機や、モバイル用ＣＰＵ内蔵のカメラ付きノート型のパソコン、テレビ電話システム等に適用して極めて好適である。

本発明に係る実施形態としての携帯端末装置１００の構成例を示すブロック図である。 入力映像表示＆映像圧縮記録モード（Ａモード）時にけるデータ処理転送例を示す図である。 映像伸長再生表示モード（Ｂモード）時にけるデータ処理転送例を示すデータ処理例を示す図である。 入力映像表示＆圧縮映像送信モード（Ｃモード）時のデータ処理転送例を示す図である。 携帯端末装置１００の全体の動作例を示すフローチャートである。 従来例に係る携帯端末装置１の構成例を示すブロック図である。

符号の説明

１０・・・モバイル用ＣＰＵ（制御ユニット）、１１・・・バス・スイッチ回路、１２・・・ＦＩＦＯ＆マトリクス回路、１４・・・バス切換部、１５・・・ＣＰＵ（制御装置）、１６・・・圧縮伸長部、２１・・・スケーリング回路、３０・・・操作部、４０・・・通信モジュール、５０・・・液晶表示部（表示手段）、８０・・・記録メディア（記憶装置）、９１・・・第１のデータバス、９１Ａ〜９１Ｃ・・・ローカルバス（第１のデータバス）、９２・・・第２のデータバス、１００・・・携帯端末装置

Claims (20)

1. 動画情報を画像処理する携帯端末用の制御ユニットであって、
   前記動画情報を入力して圧縮し、又は、既に圧縮された動画情報を伸長する圧縮伸長部と、
   前記動画情報を入力して圧縮及び伸長以外の画像処理をする制御装置と、
   前記制御装置によって画像処理された動画情報を伝送する第１のデータバスと、
   前記圧縮伸長部によって圧縮処理された動画情報を伝送する第２のデータバスと、
   前記制御装置に接続される第１のデータバス又は前記圧縮伸長部に接続される第２のデータバスのいずれか一方を選択するバス切換部とを備えることを特徴とする制御ユニット。
2. 前記制御装置は、
   制御モードに基づいて前記第１又は第２のデータバスのいずれか一方を選択するように前記バス切換部を制御することを特徴とする請求項１に記載の制御ユニット。
3. 前記制御装置は、
   前記圧縮伸長部によって動画情報が圧縮処理されるとき、前記第２のデータバスを選択し、前記第１のデータバスを非選択とするように前記バス切換部を制御することを特徴とする請求項１に記載の制御ユニット。
4. 前記制御装置は、
   前記圧縮伸長部によって前記動画情報を圧縮処理されるとき、前記第１のデータバスを使用して当該動画情報に基づく動画表示処理を実行することを特徴とする請求項１に記載の制御ユニット。
5. 前記バス切換部に記憶装置が接続され、
   前記圧縮伸長部によって圧縮処理された動画情報が記憶されることを特徴とする請求項１に記載の制御ユニット。
6. 前記制御装置は、
   前記記憶装置から圧縮された動画情報を読み出して伸長し、伸長後の動画情報に基づく表示処理を実行することを特徴とする請求項１に記載の制御ユニット。
7. 前記圧縮伸長部、制御装置、第１及び第２のデータバスが同一の半導体チップに形成されて成ることを特徴とする請求項１に記載の制御ユニット。
8. 前記動画情報の画サイズ及びフレームレートを調整するスケーリング回路を備え、
   前記画サイズ及びフレームレート調整後の動画情報が前記スケーリング回路から圧縮伸長部へ供給されることを特徴とする請求項１に記載の制御ユニット。
9. 前記圧縮伸長部に接続された通信インターフェース部を備え、
   前記圧縮伸長部によって画像圧縮処理された後の圧縮動画像情報が前記通信インターフェース部を通じて外部出力するようになされることを特徴とする請求項１に記載の制御ユニット。
10. 前記通信インターフェース部は、
    前記圧縮伸長部が形成された同一半導体チップに形成されて成ることを特徴とする請求項９に記載の制御ユニット。
11. 動画情報を画像処理する携帯型の端末装置であって、
    制御ユニットと、
    前記制御ユニットにより画像処理された動画像を表示する表示手段と、
    前記制御ユニットにより圧縮処理された動画情報を記憶する記憶装置とを備え、
    前記制御ユニットは、
    前記動画情報を入力して圧縮し、又は、既に圧縮された動画情報を伸長する圧縮伸長部と、
    前記動画情報を入力して圧縮及び伸長以外の画像処理をする制御装置と、
    前記制御装置によって画像処理された動画情報を伝送する第１のデータバスと、
    前記圧縮伸長部によって圧縮処理された動画情報を伝送する第２のデータバスと、
    前記第１又は第２のデータバスのいずれか一方を選択するように前記制御装置によって制御されるバス切換部とを有することを特徴とする携帯端末装置。
12. 前記制御装置は、
    制御モードに基づいて前記第１又は第２のデータバスのいずれか一方を選択するように前記バス切換部を制御することを特徴とする請求項１１に記載の携帯端末装置。
13. 前記制御装置は、
    前記圧縮伸長部によって動画情報が圧縮処理されるとき、前記第２のデータバスを選択し、前記第１のデータバスを非選択とするように前記バス切換部を制御することを特徴とする請求項１１に記載の携帯端末装置。
14. 前記制御装置は、
    前記圧縮伸長部によって前記動画情報を圧縮処理されるとき、前記第１のデータバスを使用して当該動画情報に基づく動画表示処理を実行することを特徴とする請求項１１に記載の携帯端末装置。
15. 前記バス切換部に記憶装置が接続され、
    前記圧縮伸長部によって圧縮処理された動画情報が記憶されることを特徴とする請求項１１に記載の携帯端末装置。
16. 前記制御装置は、
    前記記憶装置から圧縮された動画情報を読み出して伸長し、伸長後の動画情報に基づく表示処理を実行することを特徴とする請求項１１に記載の携帯端末装置。
17. 前記圧縮伸長部、制御装置、第１及び第２のデータバスが同一の半導体チップに形成されて成ることを特徴とする請求項１１に記載の携帯端末装置。
18. 前記動画情報の画サイズ及びフレームレートを調整するスケーリング回路を備え、
    前記画サイズ及びフレームレート調整後の動画情報が前記スケーリング回路から圧縮伸長部へ供給されることを特徴とする請求項１１に記載の携帯端末装置。
19. 前記圧縮伸長部に接続された通信インターフェース部を備え、
    前記圧縮伸長部によって画像圧縮処理された後の圧縮動画像情報が前記通信インターフェース部を通じて外部出力するようになされることを特徴とする請求項１１に記載の携帯端末装置。
20. 前記通信インターフェース部は、
    前記圧縮伸長部が形成された同一半導体チップに形成されて成ることを特徴とする請求項１９に記載の携帯端末装置。

Images