以下、本発明の望ましい実施例を添付の図面を参照して詳細に説明する。図面において、同一の構成に対してはできるだけ同一の符号を使用して説明する。
下記の説明において、画像圧縮方式、動画像信号の伝送速度、画像データのフォーマット、画像信号サイズなどの特定詳細が本発明のより全般的な理解のために提供される。これら特定詳細なしに、これらの変形によっても本発明が容易に実施可能であることは、この技術分野で通常の知識を有する者には自明なことであろう。
本発明の実施例で画像信号のコーディング方式はJPEGコーディング方式を使用すると仮定する。しかし、他の画像コーディング方式を使用する場合にも同一に適用可能である。本発明の実施例では静止画像信号のコーディング方式のJPEG方式を使用して受信される動画像信号を所定時間間隔にコーディングし、このコーディングされた画像データを生成する。そして、コーディングされた画像データにオーディオデータまたはテキストデータを合成した合成動画像信号を生成することができる。また、コーディングされたデータにオーディオ及びテキストデータを合成した合成動画像信号が生成できる。
そして、本発明の実施例では上記のように合成動画像信号を生成可能であり、この合成動画像信号を分解して再生可能であり、合成動画像信号を通信部を通じて伝送可能であり、また通信部を通じて受信することも可能である。
本発明の実施例で使用する用語において、動画像信号とは、撮影される動画像信号を画像コーデックが設定された時間単位で静止画像をコーディングし、このように連続的にコーディングされた静止画像信号を動画像形態で生成する画像信号を意味する。すなわち、画像コーデックは設定された時間ごとにフレームサイズの静止画像信号をコーディングし、ここで設定された時間とは画像コーデックが1フレームの画像信号をコーディングするのにかかる時間を意味する。ここで、画像コーデックはJPEGコーデックになりうる。また、本発明の実施例で合成動画像信号とは前記動画像信号にオーディオ信号、またはテキスト信号、またはオーディオ及びテキスト信号が合成された信号を意味する。
本発明の実施例において、動画像合成モードとはカメラから撮影される画像信号を前記画像コーデックが設定時間単位で静止画像をコーディングして符号化画像信号に出力し、前記画像コーデックで連続的にコーディングされた符号化画像信号にオーディオ信号、またはテキスト信号、またはオーディオ及びテキスト信号を合成するモードを意味する。動画像再生モードとは、符号化された動画像信号にオーディオ信号、またはテキスト信号、またはオーディオ及びテキスト信号が合成された画像データにアクセスして表示するモードを意味する。動画像伝送モードとは、動画像信号にオーディオ信号、またはテキスト信号、またはオーディオ及びテキスト信号の合成動画像信号を伝送するモードを意味する。このとき、動画像伝送モードは動画像合成モードを遂行した後に合成された動画像信号を伝送する手続きを連続的に遂行でき、また動画像合成モードを遂行してメモリに貯蔵している合成動画像信号を選択して伝送することもできる。動画像受信モードとは、基地局から送信される合成動画像信号を受信して貯蔵するモードを意味する。このとき、動画像受信モードを遂行しつつ動画像再生モードを連続的に遂行することもできる。
本発明の実施例により動画像信号を処理する携帯端末機を携帯電話機と仮定して説明する。しかし、本発明の実施例による携帯端末機は携帯電話機以外にカメラを利用して画像を表示する携帯用通信装置にも同一に適用することができる。
図1は本発明の実施例による携帯端末機の構成を示すもので、携帯電話機の構成にもなる。
同図を参照すれば、RF部23は携帯用電話機の無線通信機能を遂行する。RF部23は送信される信号の周波数を立ち上がり変換及び増幅するRF送信機と、受信される信号を低雑音増幅し、周波数を立ち下がり変換するRF受信機などを含む。すなわち、データ処理部20は前記送信される信号を符号化及び変調する送信機及び前記受信される信号を復調及び復号化する受信機などを備える。すなわち、データ処理部20はモデム及びコーデック(CODEC)で構成される。ここで、コーデックはパケットデータなどを処理するデータコーデックと音声などのオーディオ信号を処理するオーディオコーデック85を備える。また、本発明の実施例でオーディオコーデック85は携帯電話機に内蔵された音声コーデック(speech codec)と仮定する。オーディオコーデック85が8kbps speech codecの場合、20msec毎に1フレーム(20bytes)の符号化されたオーディオ信号が生成される。オーディオ処理部25は前記データ処理部20のオーディオコーデックから出力される受信オーディオ信号を再生し、あるいはマイクから発生する送信オーディオ信号をデータ処理部20のオーディオコーデックに伝送する機能を遂行する。
キー入力部27は数字及び文字情報を入力するためのキー及び各種機能を設定するための機能キーを備える。また、キー入力部27は本発明の実施例により動画像モードを制御するための機能キー及びカメラを駆動する撮影キーを備えることができる。また、本発明の実施例ではキー入力部27を通じて合成動画像信号に合成されるテキスト信号を入力することもできる。
メモリ30はプログラムメモリ、データメモリ、そして本発明の実施例により生成及び受信される合成動画像信号を貯蔵する動画像メモリで構成される。このプログラムメモリは携帯用電話機の一般的な動作を制御するためのプログラム及び本発明の実施例により表示部に印加される画像信号の経路を制御するプログラムが貯蔵可能である。また、データメモリは前記プログラムの遂行中に発生するデータを一時貯蔵する機能を遂行する。また、データメモリはキー入力部27を通じて入力されるテキスト信号を貯蔵するテキストバッファ、画像コーデック80で生成される動画像信号を貯蔵するイメージバッファ、前記オーディオコーデック85で生成されるオーディオ信号を貯蔵するオーディオバッファを備えることもできる。この動画像メモリは本発明の実施例によりコーディングされた画像データとテキスト信号(オーディオ信号も包含可能である)の合成データを貯蔵するメモリである。
制御部10は携帯用電話機の全般的な動作を制御する機能を遂行する。また、制御部10はデータ処理部20を含むこともできる。また、制御部10は本発明の実施例によりキー入力部27から設定されるモード命令により合成動画像信号を生成、貯蔵、再生、伝送、及び受信する動作を制御する。また、制御部10は使用者データ(user data)を表示部60に出力して表示する機能を遂行する。ここで、使用者データは携帯電話機に表示される情報の現在時間、受信感度、バッテリ残量などを表示するための第1使用者データ及び使用者の設定により表示される第2使用者データである。ここで、第2使用者データとしては、本発明の実施例により使用者が選択または入力した合成動画像信号のテキスト信号がある。本発明の実施例で第2使用者データが合成動画像信号のテキスト信号と仮定する。
カメラ部(camera module)40は画像撮影時に感知される光信号を電気的信号に変換するカメラセンサーと、このカメラセンサーから撮影されるアナログ画像信号をデータに変換する信号処理部を備える。ここで、カメラセンサーはCCDセンサーと仮定し、この信号処理部DSP(Digital Signal Processor)で具現できる。前記カメラセンサー及び信号処理部は一体形で具現することができ、また分離して具現することもできる。
画像処理部50は、カメラ部40から出力される画像信号を表示するための画面データを発生する機能を遂行する。この画像処理部50はカメラ部40から出力される画像信号をフレーム単位で処理し、前記フレーム画像データを表示部60の特性及びサイズに合わせて出力する。また、画像処理部50は画像コーデック80を備え、この画像コーデック80は画像信号を設定された方式でコーディングし、あるいはコーディングされたフレーム画像データを元のフレーム画像データにデコーディングする機能を遂行する。画像処理部50は、制御部10の制御下に設定されるモードによる動画像信号を生成及び再生する機能を遂行する。
表示部60は、画像処理部50から出力されるフレーム画像信号を画面で表示し、制御部10から出力される使用者データを表示する。また、表示部60は制御部10の制御下に再生される動画像信号を表示する。ここで、表示部60はLCDを使用することができ、この場合に表示部60はLCD制御部(LCD controller)、画像データを貯蔵するメモリ、及びLCD表示素子などが備えられる。ここで、LCDをタッチスクリーン(touch screen)方式で具現する場合、入力部として動作することもできる。
GPS受信機(Global Positioning System receiver)70はGPS衛星からGPS情報を受信して制御部10に伝送する。ここで、GPS情報は現在携帯電話機が位置した情報となる。本発明の実施例ではGPS受信機を通じて現在動画像を獲得する位置(場所)情報及び時間情報を受信することが可能である。
図1を参照すれば、発信通話時に使用者がキー入力部27を通じてダイヤリング動作を遂行すれば、制御部10はこれを感知し、データ処理部20を通じて受信されるダイヤル情報を処理した後、RF部23を通じてRF信号にも変換して出力する。この後、相手加入者が応答すれば、RF部23及びデータ理部20を通じてこれを感知する。すると、制御部10はRF部23、データ処理部20、及びオーディオ処理部25からなる通話路を形成して通信機能を遂行する。また、着信通話時に制御部10はデータ処理部20を通じて着信要求を感知し、オーディオ処理部25を制御してリング信号を発生する。この後、使用者が応答すれば、制御部10はこれを感知し、オーディオ処理部25、データ処理部20、及びRF部23からなる通話路を形成して通信機能を遂行する。発信及び着信通話では音声通信を例として説明したが、前記音声通信以外にパケットデータ及び画像データを通信するデータ通信機能を遂行することもできる。また、待機モードまたは文字通信を遂行する場合、制御部10はデータ処理部20を通じて処理される文字データを表示部60上に表示する。
ここで、携帯電話機が符号分割多重接続(Code Division Multiple Access:以下、CDMA)方式のチャンネルを使用する場合、データ処理部20はCDMA方式のチャンネル送受信機を備える。また、データ処理部20は上記したように本発明の実施例により動画像信号にオーディオ信号をコーディング及びデコーディングするためのオーディオコーデック85を備える。
本発明の実施例による携帯電話機は人物または周辺環境を撮影して画像画面に表示または伝送する動作を遂行する。まず、カメラ部40は携帯用電話機に装着され、あるいは外部の所定位置に連結されうる。すなわち、カメラ部40は外装形または内蔵形カメラである。このカメラ部40は画像を撮影するためのセンサー及び前記センサーから撮影される画像信号をディジタルデータに変換する信号処理部などを備えられる。このセンサーはCMOSセンサーやCCD(Charge Coupled Device)センサーを使用することもできる。カメラ部40に撮影される画像は内部のセンサーで電気的信号に変換された後、信号処理部で画像信号をディジタル画像データに変換する。そして、この変換されたディジタル画像信号と同期信号を画像処理部50に出力する。ここで、同期信号では水平同期信号(Horizontal Synchronization signal:Hsync)及び垂直同期信号(Vertical Synchronization signal:Vsync)などがある。
図2は、本発明の実施例による画像処理部50の構成の一例を示すものである。画像処理部50はカメラ部40と表示部60との間に画像信号をインターフェースすると同時にカメラ部40から入力される画像信号をコーディング及びデコーディングする機能を遂行する。また、コーディングされるメイン画面の画像データの画素及びラインをデシメーション(decimation)及びクロッピング(cropping)して小画面を生成する機能を遂行する。上記したように、画像処理部50は画像信号をコーディング及びデコーディングするための画像コーデック80を備え、本発明の実施例では画像コーデック80がJPEGコーデックの場合を仮定して説明する。
図2を参照すれば、カメラインターフェース部311はカメラ部40から出力される画像データをインターフェースする機能を遂行する。ここで、カメラ部40から出力される画像データはYUVフォーマットの画像データで、表示部60はRGBフォーマットの画像データを表示すると仮定する。本発明の実施例では、カメラ部40から出力される画像データがYUV211(16bit)フォーマットであって、CIF(352×288)サイズに固定されると仮定し、表示部60はRGBフォーマットで、128×112サイズであると仮定する。
スケーラ313は制御部10から出力される制御信号によりカメラ部40で撮影される画像信号を表示部60上に表示するようにスケーリングする。すなわち、上記したようにカメラ部40で発生する画像信号のピクセル数はCIFサイズ(352×288)で、表示部60に表示できる画像信号のピクセル数は128×112または128×96である。したがって、スケーラ313はカメラ部40から出力される画像信号ピクセルを表示部60で表示可能な画像信号のピクセル数に縮小及びクロッピングする。しかし、表示部60がカメラ部40から出力される画像データのサイズより大きなサイズを有する画像データを表示する場合、スケーラ313は制御部10の制御下にカメラ部40から出力される画像信号を拡大して表示するように設計可能である。この拡大表示方法は、カメラ部40から出力される画像信号で表示部60で表示することができるピクセル数だけに選択して表示すればよい。
色変換部315はスケーラ313から出力されるYUVデータをRGBに変換して出力する。ここで、カメラ部40が撮影される画像データをRGBフォーマットに発生し、あるいは表示部60がYUVフォーマットの画像データを表示する場合には色変換部315の構成を省略することができる。
そして、LCDインターフェース部317は表示部60に画像データをインタフェーシングする機能を遂行する。LCDインターフェース部317は内部にバッファを備えてLCDインターフェース部317で表示部60とインタフェーシングされる画像データをバッファリングする機能を遂行することができる。
画像コーデック80は前記撮影される画像データを制御部10の制御により画像コーディングし、あるいはコーディングされた画像データを復元する機能を遂行することができる。本発明の実施例で、画像コーデック80はJPEGコーデックと仮定する。画像コーデック80は制御部10の制御下に色変換器315から出力されるカメラ画像信号または表示部60で表示される画像信号を入力してJPEGコーディングし、またJPEGコーディングされた画像信号をデコーディングしてスケーラ313またはLCDインターフェース部317に出力する。すなわち、画像コーデック80はカメラ画像または表示される画像をコーディング及びデコーディングすることができる。
制御インターフェース部321は画像処理部50と制御部10との間のインターフェース機能を遂行し、また表示部60と制御部10との間のインターフェース機能を遂行する。すなわち、制御インターフェース部321は制御部10と画像処理部50との間のインターフェース機能を遂行する。
選択器319は制御部10から出力される経路制御信号により画像処理部50から出力されるデータまたは制御部10から出力されるデータを選択して表示部60に出力する機能を遂行する。ここで、第1経路制御信号は画像処理部50と表示部60との間のバスを活性化させる信号を意味し、第2経路制御信号は制御部10と表示部60との間の経路を活性化させる信号を意味する。また、制御部10は選択器319を通じて表示部60と両方向通信を遂行することができる。
図2を参照してカメラ部40で獲得した画像データを表示部60に伝送する動作を説明すれば、画像処理部50はカメラ部40で撮影される動画像データの伝送率を制御し、入力される画像データをそのままLCDインターフェース部317を通じて表示部60のメモリに貯蔵する。ここで、カメラ部40から出力される1フレームの画像データサイズはCIF(352×288)であり、表示部60で表示できる1フレーム画像データの画素数(128×112または128×96)に対応させるために縮小処理及び部分クロッピングを遂行する。したがって、画像処理部50のスケーラ313はカメラ部40から出力される画像データの画素数を表示部60に表示するように画素中の一部を除去し、あるいは画素の一部領域を選択して表示(zooming)することができる。前記画像データの伝送率はマスタクロックを基準として固定的に決定する。しかし、カメラ部40、画像処理部50、及び表示部60への画像信号の流れは表示部60のアクセス速度により制限される。したがって、カメラ部40からの読出し速度(read speed)と表示部60に書込み速度(write speed)を調整するためにLCDインターフェース部317はバッファを備えて一時的にバッファリングを遂行することができる。
また、カメラ部40で撮影される画像信号を表示部60で動画像画面に表示する過程で、使用者は表示される画面を静止画面にキャプチャして貯蔵する。すなわち、使用者はキー入力部27の撮影機能キーを利用して表示される画像画面を写真として貯蔵する。このとき、撮影命令が発生すれば、制御部10は画像処理部50の動作を中断させて表示部60に表示される画像画面を静止画面に再生し、画像コーデック80を駆動する。すると、画像コーデック80はカメラ部40から出力される画像画面または表示部60に表示中の画像画面の1フレーム画像データを入力するようになり、入力される画像データをJPEGフォーマットに符号化して制御インターフェース部321に出力する。そして、制御部10は前記受信されるコーディングされた画像データをメモリ30に写真として貯蔵する。
図2のような画像処理部50の詳細な構成は、本願の出願人により先出願された韓国特許出願番号第2002-22066号及び第2002-22844号に開示されている。
図3は、本発明の第1実施例によりカメラ及び画像コーデックを備える携帯電話機でカメラで撮影される画像信号を連続する静止画像信号にコーディングし、このコーディングされた動画像信号にオーディオ信号及び(または)テキスト信号を合成して合成動画像信号を生成し、これを貯蔵する動作を説明するためのものである。
図3を参照すれば、まずカメラ部40で撮影される画像信号は画像コーデック80に印加されてフレーム単位でコーディングされてJPEG画像データに符号化され、このJPEG符号化画像データは制御部10に印加される。このとき、画像コーデック80は符号化性能によりカメラ部40から出力される画像信号の中で一部フレームを飛ばしつつコーディングされたJPEG符号化画像データを発生する。すなわち、画像コーデック80は自分の符号化能力により連続する静止画像信号にコーディング動作を遂行するようになる。また、データ処理部20のオーディオコーデック85は動画像信号によるオーディオ信号をコーディング符号化し、この符号化されたオーディオ信号は制御部10に印加される。すると、制御部10は画像コーデック80から出力される動画像信号にオーディオコーデック85から出力されるオーディオ信号を合成して合成動画像信号を生成する。そして、このように生成された合成動画像信号をメモリ30に貯蔵する。上記の動作を反復遂行すれば、メモリ30には動画像信号にオーディオ信号が合成される合成動画像信号が貯蔵される。
また、制御部10は画像コーデック80から出力される動画像信号にデータ処理部20から出力されるテキスト信号を合成して合成動画像信号を生成する。そして、このように生成された合成動画像信号をメモリ30に貯蔵する。このとき、テキスト信号は使用者がキー入力部27を通じて直接入力可能であり、また予め貯蔵したテキスト信号を選択して合成することもできる。また、動画像信号にテキスト信号を合成する方法は、テキスト及び動画像信号の入力はそれぞれ独立的に遂行し、動画像信号の入力が終了した状態で前記動画像信号にテキスト信号を合成することができる。
そして、貯蔵された合成動画像信号の名前、場所、時間などを共に貯蔵する。ここで、携帯電話機がGPS受信機を備える場合、前記動画像信号を撮影した場所及び時間はGPSを通じて受信される場所及び時間情報を利用して自動に登録されるようにする。この場合、使用者は合成動画像信号の名前を別途に入力してメニュー情報として活用可能である。また、携帯電話機がGPS受信機を備えない場合には、上記の名前、撮影場所、及び時間を共に入力して今後メニュー情報として利用する。
上記のような動作はカメラ及び画像コーデックを備える携帯電話機に対する説明である。しかし、画像コーデックを備えずにソフトウェア的な画像コーデック(JPEG Codec)を有する携帯端末機に対しても上記のような動作が具現可能である。しかし、画像コーデックを内蔵してハードウェア的に画像信号をコーディング及びデコーディングする携帯電話機とは違って、ソフトウェア的にJPEG画像をコーディング及びデコーディングすることは時間が長くかかる。したがって、受信された動画像メールでビデオに関連しては幾つのフレームを飛ばしつつJPEGデータをデコーディングし、オーディオに対してはすべてデコーディングするようになると、フレーム更新率は低くなるが、十分に音声メッセージと画像メッセージを伝送するようになる。
図4は、図3のように貯蔵された合成動画像信号にアクセスして動画像信号、オーディオ信号、及び(または)テキスト信号に分離し、前記分離された動画像信号、オーディオ信号、及び(または)テキスト信号を再生する動作を示すものである。
図4を参照すれば、合成動画像信号の再生が要求されると、制御部10はメモリ30で選択された合成動画像信号にアクセスした後、ヘッダを分析して画像、オーディオ、及び(または)テキスト信号を分離する。この後、制御部10はオーディオ及び(または)テキスト信号をオーディオコーデック85及び(または)表示部60に伝送し、動画像信号は画像コーデック80に伝送する。すると、画像コーデック80は符号化されたJPEG画像信号は元の画像信号に復元し、画像処理部50はこの復元された画像信号を表示部60のサイズに合わせて処理した後、表示部60に伝送して表示する。このとき、制御部10から出力されるテキスト信号は上記したような第2使用者データとなり、このテキスト信号は前記動画像信号を表示する状態で指定された表示形態により表示される。このとき、表示形態(display type)は後述する。そして、オーディオコーデック85は符号化されたオーディオ信号を元のオーディオ信号に復元した後、オーディオ処理部25を再生させる。
図5は、本発明の第3実施例によりカメラ及び画像コーデックを備える携帯電話機で合成動画像信号を伝送する動作を説明するためのものである。合成動画像信号を伝送する方法は、メモリ30で貯蔵された合成動画像信号にアクセスして伝送し、あるいは図3のような動作を遂行しつつ合成された動画像信号を実時間に伝送することもできる。ここで、合成動画像信号は動画像、オーディオ、及び(または)テキスト信号が合成された場合を仮定する。
まず、メモリ30に貯蔵された合成動画像信号を伝送する動作を説明する。このメモリ30には少なくとも一つ以上の合成動画像信号が貯蔵されている。したがって、使用者はメニューを通じて希望する合成動画像信号が選択でき、この合成動画像信号が選択されると、制御部10はメモリ30で該当する合成動画像信号にアクセスした後、伝送形態のパケットデータで組み立ててからこれをデータ処理部20に出力する。そして、このデータ処理部20はデータチャンネルを割り当てた後、合成動画像信号をチャンネル符号化及び変調してRF部23に伝送し、RF部23はこれをさらに無線信号に変換して伝送する。
次に、カメラ部40で撮影される動画像信号を実時間に伝送する動作を説明する。カメラ部40で撮影される動画像信号を画像コーデック80でJPEG符号化し、オーディオ信号をオーディオコーデック85で符号化し、制御部10は上記のように符号化された動画像信号及びオーディオ信号にテキスト信号を合成する。この合成過程で、テキスト信号及び画像信号はヘッダを備える。また、画像及びオーディオ信号は実時間(real time)に処理されるべきなので、画像及びオーディオ信号がインタレース(interlace)されて合成され、テキスト信号は先端または後端などと特定位置に合成される。本発明の実施例ではテキスト信号が動画像信号の最先端に位置され、画像及びオーディオ信号はインタレースされる形態に貯蔵されると仮定する。この後、制御部10は前記合成された動画像信号をメモリ30に貯蔵し、また伝送形態のパケットデータで組み立てた後、データ処理部20に伝送する。そして、データ処理部20はデータチャンネルを割り当てた後、合成動画像信号をチャンネル符号化及び変調してRF部23に伝送し、RF部23はこれをさらに無線信号に変換して伝送する。
図6は、本発明の第4実施例によりカメラ及び画像コーデックを備える携帯電話機で合成動画像信号を受信する動作を説明するためのものである。合成動画像信号を受信する方法は、基地局から受信される合成動画像信号をメモリ30に貯蔵し、あるいは受信された合成動画像信号を図4のような動作を遂行しつつ実時間で表示可能である。ここで、合成動画像信号は動画像、オーディオ及びテキスト信号が合成された場合を仮定している。
まず、受信される合成動画像信号をメモリ30に貯蔵する動作を説明する。RF部23は受信される無線信号を基底帯域の信号に変換し、データ処理部20は前記受信される合成動画像信号をチャンネル復調及び復号して制御部10に伝送する。すると、制御部10はこの受信される合成動画像信号のパケット形態なので、受信されるパケットのヘッダを分析して上記のような形態の合成動画像信号に変換してメモリ30に貯蔵する。本発明の実施例による合成動画像信号は上記のようにテキスト信号が動画像信号の最前端に位置され、この画像及びオーディオ信号はインタレースされる形態と仮定する。図4に説明したように、受信された合成動画像信号の名前などを登録して今後メニュー情報として活用することもできる。
次に、メモリ30に貯蔵される情報は実時間で再生可能である。この場合、制御部10はメモリ30に受信された合成動画像信号を貯蔵すると同時に、図4のような動作を遂行して動画像信号及びオーディオ信号が再生可能である。
以下、図3で図6の実施例による動作を具体的に説明する。
図7は、本発明の第1実施例によりカメラ部40で撮影される動画像信号を画像処理部50の画像コーデック80で連続する静止画像JPEGの符号化データに生成し、データ処理部20のオーディオコーデック85で符号化されたオーディオデータを生成し、この生成された動画像データ及びオーディオデータを合成してメモリ30に貯蔵する過程を示すものである。そして、図8は合成動画像信号を生成して貯蔵するとき、まず動画像信号を生成して貯蔵した後、前記貯蔵された動画像信号によるオーディオ信号を生成した後に合成して貯蔵する過程を示すものである。図9は、図7のような動作手続きを遂行する装置の構造を示すものである。
図7を参照すれば、使用者はキー入力部27を通じて動画像及びオーディオ信号を合成するための動画像モードを遂行するための命令語を発生する。すると、制御部10はステップ411で動画像モードを感知し、ステップ413及びステップ415でカメラ部40を駆動して撮影を始め、画像処理部50を制御してカメラ部40で撮影される動画像信号のJPEG符号化動作を始める。また、データ処理部20のオーディオコーデック85を駆動して動画像信号によるオーディオ信号の符号化動作も始まる。このとき、カメラ部40で撮影される動画像信号は画像処理部50を通じて表示部60で印加されて表示される。
画像コーデック80はフレームサイズの画像データをJPEG符号化する。したがって、制御部10はステップ417及びステップ419を遂行しつつ、画像コーデック80が1画面(frame)の画像データをJPEG符号化する間、オーディオコーデック85から出力される符号化したオーディオデータをバッファリングする。その後、JPEG符号化された1画面の画像データが受信されると、制御部10はステップ419でこれを感知し、ステップ417でバッファリングされたオーディオデータにアクセスし、ステップ421でこのオーディオデータを受信し、ステップ423でJPEG符号化された画像データ及びオーディオデータを合成するためのヘッダを生成する。この後、制御部10はステップ425で図10Bのように生成されたヘッダ、JPEG符号化された画像データ及び前記オーディオデータを合成した後、メモリ30に貯蔵する。そして、使用者が動画像モードを解除させるまで1画面単位でヘッダ、画像データ、及びオーディオデータを合成してメモリ30に貯蔵する上記のような動作を反復遂行する。
したがって、メモリ30に貯蔵される合成動画像データは図10Aに示したように静止画像データJPEG1、JPEG2、…が連続的に貯蔵され、したがってメモリ30に貯蔵された静止画像データは動画像形態となる。このとき、符号化された静止画像データJPEG1、JPEG2、JPEG3…は上記したように画像コーデック80の符号化の能力により決定されうる。すなわち、カメラ部40で1秒に20フレームの画像データを撮影し、画像コーデック80が1秒に5フレームの画像データをコーディングすると仮定すれば、JPEG1はカメラ部40から出力される第1フレームの画像データとなり、JPEG2はカメラ部40から出力される5番目のフレームの画像データとなり、JPEG3はカメラ部40から出力される9番目のフレームの画像データとなり、JPEG4はカメラ部40から出力される13番目のフレームの画像データとなる。また、制御部10は使用者の選択により画像コーデック80の符号化率を可変させる方法を使用することもできる。すなわち、画像コーデック80の最大符号化率より低い符号化率を設定してJPEG画像データを生成するように制御することもできる。例えば、カメラ部40で1秒に20フレームの画像データを撮影し、画像コーデック80が1秒に5フレームの画像データをコーディングすると仮定すれば、使用者は1秒に1フレーム、2フレーム、3フレーム、及び4フレームのうちいずれか一つの符号化率を持つように画像コーデック80を制御することもできる。
上記のようにフレーム単位で符号化した合成画像データを生成する中に使用者から動画像モードの終了要求が発生すれば、制御部10はステップ427でこれを感知し、ステップ429で画像コーデック80及びオーディオコーデック85をオフさせる。このとき、カメラ部40は携帯電話機の動作状態により独立的に制御可能である。すなわち、携帯電話機はカメラ部40から撮影される画像信号を表示部60に表示するモード(preview mode)を遂行する。この場合、画像コーデック80及びオーディオコーデック85は動作せず、カメラ部40から撮影される画像信号は画像処理部50の画面表示生成部を通じて表示部60に表示される。したがって、動画像モードがプレビューモード状態で遂行された場合、動画像モードを終了すれば制御部10は画像コーデック80をオフさせ、カメラ部40から出力される画像画面はカメラインターフェース部311、色変換部315、スケーラ313、及びLCDインターフェース部317を通じて表示部60に印加されてプレビュー画像画面に表示される。しかし、プレビューモードを遂行しない状態で前記動画像モードを遂行した場合、制御部10はステップ429でカメラ部40もオフさせる。
ステップ429を遂行した後、制御部10はステップ431でメモリ30に貯蔵された動画像の名前を登録するための情報を表示する。このとき、携帯電話機がGPS受信機を備えない場合、動画像を撮影した場所及び時間、そしてメモリ30に貯蔵された合成動画像信号の名前を入力するように案内するメニューを表示する。そして、携帯電話機がGPS受信機を備える場合、メモリ30に貯蔵された合成動画像信号の名前を入力するように案内するメニューを表示することができる。メニュー情報は制御部10で生成し、この生成された情報は使用者データ(user data)として表示部60上に表示される。
上記のようにメニューを表示する状態でキー入力部27を通じて合成動画像の名前が入力されると、制御部10はステップ433でこれを感知し、ステップ435でメモリ30に貯蔵された合成動画像に対応する名前、撮影場所、及び時間情報を入力する。このとき、使用者は撮影場所及び時間情報を入力せず名前だけを入力することもできる。この場合、使用者は名前を入力した後、終了キーを押すと、制御部10はこの終了キーにより名前メニューに入力された情報を通じて名前だけを登録する。
図7は、制御部10で合成動画像信号を生成して貯蔵する動作手続きを示すものである。しかし、図7のような動作は図9に示す構成でも具現可能である。図9は、携帯電話機で合成動画像信号を生成して貯蔵する構成を示すものである。図9において、バッファ部220、スイッチ211、213、ヘッダ生成器230、及び合成器240は制御部10の構成となりうる。
図9の構成を説明すれば、オーディオコーデック85はオーディオ処理部25から出力されるオーディオ信号を符号化し、この符号化されたオーディオデータを生成する。画像コーデック80はカメラ部40で撮影された画像データを符号化してJPEG画像データを生成する。バッファ部220のイメージバッファ(Img_Buf)222は画像コーデック80から出力されるJPEG画像データをバッファリングする。第1及び第2オーディオバッファ(Aud_Buf)224及び226はそれぞれオーディオコーデック85から出力される符号化されたオーディオデータをバッファリングする。スイッチ211は共通端子がオーディオコーデック85の出力端に連結され、第1出力端子が第1オーディオバッファ224の入力端に連結され、第2出力端子が第2オーディオバッファ226の出力端に連結される。また、スイッチ213は第1入力端子が第1オーディオバッファ224の出力端に連結され、第2入力端子が第2オーディオバッファ226の出力端に連結され、共通端子が合成器240に連結される。スイッチ211及び213はイメージバッファ220の出力により制御される。ヘッダ生成器230はイメージバッファ222でJPEGデータの出力時にヘッダを挿入して出力する。合成器240はスイッチ213から出力されるオーディオとイメージバッファ222から出力されるJPEG画像を合成して合成画像データを出力する。メモリ30は制御部10の制御下に合成器240から出力される合成画像データを貯蔵する。
図9の動作を説明すれば、オーディオデータ及び画像データはそれぞれオーディオコーデック85及び画像コーデック80で符号化され、それぞれの経路(path)を通じてバッファ部220に入力される。このとき、合成動画像の第1入力は無条件画像データに固定されると仮定する。バッファ部220の内部には2つのオーディオバッファ(Aud_Buf1,Aud_Buf2)224及び226と一つのイメージバッファ(Img_Buf)222が存在する。その動作順序は次のようである。
まず、イメージバッファ220は画像コーデック80から出力される1フレームの画像データJPEG1を入力する。このとき、イメージバッファ220は経路(a)を通じて第1スイッチ(speech input switch)211が(1)に位置するようにスイッチング制御し、したがって、オーディオコーデック85から出力されるオーディオデータは第1オーディオバッファ(Aud_Buf1)に印加されてバッファリングされる。この後、イメージバッファ222にバッファリングされる画像データJPEG1はヘッダ生成器230に印加され、このヘッダ生成器230は画像データJPEG1にヘッダを挿入する。そして、ヘッダが挿入されたJPEG1画像データは合成器240を通じてメモリ30に伝達される。この後、イメージバッファ220は次のフレームの画像データJPEG2をバッファリングするための準備をし、また経路(a)を通じて第1スイッチ211を(2)に位置するように制御し、同時に経路(b)を通じて第2スイッチ(speech output switch)213が(3)に位置するように制御する。すると、第1オーディオバッファ224にバッファリングされたオーディオデータが合成器240に印加され、第2オーディオバッファ226にはオーディオコーデック85から出力されるオーディオデータがバッファリングされる。その後、イメージバッファ222がJPEG2のバッファリングを完了すれば、イメージバッファ220は画像データJPEG2をヘッダ生成器230に出力し、ヘッダ生成器230は画像データJPEG2にヘッダを挿入する。そして、ヘッダが挿入された画像データJPEG2は合成器240を通じてメモリ30に伝達される。その後、イメージバッファ220は次のフレームの画像データJPEG3をバッファリングするための準備をし、また経路(b)を通じて第1スイッチ211を(1)に位置するように制御し、同時に経路(b)を通じて第2スイッチ213が(4)に位置するように制御する。すると、第2オーディオバッファ226にバッファリングされたオーディオデータが合成器240に印加され、第1オーディオバッファ224にはオーディオコーデック85から出力されるオーディオデータがバッファリングされる。
上記のような動作を反復すれば、ヘッダ生成器230はイメージバッファ220で順次に出力される符号化した画像データJPEG1、JPEG2、JPEG3、JPEG4、…にそれぞれヘッダを生成して挿入し、合成器240は順次に受信される符号化した画像データ及びオーディオデータを合成してヘッダ1、JPEG1、第1オーディオバッファ224の出力、ヘッダ2、JPEG2、第2オーディオバッファ226の順に出力される。そして、イメージバッファ222がスイッチ211及び213を制御するので、第1及び第2オーディオバッファ224及び226はそれぞれバッファリングされたオーディオデータを出力するようになる。したがって、メモリ30に貯蔵される合成画像データは図10Bのような動画像形態となることがわかる。
図8は、合成画像データを生成して貯蔵する他の形態の流れを示すものである。図8は、カメラ部40から撮影される動画像を画像コーデック80を通じて画像データJPEGに符号化してメモリ30に貯蔵した後、メモリ30に貯蔵された画像データJPEGにオーディオデータを合成して合成画像データを生成する手続きを示す。
図8を参照すれば、使用者はキー入力部27を通じて動画像モードを遂行するための命令語を発生する。すると、制御部10はステップ451で動画像モードであることを感知し、ステップ453及びステップ455でカメラ部40を駆動して撮影を始め、画像処理部50を制御してカメラ部40で撮影される動画像信号JPEGの符号化動作を始める。このとき、カメラ部40で撮影される動画像信号は画像処理部50を通じて表示部60で印加されて表示する。
画像コーデック80はフレームサイズの画像データをJPEG符号化し、制御部10は画像データJPEGの受信を待機する。その後、JPEG符号化された1フレームの画像データが受信されると、制御部10はステップ457でこれを感知し、ステップ459で1フレームのJPEGデータをメモリ30に貯蔵する。制御部10はこのような動作を動画像モードの終了まで反復遂行し、このときメモリ30に貯蔵されているデータは画像データJPEGとなる。
今後、使用者が動画像モードの終了を要求すれば、制御部10はステップ461でこれを感知し、ステップ463で画像コーデックをオフさせる。また、ステップ465〜ステップ469を遂行しつつメモリ30に貯蔵された動画像の名前、撮影場所及び時間を登録する。上記動作は、図7のステップ431〜435と同一に遂行させうる。
ステップ451〜469を遂行すれば、メモリ30には画像データJPEGのみが貯蔵される。したがって、画像データJPEGにオーディオを合成する動作を遂行するためには、使用者はキー入力部27を通じてオーディオ合成モードを命令する。すると、制御部10は、ステップ451で動画像モードではないことを感知した後に、ステップ471でオーディオ合成モードであることを感知し、ステップ473で画像コーデック80及びオーディオコーデック85を駆動する。そして、制御部10はステップ474でメモリ30で貯蔵している動画像をメニューに表示して使用者の選択を待機する。このとき、使用者が表示中の動画像のうち特定動画像を選択すれば、制御部10はステップ475でこれを感知し、ステップ477で選択された動画像の第1JPEGフレームを復元する。この復元過程を説明すれば、画像データJPEGは画像コーデック80に印加され、画像コーデック80は受信される画像データJPEGを元の画像データに復元(decoding)し、画像処理部50の画面画像生成部はこれを表示部60のサイズにスケーリングして出力する。したがって、表示部60には復元された画像データが表示される。そして、画像コーデック80が1画面の画像データを復元する間に制御部10はステップ479でオーディオコーデック85から出力される符号化したオーディオデータをバッファリングする。その後、JPEG符号化された1画面の画像データが復元されると、制御部10はステップ481でこれを感知し、ステップ483でバッファリングされたオーディオデータにアクセスし、ステップ485でJPEG符号化された画像データ及びオーディオデータを合成するためのヘッダを生成する。その後、制御部10はステップ487で図10Bのように生成されたヘッダ、JPEG符号化された画像データ及び前記オーディオデータを合成した後、メモリ30に貯蔵する。そして、使用者が動画像モードを解除させるまで1画面単位で前記画像データJPEGを復元して表示しつつ、ヘッダ、画像データJPEG、及びオーディオデータを合成してメモリ30に貯蔵する上記のような動作を反復遂行する。
したがって、メモリ30に貯蔵される合成動画像データは図10Aに示したように静止画像データJPEG1、JPEG2、…が連続的に貯蔵され、それによりメモリ30に貯蔵された画像データは動画像形態になる。
上記のように画像データJPEGにオーディオデータを合成する動作の終了が要求されると、制御部10はステップ489でこれを感知し、ステップ493〜497を遂行しつつ合成画像データの名前を登録する。この過程は、ステップ431〜435と同一に遂行させる。ステップ465〜469で登録した動画像をそのまま使用する場合、ステップ493〜497は省略可能である。
図11は本発明の実施例によりカメラ部40で撮影される動画像信号を画像処理部50の画像コーデック80で連続静止画像のJPEG符号化データに生成し、この生成されるJPEG符号化画像によるテキスト信号を生成した後、この生成された動画像及びテキスト信号を合成してメモリ30に貯蔵する過程を示すものである。そして、図12は合成動画像信号を生成して貯蔵するとき、動画像信号を生成して貯蔵した後、この貯蔵された動画像信号によるテキスト信号を合成して貯蔵する過程を示す。図13は、図11のような動作手続きを遂行する装置の構造を示すものである。
図11を参照すれば、使用者はキー入力部27を通じて動画像及びテキスト信号を合成するための動画像合成モードを遂行するための命令語を発生する。すると、制御部10はステップ1411で動画像合成モードであることを感知し、ステップ1413でカメラ部40を駆動して撮影を始め、画像処理部50の画像コーデック80を制御してカメラ部40で撮影される動画像信号のJPEG符号化動作を始める。このとき、カメラ部40で撮影される動画像信号は画像処理部50を通じて表示部60で印加されて表示される。
画像コーデック80はフレームサイズの画像データをJPEG符号化し、1画面の画像信号をコーディングすれば、これを制御部10に伝送する。JPEG符号化された1画面の画像信号が受信されると、制御部10はステップ1415でこれを感知し、ステップ1417でJPEG符号化された画像データのヘッダを生成して挿入する。このとき、ヘッダの情報は符号化された1画面の画像信号サイズ及び画像であることを示すパターン信号などとなる。その後、制御部10はステップ1419でヘッダが挿入されたJPEG画像をメモリ30に貯蔵する。このとき、JPEG画像はメモリ30のイメージバッファに貯蔵される。そして、上記のような動画像コーディング動作は使用者が動画像受信動作を解除させるまで反復遂行する。
したがって、メモリ30に貯蔵される合成動画像データは静止画像データJPEG1、JPEG2、…が連続して貯蔵され、それによりメモリ30に貯蔵された画像データは動画像形態となる。このとき、符号化された画像データJPEG1、JPEG2、JPEG3、…は上記したように画像コーデック80の符号化能力により決定される。
上記のようにフレーム単位に符号化された合成画像データを生成する途中で使用者から動画像モードの終了要求が発生すると、制御部10はステップ1421でこれを感知し、ステップ1423で貯蔵された動画像信号に合成するためのテキスト信号の選択有無を知らせるメニューを表示部60に表示する。このとき、使用者がテキスト信号の入力を選択すれば、制御部10はステップ1425でこれを感知し、ステップ1433で表示部60にテキスト表示形態(text display type)を表示する。その後、使用者が表示形態のうち所定の表示方法を選択すれば、制御部10はステップ1434でこれを感知し、ステップ1435で前記選択された表示方法により表示可能なテキストの最大長さを表示する。ここで、テキスト表示形態は先表示方法、後表示方法、スライド表示方法、パイルアップ表示方法などがある。
第1に、先表示方法(top display type)は動画像信号を表示する前にまずテキスト信号を表示する方法を意味する。この先表示方法を選択した場合、制御部10は表示可能な最大テキスト長さを表示しない。
第2に、後表示方法(bottom display type)は動画像信号を表示した後、後でテキスト信号を表示する方法を意味する。この後表示方法を選択した場合、制御部10は表示可能な最大テキスト長さを表示しない。
第3に、スライド表示方法(slide display type)は動画像信号を再生しつつ表示部60の特定位置に前記テキスト信号をスライディングさせて表示する方法を意味する。このとき、テキストをスライディングする速度は動画像信号の全体再生時間に合わせて決定する。したがって、スライド表示方法を選択すれば、前記動画像信号との同期のために最大入力可能な文字数を制限する必要がある。ここで、1文字のスライディング速度を0.5secと仮定すれば、テキストの最大長さを下記のように計算することができる。
例えば、貯蔵された動画像信号の再生時間が10秒であれば、入力可能な最大文字数は20文字となる。したがって、制御部10はメモリ30のイメージバッファに貯蔵された動画像信号の再生時間を計算した後、計算結果によりスライディング表示形態で表示可能な最大文字数を計算してこれを表示する。また、この表示部60の特定位置は表示部60の上端または下端、そして左側または右側となる。また、表示部60はテキスト信号を画像表示領域以外の表示領域にテキスト信号を表示し、あるいは画像信号が表示される領域にオンスクリーン形態で前記テキストを表示することもできる。
第4に、パイルアップ表示方法(pile-up display type)は前記スライディング表示方法に類似した表示方法で、動画像を再生する中に表示部60に設定されたサイズのテキスト信号を表示部60の特定位置に一度に表示する方法である。すなわち、パイルアップ表示方法は表示部60に設定された数の文字を一定時間表示した後、時間が経ると、次の文字を上記のような方法で表示する方法である。このとき、一度に表示できる文字数の設定は表示部60のサイズにより決定されうる。上記のようなパイルアップ方法を選択すれば、動画像信号との同期のために最大入力可能な文字数を制限する必要がある。本発明の実施例では10つの文字と仮定し、この10つの文字を表示する時間は2秒と仮定すれば、上記のようにテキストの最大長さを計算することができる。
したがって、総画像信号の再生時間が10秒であればパイルアップ表示方法で表示可能な最大文字数は50文字となる。したがって、制御部10はメモリ30のイメージバッファに貯蔵された動画像信号の再生時間を計算した後、計算結果によりパイルアップ表示形態で表示可能な最大文字数を計算してこれを表示する。また、表示部60の特定位置は表示部60の上端または下端、そして左側または右側となる。また、表示部60はテキスト信号を画像表示領域以外の表示領域にテキスト信号を表示し、あるいは前記画像信号が表示される領域にオンスクリーン形態でテキストを表示することもある。
図11を再び参照すると、その後、制御部10は使用者がテキストを入力すれば、ステップ1437でこれを受信してメモリ30に貯蔵する。このとき、テキストはメモリ30のテキストバッファに貯蔵可能である。その後、テキストの入力が終了すれば、制御部10はステップ1439でこれを感知し、ステップ1441で前記受信されたテキストにヘッダを挿入する。このとき、テキストヘッダはテキストであることを示すパターンと受信されたテキスト長さなどを含む。
図14Aはテキスト信号のフォーマットを示すもので、図14BはJPEG画像信号のフォーマットを示すもので、図14Cはテキスト信号及び動画像信号が合成された信号のフォーマットを示すものである。
図14Aを参照すれば、Pはパターン信号(pattern signal)を挿入する領域で、続くデータがテキスト信号であることを示すパターンを挿入し、Lはテキスト信号の全長(text total length)を挿入し、Tは表示形態(display type)を挿入する領域で“0000”は先表示方法、“0001”は後表示方法、“0010”はスライド表示方法、“0011”はパイルアップ表示方法と仮定する。そして、T領域の次はテキスト信号が挿入される領域となる。ここで、P、L、Tはテキストヘッダである。
また図14Bを参照されば、Pはパターン信号を挿入する領域であって、続くデータがJPEG画像信号であることを示すパターンを挿入し、LはJPEG画像信号の全長(Image total length)を挿入する領域である。ここで、P及びLはイメージヘッダとなる。
前記テキスト入力が終了すれば、制御部10はステップ1443でメモリ30のイメージバッファに貯蔵された動画像信号にメモリ30のテキストバッファに貯蔵されたテキスト信号を合成する。このとき、動画像信号は連続して処理されるべき信号であるが、テキスト信号は上記したように必要により適切に表示すればよい。したがって、テキスト信号はオーディオ信号とは異なって動画像信号にインタレースされて合成しなくてもよい。本発明の実施例では、テキスト信号を動画像信号の前に挿入させて合成動画像信号を生成すると仮定する。図14Cはテキスト信号と動画像信号が合成された合成動画像信号のフォーマットを示す。
図11を再び参照すると、上記のように、前記動画像信号にテキスト信号を合成して合成動画像信号を生成した後、制御部10はステップ1427でメモリ30に貯蔵された動画像の名前を登録するための情報を表示する。このとき、携帯電話機がGPS受信機を備えない場合、動画像を撮影した場所及び時間、そしてメモリ30に貯蔵された合成動画像信号の名前を入力するように案内するメニューを表示することができる。そして、携帯電話機がGPS受信機を備える場合、メモリ30に貯蔵された合成動画像信号の名前を入力するように案内するメニューを表示することができる。このメニュー情報は制御部10で生成し、この生成された情報は使用者データとして表示部60上に表示される。
上記のようにメニューを表示する状態でキー入力部27を通じて合成動画像の名前を入力すれば、制御部10はステップ1429でこれを感知し、ステップ1431でメモリ30に貯蔵された合成動画像に対応する名前、撮影場所及び時間情報を入力する。このとき、使用者は撮影場所及び時間情報を入力せず、名前のみを入力することも可能である。この場合、使用者は名前を入力した後終了キーを押すと、制御部10は終了キーにより名前メニューに入力された情報を通じて名前のみを登録する。
図11に、制御部10で合成動画像信号を生成して貯蔵する動作手続きを示す。しかし、図11のような動作は図9に示した構成でも具現可能である。図13は、携帯電話機で合成動画像信号を生成して貯蔵する構成を示すものである。図13の構成でバッファ部222、228、スイッチ211、213、ヘッダ生成器230、テキストヘッダ生成器235、及び合成器240は制御部10の構成となる。
図13の構成において、画像コーデック80はカメラ部40で撮影された画像データを符号化して画像データJPEGを生成する。イメージバッファ222は画像コーデック80から出力される画像データJPEGをバッファリングする。ヘッダ生成器230はイメージバッファ222で画像データJPEGの出力時にヘッダを生成して挿入する。制御部10は動画像信号に合成するテキストを発生する。この制御部10は使用者が入力するテキスト信号を処理し、または使用者により指定された文字メモを選択して前記テキスト信号として発生することもできる。テキストバッファ228は制御部10で生成されるテキストを貯蔵する。テキストヘッダ生成器235はテキストバッファ228から出力されるテキスト信号にヘッダを生成して挿入する。合成器240はテキストヘッダ生成器235から出力されるテキスト信号を前記イメージヘッダ生成器230から出力されるJPEG画像に合成して合成画像データを出力する。メモリ30は制御部10の制御下に合成器240から出力される合成画像データを貯蔵する。
図12は、合成画像データを生成して貯蔵するまた他の形態の流れを示すものである。図12はカメラ部40から撮影される動画像を画像コーデック80を通じて画像データJPEGに符号化してメモリ30に貯蔵した後、メモリ30に貯蔵された画像データJPEGにテキスト信号を合成する手続きを示す。
図12を参照すれば、使用者はキー入力部27を通じて動画像モードを遂行するための命令語を発生する。すると、制御部10はステップ1451で動画像モードであることを感知し、ステップ1453でカメラ部40を駆動して撮影を始め、画像処理部50の画像コーデック80を制御してカメラ部40で撮影される動画像信号JPEGの符号化動作を始める。このとき、カメラ部40で撮影される動画像信号は画像処理部50を通じて表示部60で印加されて表示される。
この画像コーデック80はフレームサイズの画像データをJPEG符号化し、1画面の画像信号をコーディングすれば、これを制御部10に伝送する。JPEG符号化された1画面の画像信号が受信されると、制御部10はステップ1455でこれを感知し、ステップ1457でJPEG符号化した画像データのヘッダを生成して挿入する。このとき、ヘッダの情報は符号化された1画面の画像信号サイズ及び画像であることを示すパターン信号などとなる。この後、制御部10はステップ1459でヘッダが挿入されたJPEG画像をメモリ30に貯蔵する。このとき、JPEG画像はメモリ30のイメージバッファに貯蔵される。そして、上記のような動画像コーディング動作は使用者が動画像受信動作を解除させるまで反復遂行する。
この後、使用者が動画像モードの終了を要求すれば、制御部10はステップ1461でこれを感知し、ステップ1463で動画像情報の入力命令のメニュー情報を表示する。ステップ1465及び1467を遂行しつつメモリ30に貯蔵された動画像の名前、撮影場所及び時間を登録する。この動作は図11のステップ1429及び1431と同一に遂行させることができる。
ステップ1451〜1467を遂行すれば、メモリ30には画像データJPEGのみが貯蔵される。したがって、画像信号JPEGにテキスト信号を合成する動作を遂行するためには、使用者はキー入力部27を通じてテキスト合成モードを命令する。ステップ1451で動画像モードではないことを感知した後に、ステップ1469でテキスト合成モードを感知すれば、制御部10はステップ1471で表示部60にテキスト表示形態(text diplay type)を表示する。この後、使用者が表示形態のうち所定の表示方法を選択すれば、制御部10はステップ1473でこれを感知し、ステップ1475で選択された表示方法により表示可能なテキストの最大長さを表示する。ここで、テキスト表示形態は上記したように先表示方法、後表示方法、スライド表示方法、パイルアップ表示方法などがある。
この後、制御部10は使用者がテキストを入力すれば、ステップ1477でこれを受信してメモリ30に貯蔵する。このとき、テキストはメモリ30のテキストバッファに貯蔵される。この後、テキストの入力が終了すれば、制御部10はステップ1479でこれを感知し、ステップ1481で受信されたテキストにヘッダを挿入する。このとき、テキストヘッダは図14に示したようにテキストであることを示すパターンと受信されたテキストの長さなどを含む。
上記のテキスト入力が終了すると、制御部10はステップ1483でテキスト信号を合成する動画像信号を選択するためのメニューを表示する。すなわち、メモリ30は多数の動画像信号を貯蔵しており、テキスト信号の合成時に前記制御部10はステップ1483で貯蔵している動画像信号を表示する。このとき、使用者が所定の動画像信号を選択すれば、制御部10はステップ1485でこれを感知し、ステップ1489で前記選択された動画像信号に前記テキスト信号を合成する。
図15は、本発明の実施例によりカメラ部40で撮影される画像信号を連続する動画像信号にコーディングし、この動画像信号にオーディオ信号及びテキスト信号を合成する手続きを示す流れ図である。ここで、図15は図7のようなオーディオ合成及び図11のような合成手続きにより進行できる。そして、図17は前記図15のような手続きで生成される合成動画像信号の構成を示すものである。
図15を参照すれば、まず動画像信号にオーディオ及びテキスト信号を合成するための動画像合成モードが選択されると、制御部10はステップ811でこれを感知し、ステップ813でカメラ部40、画像コーデック80、及びオーディオコーデック85を駆動する。その後、制御部10はステップ815で図7のステップ417〜427のような動作を遂行しつつ連続する符号化画像画面信号に符号化するオーディオ信号を合成する。その後、制御部10はステップ817で図11のステップ1423〜1443のような動作を遂行しつつ、オーディオ信号が合成された動画像信号にテキストを合成する。その後、制御部10はステップ819で動画像信号にオーディオ及びテキストが合成された動画像信号を貯蔵する。このときの動作手続きは図7のステップ431〜435または図11のステップ1427〜1431の手続きを遂行する。
そして、図15に示す手続きを遂行しつつ生成される合成動画像信号は図17のような構成の装置でも遂行でき、このとき生成される合成動画像信号の構造は図18に示すようである。
また、図16は本発明の実施例によりカメラ部40で撮影される画像信号を連続する動画像信号にコーディングし、このような動画像信号にオーディオ信号及びテキスト信号を合成する手続きを示すまた他の方法の流れ図である。ここで、図16は図8のようなオーディオ合成及び図12に示す合成手続きにより進まれる。
図16を参照すれば、制御部10は動画像モードが選択されると、ステップ831でこれを感知し、ステップ833で図8のステップ453〜463の手続きを遂行しつつ連続入力される画像画面を符号化して動画像信号を生成する。また、オーディオ合成モードが選択されると、制御部10はステップ835でこれを感知し、ステップ837で図8のステップ473〜491を遂行しつつ選択された動画像信号にオーディオ信号を合成する。また、テキスト合成モードが選択されると、制御部10はステップ839でこれを感知し、ステップ841で図12のステップ1471〜1481の手続きを遂行しつつ選択された動画像信号にテキスト信号を合成する。このとき、選択される動画像信号はここにオーディオ信号が合成された動画像信号となる。そして、上記のように動画像信号または動画像信号を合成した後、制御部10はステップ843で図8のステップ465〜469または図12のステップ1463〜1467を遂行しつつ合成動画像信号を貯蔵する。
図15〜図17の方法で生成される合成動画像信号は、上記したような動画像信号にオーディオ及びテキスト信号が合成された信号となり、このときの合成動画像信号は図18に示す構造を有する。
図19は、本発明の第2実施例によりメモリ30に貯蔵された合成動画像を再生する手続きを示す流れ図である。
図19を参照すれば、使用者がキー入力部27を通じて動画像再生モードを命令すれば制御部10はステップ511でこれを感知し、ステップ513で表示部60に動画像メニューを表示する。このとき、動画像メニュー情報はメモリ30に貯蔵している合成動画像の名前または撮影場所及び時間となる。動画像メニューが表示している状態で使用者が希望する動画像を選択すれば、制御部10はステップ515でこれを感知し、ステップ517及び519で画像コーデック80及びオーディオコーデック85を駆動すると同時にメモリ30で選択された合成動画像情報にアクセスする。
この後、制御部10はステップ521でアクセスされた合成動画像のヘッダを分析してJPEG画像及びオーディオデータを分離する。その後、制御部10はJPEG画像データであればステップ525で画像データJPEGを画像コーデック80に伝送し、オーディオデータであればステップ523でオーディオコーデック85に伝送する。すると、JPEG画像は画像処理部50の表示画面生成部を通じて処理された後、表示部60に表示され、オーディオはオーディオ処理部25を通じてスピーカで再生される。この状態で、制御部10はステップ529でさらに次のフレームの合成動画像にアクセスした後、ステップ521〜525を反復遂行する。したがって、メモリ30に貯蔵された合成動画像は連続的に表示部60及びスピーカを通じて連続的に再生され、したがって動画像形態に再生される。制御部10はメモリ30で最後のフレームの合成動画像を再生し、あるいは使用者から再生中止命令が発生すると、ステップ527でこれを感知し、動画像再生モードを終了する。
図19は、制御部10で合成動画像信号を生成して貯蔵する動作手続きを示すものである。図19の動作は図20に示す構成でも具現可能である。図20は携帯電話機で合成動画像信号を生成して貯蔵する構成を示すものである。図20の構成でヘッダ分析器250、スイッチ261、263、265、バッファ部270は制御部10の構成となる。
図20の構成において、メモリ30は合成動画像を貯蔵しており、制御部10の制御下に選択された合成動画像がアクセスされる。ヘッダ分析器250はメモリ30でアクセスされる合成動画像のヘッダを分析してJPEG画像及びオーディオを分離するためのスイッチ制御信号を発生する。スイッチ261は共通端子がメモリ30に連結され、第1出力端子がオーディオ信号をスイッチング出力するスイッチ263の共通端子に連結され、第2出力端子がイメージバッファ272に連結される。バッファ部270のイメージバッファ(Img_Buf)27はスイッチ261から出力される画像データJPEGをバッファリングする。第1及び第2オーディオバッファ(Aud_Buf)274及び276はそれぞれ符号化されたオーディオデータをバッファリングする。スイッチ263は共通端子がスイッチ261の第1出力端子に連結され、第1出力端子が第1オーディオバッファ274の入力端に連結され、第2出力端子が第2オーディオバッファ276の出力端に連結される。また、スイッチ265は第1入力端子が第1オーディオバッファ274の出力端に連結され、第2入力端子が第2オーディオバッファ276の出力端に連結され、共通端子がオーディオコーデック85に連結される。スイッチ211及び213はイメージバッファ270の出力により制御される。したがって、バッファ部270はメモリ30から出力される合成画像でオーディオとJPEG画像を分離する分離器(splitter)機能を遂行する。オーディオコーデック85はスイッチ265から出力される符号化オーディオ信号を復元して出力する。画像コーデック80はイメージバッファ272から出力される画像データJPEGを復元して出力する。
図20の動作を説明すれば、オーディオデータ及び画像データはそれぞれオーディオコーデック85及び画像コーデック80で復号化され、それぞれの経路(path)を通じてバッファ部270に入力される。このとき、合成動画像の第1入力は無条件画像データに固定すると仮定する。バッファ部270の内部には2つのオーディオバッファ(Aud_Buf1, Aud_Buf2)274及び276と一つのイメージバッファ(Img_Buf)272が存在する。動作順序は次のようである。
まず、メモリ30は貯蔵している合成動画像のうち選択された合成動画像を出力する。メモリ30で貯蔵された合成動画像は、図10Bに示したようにイメージヘッダを含むJPEG画像及び符号化したオーディオがJPEG画像のフレーム単位で貯蔵されている。したがって、動画像再生モード時に合成画像からJPEG画像とオーディオを分離した後に再生すべきである。ヘッダ分析器250はメモリ30から出力される図10Bのような合成画像で前記ヘッダを分析してオーディオとJPEG画像を分離するためのスイッチ制御信号を発生する。合成画像の形態は上記したようにヘッダ、JPEG画像、そしてオーディオ順に貯蔵されていると仮定する。
ヘッダ分析器250は合成画像のヘッダを分析した後、画像データJPEGであればスイッチ(A/V switch)を(1)の位置に移す。そして、イメージバッファ272はスイッチ(speech input switch)263を(2)の位置に移す。すると、メモリ30から出力されるJPEG画像はスイッチ261を通じてイメージバッファ272に貯蔵される。このとき、ヘッダ分析器250は1フレームのJPEG画像が前記イメージバッファ272に印加されるようにスイッチ261が(6)に位置するように制御する。それにより、JPEG画像はイメージバッファ(Img_Buf)272に貯蔵される。このとき、メモリ30でJPEG画像の出力が終了すれば、ヘッダ分析器250はスイッチ261を(5)位置に移す。このとき、スイッチ263は(1)に位置している状態なので、メモリ30から出力されるオーディオデータは第1オーディオバッファ(Aud_Buf1)に貯蔵される。
イメージバッファ(Img_Buf)272はバッファリングされた画像データJPEGを前記画像コーデック80に印加し、スイッチ(speech output switch)を(3)位置に移し、第1オーディオバッファ(Aud_Buf1)のオーディオデータをオーディオコーデック85に伝送する。すると、画像コーデック80はJPEG画像を復元して表示部60に伝送し、オーディオコーデック85は符号化したオーディオデータを復元してスピーカに出力する。
この後、メモリ30で次のフレームの合成画像が出力されると、ヘッダ分析器250はスイッチ261を(6)に位置させ、イメージバッファ272はバッファリング中のJPEG画像の出力が終了すれば、スイッチ263を(2)に位置させる。上記したようにメモリ30から出力される次のフレームのJPEG画像がイメージバッファ272にバッファリングされ、メモリ30でJPEG画像の出力が終了すると、ヘッダ分析器250はスイッチ261を(5)位置に移す。このとき、スイッチ263は(2)に位置されている状態なので、メモリ30から出力されるオーディオデータは第2オーディオバッファ(Aud_Buf2)に貯蔵される。上記のような動作を反復しつつ、メモリ30に貯蔵された合成画像を再生する。
図21は、本発明の実施例によりメモリ30に貯蔵された合成動画像を再生する手続きを示す流れ図である。ここで、合成動画像信号は動画像信号にテキスト信号が合成された場合であると仮定して説明する。
図21を参照すれば、使用者がキー入力部27を通じて合成動画像再生モードを命令すれば、制御部10はステップ1511でこれを感知し、ステップ1513で表示部60に動画像メニューを表示する。このとき、動画像メニュー情報はメモリ30に貯蔵している合成動画像の名前または撮影場所及び時間となる。この動画像メニューが表示されている状態で使用者が希望する動画像を選択すれば、制御部10はステップ1515でこれを感知し、ステップ1517で画像コーデック80を同時にメモリ30で選択された合成動画像情報のヘッダにアクセスする。ステップ1515で動画像が選択されなければ、手続きはステップ1513へ進行する。
その後、制御部10はステップ1519でアクセされたス合成動画像のヘッダを分析してJPEG画像とテキスト信号を分離する。このとき、ヘッダ分析の結果がテキストヘッダであれば、制御部10はステップ1521及び1523でヘッダの表示形態及び長さを分析する。その後、制御部10はステップ1525でテキスト信号にアクセスした後、ステップ1527で表示形態により表示部60に出力して表示する。また、ステップ1519でのヘッダ分析の結果、イメージヘッダであれば、ステップ1529でヘッダの動画像長さを確認した後、ステップ1531で動画像信号にアクセスした後、ステップ1533で画像コーデック80に伝送する。すると、画像コーデック80はJPEG画像信号を元の画像信号に復元し、画像処理部50は復元された画像信号を表示部60のサイズに合うように調整した後、表示部60に出力して表示する。そして、動画像信号の再生が終了すれば、図21のような手続きを終了する。
このとき、制御部10はテキスト表示形態により先表示方法であれば、テキスト信号をまず表示部60に出力して表示し、その後、動画像に連続的にアクセスして画像コーデック80に出力する。すると、表示部60はまずテキスト信号を表示した後、次に連続して受信される静止画像信号を動画像に表示する。第2に、前記表示形態が後表示方法であれば、動画像信号に連続的にアクセスして画像コーデックに出力し、画像信号の出力を終了した後、表示部60にテキスト信号を出力する。表示部60は静止画像信号を連続的に受信して動画像信号に表示し、その後、受信されるテキスト信号を表示する。第3に、表示形態がスライド表示方法であれば、画像信号を画像コーデック80に出力すると同時に、上記<数式1>により決定された時間にこのテキストを表示部60に伝送する。したがって、表示部60は静止画像信号を連続的に受信して動画像信号に表示すると同時に制御部10から出力されるテキスト信号を特定位置でスライディングさせて表示する。第4に、表示形態がパイルアップ表示方法であれば、画像信号を画像コーデック80に出力すると同時に<数式2>により決定された時間で設定された数のテキストを表示部60に伝送する。したがって、表示部60は静止画像信号を連続的に受信して動画像信号に表示すると同時に制御部10から出力される所定数のテキスト信号を特定位置に表示する。
図21は、制御部10で合成動画像信号を生成して貯蔵する動作手続きを示すものである。しかし、図21のような動作は図22のような構成でも具現可能である。図22は、携帯電話機で合成動画像信号を再生する構成を示すものである。
図22の構成において、メモリ30は合成動画像を貯蔵しており、制御部10の制御下に選択された合成動画像がアクセスされる。ヘッダ分析器250はメモリ30でアクセスされる合成動画像のヘッダを分析してJPEG画像及びテキスト信号を分離するためのスイッチ制御信号を発生する。スイッチ261は共通端子がメモリ30に連結され、第1出力端子がテキストバッファ228に連結され、第2出力端子がイメージバッファ272に連結される。このイメージバッファ222はスイッチ261から出力されるJPEG画像信号をバッファリングする。テキストバッファ228はスイッチ261から出力されるテキスト信号をバッファリングする。
ヘッダ分析器250及びスイッチ261、そしてバッファ222及び228は前記メモリ30から出力される合成画像からテキスト信号及びJPEG画像信号を分離する分離機能を遂行する。画像コーデック80はイメージバッファ222から出力されるJPEG画像データを復元して出力する。表示部60は制御部10の制御下に表示形態により出力されるテキスト信号及び動画像信号を表示する。
図22の動作において、メモリ30は貯蔵している合成動画像の中で選択された合成動画像を出力する。このメモリ30で貯蔵された合成動画像は図14Aに示したようなテキストヘッダを含むテキスト信号及び図14Bに示したようなイメージヘッダを含むJPEG画像信号が貯蔵されている。したがって、動画像再生モード時に合成画像からJPEG画像とオーディオを分離してから再生しなければならない。ヘッダ分析器250はメモリ30から出力される図14Cのような合成動画像信号でテキスト及び画像のヘッダを分析する。このとき、ヘッダ分析時にテキストヘッダは図14Aのように構成されており、イメージヘッダは図14Bのように構成されている。図14Cのような構造を有する場合、ヘッダ分析器250はまずテキストヘッダのパターン信号によりテキスト信号であることを感知し、続くL値を読み出してテキスト信号の長さを確認する。そして、スイッチ261を制御してメモリ30の出力をテキストバッファ228に連結させる。その後、ヘッダ分析器250はL値だけのテキスト信号が出力されるようにメモリ30を制御する。したがって、メモリ30から出力されるテキスト信号はテキストバッファ228に印加され、このテキストバッファ228にバッファリングされるテキスト信号は制御部10に印加される。また、ヘッダ分析器250はイメージヘッダが入力されると、ヘッダのパターン信号によりJPEG画像信号であることを感知し、続くL値を読み出してテキスト信号の長さを確認する。そして、スイッチ261を制御してメモリ30の出力をイメージバッファ222に連結させる。その後、ヘッダ分析器250はL値だけのJPEG信号が出力されるようにメモリ30を制御する。したがって、メモリ30から出力される画像信号はイメージバッファ228に印加され、イメージバッファ222にバッファリングされるJPEG画像信号は画像コーデック80に印加される。このとき、画像コーデック80に印加されるJPEG画像信号はフレームサイズの画像信号であり、ヘッダ分析器250は連続するフレームサイズのJPEG画像信号を出力するように制御する。
このとき、制御部10がテキスト信号を受信すれば、このテキストヘッダの表示形態Tの情報を確認する。そして、画像処理部50を制御して指定された表示形態によりテキスト信号と動画像信号を再生する。このとき、制御部10が画像処理部50及び表示部60を制御して動画像信号及びテキスト信号を再生する方法は図21で説明したようである。
図23は、本発明の実施例によりオーディオ及びテキスト信号が合成された動画像信号を再生する手続きを示す流れ図である。そして、図24は動画像信号にオーディオ及びテキスト信号が合成された信号を再生する装置の構成を示すものである。
図23を参照すれば、動画像再生モードを発生すれば、制御部10はステップ861でこれを感知し、ステップ863で合成動画像信号のメニューを表示する。合成動画像メニューが表示されている状態で希望する動画像が選択されると、制御部10はステップ865でこれを感知し、ステップ867及びステップ869で画像コーデック80及びオーディオコーデック85を駆動すると同時に前記選択された合成動画像情報にアクセスする。
この後、制御部10はステップ869でアクセスされた合成動画像のヘッダを分析してJPEG画像及びオーディオデータを分離する。そして、制御部10はJPEG画像データであれば、ステップ873でJPEG画像データを画像コーデック80に出力して表示し、オーディオデータであればステップ871でオーディオコーデック85に出力して再生し、テキストデータであればステップ875で表示部60に出力して表示する。
制御部10はステップ879でさらに次のフレームの合成動画像にアクセスした後、ステップ869〜875を反復遂行する。したがって、合成動画像信号は連続的に表示部60及びスピーカを通じて連続的に再生され、したがって動画像形態に再生される。制御部10は最後のフレームの合成動画像を再生し、または使用者から再生中止命令が発生すれば、ステップ877でこれを感知して動画像再生モードを終了する。
図24は、図23に示した手続きにより遂行される合成動画像信号の再生装置の構成を示すものである。図24の構成で、ヘッダ分析器250、スイッチ261、263、265、及びバッファ部270は制御部10の構成ともなる。図24の合成動画像信号はテキスト、JPEG画像、及びオーディオ信号が合成された信号の場合を仮定する。
図24の構成において、メモリ30に貯蔵された合成動画像信号はヘッダ分析器250により分析される。このヘッダ分析器250はメモリ30でアクセスされる合成動画像信号に含まれるテキストヘッダ及びイメージヘッダを分析してテキスト、JPEG画像、及びオーディオ信号を分離するためのスイッチ制御信号を発生する。スイッチ261は共通端子がメモリ30に連結され、第1出力端子がオーディオ信号をスイッチング出力するスイッチ263の共通端子に連結され、第2出力端子がイメージバッファ272に連結され、第3出力端子がテキストバッファ278に連結される。バッファ部270のテキストバッファ278は前記スイッチ261から出力されるテキスト信号をバッファリングする。また、前記バッファ部270のイメージバッファ(Img_Buf)272はスイッチ261から出力されるJPEG画像データをバッファリングする。第1及び第2オーディオバッファ(Aud_Buf)274及び276はそれぞれ符号化したオーディオデータをバッファリングする。スイッチ263は共通端子がスイッチ261の第1出力端子に連結され、第1出力端子が第1オーディオバッファ274の入力端に連結され、第2出力端子が第2オーディオバッファ276の出力端に連結される。また、スイッチ265は第1入力端子が第1オーディオバッファ274の出力端に連結され、第2入力端子が第2オーディオバッファ276の出力端に連結され、共通端子がオーディオコーデック85に連結される。スイッチ263及び265はイメージバッファ270の出力により制御される。オーディオコーデック85はスイッチ265から出力される符号化したオーディオ信号を復元して出力する。画像コーデック80はイメージバッファ272から出力されるJPEG画像データを復元して出力する。
図24の動作を説明すれば、まずヘッダ分析器250はメモリ30に貯蔵された合成動画像信号を一定のサイズで読み出しつつヘッダを分析する。このとき、ヘッダのパターン信号がテキストパターンであれば、ヘッダ分析器250はスイッチ261をテキストバッファ278に接続し、イメージパターンであればスイッチ261をイメージバッファ272に接続し、オーディオパターンであればスイッチ263に接続する。そして、イメージバッファ272はフレーム区間でスイッチ263及び265を制御して第1オーディオバッファ274が入力されるオーディオ信号をバッファリングするとき、第2オーディオバッファ276に貯蔵されたオーディオデータを出力し、または第2オーディオバッファ276が入力されるオーディオ信号をバッファリングするとき、第1オーディオバッファ274に貯蔵されたオーディオデータが出力されるようにする。
したがって、上記のように合成動画像信号がヘッダ分析器250の分析によりテキスト信号、動画像信号、及びオーディオ信号に分解され、この分解された各信号はそれぞれ制御部10、画像コーデック80、及びオーディオコーデック85に印加されてそれぞれ再生される。
図25は、合成動画像信号を伝送する動作手続きを示す流れ図である。図13で伝送される合成動画像信号は図7、図8、図11、図12、図15、または図16のような動作を遂行してメモリ30に貯蔵された合成動画像信号となりうる。また、図25で伝送される合成動画像信号は動画像信号にテキスト及び(または)オーディオ信号が合成された合成動画像信号ともなる。また、図25は上記のような合成動画像信号を生成する手続きを遂行した後、その手続きを遂行することもできる。
図25を参照すれば、使用者がキー入力部27を通じて動画像伝送を命令すれば、前記制御部10はステップ551でこれを感知し、ステップ553で表示部60を通じて合成動画像メニューを表示する。ここで、合成動画像メニューはメモリ30に貯蔵された合成動画像の名前、撮影時間及び場所となる。この合成動画像メニューを表示する状態で使用者が希望する合成動画像を選択すれば、前記制御部10はステップ555でこれを感知し、ステップ557でこのメモリ30に貯蔵された該当する合成動画像にアクセスする。ステップ555で合成動画像が選択されなければ、手続きはステップ553へ進行する。
その後、制御部10はアクセスされる合成動画像を分割して伝送のためのパケットデータで組み立てる。このとき、パケットのサイズは予め定義された一定長さ(N)に固定され、1フレームの画像データは多数のパケットに分けられて生成されることができる。そして、パケット内には画像/音声データが混合されて存在することもできる。そして、この組み立てられたパケットデータをデータ処理部20に出力して伝送する。このとき、データ処理部20は受信されるパケットデータをデータチャンネルを通じてチャンネル符号化及び変調して出力し、RF部23はこれを無線信号に変換して送信する。上記のように、前記合成動画像のパケット伝送が完了していなければ、制御部10はステップ565で次のフレームの合成動画像にアクセスしてステップ559及びステップ561でパケットを生成及び伝送する動作を反復遂行する。この後、選択された合成動画像の伝送が完了すれば、制御部10はステップ563でこれを感知し、合成動画像の伝送手続きを終了する。
図25は、上記したようにメモリ30に貯蔵された合成動画像を伝送することを示す。しかし、図7及び図8のような手続きを遂行しながら合成画像を生成してメモリ30に貯蔵すると同時に前記生成された合成画像を伝送することもできる。この場合、制御部10は1フレームの合成動画像をメモリ30に貯蔵し、このときの合成動画像をパケットデータで組み立てて伝送すればよい。
図26は、携帯電話機で合成動画像信号を生成して貯蔵すると同時にこの合成動画像信号を伝送する構成を示すものである。図26の構成で、バッファ部220、スイッチ211、213、ヘッダ生成器230、合成器240、及びパケット生成器245は制御部10の構成となる。そして、図27A〜図27Eは合成動画像を伝送するためのパケットデータ構造を示すものである。
図26の携帯電話機の送信部は画像コーデック80で出力される連続する静止画像(JPEG画像)とオーディオコーデック85を通じて符号化する連続したオーディオ信号を合成(merge)して貯蔵し、また伝送時には合成動画像に予め定められたヘッダフォーマットを添付してパケット化(packetization)した後に伝送する。ここで、符号化したオーディオデータ及びJPEG画像データを伝送するためのパケットデータは図27A〜図27Eのようである。
図27Aは、RF部23を通じて伝送される合成動画像のパケット構造を示すものである。この伝送される1フレームの合成画像パケットの全体サイズ(N)は必要により決定され、約200〜1500bytes程度に設定される。このとき、伝送されるパケットサイズはパケット毎に一定すべきである。このパケットの構造を説明すれば、まず44バイトのTCP/IPヘッダが連結され、7ビットのシーケンス番号(sequence number)が連結される。このシーケンス番号は生成されるパケットの順序を示すもので、0〜127番目まで表示した後、さらに0番から挿入される。そして、シーケンス番号の後に位置されるA/V 1ビットは該当するパケットの第1部分のデータがオーディオデータまたはJPEG画像データであるかどうかを表示する値である。
図27B及び図27CはJPEG画像形態(image data format)を示すものである。JPEG画像の場合、一般に1フレームのサイズが5〜10kbytes程度で、したがって本発明の実施例によりRF部23を通じて伝送するときに使用されるパケットデータより大きい。それにより、1フレームのJPEG画像データは多数のパケットに伝送すべきである。このとき、フレーム画像データの第1パケットは図27Bのようにイメージヘッダ(image header)P及びLを付加する。図27BでPはパターン信号であって、パケットデータを受信する受信機でオーディオデータとJPEG画像データを区分するために必要な値である。図27BでLはJPEGフレームの全体サイズを示す値である。これは、受信機がパターン信号PによりJPEG画像と判断した後、長さLだけJPEG画像を読み出すためである。すると、受信機は受信されるパケットから長さLだけ受信されるデータを継続バッファリングしてから、長さLだけのデータが受信されると、この受信されたデータをJPEG画像を復元する画像コーデック80に印加して再生させる。図27Cは伝送しようとする1フレームのJPEG画像で第1パケットを伝送した後、続く残りのパケットの形態でイメージヘッダなしに全体がJPEG画像データで詰めされる。
図27Dはオーディオデータのパケット構造を示すものである。本発明の実施例ではオーディオコーデック85が8kbps speech codecと仮定する。このオーディオコーデック85が8kbps speech codecの場合、符号化されるオーディオデータは20msec毎に1フレーム(20bytes)のオーディオデータが生成される。このとき、一つのパケットで組み立てられるデータの最大サイズのN-45bytesになるまで連続的に符号化されたオーディオフレームデータを連結してオーディオパケットを生成する。例えば、Nが200の場合、17フレームと3/4フレーム(15bytes)のオーディオデータを束ねて一つのパケットを生成するようになる。しかし、一般にオーディオフレーム間にJPEG画像が入力されるので、図27Eのようにオーディオ及びJPEG画像が混合される構造を有するようになる。
図26でオーディオコーデック85、画像コーデック80、スイッチ211、及び213、バッファ部220、ヘッダ生成器230、及び合成器240で構成される合成動画像を生成する構成の動作は図9と同一である。図26は、上記のように構成される合成動画像生成器の構成にパケット生成器245をさらに備えて、この生成された合成動画像を伝送する機能を遂行する。
図26を参照すれば、オーディオデータとJPEG画像データはそれぞれオーディオコーデック85と画像コーデック80を通じて符号化され、それぞれの経路を通じてバッファ部220に入力される。このとき、本発明の実施例では動画像メールの第1入力は無条件JPEG画像データに固定されると仮定する。このバッファ部220の内部には2つのオーディオバッファ224、226と、一つのイメージバッファ222が存在する。合成動画像を生成する動作は図9の手続きと同一に遂行される。
まず、第1段階でイメージバッファ(Img_buf)220に1フレームのJPEG画像データを入力し、第2段階でスイッチ211を(1)に位置させて符号化したオーディオデータを第1オーディオバッファ(Aud_Buf1)224に入力する。第3段階でイメージバッファ220に1フレームのJPEG画像データが詰められると、JPEG画像データの先にヘッダを挿入した後、次の端に伝送する。このとき、ヘッダはJPEG画像であることを示すパターン信号P及びJPEG画像データの長さLとなる。そして、第4段階で経路(a)を通じてスイッチ211を(2)の位置に変更し、同時に第5段階で経路(b)を通じてスイッチ213を(3)の位置に変更する。第6段階で、オーディオコーデック85で継続出力されるオーディオデータを第2オーディオバッファ(Aud_Buf2)226に貯蔵する。第7段階では、第1オーディオバッファ(Aud_Buf1)224にバッファリングされたオーディオデータを次の端に伝送する。第8段階では、第1段階に戻って上記のような動作を反復遂行する。このとき、スイッチ211及び213は以前状態の反対位置に動作する。
上記のような方法で順次に生成されるJPEG画像データとオーディオデータは合成されて図10Bのような形態にメモリ30に臨時貯蔵される。そして、上記のように貯蔵された合成動画像データはパケット生成器245で図27A〜図27Eのような形態のパケットで組み立てられた後、データ処理部20及びRF部23を通じて伝送される。
メモリ30に貯蔵された合成動画像データは図10Bに示したように、イメージヘッダ、JPEG画像データ、オーディオデータフレームとなる。このような構造を有する合成動画像は多数のパケットデータで組み立てて伝送される。したがって、図10Bのような合成画像データをパケットで組み立てた後伝送するために、パケット生成器245は各パケットデータにTCP/IPヘッダ、シーケンス番号、及びA/Vビットを挿入した後、データを連結する。ここで、TCP/IPヘッダは各パケットデータの最前に位置され、本発明の実施例では44バイトのサイズを有すると仮定する。また、シーケンス番号は生成されるパケットの順序を示すもので、7ビットのサイズを有すると仮定する。すると、シーケンス番号は0〜127番まで表示可能であり、127番を超えるとさらに0番から表示する。A/Vビットは該当するパケットの第1部分がJPEG画像データであるか、あるいはオーディオデータであるかを表示するビットで、1ビットで構成されると仮定する。このTCP/IPヘッダ、シーケンス番号及びA/Vビットは毎パケットの前に位置され、本発明の実施例では45バイトで構成されると仮定する。
図27Bに示すように、合成動画像はまず1フレームのJPEG画像データが位置され、後に1フレーム区間で生成されるオーディオデータが位置する。したがって、パケット生成器245はJPEG画像のパケットデータを生成し、その後、オーディオパケットデータを生成する。
図27B及び図27CはJPEG画像データのパケット形態を示すものである。JPEG画像データは1フレームサイズが5〜10kbytes程度で、一つのパケットサイズより大きいデータを有する。したがって、1フレームのJPEG画像データは多数のパケットで組み立てられなければならない。このとき、JPEG画像データの第1フレームは図27BのようにTCP/IPヘッダ、シーケンス番号、及びA/Vビットの次にイメージヘッダを連結する。ここで、イメージヘッダはオーディオデータとJPEG画像データを区分するためのパターン信号Pと、フレーム画像データの全体サイズを示す長さLで構成される。そして、受信側ではパターン信号PによりJPEG画像データであることを判断した後、長さLだけJPEG画像データを読み込むようになる。図27CはJPEG画像データの1番目のパケット後に続く2番目以上のJPEG画像データをパケットで組み立てるパケットデータフォーマットで、前記イメージヘッダなしに全体がJPEG画像データで構成される。
図27B及び図27Cのような画像パケットを組み立てた後、オーディオデータは図27Dのような形態でオーディオパケットで組み立てる。このとき、オーディオコーデック85が上記したように8kbps音声コーデックの場合には20msec毎に1フレーム(20bytes)のオーディオデータが生成され、パケット生成器245は一つのパケットに組み立てられる最大サイズのN-45バイトとなるまで連続してオーディオフレームを連結してオーディオパケットを生成する。このとき、画像及びオーディオデータをパケット化するとき、フレームの境界区間に生成されるパケットデータはオーディオと画像データが一つのパケットに組み立てることができる。この場合、パケット生成器245は図27Eのようなパケットデータを生成するようになる。
パケット生成器245により生成されるパケットデータはデータ処理部20を通じてチャンネル符号化及び変調された後、RF部23を通じて伝送される。
図26のような合成動画像の伝送方法は合成動画像を生成しつつ同時に伝送する場合を仮定して説明する。しかし、この合成動画像の伝送は図7及び図9のような動作を遂行した後、図25のような動作を遂行しつつメモリ30に貯蔵された合成動画像の中で希望する動画像を選択して伝送することもできる。
図28は、携帯電話機で合成動画像信号を生成して貯蔵すると同時に合成動画像信号を伝送する構成を示すものである。図28の構成で、バッファ部220、スイッチ211、213、イメージヘッダ生成器230、テキストヘッダ生成器235、及び合成器240、及びパケット生成器245は制御部10の構成となる。そして、図29A及び図29Bは、合成動画像信号の構造及び伝送のためのパケットデータ構造を示すものである。
図28の携帯電話機の送信部は画像コーデック80から出力される連続する静止画像(JPEG画像)とパケット信号を合成(merge)して貯蔵し、また伝送時には前記合成動画像に予め定められたパケットヘッダを添付してパケット化した後に伝送する。
図28を参照すれば、画面画像信号は画像コーデック80を通じて符号化されてイメージバッファ222に入力され、イメージヘッダ生成器230はフレームサイズのイメージヘッダを生成した後、イメージヘッダに該当画面の画像信号を連結する。
その後、制御部10は現在貯蔵されたJPEG画像信号の再生時間を計算した後、テキスト信号の最大長さを案内する。すると、使用者は表示部60に表示されるテキストの最大サイズを確認した後、キー入力部27を通じて合成動画像信号のテキスト信号を入力する。このテキスト信号はテキストバッファ228にバッファリングされ、テキストヘッダ生成器235は使用者が指定した表示形態及び入力されたテキストの長さを含むテキストヘッダを生成した後、このバッファリングされたテキストにテキストヘッダを挿入し、これを合成器240に印加する。すると、合成器240はメモリ30に貯蔵している連続するJPEG画像信号にテキスト信号を合成して図29Aのような合成動画像信号を生成する。このとき、合成方法はテキスト信号が動画像信号の前に位置されるようにする。図29Aのような合成動画像信号はさらにメモリ30に貯蔵される。
そして、上記のように貯蔵された合成動画像データはパケット生成器245で図29Bのような形態のパケットで組み立てた後、データ処理部20及びRF部23を通じて伝送される。
このテキスト及び動画像信号が合成された動画像信号の伝送手続きを説明すれば、まずメモリ30に貯蔵された合成動画像データは図29Aに示したように、テキストヘッダ、テキスト信号、イメージヘッダ、JPEG画像信号である。上記のような構造を有する合成動画像は多数のパケットデータで組み立てて伝送される。したがって、図29Aのような合成画像データをパケットで組み立ててから伝送するために、パケット生成器245は図29Bのように各パケットデータにTCP/IPヘッダ、シーケンス番号、及びA/V/Tビットからなるパケットヘッダを挿入した後、その後にデータを連結する。ここで、TCP/IPヘッダは各パケットデータの最前に位置され、本発明の実施例では44バイトサイズを有すると仮定する。また、シーケンス番号は生成されるパケットの順序を示すもので、7ビットのサイズを有すると仮定する。すると、このシーケンス番号は0〜127番まで表示可能であり、127番を超えると、再び0番から表示する。A/V/Tビットは該当パケットの第1部分がテキスト信号、JPEG画像信号、またはオーディオ信号のうちいずれの信号であるかを表示するビットであって、2ビットで構成されると仮定する。このTCP/IPヘッダ、シーケンス番号及びA/Vビットはパケット毎の前に位置され、本発明の実施例では45バイトで構成されると仮定する。
図31Aに示すように、合成動画像はまずテキスト信号が位置され、次に1フレームのJPEG画像データが連続して位置される。したがって、パケット生成器245はまずテキスト信号のパケットデータを生成し、その後、インタレースされた形態のJPEG画像信号のパケットデータを生成する。
図31Bは、RF部23を通じて伝送される合成動画像のパケット構造を示すものである。伝送される1フレーム合成画像パケットの全体サイズ(N)は必要により決定され、約200〜1500bytes程度に設定可能である。このとき、伝送されるパケットサイズはパケット毎に一定すべきである。パケットの構造において、まず44バイトのTCP/IPヘッダが連結され、7ビットのシーケンス番号が連結される。このシーケンス番号は生成されるパケットの順序を示すもので、0〜127番まで表示した後、さらに0番から挿入される。そして、シーケンス番号後に位置されるA/V 1ビットは該当するパケットの第1部分のデータがオーディオデータであるか、あるいはJPEG画像データであるかを表示する値である。
JPEG画像の場合、一般に1フレームのサイズが5〜10kbytes程度で、したがって本発明の実施例によりRF部23を通じて伝送するときに使用されるパケットデータより大きい。それにより、1フレームのJPEG画像データは多数のパケットに伝送すべきである。このとき、フレーム画像データの第1パケットはイメージヘッダ(image header)P及びLを付加する。イメージヘッダのPはパターン信号であって、パケットデータを受信する受信機でオーディオ信号及びテキスト信号とJPEG画像データを区分するために必要な値である。このイメージヘッダのLはJPEGフレームの全体サイズを示す値である。これは、受信機がパターン信号PによりJPEG画像と判断した後、長さLだけJPEG画像を読み出すためである。すると、受信機は受信されるパケットから長さLだけ受信されるデータを継続バッファリングしてから、長さLだけのデータが受信されると、この受信されたデータをJPEG画像を復元する画像コーデック80に印加して再生させる。この後、1フレームのJPEG画像で第1パケットを伝送した後、続く残りのパケットはイメージヘッダなしに全体がJPEG画像データで詰めされる。
パケット生成器245により図31Bのように生成されるパケットデータはデータ処理部20を通じてチャンネル符号化及び変調された後RF部23を通じて伝送される。
図30は、携帯電話機で動画像、オーディオ及びテキスト信号で合成された動画像信号を生成して貯蔵すると同時に、この合成動画像信号を伝送する構成を示すものである。図30の構成で、バッファ部220、スイッチ211、213、イメージヘッダ生成器230、テキストヘッダ生成器235、合成器240、及びパケット生成器245は制御部10の構成にもなる。そして、図31A及び図31Bは合成動画像信号の構造及び伝送するためのパケットデータ構造を示すものである。
図30の携帯電話機の送信部は画像コーデック80から出力される連続的静止画像(JPEG画像)とオーディオコーデック85を通じて符号化する連続したオーディオ信号を合成して貯蔵し、また伝送時には合成動画像に予め定められたパケットヘッダを添付してパケット化した後伝送する。
図30を参照すれば、オーディオデータとJPEG画像データはそれぞれオーディオコーデック85と画像コーデック80を通じて符号化し、それぞれの経路を通じてバッファ部220に入力される。このとき、本発明の実施例では動画像メールの1番目の入力は無条件JPEG画像データに固定すると仮定する。このバッファ部220の内部には2つのオーディオバッファ224、226と、一つのイメージバッファ222及びテキストバッファ228が存在する。
合成動画像を生成して伝送する手続きは、下記のようである。
まず、第1段階でイメージバッファ(Img_buf)220に1フレームのJPEG画像データを入力し、第2段階でスイッチ211を(1)に位置させて符号化したオーディオデータを第1オーディオバッファ(Aud_Buf1)224に入力する。第3段階でイメージバッファ220に1フレームのJPEG画像データが詰められると、JPEG画像データの先にヘッダを挿入した後、次の端に伝送する。このとき、ヘッダはJPEG画像であることを示すパターン信号P及びJPEG画像データの長さLとなる。そして、第4段階で経路(a)を通じてスイッチ211を(2)の位置に変更し、同時に第5段階で経路(b)を通じてスイッチ213を(3)の位置に変更する。第6段階で、オーディオコーデック85で継続出力されるオーディオデータを第2オーディオバッファ(Aud_Buf2)226に貯蔵する。第7段階では、第1オーディオバッファ(Aud_Buf1)224にバッファリングされたオーディオデータを次の端に伝送する。第8段階では、第1段階に戻って上記のような動作を反復遂行する。このとき、スイッチ211及び213は以前状態の反対位置に動作する。
上記のような方法で順次に生成されるJPEG画像データとオーディオデータは図31Aに示したようにJPEG画像とオーディオ信号がインタレースされる形態に合成されてメモリ30に臨時貯蔵される。その後、制御部10は現在貯蔵されたJPEG画像信号の再生時間を計算した後、テキスト信号の最大長さを案内する。すると、使用者は表示部60に表示されるテキストの最大サイズを確認した後、キー入力部27を通じて合成動画像信号のテキスト信号を入力する。このテキスト信号はテキストバッファ228によりバッファリングされ、テキストヘッダ生成器235は使用者が指定した表示形態及び入力されたテキスト長さを含むテキストヘッダを生成した後、前記バッファリングされたテキストにテキストヘッダを挿入し、これを合成器240に印加する。すると、合成器240はメモリ30に貯蔵しているオーディオ及びJPEG画像の合成信号に前記テキスト信号を合成して図31Bのような合成動画像信号を生成する。そして、図31Bのような合成動画像信号はメモリ30に貯蔵される。
そして、上記のように貯蔵された合成動画像データはパケット生成器245で図31Bのような形態のパケットで組み立てた後、データ処理部20及びRF部23を通じて伝送される。
まずメモリ30に貯蔵された合成動画像データは図31Bに示したように、テキストヘッダ、テキスト信号、イメージヘッダ、JPEG画像信号、オーディオ信号となる。上記のような構造を有する合成動画像は多数のパケットデータで組み立てて伝送される。したがって、図31Bのような合成画像データをパケットで組み立ててから伝送するために、パケット生成器245は図31Cのように各パケットデータにTCP/IPヘッダ、シーケンス番号、及びA/V/Tビットからなるパケットヘッダを挿入した後、その後にデータを連結する。ここで、TCP/IPヘッダは各パケットデータの最前に位置され、本発明の実施例では44バイトサイズを有すると仮定する。また、シーケンス番号は生成されるパケットの順序を示すもので、7ビットのサイズを有すると仮定する。すると、このシーケンス番号は0〜127番まで表示可能であり、127番を超えると、再び0番から表示する。A/V/Tビットは該当パケットの第1部分がテキスト信号、JPEG画像信号、またはオーディオ信号のうちいずれの信号であるかを表示するビットであって、2ビットで構成されると仮定する。このTCP/IPヘッダ、シーケンス番号及びA/Vビットはパケット毎の前に位置され、本発明の実施例では45バイトで構成されると仮定する。
図31Bに示したように、合成動画像はテキスト信号が位置され、次に1フレームのJPEG画像データ及び1フレーム画像区間で生成されたオーディオデータがインタレースされる形態で連続して位置される。したがって、パケット生成器245はテキスト信号のパケットデータを生成し、その後、インタレースされた形態のJPEG画像信号及びオーディオ信号のパケットデータを生成する。
図31Cは、RF部23を通じて伝送される合成動画像のパケット構造を示すものである。伝送される1フレーム合成画像パケットの全体サイズ(N)は必要により決定され、約200〜1500bytes程度に設定可能である。このとき、伝送されるパケットサイズはパケット毎に一定すべきである。パケットの構造において、まず44バイトのTCP/IPヘッダが連結され、7ビットのシーケンス番号が連結される。このシーケンス番号は生成されるパケットの順序を示すもので、0〜127番まで表示した後、さらに0番から挿入される。そして、シーケンス番号後に位置されるA/V 1ビットは該当するパケットの第1部分のデータがオーディオデータまたはJPEG画像データであるかを表示する値である。
JPEG画像の場合、一般に1フレームのサイズが5〜10kbytes程度で、したがって本発明の実施例によりRF部23を通じて伝送するときに使用されるパケットデータより大きい。それにより、1フレームのJPEG画像データは多数のパケットに伝送すべきである。このとき、フレーム画像データの第1パケットはイメージヘッダP及びLを付加する。イメージヘッダのPはパターン信号であって、パケットデータを受信する受信機でオーディオデータとテキスト信号とJPEG画像データを区分するために必要な値である。このイメージヘッダのLはJPEGフレームの全体サイズを示す値である。これは、受信機がパターン信号PによりJPEG画像と判断した後、長さLだけJPEG画像を読み出すためである。すると、受信機は受信されるパケットから長さLだけ受信されるデータを継続バッファリングしつつ、長さLだけのデータが受信されると、この受信されたデータをJPEG画像を復元する画像コーデック80に印加して再生させる。この後、1フレームのJPEG画像で第1パケットを伝送した後、続く残りのパケットはイメージヘッダなしに全体がJPEG画像データで詰めされる。
また、オーディオコーデック85が8kbps speech codecと仮定すれば、符号化されるオーディオデータは20msec毎に1フレーム(20bytes)のオーディオデータが生成される。このとき、一つのパケットで組み立てられるデータの最大サイズのN-45bytesになるまで連続して符号化したオーディオフレームデータを連結してオーディオパケットを生成する。例えば、Nが200の場合、17フレームと3/4フレーム(15bytes)のオーディオデータを束ねて一つのパケットを生成するようになる。しかし、一般に図31Aのようにテキスト信号が合成動画像信号の最前に位置され、オーディオフレーム間にJPEG画像が入力されるので、テキスト信号とJPEG画像、そしてオーディオ及びJPEG画像が混合される構造を有するようになる。
このパケット生成器245により、図31Bのように生成されるパケットデータはデータ処理部20を通じてチャンネル符号化及び変調された後、RF部23を通じて伝送される。
図32は基地局から合成動画像信号を受信してメモリ30に貯蔵し、貯蔵された合成動画像信号を再生する手続きを示すものである。図33は携帯電話機で合成動画像信号を受信して貯蔵すると同時に合成動画像信号を再生する構成を示すものである。図33の構成において、パケット分解器255、ヘッダ分析器250、スイッチ261、263、265、及びバッファ部270は制御部10の構成となる。図34A〜図34Cは、パケットデータを分解して合成動画像信号を生成する手続きを説明するためのものである。
図32を参照すれば、基地局からデータが受信されると、制御部10はステップ611でこれを感知し、ステップ613で合成動画像の受信有無を検査する。このとき、ステップ613で合成動画像が受信されたことを感知すれば、ステップ615で画像コーデック80及びオーディオコーデック85を駆動し、その後、受信されるパケットデータを分解してメモリ30に貯蔵し、合成動画像のパターンを分析して再生する。
このとき、受信される合成動画像はパケット形態で受信されるので、制御部10はステップ617でパケットを分解する。制御部10はステップ617で受信されるパケットを分解した後、ステップ619でメモリ30に貯蔵する。
この後、制御部10はステップ621でメモリ30に貯蔵された合成動画像のヘッダを分析してJPEG画像とオーディオデータ及び(または)テキストデータを分離する。このとき、制御部10はJPEG画像データであればJPEG画像データを画像コーデック80に伝送し、オーディオデータであればオーディオコーデック85に伝送し、テキストデータであれば表示部60に伝送する。すると、ステップ625で、JPEG画像は画像処理部50の表示画面生成部を通じて処理された後表示部60に表示され、オーディオはオーディオ処理部25を通じてスピーカで再生され、テキストは表示部60上に表示される。上記のように、ステップ617〜627を反復遂行しつつ、制御部10は受信されるパケットデータを分解してメモリ30に貯蔵し、メモリ30に貯蔵されたフレーム単位の合成動画像を再生する。その後、制御部10は合成動画像の受信が終了すれば、制御部10はステップ627でこれを感知し、ステップ629で受信された動画像の名前を入力するための動画像メニューを表示した後、入力される動画像情報により動画像メニューを登録し、動画像受信モードを終了する。
図33は、携帯電話機で動画像及びオーディオ信号が合成された動画像信号のパケットを受信して貯蔵及び再生する構成を示すものである。図33の構成で、パケット分解器255、ヘッダ分析器250、スイッチ261、263、265、バッファ部270は制御部10の構成にもなる。
図33の構成を説明すれば、パケットデータはRF部23及びデータ処理部20を処理した後パケット分解器255に受信される。このとき、受信されるパケットは図27A〜図27Eのような構造を有する。すると、パケット分解器255は受信されるパケットでTCP/IPヘッダを除去する。このとき、パケット分解器255はパケットのシーケンス番号により送信時に伝送された順序にパケットを処理することができ、またA/Vビットによりオーディオパケットであるか、あるいはJPEG画像パケットであるかを区分する。したがって、パケット分解器255は受信されるパケットを図10Bのような形態で分解でき、このような受信データをメモリ30に貯蔵する。上記のような動作は図34A〜図34Cに示す。
すると、メモリ30はパケット分解器255から出力される図10Bのような合成動画像を貯蔵するようになり、メモリ30に貯蔵された合成動画像はヘッダ分析器250により分析される。ヘッダ分析器250はメモリ30でアクセスされる合成動画像のヘッダを分析してJPEG画像及びオーディオを分離するためのスイッチ制御信号を発生する。スイッチ261は共通端子がメモリ30に連結され、第1出力端子がオーディオ信号をスイッチング出力するスイッチ263の共通端子に連結され、第2出力端子がイメージバッファ272に連結される。このバッファ部270のイメージバッファ(Img_Buf)272はスイッチ261から出力されるJPEG画像データをバッファリングする。第1及び第2オーディオバッファ(Aud_Buf)274及び276はそれぞれ符号化したオーディオデータをバッファリングする。スイッチ263は共通端子がスイッチ261の第1出力端子に連結され、第1出力端子が第1オーディオバッファ274の入力端に連結され、第2出力端子が第2オーディオバッファ276の出力端に連結される。また、スイッチ265は第1入力端子が第1オーディオバッファ274の出力端に連結され、第2入力端子が前記第2オーディオバッファ276の出力端に連結され、共通端子がオーディオコーデック85に連結される。スイッチ261及び263はイメージバッファ272の出力により制御される。したがって、バッファ部270はメモリ30から出力される合成画像からオーディオとJPEG画像を分離する分離器(splitter)機能を遂行する。オーディオコーデック85はスイッチ265から出力される符号化したオーディオ信号を復元して出力する。画像コーデック80はイメージバッファ272から出力されるJPEG画像データを復元して出力する。
図33の動作を説明すれば、受信されるパケットはパケット分解器255でTCP/IPヘッダが除去され、図33のような構成を通じてオーディオデータと画像データに分離された後、対応するコーデックで復元される。上記したように受信されたパケットはパケット分解器255で分解されてメモリ30に貯蔵され、その後、ヘッダ分析器250で分析され、その後の動作は図20での動作と同一に進行される。
上記したように本発明の実施例では、オーディオデータ及び連続する静止画像データを合成して合成動画像信号を生成することができ、この生成された合成動画像信号を画像及びオーディオに分離して同時に再生することができる。また、生成された合成動画像信号を伝送パケット形態に組み立てて基地局を通じて他の端末機またはサーバに伝送することができ、他の端末機またはサーバから合成動画像のパケットを受信して分解した後再生可能である。
図35は、携帯電話機で動画像信号とテキスト信号が合成された動画像信号を受信して貯蔵すると同時に、合成動画像信号を再生する構成を示すものである。図35の構成で、パケット分解器255、ヘッダ分析器250、スイッチ261、263、265、及びバッファ部270は制御部10の構成となる。
図35の構成において、パケットデータはRF部23及びデータ処理部20を通じて処理された後、パケット分解器255に受信される。このとき、受信されるパケットは図29Bのような構造を有する。パケット分解器255は受信されるパケットからTCP/IPヘッダを除去する。このとき、パケット分解器255はパケットのシーケンス番号により送信時に伝送される順序にパケットを処理することができ、またV/Tビットによりテキストパケット及びJPEG画像パケットを区分することができる。したがって、パケット分解器255は受信されるパケットを分解可能であり、この受信データをメモリ30に貯蔵する。このようにパケットを分解すれば、図29Aのような形態にメモリ30に貯蔵される。
すると、メモリ30に貯蔵された合成動画像信号はヘッダ分析器250により分析される。ヘッダ分析器250はメモリ30でアクセスされる合成動画像信号に含まれたテキストヘッダ及びイメージヘッダを分析してテキスト及びJPEG画像信号を分離するためのスイッチ制御信号を発生する。スイッチ261は共通端子がメモリ30に連結され、第1出力端子がイメージバッファ272に連結され、第2出力端子がテキストバッファ278に連結される。このバッファ部270のテキストバッファ278はスイッチ261から出力されるテキスト信号をバッファリングする。また、バッファ部270のイメージバッファ(Img_Buf)272はスイッチ261から出力されるJPEG画像データをバッファリングする。画像コーデック80はイメージバッファ272から出力されるJPEG画像データを復元して出力する。
図35の動作を説明すれば、前記受信されるパケットはパケット分解器255でTCP/IPヘッダが除去され、図36のような構成を通じてオーディオデータと画像データに分離された後対応するコーデックで復元される。上記したように受信されたパケットはパケット分解器255で分解されてメモリ30に貯蔵され、その後ヘッダ分析器250で分析される。この後の動作は図22と同一の手続きに進行される。
図36は携帯電話機で動画像、オーディオ及びテキスト信号が合成された動画像信号を受信して貯蔵すると同時に合成動画像信号を再生する構成を示すものである。図36の構成で、パケット分解器255、ヘッダ分析器250、スイッチ261、263、265、及びバッファ部270は制御部10の構成となる。図36の合成動画像信号はテキスト、JPEG画像及びオーディオ信号が合成された信号の場合を仮定する。
図36の構成において、パケットデータはRF部23及びデータ処理部20を通じて処理された後、パケット分解器255に受信される。このとき、受信されるパケット図31Bのような構造を有する。すると、パケット分解器255は受信されるパケットでTCP/IPヘッダを除去する。このとき、パケット分解器255はパケットのシーケンス番号により送信時に伝送された順にパケットを処理し、またA/V/Tビットによりテキストパケット、オーディオパケット、及びJPEG画像パケットを区分する。したがって、パケット分解器255は受信されるパケットを分解し、このような受信データをメモリ30に貯蔵する。上記のようにパケットを分解すれば、図31Aのような形態でメモリ30に貯蔵される。
すると、メモリ30に貯蔵された合成動画像信号はヘッダ分析器250により分析される。このヘッダ分析器250はメモリ30でアクセスされる合成動画像信号に含まれるテキストヘッダ及びイメージヘッダを分析してテキスト、JPEG画像及びオーディオ信号を分離するためのスイッチ制御信号を発生する。スイッチ261は共通端子がメモリ30に連結され、第1出力端子がオーディオ信号をスイッチング出力するスイッチ263の共通端子に連結され、第2出力端子がイメージバッファ272に連結され、第3出力端子がテキストバッファ278に連結される。バッファ部270のテキストバッファ278はスイッチ261から出力されるテキスト信号をバッファリングする。また、バッファ部270のイメージバッファ(Img_Buf)272はスイッチ261から出力されるJPEG画像データをバッファリングする。第1及び第2オーディオバッファ(Aud_Buf)274及び276はそれぞれ符号化したオーディオデータをバッファリングする。スイッチ263は共通端子がスイッチ261の第1出力端子に連結され、第1出力端子が第1オーディオバッファ274の入力端に連結され、第2出力端子が第2オーディオバッファ276の出力端に連結される。また、スイッチ265は第1入力端子が第1オーディオバッファ274の出力端に連結され、第2入力端子が第2オーディオバッファ276の出力端に連結され、共通端子がオーディオコーデック85に連結される。スイッチ261及び263はイメージバッファ272の出力により制御される。オーディオコーデック85はスイッチ265から出力される符号化したオーディオ信号を復元して出力する。画像コーデック80はイメージバッファ272から出力されるJPEG画像データを復元して出力する。
図36の動作において、受信されるパケットはパケット分解器255でTCP/IPヘッダが除去され、図36のような構成を通じてオーディオデータと画像データに分離された後、対応するコーデックで復元する。上記したように受信されたパケットはパケット分解器255で分解されてメモリ30に貯蔵され、その後、ヘッダ分析器250で分析される。この後の動作は図24と同一の手続きを遂行する。
図37はカメラ及び静止画像をコーディング符号化する画像コーデックを備える携帯電話機で、上記のような動作を遂行する手続きを示す流れ図である。
図37を参照すれば、カメラ部40を通じて画像を撮影して表示部60に表示しようとする場合、使用者はキー入力部27を通じてカメラ部40を駆動するためのキーデータを発生する。このとき、撮影モードを駆動するキーはキー入力部27のナビゲーションキー(navigation key)上に位置させ、あるいはメニューキーを利用してメニューに表示して選択することもできる。上記のように撮影モードが選択されると、制御部10はステップ711でこれを感知し、ステップ713でカメラ部40及び画像処理部50を制御して撮影される画像信号を受信できる経路を活性化させる。このとき、撮影モード時にカメラ部40は撮影される画像信号及び同期信号HREF及びVREFを発生する。ここで、HREF信号は水平同期信号となり、VREFは垂直同期信号、すなわちフレーム同期信号となる。
したがって、VREF信号が発生すれば、制御部10はこれをフレームスタートを意味し、それにより選択器319はLCDインターフェース部317の出力を選択する。すると、カメラ部40から出力される画像データは画像処理部50の画面表示生成部でライン単位(または、フレーム単位)で処理されて表示部60に伝達する。このとき、上記したようにスケーラ313はカメラ部40から出力されるCIF画像サイズを表示部60に画面サイズに合うようにスケーリングし、色変換器315はYUVフォーマットの画像信号をRGBフォーマットに変換して出力する。そして、LCDインターフェース部317はライン単位で受信される画像信号をバッファリングしつつ、表示部60のタイミングに合わせて表示部60に出力する。上記のようなメラ部40の画像信号表示動作は1フレームの画像信号伝送が終了するまでライン単位で反復される。
上記のような状態は、ステップ715のプレビュー画面(preview screen)を表示する状態で、このカメラ部40から撮影される画像信号が動画像に表示され、及び制御部10から出力される使用者データが表示される状態である。上記のように表示部60上にプレビュー画像が表示される状態で、使用者が表示される動画像を確認して特定時点を静止画像を獲得するための撮影命令が発生可能である。この撮影命令はキー入力部27上に特定機能キーを利用して具現でき、また表示部60上に表示されるメニューキーを利用して選択することもできる。撮影命令が発生すれば、制御部10はステップ717でこれを感知し、ステップ719で画像処理部50の画像コーデック80を駆動して選択されたフレームの画像データをJPEG画像データに符号化し、表示部60上にはJPEG符号化されたフレーム画像データを静止画面に表示する。そして、ステップ721では画像コーデック80で符号化されたJPEG画像データをメモリ30に貯蔵し、小画面生成部を通じて小画面を生成する。この後、制御部10は写真情報入力を案内するメニューを表示し、写真情報が入力されると、制御部10はステップ723でこれを感知し、ステップ725でJPEG画像データを小画面及び写真名と共に貯蔵して登録する。
この後、撮影モードが終了し、あるいはプレビュー画面表示状態で前記撮影モードの解除要求が発生すると、前記制御部10はステップ727でこれを感知し、撮影モードを終了する。
上記したように撮影モードではプレビュー画面を表示し、あるいは静止画面をキャプチャして貯蔵可能である。
また、ステップ711で撮影モードが選択されずに、使用者から合成動画像貯蔵モードが要求されると、制御部10はステップ731でこれを感知し、合成動画像貯蔵モードを遂行する。このとき、合成動画像貯蔵モードが選択されると、制御部10は動画像にオーディオ信号を合成するモード、動画像にテキスト信号を合成するモード及び動画像オーディオ及びテキスト信号を合成するモードを案内することもできる。このとき、使用者が該当する合成動画像の貯蔵モードを選択すれば、制御部10はステップ733で図7または図8、図11または図12、そして図15または図16のような過程を遂行しつつ、カメラ部40から撮影される画像データをフレーム単位でJPEG符号化する。このとき、JPEGフレーム画像は静止画像であるが、この画像コーデック80が連続してJPEG画像フレームを生成するので、動画像形態で発生する。そして、上記のように動画像形態で発生するJPEG画像データと前記画像と関連したオーディオデータ及び(または)テキスト信号を合成して合成動画像に生成してメモリ30に貯蔵する。
また、ステップ731で合成動画像貯蔵モードが選択されずに、使用者がメモリ30に貯蔵された合成動画像を選択して再生を要求すれば、制御部10はステップ741でこれを感知し、ステップ743で選択された合成動画像を再生する。このとき、制御部10は動画像にオーディオ信号が合成された動画像信号であれば、ステップ743で図19のような手続きを遂行しつつ合成動画像信号を再生し、動画像にテキスト信号が合成された動画像信号であれば、ステップ743で図21のような手続きを遂行しつつ合成動画像信号を再生し、動画像にオーディオ及びテキスト信号が合成された動画像信号であれば、ステップ743で図23のような手続きを遂行しつつ合成動画像信号を再生する。このとき、合成動画像の再生は合成されたJPEG画像とオーディオ及び(または)テキスト信号をそれぞれ分離した後、対応するコーデックを通じて再生する。
また、メモリ30に貯蔵された合成動画像は他の端末またはサーバに伝送可能である。このとき、伝送する方法は合成動画像を生成すると同時に伝送でき、メモリ30に一旦貯蔵してから必要時に伝送することもできる。ステップ741で合成動画像の再生が要求されずに、使用者が動画像伝送を要求すれば、この制御部10はステップ751及び753でこれを感知し、ステップ755で図25のような手続きで伝送する。
また、画像コーデック及びオーディオコーデックを備える携帯電話機の場合には他の端末またはサーバから伝送される合成動画像を受信して再生することができる。したがって、ステップ751で動画像の伝送が要求されずに、合成動画像が受信される場合、制御部10はステップ761及びステップ763を通じてこれを感知し、ステップ765で図32のような手続きで合成動画像を受信及び再生する動作を遂行する。