JP2004297632A - マイクロプロセッサ及び携帯通信端末 - Google Patents
マイクロプロセッサ及び携帯通信端末 Download PDFInfo
- Publication number
- JP2004297632A JP2004297632A JP2003089526A JP2003089526A JP2004297632A JP 2004297632 A JP2004297632 A JP 2004297632A JP 2003089526 A JP2003089526 A JP 2003089526A JP 2003089526 A JP2003089526 A JP 2003089526A JP 2004297632 A JP2004297632 A JP 2004297632A
- Authority
- JP
- Japan
- Prior art keywords
- baseband processor
- counter
- image data
- processor
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephone Function (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】動画処理と音声処理とが互いに異なるプロセッサで行われる場合の動画と音声の同期をとる。
【解決手段】ベースバンド処理を行うベースバンドプロセッサ(14)と対で使用されるマイクロプロセッサ(18)において、演算処理のための中央処理装置(183)と、上記中央処理装置での演算処理における時間計測を可能とするカウンタ(184)と、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路(187)とを設け、上記ベースバンドプロセッサは上記カウンタをリードすることにより、上記ベースバンドプロセッサでの処理を上記マイクロプロセッサにおける中央処理装置での処理に同期させる。
【選択図】 図1
【解決手段】ベースバンド処理を行うベースバンドプロセッサ(14)と対で使用されるマイクロプロセッサ(18)において、演算処理のための中央処理装置(183)と、上記中央処理装置での演算処理における時間計測を可能とするカウンタ(184)と、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路(187)とを設け、上記ベースバンドプロセッサは上記カウンタをリードすることにより、上記ベースバンドプロセッサでの処理を上記マイクロプロセッサにおける中央処理装置での処理に同期させる。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサと対で使用されるマイクロプロセッサ及びそれを含む携帯通信端末に関する。
【0002】
【従来の技術】
携帯通信端末の一例である携帯電話は、音声信号を入力するスピーカ、音声信号を出力するマイクロホン、コーデック(コーダ・デコーダ)、このコーデックで受信されたオーディオ入力信号及びオーディオ出力信号を処理し、ベースバンドモデム処理を行うベースバンドプロセッサ、処理されたオーディオ信号を送信及び受信するためのアンテナに接続されたラジオ周波数モジュールなどを含んで成る(例えば特許文献1参照)。
【0003】
また、第三世代の携帯電話の重要なアプリケーションとしてテレビ電話が期待されている。テレビ電話においては、受信した映像情報を映像情報駆動部から結像光学系を通して使用者の目の網膜上に虚像を形成させるようにしている(例えば特許文献2参照)。
【0004】
【特許文献1】
特許公開平8−37546号公報
【特許文献2】
特許公開2002−152626号公報
【0005】
【発明が解決しようとする課題】
テレビ電話における動画処理には高速性が要求されることから、携帯電話においては、ベースバンドモデム処理を行うベースバンドプロセッサとは別に、カメラモジュールからの画像データやマイクロホンからの音声を処理するためのマイクロプロセッサが搭載される。このように動画のための画像データやそれに対応する音声データを処理するためのマイクロプロセッサは、上記ベースバンドモデム処理を行うベースバンドプロセッサと区別するために、アプリケーションプロセッサと称される。
【0006】
アプリケーションプロセッサでは次のような処理が行われる。
【0007】
カメラモジュールは、電源が投入されると、その時点から画像データの転送を開始し、1フレーム分の画像データの転送が完了する度にアプリケーションプロセッサに対し割り込みをかける。アプリケーションプロセッサは、上記割り込み信号を使って動画像圧縮プログラムを起動して、キャプチャされた1フレーム分の画像データを圧縮する。この動作が周期的に繰り返される。圧縮する画像のフレームレートの変更はキャプチャされた画像を適当な間隔で間引くことで実現する。また、上記の割り込み処理の中で音声データ転送用DMAC(ダイレクト・メモリ・アクセス・コントローラ)に起動信号を送る。音声データ転送用DMACは、音声データの転送を開始し、圧縮処理の単位である1ブロック(通常は160サンプル)転送完了する毎に割り込みを発生する。この割り込みを用いて音声圧縮プログラムが周期的にスケジューリングされる。動画像圧縮及び伸張処理や、音声圧縮及び伸張処理はアプリケーションプロセッサに含まれるDSP(ディジタル・シグナル・プロセッサ)を用いて行われる。上記手順により最初の画像データのフレーム境界と最初の音声ブロックの境界をあわせることができ、画像と音声の同期をとることができる。
【0008】
テレビ電話端末が準拠するプロトコル(3G−324M)では、音声コーデックとして、AMR(Adaptive Multi Rate)が規格化されているが、これは第三世代の携帯電話における標準音声コーデックでもある。これについて本願発明者が検討したところ、携帯電話において、上記のように、ベースバンドプロセッサとは別にアプリケーションプロセッサを設け、このアプリケーションプロセッサにおいて動画像圧縮及び伸張処理や、音声圧縮及び伸張処理を行う場合には、ベースバンドプロセッサとアプリケーションプロセッサとの双方において、同一機能を有する音声コーデックが搭載されることになり、経済的ではないことが見いだされた。全ての音声処理をベースバンドプロセッサで行うことにより、アプリケーションプロセッサから音声処理を行う回路を省略することが考えられる。しかし、動画とそれに対応する音声との間で再生タイミングを合わせなければならないことを考慮すると、アプリケーションプロセッサにおいて処理された動画と、ベースバンドプロセッサにおいて処理された音声との間で同期をとるための工夫が必要とされる。
【0009】
本発明の目的は、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期をとるための技術を提供することにある。
【0010】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【0011】
【課題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【0012】
すなわち、電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるマイクロプロセッサにおいて、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を可能とするカウンタと、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路とを設ける。
【0013】
上記の手段によれば、上記ベースバンドプロセッサは上記カウンタをリードすることができるので、上記ベースバンドプロセッサでの処理を上記マイクロプロセッサにおける中央処理装置での処理に同期させることができる。このことが、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期をとることを可能とする。
【0014】
このとき、カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサを設けることができ、上記中央処理装置は、カメラモジュールから1フレーム分の画像データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて上記1フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットするように構成することができる。
【0015】
上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを設けることができ、その場合において、上記音声データ及び上記動画データは、上記動画像のフレーム境界を基点とする時間情報が所定のブロック単位でヘッダとして付加されたデータ構造を採用することにより、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。また、上記音声データ及び上記動画データは、互いに同期するデータ単位でまとめられた固定時間データ長構造を採用した場合でも、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。
【0016】
上記ベースバンドプロセッサによってコマンドを設定可能なコマンドレジスタと、上記ベースバンドプロセッサによってアドレス信号を設定可能なアドレスレジスタと、上記ベースバンドプロセッサによってリードライト可能なデータレジスタと、上記コマンドレジスタに設定されたコマンドをデコードするコマンドデコーダと、上記アドレスレジスタのアドレス信号をデコードするアドレスデコーダとを含んだ上記ベースバンドプロセッサと対で使用されるマイクロプロセッサにおいては、上記アドレスデコーダのデコード結果に基づいて上記カウンタが選択され、上記コマンドデコーダのデコード結果に基づいて、上記カウンタの保持情報を上記データレジスタに転送可能な経路が選択的に形成される。かかる構成においては、カウンタを常時ベースバンドインタフェースに接続する必要がないので、ベースバンドインタフェースの貴重なリソースを節約することができる。
【0017】
また、上記ベースバンドプロセッサと対で使用されるマイクロプロセッサにおいて、上記中央処理装置には、カメラモジュールから1フレーム分の画像データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて上記1フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットし、且つ、割り込み要因が上記カウンタのリセットであることを示す情報ビットを上記割り込み要因情報レジスタに設定するとともに、上記ベースバンドプロセッサに対して割り込み信号を送出する処理を含めることができる。この場合、ポーリングではなく、割り込みを用いていることから、ベースバンドプロセッサの待ち時間を別の処理に割り当てることができる。
【0018】
さらに、上記構成のマイクロプロセッサとベースバンドプロセッサを含んで携帯通信端末を構成することができる。
【0019】
例えば、電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサと、上記ベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるアプリケーションプロセッサとを含む携帯通信端末において、上記アプリケーションプロセッサは、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路とを含む。
【0020】
このとき、動画データを得るためのカメラモジュールと、上記カメラモジュールから転送された動画データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサとを含めることができ、その場合において上記中央処理装置は、上記カメラモジュールから1フレーム分の動画データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて、上記1フレーム分の動画データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットするように構成することができる。
【0021】
また、その場合において、オフラインでのビデオメールにおいても音声と動画像との同期をとれるようにするために、上記音声データと上記動画データとに、上記動画像のフレーム境界を基点とする時間情報が所定のブロック単位でヘッダとして付加されたデータ構造や、上記音声データと上記動画データとは、互いに同期するデータ単位でまとめられたデータ構造を採用することができる。
【0022】
さらに、カウンタを常時ベースバンドインタフェースに接続しないようにして、ベースバンドインタフェースの貴重なリソースを節約するために、上記アプリケーションプロセッサにおいても、上記ベースバンドプロセッサによってコマンドを設定可能なコマンドレジスタと、上記ベースバンドプロセッサによってアドレス信号を設定可能なアドレスレジスタと、上記ベースバンドプロセッサによってリードライト可能なデータレジスタと、上記コマンドレジスタに設定されたコマンドをデコードするコマンドデコーダと、上記アドレスレジスタのアドレス信号をデコードするアドレスデコーダとを設け、上記アドレスデコーダのデコード結果に基づいて上記カウンタが選択され、上記コマンドデコーダのデコード結果に基づいて、上記カウンタの保持情報を上記データレジスタに転送可能な経路が選択的に形成されるようにすると良い。
【0023】
そして、ベースバンドプロセッサの待ち時間を別の処理に割り当て可能とするために、上記ベースバンドプロセッサと対で使用されるアプリケーションプロセッサとを含む携帯通信端末においても、上記アプリケーションプロセッサは、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサからリード可能な割り込み要因情報レジスタと、カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサとを設け、上記中央処理装置においては、カメラモジュールから1フレーム分の画像データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて上記1フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットし、且つ、割り込み要因が上記カウンタのリセットであることを示す情報ビットを上記割り込み要因情報レジスタに設定するとともに、上記ベースバンドプロセッサに対して割り込み信号を送出する処理を含めるようにすると良い。
【0024】
【発明の実施の形態】
図5には、本発明にかかる携帯通信端末の一例とされる携帯テレビ電話が示される。図5に示される携帯テレビ電話は、特に制限されないが、音声を取り込むためのマイクロフォン(「マイク」という)11、音声を出力するためのスピーカ12、音声信号の形式変換を行うための音声用AD/DA(アナログ・ディジタル/ディジタル・アナログ)変換器13、電波を使ってやり取りされる情報の信号処理を可能とするベースバンドプロセッサ14、所定の周波数の電波を使って送受信を行うためのRF(ラジオ周波)回路15、RF回路15による送受信を可能とするアンテナ16、動画を取り込むためのカメラモジュール17、主として動画処理を行うためのアプリケーションプロセッサ18、画像データが格納されるRAM(ランダム・アクセス・メモリ)19、液晶駆動のためのLCD(液晶)ドライバ20、表示のためのフレーム画像を記憶するためのVRAM(ビデオ・ランダム・アクセス・メモリ)21、及び画像表示のためのLCD表示部22とを含む。
【0025】
上記ベースバンドプロセッサ14は、電波を使って情報のやり取りを可能とするためのベースバンド処理機能を有し、特に制限されないが、音声信号の入出力を可能とする音声インタフェース(I/F)141、音声データや演算処理に必要なデータが格納されるRAM142、ダイレクトメモリアクセスを可能とするDMA(ダイレクト・メモリ・アクセス)コントローラ143、予め設定されたプログラムに従って演算処理を行うためのCPU(中央処理装置)144、ディジタル信号の変調処理や復調処理を行うためのモデム145、音声信号処理を行う音声用DSP(ディジタル・シグナル・プロセッサ)146を含み、公知の半導体集積回路製造技術により単結晶シリコン基板などの一つの半導体基板に形成される。
【0026】
アプリケーションプロセッサ18は、特に制限されないが、カメラモジュール17からの画像データの取り込みを可能とする画像インタフェース(I/F)181、画像インタフェース181からのV_Sync割り込み信号に基づいてCPU183に割り込み処理を要求する割り込み制御回路182、予め設定されたプログラムに従って演算処理を行うためのCPU(中央処理装置)183、上記CPU183での時間計測を行うためのカウンタ184、動画データの圧縮処理や伸張処理を行う画像用DSP(ディジタル・シグナル・プロセッサ)185、音声データや画像データが格納されるRAM(ランダム・アクセス・メモリ)186、ベースバンドプロセッサ14との間での信号のやり取りを可能とするBBI/F(ベースバンドインタフェース)187、及び外部メモリとの間でデータのやり取りを可能とする外部メモリI/F(インタフェース)188を含み、公知の半導体集積回路製造技術により単結晶シリコン基板などの一つの半導体基板に形成される。
【0027】
図1には、上記携帯テレビ電話の主要部と、データ記録時におけるデータの流れが示される。また、図2には、このデータ記録時における主要部の動作タイミングが示される。
【0028】
アプリケーションプロセッサ18においては、ベースバンドプロセッサ14との間での信号のやり取りを可能とするベースバンドインタフェース187が設けられているため、アプリケーションプロセッサ18内で時間計測に使われるカウンタ184をベースバンドプロセッサ14からリードすることができる。
【0029】
カメラモジュール17は、電源が投入されると、その時点から画像データのメモリ転送を開始し、1フレーム分の画像データがRAM186に転送される毎にアプリケーションプロセッサ18に対し割り込み信号を出力する。カメラモジュール17からの割り込みは、画像インタフェース181で抽出され、V_Sync割り込み信号として割り込み制御回路182へ伝達される。この割り込み制御回路182は、V_Sync割り込み信号に基づいてCPU183に割り込み処理を要求する。CPU183は、この割り込み要求に応じて動画像圧縮プログラムを起動する。この動画像圧縮プログラムが起動されることにより、RAM186内の上記1フレーム分の画像データが画像用DSP185に伝達され、そこで所定のアルゴリズムにより圧縮される。圧縮された画像データは再びRAM186に格納される。この動作が周期的に繰り返されることにより、RAM186に、圧縮動画データが形成される。また、CPU182は、上記動画像圧縮プログラムの実行により、上記時間計測に用いるカウンタ184をリセットする。カウンタ184は、図2に示されるように、システムクロック信号などを計測することにより、そのカウンタ出力値が0から順次更新されているが、上記CPU183によりリセットされた場合には、そのカウンタ出力値が「0」に戻される。カウンタ184のリセットは、V_Sync割り込み信号に起因するものであるから、画像データのフレーム境界ではカウンタ184の出力値が必ず「0」になる。このため、このカウンタ184の出力値をモニタすることにより、画像データのフレーム境界を知ることができる。
【0030】
ベースバンドプロセッサ14は、ベースバンドインターフェース187を介して上記カウンタ184をポーリングし、上記カウンタ184の出力値が最初に「0」になった時点で、音声データ転送用のDMAコントローラ143に起動信号を送る。これによりDMAコントローラ143は、マイク11から音声用AD/DA変換器13及び音声インタフェース141を介して伝達された音声データをRAM142へ転送する(DMA転送)。DMAコントローラ143は、音声データのDMA転送を開始した後、圧縮処理の単位である1ブロック(通常は160サンプル)の転送が完了する毎に、CPU144に対して割り込みを発生する。ベースバンドプロセッサ14では、このCPU144に対する割り込みを用いて音声圧縮プログラムが周期的にスケジューリングされる。音声データの圧縮処理や伸張処理は音声用DSP146で行われる。音声用DSP146で圧縮された音声データはRAM142に書き込まれる。
【0031】
上記手順により最初の画像データのフレーム境界と最初の音声ブロックの境界を合わせることができ、画像と音声の同期をとることが可能となる。すなわち最初に圧縮される画像フレームと音声ブロックの開始時刻を等しくすることができる。上記動画像フレーム境界を同期ポイントとして両プロセッサが動画像データと音声データの入出力処理と圧縮伸張処理を開始することでオンラインである携帯テレビ電話での同期をとることができる。上記RAM142内の圧縮音声データは、ベースバンドインタフェース187を介してRAM186に書き込まれる。そして、CPU183により、RAM186内の圧縮音声データと圧縮動画像データとが多重化されてからベースバンドプロセッサ14におけるRAM142に伝達され、モデム145により変調されてからRF回路15を介して送信される。
【0032】
また、圧縮動画像データ及び圧縮音声データのブロックに、上記フレーム境界を基点とする絶対時間又は記録時間(開始タイミング)の情報を付加することにより、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。すなわち、図3に示されるように、動画像データの各ブロックの先頭にはヘッダが付加され、このヘッダにはそれに続く動画像データの基点からの開始タイミングが示される。例えばヘッダの情報が100msの場合にはそれに続く動画像データは、先頭の動画像データから100ms後に開始される。同様に音声データの各ブロックの先頭にはヘッダが付加され、このヘッダにはそれに続く音声データの開始タイミングが示される。このように圧縮動画像データ及び圧縮音声データのブロックに、上記フレーム境界を基点とする絶対時間又は記録時間の情報が付加されることにより、オフラインのビデオメールにおいては、上記ヘッダのの時間情報に基づいて動画及び音声を再生することができる。
【0033】
さらに、図4に示されるように、動画と音声との同期データ単位で圧縮データをまとめて扱うことにより、オフラインのビデオメールにおいても動画像と音声との同期をとることができる。図4に示される例では、100ms分の動画像データ(10fpsでの1フレーム分)と、5個の20ms分の音声データとが同期データの単位として一緒に転送される。オフラインでの再生時には、例えば100ms分の動画像データに対して5個の20ms分の音声データが再生されることでそれら間の同期をとることができる。
【0034】
次に、動画及び音声の再生動作について、図5及び図6を参照しながら詳述する。
【0035】
図5には再生時におけるデータの流れが示され、図6には再生時における主要部の動作タイミングが示される。
【0036】
多重化されたデータがRF回路15を介して送信され、それが別の携帯テレビ電話によって受信される。すなわち、別の携帯テレビ電話においては、RF回路15を介して受信され、モデム145で復調されてから、ベースバンドインタフェース187を介してRAM186に格納される。
【0037】
カメラモジュール17は、電源が投入されると、その時点から画像データのメモリ転送を開始し、1フレーム分の画像データの転送が完了する度にアプリケーションプロセッサ18に対して割り込みをかける。動画像の再生も、この割り込みに同期して行われる。
【0038】
アプリケーションプロセッサ18では、上記の割り込み信号を使って動画像再生プログラムを起動して、RAM186内の1フレーム分の画像データを伸張する。この伸張処理は、画像用DSP185によって行われる。そして伸張された画像データは、外部のRAM19を経由してVRAM(ビデオ・ランダム・アクセス・メモリ)に書き込まれる。この動作が周期的に繰返される。
【0039】
アプリケーションプロセッサ18は動画再生モードに入った最初の画像フレーム割り込み処理の中で上記時間計測に用いるカウンタ184をリセットする。これにより、以降の画像データのフレーム境界ではカウンタ184が必ず「0」になるので、ベースバンドプロセッサ14はこのカウンタ184をモニタすることにより、画像データのフレーム境界を知ることができる。
【0040】
アプリケーションプロセッサ18は、上記カウンタ184が最初に「0」になった時点から画像データのフレーム境界で起動される。再生された動画像データは、上記カウンタ184が2回目に「0」になった時点からLCD表示部22に表示される。
【0041】
アプリケーションプロセッサ18が動画再生モードに入ると、ベースバンドプロセッサ14は、圧縮音声データをRAM186からベースバンドインタフェース187を介して受け取る。
【0042】
ベースバンドプロセッサ14では、図6に示されるように、ベースバンド・インターフェース187を介してカウンタ184をポーリングし、カウンタ184が最初に「0」になった時点で一回だけ音声伸張処理を行い、ウェイト状態になる。伸張された音声ブロックはRAM142に格納される。
【0043】
ベースバンドプロセッサ14は、上記カウンタ184を引き続きポーリングしていて、カウンタ184の出力値が「N2」になるまで待つ。カウンタ184の出力値が「N2」なった時点で音声データ転送用のDMAコントローラ143に起動信号を送る。DMAコントローラ143は、音声データの転送を開始し、伸張処理の単位である1ブロック(通常は160サンプル)の転送を完了する毎に割り込みを発生する。ベースバンドプロセッサ14では、この割り込みを用いて音声伸張プログラムが周期的にスケジューリングされる。N2は、動画像表示が開始される画像フレーム境界から音声ブロック時間だけ遡った時点でのカウンタ値である。
【0044】
ベースバンドプロセッサ14は、引き続き上記カウンタ184をポーリングして、上記カウンタ184の出力値が2回目に「0」になった時点でスピーカ12のミュートを解除する。最初に伸張された音声ブロックは、このとき、ちょうど転送が終了してスピーカ12からの音声出力が開始される。
【0045】
上記の手順により、再生時の最初の画像データのフレーム境界と最初の音声ブロックの境界をあわせることができ、画像と音声の同期をとることが可能となる。すなわち最初に表示される画像フレームと出力される音声ブロックの開始タイミングを等しくすることができる。
【0046】
上記の例によれば、以下の作用効果を得ることができる。
【0047】
(1)演算処理のためのCPU183と、上記CPU183での演算処理における時間計測を可能とするカウンタ184と、ベースバンドプロセッサ14から上記カウンタ184のリードを可能とするためのベースバンドインタフェース回路187とを設けることにより、上記ベースバンドプロセッサは上記カウンタをリードすることができるので、上記ベースバンドプロセッサでの処理をCPU183での処理に同期させることができるため、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期をとることができる。
【0048】
(2)図3に示されるように、圧縮動画像データ及び圧縮音声データのブロックに、上記フレーム境界を基点とする絶対時間又は記録時間(開始タイミング)の情報を付加することにより、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。
【0049】
(3)図4に示されるように動画と音声との同期データ単位で圧縮データをまとめて扱うようにしても、オフラインのビデオメールにおいて動画像と音声との同期をとることができる。
【0050】
以上本発明者によってなされた発明を具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【0051】
例えば、アプリケーションプロセッサ18からベースバンドプロセッサ18に対する割り込みの要因の一つにカウンタ・クリア割り込みを加えることができる。そして割り込み要因がカウンタ・クリアであること示す情報ビットをベースバンドインタフェース187を介してアプリケーションプロセッサ18から読み出せるようにする。
【0052】
後は上記の例と同様にカメラモジュール17は、電源がオンになるとその時点から画像データのメモリ転送を開始し、1フレーム分の画像データの転送が完了する度にアプリケーションプロセッサ18に対し割り込みをかける。アプリケーションプロセッサ18は、上記の割り込み信号を使って動画像圧縮プログラムを起動してキャプチャされた1フレーム分の画像データを圧縮する。この動作を周期的に繰り返す。アプリケーションプロセッサ18は、上記の割り込み処理の中で上記カウンタ184をリセット、割り込み要因がカウンタリセットであること示す情報ビットをベースバンドインタフェース187における所定のレジスタにセットする同時にベースバンドプロセッサ14に割り込み信号を送る。割り込まれたベースバンドプロセッサは、ベースバンドインタフェース187を通して上記割り込み要因がカウンタリセットであること示す情報ビットを確認して音声データブロック転送のためにDMA143に起動信号を送る。それ以降の動作は上記の例と同じである。本例は、上記例の場合のようなポーリングでなく、割り込みを用いるので、ベースバンドプロセッサの待ち時間を別の処理に有効に使うことが可能となる。
【0053】
図8には、時間計測に用いるカウンタ184をベースバンドインタフェース187から間接アクセスする場合の主要部の構成例が示される。
【0054】
この構成を用いれば、上記カウンタ184の出力値を常時モニタする必要がないのでベースバンドインタフェース187の貴重なリソースを節約できる。ベースバンドインタフェース187には、3個のレジスタ、すなわち、アドレス(ADR)レジスタ91、コマンド(CMD)レジスタ92、データ(DATA)レジスタ93を用いて共有リソースである上記カウンタ184やRAM186をアクセスする。上記ベースバンドインタフェース187における3つのレジスタ91〜93は、ベースバンドプロセッサ14からダイレクトにアクセスできる。上記カウンタ184やRAM186は、CPU183によって管理されるアドレス空間に割り付けられる。セレクタ81はアドレスレジスタ91の出力値と、内部アドレスバスの値とを選択的にアドレスデコーダ82伝達する。アドレスデコーダ82は、上記セレクタ81を介して伝達されたアドレス信号をデコードすることにより、上記カウンタ184及びRAM186をアクセスするための信号を生成する。セレクタ83は、データレジスタ93と内部データバスとを選択的にカウンタ184及びRAM186に結合される。そして、アプリケーションプロセッサ18内には、コマンドレジスタ92から出力されたコマンドをデコードするためのコマンドデコーダ84及びこのコマンドデコーダ84の出力信号に従ってカウンタ184,186のリードライト動作や、セレクタ81,83の動作を制御するためのコントローラ85が設けられる。
【0055】
ここで、ベースバンドプロセッサ14から上記カウンタ184をアクセスする手順について説明する。
【0056】
まず、アドレスレジスタ91に上記カウンタ184のアドレスを書き込む。続いてコマンドレジスタ92にリードコマンドを書き込む。このリードコマンドがコマンドデコーダ84でデコードされ、そのデコード結果に基づいてコントローラ85は各部の動作制御信号を生成する。それにより、アドレスレジスタ91のアドレス信号がセレクタ81を介してアドレスデコーダ82に伝達される。また、カウンタ184がセレクタ83を介してデータレジスタ93に結合され、カウンタ184の内容がセレクタ83を介してデータレジスタ93に伝達される。データレジスタ93は、ベースバンドプロセッサ14から直接アクセス可能であることから、上記によりベースバンドプロセッサ14から上記カウンタ184をアクセスすることができる。また、RAM186のアドレスをアドレスレジスタ91に設定することにより、RAM186の読み出しを行うことができる。さらに、コマンドレジスタにライトコマンドを設定すれば、カウンタ184やRAM186の書き込みを行うことができる。そして、アプリケーションプロセッサ18によってカウンタ184やRAM186の内部アクセスが行われる場合には、内部アドレスバスがセレクタ81を介してアドレスデコーダ82に結合され、内部データバスセレクタ83を介してカウンタ184やRAM186に結合される。
【0057】
尚、上記カウンタ184のリセットは、上記カウンタ184への「0」書き込みによって可能とされる。
【0058】
次に、図8に示される間接アクセス方式における同期の解像度について考察する。画像フレームは早くても30Hz、音声サンプルは8kHzであるので音声サンプル間隔の方が厳しい。よって同期処理のオーバーヘッドが音声サンプル間隔に比較してどの程度かを見積もればよい。ベースバンドインタフェース187の動作周波数は普通20MHz程度である。よって1音声サンプル間に20MHz/8kHz=2500サイクル存在する。同期処理のオーバーヘッドは上記カウンタ184をモニタすることで「0」判定をしてDMAコントローラ143に起動をかけるだけであるので数十サイクル程度と見積もれる。よって同期処理のオーベーヘッド時間は音声サンプル間隔の100分の1程度となり、図8に示される間接アクセス方式を採用しても特に支障がないことは明らかである。
【0059】
以上の説明では主として本発明者によってなされた発明をその背景となった利用分野である携帯テレビ電話に適用した場合について説明したが、本発明はそれに限定されるものではなく、各種携帯通信端末に広く適用することができる。
【0060】
本発明は、少なくとも情報のやり取りを行うことを条件に適応することができる。
【0061】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
【0062】
すなわち、ベースバンドプロセッサはカウンタをリードすることができるので、上記ベースバンドプロセッサでの処理をマイクロプロセッサにおける中央処理装置での処理に同期させることができ、それによって、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期を容易にとることができる。
【図面の簡単な説明】
【図1】本発明にかかる携帯通信端末の一例である携帯テレビ電話の主要部の構成例ブロック図である。
【図2】上記携帯テレビ電話のデータ記録時における主要部の動作説明図である。
【図3】上記携帯テレビ電話で取り扱われるデータの形式説明図である。
【図4】上記携帯テレビ電話で取り扱われるデータの形式説明図である。
【図5】上記携帯テレビ電話の全体的な構成例ブロック図である。
【図6】上記携帯テレビ電話において画像及び音声が再生される場合の動作説明図である。
【図7】上記携帯テレビ電話における主要部の別の構成例ブロック図である。
【図8】上記携帯テレビ電話における主要部の別の構成例ブロック図である。
【符号の説明】
11 マイク
12 スピーカ
13 音声用AD/DA変換器
14 ベースバンドプロセッサ
15 RF回路
16 アンテナ
17 カメラモジュール
18 アプリケーションプロセッサ
19 RAM
20 LCDドライバ
21 VRAM
22 LCD表示部
81,83 セレクタ
82 アドレスデコーダ
84 コマンドデコーダ
85 コントローラ
91 アドレスレジスタ
92 コマンドレジスタ
93 データレジスタ
141 音声インタフェース
142 RAM
143 DMAコントローラ
144 CPU
145 モデム
146 音声用DSP
181 画像インタフェース
182 割り込み制御回路
183 CPU
184 カウンタ
185 画像用DSP
186 RAM
【発明の属する技術分野】
本発明は、電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサと対で使用されるマイクロプロセッサ及びそれを含む携帯通信端末に関する。
【0002】
【従来の技術】
携帯通信端末の一例である携帯電話は、音声信号を入力するスピーカ、音声信号を出力するマイクロホン、コーデック(コーダ・デコーダ)、このコーデックで受信されたオーディオ入力信号及びオーディオ出力信号を処理し、ベースバンドモデム処理を行うベースバンドプロセッサ、処理されたオーディオ信号を送信及び受信するためのアンテナに接続されたラジオ周波数モジュールなどを含んで成る(例えば特許文献1参照)。
【0003】
また、第三世代の携帯電話の重要なアプリケーションとしてテレビ電話が期待されている。テレビ電話においては、受信した映像情報を映像情報駆動部から結像光学系を通して使用者の目の網膜上に虚像を形成させるようにしている(例えば特許文献2参照)。
【0004】
【特許文献1】
特許公開平8−37546号公報
【特許文献2】
特許公開2002−152626号公報
【0005】
【発明が解決しようとする課題】
テレビ電話における動画処理には高速性が要求されることから、携帯電話においては、ベースバンドモデム処理を行うベースバンドプロセッサとは別に、カメラモジュールからの画像データやマイクロホンからの音声を処理するためのマイクロプロセッサが搭載される。このように動画のための画像データやそれに対応する音声データを処理するためのマイクロプロセッサは、上記ベースバンドモデム処理を行うベースバンドプロセッサと区別するために、アプリケーションプロセッサと称される。
【0006】
アプリケーションプロセッサでは次のような処理が行われる。
【0007】
カメラモジュールは、電源が投入されると、その時点から画像データの転送を開始し、1フレーム分の画像データの転送が完了する度にアプリケーションプロセッサに対し割り込みをかける。アプリケーションプロセッサは、上記割り込み信号を使って動画像圧縮プログラムを起動して、キャプチャされた1フレーム分の画像データを圧縮する。この動作が周期的に繰り返される。圧縮する画像のフレームレートの変更はキャプチャされた画像を適当な間隔で間引くことで実現する。また、上記の割り込み処理の中で音声データ転送用DMAC(ダイレクト・メモリ・アクセス・コントローラ)に起動信号を送る。音声データ転送用DMACは、音声データの転送を開始し、圧縮処理の単位である1ブロック(通常は160サンプル)転送完了する毎に割り込みを発生する。この割り込みを用いて音声圧縮プログラムが周期的にスケジューリングされる。動画像圧縮及び伸張処理や、音声圧縮及び伸張処理はアプリケーションプロセッサに含まれるDSP(ディジタル・シグナル・プロセッサ)を用いて行われる。上記手順により最初の画像データのフレーム境界と最初の音声ブロックの境界をあわせることができ、画像と音声の同期をとることができる。
【0008】
テレビ電話端末が準拠するプロトコル(3G−324M)では、音声コーデックとして、AMR(Adaptive Multi Rate)が規格化されているが、これは第三世代の携帯電話における標準音声コーデックでもある。これについて本願発明者が検討したところ、携帯電話において、上記のように、ベースバンドプロセッサとは別にアプリケーションプロセッサを設け、このアプリケーションプロセッサにおいて動画像圧縮及び伸張処理や、音声圧縮及び伸張処理を行う場合には、ベースバンドプロセッサとアプリケーションプロセッサとの双方において、同一機能を有する音声コーデックが搭載されることになり、経済的ではないことが見いだされた。全ての音声処理をベースバンドプロセッサで行うことにより、アプリケーションプロセッサから音声処理を行う回路を省略することが考えられる。しかし、動画とそれに対応する音声との間で再生タイミングを合わせなければならないことを考慮すると、アプリケーションプロセッサにおいて処理された動画と、ベースバンドプロセッサにおいて処理された音声との間で同期をとるための工夫が必要とされる。
【0009】
本発明の目的は、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期をとるための技術を提供することにある。
【0010】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【0011】
【課題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【0012】
すなわち、電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるマイクロプロセッサにおいて、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を可能とするカウンタと、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路とを設ける。
【0013】
上記の手段によれば、上記ベースバンドプロセッサは上記カウンタをリードすることができるので、上記ベースバンドプロセッサでの処理を上記マイクロプロセッサにおける中央処理装置での処理に同期させることができる。このことが、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期をとることを可能とする。
【0014】
このとき、カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサを設けることができ、上記中央処理装置は、カメラモジュールから1フレーム分の画像データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて上記1フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットするように構成することができる。
【0015】
上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを設けることができ、その場合において、上記音声データ及び上記動画データは、上記動画像のフレーム境界を基点とする時間情報が所定のブロック単位でヘッダとして付加されたデータ構造を採用することにより、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。また、上記音声データ及び上記動画データは、互いに同期するデータ単位でまとめられた固定時間データ長構造を採用した場合でも、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。
【0016】
上記ベースバンドプロセッサによってコマンドを設定可能なコマンドレジスタと、上記ベースバンドプロセッサによってアドレス信号を設定可能なアドレスレジスタと、上記ベースバンドプロセッサによってリードライト可能なデータレジスタと、上記コマンドレジスタに設定されたコマンドをデコードするコマンドデコーダと、上記アドレスレジスタのアドレス信号をデコードするアドレスデコーダとを含んだ上記ベースバンドプロセッサと対で使用されるマイクロプロセッサにおいては、上記アドレスデコーダのデコード結果に基づいて上記カウンタが選択され、上記コマンドデコーダのデコード結果に基づいて、上記カウンタの保持情報を上記データレジスタに転送可能な経路が選択的に形成される。かかる構成においては、カウンタを常時ベースバンドインタフェースに接続する必要がないので、ベースバンドインタフェースの貴重なリソースを節約することができる。
【0017】
また、上記ベースバンドプロセッサと対で使用されるマイクロプロセッサにおいて、上記中央処理装置には、カメラモジュールから1フレーム分の画像データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて上記1フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットし、且つ、割り込み要因が上記カウンタのリセットであることを示す情報ビットを上記割り込み要因情報レジスタに設定するとともに、上記ベースバンドプロセッサに対して割り込み信号を送出する処理を含めることができる。この場合、ポーリングではなく、割り込みを用いていることから、ベースバンドプロセッサの待ち時間を別の処理に割り当てることができる。
【0018】
さらに、上記構成のマイクロプロセッサとベースバンドプロセッサを含んで携帯通信端末を構成することができる。
【0019】
例えば、電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサと、上記ベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるアプリケーションプロセッサとを含む携帯通信端末において、上記アプリケーションプロセッサは、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路とを含む。
【0020】
このとき、動画データを得るためのカメラモジュールと、上記カメラモジュールから転送された動画データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサとを含めることができ、その場合において上記中央処理装置は、上記カメラモジュールから1フレーム分の動画データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて、上記1フレーム分の動画データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットするように構成することができる。
【0021】
また、その場合において、オフラインでのビデオメールにおいても音声と動画像との同期をとれるようにするために、上記音声データと上記動画データとに、上記動画像のフレーム境界を基点とする時間情報が所定のブロック単位でヘッダとして付加されたデータ構造や、上記音声データと上記動画データとは、互いに同期するデータ単位でまとめられたデータ構造を採用することができる。
【0022】
さらに、カウンタを常時ベースバンドインタフェースに接続しないようにして、ベースバンドインタフェースの貴重なリソースを節約するために、上記アプリケーションプロセッサにおいても、上記ベースバンドプロセッサによってコマンドを設定可能なコマンドレジスタと、上記ベースバンドプロセッサによってアドレス信号を設定可能なアドレスレジスタと、上記ベースバンドプロセッサによってリードライト可能なデータレジスタと、上記コマンドレジスタに設定されたコマンドをデコードするコマンドデコーダと、上記アドレスレジスタのアドレス信号をデコードするアドレスデコーダとを設け、上記アドレスデコーダのデコード結果に基づいて上記カウンタが選択され、上記コマンドデコーダのデコード結果に基づいて、上記カウンタの保持情報を上記データレジスタに転送可能な経路が選択的に形成されるようにすると良い。
【0023】
そして、ベースバンドプロセッサの待ち時間を別の処理に割り当て可能とするために、上記ベースバンドプロセッサと対で使用されるアプリケーションプロセッサとを含む携帯通信端末においても、上記アプリケーションプロセッサは、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサからリード可能な割り込み要因情報レジスタと、カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサとを設け、上記中央処理装置においては、カメラモジュールから1フレーム分の画像データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて上記1フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットし、且つ、割り込み要因が上記カウンタのリセットであることを示す情報ビットを上記割り込み要因情報レジスタに設定するとともに、上記ベースバンドプロセッサに対して割り込み信号を送出する処理を含めるようにすると良い。
【0024】
【発明の実施の形態】
図5には、本発明にかかる携帯通信端末の一例とされる携帯テレビ電話が示される。図5に示される携帯テレビ電話は、特に制限されないが、音声を取り込むためのマイクロフォン(「マイク」という)11、音声を出力するためのスピーカ12、音声信号の形式変換を行うための音声用AD/DA(アナログ・ディジタル/ディジタル・アナログ)変換器13、電波を使ってやり取りされる情報の信号処理を可能とするベースバンドプロセッサ14、所定の周波数の電波を使って送受信を行うためのRF(ラジオ周波)回路15、RF回路15による送受信を可能とするアンテナ16、動画を取り込むためのカメラモジュール17、主として動画処理を行うためのアプリケーションプロセッサ18、画像データが格納されるRAM(ランダム・アクセス・メモリ)19、液晶駆動のためのLCD(液晶)ドライバ20、表示のためのフレーム画像を記憶するためのVRAM(ビデオ・ランダム・アクセス・メモリ)21、及び画像表示のためのLCD表示部22とを含む。
【0025】
上記ベースバンドプロセッサ14は、電波を使って情報のやり取りを可能とするためのベースバンド処理機能を有し、特に制限されないが、音声信号の入出力を可能とする音声インタフェース(I/F)141、音声データや演算処理に必要なデータが格納されるRAM142、ダイレクトメモリアクセスを可能とするDMA(ダイレクト・メモリ・アクセス)コントローラ143、予め設定されたプログラムに従って演算処理を行うためのCPU(中央処理装置)144、ディジタル信号の変調処理や復調処理を行うためのモデム145、音声信号処理を行う音声用DSP(ディジタル・シグナル・プロセッサ)146を含み、公知の半導体集積回路製造技術により単結晶シリコン基板などの一つの半導体基板に形成される。
【0026】
アプリケーションプロセッサ18は、特に制限されないが、カメラモジュール17からの画像データの取り込みを可能とする画像インタフェース(I/F)181、画像インタフェース181からのV_Sync割り込み信号に基づいてCPU183に割り込み処理を要求する割り込み制御回路182、予め設定されたプログラムに従って演算処理を行うためのCPU(中央処理装置)183、上記CPU183での時間計測を行うためのカウンタ184、動画データの圧縮処理や伸張処理を行う画像用DSP(ディジタル・シグナル・プロセッサ)185、音声データや画像データが格納されるRAM(ランダム・アクセス・メモリ)186、ベースバンドプロセッサ14との間での信号のやり取りを可能とするBBI/F(ベースバンドインタフェース)187、及び外部メモリとの間でデータのやり取りを可能とする外部メモリI/F(インタフェース)188を含み、公知の半導体集積回路製造技術により単結晶シリコン基板などの一つの半導体基板に形成される。
【0027】
図1には、上記携帯テレビ電話の主要部と、データ記録時におけるデータの流れが示される。また、図2には、このデータ記録時における主要部の動作タイミングが示される。
【0028】
アプリケーションプロセッサ18においては、ベースバンドプロセッサ14との間での信号のやり取りを可能とするベースバンドインタフェース187が設けられているため、アプリケーションプロセッサ18内で時間計測に使われるカウンタ184をベースバンドプロセッサ14からリードすることができる。
【0029】
カメラモジュール17は、電源が投入されると、その時点から画像データのメモリ転送を開始し、1フレーム分の画像データがRAM186に転送される毎にアプリケーションプロセッサ18に対し割り込み信号を出力する。カメラモジュール17からの割り込みは、画像インタフェース181で抽出され、V_Sync割り込み信号として割り込み制御回路182へ伝達される。この割り込み制御回路182は、V_Sync割り込み信号に基づいてCPU183に割り込み処理を要求する。CPU183は、この割り込み要求に応じて動画像圧縮プログラムを起動する。この動画像圧縮プログラムが起動されることにより、RAM186内の上記1フレーム分の画像データが画像用DSP185に伝達され、そこで所定のアルゴリズムにより圧縮される。圧縮された画像データは再びRAM186に格納される。この動作が周期的に繰り返されることにより、RAM186に、圧縮動画データが形成される。また、CPU182は、上記動画像圧縮プログラムの実行により、上記時間計測に用いるカウンタ184をリセットする。カウンタ184は、図2に示されるように、システムクロック信号などを計測することにより、そのカウンタ出力値が0から順次更新されているが、上記CPU183によりリセットされた場合には、そのカウンタ出力値が「0」に戻される。カウンタ184のリセットは、V_Sync割り込み信号に起因するものであるから、画像データのフレーム境界ではカウンタ184の出力値が必ず「0」になる。このため、このカウンタ184の出力値をモニタすることにより、画像データのフレーム境界を知ることができる。
【0030】
ベースバンドプロセッサ14は、ベースバンドインターフェース187を介して上記カウンタ184をポーリングし、上記カウンタ184の出力値が最初に「0」になった時点で、音声データ転送用のDMAコントローラ143に起動信号を送る。これによりDMAコントローラ143は、マイク11から音声用AD/DA変換器13及び音声インタフェース141を介して伝達された音声データをRAM142へ転送する(DMA転送)。DMAコントローラ143は、音声データのDMA転送を開始した後、圧縮処理の単位である1ブロック(通常は160サンプル)の転送が完了する毎に、CPU144に対して割り込みを発生する。ベースバンドプロセッサ14では、このCPU144に対する割り込みを用いて音声圧縮プログラムが周期的にスケジューリングされる。音声データの圧縮処理や伸張処理は音声用DSP146で行われる。音声用DSP146で圧縮された音声データはRAM142に書き込まれる。
【0031】
上記手順により最初の画像データのフレーム境界と最初の音声ブロックの境界を合わせることができ、画像と音声の同期をとることが可能となる。すなわち最初に圧縮される画像フレームと音声ブロックの開始時刻を等しくすることができる。上記動画像フレーム境界を同期ポイントとして両プロセッサが動画像データと音声データの入出力処理と圧縮伸張処理を開始することでオンラインである携帯テレビ電話での同期をとることができる。上記RAM142内の圧縮音声データは、ベースバンドインタフェース187を介してRAM186に書き込まれる。そして、CPU183により、RAM186内の圧縮音声データと圧縮動画像データとが多重化されてからベースバンドプロセッサ14におけるRAM142に伝達され、モデム145により変調されてからRF回路15を介して送信される。
【0032】
また、圧縮動画像データ及び圧縮音声データのブロックに、上記フレーム境界を基点とする絶対時間又は記録時間(開始タイミング)の情報を付加することにより、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。すなわち、図3に示されるように、動画像データの各ブロックの先頭にはヘッダが付加され、このヘッダにはそれに続く動画像データの基点からの開始タイミングが示される。例えばヘッダの情報が100msの場合にはそれに続く動画像データは、先頭の動画像データから100ms後に開始される。同様に音声データの各ブロックの先頭にはヘッダが付加され、このヘッダにはそれに続く音声データの開始タイミングが示される。このように圧縮動画像データ及び圧縮音声データのブロックに、上記フレーム境界を基点とする絶対時間又は記録時間の情報が付加されることにより、オフラインのビデオメールにおいては、上記ヘッダのの時間情報に基づいて動画及び音声を再生することができる。
【0033】
さらに、図4に示されるように、動画と音声との同期データ単位で圧縮データをまとめて扱うことにより、オフラインのビデオメールにおいても動画像と音声との同期をとることができる。図4に示される例では、100ms分の動画像データ(10fpsでの1フレーム分)と、5個の20ms分の音声データとが同期データの単位として一緒に転送される。オフラインでの再生時には、例えば100ms分の動画像データに対して5個の20ms分の音声データが再生されることでそれら間の同期をとることができる。
【0034】
次に、動画及び音声の再生動作について、図5及び図6を参照しながら詳述する。
【0035】
図5には再生時におけるデータの流れが示され、図6には再生時における主要部の動作タイミングが示される。
【0036】
多重化されたデータがRF回路15を介して送信され、それが別の携帯テレビ電話によって受信される。すなわち、別の携帯テレビ電話においては、RF回路15を介して受信され、モデム145で復調されてから、ベースバンドインタフェース187を介してRAM186に格納される。
【0037】
カメラモジュール17は、電源が投入されると、その時点から画像データのメモリ転送を開始し、1フレーム分の画像データの転送が完了する度にアプリケーションプロセッサ18に対して割り込みをかける。動画像の再生も、この割り込みに同期して行われる。
【0038】
アプリケーションプロセッサ18では、上記の割り込み信号を使って動画像再生プログラムを起動して、RAM186内の1フレーム分の画像データを伸張する。この伸張処理は、画像用DSP185によって行われる。そして伸張された画像データは、外部のRAM19を経由してVRAM(ビデオ・ランダム・アクセス・メモリ)に書き込まれる。この動作が周期的に繰返される。
【0039】
アプリケーションプロセッサ18は動画再生モードに入った最初の画像フレーム割り込み処理の中で上記時間計測に用いるカウンタ184をリセットする。これにより、以降の画像データのフレーム境界ではカウンタ184が必ず「0」になるので、ベースバンドプロセッサ14はこのカウンタ184をモニタすることにより、画像データのフレーム境界を知ることができる。
【0040】
アプリケーションプロセッサ18は、上記カウンタ184が最初に「0」になった時点から画像データのフレーム境界で起動される。再生された動画像データは、上記カウンタ184が2回目に「0」になった時点からLCD表示部22に表示される。
【0041】
アプリケーションプロセッサ18が動画再生モードに入ると、ベースバンドプロセッサ14は、圧縮音声データをRAM186からベースバンドインタフェース187を介して受け取る。
【0042】
ベースバンドプロセッサ14では、図6に示されるように、ベースバンド・インターフェース187を介してカウンタ184をポーリングし、カウンタ184が最初に「0」になった時点で一回だけ音声伸張処理を行い、ウェイト状態になる。伸張された音声ブロックはRAM142に格納される。
【0043】
ベースバンドプロセッサ14は、上記カウンタ184を引き続きポーリングしていて、カウンタ184の出力値が「N2」になるまで待つ。カウンタ184の出力値が「N2」なった時点で音声データ転送用のDMAコントローラ143に起動信号を送る。DMAコントローラ143は、音声データの転送を開始し、伸張処理の単位である1ブロック(通常は160サンプル)の転送を完了する毎に割り込みを発生する。ベースバンドプロセッサ14では、この割り込みを用いて音声伸張プログラムが周期的にスケジューリングされる。N2は、動画像表示が開始される画像フレーム境界から音声ブロック時間だけ遡った時点でのカウンタ値である。
【0044】
ベースバンドプロセッサ14は、引き続き上記カウンタ184をポーリングして、上記カウンタ184の出力値が2回目に「0」になった時点でスピーカ12のミュートを解除する。最初に伸張された音声ブロックは、このとき、ちょうど転送が終了してスピーカ12からの音声出力が開始される。
【0045】
上記の手順により、再生時の最初の画像データのフレーム境界と最初の音声ブロックの境界をあわせることができ、画像と音声の同期をとることが可能となる。すなわち最初に表示される画像フレームと出力される音声ブロックの開始タイミングを等しくすることができる。
【0046】
上記の例によれば、以下の作用効果を得ることができる。
【0047】
(1)演算処理のためのCPU183と、上記CPU183での演算処理における時間計測を可能とするカウンタ184と、ベースバンドプロセッサ14から上記カウンタ184のリードを可能とするためのベースバンドインタフェース回路187とを設けることにより、上記ベースバンドプロセッサは上記カウンタをリードすることができるので、上記ベースバンドプロセッサでの処理をCPU183での処理に同期させることができるため、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期をとることができる。
【0048】
(2)図3に示されるように、圧縮動画像データ及び圧縮音声データのブロックに、上記フレーム境界を基点とする絶対時間又は記録時間(開始タイミング)の情報を付加することにより、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。
【0049】
(3)図4に示されるように動画と音声との同期データ単位で圧縮データをまとめて扱うようにしても、オフラインのビデオメールにおいて動画像と音声との同期をとることができる。
【0050】
以上本発明者によってなされた発明を具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【0051】
例えば、アプリケーションプロセッサ18からベースバンドプロセッサ18に対する割り込みの要因の一つにカウンタ・クリア割り込みを加えることができる。そして割り込み要因がカウンタ・クリアであること示す情報ビットをベースバンドインタフェース187を介してアプリケーションプロセッサ18から読み出せるようにする。
【0052】
後は上記の例と同様にカメラモジュール17は、電源がオンになるとその時点から画像データのメモリ転送を開始し、1フレーム分の画像データの転送が完了する度にアプリケーションプロセッサ18に対し割り込みをかける。アプリケーションプロセッサ18は、上記の割り込み信号を使って動画像圧縮プログラムを起動してキャプチャされた1フレーム分の画像データを圧縮する。この動作を周期的に繰り返す。アプリケーションプロセッサ18は、上記の割り込み処理の中で上記カウンタ184をリセット、割り込み要因がカウンタリセットであること示す情報ビットをベースバンドインタフェース187における所定のレジスタにセットする同時にベースバンドプロセッサ14に割り込み信号を送る。割り込まれたベースバンドプロセッサは、ベースバンドインタフェース187を通して上記割り込み要因がカウンタリセットであること示す情報ビットを確認して音声データブロック転送のためにDMA143に起動信号を送る。それ以降の動作は上記の例と同じである。本例は、上記例の場合のようなポーリングでなく、割り込みを用いるので、ベースバンドプロセッサの待ち時間を別の処理に有効に使うことが可能となる。
【0053】
図8には、時間計測に用いるカウンタ184をベースバンドインタフェース187から間接アクセスする場合の主要部の構成例が示される。
【0054】
この構成を用いれば、上記カウンタ184の出力値を常時モニタする必要がないのでベースバンドインタフェース187の貴重なリソースを節約できる。ベースバンドインタフェース187には、3個のレジスタ、すなわち、アドレス(ADR)レジスタ91、コマンド(CMD)レジスタ92、データ(DATA)レジスタ93を用いて共有リソースである上記カウンタ184やRAM186をアクセスする。上記ベースバンドインタフェース187における3つのレジスタ91〜93は、ベースバンドプロセッサ14からダイレクトにアクセスできる。上記カウンタ184やRAM186は、CPU183によって管理されるアドレス空間に割り付けられる。セレクタ81はアドレスレジスタ91の出力値と、内部アドレスバスの値とを選択的にアドレスデコーダ82伝達する。アドレスデコーダ82は、上記セレクタ81を介して伝達されたアドレス信号をデコードすることにより、上記カウンタ184及びRAM186をアクセスするための信号を生成する。セレクタ83は、データレジスタ93と内部データバスとを選択的にカウンタ184及びRAM186に結合される。そして、アプリケーションプロセッサ18内には、コマンドレジスタ92から出力されたコマンドをデコードするためのコマンドデコーダ84及びこのコマンドデコーダ84の出力信号に従ってカウンタ184,186のリードライト動作や、セレクタ81,83の動作を制御するためのコントローラ85が設けられる。
【0055】
ここで、ベースバンドプロセッサ14から上記カウンタ184をアクセスする手順について説明する。
【0056】
まず、アドレスレジスタ91に上記カウンタ184のアドレスを書き込む。続いてコマンドレジスタ92にリードコマンドを書き込む。このリードコマンドがコマンドデコーダ84でデコードされ、そのデコード結果に基づいてコントローラ85は各部の動作制御信号を生成する。それにより、アドレスレジスタ91のアドレス信号がセレクタ81を介してアドレスデコーダ82に伝達される。また、カウンタ184がセレクタ83を介してデータレジスタ93に結合され、カウンタ184の内容がセレクタ83を介してデータレジスタ93に伝達される。データレジスタ93は、ベースバンドプロセッサ14から直接アクセス可能であることから、上記によりベースバンドプロセッサ14から上記カウンタ184をアクセスすることができる。また、RAM186のアドレスをアドレスレジスタ91に設定することにより、RAM186の読み出しを行うことができる。さらに、コマンドレジスタにライトコマンドを設定すれば、カウンタ184やRAM186の書き込みを行うことができる。そして、アプリケーションプロセッサ18によってカウンタ184やRAM186の内部アクセスが行われる場合には、内部アドレスバスがセレクタ81を介してアドレスデコーダ82に結合され、内部データバスセレクタ83を介してカウンタ184やRAM186に結合される。
【0057】
尚、上記カウンタ184のリセットは、上記カウンタ184への「0」書き込みによって可能とされる。
【0058】
次に、図8に示される間接アクセス方式における同期の解像度について考察する。画像フレームは早くても30Hz、音声サンプルは8kHzであるので音声サンプル間隔の方が厳しい。よって同期処理のオーバーヘッドが音声サンプル間隔に比較してどの程度かを見積もればよい。ベースバンドインタフェース187の動作周波数は普通20MHz程度である。よって1音声サンプル間に20MHz/8kHz=2500サイクル存在する。同期処理のオーバーヘッドは上記カウンタ184をモニタすることで「0」判定をしてDMAコントローラ143に起動をかけるだけであるので数十サイクル程度と見積もれる。よって同期処理のオーベーヘッド時間は音声サンプル間隔の100分の1程度となり、図8に示される間接アクセス方式を採用しても特に支障がないことは明らかである。
【0059】
以上の説明では主として本発明者によってなされた発明をその背景となった利用分野である携帯テレビ電話に適用した場合について説明したが、本発明はそれに限定されるものではなく、各種携帯通信端末に広く適用することができる。
【0060】
本発明は、少なくとも情報のやり取りを行うことを条件に適応することができる。
【0061】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
【0062】
すなわち、ベースバンドプロセッサはカウンタをリードすることができるので、上記ベースバンドプロセッサでの処理をマイクロプロセッサにおける中央処理装置での処理に同期させることができ、それによって、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期を容易にとることができる。
【図面の簡単な説明】
【図1】本発明にかかる携帯通信端末の一例である携帯テレビ電話の主要部の構成例ブロック図である。
【図2】上記携帯テレビ電話のデータ記録時における主要部の動作説明図である。
【図3】上記携帯テレビ電話で取り扱われるデータの形式説明図である。
【図4】上記携帯テレビ電話で取り扱われるデータの形式説明図である。
【図5】上記携帯テレビ電話の全体的な構成例ブロック図である。
【図6】上記携帯テレビ電話において画像及び音声が再生される場合の動作説明図である。
【図7】上記携帯テレビ電話における主要部の別の構成例ブロック図である。
【図8】上記携帯テレビ電話における主要部の別の構成例ブロック図である。
【符号の説明】
11 マイク
12 スピーカ
13 音声用AD/DA変換器
14 ベースバンドプロセッサ
15 RF回路
16 アンテナ
17 カメラモジュール
18 アプリケーションプロセッサ
19 RAM
20 LCDドライバ
21 VRAM
22 LCD表示部
81,83 セレクタ
82 アドレスデコーダ
84 コマンドデコーダ
85 コントローラ
91 アドレスレジスタ
92 コマンドレジスタ
93 データレジスタ
141 音声インタフェース
142 RAM
143 DMAコントローラ
144 CPU
145 モデム
146 音声用DSP
181 画像インタフェース
182 割り込み制御回路
183 CPU
184 カウンタ
185 画像用DSP
186 RAM
Claims (12)
- 電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるマイクロプロセッサであって、
演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を可能とするカウンタと、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路と、を含んで成ることを特徴とするマイクロプロセッサ。 - カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサを含み、
上記中央処理装置は、カメラモジュールから1フレーム分の画像データの転送が完了する毎に、上記カメラモジュールからの割り込み信号に応じて上記1フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させ、上記カウンタをリセットする処理を含む請求項1記載のマイクロプロセッサ。 - 上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを含み、上記音声データ及び上記動画データは、上記動画像のフレーム境界を基点とする時間情報が所定のブロック単位でヘッダとして付加されたデータ構造を有する請求項1又は2記載のマイクロプロセッサ。
- 上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを含み、上記音声データ及び上記動画データは、互いに同期するデータ単位でまとめられた固定時間データ長構造を有する請求項1又は2記載のマイクロプロセッサ。
- 上記ベースバンドプロセッサによってコマンドを設定可能なコマンドレジスタと、上記ベースバンドプロセッサによってアドレス信号を設定可能なアドレスレジスタと、上記ベースバンドプロセッサによってリードライト可能なデータレジスタと、上記コマンドレジスタに設定されたコマンドをデコードするコマンドデコーダと、上記アドレスレジスタのアドレス信号をデコードするアドレスデコーダと、を含み、上記アドレスデコーダのデコード結果に基づいて上記カウンタが選択され、上記コマンドデコーダのデコード結果に基づいて、上記カウンタの保持情報を上記データレジスタに転送可能な経路が選択的に形成される請求項1乃至4の何れか1項記載のマイクロプロセッサ。
- 電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるマイクロプロセッサであって、
演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサからリード可能な割り込み要因情報レジスタと、カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサと、を含み、
上記中央処理装置は、カメラモジュールから1フレーム分の画像データの転送が完了する毎に、上記カメラモジュールからの割り込み信号に応じて上記1フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させ、上記カウンタをリセットし、割り込み要因が上記カウンタのリセットであることを示す情報ビットを上記割り込み要因情報レジスタに設定し、上記ベースバンドプロセッサに対して割り込み信号を送出する処理を含むことを特徴とするマイクロプロセッサ。 - 電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサと、上記ベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるアプリケーションプロセッサとを含む携帯通信端末であって、
上記アプリケーションプロセッサは、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路と、を含むことを特徴とする携帯通信端末。 - 動画データを得るためのカメラモジュールと、
上記カメラモジュールから転送された動画データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサと、を含み、
上記中央処理装置は、上記カメラモジュールから1フレーム分の動画データの転送が完了する毎に、上記カメラモジュールからの割り込み信号に応じて、上記1フレーム分の動画データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させ、上記カウンタをリセットする請求項7記載の携帯通信端末。 - 上記アプリケーションプロセッサは、上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを含み、上記音声データと上記動画データとは、上記動画像のフレーム境界を基点とする時間情報が所定のブロック単位でヘッダとして付加されたデータ構造を有する請求項7又は8記載の携帯通信端末。
- 上記アプリケーションプロセッサは、上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを含み、上記音声データと上記動画データとは、互いに同期するデータ単位でまとめられたデータ構造を有する請求項7又は8記載の携帯通信端末。
- 上記アプリケーションプロセッサは、上記ベースバンドプロセッサによってコマンドを設定可能なコマンドレジスタと、上記ベースバンドプロセッサによってアドレス信号を設定可能なアドレスレジスタと、上記ベースバンドプロセッサによってリードライト可能なデータレジスタと、上記コマンドレジスタに設定されたコマンドをデコードするコマンドデコーダと、上記アドレスレジスタのアドレス信号をデコードするアドレスデコーダと、を含み、上記アドレスデコーダのデコード結果に基づいて上記カウンタが選択され、上記コマンドデコーダのデコード結果に基づいて、上記カウンタの保持情報を上記データレジスタに転送可能な経路が選択的に形成される請求項7乃至10の何れか1項記載の携帯通信端末。
- 電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサと、上記ベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるアプリケーションプロセッサとを含む携帯通信端末であって、
上記アプリケーションプロセッサは、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサからリード可能な割り込み要因情報レジスタと、カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサと、を含み、
上記中央処理装置は、カメラモジュールから1フレーム分の画像データの転送が完了する毎に、上記カメラモジュールからの割り込み信号に応じて上記1フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させ、上記カウンタをリセットし、割り込み要因が上記カウンタのリセットであることを示す情報ビットを上記割り込み要因情報レジスタに設定し、上記ベースバンドプロセッサに対して割り込み信号を送出する処理を含むことを特徴とする携帯通信端末。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003089526A JP2004297632A (ja) | 2003-03-28 | 2003-03-28 | マイクロプロセッサ及び携帯通信端末 |
US10/806,375 US7251500B2 (en) | 2003-03-28 | 2004-03-23 | Microprocessor and mobile communication terminal |
US11/819,727 US7447521B2 (en) | 2003-03-28 | 2007-06-28 | Microprocessor and mobile communication terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003089526A JP2004297632A (ja) | 2003-03-28 | 2003-03-28 | マイクロプロセッサ及び携帯通信端末 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004297632A true JP2004297632A (ja) | 2004-10-21 |
Family
ID=33403350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003089526A Pending JP2004297632A (ja) | 2003-03-28 | 2003-03-28 | マイクロプロセッサ及び携帯通信端末 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7251500B2 (ja) |
JP (1) | JP2004297632A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006260377A (ja) * | 2005-03-18 | 2006-09-28 | Seiko Epson Corp | 並列処理装置および情報処理方法 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPP702498A0 (en) * | 1998-11-09 | 1998-12-03 | Silverbrook Research Pty Ltd | Image creation method and apparatus (ART77) |
US7092735B2 (en) * | 2002-03-22 | 2006-08-15 | Osann Jr Robert | Video-voicemail solution for wireless communication devices |
AU2003244013A1 (en) * | 2003-06-27 | 2005-01-13 | Nokia Corporation | Digital imaging device |
US8165632B2 (en) * | 2005-07-21 | 2012-04-24 | Henry Liou | Position reporting microphone |
TWI313362B (en) * | 2005-07-28 | 2009-08-11 | Alpha Imaging Technology Corp | Image capturing device and its image adjusting method |
US7606595B2 (en) * | 2005-10-20 | 2009-10-20 | Sudharshan Srinivasan | Internet protocol multimedia subsystem enabled cellular phone accessory device |
JP4480661B2 (ja) * | 2005-10-28 | 2010-06-16 | 株式会社ルネサステクノロジ | 半導体集積回路装置 |
GB2432765B (en) | 2005-11-26 | 2008-04-30 | Wolfson Microelectronics Plc | Audio device |
JP4867921B2 (ja) * | 2006-02-08 | 2012-02-01 | 日本電気株式会社 | 携帯通信端末、及び通信方法 |
EP1858261A1 (de) * | 2006-05-16 | 2007-11-21 | Ascom (Schweiz) AG | Echtzeitübertragung von Videodaten |
US7818484B2 (en) * | 2006-06-15 | 2010-10-19 | Pixart Imaging Inc. | Multimedia data communication method and system |
US8010149B2 (en) * | 2007-05-29 | 2011-08-30 | Broadcom Corporation | Multi-mode IC with multiple processing cores |
US8320373B2 (en) * | 2007-08-23 | 2012-11-27 | Qualcomm Incorporated | Packet-based processing system |
JP5082776B2 (ja) * | 2007-10-31 | 2012-11-28 | オムロン株式会社 | 画像処理装置 |
TWI380698B (en) * | 2008-07-10 | 2012-12-21 | Alpha Imaging Technology Corp | Hand-held electrical communication device and image processing method thereof |
TWI386863B (zh) * | 2008-10-03 | 2013-02-21 | Alpha Imaging Technology Corp | 多媒體處理器、手持式電子通訊裝置及其影像處理方法 |
CN102202431B (zh) * | 2010-03-25 | 2015-11-25 | 中兴通讯股份有限公司 | 增加3g通讯模块与应用处理器接口灵活性的装置和方法 |
KR20110133699A (ko) * | 2010-06-07 | 2011-12-14 | 삼성전자주식회사 | 휴대용 단말기의 이미지 획득 장치 및 방법 |
US8667125B2 (en) * | 2010-06-24 | 2014-03-04 | Dish Network L.L.C. | Monitoring user activity on a mobile device |
US9107049B2 (en) * | 2012-05-11 | 2015-08-11 | D2 Technologies, Inc. | Advanced real-time IP communication in a mobile terminal |
US10902081B1 (en) | 2013-05-06 | 2021-01-26 | Veeva Systems Inc. | System and method for controlling electronic communications |
US10140382B2 (en) | 2013-05-06 | 2018-11-27 | Veeva Systems Inc. | System and method for controlling electronic communications |
JP5953588B1 (ja) | 2013-05-06 | 2016-07-20 | ヴィーバ システムズ インコーポレイテッド | 電子通信を制御するシステムおよび方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4356509A (en) * | 1981-03-12 | 1982-10-26 | Zenith Radio Corporation | Microcomputer-controlled television/telephone system and method therefore |
US5452289A (en) * | 1993-01-08 | 1995-09-19 | Multi-Tech Systems, Inc. | Computer-based multifunction personal communications system |
IL107656A (en) | 1993-11-18 | 1996-11-14 | Dsp Telecomm Ltd | Demodulator |
JPH0837546A (ja) | 1993-11-18 | 1996-02-06 | Dsp Telecommun Ltd | 個人用デジタル携帯電話(pdc)用ベースバンドプロセッサ及び位相変調された信号を復調する方法 |
KR100370665B1 (ko) * | 1994-07-25 | 2004-07-19 | 지멘스 악티엔게젤샤프트 | 비디오폰통신의접속및제어방법 |
US6134223A (en) * | 1996-09-18 | 2000-10-17 | Motorola, Inc. | Videophone apparatus, method and system for audio and video conferencing and telephony |
KR100251963B1 (ko) * | 1997-12-31 | 2000-04-15 | 윤종용 | 종합정보통신망과 연동 가능한 비동기전송모드 망 접속영상전화 단말장치 |
US7158172B2 (en) * | 2000-06-20 | 2007-01-02 | Fuji Photo Film Co., Ltd. | Digital camera with an automatic image transmission function |
US6714233B2 (en) * | 2000-06-21 | 2004-03-30 | Seiko Epson Corporation | Mobile video telephone system |
JP2002142226A (ja) * | 2000-10-31 | 2002-05-17 | Toshiba Corp | 画像符号化方法及び装置並びに携帯電話機 |
US7119843B2 (en) * | 2000-11-10 | 2006-10-10 | Sanyo Electric Co., Ltd. | Mobile phone provided with video camera |
JP2002152626A (ja) | 2000-11-10 | 2002-05-24 | Sanyo Electric Co Ltd | 携帯テレビ電話 |
JP2002207561A (ja) * | 2001-01-05 | 2002-07-26 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
KR101046876B1 (ko) | 2001-01-31 | 2011-07-05 | 가부시키가이샤 히타치세이사쿠쇼 | 데이터 처리 시스템 및 데이터 프로세서 |
JP2003125076A (ja) | 2001-10-10 | 2003-04-25 | Hitachi Ltd | 通信機能を有する携帯端末装置 |
DE60224776T2 (de) * | 2001-12-20 | 2009-01-22 | Matsushita Electric Industrial Co., Ltd., Kadoma-shi | Virtuelles Bildtelefon |
US7092735B2 (en) * | 2002-03-22 | 2006-08-15 | Osann Jr Robert | Video-voicemail solution for wireless communication devices |
JP4127016B2 (ja) | 2002-10-30 | 2008-07-30 | 日本電気株式会社 | 携帯電話機 |
-
2003
- 2003-03-28 JP JP2003089526A patent/JP2004297632A/ja active Pending
-
2004
- 2004-03-23 US US10/806,375 patent/US7251500B2/en not_active Expired - Fee Related
-
2007
- 2007-06-28 US US11/819,727 patent/US7447521B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006260377A (ja) * | 2005-03-18 | 2006-09-28 | Seiko Epson Corp | 並列処理装置および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20050012811A1 (en) | 2005-01-20 |
US7251500B2 (en) | 2007-07-31 |
US20070255973A1 (en) | 2007-11-01 |
US7447521B2 (en) | 2008-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004297632A (ja) | マイクロプロセッサ及び携帯通信端末 | |
WO2021004381A1 (zh) | 一种投屏显示方法及电子设备 | |
CN114071134A (zh) | 声画同步的检测方法、生成方法、电子设备及存储介质 | |
CN114205336A (zh) | 跨设备音频播放方法、移动终端、电子设备及存储介质 | |
CN112351234A (zh) | 智能近眼显示装置、系统和扩展显示方法 | |
WO2024012345A1 (zh) | 一种投屏画面的处理方法及相关装置 | |
CN112965688A (zh) | 一种用于usb声卡的音频传输方法 | |
JP2008275863A (ja) | 情報処理装置 | |
JP2005026777A (ja) | 情報記録装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体 | |
JP5681449B2 (ja) | 情報処理装置及び携帯端末 | |
CN113473216A (zh) | 数据传输方法、芯片系统及相关装置 | |
US20070130608A1 (en) | Method and apparatus for overlaying broadcast video with application graphic in DTV | |
KR20080091952A (ko) | 플로우 모션 영상 촬영 방법 및 시스템 | |
JP3562186B2 (ja) | ビデオカード、および、ビデオデータ通信装置 | |
JPH04156194A (ja) | 双方向簡易動画通信制御装置 | |
JPH10224523A (ja) | 情報処理システム、伝送装置、および、伝送方法 | |
WO2022160299A1 (zh) | 一种数据传输方法及装置 | |
CN211019077U (zh) | 一种具有无线投屏功能的电视 | |
JP4481458B2 (ja) | 撮像装置のデータ処理回路 | |
WO2024067428A1 (zh) | 高分辨率高帧率摄像方法和图像处理装置 | |
WO2024109399A1 (zh) | 状态通知方法和装置 | |
CN114760000A (zh) | 音频数据处理系统、方法、装置、电子设备及存储介质 | |
CN114826474A (zh) | 音频数据处理系统、方法、装置、电子设备及存储介质 | |
CN116614514A (zh) | 音频数据输出方法、装置、音频播放设备及装置 | |
CN114189730A (zh) | 一种视频录像方法、视频回放方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080708 |