JP2004134827A

JP2004134827A - 移動通信端末装置

Info

Publication number: JP2004134827A
Application number: JP2002294441A
Authority: JP
Inventors: Toshinobu Akiyoshi; 秋吉　利信
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-10-08
Filing date: 2002-10-08
Publication date: 2004-04-30

Abstract

【課題】動画再生時に、動画デコーダのないサブＬＣＤコントローラを用いて、コストをかけることなく簡易な手段でサブＬＣＤに動画を再生表示することができる移動通信端末装置を提供することにある。
【解決手段】本発明の移動通信端末装置は、カメラ１の動画データのフレーム周期ＴＣと、制御部２を構成するＣＰＵの１フレームあたりの復号化所要時間とその時に行っている他の処理時間との合計時間ＴＤとを比較して、（ｎ＋１）ＴＣ＞ＴＤ＞ｎＴＣ（ｎは１以上の整数）の時、動画撮影時に、制御部２が前記動画データのフレームを（ｎ＋１）分の１に間引いて画像メモリ３に記憶し、更に符号化してコードバッファ４に記憶する。又、動画再生時に、制御部２が間引き動画データをフレーム送信周期（ｎ＋１）ＴＣで動画データのフレームをサブＬＣＤコントローラ８へ送出して、サブＬＣＤ９へ動画を表示する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラおよび動画表示機能を有する移動通信端末装置に関する。
【０００２】
【従来の技術】
近年、動画撮影カメラ付きの移動通信端末装置が広く使用されるようになってきた。
【０００３】
図５は、一般的な動画撮影カメラ付きの移動通信端末装置である携帯電話機のブロック図を示す。
【０００４】
以下、図面を参照して従来の動画撮影カメラ付きの移動通信端末装置である携帯電話機について説明する。動画撮影モードでの録画処理は、まず、カメラ１から動画データの１画面に相当する１フレーム分を制御部２が取り込んで、動画デコーダ５へ送出する。この時、カメラ１からの動画データは符号化前の生データのため動画デコーダ５で復号化する必要はないので、制御部２は動画デコーダ５に対してスルーモードを指定する。これにより、動画コントローラ５は生データをそのまま復号化しないでメインＬＣＤコントローラ６へ送出する。メインＬＣＤコントローラ６は、この生データをメインＬＣＤ７の仕様に合わせてメインＬＣＤ７へ送出し、メインＬＣＤ７に１フレーム分の動画データを表示する。これを高速で例えば６フレーム／秒で繰り返すことにより、動画が表示される。制御部２は、以上の動画表示処理と共に、その動画データを画像メモリ３に録画（記憶）する。
【０００５】
録画が終了すると、制御部２は、画像メモリ３内の動画データを読み出し、符号化して、その符号化データをコードバッファ４に記憶する。この符号化は録画用のメモリの容量を小さくするためである。
【０００６】
次に、動画再生モードでの表示では、制御部２が動画デコーダ５に対してデコードモードを指定して、コードバッファ４の符号化データの１画面に相当する１フレーム分を動画デコーダ５へ送出する。動画デコーダ５は受信した符号化データを復号化して生データに戻して、メインＬＣＤコントローラ６へ送出する。メインＬＣＤコントローラ６は、この生データをメインＬＣＤ７の仕様に合わせてメインＬＣＤ７へ送出し、メインＬＣＤ７に１フレーム分の動画データを表示する。これを高速で例えば６フレーム／秒で繰り返すことにより、動画が再生表示される。
【０００７】
ここで使用される動画デコーダ５は、高速のデコード処理が可能であり、１５フレーム／秒程度のデコード能力を有している。
【０００８】
一方、サブＬＣＤ９は、メインＬＣＤ７よりも形状が小さく、副次的な目的で、動画ではなく文字、図形、画像等の静止画の表示用に使われる。よって、制御部２とサブＬＣＤコントローラ８の間には動画デコーダを設ける必要がなく、サブＬＣＤコントローラ８のみの低コストの構成となっている。
【０００９】
このサブＬＣＤ９に画像の静止画を表示する場合は、カメラ１からの１フレーム分の生データを制御部２が取り込んで、サブＬＣＤコントローラ８へ送出し、サブＬＣＤ９にこの１フレーム分の生データを表示し続けることにより、静止画が表示される。
【００１０】
更に、コードバッファ４からの符号化データを基に静止画を表示する場合は、制御部２の中のＣＰＵ（図示せず）が、コードバッファ４からの符号化データの１フレーム分をソフト処理によってデコードして、生データに戻してサブＬＣＤコントローラ８へ送出する。サブＬＣＤコントローラ８は、この１フレーム分の生データをサブＬＣＤ９の仕様に合わせてサブＬＣＤ９へ送出し、サブＬＣＤ９にこの１フレーム分のデータを表示し続けることにより、静止画を表示する。
【００１１】
この制御部２のソフト処理によるデコードは低速であるが、静止画表示の場合は、１フレーム分を１回表示すればよいので何も問題になることはない。
【００１２】
別の従来技術として、画像処理回路と、液晶処理回路と、液晶画面とを有して、動画データの処理を行う液晶表示装置がある（例えば、特許文献１参照。）。
【００１３】
この液晶表示装置にあっては、ＳＴＮ液晶やＤＳＴＮ液晶の表示反応時間が遅いため、早い動画データであると液晶画面がちらつくことが発生し、それを抑える目的で動画データを間引く方法が提示されている。
【００１４】
【特許文献１】
特許第３２０６５４７号公報（１頁−６頁、図１−図３）
【００１５】
【発明が解決しようとする課題】
ところで、上述した従来の移動通信端末装置においては、サブＬＣＤ側は動画デコーダが接続されてないサブＬＣＤコントローラのみの低コストの構成として、サブＬＣＤに静止画を表示させているため、折角の動画を生かしていないという欠点があった。
【００１６】
特に、折り畳み式の携帯電話機にあっては、折り畳まれた状態のときにはメインＬＣＤが内側に隠れて見ることができないが、一方、表に見えているサブＬＣＤには動画を表示することができないという欠点があった。
【００１７】
また、動画表示における動画データの間引き方法については、液晶自体の表示反応時間に対応して間引きを行うことが検討されているが、サブＬＣＤに画像を表示するための手段である制御部およびサブＬＣＤコントローラの性能に応じて動画データの間引き制御を行うことについては何も考慮されていない。
【００１８】
従って、本発明は、コードバッファの符号化データをデコードして再生する場合に、動画デコーダのないサブＬＣＤコントローラのみの低性能で低コストの構成のままでコスト増となることなく簡易な手段で、動画をサブＬＣＤに表示することが出来る移動通信端末装置を提供することを目的とする。
【００１９】
【課題を解決するための手段】
上記目的を達成するために、本発明の移動通信端末装置は、動画を撮影するカメラと、画像を表示する表示手段と、前記表示手段の表示を制御する表示コントローラと、前記カメラからの動画データを記憶する画像メモリと、この動画データを符号化した符号化データを記憶するコードバッファとを備える移動通信端末装置であって、前記カメラを用いた動画撮影モード時に、前記符号化データをソフト処理により復号化するフレーム復号化時間に応じて、前記カメラからの動画データのフレームを間引き、その間引き動画データを前記画像メモリに記憶する第１の制御手段と、前記動画撮影モード終了後に、前記画像メモリからの前記間引き動画データを符号化して前記コードバッファに記憶する第２の制御手段と、前記コードバッファからの符号化データを前記ソフト処理により復号化する第３の制御手段と、を具備することを特徴とする。
【００２０】
また、本発明の移動通信端末装置は、前記動画データの再生モード時に、前記第３の制御手段により生成された前記間引き動画データのフレームの送出周期を前記カメラからの動画データのフレーム周期と相関を取って、前記間引き動画データを前記表示コントローラに出力する第４の制御手段を有し、前記表示コントローラにより前記表示手段に前記間引き動画を表示させることを特徴とする。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の移動通信端末装置の実施の形態について説明する。
【００２２】
図１〜図４は、本発明を携帯電話機に適用した実施の形態を示し、図１は動画撮影及び再生時の動画データを２分の１に間引く場合のタイムチャート、図２は動画撮影及び再生時の動画データを３分の１に間引く場合のタイムチャート、図３は動画撮影モードでのフローチャート、図４は動画再生モードでのフローチャートである。なお、携帯電話機としてのブロック図は、図５に示したものと同じであるので、図５に該当する構成は同一符号を参照して説明する。
【００２３】
本発明では、図１に示すように、動画撮影モードでの録画時は、カメラ１からの動画データは、１画面に相当する各フレームをフレームＦ１〜Ｆ６のように連続して、６コマ／秒（６フレーム／秒）の速度で制御部２へ出力される。この各フレームＦ１〜Ｆ６の周期をＴＣとする。制御部２は、サブＬＣＤ９に動画を表示するために、このフレームＦ１〜Ｆ６を後述のルールに従って間引いて、画像メモリ３に記憶する。この例では２分の１に間引いて、フレームＦ１ａ、Ｆ３ａ、Ｆ５ａを画像メモリ３に記憶する。カメラ１の撮影中、この処理を継続し、図示しないが以降のフレームＦ１〜Ｆ６も同様の状態を継続する。
【００２４】
カメラ撮影が終了すると、次に、制御部２は、画像メモリ３の動画データを順次読み出して符号化処理を行い、符号化されたフレームＦ１ｂ、Ｆ３ｂ、Ｆ５ｂを符号化データとしてコードバッファ４に記憶する。この符号化処理は画像メモリ３に格納される全動画データに対して行われる。また符号化処理は、タイムチャートに示す時間で行う必要はなくて、図１の符号化データＦ１ｂ、Ｆ３ｂ、Ｆ５ｂは元の動画データＦ１〜Ｆ６との内容比較のために図示している。
【００２５】
動画再生モードの時は、制御部２は、コードバッファ４の符号化データを読み出して復号化処理を行って、元の生データに戻し、このフレームＦ１ｃ、Ｆ３ｃ、Ｆ５ｃをサブＬＣＤコントローラ８（表示コントローラ）へ送出する。この送出周期は、元のカメラからの動画データの周期と同じにする必要がある。即ち、この例では、カメラからの動画データＦ１〜Ｆ６の中のＦ１，Ｆ３、Ｆ５はペアとして１秒周期で送出されており、それに合わせて、復号化処理後の生データのフレームＦ１ｃ、Ｆ３ｃ、Ｆ５ｃもペアとして１秒周期で送る必要がある。
【００２６】
一方、サブＬＣＤ９に動画を表示しようとしても、メインＬＣＤ７側のように動画デコーダ５が設けられていないことから、動画デコーダ５の復号化処理を制御部２によって行う必要がある。
【００２７】
即ち、サブＬＣＤ９側の復号化処理は制御部２を構成するＣＰＵによってソフト処理で行うため、処理速度が遅く、ＣＰＵの１フレームあたりの復号化所要時間とその時に行っている他の処理時間との合計時間の平均値（以下、復号化等処理時間と称する）をＴＤとすると、この時間ＴＤがカメラ１からの動画データのフレーム周期ＴＣより長い時間を必要とするが、上記の間引き処理によりサブＬＣＤ９への動画表示を可能とするものである。
【００２８】
つまり本発明は、ＣＰＵの１フレームあたりの復号化等処理時間ＴＤを求め、その時間ＴＤがカメラ１からの動画データのフレーム周期ＴＣを超えている場合は、それに応じて、カメラ１からの動画データのフレームデータを間引く処理を制御部２に設定することによりこれを実現するものである。
【００２９】
図１に示す第１の実施の形態では、ＣＰＵの１フレームあたりの復号化等処理時間ＴＤが、ＴＣ×２＞ＴＤ＞ＴＣの関係を有する場合である。まず、動画撮影時は、カメラ１からの６フレーム／秒の動画データの内、制御部２は、フレームＦ２、Ｆ４、Ｆ６を間引き、フレームＦ１、Ｆ３、Ｆ５を画像メモリ３にフレームＦ１ａ、Ｆ３ａ、Ｆ５ａとして記憶し、更に符号化してコードバッファ４に符号化データとしてフレームＦ１ａ、Ｆ３ａ、Ｆ５ａを記憶するように動作する。
【００３０】
次に、動画再生時は、制御部２は、各フレームの復号化等を時間ＴＤで行い、復号化後の生データであるフレームＦ１ｃ、Ｆ３ｃ、Ｆ５ｃをペアの周期として１秒、各フレームの周期としてはＴＣ×２でサブＬＣＤコントローラ８へ送出する。サブＬＣＤコントローラ８は、この生データをサブＬＣＤ９（表示手段）の仕様に合わせてサブＬＣＤ９へ送出し、サブＬＣＤ９への動画データの表示を実現するものである。このケースでは、サブＬＣＤ９の表示は３コマ／秒の動画データとなり、多少の粗い表示となるが、十分認識できる画像である。
【００３１】
図２の第２の実施の形態では、ＣＰＵの１フレームあたりの復号化等所要時間ＴＤが、ＴＣ×３＞ＴＤ＞ＴＣ×２の関係を有する場合である。まず、動画撮影時は、カメラ１からの６フレーム／秒のデータの内、制御部２は、フレームＦ２、Ｆ３、Ｆ５、Ｆ６を間引き、フレームＦ１、Ｆ４を画像メモリ３にフレームＦ１ａ、Ｆ４ａとして記憶し、更に符号化してコードバッファ４に符号化データとしてフレームＦ１ｂ、Ｆ４ｂを記憶するように動作する。
【００３２】
次に、動画再生時は、制御部２は、各フレームの復号化等を時間ＴＤで行い、復号化後の生データであるフレームＦ１ｃ、Ｆ４ｃをペアの周期として１秒、各フレームの周期としてはＴＣ×３でサブＬＣＤコントローラ８へ送出する。サブＬＣＤコントローラ８は、この生データをサブＬＣＤ９の仕様に合わせてサブＬＣＤ９へ送出し、サブＬＣＤ９への動画データの表示を実現するものである。このケースでは、サブＬＣＤ９の表示は２コマ／秒の動画データとなり、多少の粗い表示となるが、十分認識できる画像である。
【００３３】
本発明を汎用的な式で示せば、ＣＰＵの１フレームあたりの復号化等所要時間ＴＤが、（ｎ＋１）ＴＣ＞ＴＤ＞ｎＴＣ（ｎは１以上の整数、ＴＣはカメラ１からの動画データのフレーム周期）の関係を有している時、撮影時の間引きルールとして、制御部２は、カメラ１からの動画データのフレームを１／（ｎ＋１）に間引いて、画像メモリ３に記憶し、更に符号化してコードバッファ４に記憶するように動作するものである。
【００３４】
また、再生時のフレーム送出ルールとして、制御部２は、間引き動画データを送信周期（ｎ＋１）ＴＣで動画データのフレームをサブＬＣＤコントローラ８へ送出するように動作するものである。
【００３５】
以上の処理により、メインＬＣＤ７の動画データの表示（６コマ／秒）に比べると、多少のちらつきが増えるが、サブＬＣＤ９への動画データの表示として十分に使用できるものである。
【００３６】
なお、ＣＰＵの１フレームあたりの復号化等所要時間ＴＤを設計時点に事前に求めて、制御部２の間引き方法を設計しているが、携帯電話機の調整時にキー入力手段（図示せず）から時間ＴＤを制御部２へ入力し、それを基に制御部２が上述のルールに従い間引き方法を決定するように動作してもよい。
【００３７】
又、制御部２は、ＣＰＵの１フレームあたりの復号化処理とその時に行っている他の処理を認識しているので、その合計時間ＴＤも自動で認識できるので、これを基に制御部２が上述のルールに従い自動で間引き方法を決定するように動作してもよい。
【００３８】
一方、サブＬＣＤ９に静止画を表示する場合、制御部２は１個のフレーム例えばＦ１ｂを復号化して生データであるフレームＦ１ｃをサブＬＣＤコントローラ８へ送出して、このデータをサブＬＣＤ９に表示し続ければ静止画となるので、何ら問題とならない。
【００３９】
以上説明したように、本発明によれば、本来は静止画用として使われるサブＬＣＤコントローラ８を用いて、且つ動画デコーダを有しない構成であっても、制御部２がカメラ１からの動画データを間引く処理および復号化処理を行うことにより、コストをかけることなくサブＬＣＤ９に動画データの表示ができる。
【００４０】
図３は、本発明による制御部２の動画撮影モードでの動作を示すフローチャートである。制御部２は、キー入力手段（図示せず）からのキー操作により動画撮影が指示されると、動画撮影モードに入り（ステップＳ１）、カメラ１からの動画データのフレームを上述のルールに従って間引き処理を行い（ステップＳ２）、間引いた動画データを画像メモリ３に記憶する（ステップＳ３）。以上の処理をカメラ１による撮影の終了まで繰り返して継続する（ステップＳ４）。
【００４１】
撮影が終了すると、画像メモリ３から間引いた動画データを読み出し（ステップＳ５）、これを符号化して圧縮された符号化データに変換し（ステップＳ６）、コードバッファ４に記憶する（ステップＳ７）。コードバッファ４には圧縮された符号化データを記憶するので容量が小さくて済むので、複数回撮影分の画像データが動画ファイルとして記憶され、管理される。
【００４２】
以上説明したように、本発明では、間引いた動画データを符号化して動画ファイルとしていることで、動画ファイルの容量を小さくすることができる。
【００４３】
また、上記の符号化および動画ファイルとしての記憶を行うタイミングは、撮影終了後なので、制御部２の処理負担が軽減される。
【００４４】
図４は、本発明による制御部２の動画再生モードでの動作を示すフローチャートである。制御部２は、キー入力手段（図示せず）からのキー操作により動画再生が指示されると、動画再生モードに入り（ステップＳ２１）、コードバッファ４から符号化データを読み出し（ステップＳ２２）、これを復号化して間引き動画データを得て（ステップＳ２３）、この間引き動画データをサブＬＣＤコントローラ８へ出力する（ステップＳ２４）。これにより、サブＬＣＤコントローラ８によりサブＬＣＤ９に動画が再生表示される。以上を再生終了するまで繰り返して継続する（ステップＳ２５）。
【００４５】
上述した実施の形態では、サブＬＣＤ９に対して間引き動画データを適用したが、メインＬＣＤ７に対して間引き動画データを適用すれば、容量の小さな動画ファイルの動画データを利用して、メインＬＣＤ７に動画を表示することもできる。また、メインＬＣＤ７側において、動画デコーダ５を削除した低価格で低性能の構成とした場合にも、間引き動画データが使用できることは言うまでもない。
【００４６】
【発明の効果】
このように、本発明によれば、動画デコーダのないサブＬＣＤコントローラのみの低性能で低コストの構成でも、コストをかけることなく動画再生時の表示を行うことができる。また、動画の符号化データによる録画、再生が容易に行えると共に、録画用の動画ファイルの容量を小さくすることができる。
【図面の簡単な説明】
【図１】本発明に関わる第１の実施の形態を示す携帯電話機の動画撮影及び再生時のタイムチャート。
【図２】本発明に関わる第２の実施の形態を示す携帯電話機の動画撮影及び再生時のタイムチャート。
【図３】本発明に関わる実施の形態の制御部の動画撮影時における動作のフローチャート。
【図４】本発明に関わる実施の形態の制御部の動画再生時における動作のフローチャート。
【図５】一般的な携帯電話機の構成を示すブロック図。
【符号の説明】
１　カメラ
２　制御部
３　画像メモリ
４　コードバッファ
５　動画デコーダ
６　メインＬＣＤコントローラ
７　メインＬＣＤ
８　サブＬＣＤコントローラ
９　サブＬＣＤ

Claims

動画を撮影するカメラと、画像を表示する表示手段と、前記表示手段の表示を制御する表示コントローラと、前記カメラからの動画データを記憶する画像メモリと、この動画データを符号化した符号化データを記憶するコードバッファとを備える移動通信端末装置であって、
前記カメラを用いた動画撮影モード時に、
前記符号化データをソフト処理により復号化するフレーム復号化時間に応じて、前記カメラからの動画データのフレームを間引き、その間引き動画データを前記画像メモリに記憶する第１の制御手段と、
前記動画撮影モード終了後に、
前記画像メモリからの前記間引き動画データを符号化して前記コードバッファに記憶する第２の制御手段と、
前記コードバッファからの符号化データを前記ソフト処理により復号化する第３の制御手段と、
を具備することを特徴とする移動通信端末装置。
前記動画データの再生モード時に、
前記第３の制御手段により生成された前記間引き動画データのフレームの送出周期を前記カメラからの動画データのフレーム周期と相関を取って、前記間引き動画データを前記表示コントローラに出力する第４の制御手段を有し、前記表示コントローラにより前記表示手段に前記間引き動画を表示させることを特徴とする請求項１記載の移動通信端末装置。
前記第１の制御手段は、
前記カメラからの動画データのフレーム周期ＴＣと前記第１の制御手段のフレーム復号化時間ＴＤとを比較して、
（ｎ＋１）ＴＣ＞ＴＤ＞ｎＴＣ（ｎは１以上の整数）の関係である時、前記動画データのフレームを（ｎ＋１）分の１に間引くことを特徴とする請求項１又は請求項２記載の移動通信端末装置。
前記第４の制御手段は、
前記カメラからの動画データのフレーム周期ＴＣと前記第１の制御手段のフレーム復号化時間ＴＤとを比較して、
（ｎ＋１）ＴＣ＞ＴＤ＞ｎＴＣ（ｎは１以上の整数）の関係である時、前記表示コントローラに対するフレーム送信周期（ｎ＋１）ＴＣで前記間引き動画データを前記表示コントローラに出力することを特徴とする請求項２記載の移動通信端末装置。
動画を撮影するカメラと、画像を表示する少なくとも第１および第２の表示手段と、前記第１の表示手段の表示を制御する第１の表示コントローラ、および前記第２の表示手段の表示を制御する第２の表示コントローラと、前記カメラからの動画データを記憶する画像メモリと、この動画データを符号化した符号化データを記憶するコードバッファとを備える移動通信端末装置であって、
前記符号化データをソフト処理により複合化するフレーム複合化時間に応じて、前記カメラからの動画データのフレームを間引き、その間引き動画データを前記画像メモリに記憶する第１の制御手段と、
前記画像メモリからの前記間引き動画データを符号化して前記コードバッファに記憶する第２の制御手段と、
前記コードバッファからの符号化データを前記ソフト処理によって複合化する第３の制御手段と、
前記複合化した前記間引き動画データのフレームの送出周期を前記カメラからの動画データのフレーム周期と相関を取って、前記間引き動画データを前記第２の表示コントローラに出力する第４の制御手段と
を具備することを特徴とする移動通信端末装置。