JP2005005882A - Portable telephone and method for displaying document with image - Google Patents

Portable telephone and method for displaying document with image Download PDF

Info

Publication number
JP2005005882A
JP2005005882A JP2003165369A JP2003165369A JP2005005882A JP 2005005882 A JP2005005882 A JP 2005005882A JP 2003165369 A JP2003165369 A JP 2003165369A JP 2003165369 A JP2003165369 A JP 2003165369A JP 2005005882 A JP2005005882 A JP 2005005882A
Authority
JP
Japan
Prior art keywords
image
moving image
document
still image
mail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003165369A
Other languages
Japanese (ja)
Inventor
Akihiro Tsukamoto
明弘 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2003165369A priority Critical patent/JP2005005882A/en
Publication of JP2005005882A publication Critical patent/JP2005005882A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve the visibility of a mail text and a still image or a moving image attached to the mail even when either the still image or the moving image is attached to the mail. <P>SOLUTION: When a still image is attached to a mail, a portable telephone 1a displays a mail text by overlapping it with the still image of 129×96 pixels as a background, and when a moving image is attached to the mail, the portable telephone 1a displays the mail text by placing it beside a moving image reproduced by 96×80 pixels. Also, when the moving image is extended by 129×96 pixels, the portable telephone 1a displays the mail text by overlapping it with the moving image as a background. The expansion system of the moving image may be a system for simply expanding the surrounding of the moving image, a system for linearly increasing an expansion rate according as it goes to the surrounding of the moving image or a system for exponentially increasing the expansion rate according it goes from the central part to surrounding of the moving image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、携帯電話および画像付き文書表示方法に関する。
【０００２】
【従来の技術】
従来より、携帯電話では、カメラにより撮影した画像データをメールに添付して送受信し、メールに画像データが添付されていた場合、画像データを表示するとともに、該画像データ上にメール本文を重ねて表示する技術が提案されている（例えば特許文献１、特許文献２参照）。また、近年、静止画のみでなく、容量の小さい動画を添付ファイルとしてメールに添付して送受信するサービスも提案されている（例えば、特許文献３参照）。
【０００３】
特許文献１に記載されている技術では、画像データにメール本文を重ねて表示する際に、画像データの明度、コントラストを補正するとともに、文字色を画像データの色度に応じて設定することで文字の視認性を向上させている。また、画像データが表示しきれない場合には、表示エリアに表示されない部分をスクロールして表示させるようになっている。
【０００４】
また、特許文献２に記載されている技術では、メールに画像データが添付されていた場合、画像データを表示するとともに、該画像データ上にメール本文を重ねて表示する。このとき、メール本文が長い場合、画像データを固定した状態でメール本文のみをスクロールすることができるようになっている。
【０００５】
【特許文献１】
特開２００２−１４０２６５号公報
【特許文献２】
特開２００２−２８８０８２号公報
【特許文献３】
特開２０００−２３１２１号公報
【０００６】
【発明が解決しようとする課題】
ところで、通常、携帯電話では、静止画の場合には、例えば、１２８×９６ピクセルで表示することができるが、動画の場合には、データ量の関係で９６×８０ピクセルの小さい画面サイズになる。しかしながら、上述した従来技術では、静止画にメール本文を重ねて表示する技術について提案されているが、メールに小さい画面サイズの動画が添付されている場合については何ら提案されていない。また、小さい画面サイズの動画を拡大して表示する技術も提案されているが、メール本文の表示に関する技術はない。
【０００７】
この発明は上述した事情に鑑みてなされたもので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができる携帯電話および画像付き文書表示方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上述した問題点を解決するために、請求項１記載の発明では、静止画または動画をメールに添付して送受信可能な携帯電話において、文書を作成する作成手段と、前記作成手段により作成された文書に添付される静止画または動画を記憶する画像記憶手段と、前記作成手段により作成された文書と、前記画像記憶手段に記憶されている静止画または動画とを表示する表示手段と、前記作成手段により作成された文書に静止画が添付される場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記作成手段により作成された文書に動画が添付される場合、前記表示手段に前記文書と前記動画とを並べて表示させる表示制御手段とを具備することを特徴とする。
【０００９】
また、好ましい態様として、例えば請求項２記載の発明のように、請求項１記載の携帯電話において、前記動画は、前記静止画より小さいサイズで表示されてもよい。
【００１０】
また、好ましい態様として、例えば請求項３記載の発明のように、請求項１または２に記載の携帯電話において、前記動画を再生する際に該動画を拡大する拡大手段を具備し、前記表示制御手段は、前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記作成手段により作成された文書とを重ねて表示させるようにしてもよい。
【００１１】
また、好ましい態様として、例えば請求項４記載の発明のように、請求項１ないし３のいずれかに記載の携帯電話において、前記作成手段によって作成された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施す画像処理手段を具備するようにしてもよい。
【００１２】
また、好ましい態様として、例えば請求項５記載の発明のように、請求項１ないし４のいずれかに記載の携帯電話において、前記文書と前記静止画または前記動画とをデータ送信する送信手段を具備するようにしてもよい。
【００１３】
また、上述した問題点を解決するために、請求項６記載の発明では、文書に関連付けられた静止画または動画を表示するための画像付き文書表示方法であって、前記文書と該文書に添付される静止画または動画とを表示する際、前記文書に静止画が添付されている場合、前記文書と前記静止画とを重ねて表示する一方、前記文書に動画が添付されている場合、前記文書と前記動画とを並べて表示することを特徴とする。
【００１４】
また、好ましい態様として、例えば請求項７記載の発明のように、請求項６記載の画像付き文書表示方法において、前記動画は、前記静止画より小さいサイズで表示されてもよい。
【００１５】
また、好ましい態様として、例えば請求項８記載の発明のように、請求項６または７に記載の画像付き文書表示方法において、前記動画を拡大して再生する場合、拡大された動画と前記文書とを重ねて表示させるようにしてもよい。
【００１６】
また、好ましい態様として、例えば請求項９記載の発明のように、請求項６ないし８のいずれかに記載の画像付き文書表示方法において、前記文書と前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すようにしてもよい。
【００１７】
また、好ましい態様として、例えば請求項１０記載の発明のように、請求項６ないし９のいずれかに記載の画像付き文書表示方法において、前記文書は通信により受信されてもよい。
【００１８】
また、好ましい態様として、例えば請求項１１記載の発明のように、請求項６ないし１０のいずれかに記載の画像付き文書表示方法において、前記静止画または動画は通信により受信されてもよい。
【００１９】
また、上述した問題点を解決するために、請求項１２記載の発明では、静止画または動画をメールに添付して送受信可能な携帯電話において、メール文書を受信するメール受信手段と、前記受信された文書に添付される静止画または動画を記憶する画像記憶手段と、前記受信された文書と、前記画像記憶手段に記憶されている静止画または動画とを表示する表示手段と、前記受信された文書に静止画が添付される場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記受信された文書に動画が添付される場合、前記表示手段に前記文書と前記動画とを並べて表示させる表示制御手段とを具備することを特徴とする。
【００２０】
また、好ましい態様として、例えば請求項１３記載の発明のように、請求項１２記載の携帯電話において、前記動画は、前記静止画より小さいサイズで表示されてもよい。
【００２１】
また、好ましい態様として、例えば請求項１４記載の発明のように、請求項１２ないし１４のいずれかに記載の携帯電話において、前記動画を再生する際に該動画を拡大する拡大手段を具備し、前記表示制御手段は、前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記受信された文書とを重ねて表示させるようにしてもよい。
【００２２】
また、好ましい態様として、例えば請求項１５記載の発明のように、請求項１２ないし１５のいずれかに記載の携帯電話において、前記受信された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施す画像処理手段を具備するようにしてもよい。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を、携帯電話に適用した一実施例として、図面を参照して説明する。
【００２４】
Ａ−１．実施形態の構成
図１は、本発明の実施形態によるメール送受信システムの構成を示すブロック図である。図において、携帯電話（無線通信端末／データ通信装置）１ａ，１ｂは、撮像機能と画像メモリとを備え、画像メモリに格納された静止画または動画をシステム（特に、後述するメールサーバ３３、６３）に送信する機能、および静止画または動画付きメールを受信する機能を備えている。該携帯電話１ａ，１ｂは、静止画または動画付きメールを作成する際、メール本文と該メール本文に添付する静止画または動画を一画面で確認できるように表示するとともに、静止画または動画付きメールを受信した際においても、メール本文の表示と静止画または動画再生とを一画面で行なえるようになっている。
【００２５】
また、動画再生時には、９６×８０ピクセルの動画を１２８×９６ピクセルの最大表示領域に拡大することが可能となっている。拡大方式には、動画周囲を単純に拡大する方式、動画の周囲にいくほど直線的に拡大率を大きくする方式、中央部から周囲にいくほど指数関数的に拡大率を大きくする方式などが考えられるが、いずれの場合においても、拡大により動画の視認性を低下させないため、中央部は１倍のままとする。なお、動画の拡大アルゴリズムは、周知の技術を用いるものとし説明を省略する。
【００２６】
無線基地局２，２は、公衆回線網４を介して携帯電話１ａ，１ｂのユーザが加入する通信サービス事業者（インターネットプロバイダを含む）３に接続する。
【００２７】
通信サービス事業者（インターネットプロバイダを含む）３は、主なサービスとして提供している携帯電話サービスに必要とする交換機３４の他、後述のＷＷＷ５に接続するためのシステム（Ｗｅｂサーバ３２、ルータ３５）、メールシステム（メールサーバ３３）を備えている。無線基地局２をＡＰ（アクセス・ポイント）として、携帯電話１ａ，１ｂをＷＷＷ５に接続させるための機能も備えている。
【００２８】
公衆回線網４は、アナログ、デジタル電話回線網である。ＷＷＷ５は、所謂インターネットである。
【００２９】
インターネットサービスプロバイダ（以下ＩＳＰと称す）６は、交換機を除いて、通信サービス事業者３と同じ構成であり、ＷＷＷ５に接続するためのシステム（便宜的にＷｅｂサーバ６２、ルータ６５）、メールシステム（メールサーバ６３）を備えている。パーソナルコンピュータ７は、公衆回線４、ＩＳＰ６を介してＷＷＷ５に接続したり、メールの送受信を行なう機能を備えている。
【００３０】
なお、本実施形態の特徴として、携帯電話１ａ，１ｂ同士では、静止画または動画付きメールを、メール本文と静止画または動画とを一画面で表示するが（詳細は後述）、携帯電話１ａ，１ｂからパーソナルコンピュータ７へ静止画または動画付きメールを送信した場合、パーソナルコンピュータ７では、静止画または動画は、添付ファイルとして扱われる。すなわち、本実施形態による「静止画または動画付きメールソフトプログラム」は、一般に知られるメールソフトと互換性を持っている。
【００３１】
次に、図２（ａ），（ｂ）は、携帯電話１ａ，１ｂの外観図（開状態：正面図および背面図）である。本実施形態における携帯電話１ａ、１ｂは、蓋部と本体部からなる二つ折り構造である。アンテナ１１は、蓋部の背面に設けられており、伸縮自在となっている。スピーカ１２は、蓋部の前面側に設けられており、音声出力を行なう。表示部（メイン表示部）１３は、カラー液晶であり、例えば１２０ドット（幅）×１６０ドット（高さ）である。該表示部１３には、静止画または動画付きメールの静止画または動画とメール本文とを同時に表示可能となっている。
【００３２】
キー操作部１４は、本体部の前面に設けられており、各種機能キー（メールキー１４１、アドレスキー１４２、ファンクションキー１４３）、テンキー１４４、シャッターキー１４５などからなる。メールキー１４１は、メール機能を起動し、メールメニューを表示するためのものである。アドレスキー１４２は、送信先のメールアドレスを選択する際に用いるアドレス帳を開くためのものである。ファンクションキー１４３は、静止画または動画付きメールの作成時、あるいは静止画または動画付きメールの確認時、動画の再生や一時停止などを指示するためのものである。テンキー１４４は、電話番号や文字の入力の際に使用する。シャッターキー１４５は、撮像モード時において、所定秒（約２秒）の押圧維持検出で、動画撮影を開始する。
【００３３】
マイク１５は、本体部の下部に設けられており、音声入力を行なう。撮影され取り込まれたデータは、動画撮影が終了するまで、もしくは、所定容量（最大１００Ｋバイト）を超えるまで、撮像データバッファ領域１９５に蓄積される。そして、所定容量までデータが蓄積されたか、もしくは上記押圧維持が解除されたことを検知して圧縮ファイル化され、画像メモリ２３に格納される。
【００３４】
サブ表示部１６は、蓋部の背面に設けられている。背面キー１７は、透明、または半透明部材で構成され、着信の際、発光するＬＥＤ１７１を内蔵している。撮像レンズ１８は、蓋部２の背面、上記サブ表示部１６の下部に設けられている。報知スピーカ１９は、着信などを報知するものであり、蓋部を本体部に閉じた状態でも報知音が聞こえるように、本体部の裏面に配置されている。
【００３５】
次に、図３は、携帯電話１ａ，１ｂの構成を示すブロック図である。無線送受信部２０は、無線によりアンテナ１１を介して音声やデータ（メールデータ）を送受し変調／復調する。無線信号処理部２１は、無線送受信部２０で受信した音声やデータ（メールデータ）を復調し、あるいは無線送受信部２０へ送信するための音声やデータを変調するなどの無線通信に必要な処理をする。制御部２２は、各種動作および全体の動作を制御する。
【００３６】
画像メモリ２３は、撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像され、画像処理プログラム領域２４１３に格納されたプログラムにより圧縮符号化された画像ファイルや、ＷＷＷ５を介してダウンロードした画像ファイルを格納するためのメモリである。ＲＯＭ２４は、書換可能なＦｌａｓｈ ＲＯＭで構成され、本発明の特徴となる、後述の各種プログラムを格納する。
【００３７】
ドライバ２５は、表示部１３を駆動させる。ドライバ２６は、サブ表示部１６を駆動させる。加入者情報記憶部２７は、本携帯電話１を呼び出すための電話番号や、操作者（加入者）のＩＤ等、プロフィールデータを格納する。ＲＯＭ２８は、制御部１８を制御する各種プログラムなどを格納する。ＲＡＭ２９は、無線通信端末として必要な各種データを記憶し、かつ制御部２５が動作する上で必要なデータを格納するとともに、メールデータも格納記憶する。特に、本実施形態では、ＲＡＭ２９には、撮影モードにおいて、撮影中の動画を一度バッファリグするための記憶領域がある。
【００３８】
音声信号処理部２００は、マイク１５から入力された音声信号を符号化処理したり、無線信号処理部２１から出力された信号に基づいて復号化してスピーカ１２を駆動させ、音声を出力する。撮像モジュール１８１は、ＣＣＤ、若しくはＣＭＯＳで構成され、カラー画像を取り込む。ＤＳＰ１８２は、撮像モジュール１８１にて取り込まれた画像を符号化処理する。報知デバイス１９２は、報音スピーカ１９、バイブレータ１９１、ＬＥＤ１７１を駆動させるためのドライバである。
【００３９】
次に、図４は、携帯電話１ａ，１ｂのＲＯＭ２４のメモリエリアの構成を示す概念図である。該ＲＯＭ２４は、本実施形態の特徴であるソフトウェアプログラムを格納する。ＲＯＭ２４は、メールソフトウェアプログラム領域２４１１、静止画付きメールソフトプログラム領域２４１２、動画付きメールソフトプログラム領域２４１３、画像処理プログラム領域２４１４およびその他のプログラム領域２４１５からなる。
【００４０】
メールソフトウェアプログラム領域２４１１は、既知のメールソフトウェアプログラムを格納する。静止画付きメールソフトプログラム領域２４１２は、静止画付きメールの作成、受信した静止画付きメールの閲覧を行なうための静止画付きメールソフトプログラムを格納する。動画付きメールソフトプログラム領域２４１３は、動画付きメールの作成、受信した動画付きメールの閲覧を行なうための動画付きメールソフトプログラムを格納する。なお、静止画または動画付きメールソフトウェアプログラムは、ＩＳＰ６を介してＷＷＷ５からダウンロードするようにしてもよい。
【００４１】
画像処理プログラム領域２４１４は、撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像・デジタル符号化されてＲＡＭ２９にバッファリングされた動画データを、ＭＰＥＧ−４に準拠する符号化圧縮処理で圧縮ファイル化するための画像処理プログラムを格納する。また、該画像処理プログラムは、外部より受信、もしくは自機においてファイル化された動画を、再生時に、動画の周囲部を拡大し、全体として１２８×９６ピクセルの表示サイズに変更して表示するようになっている。その他のプログラム領域２４１５は、上記以外のアプリケーションプログラムなどを格納する。
【００４２】
次に、図５は、携帯電話１ａ，１ｂのＲＡＭ２９のメモリエリアの構成を示す概念図である。ＲＡＭ２９は、アドレス帳データ格納領域２９１、メールデータ格納領域２９２、添付ファイル格納領域２９３。その他のワークメモリ２９４、拡大データ領域２９５、表示バッファ２９６および撮像データバッファ領域２９７からなる。アドレス帳データ格納領域２９１は、氏名、電話番号、メールアドレス等を一組のレコードとして複数格納する。メールデータ格納領域２９２は、メールソフトウェアを使用して作成されたメールデータや、受信したメールデータを格納する。添付ファイル格納領域２９３は、メールにファイルが添付されている場合、このファイルを格納する。その他・ワークメモリ２９４は、その他のワークメモリとして、例えば、上述したデコード処理におけるフレームメモリ（３フレーム分）として用いたり、各種データを格納する。拡大データ領域２９５は、部分拡大した動画データを格納する。表示バッファ２９６は、動画を表示する際のバッファとして用いられる。撮像データバッファ領域２９７は、撮影中の動画を一度バッファリングするための記憶領域である。
【００４３】
次に、図６は、静止画と動画との表示サイズの違いを示す模式図である。本実施態様では、静止画の表示サイズは、１２８×９６ピクセルであり、動画の表示サイズは、通常、９６×８０ピクセルである。但し、本実施形態では、動画の視認性を向上させるために、所定の拡大方式により、１２８×９６ピクセルに拡大して表示できるようになっている。
【００４４】
ここで、図７は、本実施形態による動画拡大方式を説明するための概念図である。上述したように、本実施形態では、９６×８０ピクセルの動画の周囲部（図示の斜線部）を、所定の動画拡大方式（後述）に従って部分拡大し、全体として、１２８×９６ピクセルの表示領域で再生可能となっている。また、動画の停止（一時停止）時は、全体を一様拡大して１２８×９６ピクセル（Ｓｕｂ−ＱＣＩＦサイズ）で静止画として表示する。
【００４５】
次に、図８は、本実施形態による動画拡大方式例を説明するための概念図である。図８（ａ）では、中央部を１倍、周囲を３倍とし、単純に拡大する方式である。また、図８（ｂ）では、動画の周囲にいくほど直線的に拡大率を大きくする方式である。また、図８（ｃ）では、中央部から周囲にいくほど指数関数的に拡大率を大きくする方式である。いずれの場合においても、拡大により動画の視認性を低下させないため、中央部の拡大率は１倍のままとする。いずれの動画拡大方式を用いるかは、予め決めておいてもよいし、ユーザによって選択可能としてもよい。
【００４６】
次に、図９および図１０は、動画拡大の方式の一例を説明するための概念図である。動画がＭＰＥＧ−４の場合、デコードする際には、図９に示すように、前後のフレームを参照する必要があるので、通常、バッファには３フレーム分のメモリ領域が必要となる。また、部分拡大の方式としては、一例として、図１０に示すように、注目画素のデータを隣接画素に埋め込むことにより補間する補間法を用いればよい。通常、補間後のデータにフィルタ処理を施すという画像処理を加える。
【００４７】
Ｂ．実施形態の動作
次に、本実施形態の動作について詳細に説明する。
【００４８】
（１）撮影モード
まず、本実施形態による撮像モード時の動作について説明する。ここで、図１１および図１２は、本実施形態による撮像モード時の動作を説明するためのフローチャートである。ユーザにより撮影モードが選択されると、まず、撮影モジュール１８１、ＤＳＰ１８２を起動する（ステップＳ１０）。次に、画像処理プログラムをロードし（ステップＳ１２）、表示部１３にスルー画像を表示する（ステップＳ１４）。次に、シャッターキー１４５が押圧されたか否かを判断する（ステップＳ１６）。そして、シャッターキー１４５が押下されない場合には、ステップＳ１４へ戻り、スルー画像の表示を継続する。
【００４９】
一方、シャッターキー１４５が押下されると、所定秒（２秒）の間、押圧が維持されたか否かを判断する（ステップＳ１８）。シャッターキー１４５が所定秒の間、押圧されつづけた場合には、撮像されたデータを順次取り込み、撮像データバッファ領域２９７に順次蓄積していく（ステップＳ２０）。該撮像データの取り込み過程においては、所定容量（例えば１００Ｋバイト）のデータを蓄積したか否かを判断し（ステップＳ２２）、さらに、シャッターキー１４５の押圧が解除されたか否かを判断する（ステップＳ２４）。そして、所定容量に達しておらず、かつシャッターキー１４５の押圧も解除されていない場合には、ステップＳ２２へ戻り、撮像されたデータの撮像データバッファ領域２９７への蓄積を継続する。
【００５０】
一方、所定容量に達するか、あるいはシャッターキー１４５の押圧が解除された場合には、撮像データバッファ領域２９７へ蓄積した撮像データを圧縮ファイル化する（ステップＳ２６）。そして、圧縮ファイル化された動画ファイルを、タイムスタンプに基づいてファイル名を付加して画像メモリ２３に格納し（ステップＳ３２）、その後、ステップＳ１４へ戻り、前述した処理を継続する。
【００５１】
また、ステップＳ１８において、シャッターキー１４５が所定秒の間、押圧されなかった場合、すなわちシャッターキー１４５が一瞬だけ（２秒以下）押下された場合には、撮像されたデータを取り込み（ステップＳ２８）、圧縮ファイル化する（ステップＳ３０）。そして、圧縮ファイル化された静止画ファイルを、タイムスタンプに基づいてファイル名を付加して画像メモリ２３に格納し（ステップＳ３２）、その後、ステップＳ１４へ戻り、前述した処理を継続する。
【００５２】
このように、撮影モードにおいては、所定時間内にシャッターキー１４５の押圧操作／解除を検出した場合には、その時点で撮像モジュールに取り込まれたイメージを静止画として圧縮ファイル化する一方、所定時間以上に渡ってシャッターキー１４５の押圧を検出した場合には、押圧開始点から取り込まれたイメージを順次撮像データバッファ領域２９７に蓄積し（動画）、所定容量（１００Ｋバイト）を超えるか、シャッターキー１４５の押圧解除を検出すると、動画撮影を停止する。
【００５３】
（２）メール作成
次に、本実施形態によるメール作成時の動作について説明する。ここで、図１３ないし図１７は、本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。ユーザによりメール作成モードが選択されると、メールメニューを表示する（ステップＳ４０）。次に、メールメニューから新規作成が選択されたか否かを判断する（ステップＳ４２）。ここで、新規作成が選択されなかった場合には、受信ボックスが選択されたか否かを判断し（ステップＳ４４）、受信ボックスが選択されなければ、その他の処理へ進む（ステップＳ４６）。なお、受信ボックスが選択された場合、すなわち受信メールを表示するための処理については後述する。
【００５４】
一方、メールメニューから新規作成が選択されると、作成メニューを表示する（ステップＳ４８）。次に、メールメニューから静止画付きメールが選択された否かを判断する（ステップＳ５０）。そして、静止画付きメールが選択されなかった場合には、動画付きメールが選択されたか否かを判断する（ステップＳ５２）。そして、動画付きメールが選択されなかった場合には、通常のメール処理へ進む（ステップＳ５４）。
【００５５】
一方、メールメニューから静止画付きメールが選択された場合には、静止画付きメールプログラムおよび画像処理プログラムをロードし（ステップＳ５６）、作成画面を表示する（ステップＳ６０）。また、メールメニューから動画付きメールが選択された場合には、動画付きメールプログラムおよび画像処理プログラムをロードし（ステップＳ５８）、作成画面を表示する（ステップＳ６０）。
【００５６】
次に、作成画面において、「画像選択」、「メール作成（編集）」のいずれの項目が選択されたか否かを判断する（ステップＳ６２）。ここで、「画像選択」が選択された場合には、まず、画像（静止画または動画）ファイルを検索する（ステップＳ６４）。そして、画像ファイルがあったか否かを判断し（ステップＳ６６）、画像ファイルがなければ、エラーを表示し（ステップＳ６８）、図１３のステップＳ５６の作成画面の表示へ戻る。
【００５７】
一方、画像ファイルがあった場合には、画像ファイル（動画の場合、撮像開始時の静止画）をアルバム表示する（ステップＳ７０）。次に、アルバム表示からいずれかの画像ファイルが選択されたか否かを判断する（ステップＳ７２）。そして、選択されない場合には、ステップＳ７０に戻り、アルバム表示を継続する。
【００５８】
一方、いずれかの画像ファイルが選択されると、選択された画像ファイルが静止画であるか否かを判断する（ステップＳ７４）。そして、選択された画像ファイルが静止画であった場合には、そのままＳｕｂ−ＱＣＩＦサイズ（１２８×９６ピクセル）で表示する（ステップＳ７８）。その後、図１３のステップＳ５６の作成画面表示へ戻る。
【００５９】
一方、選択された画像ファイルが動画である場合には、Ｓｕｂ−ＱＣＩＦサイズ（１２８×９６ピクセル）にリサイズ（一様拡大）し（ステップＳ７６）、静止画を表示する（ステップＳ７８）。その後、図１３のステップＳ５６の作成画面表示へ戻る。
【００６０】
また、作成画面において、「メール作成・編集」が選択された場合には、まず、各項目・編集・表示を行なう画面を表示する（図１５のステップＳ８０）。ユーザは、該画面において、メールのタイトル、メール送信者の名前、メール宛先、メール本文などを入力する。次に、再生」を指示するファンクションキー１４３が操作されたか否かを判断し（ステップＳ８２）、さらに「決定」が検出されたか否かを判断する（ステップＳ８４）。そして、「再生」を指示するファンクションキー１４３の操作も「決定」もされなかった場合には、ステップＳ８０へ戻り、「各項目・編集・表示」の画面表示を継続する。
【００６１】
一方、「再生」を指示するファンクションキー１４３が操作されると、メールに添付すべき静止画が選択されているか否かを判断する（ステップＳ８６）。そして、静止画が選択されている場合には、静止画上にメール本文を重ねて表示し（ステップＳ８８）、ステップＳ８０へ戻る。なお、メール本文の静止画へ表示方法の詳細については後述する。
【００６２】
一方、静止画が選択されていない場合には、メールに添付すべき動画が選択されているか否かを判断する（図１６のステップＳ９０）。そして、動画が選択されている場合には、動画を繰り返し再生する（ステップＳ９２）。動画再生においては、所定のファンクションキーの操作に応じて、９６×８０ピクセルで再生するか、図８（ａ）〜（ｃ）に示す拡大方式のいずれかに従って、１２８×９６ピクセルに部分拡大して再生する。なお、動画再生の詳細については後述する。
【００６３】
次に、フラグＦが「１」であるか否かを判断する（ステップＳ９４）。該フラグＦは、動画を通常再生（９６×８０ピクセル）するか、部分拡大再生（１２８×９６ピクセル）するかを示すフラグであり、後述する動画再生処理において、所定のファンクションキーの操作で、交互に切り替わるようになっている。そして、フラグＦが「１」である場合、すなわち部分拡大再生が選択されている場合には、図２４（ａ）に示すように、１２８×９６ピクセルに部分拡大された動画を背景にメール本文を重ねて表示する（ステップＳ９６）。一方、フラグＦが「０」である場合、すなわち通常再生が選択されている場合には、図２４（ｂ）に示すように、９６×８０ピクセルの動画に対して、並列にメール本文を表示する（ステップＳ９８）。
【００６４】
次に、該再生中に、「一時停止」を指示するファンクションキー１４３が押下されたか否かを判断し（ステップＳ１００）、ファンクションキー１４３が押下されるまで、ステップＳ９２〜Ｓ１００の動画の繰り返し再生を継続する。
【００６５】
一方、動画の再生中に、「一時停止」を指示するファンクションキー１４３が押下されると、その時点での静止画を、一様拡大された１２８×９６ピクセル（Ｓｕｂ−ＱＣＩＦサイズ）にリサイズし（ステップＳ１０２）、後述する処理により、静止画上にメール本文を重ねて表示する（ステップＳ１０４）。その後、図１５のステップＳ８０へ戻り、前述した処理を繰り返す。このように、本実施形態では、メール本文の作成・編集中であっても、容易に動画を再生／一時停止させることができ、しかも動画の再生方式（通常、拡大）に応じて確認しやすい表示方式で、一画面でメール本文と動画とを表示することができる。
【００６６】
また、ステップＳ８０で、各項目・編集・表示画面が表示されているとき、動画が選択されていない状態で、ステップＳ８２でファンクションキーが操作された場合には、「動画が選択されていません」というメッセージを表示する（図１７のステップＳ１０６）。次に、所定時間経過したか否かを判断し（ステップＳ１０８）、所定時間経過していなければ、ステップＳ１０６へ戻り、メッセージの表示を維持する。一方、メッセージの表示が所定時間経過した場合には、メッセージを消去する（ステップＳ１１０）。その後、図１３のステップＳ５６へ戻り、前述した処理を繰り返す。
【００６７】
そして、図１５のステップＳ８０で、各項目・編集・表示画面が表示されているとき、「決定」の操作が検出されると、未記入項目があるか、あるいは動画ファイルが選択されていないかを判断する（ステップＳ１１０）。そして、未記入項目があるか、あるいは静止画または動画ファイルが選択されていない場合には、ユーザに対する確認表示を行ない（ステップＳ１１２）、「ＯＫ」が選択されたか否かを判断する（ステップＳ１１４）。そして、「ＯＫ」が選択されない場合、すなわち未記入項目があるか、静止画または動画ファイルが選択されていない場合には、図１３に示すステップＳ５６へ戻り、作成画面の表示へ進む。以降、ユーザは、未記入項目への入力、あるいはメールに添付する画像ファイル（静止画、動画）を選択するなどしてメールを完成させることになる。
【００６８】
一方、ユーザへの確認表示において、「ＯＫ」が選択された場合には、未記入項目があってもよい、あるいは画像ファイル（静止画、動画）が選択されていなくてもよい、ということであるので、静止画または動画が添付されたメールを送信ボックスに格納し（ステップＳ１１６）、図１３に示すステップＳ４０のメールメニューの表示へ戻り、前述した処理を繰り返す。また、未記入項目がないか、あるいは静止画または動画ファイルが選択されている場合には、確認することなく、静止画または動画が添付されたメールを送信ボックスに格納し（ステップＳ１１６）、図１３に示すステップＳ４０のメールメニューの表示へ戻り、前述した処理を繰り返す。送信ボックスに格納された静止画または動画付きメールは、所定のタイミングで送信される。
【００６９】
（３）静止画および動画へのメール本文の重ね表示処理
次に、本実施形態による静止画および動画へのメール本文の重ね表示時の動作について説明する。ここで、図１８ないし図１９は、本実施形態による静止画および動画へのメール本文の重ね表示時の動作を説明するためのフローチャートである。上述したメール作成動作において、ステップＳ８８の静止画上へのメール本文の重ね表示、ステップＳ９６の動画上へのメール本文の重ね表示、またはステップＳ１０４の静止画上へのメール本文の重ね表では、以下のようにして処理が実行される。
【００７０】
メールに添付するための静止画または動画がアルバム表示から選択されると、選択された静止画または動画に基づく画像の明度を判別する（ステップＳ１２０）。そして、静止画または動画の明度が中間値Ｍであるか否かを判断する（ステップＳ１２２）。そして、静止画または動画の明度が中間値Ｍであれば、静止画または動画の明度を所定量増やす（ステップＳ１２８）。
【００７１】
一方、静止画または動画の明度が中間値Ｍでなければ、中間値Ｍより明るいか否かを判断し（ステップＳ１２４）、中間値Ｍより明るければ、さらに、中間値Ｍと閾値ＴＨ１（中間値Ｍ＜閾値ＴＨ１）との間であるか否かを判断する（ステップＳ１２６）。そして、静止画または動画の明度が中間値Ｍと閾値ＴＨ１との間であれば、静止画または動画の明度を所定量増やす、すなわち明るくする（ステップＳ１２８）。
【００７２】
一方、静止画または動画の明度が中間値Ｍより暗ければ、さらに、中間値Ｍと閾値ＴＨ２（中間値Ｍ＞閾値ＴＨ２）との間であるか否かを判断する（ステップＳ１３０）。そして、静止画または動画の明度が中間値Ｍと閾値ＴＨ２との間であれば、静止画または動画の明度を所定量減らす、すなわち暗くする（ステップＳ１３２）。そして、表示する文字色（メール本文）を白に設定する（ステップＳ１３４）。また、静止画または動画の明度が閾値ＴＨ２より暗い場合には、明度を調整することなく、そのまま表示する文字色（メール本文）を白に設定する（ステップＳ１３４）。
【００７３】
上述したように、静止画または動画の明度を調整した後（あるいは文字色を白に設定した後）、表示部１３に、作成されたメールの本文と静止画または動画とを重ねてプレビュー表示する（ステップＳ１３６）。
【００７４】
このように、本実施形態では、明度判別によって、メールの背景として表示される静止画または動画の明るさを調整することを特徴としている。ここで、図２１は、静止画または動画の明度調整について説明するための概念図である。また、図２２は、静止画と、静止画の明るさ（明度）が中間値Ｍ、若しくは、中間値Ｍと閾値ＴＨ１（明度７０％）の間にあるときにおける静止画の明度調整と、明度調整された静止画とメールの本文とを重ねて表示した場合の模式図である。
【００７５】
図２１に示すように、静止画または動画の明るさ（明度）が中間値Ｍ、若しくは、中間値Ｍと閾値ＴＨ１（明度７０％）の間にあるときは、この静止画または動画の明度を上げるように加工処理する。図２２（ａ）が静止画、図２２（ｂ）が明度が調整された静止画である。そして、図２２（ｂ）に示す静止画に対し、図１５のステップＳ８０で作成されたメールの本文を重ね合わせ、図２２（ｃ）に示すようなプレビュー表示を行なう。
【００７６】
一方、図２１に示すように、静止画または動画の明るさ（明度）が中間値Ｍ以下で、中間値Ｍと閾値ＴＨ２（明度３０％）の間にあるときは、この静止画または動画の明度を下げるように加工処理する。ここで、図２３は、静止画と、静止画の明るさ（明度）が中間値Ｍ以下で、中間値Ｍと閾値ＴＨ２（明度３０％）の間にあるときにおける静止画の明度調整と、明度調整された静止画とメールの本文とを重ねて表示した場合の模式図である。図２３（ａ）が静止画、図２３（ｂ）が明度調整された静止画である。そして、図２３（ｂ）に示す静止画に対し、図１５のステップＳ８０で作成されたメールの本文について、文字色を白に変更して重ね合わせ、図２３（ｃ）のようなプレビュー表示を行なう。
【００７７】
次に、ユーザによる決定指示が検出されたか否かを判断する（ステップＳ１３８）。ここでユーザにより決定されれば、図１５のステップＳ８８、図１６のステップＳ９６、または図１６のステップＳ１０４に戻る。
【００７８】
一方、決定で無い場合、この静止画または動画に対し、明度の補正をマニュアルで調整することができる（ステップＳ１４０）。そして、再度、ユーザによる決定指示が検出されたか否かを判断する（ステップＳ１４２）。決定が指示されない場合には、ステップＳ１４０へ戻り、マニュアル調整を継続する。
【００７９】
一方、マニュアル調整後に決定が指示されると、調整後の静止画または動画の明度を判別し（ステップＳ１４４）、静止画または動画の明度が中間値Ｍであるか否かを判断する（ステップＳ１４６）。そして、マニュアル調整後の静止画または動画の明度が中間値Ｍでなければ、中間値Ｍより明るいか否かを判断し（ステップＳ１４８）、中間値Ｍより明るければ、表示する文字色（メール本文の文字色）を黒に設定し（ステップＳ１５０）、上述した図１８のステップＳ１３６へ戻り、メール本文と静止画または動画とを重ねてプレビュー表示する（ステップＳ１３６）。
【００８０】
また、マニュアル調整後の静止画または動画の明度が中間値Ｍであった場合にも、表示する文字色（メールの本文の文字色）を黒に設定し（ステップＳ１５０）、上述した図１８のステップＳ１３６へ戻り、メール本文と静止画または動画とを重ねてプレビュー表示する（ステップＳ１３６）。
【００８１】
また、マニュアル調整後の静止画または動画の明度が中間値Ｍより暗ければ、表示する文字色（メール本文の文字色）を白に設定し（ステップＳ１５２）、上述したステップＳ１３６へ戻り、メール本文と静止画または動画とを重ねてプレビュー表示する（ステップＳ１３６）。
【００８２】
このように、マニュアル調整で静止画または動画の明度が中間値Ｍをまたいで変更された場合には、メール本文の文字色を変更する。そして、ユーザによる決定指示が検出されたか否かを判断する（ステップＳ１３８）。ここでユーザにより決定されれば、図１５のステップＳ８８、図１６のステップＳ９６、またはステップＳ１０４に戻る。
【００８３】
（４）動画の再生動作
次に、本実施形態による動画再生時の動作について説明する。ここで、図２０は、本実施形態による動画再生時の動作を説明するためのフローチャートである。上述したメール作成動作において、添付ファイルとして動画を選択し、メール本文を作成する際、図１６のステップＳ９２における動画の繰り返し再生では、以下のようにして処理が実行される。
【００８４】
まず、選択された動画ファイルを読み出し（ステップＳ１６０）、デコードし（ステップＳ１６２）、フラグＦが「１」であるか否か、すなわち部分拡大表示するか否かを判断する（ステップＳ１６４）。そして、フラグＦが「１」である場合には、図８（ａ）〜（ｃ）に示す拡大方式のいずれかに従って部分拡大処理を実行する（ステップＳ１６６）。そして、部分拡大処理した、１２８×９６ピクセルの動画をＬＣＤの表示バッファへ格納する（ステップＳ１６８）。この場合、図７に示すように、９６×８０ピクセルの周辺部が拡大（斜線部分）されて、１２８×９６ピクセルの動画として再生され、図２４（ａ）に示すように、部分拡大された再生動画上にメール本文が重ねて表示される。
【００８５】
一方、フラグＦが「１」でない場合には、部分拡大することなく、９６×８０ピクセルのサイズのまま、動画をＬＣＤの表示バッファへ格納する（ステップＳ１６８）。この場合、９６×８０ピクセルの動画として再生され、図２４（ｂ）に示すように、動画と並列にメール本文が表示される。
【００８６】
次に、所定のファンクションキー（部分拡大←→通常を選択するキー）が押下されたか否かを判断する（ステップＳ１７０）。そして、所定のファンクションキーが押下されない場合には、動画が終了したか否かを判断する（ステップＳ１７８）。動画が終了していなければ、図１６のステップＳ９２へ戻り、上述した動作を繰り返す。
【００８７】
一方、所定のファンクションキーが押下された場合には、フラグＦが「１」であるか否かを判断し（ステップＳ１７２）、フラグＦが「１」の場合には、「０」にし（ステップＳ１７４）、フラグＦが「０」の場合には、フラグＦを「１」とする（ステップＳ１７６）。すなわち、動画再生中に、所定のファンクションキー（部分拡大←→通常を選択するキー）が押下される度に、部分拡大した再生と通常サイズの再生とが交互に実行されることになる。そして、動画が終了したか否かを判断する（ステップＳ１７８）。動画が終了していなければ、図１６のステップＳ９２へ戻り、上述した動作を繰り返す。
【００８８】
（５）受信メール表示処理
次に、図２５および図２６は、本実施形態による受信メール表示処理を説明するためのフローチャートである。なお、図２５に示すフローチャートは、前述した図１３に示すステップＳ４４における「ＮＯ」からの分岐である。
【００８９】
受信フォルダが選択された場合には、受信したメールの一覧を表示すべく受信リストを表示する（ステップＳ２００）。ここで、図２７は、表示部１３に表示される受信リストの表示例を示す模式図である。アイコン１３０１は、バッテリの充電量を表わしている。また、アイコン１３０２は、電波受信状態を表わしている。また、受信リストでは、アイコン１３０３〜１３０６でメールの既読／未読を判別できるようになっている。すなわち、アイコン１３０３は、未読メールを表わしている。また、アイコン１３０４は、未読静止画付きメールを表わしている。また、アイコン１３０５は、既読メールを表わしている。アイコン１３０６は、既読静止画付きメールを表わしている。そして、アイコン１３０７は、未読動画付きメールを表わしている。ここで、ユーザは、表示したいメールを受信リストから選択操作することになる。
【００９０】
次に、静止画付きメールが選択されたか否かを判断する（ステップＳ２０２）。そして、静止画付きメールが選択された場合には、静止画付きメールソフトプログラムおよび画像処理プログラムをロードし（ステップＳ２０４）、前述した図１８および図１９に示すフローに従って、静止画を背景にしてメール本文を表示部１３に表示する（ステップＳ２０６）。次に、キャンセル操作が検出されたか否かを判断し（ステップＳ２０８）、キャンセル操作が検出された場合には、ステップＳ２００へ戻り、受信リストの表示へ移行する。
【００９１】
一方、キャンセル操作が検出されなかった場合には、ファンクションキー１４３が操作されたか否かを判断する（ステップＳ２１０）。そして、ファンクションキー１４３が操作されない場合には、ステップＳ２０６へ戻り、静止画を背景にしてメール本文の重ね表示を継続する。
【００９２】
一方、ファンクションキー１４３が操作されると、徐々にメール本文の内容を消しながら、図２２（ａ）に示すように静止画を表示する（ステップＳ２１２）。次に、再度、ファンクションキー１４３が操作されたか否かを判断する（ステップＳ２１４）。そして、ファンクションキー１４３が操作されない場合には、ステップＳ２１２へ戻り、静止画の表示を継続する。一方、静止画が表示されている状態で、ファンクションキー１４３が操作されると、ステップＳ２０６へ戻り、徐々にメール本文の浮き立たせて、図２２（ｃ）に示すように、静止画を背景にしてメール本文を重ねて表示する。
【００９３】
すなわち、ファンクションキー１４３が操作される毎に、メール本文が重ねられた静止画（図２２（ｃ）参照）と、静止画（図２２（ａ））とを徐々に切り換えるように交互に表示するようになっている。
【００９４】
一方、静止画付きメールが選択されなかった場合には、動画付きメールが選択されたか否かを判断し（図２６のステップＳ２２０）、通常のメールが選択された場合には、通常のメール処理へ進む（ステップＳ２２４）。
【００９５】
一方、動画付きメールが選択されると、動画付きメールプログラムおよび画像処理プログラムをロードし（ステップＳ２２２）、前述したように、図２０に示すフローに従って、動画を繰り返し再生する（ステップＳ２２６）。動画再生においては、所定のファンクションキーの操作に応じて、９６×８０ピクセルで再生するか、図８（ａ）〜（ｃ）に示す拡大方式のいずれかに従って、１２８×９６ピクセルに部分拡大して再生する。部分拡大して１２８×９６ピクセルで再生しているとき、フラグＦは「１」であり、９６×８０ピクセルで通常再生しているとき、フラグＦは「０」である。
【００９６】
次に、フラグＦが「１」であるか否かを判断する（ステップＳ２２８）。フラグＦが「１」である場合、すなわち部分拡大再生が選択されている場合には、図２４（ａ）に示すように、１２８×９６ピクセルに部分拡大された動画を背景にメール本文を重ねて表示する（ステップＳ２３０）。一方、フラグＦが「０」である場合、すなわち通常再生が選択されている場合には、図２４（ｂ）に示すように、９６×８０ピクセルの動画に対して、並列にメール本文を表示する（ステップＳ２３２）。
【００９７】
次に、動画再生中に、キャンセルが検出されたか否かを判断し（ステップＳ２３４）、キャンセルが検出されると、図２５のステップＳ２００の受信リスト表示へ戻り、前述した処理を繰り返す。一方、キャンセルが検出されなければ、動画再生を一時停止するためのファンクションキー１４３が操作されたか否かを判断する（ステップＳ２３６）。そして、一時停止のためのファンクションキー１４３が操作されなければ、ステップＳ２２６へ戻り、メール本文の表示と動画再生とを継続する。
【００９８】
一方、一時停止するためのファンクションキー１４３が操作さると、その時点で再生中の動画について、図２８に示すように、その時点での静止画を一様拡大した１２８×９６ピクセル（Ｓｕｂ−ＱＣＩＦサイズ）にリサイズし（ステップＳ２３８）、前述した図１８および図１９に示すフローに従って、静止画上にメール本文を重ねて表示する（ステップＳ２４０）。次に、再生するためのファンクションキー１４３が操作されたか否かを判断し（ステップＳ２４２）、再生が指示されなければ、ステップＳ２３８へ戻り、一時停止状態を継続する。一方、再生するためのファンクションキー１４３が操作されると、ステップＳ２２６へ戻り、所定のファンクションキーの操作に応じて、９６×８０ピクセルで繰り返し再生するか、図８（ａ）〜（ｃ）に示す拡大方式のいずれかに従って、１２８×９６ピクセルに部分拡大して繰り返し再生する（ステップＳ２２６）。
なお、本発明において、携帯電話という用語にはＣＤＭＡ、ＧＳＭをはじめとする各種方式の携帯電話、ＰＨＳ、電話機能を内蔵したＰＤＡ、カメラ機能を内蔵した携帯電話などを含む。
【００９９】
【発明の効果】
請求項１記載の発明によれば、作成手段により文書を作成し、該作成した文書に添付される静止画または動画を画像記憶手段に記憶し、前記文書と前記静止画または動画とを表示手段に表示する際、表示制御手段により、前記文書に静止画が添付されている場合には、前記文書と前記静止画とを重ねて表示させる一方、前記文書に動画が添付されている場合、前記文書と前記動画とを並べて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１００】
また、請求項２記載の発明によれば、前記動画を、前記静止画より小さいサイズで表示するようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１０１】
また、請求項３記載の発明によれば、前記表示制御手段により、前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記作成手段により作成された文書とを重ねて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１０２】
また、請求項４記載の発明によれば、前記作成手段によって作成された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、画像処理手段により、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１０３】
また、請求項５記載の発明によれば、送信手段により、前記文書と前記静止画または前記動画とをデータ送信するようにしたので、前記文書と前記静止画または前記動画とをメールとして送信することができるという利点が得られる。
【０１０４】
また、請求項６記載の発明によれば、前記文書と該文書に添付される静止画または動画とを表示する際、前記文書に静止画が添付されている場合、前記文書と前記静止画とを重ねて表示する一方、前記文書に動画が添付されている場合、前記文書と前記動画とを並べて表示するようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１０５】
また、請求項７記載の発明によれば、前記動画を、前記静止画より小さいサイズで表示するようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１０６】
また、請求項８記載の発明によれば、前記動画を拡大して再生する場合、拡大された動画と前記文書とを重ねて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１０７】
また、請求項９記載の発明によれば、前記文書と前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１０８】
また、請求項１０記載の発明によれば、前記文書を通信により受信されるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１０９】
また、請求項１１記載の発明によれば、前記静止画または動画を、通信により受信するようにしたので、通信により受信した静止画または動画との視認性を向上させることができるという利点が得られる。
【０１１０】
また、請求項１２記載の発明によれば、メール受信手段により受信された文書に添付される静止画または動画を画像記憶手段に記憶し、表示制御手段により、前記受信された文書に静止画が添付される場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記受信された文書に動画が添付される場合、前記表示手段に前記文書と前記動画とを並べて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１１１】
また、請求項１３記載の発明によれば、前記動画を前記静止画より小さいサイズで表示するようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１１２】
また、請求項１４記載の発明によれば、前記表示制御手段により、前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記受信された文書とを重ねて表示させるようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【０１１３】
また、請求項１５記載の発明によれば、前記受信された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、画像処理手段により、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すようにしたので、メールに静止画または動画のいずれが添付されている場合でも、メール本文と添付されている静止画または動画との視認性を向上させることができるという利点が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態によるメール送受信システムの構成を示すブロック図である。
【図２】携帯電話１ａ，１ｂの外観図（開状態：正面図および背面図）である。
【図３】携帯電話１ａ，１ｂの構成を示すブロック図である。
【図４】携帯電話１ａ，１ｂのＲＯＭ２４のメモリエリアの構成を示す概念図である。
【図５】携帯電話１ａ，１ｂのＲＡＭ２９のメモリエリアの構成を示す概念図である。
【図６】静止画と動画との表示サイズの違いを示す模式図である。
【図７】本実施形態による動画拡大方式を説明するための概念図である。
【図８】本実施形態による動画拡大方式例を説明するための概念図である。
【図９】動画拡大の方式の一例を説明するための概念図である。
【図１０】動画拡大の方式の一例を説明するための概念図である。
【図１１】本実施形態による撮像モード時の動作を説明するためのフローチャートである。
【図１２】本実施形態による撮像モード時の動作を説明するためのフローチャートである。
【図１３】本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１４】本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１５】本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１６】本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１７】本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１８】本実施形態による静止画および動画へのメール本文の重ね表示時の動作を説明するためのフローチャートである。
【図１９】本実施形態による静止画および動画へのメール本文の重ね表示時の動作を説明するためのフローチャートである。
【図２０】本実施形態による動画再生時の動作を説明するためのフローチャートである。
【図２１】静止画または動画の明度調整について説明するための概念図である。
【図２２】静止画と、静止画の明るさ（明度）が中間値Ｍ、若しくは、中間値Ｍと閾値ＴＨ１（明度７０％）の間にあるときにおける静止画の明度調整と、明度調整された静止画とメールの本文とを重ねて表示した場合の模式図である。
【図２３】静止画と、静止画の明るさ（明度）が中間値Ｍ以下で、中間値Ｍと閾値ＴＨ２（明度３０％）の間にあるときにおける静止画の明度調整と、明度調整された静止画とメールの本文とを重ねて表示した場合の模式図である。
【図２４】部分拡大再生時の動画上にメール本文を重ねて表示した場合、および通常再生時の動画上にメール本文を重ねて表示した場合の模式図である。
【図２５】本実施形態による受信メール表示処理を説明するためのフローチャートである。
【図２６】本実施形態による受信メール表示処理を説明するためのフローチャートである。
【図２７】表示部１３に表示される受信リストの表示例を示す模式図である。
【図２８】動画の一時停止時における表示例を示す模式図である。
【符号の説明】
１ａ，１ｂ 携帯電話（データ送信装置、データ受信装置）
２ 無線基地局
３ 通信サービス事業者
３２ Ｗｅｂサーバ
３３ メールサーバ
３４ 交換機
３５ ルータ
４ 公衆回線網
５ ＷＷＷ
６ インターネットプロバイダ
６２ Ｗｅｂサーバ
６３ メールサーバ
６５ ルータ
７ パーソナルコンピュータ
１１ アンテナ
１２ スピーカ
１３ 表示部（表示手段）
１３８ ファンクションキー
１３９ ファンクションキー
１４０ ファンクションキー
１４ キー入力部
１４１ メールキー
１４２ アドレスキー
１４３ ファンクションキー
１４４ テンキー
１４５ シャッターキー
１５ マイク
１６ サブ表示部
１７ 背面キー
１７１ ＬＥＤ
１８ 撮像レンズ
１９ 報知スピーカ
２０ 無線送受信部（送信手段）
２１ 無線信号処理部
２２ 制御部（表示制御手段）
２３ 画像メモリ
２４ Ｆｌａｓｈ ＲＯＭ
２５，２６ ドライバ
２７ 加入者情報記憶部
２８ システムＲＯＭ
２９ ＲＡＭ（記憶手段）
１８１ 撮像モジュール
１８２ ＤＳＰ
１９２ ドライバ
２００ 音声信号処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a mobile phone and an image-added document display method.
[0002]
[Prior art]
Conventionally, in a mobile phone, image data captured by a camera is attached to an email and transmitted / received. When image data is attached to an email, the image data is displayed and the email text is superimposed on the image data. A display technique has been proposed (see, for example, Patent Document 1 and Patent Document 2). In recent years, a service has been proposed in which not only a still image but also a moving image with a small capacity is attached to a mail as an attached file and transmitted / received (for example, see Patent Document 3).
[0003]
In the technique described in Patent Document 1, when displaying the mail text superimposed on the image data, the brightness and contrast of the image data are corrected, and the character color is set according to the chromaticity of the image data. The visibility of characters is improved. Further, when the image data cannot be displayed, the portion not displayed in the display area is scrolled and displayed.
[0004]
In the technique described in Patent Document 2, when image data is attached to an email, the image data is displayed and the email text is displayed over the image data. At this time, when the mail text is long, only the mail text can be scrolled with the image data fixed.
[0005]
[Patent Document 1]
JP 2002-140265 A
[Patent Document 2]
JP 2002-288082 A
[Patent Document 3]
JP 2000-23121 A
[0006]
[Problems to be solved by the invention]
By the way, in a mobile phone, in the case of a still image, for example, it can be displayed with 128 × 96 pixels. However, in the case of a moving image, the screen size is as small as 96 × 80 pixels because of the amount of data. . However, in the above-described conventional technique, a technique for displaying a mail text superimposed on a still image has been proposed, but there is no proposal for a case where a moving image having a small screen size is attached to a mail. In addition, a technique for enlarging and displaying a moving image having a small screen size has been proposed, but there is no technique for displaying a mail text.
[0007]
The present invention has been made in view of the above-described circumstances, and can improve the visibility of the mail text and the attached still image or moving image regardless of whether the still image or moving image is attached to the mail. An object of the present invention is to provide a portable telephone and a method for displaying a document with an image.
[0008]
[Means for Solving the Problems]
In order to solve the above-described problem, in the invention according to claim 1, in a mobile phone capable of transmitting and receiving still images or moving images by attaching to a mail, a creation means for creating a document and the creation means created by the creation means Image storage means for storing still images or moving images attached to a document, document created by the creating means, display means for displaying still images or moving pictures stored in the image storing means, and the creation If a still image is attached to the document created by the means, the display means displays the document and the still image on the other side, while a moving image is attached to the document created by the creation means, And a display control unit for displaying the document and the moving image side by side on the display unit.
[0009]
As a preferred embodiment, for example, as in the invention described in claim 2, in the mobile phone described in claim 1, the moving image may be displayed in a size smaller than the still image.
[0010]
Further, as a preferable aspect, for example, as in the invention described in claim 3, the mobile phone according to claim 1 or 2 further includes an enlarging means for enlarging the moving image when the moving image is reproduced, and the display control is performed. The means may display the enlarged moving image and the document created by the creating unit on the display unit when the moving image is enlarged by the enlarging unit.
[0011]
Further, as a preferred aspect, for example, as in the invention according to claim 4, in the mobile phone according to any one of claims 1 to 3, the document created by the creating means and the image storage means are stored. Image processing means for performing image processing on the still image or the moving image so that both the document and the still image or the moving image are visible when the still image or the moving image is displayed in an overlapping manner. You may do it.
[0012]
Further, as a preferred aspect, for example, as in the invention described in claim 5, the mobile phone according to any one of claims 1 to 4, further comprising transmission means for transmitting the document and the still image or the moving image. You may make it do.
[0013]
In order to solve the above-mentioned problem, the invention according to claim 6 is a document-added image display method for displaying a still image or a moving image associated with a document, the document and the document attached thereto. When a still image or a moving image is displayed, when the still image is attached to the document, the document and the still image are displayed in an overlapping manner, while when a moving image is attached to the document, The document and the moving image are displayed side by side.
[0014]
As a preferred aspect, for example, as in the invention according to claim 7, in the document-with-image display method according to claim 6, the moving image may be displayed in a size smaller than the still image.
[0015]
As a preferred aspect, for example, as in the invention according to claim 8, in the document-with-image display method according to claim 6 or 7, when the movie is reproduced in an enlarged manner, the enlarged movie and the document are May be displayed in an overlapping manner.
[0016]
Further, as a preferred aspect, for example, as in the invention according to claim 9, in the document-with-image display method according to any one of claims 6 to 8, the document and the still image or the moving image are displayed in an overlapping manner. At this time, image processing may be performed on the still image or the moving image so that both the document and the still image or the moving image are visible.
[0017]
As a preferred mode, for example, as in the invention according to claim 10, in the document-with-image display method according to any one of claims 6 to 9, the document may be received by communication.
[0018]
As a preferred mode, for example, as in the invention described in claim 11, in the document-with-image display method according to any one of claims 6 to 10, the still image or moving image may be received by communication.
[0019]
In order to solve the above-described problems, in the invention described in claim 12, a mail receiving means for receiving a mail document in a mobile phone capable of transmitting and receiving still images or moving images attached to a mail, and the received Image storage means for storing still images or moving images attached to the document, display means for displaying the received document and still images or moving images stored in the image storage means, and the received When a still image is attached to a document, the display unit displays the document and the still image in a superimposed manner, while when a moving image is attached to the received document, the document and the moving image are displayed on the display unit. And display control means for displaying them side by side.
[0020]
As a preferred embodiment, for example, as in the invention described in claim 13, in the mobile phone described in claim 12, the moving image may be displayed in a size smaller than the still image.
[0021]
Further, as a preferred embodiment, for example, as in the invention described in claim 14, the mobile phone according to any one of claims 12 to 14, further comprising an enlarging means for enlarging the moving image when the moving image is reproduced, The display control unit may cause the display unit to display the enlarged movie and the received document in an overlapping manner when the movie is enlarged by the enlargement unit.
[0022]
Further, as a preferred aspect, for example, as in the invention described in claim 15, in the mobile phone according to any one of claims 12 to 15, the received document and the still image stored in the image storage means An image processing means for performing image processing on the still image or the moving image so that both the document and the still image or the moving image can be visually recognized when the image or the moving image is displayed in an overlapping manner. Also good.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described as an example applied to a mobile phone with reference to the drawings.
[0024]
A-1. Configuration of the embodiment
FIG. 1 is a block diagram showing a configuration of a mail transmission / reception system according to an embodiment of the present invention. In the figure, mobile phones (wireless communication terminals / data communication devices) 1a and 1b are provided with an imaging function and an image memory, and a still image or a moving image stored in the image memory is displayed in a system (in particular, mail servers 33 and 63 described later). ) And a function for receiving e-mails with still images or moving images. The mobile phones 1a and 1b display a mail image and a still image or a video attached to the mail text so that they can be confirmed on one screen when creating a still image or a mail with a moving image. Even when an e-mail is received, the display of the mail text and still image or video playback can be performed on a single screen.
[0025]
Further, at the time of moving image reproduction, a 96 × 80 pixel moving image can be expanded to a maximum display area of 128 × 96 pixels. The enlargement method includes a method of simply enlarging the periphery of the movie, a method of increasing the enlargement factor linearly as it goes around the movie, and a method of increasing the enlargement factor exponentially as it goes from the center to the periphery. However, in any case, since the visibility of the moving image is not deteriorated by enlargement, the central portion remains at 1 ×. The moving image enlargement algorithm uses a well-known technique and will not be described.
[0026]
The radio base stations 2 and 2 are connected via a public network 4 to a communication service provider (including an Internet provider) 3 to which a user of the mobile phone 1a or 1b subscribes.
[0027]
A communication service provider (including an Internet provider) 3 is connected to a WWW 5 described later (Web server 32, router 35) in addition to the exchange 34 required for the mobile phone service provided as the main service. And a mail system (mail server 33). A function for connecting the mobile phones 1a and 1b to the WWW 5 using the wireless base station 2 as an AP (access point) is also provided.
[0028]
The public line network 4 is an analog or digital telephone line network. WWW5 is the so-called Internet.
[0029]
An Internet service provider (hereinafter referred to as ISP) 6 has the same configuration as that of the communication service provider 3 except for an exchange, and is a system (Web server 62 and router 65 for convenience), a mail system (for convenience). A mail server 63). The personal computer 7 has a function of connecting to the WWW 5 via the public line 4 and ISP 6 and transmitting / receiving mails.
[0030]
As a feature of the present embodiment, the mobile phones 1a and 1b display a mail with a still image or a moving image and a mail text and a still image or a moving image on one screen (details will be described later). When a mail with a still image or a moving image is transmitted from 1b to the personal computer 7, the still image or the moving image is handled as an attached file in the personal computer 7. That is, the “mail software program with still image or moving image” according to the present embodiment is compatible with generally known mail software.
[0031]
Next, FIGS. 2A and 2B are external views (open state: front view and rear view) of the mobile phones 1a and 1b. The cellular phones 1a and 1b in the present embodiment have a two-fold structure including a lid portion and a main body portion. The antenna 11 is provided on the back surface of the lid, and is extendable. The speaker 12 is provided on the front side of the lid, and performs audio output. The display unit (main display unit) 13 is a color liquid crystal and has, for example, 120 dots (width) × 160 dots (height). The display unit 13 can simultaneously display a still image or moving image of a mail with a still image or moving image and a mail text.
[0032]
The key operation unit 14 is provided on the front surface of the main body, and includes various function keys (email key 141, address key 142, function key 143), numeric key 144, shutter key 145, and the like. The mail key 141 is for starting a mail function and displaying a mail menu. The address key 142 is for opening an address book used when selecting a destination mail address. The function key 143 is used to instruct reproduction or pause of a moving image when creating a still image or moving image mail or checking a still image or moving image mail. The numeric keypad 144 is used when inputting a telephone number or characters. The shutter key 145 starts moving image shooting when pressing is detected for a predetermined second (about 2 seconds) in the imaging mode.
[0033]
The microphone 15 is provided at the lower part of the main body, and performs voice input. The captured and captured data is accumulated in the imaging data buffer area 195 until the moving image shooting is completed or the predetermined capacity (maximum 100 Kbytes) is exceeded. Then, it is detected that data has been accumulated up to a predetermined capacity, or that the above-mentioned press maintenance has been released, and the compressed file is created and stored in the image memory 23.
[0034]
The sub display unit 16 is provided on the back surface of the lid. The back key 17 is made of a transparent or translucent member, and incorporates an LED 171 that emits light when an incoming call is received. The imaging lens 18 is provided on the back surface of the lid portion 2 and below the sub display portion 16. The notification speaker 19 notifies an incoming call or the like, and is arranged on the back surface of the main body so that a notification sound can be heard even when the lid is closed to the main body.
[0035]
Next, FIG. 3 is a block diagram showing the configuration of the mobile phones 1a and 1b. The wireless transmission / reception unit 20 wirelessly transmits and receives voice and data (mail data) via the antenna 11 to modulate / demodulate. The wireless signal processor 21 demodulates the voice and data (mail data) received by the wireless transmitter / receiver 20 or processes necessary for wireless communication such as modulating voice and data to be transmitted to the wireless transmitter / receiver 20. To do. The control unit 22 controls various operations and overall operations.
[0036]
The image memory 23 is an image file captured by the imaging unit (imaging lens 18, imaging module 181, DSP 182) and compressed and encoded by a program stored in the image processing program area 2413, or an image file downloaded via WWW 5. Is a memory for storing. The ROM 24 is composed of a rewritable flash ROM, and stores various programs to be described later, which are features of the present invention.
[0037]
The driver 25 drives the display unit 13. The driver 26 drives the sub display unit 16. The subscriber information storage unit 27 stores profile data such as a telephone number for calling the mobile phone 1 and an operator (subscriber) ID. The ROM 28 stores various programs for controlling the control unit 18. The RAM 29 stores various data necessary as a wireless communication terminal, stores data necessary for the operation of the control unit 25, and stores mail data. In particular, in the present embodiment, the RAM 29 has a storage area for buffering a moving image being shot once in the shooting mode.
[0038]
The audio signal processing unit 200 encodes the audio signal input from the microphone 15 or decodes the audio signal based on the signal output from the radio signal processing unit 21 to drive the speaker 12 and outputs audio. The imaging module 181 is configured by a CCD or a CMOS, and captures a color image. The DSP 182 encodes the image captured by the imaging module 181. The notification device 192 is a driver for driving the notification sound speaker 19, the vibrator 191, and the LED 171.
[0039]
Next, FIG. 4 is a conceptual diagram showing the configuration of the memory area of the ROM 24 of the cellular phones 1a and 1b. The ROM 24 stores a software program that is a feature of the present embodiment. The ROM 24 includes a mail software program area 2411, a still picture mail software program area 2412, a moving picture mail software program area 2413, an image processing program area 2414, and other program areas 2415.
[0040]
The mail software program area 2411 stores known mail software programs. The still image mail software program area 2412 stores a still image mail software program for creating a still image mail and browsing the received still image mail. The moving image mail software program area 2413 stores a moving image mail software program for creating a moving image mail and browsing the received moving image mail. The mail software program with a still image or a moving image may be downloaded from the WWW 5 via the ISP 6.
[0041]
The image processing program area 2414 compresses moving image data captured and digitally encoded by the imaging unit (imaging lens 18, imaging module 181 and DSP 182) and buffered in the RAM 29 by encoding and compression processing compliant with MPEG-4. Stores an image processing program for filing. Further, the image processing program displays a moving image received from the outside or filed on its own device by expanding the peripheral portion of the moving image to a display size of 128 × 96 pixels as a whole at the time of reproduction. It has become. The other program area 2415 stores application programs other than the above.
[0042]
Next, FIG. 5 is a conceptual diagram showing the configuration of the memory area of the RAM 29 of the cellular phones 1a and 1b. The RAM 29 includes an address book data storage area 291, a mail data storage area 292, and an attached file storage area 293. Other work memory 294, enlarged data area 295, display buffer 296, and imaging data buffer area 297 are included. The address book data storage area 291 stores a plurality of names, telephone numbers, mail addresses, etc. as a set of records. The mail data storage area 292 stores mail data created using mail software and received mail data. When a file is attached to the mail, the attached file storage area 293 stores the file. Others The work memory 294 is used as other work memory, for example, as a frame memory (for three frames) in the decoding process described above, or stores various data. The enlarged data area 295 stores partially enlarged moving image data. The display buffer 296 is used as a buffer when displaying a moving image. The imaging data buffer area 297 is a storage area for once buffering a moving image being shot.
[0043]
Next, FIG. 6 is a schematic diagram illustrating a difference in display size between a still image and a moving image. In this embodiment, the display size of a still image is 128 × 96 pixels, and the display size of a moving image is usually 96 × 80 pixels. However, in this embodiment, in order to improve the visibility of a moving image, it can be enlarged and displayed to 128 × 96 pixels by a predetermined enlargement method.
[0044]
Here, FIG. 7 is a conceptual diagram for explaining the moving image enlargement method according to the present embodiment. As described above, in the present embodiment, the peripheral portion (the hatched portion in the figure) of the moving image of 96 × 80 pixels is partially enlarged according to a predetermined moving image enlargement method (described later), and the display area as a whole is 128 × 96 pixels. It is possible to play with. When the moving image is stopped (temporarily stopped), the entire image is uniformly enlarged and displayed as a still image with 128 × 96 pixels (Sub-QCIF size).
[0045]
Next, FIG. 8 is a conceptual diagram for explaining an example of a moving image enlargement method according to the present embodiment. In FIG. 8 (a), the central part is 1 time and the periphery is 3 times, which is simply enlarged. In FIG. 8B, the enlargement ratio is linearly increased toward the periphery of the moving image. In FIG. 8C, the enlargement ratio is exponentially increased from the center to the periphery. In any case, since the visibility of the moving image is not deteriorated by the enlargement, the enlargement ratio in the central portion remains one time. Which moving image enlargement method is used may be determined in advance or may be selectable by the user.
[0046]
Next, FIG. 9 and FIG. 10 are conceptual diagrams for explaining an example of a moving image enlargement method. When the moving image is MPEG-4, when decoding, it is necessary to refer to the previous and subsequent frames as shown in FIG. 9, and therefore, a memory area for three frames is usually required for the buffer. As an example of the partial enlargement method, as shown in FIG. 10, an interpolation method may be used in which interpolation is performed by embedding data of the pixel of interest in adjacent pixels. Usually, an image process of applying a filter process to the interpolated data is added.
[0047]
B. Operation of the embodiment
Next, the operation of this embodiment will be described in detail.
[0048]
(1) Shooting mode
First, the operation in the imaging mode according to the present embodiment will be described. Here, FIG. 11 and FIG. 12 are flowcharts for explaining the operation in the imaging mode according to the present embodiment. When the shooting mode is selected by the user, first, the shooting module 181 and the DSP 182 are activated (step S10). Next, an image processing program is loaded (step S12), and a through image is displayed on the display unit 13 (step S14). Next, it is determined whether or not the shutter key 145 has been pressed (step S16). If the shutter key 145 is not pressed, the process returns to step S14 to continue displaying the through image.
[0049]
On the other hand, when the shutter key 145 is pressed, it is determined whether or not the pressing is maintained for a predetermined second (2 seconds) (step S18). If the shutter key 145 is kept pressed for a predetermined time, the captured data is sequentially captured and sequentially stored in the captured data buffer area 297 (step S20). In the capturing process of the imaging data, it is determined whether or not a predetermined amount of data (for example, 100 Kbytes) has been accumulated (step S22), and further, it is determined whether or not the shutter key 145 has been released (step S22). S24). If the predetermined capacity has not been reached and the pressing of the shutter key 145 has not been released, the process returns to step S22, and the accumulation of the imaged data in the imaging data buffer area 297 is continued.
[0050]
On the other hand, when the predetermined capacity is reached or the pressing of the shutter key 145 is released, the imaging data stored in the imaging data buffer area 297 is converted into a compressed file (step S26). Then, the compressed video file is added with a file name based on the time stamp and stored in the image memory 23 (step S32), and then the process returns to step S14 to continue the above-described processing.
[0051]
In step S18, if the shutter key 145 is not pressed for a predetermined time, that is, if the shutter key 145 is pressed for a moment (2 seconds or less), the captured data is captured (step S28). The file is compressed (step S30). Then, the compressed still image file is added with a file name based on the time stamp and stored in the image memory 23 (step S32), and then the process returns to step S14 to continue the above-described processing.
[0052]
As described above, in the shooting mode, when the pressing operation / release of the shutter key 145 is detected within a predetermined time, the image captured in the imaging module at that time is converted into a compressed file as a still image, while the predetermined time is When the pressing of the shutter key 145 is detected over the above, the images captured from the pressing start point are sequentially stored in the imaging data buffer area 297 (moving image), and the predetermined amount (100 Kbytes) is exceeded, or the shutter key When the release of the pressure of 145 is detected, the moving image shooting is stopped.
[0053]
(2) Email creation
Next, the operation at the time of mail creation according to the present embodiment will be described. Here, FIG. 13 to FIG. 17 are flowcharts for explaining the operation at the time of mail creation of the mobile phone according to the present embodiment. When the mail creation mode is selected by the user, a mail menu is displayed (step S40). Next, it is determined whether new creation is selected from the mail menu (step S42). If new creation is not selected, it is determined whether or not an inbox is selected (step S44). If no inbox is selected, the process proceeds to other processing (step S46). Note that the processing for displaying the received mail when the inbox is selected, that is, the received mail will be described later.
[0054]
On the other hand, when new creation is selected from the mail menu, the creation menu is displayed (step S48). Next, it is determined whether or not a mail with a still image is selected from the mail menu (step S50). If no still image mail is selected, it is determined whether or not a moving image mail is selected (step S52). If no mail with a moving image is selected, the process proceeds to normal mail processing (step S54).
[0055]
On the other hand, if still image mail is selected from the mail menu, the still image mail program and the image processing program are loaded (step S56), and a creation screen is displayed (step S60). When mail with moving image is selected from the mail menu, the mail program with moving image and the image processing program are loaded (step S58), and a creation screen is displayed (step S60).
[0056]
Next, it is determined whether any item of “image selection” or “mail creation (edit)” is selected on the creation screen (step S62). Here, when “select image” is selected, first, an image (still image or moving image) file is searched (step S64). Then, it is determined whether or not there is an image file (step S66). If there is no image file, an error is displayed (step S68), and the process returns to the creation screen display in step S56 of FIG.
[0057]
On the other hand, if there is an image file, the image file (in the case of a moving image, a still image at the start of imaging) is displayed as an album (step S70). Next, it is determined whether any image file is selected from the album display (step S72). If not selected, the process returns to step S70 and the album display is continued.
[0058]
On the other hand, when any image file is selected, it is determined whether or not the selected image file is a still image (step S74). If the selected image file is a still image, it is displayed as it is in the Sub-QCIF size (128 × 96 pixels) (step S78). Thereafter, the process returns to the creation screen display in step S56 of FIG.
[0059]
On the other hand, if the selected image file is a moving image, it is resized (uniformly enlarged) to the Sub-QCIF size (128 × 96 pixels) (step S76), and a still image is displayed (step S78). Thereafter, the process returns to the creation screen display in step S56 of FIG.
[0060]
When “Create / Edit Mail” is selected on the creation screen, first, a screen for performing each item / edit / display is displayed (step S80 in FIG. 15). On the screen, the user inputs a mail title, a mail sender name, a mail destination, a mail text, and the like. Next, it is determined whether or not the function key 143 for instructing “play” has been operated (step S82), and further, it is determined whether or not “decision” has been detected (step S84). If neither the operation of the function key 143 for instructing “play” nor “decision” is performed, the process returns to step S80, and the screen display of “each item / edit / display” is continued.
[0061]
On the other hand, when the function key 143 for instructing “play” is operated, it is determined whether or not a still image to be attached to the mail is selected (step S86). If a still image has been selected, the mail text is displayed superimposed on the still image (step S88), and the process returns to step S80. Details of the method for displaying the mail text on the still image will be described later.
[0062]
On the other hand, if no still image is selected, it is determined whether a moving image to be attached to the mail is selected (step S90 in FIG. 16). If a moving image is selected, the moving image is repeatedly reproduced (step S92). In video playback, playback is performed at 96 × 80 pixels according to the operation of a predetermined function key, or is partially expanded to 128 × 96 pixels according to any of the enlargement methods shown in FIGS. To play. Details of the moving image reproduction will be described later.
[0063]
Next, it is determined whether or not the flag F is “1” (step S94). The flag F is a flag indicating whether the moving image is normally reproduced (96 × 80 pixels) or partially enlarged (128 × 96 pixels). In the moving image reproducing process described later, by operating a predetermined function key, It is designed to switch alternately. When the flag F is “1”, that is, when the partial enlargement reproduction is selected, as shown in FIG. 24A, the mail body text with the video partially enlarged to 128 × 96 pixels is used. Are superimposed and displayed (step S96). On the other hand, when the flag F is “0”, that is, when normal playback is selected, as shown in FIG. 24B, the mail text is displayed in parallel for a 96 × 80 pixel video. (Step S98).
[0064]
Next, during the reproduction, it is determined whether or not the function key 143 for instructing “pause” is pressed (step S100), and the moving image is repeatedly reproduced in steps S92 to S100 until the function key 143 is pressed. Continue.
[0065]
On the other hand, when the function key 143 for instructing “pause” is pressed during the reproduction of the moving image, the still image at that time is resized to 128 × 96 pixels (Sub-QCIF size) that is uniformly enlarged. (Step S102), the mail text is superimposed and displayed on the still image by the process described later (Step S104). Thereafter, the process returns to step S80 in FIG. 15, and the above-described processing is repeated. As described above, in this embodiment, a moving image can be easily played back / paused even while an e-mail text is being created / edited, and it is easy to check according to the moving image playing method (normally, enlarged) With the display method, it is possible to display the mail text and the moving image on one screen.
[0066]
In addition, when each item / edit / display screen is displayed in step S80, if no movie is selected and the function key is operated in step S82, "No movie is selected." Is displayed (step S106 in FIG. 17). Next, it is determined whether or not a predetermined time has passed (step S108). If the predetermined time has not passed, the process returns to step S106 and the message display is maintained. On the other hand, when the message display has elapsed for a predetermined time, the message is deleted (step S110). Thereafter, the process returns to step S56 in FIG. 13, and the above-described processing is repeated.
[0067]
Then, in step S80 of FIG. 15, when each item / edit / display screen is displayed, if a “decision” operation is detected, there is an unfilled item or a moving image file is not selected. Is determined (step S110). If there is an unfilled item or a still image or moving image file is not selected, a confirmation display for the user is performed (step S112), and it is determined whether or not “OK” is selected (step S114). ). If “OK” is not selected, that is, if there is an unfilled item or no still image or moving image file is selected, the process returns to step S56 shown in FIG. 13 and proceeds to display of the creation screen. Thereafter, the user completes the mail by inputting an unfilled item or selecting an image file (still image or moving image) attached to the mail.
[0068]
On the other hand, when “OK” is selected in the confirmation display to the user, there may be an unfilled item, or an image file (still image, moving image) may not be selected. Therefore, the mail with the still image or the moving image attached is stored in the transmission box (step S116), the process returns to the mail menu display of step S40 shown in FIG. 13, and the above-described processing is repeated. If there is no unfilled item or a still image or movie file is selected, a mail with a still image or movie attached is stored in the transmission box without confirmation (step S116). Returning to the mail menu display in step S40 shown in FIG. 13, the above-described processing is repeated. The still image or moving image mail stored in the transmission box is transmitted at a predetermined timing.
[0069]
(3) Overlay processing of email text on still images and videos
Next, an operation at the time of displaying a mail text superimposed on a still image and a moving image according to the present embodiment will be described. Here, FIG. 18 to FIG. 19 are flowcharts for explaining the operation at the time of displaying the mail text superimposed on the still image and the moving image according to the present embodiment. In the mail creation operation described above, in the superimposing display of the mail text on the still image in step S88, the superimposing display of the mail text on the moving image in step S96, or the superimposing table of the mail text on the still image in step S104, Processing is executed as follows.
[0070]
When a still image or moving image to be attached to the mail is selected from the album display, the brightness of the image based on the selected still image or moving image is determined (step S120). Then, it is determined whether or not the brightness of the still image or moving image is the intermediate value M (step S122). If the brightness of the still image or moving image is the intermediate value M, the brightness of the still image or moving image is increased by a predetermined amount (step S128).
[0071]
On the other hand, if the brightness of the still image or moving image is not the intermediate value M, it is determined whether or not it is brighter than the intermediate value M (step S124). If it is brighter than the intermediate value M, the intermediate value M and the threshold value TH1 (intermediate value) are further determined. It is determined whether or not M <threshold value TH1) (step S126). If the brightness of the still image or moving image is between the intermediate value M and the threshold value TH1, the brightness of the still image or moving image is increased by a predetermined amount, that is, brightened (step S128).
[0072]
On the other hand, if the brightness of the still image or moving image is darker than the intermediate value M, it is further determined whether or not it is between the intermediate value M and the threshold value TH2 (intermediate value M> threshold value TH2) (step S130). If the brightness of the still image or moving image is between the intermediate value M and the threshold value TH2, the brightness of the still image or moving image is reduced by a predetermined amount, that is, darkened (step S132). Then, the character color (mail text) to be displayed is set to white (step S134). If the brightness of the still image or moving image is darker than the threshold value TH2, the character color (mail text) to be displayed as it is is set to white without adjusting the brightness (step S134).
[0073]
As described above, after adjusting the brightness of the still image or moving image (or after setting the character color to white), the created mail text and the still image or moving image are displayed on the display unit 13 as a preview display. (Step S136).
[0074]
As described above, the present embodiment is characterized in that the brightness of a still image or a moving image displayed as a mail background is adjusted by brightness determination. Here, FIG. 21 is a conceptual diagram for explaining brightness adjustment of a still image or a moving image. FIG. 22 shows still image and brightness adjustment of the still image when the brightness (brightness) of the still image is the intermediate value M or between the intermediate value M and the threshold value TH1 (brightness 70%). It is a schematic diagram at the time of displaying the adjusted still image and the mail text in a superimposed manner.
[0075]
As shown in FIG. 21, when the brightness (brightness) of a still image or moving image is between the intermediate value M or the intermediate value M and the threshold value TH1 (brightness 70%), the brightness of the still image or moving image is set. Process to raise. FIG. 22A shows a still image, and FIG. 22B shows a still image with adjusted brightness. Then, the body of the mail created in step S80 of FIG. 15 is superimposed on the still image shown in FIG. 22B, and a preview display as shown in FIG. 22C is performed.
[0076]
On the other hand, as shown in FIG. 21, when the brightness (lightness) of a still image or moving image is equal to or less than the intermediate value M and is between the intermediate value M and the threshold value TH2 (lightness 30%), Processing to lower the brightness. Here, FIG. 23 illustrates the still image and the brightness adjustment of the still image when the brightness (brightness) of the still image is equal to or less than the intermediate value M and between the intermediate value M and the threshold value TH2 (lightness 30%). It is a schematic diagram at the time of displaying the still image adjusted brightness and the text of the mail in an overlapping manner. FIG. 23A shows a still image, and FIG. 23B shows a still image whose brightness has been adjusted. Then, on the still image shown in FIG. 23B, the text of the mail created in step S80 in FIG. 15 is overlaid with the character color changed to white, and a preview display as shown in FIG. Do.
[0077]
Next, it is determined whether or not a determination instruction by the user has been detected (step S138). If it is determined by the user, the process returns to step S88 in FIG. 15, step S96 in FIG. 16, or step S104 in FIG.
[0078]
On the other hand, if it is not determined, the brightness correction can be manually adjusted for the still image or moving image (step S140). Then, it is determined again whether or not a determination instruction by the user has been detected (step S142). If the determination is not instructed, the process returns to step S140, and manual adjustment is continued.
[0079]
On the other hand, when the determination is instructed after manual adjustment, the brightness of the adjusted still image or moving image is determined (step S144), and it is determined whether the brightness of the still image or moving image is the intermediate value M (step S146). ). Then, if the brightness of the still image or moving image after manual adjustment is not the intermediate value M, it is determined whether or not the image is brighter than the intermediate value M (step S148). Is set to black (step S150), and the process returns to step S136 of FIG. 18 described above to superimpose the mail text and a still image or a moving image for preview display (step S136).
[0080]
Also, when the brightness of the still image or moving image after manual adjustment is the intermediate value M, the character color to be displayed (the character color of the mail body) is set to black (step S150), and the above-described FIG. Returning to step S136, the mail text and the still image or moving image are superimposed and displayed as a preview (step S136).
[0081]
If the brightness of the still image or moving image after manual adjustment is darker than the intermediate value M, the character color to be displayed (the character color of the mail body) is set to white (step S152), and the process returns to the above-described step S136 to return to the mail. The text and the still image or moving image are overlaid and previewed (step S136).
[0082]
As described above, when the brightness of the still image or moving image is changed over the intermediate value M by manual adjustment, the character color of the mail body is changed. Then, it is determined whether or not a determination instruction by the user has been detected (step S138). If it is determined by the user, the process returns to step S88 in FIG. 15, step S96 in FIG. 16, or step S104.
[0083]
(4) Movie playback operation
Next, the operation at the time of moving image reproduction according to the present embodiment will be described. Here, FIG. 20 is a flowchart for explaining the operation at the time of moving image reproduction according to the present embodiment. In the mail creation operation described above, when a moving image is selected as an attached file and a mail body is created, the processing is executed as follows in the repeated playback of the moving image in step S92 of FIG.
[0084]
First, the selected moving image file is read (step S160), decoded (step S162), and it is determined whether or not the flag F is “1”, that is, whether or not partial enlargement display is performed (step S164). When the flag F is “1”, the partial enlargement process is executed according to any of the enlargement methods shown in FIGS. 8A to 8C (step S166). Then, the 128 × 96 pixel moving image subjected to the partial enlargement process is stored in the LCD display buffer (step S168). In this case, as shown in FIG. 7, the periphery of 96 × 80 pixels is enlarged (shaded portion) and reproduced as a moving image of 128 × 96 pixels, and partially enlarged as shown in FIG. The mail text is displayed over the playback video.
[0085]
On the other hand, when the flag F is not “1”, the moving image is stored in the display buffer of the LCD with the size of 96 × 80 pixels without being partially enlarged (step S168). In this case, it is reproduced as a moving image of 96 × 80 pixels, and the mail text is displayed in parallel with the moving image, as shown in FIG.
[0086]
Next, it is determined whether or not a predetermined function key (partial enlargement ← → normal selection key) has been pressed (step S170). If the predetermined function key is not pressed, it is determined whether or not the moving image has ended (step S178). If the moving image has not ended, the process returns to step S92 in FIG. 16 to repeat the above-described operation.
[0087]
On the other hand, if a predetermined function key is pressed, it is determined whether or not the flag F is “1” (step S172). If the flag F is “1”, the flag F is set to “0” (step S172). S174) When the flag F is “0”, the flag F is set to “1” (step S176). That is, each time a predetermined function key (partial enlargement ← → normal selection key) is pressed during moving image reproduction, partial enlargement reproduction and normal size reproduction are executed alternately. Then, it is determined whether or not the moving image has ended (step S178). If the moving image has not ended, the process returns to step S92 in FIG. 16 to repeat the above-described operation.
[0088]
(5) Received mail display processing
Next, FIG. 25 and FIG. 26 are flowcharts for explaining the received mail display processing according to the present embodiment. Note that the flowchart shown in FIG. 25 is a branch from “NO” in step S44 shown in FIG. 13 described above.
[0089]
When the reception folder is selected, the reception list is displayed to display a list of received mails (step S200). Here, FIG. 27 is a schematic diagram illustrating a display example of a reception list displayed on the display unit 13. An icon 1301 represents the amount of charge of the battery. An icon 1302 represents a radio wave reception state. In the reception list, the icons 1303 to 1306 can determine whether the mail has been read or not. That is, the icon 1303 represents an unread mail. An icon 1304 represents a mail with an unread still image. An icon 1305 represents a read mail. An icon 1306 represents a mail with a read still image. An icon 1307 represents a mail with an unread moving image. Here, the user selects and operates a mail to be displayed from the reception list.
[0090]
Next, it is determined whether or not a mail with a still image is selected (step S202). When mail with still image is selected, the mail software program with still image and the image processing program are loaded (step S204), and the still image is set as the background according to the flow shown in FIGS. The mail text is displayed on the display unit 13 (step S206). Next, it is determined whether or not a cancel operation has been detected (step S208). If a cancel operation has been detected, the process returns to step S200 and shifts to display of a reception list.
[0091]
On the other hand, if the cancel operation is not detected, it is determined whether or not the function key 143 has been operated (step S210). If the function key 143 is not operated, the process returns to step S206, and the display of the mail text is continued with the still image as the background.
[0092]
On the other hand, when the function key 143 is operated, a still image is displayed as shown in FIG. 22A while gradually erasing the contents of the mail body (step S212). Next, it is determined again whether or not the function key 143 has been operated (step S214). If the function key 143 is not operated, the process returns to step S212, and the still image display is continued. On the other hand, if the function key 143 is operated while the still image is displayed, the process returns to step S206, and the mail text is gradually raised, and the still image is used as the background as shown in FIG. To display the mail text superimposed.
[0093]
That is, every time the function key 143 is operated, the still image (see FIG. 22C) on which the mail text is superimposed and the still image (FIG. 22A) are alternately displayed so as to be gradually switched. It is like that.
[0094]
On the other hand, when the mail with still image is not selected, it is determined whether or not the mail with moving picture is selected (step S220 in FIG. 26). When the normal mail is selected, the normal mail processing is performed. (Step S224).
[0095]
On the other hand, when the mail with moving image is selected, the mail program with moving image and the image processing program are loaded (step S222), and as described above, the moving image is repeatedly reproduced according to the flow shown in FIG. 20 (step S226). In video playback, playback is performed at 96 × 80 pixels according to the operation of a predetermined function key, or is partially expanded to 128 × 96 pixels according to any of the enlargement methods shown in FIGS. To play. The flag F is “1” when partially enlarged and reproduced at 128 × 96 pixels, and the flag F is “0” when normally reproduced at 96 × 80 pixels.
[0096]
Next, it is determined whether or not the flag F is “1” (step S228). When the flag F is “1”, that is, when partial enlarged playback is selected, as shown in FIG. 24A, the mail body is overlaid with the video partially enlarged to 128 × 96 pixels as the background. Are displayed (step S230). On the other hand, when the flag F is “0”, that is, when normal playback is selected, as shown in FIG. 24B, the mail text is displayed in parallel for a 96 × 80 pixel video. (Step S232).
[0097]
Next, it is determined whether or not cancellation is detected during moving image playback (step S234). If cancellation is detected, the process returns to the reception list display in step S200 of FIG. 25 and the above-described processing is repeated. On the other hand, if no cancel is detected, it is determined whether or not the function key 143 for temporarily stopping the moving image playback has been operated (step S236). If the temporary stop function key 143 is not operated, the process returns to step S226, and the display of the mail text and the reproduction of the moving image are continued.
[0098]
On the other hand, when the function key 143 for pausing is operated, as shown in FIG. 28, the still picture at that time is enlarged to 128 × 96 pixels (Sub-QCIF) when the function key 143 for pausing is operated. Size) (step S238), and the mail text is superimposed and displayed on the still image according to the flow shown in FIGS. 18 and 19 (step S240). Next, it is determined whether or not the function key 143 for reproduction has been operated (step S242). If reproduction is not instructed, the process returns to step S238 to continue the pause state. On the other hand, when the function key 143 for reproduction is operated, the process returns to step S226, and the reproduction is repeated at 96 × 80 pixels according to the operation of a predetermined function key, or as shown in FIGS. According to one of the enlargement methods shown, the image is partially enlarged to 128 × 96 pixels and repeatedly reproduced (step S226).
In the present invention, the term mobile phone includes various types of mobile phones such as CDMA and GSM, PHS, PDA with a built-in telephone function, mobile phone with a built-in camera function, and the like.
[0099]
【The invention's effect】
According to the first aspect of the present invention, a document is created by the creating unit, a still image or a moving image attached to the created document is stored in the image storage unit, and the document and the still image or the moving image are displayed. When a still image is attached to the document by the display control means, the document and the still image are displayed in an overlapping manner, while when a moving image is attached to the document, Since the document and the video are displayed side by side, the visibility of the email text and the attached still image or video can be improved regardless of whether a still image or video is attached to the email. The advantage that it can be obtained.
[0100]
According to the second aspect of the present invention, since the moving image is displayed in a size smaller than the still image, the mail body and the attachment are attached regardless of whether the still image or the moving image is attached to the mail. The advantage that visibility with a still image or a moving image can be improved is obtained.
[0101]
According to the invention of claim 3, when the moving image is enlarged by the enlargement unit by the display control unit, the enlarged moving image and the document created by the creation unit are displayed on the display unit. Is displayed in an overlapping manner, so that even if a still image or video is attached to the email, the visibility of the email text and the attached still image or video can be improved. can get.
[0102]
According to the invention described in claim 4, when displaying the document created by the creating unit and the still image or the moving image stored in the image storage unit, the image processing unit Since the image processing is performed on the still image or the moving image so that both the document and the still image or the moving image can be visually recognized, even if either the still image or the moving image is attached to the email, There is an advantage that the visibility of the mail text and the attached still image or moving image can be improved.
[0103]
According to the fifth aspect of the present invention, since the document and the still image or the moving image are transmitted by the transmission means, the document and the still image or the moving image are transmitted as mail. The advantage that it can be obtained.
[0104]
According to the invention of claim 6, when displaying the document and the still image or moving image attached to the document, if the still image is attached to the document, the document and the still image are displayed. When a video is attached to the document, the document and the video are displayed side by side. Therefore, even if a still image or video is attached to the email, There is an advantage that the visibility of the text and the attached still image or moving image can be improved.
[0105]
According to the seventh aspect of the present invention, since the moving image is displayed in a size smaller than the still image, even if either a still image or a moving image is attached to the e-mail, the e-mail text and attached The advantage that visibility with a still image or a moving image can be improved is obtained.
[0106]
According to the eighth aspect of the present invention, when the moving image is enlarged and reproduced, the enlarged moving image and the document are displayed in an overlapping manner, so that either the still image or the moving image is attached to the mail. Even in such a case, it is possible to improve the visibility of the mail text and the attached still image or moving image.
[0107]
According to the ninth aspect of the present invention, when the document and the still image or the moving image are displayed in an overlapping manner, the still image or the still image or the moving image can be visually recognized. Image processing is applied to the video, so that the visibility of the email text and the attached still image or video can be improved regardless of whether a still image or video is attached to the email. The advantage is obtained.
[0108]
According to the invention described in claim 10, since the document is received by communication, the mail body and the still image attached to the mail regardless of whether the still image or the moving image is attached to the mail. Or the advantage that the visibility with a moving image can be improved is acquired.
[0109]
According to the invention of claim 11, since the still image or moving image is received by communication, there is an advantage that visibility with the still image or moving image received by communication can be improved. It is done.
[0110]
According to the invention of claim 12, the still image or the moving image attached to the document received by the mail receiving means is stored in the image storage means, and the still image is added to the received document by the display control means. When attached, the display unit displays the document and the still image in an overlapping manner, while when the moving image is attached to the received document, the display unit displays the document and the moving image side by side. As described above, even when a still image or a moving image is attached to the mail, there is an advantage that the visibility of the mail body and the attached still image or moving image can be improved.
[0111]
According to the invention of claim 13, since the moving image is displayed in a size smaller than the still image, even if either a still image or a moving image is attached to the mail, the moving image is attached to the mail text. The advantage that visibility with a still image or a moving image can be improved is obtained.
[0112]
According to the fourteenth aspect of the present invention, when the moving image is enlarged by the enlargement unit by the display control unit, the enlarged moving image and the received document are superimposed on the display unit. Since it is displayed, even if either a still image or a moving image is attached to the mail, there is an advantage that the visibility of the mail text and the attached still image or moving image can be improved.
[0113]
According to a fifteenth aspect of the present invention, when the received document and the still image or the moving image stored in the image storage means are displayed in an overlapping manner, the image processing means Since the image processing is performed on the still image or the moving image so that both the still image or the moving image can be visually recognized, even if either the still image or the moving image is attached to the mail, There is an advantage that the visibility of the attached still image or moving image can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a mail transmission / reception system according to an embodiment of the present invention.
FIG. 2 is an external view (open state: front view and rear view) of the mobile phones 1a and 1b.
FIG. 3 is a block diagram showing a configuration of mobile phones 1a and 1b.
FIG. 4 is a conceptual diagram showing a configuration of a memory area of a ROM 24 of the mobile phones 1a and 1b.
FIG. 5 is a conceptual diagram showing a configuration of a memory area of a RAM 29 of the mobile phones 1a and 1b.
FIG. 6 is a schematic diagram showing a difference in display size between a still image and a moving image.
FIG. 7 is a conceptual diagram for explaining a moving image enlarging method according to the present embodiment.
FIG. 8 is a conceptual diagram for explaining an example of a moving image enlargement method according to the present embodiment.
FIG. 9 is a conceptual diagram for explaining an example of a moving image enlargement method;
FIG. 10 is a conceptual diagram for explaining an example of a moving image enlargement method;
FIG. 11 is a flowchart for explaining an operation in an imaging mode according to the present embodiment.
FIG. 12 is a flowchart for explaining an operation in an imaging mode according to the present embodiment.
FIG. 13 is a flowchart for explaining an operation at the time of mail creation of the mobile phone according to the present embodiment;
FIG. 14 is a flowchart for explaining an operation at the time of mail creation of the mobile phone according to the present embodiment;
FIG. 15 is a flowchart for explaining an operation at the time of mail creation of the mobile phone according to the present embodiment;
FIG. 16 is a flowchart for explaining an operation at the time of mail creation of the mobile phone according to the present embodiment;
FIG. 17 is a flowchart for explaining an operation at the time of mail creation of the mobile phone according to the present embodiment;
FIG. 18 is a flowchart for explaining an operation at the time of displaying a mail text superimposed on a still image and a moving image according to the present embodiment;
FIG. 19 is a flowchart for explaining an operation at the time of displaying a mail text superimposed on a still image and a moving image according to the present embodiment;
FIG. 20 is a flowchart for explaining an operation at the time of moving image reproduction according to the present embodiment;
FIG. 21 is a conceptual diagram for explaining brightness adjustment of a still image or a moving image.
FIG. 22 shows the brightness adjustment and brightness adjustment of a still image and the still image when the brightness (brightness) of the still image is between the intermediate value M or the intermediate value M and the threshold value TH1 (brightness 70%). FIG. 6 is a schematic diagram when a still image and a mail text are displayed in an overlapping manner.
FIG. 23: Still image brightness adjustment and brightness adjustment when the still image and the still image brightness (lightness) are equal to or lower than the intermediate value M and between the intermediate value M and the threshold value TH2 (lightness 30%). FIG. 6 is a schematic diagram when a still image and a mail text are displayed in an overlapping manner.
FIGS. 24A and 24B are schematic diagrams in a case where an e-mail text is superimposed on a moving image during partial enlargement reproduction, and a case where an e-mail text is displayed superimposed on a moving image during normal reproduction.
FIG. 25 is a flowchart for explaining received mail display processing according to the present embodiment;
FIG. 26 is a flowchart for explaining received mail display processing according to the present embodiment;
27 is a schematic diagram illustrating a display example of a reception list displayed on the display unit 13. FIG.
FIG. 28 is a schematic diagram illustrating a display example when a moving image is paused.
[Explanation of symbols]
1a, 1b Mobile phone (data transmission device, data reception device)
2 radio base stations
3 communication service providers
32 Web server
33 Mail server
34 exchange
35 routers
4 Public network
5 WWW
6 Internet providers
62 Web server
63 Mail server
65 routers
7 Personal computer
11 Antenna
12 Speaker
13 Display section (display means)
138 Function key
139 Function key
140 function keys
14 Key input section
141 Mail key
142 Address key
143 function keys
144 Numeric keypad
145 Shutter key
15 microphone
16 Sub display
17 Back key
171 LED
18 Imaging lens
19 Information speaker
20 Radio transceiver (transmission means)
21 Radio signal processor
22 Control unit (display control means)
23 Image memory
24 Flash ROM
25, 26 drivers
27 Subscriber information storage
28 System ROM
29 RAM (storage means)
181 Imaging module
182 DSP
192 drivers
200 Audio signal processor

Claims (15)

静止画または動画をメールに添付して送受信可能な携帯電話において、
文書を作成する作成手段と、
前記作成手段により作成された文書に添付される静止画または動画を記憶する画像記憶手段と、
前記作成手段により作成された文書と、前記画像記憶手段に記憶されている静止画または動画とを表示する表示手段と、
前記作成手段により作成された文書に静止画が添付される場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記作成手段により作成された文書に動画が添付される場合、前記表示手段に前記文書と前記動画とを並べて表示させる表示制御手段と
を具備することを特徴とする携帯電話。On mobile phones that can send and receive still images or videos to emails,
A creation means for creating a document;
Image storage means for storing still images or moving images attached to the document created by the creation means;
Display means for displaying a document created by the creating means and a still image or a moving image stored in the image storage means;
When a still image is attached to the document created by the creating unit, the moving image is attached to the document created by the creating unit while the display unit displays the document and the still image superimposed on each other. And a display control means for displaying the document and the moving image side by side on the display means. 前記動画は、前記静止画より小さいサイズで表示されることを特徴とする請求項１記載の携帯電話。The mobile phone according to claim 1, wherein the moving image is displayed in a size smaller than the still image. 前記動画を再生する際に該動画を拡大する拡大手段を具備し、
前記表示制御手段は、
前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記作成手段により作成された文書とを重ねて表示させることを特徴とする請求項１または２に記載の携帯電話。Comprising an enlargement means for enlarging the moving image when reproducing the moving image;
The display control means includes
3. The display according to claim 1, wherein when the moving image is enlarged by the enlargement unit, the enlarged moving image and the document created by the creation unit are displayed on the display unit in an overlapping manner. mobile phone. 前記作成手段によって作成された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施す画像処理手段を具備することを特徴とする請求項１ないし３のいずれかに記載の携帯電話。When the document created by the creating unit and the still image or the moving image stored in the image storage unit are displayed in an overlapping manner, both the document and the still image or the moving image are visible. 4. The mobile phone according to claim 1, further comprising image processing means for performing image processing on a still image or the moving image. 前記文書と前記静止画または前記動画とをデータ送信する送信手段を具備することを特徴とする請求項１ないし４のいずれかに記載の携帯電話。5. The mobile phone according to claim 1, further comprising transmission means for transmitting data of the document and the still image or the moving image. 文書に関連付けられた静止画または動画を表示するための画像付き文書表示方法であって、
前記文書と該文書に添付される静止画または動画とを表示する際、前記文書に静止画が添付されている場合、前記文書と前記静止画とを重ねて表示する一方、前記文書に動画が添付されている場合、前記文書と前記動画とを並べて表示することを特徴とする画像付き文書表示方法。A method of displaying a document with an image for displaying a still image or a moving image associated with the document,
When displaying the document and a still image or moving image attached to the document, if the still image is attached to the document, the document and the still image are displayed in an overlapping manner, while the moving image is displayed on the document. If attached, the document and the moving image are displayed side by side to display the document with image. 前記動画は、前記静止画より小さいサイズで表示することを特徴とする請求項６記載の画像付き文書表示方法。The document-attached image display method according to claim 6, wherein the moving image is displayed in a size smaller than the still image. 前記動画を拡大して再生する場合、拡大された動画と前記文書とを重ねて表示させることを特徴とする請求項６または７に記載の画像付き文書表示方法。8. The document-attached image display method according to claim 6, wherein when the moving image is enlarged and reproduced, the enlarged moving image and the document are displayed in an overlapping manner. 前記文書と前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施すことを特徴とする請求項６ないし８のいずれかに記載の画像付き文書表示方法。When the document and the still image or the moving image are displayed in an overlapping manner, image processing is performed on the still image or the moving image so that both the document and the still image or the moving image can be visually recognized. 9. The method for displaying a document with an image according to claim 6. 前記文書は通信により受信されることを特徴とする請求項６ないし９のいずれかに記載の画像付き文書表示方法。10. The image-added document display method according to claim 6, wherein the document is received by communication. 前記静止画または動画は通信により受信されることを特徴とする請求項６ないし１０のいずれかに記載の画像付き文書表示方法。11. The image-attached document display method according to claim 6, wherein the still image or the moving image is received by communication. 静止画または動画をメールに添付して送受信可能な携帯電話において、
メール文書を受信するメール受信手段と、
前記受信された文書に添付される静止画または動画を記憶する画像記憶手段と、
前記受信された文書と、前記画像記憶手段に記憶されている静止画または動画とを表示する表示手段と、
前記受信された文書に静止画が添付される場合、前記表示手段に前記文書と前記静止画とを重ねて表示させる一方、前記受信された文書に動画が添付される場合、前記表示手段に前記文書と前記動画とを並べて表示させる表示制御手段と
を具備することを特徴とする携帯電話。On mobile phones that can send and receive still images or videos to emails,
A mail receiving means for receiving a mail document;
Image storage means for storing still images or moving images attached to the received document;
Display means for displaying the received document and a still image or a moving image stored in the image storage means;
When a still image is attached to the received document, the display unit displays the document and the still image in a superimposed manner, while when a moving image is attached to the received document, the display unit A cellular phone comprising display control means for displaying a document and the moving image side by side. 前記動画は、前記静止画より小さいサイズで表示されることを特徴とする請求項１２記載の携帯電話。The mobile phone according to claim 12, wherein the moving image is displayed in a size smaller than the still image. 前記動画を再生する際に該動画を拡大する拡大手段を具備し、
前記表示制御手段は、
前記拡大手段により動画が拡大されている場合、前記表示手段に、前記拡大された動画と前記受信された文書とを重ねて表示させることを特徴とする請求項１２ないし１４のいずれかに記載の携帯電話。Comprising an enlargement means for enlarging the moving image when reproducing the moving image;
The display control means includes
15. The moving image according to claim 12, wherein when the moving image is enlarged by the enlarging unit, the enlarged moving image and the received document are displayed on the display unit in an overlapping manner. mobile phone. 前記受信された文書と、前記画像記憶手段に記憶されている前記静止画または前記動画とを重ねて表示する際、前記文書と前記静止画または前記動画との双方が視認できるよう前記静止画または前記動画に対して画像処理を施す画像処理手段を具備することを特徴とする請求項１２ないし１５のいずれかに記載の携帯電話。When the received document and the still image or the moving image stored in the image storage unit are displayed in an overlapping manner, the still image or the moving image or the moving image can be visually recognized. 16. The mobile phone according to claim 12, further comprising image processing means for performing image processing on the moving image.
JP2003165369A 2003-06-10 2003-06-10 Portable telephone and method for displaying document with image Pending JP2005005882A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003165369A JP2005005882A (en) 2003-06-10 2003-06-10 Portable telephone and method for displaying document with image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003165369A JP2005005882A (en) 2003-06-10 2003-06-10 Portable telephone and method for displaying document with image

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005252275A Division JP2006018854A (en) 2005-08-31 2005-08-31 Cellular phone with camera and display method of document with image

Publications (1)

Publication Number Publication Date
JP2005005882A true JP2005005882A (en) 2005-01-06

Family

ID=34091876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003165369A Pending JP2005005882A (en) 2003-06-10 2003-06-10 Portable telephone and method for displaying document with image

Country Status (1)

Country Link
JP (1) JP2005005882A (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023121A (en) * 1998-06-29 2000-01-21 Casio Comput Co Ltd Device and method for picture communication and storage medium
JP2002140265A (en) * 2000-08-24 2002-05-17 Hitachi Kokusai Electric Inc Portable terminal
JP2002176619A (en) * 2000-09-12 2002-06-21 Matsushita Electric Ind Co Ltd Media editing method and apparatus thereof
JP2002288082A (en) * 2001-03-28 2002-10-04 Denso Corp Portable terminal and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023121A (en) * 1998-06-29 2000-01-21 Casio Comput Co Ltd Device and method for picture communication and storage medium
JP2002140265A (en) * 2000-08-24 2002-05-17 Hitachi Kokusai Electric Inc Portable terminal
JP2002176619A (en) * 2000-09-12 2002-06-21 Matsushita Electric Ind Co Ltd Media editing method and apparatus thereof
JP2002288082A (en) * 2001-03-28 2002-10-04 Denso Corp Portable terminal and program

Similar Documents

Publication Publication Date Title
JP4178544B2 (en) DATA COMMUNICATION DEVICE, DATA COMMUNICATION SYSTEM, MOVIE DOCUMENT DISPLAY METHOD, AND MOVIE DOCUMENT DISPLAY PROGRAM
KR100610558B1 (en) Electronic apparatus having a communication function and an image pickup function, image display method and recording medium for stroring image display program
CN1788485B (en) Data communications device, image transmission method
US7693391B2 (en) Video playback device, playback method and video playback program
JP2004005492A (en) Data communication device, data communication system, animated document display method and animated document display program
JP4618356B2 (en) Electronic device and program
US20050018050A1 (en) Wireless communication device, dynamic image preparation method and dynamic image preparation program
JP4258507B2 (en) Mobile phone with camera and data communication device
JP2006018854A (en) Cellular phone with camera and display method of document with image
JP2005005882A (en) Portable telephone and method for displaying document with image
JP3962820B2 (en) Mobile phone, document display method with voice, call voice display method, and mobile phone display method
JP2004005525A (en) Data communication device, data communication system and data communication method
JP4161313B2 (en) Image data generation apparatus, image data generation method, and image data generation program
JP4535063B2 (en) Data receiving apparatus, data receiving method, and data receiving program
JP4515807B2 (en) Mobile terminal device
JP4518081B2 (en) Portable electronic device and display program
JP2005044187A (en) Sending device and method for sending mail with animation
JP4324733B2 (en) Image transmission apparatus, transmission control method, and transmission control program
JP2006074558A (en) Image processor, image processing method, and image processing program
JP4362619B2 (en) Movie recording apparatus, movie recording method, and movie recording program
JP2005117375A (en) Portable terminal, dynamic image editing method and dynamic image editing program
JP2005191940A (en) Moving image shooting apparatus, its editing method and its editing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070319