JP2004341740A

JP2004341740A - Mail receiver

Info

Publication number: JP2004341740A
Application number: JP2003136277A
Authority: JP
Inventors: Masaaki Nakae; 優晃中江
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-05-14
Filing date: 2003-05-14
Publication date: 2004-12-02
Anticipated expiration: 2023-05-14
Also published as: JP4201641B2

Abstract

<P>PROBLEM TO BE SOLVED: To facilitate both viewing a moving image and knowing contents of a sentence. <P>SOLUTION: A cellphone 1 is a cellphone for receiving sentence data expressing the sentence and a moving image file expressing the moving image. The cellphone 1 includes: a memory 7 storing the sentence data and the moving image file; a display 6 automatically scroll-displaying at least a part of the sentence, and displaying the moving image; and a control circuit 2 controlling the display 6 such that at least a part of time wherein the sentence is displayed and at least a part of time wherein the moving image is displayed overlap each other. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、メール受信装置に関し、特に、動画の画像データと共にメールの受信が可能なメール受信装置に関する。
【０００２】
【従来の技術】
従来、静止画や動画とともに、メッセージを通信できる携帯電話が広く用いられている。このような携帯電話において、画像とメッセージとをユーザにとってよりわかりやすく表示することが重要な課題となっている。
【０００３】
たとえば、画像と共に送信されたメッセージを表示する場合、画像とメッセージとを同時に表示するなどの工夫が用いられている。
【０００４】
具体的には、特許文献１には、電子メールに画像データが添付されている場合、画像データ上に電子メールのメッセージを表示させる携帯電話が開示されている。
【０００５】
【特許文献１】
特開２００２−２８８０８２公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示されているような、画像データ上にメッセージを表示する場合においては、一度に表示画面上に表示できる文字数が限られているため、たとえばユーザのキー操作に基づいたスクロール処理などの対応が必要となる。この場合、ユーザは、スクロール処理と、本文を読む動作と、画像を見聞する動作とを一度にこなさねばならず、メッセージが読みにくくなるという問題がある。この問題は、画像が動画の場合、特に顕著になる。
【０００７】
本発明は上述の問題点を解決するためになされたものであって、その目的は、動画を見ると共に文の内容を知ることが容易なメール受信装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、メール受信装置は、通信文を表わす文データおよび動画を表わす動画ファイルを、メールとして受信できるメール受信装置である。メール受信装置は、文データおよび動画ファイルを記憶するための記憶手段と、文を、少なくとも一部について自動的に、スクロール表示するための第１の表示手段と、動画を表示するための第２の表示手段と、文が表示される時期および動画が表示される時期それぞれの少なくとも一部が重なるように、第１の表示手段および第２の表示手段のいずれかを制御するための制御手段とを含む。
【０００９】
すなわち、記憶手段は、文データおよび動画ファイルを記憶する。第１の表示手段は、文を、少なくとも一部について自動的に、スクロール表示する。第２の表示手段は、動画を表示する。制御手段は、文が表示される時期および動画が表示される時期それぞれの少なくとも一部が重なるように、第１の表示手段および第２の表示手段のいずれかを制御する。これにより、動画が表示される時期の少なくとも一部において、文が、少なくとも一部について自動的に、スクロール表示される。その結果、動画を見ると共に文の内容を知ることが容易なメール受信装置を提供することができる。
【００１０】
また、上述の制御手段は、文が表示される時期および動画が表示される時期の一方が、他方のすべてに重なるように、第１の表示手段および第２の表示手段のいずれかを制御するための手段を含むことが望ましい。
【００１１】
すなわち、制御手段は、文が表示される時期および動画が表示される時期の一方が、他方のすべてに重なるように、第１の表示手段および第２の表示手段のいずれかを制御できる。これにより、動画が表示される時期に、文がより的確にスクロール表示される。その結果、動画を見ると共に文の内容を知ることがより的確かつ容易なメール受信装置を提供することができる。
【００１２】
また、上述の制御手段は、文が表示される時期および動画が表示される時期が、それぞれの開始時において重なるように、第１の表示手段および第２の表示手段のいずれかを制御するための手段を含むことが望ましい。
【００１３】
すなわち、制御手段は、文が表示される時期および動画が表示される時期が、それぞれの開始時において重なるように、第１の表示手段および第２の表示手段のいずれかを制御できる。これにより、動画が表示される時期の開始時において、文が表示される。その結果、動画を見ると共に文の内容を知ることが、さらに的確かつ容易なメール受信装置を提供することができる。
【００１４】
また、上述の記憶手段は、動画のいずれかの時点の特定画像と文を構成する文字のいずれかである特定文字との対応関係を表わす対応情報を記憶するための手段をさらに含むことが望ましい。併せて、制御手段は、対応情報に基づいて、文が表示される時期のうち特定文字が表示される時期と、動画が表示される時期のうち特定画像が表示される時期とが重なるように、第１の表示手段および第２の表示手段のいずれかを制御するための手段を含むことが望ましい。
【００１５】
すなわち、記憶手段は、動画のいずれかの時点の特定画像と文を構成する文字のいずれかである特定文字との対応関係を表わす対応情報を記憶する。制御手段は、対応情報に基づいて、文が表示される時期のうち特定文字が表示される時期と、動画が表示される時期のうち特定画像が表示される時期とが重なるように、第１の表示手段および第２の表示手段のいずれかを制御することができる。これにより、制御手段は、動画が表示される時期のいずれかにおいて、特定文字が表示されるように、第１の表示手段および第２の表示手段のいずれかを制御できる。その結果、動画を見ると共に文の内容を知ることが、より容易なメール受信装置を提供することができる。
【００１６】
また、上述のメール受信装置は、情報を入力するための入力手段をさらに含むことが望ましい。併せて、制御手段は、入力手段に所定の情報が入力されたことに応答して、第１の表示手段および第２の表示手段のいずれかを制御するための手段を含むことが望ましい。
【００１７】
すなわち、入力手段は、情報を入力する。これにより、制御手段は、所定の情報が入力されたことに応答して、第１の表示手段および第２の表示手段のいずれかを制御できる。その結果、所定の情報が入力された場合に、動画を見ると共に文の内容を知ることが容易なメール受信装置を提供することができる。
【００１８】
また、上述のメール受信装置は、情報を入力するための入力手段をさらに含むことが望ましい。併せて、第１の表示手段は、入力手段に入力された情報に基づいて定められる方向に、文をスクロール表示するための手段を含むことが望ましい。
【００１９】
すなわち、入力手段は、情報を入力する。これにより、第１の表示手段は、入力手段に入力された情報に基づいて定められる方向に、文をスクロール表示できる。その結果、動画を見ると共に、入力された情報に基づいて定められる方向にスクロール表示される文の内容を知ることが容易なメール受信装置を提供することができる。
【００２０】
また、上述のメール受信装置は、情報を入力するための入力手段と、入力手段に入力された情報に基づいて、動画の、表示速度および表示の順逆のいずれかを決定するための決定手段とをさらに含むことが望ましい。
【００２１】
すなわち、入力手段は、情報を入力する。決定手段は、入力手段に入力された情報に基づいて、動画の、表示速度および表示の順逆のいずれかを決定できる。これにより、表示速度および表示の順逆のいずれかが決定された動画が、第２の表示手段によって表示される時期の少なくとも一部において、文が表示される。その結果、表示速度および表示の順逆のいずれかが決定された動画を見ると共に文の内容を知ることが容易で、かつより便利なメール受信装置を提供することができる。
【００２２】
また、上述のメール受信装置は、予め特定された動画の表示時間に基づいて、文の表示時間を特定するための特定手段をさらに含むことが望ましい。併せて、制御手段は、動画の表示時間および文の表示時間に基づいて、文が表示される時期および動画が表示される時期が、それぞれの終了時において重なるように、第１の表示手段および第２の表示手段のいずれかを制御するための手段を含むことが望ましい。
【００２３】
すなわち、特定手段は、予め特定された動画の表示時間に基づいて、文の表示時間を特定できる。制御手段は、動画の表示時間および文の表示時間に基づいて、文が表示される時期および動画が表示される時期が、それぞれの終了時において重なるように、第１の表示手段および第２の表示手段のいずれかを制御できる。これにより、文が表示される時期および動画が表示される時期が、終了時において重なるように、第１の表示手段および第２の表示手段のいずれかをより容易に制御できる。その結果、動画を見ると共に文の内容を知ることがより容易なメール受信装置を提供することができる。
【００２４】
本発明の他の局面に従うと、メール受信装置は、通信文を表わす文データおよび動画を表わす動画ファイルを、メールとして受信できるメール受信装置である。メール受信装置は、文データおよび動画ファイルを記憶するための第１の記憶手段と、音声を表わす音声データを記憶するための第２の記憶手段と、文データおよび音声データに基づいて、通信文に対応する音声を出力するための出力手段と、動画を表示するための表示手段と、発音が出力される時期および動画が表示される時期それぞれの少なくとも一部が重なるように、出力手段および表示手段のいずれかを制御するための制御手段とを含む。
【００２５】
すなわち、第１の記憶手段は、文データおよび動画ファイルを記憶する。第２の記憶手段は、音声を表わす音声データを記憶する。出力手段は、文データおよび音声データに基づいて、通信文に対応する音声を出力する。表示手段は、動画を表示する。制御手段は、発音が出力される時期および動画が表示される時期それぞれの少なくとも一部が重なるように、出力手段および表示手段のいずれかを制御する。これにより、制御手段は、動画が表示される時期の少なくとも一部において、通信文に対応する音声を出力することができる。その結果、動画を見ると共に文の内容を知ることが容易なメール受信装置を提供することができる。
【００２６】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰返さない。
【００２７】
＜第１の実施の形態＞
以下、本発明の第１の実施の形態に係る携帯電話について説明する。
【００２８】
図１を参照して、本実施の形態に係る携帯電話１は、制御回路２と、無線回路３と、スピーカ４と、キーパッド５と、ディスプレイ６と、メモリ７と、マイクロフォン８とを含む。制御回路２は、携帯電話１の全体の制御および動画とともに送信されるメールの処理を担当する。無線回路３は、他の携帯電話との間でメールを通信する。スピーカ４は、データを音声に変換して出力する。キーパッド５は、ユーザの命令などの入力を受付ける。ディスプレイ６は、画像とメッセージを表わす文（以下、「メッセージ」と称する）とを表示する。メモリ７は、動画を表わす動画ファイル、メッセージに関するデータを含むメッセージデータ、およびメールのプロパティを表わすプロパティデータを記憶する。これらのデータは、画像付きメールとして送信されたデータである。マイクロフォン８は、入力されたデータを、音声に変換できる状態で出力する。制御回路２は、第１カウンタ、第２カウンタ、およびタイマ（いずれも図示せず）を含む。第１カウンタおよび第２カウンタは、ディスプレイ６に表示させる画像および文字をそれぞれ特定するパラメータを特定する。タイマは、画像および文字の表示時間を計測する。
【００２９】
図２を参照して、ディスプレイ６は、動画表示領域６１と、文字表示領域６２とを含む。動画表示領域６１は、動画およびメールの一覧表を表示する領域である。文字表示領域６２は、メッセージを表示する領域である。メッセージデータは、通信文を表わす文データと、通信文の文字数を表わすデータとを含む。プロパティデータは、全再生時間を表わすデータと、動画の全フレーム数を表わすデータとを含む。
【００３０】
なお、いうまでもなく、携帯電話１の形態は、図１または図２に示される具体例に限定されるものではない。図１または図２に記載されない他の機能が含まれてもよいし、図１または図２に記載されている機能の必ずしもすべてが含まれていなくても構わない。たとえば、携帯電話１は、マイクロホン８を含まなくてもよい。
【００３１】
図３を参照して、携帯電話１で実行されるプログラムは、メールの選択と表示とに関し、以下のような制御構造を有する。
【００３２】
ステップ１００（以下、ステップをＳと略す。）にて、制御回路２はディスプレイ６の動画表示領域６１にメール一覧表を表示させる。Ｓ１０２にて、制御回路２は、メール一覧の中から選択されたメールの、メッセージデータ、動画ファイル、およびプロパティデータを呼出す。
【００３３】
Ｓ１０４にて、制御回路２は、メモリ７から呼出したデータに動画ファイルが含まれているか否かを判断する。もし動画ファイルが含まれていると判断した場合には（Ｓ１０４にてＹＥＳ）、処理はＳ１０８へと移される。もしそうでないと（Ｓ１０４にてＮＯ）、処理はＳ１０６へと移される。
【００３４】
Ｓ１０６にて、制御回路２は、メモリ７から呼出した文データを、ディスプレイ６に出力する。ディスプレイ６は、文字表示領域６２に、文データに対応する文字を表示する。Ｓ１０８にて、制御回路２は、速度およびタイミングの設定を実施する。Ｓ１１０にて、制御回路２は、動画の再生および文データの表示を実施する。
【００３５】
図４を参照して、携帯電話１で実行されるプログラムは、速度およびタイミングの設定に関し、以下のような制御構造を有する。
【００３６】
Ｓ１２０にて、制御回路２は、メモリ７に記憶されたプロパティデータから、動画の全再生時間を読出す。Ｓ１２２にて、制御回路２は、キーパッド５を用いてスクロール方向の選択を受付ける。Ｓ１２４にて、制御回路２は、キーパッド５から入力されたスクロール方向の選択が横方向か否かを判断する。選択が横方向と判断した場合には（Ｓ１２４にてＹＥＳ）、処理はＳ１２６へと移される。もしそうでないと（Ｓ１２４にてＮＯ）、処理はＳ１２８へと移される。
【００３７】
Ｓ１２６にて、制御回路２は、下記の方程式を解いて、時間ＴＡ［ｍｓ］ごとの、横方向のスクロール速度［文字／ＴＡ（ｍｓ）］を算出する。
【００３８】
（通信文の文字数）＝（動画の全再生時間）×（スクロール速度）
Ｓ１２８にて、制御回路２は、下記の方程式を解いて、時間ＴＡ［ｍｓ］ごとの、縦方向のスクロール速度を算出する。
【００３９】
（通信文の文字数）÷（文字表示領域６２の１行に表示可能な文字数）＝（動画の全再生時間）×（スクロール速度）
図５を参照して、携帯電話１で実行されるプログラムは、動画の再生およびメッセージの表示に関し、以下のような制御構造を有する。
【００４０】
Ｓ１４０にて、制御回路２は、内蔵するタイマおよびカウンタをリセットする。タイマは「０」にリセットされる。第１カウンタおよび第２カウンタはともに「１」にリセットされる。Ｓ１４２にて、制御回路２はメモリ７に記憶された全再生時間およびＳ１２６またはＳ１２８にて算出したスクロール速度に基づいて、動画１フレームあたりの再生時間ＴＢを算出する。
【００４１】
Ｓ１４４にて、制御回路２は、メモリ７を参照して、動画ファイルに第「Ｉ」フレームの画像のデータが含まれているか否かを判断する。画像のデータが含まれていると判断した場合には（Ｓ１４４にてＹＥＳ）、処理はＳ１４６へと移される。もしそうでないと（Ｓ１４４にてＮＯ）、処理はＳ１４８へと移される。
【００４２】
Ｓ１４６にて、制御回路２は、メモリ７の動画ファイルから第「Ｉ」フレームの画像のデータを呼出す。Ｓ１４８にて、制御回路２は、文データの第「Ｊ」番目の文字のデータがメモリ７に記憶されているか否かを判断する。データがメモリ７に記憶されていると判断した場合（Ｓ１４８にてＹＥＳ）、処理はＳ１５０へと移される。もしそうでないと（Ｓ１４８にてＮＯ）、処理はＳ１５２へと移される。
【００４３】
Ｓ１５０にて、制御回路２は、メモリ７に記憶された文データから第「Ｊ」番目の文字のデータを呼出す。Ｓ１５２にて、制御回路２は、ディスプレイ６に、呼出した画像のデータおよび文字のデータを出力する。文字のデータは、文字表示領域６２に、スクロール表示される。スクロールの方向（本実施の形態においては、縦方向および横方向のいずれかである）は、Ｓ１２４において判断された選択にしたがう。これにより、動画表示領域６１および文字表示領域６２において、同時に動画の表示およびメッセージの表示が開始する。Ｓ１２６およびＳ１２８の処理によって、本実施の形態における動画の全再生時間と通信文の全表示時間とは一致するので、動画表示領域６１および文字表示領域６２において、同時に動画の表示およびメッセージの表示が終了する。
【００４４】
Ｓ１５４にて、制御回路２は、タイマに基づいて１フレームあたりの再生時間ＴＢが経過したか否かを判断する。１フレームあたりの再生時間ＴＢが経過したと判断した場合には（Ｓ１５４にてＹＥＳ）、処理はＳ１５６へと移される。もしそうでないと（Ｓ１５４にてＮＯ）、処理はＳ１５８へと移される。Ｓ１５６にて、制御回路２は、第１カウンタの値に「１」を加算する。
【００４５】
Ｓ１５８にて、制御回路２は、表示時間ＴＡが経過したか否かを判断する。表示時間ＴＡが経過したと判断した場合には（Ｓ１５８にてＹＥＳ）、処理はＳ１６０へと移される。もしそうでないと（Ｓ１５８にてＮＯ）、処理はＳ１６６へと移される。
【００４６】
Ｓ１６０にて、制御回路２は、スクロール方向が横方向か否かを判断する。スクロール方向が横方向と判断した場合には（Ｓ１６０にてＹＥＳ）、処理はＳ１６２へと移される。もしそうでないと（Ｓ１６０にてＮＯ）、処理はＳ１６４へと移される。Ｓ１６２にて、制御回路２は、第２カウンタの値に「１」を加算する。Ｓ１６４にて、制御回路２は、第２カウンタの値に１行の文字数を加算する。
【００４７】
Ｓ１６６にて、制御回路２は、第１カウンタおよび第２カウンタの値がともに最大値以上か否かを判断する。すなわち、第１カウンタの値が動画の全フレーム数以上であって、第２カウンタの値が通信文の文字数以上であるか否かを判断する。最大値以上と判断した場合には（Ｓ１６６にてＹＥＳ）、処理はメインルーチンに戻る。もしそうでないと（Ｓ１６６にてＮＯ）、処理はＳ１４４へと移される。
【００４８】
以上のような構造およびフローチャートに基づく、携帯電話１の動作について説明する。
【００４９】
［横方向のスクロール処理動作］
横方向のスクロールを選択した場合の動画およびメッセージの表示処理について説明する。
【００５０】
ディスプレイ６の動画表示領域６１にメール一覧が表示されると（Ｓ１００）、制御回路２は、メール一覧の中から選ばれたメールのメールデータを、メモリ７から呼出す（Ｓ１０２）。メールデータが呼出されると、制御回路２はメールデータの中に動画が添付されているか否かを判断する（Ｓ１０４）。この場合、動画が添付されているので（Ｓ１０４にてＹＥＳ）、制御回路２はメモリ７に記憶されたプロパティデータから、全再生時間を読出す（Ｓ１２０）。
【００５１】
全再生時間が読出されると、制御回路２はキーパッド５を用いてスクロール方向の選択を受付ける（Ｓ１２２）。選択が受付けられると、制御回路２はキーパッド５から入力されたスクロール方向の選択が横方向か否かを判断する（Ｓ１２４）。この場合、横方向のスクロールが選択されるので（Ｓ１２４にてＹＥＳ）、制御回路２は、下記の方程式を解いて、時間ＴＡ［ｍｓ］ごとの横方向のスクロール速度［文字／ＴＡ（ｍｓ）］を算出する（Ｓ１２６）。
【００５２】
（通信文の文字数）＝（動画の全再生時間）×（スクロール速度）
スクロール速度が算出されると、制御回路２は、タイマおよびカウンタをリセットする（Ｓ１４０）。カウンタがリセットされると、制御回路２はメモリ７に記憶された全再生時間およびスクロール速度に基づいて、１フレームあたりの再生時間ＴＢを算出する（Ｓ１４２）。
【００５３】
１フレームあたりの再生時間ＴＢが算出されると、制御回路２はメモリ７を参照して、動画ファイルに第「１」フレームの画像のデータが含まれているか否かを判断する（Ｓ１４４）。画像のデータは含まれているので（Ｓ１４４にてＹＥＳ）、制御回路２は、メモリ７の動画ファイルから第「１」フレームの画像のデータを呼出す（Ｓ１４６）。
【００５４】
画像のデータが呼出されると、制御回路２は、メモリ７に第「１」番目の文字のデータがあるか否かを判断する（Ｓ１４８）。第「１」番目の文字のデータがあるので（Ｓ１４８にてＹＥＳ）、制御回路２は、メモリ７の文データから第「１」番目の文字のデータを呼出す（Ｓ１５０）。
【００５５】
文字のデータが呼出されると、制御回路２は、ディスプレイ６に、呼出した画像のデータおよび文字のデータを出力する（Ｓ１５２）。データが出力されると、制御回路２はタイマに基づいて、１フレームあたりの再生時間ＴＢが経過したか否かを判断する（Ｓ１５４）。１フレームあたりの再生時間ＴＢが経過すると（Ｓ１５４にてＹＥＳ）、制御回路２は、第１カウンタの値に「１」を加算する（Ｓ１５６）。
【００５６】
カウンタの値に「１」が加算されると、制御回路２は、表示時間ＴＡが経過したか否かを判断する（Ｓ１５８）。表示時間が経過すると（Ｓ１５８にてＹＥＳ）、制御回路２は、スクロール方向が横方向か否かを判断する（Ｓ１６０）。この場合、スクロール方向は横方向なので（Ｓ１６０にてＹＥＳ）、制御回路２は、第２カウンタの値に「１」を加算する。
【００５７】
「１」が加算されると、制御回路２は第１カウンタおよび第２カウンタの値がともに最大値以上か否かを判断する（Ｓ１６６）。この場合まだ最大値ではないので（Ｓ１６６にてＮＯ）、Ｓ１４４〜Ｓ１６２の動作を繰返し、制御回路２は、第１カウンタおよび第２カウンタの値がともに最大値以上か否かを判断する（Ｓ１６６）。ともに最大値以上となった場合（Ｓ１６６にてＹＥＳ）、動画およびメッセージはすべて表示されたので処理を終了する。
【００５８】
［縦方向のスクロール処理］
縦方向のスクロールを選択した場合の動画およびメッセージの表示処理について説明する。
【００５９】
制御回路２が、キーパッド５を用いて、スクロール方向の選択を受付けると（Ｓ１２２）、制御回路２は、キーパッド５から入力されたスクロール方向の選択が横方向か否かを判断する（Ｓ１２４）。この場合、選択は縦方向なので（Ｓ１２４にてＮＯ）、制御回路２は、下記の方程式を解いて、時間ＴＡ［ｍｓ］ごとの、縦方向のスクロール速度を算出する（Ｓ１２８）。
【００６０】
（通信文の文字数）÷（文字表示領域６２の１行に表示可能な文字数）＝（動画の全再生時間）×（スクロール速度）
スクロール速度が算出されると、Ｓ１４０〜Ｓ１５８の処理を経て、制御回路２は、スクロール方向が横方向か否かを判断する（Ｓ１６０）。この場合、スクロール方向は縦方向なので（Ｓ１６０にてＮＯ）、制御回路２は、第２カウンタの値に１行の文字数を加算する（Ｓ１６４）。
【００６１】
文字数が加算されると、Ｓ１６６〜Ｓ１６４の処理を繰返して、制御回路２は、第１カウンタおよび第２カウンタの値がともに最大値以上か否かを判断する（Ｓ１６６）。ともに最大値以上の場合（Ｓ１６６にてＹＥＳ）、動画およびメッセージはすべて表示されているので、処理を終了する。
【００６２】
以上のようにして、本実施の形態に係る携帯電話は、特別に操作しなくても、動画を見ると共に文の内容を知ることが容易にできる。本実施の形態に係る携帯電話は、大規模な装置を特に必要としない。本実施の形態に係る携帯電話は、キーパッド５によって入力された選択に基づいて定められる、縦方向および横方向のいずれかにスクロール表示されるメッセージを表示することができる。その結果、動画を見ると共に文の内容を知ることが容易な携帯電話を提供することができる。
【００６３】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る携帯電話について説明する。
【００６４】
本実施の形態に係る携帯電話１は、キーパッド５に、機能キー６３と、巻戻しキー６４と、再生キー６５と、早送りキー６６とを含む。図６を参照して、本実施の形態に係る携帯電話１のディスプレイを説明する。本実施の形態に係る携帯電話１において、ディスプレイ６はタッチパネルとなっている。ディスプレイ６は、キーパッド５のユーザインターフェイスの機能を併せ持っている。メモリ７は、方向フラグの値を表わすデータと、縦方向および横方向それぞれについてのスクロール速度を表わすデータと、機能フラグの値を表わすデータとをさらに含む。機能キー６３は、本実施の形態に係る動画が再生される時期とメッセージが表示される時期との制御をＯＮ／ＯＦＦするキーである。巻戻しキー６４は、動画を巻戻し再生するキーである。再生キー６５は、動画を標準の設定で再生するキーである。早送りキー６６は、動画を早送り再生するキーである。方向フラグとは、たとえば順送り、巻戻しといった動画の再生の方向を表わすフラグである。機能フラグとは、本実施の形態に係る動画の再生時期とメッセージの再生時期との制御を実施するか否かを表わすフラグである。スクロール速度とは、メッセージのスクロール速度を表わす値である。メモリ７に記憶されたメッセージデータは、対応情報をさらに含む。対応情報とは、動画を構成するフレームとメッセージを構成する文字との間の対応関係を表わすデータである。図７を参照して、本実施の形態に係る対応情報の内容を説明する。対応情報は、ヘッダと、文字位置と、フレームナンバーと、文字情報とを含む。ヘッダとは、１つの対応情報の始まりを表わすデータである。文字位置とは、メッセージの中における文字の順序を表わす値である。フレームナンバーとは、文字に対応している動画のフレームの番号を表わす値である。文字情報とは、対応情報が対応する文字そのものを表わすデータである。
【００６５】
なお、その他のハードウェア構成については前述の第１の実施の形態と同じである。それらについての機能も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００６６】
図８を参照して、携帯電話１で実行されるプログラムは、速度およびタイミングの設定に関し、以下のような制御構造を有する。なお、図８に示すフローチャートの中で、前述の図４に示した処理は同じステップ番号を付してある。それらの処理も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００６７】
Ｓ１８０にて、制御回路２は、機能キー６３が押されたか否かを判断する。機能キー６３が押されたと判断した場合（Ｓ１８０にてＹＥＳ）、処理はＳ１８２へと移される。もしそうでないと（Ｓ１８０にてＮＯ）、処理はＳ１８４へと移される。Ｓ１８２にて、制御回路２は、切換処理を実施する。切換処理は、Ｓ１９２〜Ｓ１９６のステップによって構成される処理である。
【００６８】
Ｓ１８４にて、制御回路２は、機能フラグが「０」か否かを判断する。「０」と判断した場合には（Ｓ１８４にてＹＥＳ）、処理はＳ１２２へと移される。もしそうでないと（Ｓ１８４にてＮＯ）、処理はＳ１８６へと移される。Ｓ１８６にて、制御回路２は、メモリ７から、縦方向のスクロール速度を呼出す。
【００６９】
Ｓ１８８にて、制御回路２は、メモリ７から、横方向のスクロール速度を呼出す。Ｓ１９０にて、制御回路２は、メモリ７から、縦方向のスクロール速度を呼出す。
【００７０】
図９を参照して、携帯電話１で実行されるプログラムは、切替処理に関し、以下のような制御構造を有する。
【００７１】
Ｓ１９２にて、制御回路２は、機能フラグが「０」か否かを判断する。「０」と判断した場合には（Ｓ１９２にてＹＥＳ）、処理はＳ１９４へと移される。もしそうでないと（Ｓ１９２にてＮＯ）、処理はＳ１９６へと移される。Ｓ１９４にて、制御回路２は、機能フラグを「１」に設定する。Ｓ１９６にて、制御回路２は、機能フラグを「０」に設定する。
【００７２】
図１０を参照して、携帯電話１で実行されるプログラムは、動画の再生の開始およびメール本文の表示に関し、以下のような制御構造を有する。なお、図１０に示すフローチャートの中で、前述の図５に示した処理は同じステップ番号を付してある。それらの処理も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００７３】
Ｓ２００にて、制御装置２は、方向フラグ、タイマおよびカウンタを設定する。方向フラグは「０」に設定される。タイマは「０」に設定される。第１カウンタは「１」に設定される。第２カウンタは「１」に設定される。Ｓ２０２にて、制御回路２はメモリ７に記憶された全再生時間およびスクロール速度に基づいて、表示時間ＴＡおよび１フレームあたりの再生時間ＴＢを算出する。
【００７４】
Ｓ２０４にて、制御回路２は、機能フラグが「０」か否かを判断する。「０」と判断した場合には（Ｓ２０４にてＹＥＳ）、処理はＳ２０６へと移される。もしそうでないと（Ｓ２０４にてＮＯ）、処理はＳ１４８へと移される。Ｓ２０６にて、制御回路２は、対応情報に基づいて、第１カウンタの値Ｉに対応する第２カウンタの値Ｊを特定する。
【００７５】
Ｓ２０８にて、制御回路２は、文データから第「Ｊ」番目以降の文字列のデータを呼出す。Ｓ２１０にて、制御回路２は、画像のデータおよび第「Ｊ」番目以降の文字列のデータを出力する。Ｓ２１２にて、制御回路２は、第１カウンタの値に「１」と方向フラグの値とを乗じた値を加算する。Ｓ２１４にて、制御回路２は、機能フラグが「０」か否かを判断する。「０」と判断した場合には（Ｓ２１４にてＹＥＳ）、処理はＳ２２２へと移される。もしそうでないと（Ｓ２１４にてＮＯ）、処理はＳ２１６へと移される。Ｓ２１６にて、制御回路２は、再生キー６５が押されたか否かを判断する。再生キー６５が押されたと判断した場合（Ｓ２１６にてＹＥＳ）、処理はＳ２１８へと移される。もしそうでないと（Ｓ２１６にてＮＯ）、処理はＳ１５８へと移される。Ｓ２１８にて、制御回路２は、次に再生キー６５が押されるまで、処理を一時停止する。
【００７６】
Ｓ２２０にて、制御回路２は、第２カウンタの値に１行の文字数と方向フラグの値とを乗じた値を加算する。Ｓ２２２にて、制御回路２は、機能フラグが「０」か否かを判断する。「０」と判断した場合には（Ｓ２２２にてＹＥＳ）、処理はＳ２２４へと移される。もしそうでないと（Ｓ２２２にてＮＯ）、処理はＳ１６６へと移される。Ｓ２２４にて、制御回路２は、再生キー６５が押されたか否かを判断する。再生キー６５が押されたと判断した場合（Ｓ２２４にてＹＥＳ）、処理はＳ２２６へと移される。もしそうでないと（Ｓ２２４にてＮＯ）、処理はＳ２２８へと移される。Ｓ２２６にて、制御回路２は標準化処理を実施する。この標準化処理は、Ｓ２４０〜Ｓ２４２のステップによって構成される処理である。
【００７７】
Ｓ２２８にて、制御回路２は、巻戻しキー６４が押されたか否かを判断する。巻戻しキー６４が押されたと判断した場合（Ｓ２２８にてＹＥＳ）、処理はＳ２３０へと移される。もしそうでないと（Ｓ２２８にてＮＯ）、処理はＳ２３２へと移される。Ｓ２３０にて、制御回路２は、巻戻し処理を実施する。巻戻し処理は、Ｓ２４６〜Ｓ２４８のステップによって構成される処理である。Ｓ２３２にて、制御回路２は、早送りキー６６が押されたか否かを判断する。早送りキー６６が押されたと判断した場合（Ｓ２３２にてＹＥＳ）、処理はＳ２３４へと移される。もしそうでないと（Ｓ２３２にてＮＯ）、処理はＳ１６６へと移される。Ｓ２３４にて、制御回路２は、早送り処理を実施する。早送り処理は、Ｓ２５０〜Ｓ２４２のステップによって構成される処理である。
【００７８】
図１１を参照して、携帯電話１で実行されるプログラムは、標準化処理に関し、以下のような制御構造を有する。
【００７９】
Ｓ２４０にて、制御回路２は、メモリ７に記憶された全再生時間に基づいて、１フレームあたりの再生時間ＴＢを算出する。Ｓ２４２にて、制御回路２は、方向フラグの値を「１」に設定する。
【００８０】
図１２を参照して、携帯電話１で実行されるプログラムは、巻戻し処理に関し、以下のような制御構造を有する。
【００８１】
Ｓ２４６にて、制御回路２は、１フレームあたりの再生時間ＴＢを「５００分の１」倍する。Ｓ２４８にて、制御回路２は、方向フラグの値を「−１」に設定する。
【００８２】
図１３を参照して、携帯電話１で実行されるプログラムは、早送り処理に関し、以下のような制御構造を有する。なお、図１３に示すフローチャートの中で、前述の図１１に示した処理は同じステップ番号を付してある。その処理も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００８３】
Ｓ２５０にて、制御回路２は、１フレームあたりの再生時間ＴＢを「３００分の１」倍する。
【００８４】
なお、その他の処理フローについては前述の第１の実施の形態と同じである。それらについての機能も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００８５】
以上のような構造およびフローチャートに基づく、携帯電話１の動作について説明する。
【００８６】
［機能キーが押された場合］
機能キー６３が押された場合の切換処理について説明する。
【００８７】
Ｓ１００〜Ｓ１２０の処理を経て、制御回路２は、機能キー６３が押されたか否かを判断する（Ｓ１８０）。機能キー６３が押されると（Ｓ１８０にてＹＥＳ）、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ１９２）。機能フラグが「０」とすると（Ｓ１９２にてＹＥＳ）、制御回路２は、機能フラグを「１」に設定する（Ｓ１９４）。機能フラグが設定されると、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ１８４）。この場合、機能フラグが「１」なので（Ｓ１９２にてＮＯ）、制御回路２は、縦方向のスクロール速度を呼出す（Ｓ１８６）。
【００８８】
縦方向のスクロール速度が呼出されると、制御回路２は、方向フラグ、タイマおよびカウンタを設定する（Ｓ２００）。設定されると、制御回路２はメモリ７に記憶された全再生時間およびスクロール速度に基づいて、表示時間ＴＡおよび１フレームあたりの再生時間ＴＢを算出する（Ｓ２０２）。表示時間などが算出されると、Ｓ１４４〜Ｓ１４６の処理を経て、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２０４）。この場合機能フラグは「１」なので（Ｓ２０４にてＮＯ）、制御回路２は、Ｓ１４８の処理を経て、文データから第「１」番目以降の文字列のデータを呼出す（Ｓ２０８）。これにより、本実施の形態に係る動画の表示時期とメッセージの表示時期との間に対する制御は実施されなくなる。文字列のデータが呼出されると、制御回路２は、画像のデータおよび第「１」番目から始まる文字列のデータを出力する（Ｓ２１０）。データが出力されると、１フレームあたりの再生時間ＴＢが経過するのを待って（Ｓ１５４にてＹＥＳ）、制御回路２は、第１カウンタの値に「１」と方向フラグの値とを乗じた値を加算する（Ｓ２１２）。この時点では、方向フラグの値は、まだ標準状態である「１」であるとする。値が加算されると、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２１４）。このとき、機能フラグは「１」なので（Ｓ２１４にてＮＯ）、制御回路２は、再生キー６５が押されたか否かを判断する（Ｓ２１６）。再生キー６５が押された場合（Ｓ２１６にてＹＥＳ）、制御回路２は、次に再生キー６５が押されるまで、処理を一時停止する（Ｓ２１８）。次に再生キー６５が押され、処理が再開されると、制御回路２は、Ｓ１５８の処理を経て、第２カウンタの値に「１」とその時点の方向フラグの値とを乗じた値を加算する（Ｓ２２０）。値が加算されると、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２２２）。このとき、機能フラグは「１」なので（Ｓ２２２にてＮＯ）、制御回路２は、Ｓ１６６以降の処理を繰返す。
【００８９】
［巻戻し処理の場合］
機能キー６３が押されず、巻戻しキー６４が押された場合の、巻戻し処理について説明する。
【００９０】
Ｓ１００〜Ｓ１２２の処理を経て、制御回路２は、選択が横方向か否かを判断する（Ｓ１２４）。この場合、選択は横方向とするので（Ｓ１２４にてＹＥＳ）、制御回路２は、メモリ７から横方向のスクロール速度を呼出す（Ｓ１８８）。スクロール速度が呼出されると、Ｓ２００〜Ｓ１４６の処理を経て、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２０４）。この場合機能フラグは「０」なので（Ｓ２０４にてＹＥＳ）、制御回路２は、第１カウンタの値Ｉに対応する第２カウンタの値Ｊを特定する（Ｓ２０６）。値が特定されると、Ｓ１４８〜Ｓ２１２の処理を経て、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２１４）。機能フラグは「０」なので（Ｓ２１４にてＹＥＳ）、制御回路２は、機能フラグが「０」か否かを判断する（Ｓ２２２）。機能フラグは「０」なので（Ｓ２２２にてＹＥＳ）、制御回路２は、再生キー６５が押されたか否かを判断する（Ｓ２２４）。再生キー６５は押されていないので（Ｓ２２４にてＮＯ）、制御回路２は巻戻しキー６４が押されたか否かを判断する（Ｓ２２８）。この場合、巻戻しキー６４が押されているので（Ｓ２２８にてＹＥＳ）、制御回路２は、１フレームあたりの再生時間ＴＢを「５００分の１」倍する（Ｓ２４６）。全再生時間が「５００分の１」倍されると、制御回路２は、方向フラグの値を「−１」に設定する（Ｓ２４８）。方向フラグの値が設定されると、Ｓ１６６〜Ｓ１５４の処理を経て、制御回路２は、第１カウンタの値に「１」と方向フラグの値「−１」とを乗じた値を加算する（Ｓ２１２）。これにより、順次巻戻し方向に動画が表示される。
【００９１】
［早送り処理の場合］
機能キー６３が押されず、早送りキー６６が押された場合の、早送り処理について説明する。
【００９２】
Ｓ１００〜Ｓ２２８の処理を経て、制御回路２は、早送りキー６６が押されたか否かを判断する（Ｓ２３２）。この場合、早送りキー６６が押されているので（Ｓ２３２にてＹＥＳ）、制御回路２は、１フレームあたりの再生時間ＴＢを「３００分の１」倍する（Ｓ２５０）。全再生時間が「３００分の１」倍されると、制御回路２は、方向フラグの値を「１」に設定する（Ｓ２４２）。方向フラグの値が設定されると、Ｓ１６６〜Ｓ２１０の処理を経て、制御回路２は、「３００分の１」になった１フレームあたりの再生時間ＴＢが経過するまで待つ（Ｓ１５４）。これを繰返すことにより、動画は早送り再生される。
【００９３】
［標準化処理の場合］
機能キー６３が押されず、再生キー６５が押された場合の、標準化処理について説明する。
【００９４】
Ｓ１００〜Ｓ２１４の処理を経て、制御回路２は再生キー６５が押されたか否かを判断する（Ｓ２２４）。この場合再生キー６５が押されるので（Ｓ２２４にてＹＥＳ）、制御回路２は、メモリ７に記憶された全再生時間に基づいて、１フレームあたりの再生時間ＴＢを算出する（Ｓ２４０）。再生時間ＴＢが算出されると、制御回路２は、方向フラグの値を「１」に設定する（Ｓ２４２）。方向フラグの値が設定されると、Ｓ１６６〜Ｓ２１０の処理を経て、制御回路２は、メモリ７に記憶された再生速度の値に基づいて定められた、１フレームあたりの再生時間ＴＢが経過するまで待つ（Ｓ１５４）。これにより、それまでの全再生時間および方向フラグの値にかかわらず、メモリ７に記憶された再生速度の値に基づいて動画が再生される。
【００９５】
以上のようにして、本実施の形態に係る携帯電話は、早送り再生の処理および巻戻し再生の処理をすることができる。携帯電話は、動画の特定の時点が表示されるときに、メッセージを構成する特定の文字が表示されるように制御する処理をすることができる。携帯電話は、機能キーが押されたことに応答して、動画表示領域および文字表示領域にそれぞれ動画およびメッセージが表示させる処理をすることができる。その結果、早送り再生された動画および巻戻し再生された動画のいずれかを見ると共に文の内容を知ることがより容易で、かつより便利な携帯電話を提供できる。
【００９６】
＜第３の実施の形態＞
以下、本発明の第３の実施の形態に係る携帯電話について説明する。
【００９７】
本実施の形態に係る携帯電話１は、メモリ７に音声データベースを含む。音声データベースは、メッセージを構成する文字、単語、慣用句、および熟語ごとに、その発音をスピーカ４によって出力できるデータが含まれたデータベースである。それらの熟語などと発音とはそれぞれ対応づけられている。なお、その他のハードウェア構成については前述の第１の実施の形態と同じである。それらについての機能も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００９８】
図１４を参照して、携帯電話１で実行されるプログラムは、動画の再生の開始およびメールの本文の表示に関し、以下のような制御構造を有する。なお、図１４に示すフローチャートの中で、前述の図５に示した処理は同じステップ番号を付してある。それらの処理も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００９９】
Ｓ３００にて、制御回路２は内蔵するバッファから文字列を呼出す。Ｓ３０２にて、制御回路２は、呼出した文字列にＳ１５０にて呼出した文字を追加する。
【０１００】
Ｓ３０４にて、制御回路２は、メモリ７に記憶された音声データベースに、文字列に該当する音声データがあるか否かを判断する。音声データがあると判断した場合には（Ｓ３０４にてＹＥＳ）、処理はＳ３０６へと移される。もしそうでないと（Ｓ３０４にてＮＯ）、処理はＳ３０８へと移される。Ｓ３０６にて、制御回路２は、該当する音声データを呼出す。Ｓ３０８にて、制御回路２は、バッファの文字列を更新する。
【０１０１】
Ｓ３１０にて、制御回路２は、呼出した音声データをスピーカ４に出力する。Ｓ３１２にて、制御回路２は、バッファのデータを抹消する。
【０１０２】
なお、その他の処理フローについては前述の第１の実施の形態と同じである。それらについての機能も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【０１０３】
以上のような構造およびフローチャートに基づく、携帯電話１の動作について説明する。画像のデータおよび文字のデータが出力されると（Ｓ１５２）、制御回路２は、内蔵するバッファから文字列を呼出す（Ｓ３００）。文字列が呼出されると、制御回路２は、文字列にＳ１５０にて呼出した文字を追加する（Ｓ３０２）。文字が追加されると、制御回路２は、メモリ７の音声データベースに、その文字列に対応するデータがあるか否かを判断する（Ｓ３０４）。該当するデータがない場合（Ｓ３０４にてＮＯ）、制御回路２は、バッファの文字列を更新する（Ｓ３０８）。文字列が更新されると、Ｓ１５４〜Ｓ３０２の処理を経て、制御回路２は、音声データベースに、新たに文字が追加された文字列に該当する音声データがあるか否かを判断する（Ｓ３０４）。音声データがある場合（Ｓ３０４にてＹＥＳ）、制御回路２は、該当する音声データを呼出す（Ｓ３０６）。音声データが呼出されると、制御回路２は、音声データをスピーカ４に出力する（Ｓ３１０）。音声データがスピーカに出力されると、制御回路２は、バッファのデータを抹消する（Ｓ３１２）。
【０１０４】
以上のようにして、本実施の形態に係る携帯電話は、メッセージに対応する音声を出力することができる。その結果、より容易に動画を見ると共に文の内容を知ることが容易な携帯電話を提供できる。
【０１０５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１０６】
【発明の効果】
本発明に係るメール受信装置は、動画を見ると共に文の内容を知ることが容易にできる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る携帯電話の制御ブロック図である。
【図２】本発明の第１の実施の形態に係るディスプレイの表示例を表わす図である。
【図３】本発明の第１の実施の形態に係るメールの選択と表示とに係る処理の制御の手順を示すフローチャートである。
【図４】本発明の第１の実施の形態に係る速度およびタイミングの設定処理の制御の手順を示すフローチャートである。
【図５】本発明の第１の実施の形態に係る動画の再生の開始およびメールの本文の表示処理の制御の手順を示すフローチャートである。
【図６】本発明の第２の実施の形態に係るディスプレイの表示例を表わす図である。
【図７】本発明の第２の実施の形態に係る対応情報の概念を説明する図である。
【図８】本発明の第２の実施の形態に係る速度およびタイミングの設定処理の制御の手順を示すフローチャートである。
【図９】本発明の第２の実施の形態に係る切替処理の制御の手順を示すフローチャートである。
【図１０】本発明の第２の実施の形態に係る動画の再生の開始およびメールの本文の表示処理の制御の手順を示すフローチャートである。
【図１１】本発明の第２の実施の形態に係る標準化処理の制御の手順を示すフローチャートである。
【図１２】本発明の第２の実施の形態に係る巻戻し処理の制御の手順を示すフローチャートである。
【図１３】本発明の第２の実施の形態に係る早送り処理の制御の手順を示すフローチャートである。
【図１４】本発明の第３の実施の形態に係る動画の再生の開始およびメールの本文の表示処理の制御の手順を示すフローチャートである。
【符号の説明】
１携帯電話、２制御回路、３無線回路、４スピーカ、５キーパッド、６ディスプレイ、７メモリ、８マイクロフォン、６１動画表示領域、６２文字表示領域、６３機能キー、６４巻戻しキー、６５再生キー、６６早送りキー。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a mail receiving apparatus, and more particularly to a mail receiving apparatus capable of receiving a mail together with moving image data.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a mobile phone capable of communicating a message together with a still image and a moving image has been widely used. In such a mobile phone, it is important to display images and messages in a manner that is easy for the user to understand.
[0003]
For example, when displaying a message transmitted together with an image, a device such as displaying the image and the message simultaneously is used.
[0004]
Specifically, Patent Document 1 discloses a mobile phone that displays an e-mail message on image data when the image data is attached to the e-mail.
[0005]
[Patent Document 1]
JP-A-2002-288082
[0006]
[Problems to be solved by the invention]
However, when displaying a message on image data, as disclosed in Patent Document 1, the number of characters that can be displayed on the display screen at one time is limited. Actions such as processing are required. In this case, the user must perform the scrolling process, the operation of reading the text, and the operation of viewing and listening to the image at a time, and there is a problem that the message becomes difficult to read. This problem is particularly noticeable when the image is a moving image.
[0007]
SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a mail receiving apparatus that allows a user to easily view a moving image and know the contents of a sentence.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, according to an aspect of the present invention, a mail receiving device is a mail receiving device capable of receiving, as mail, sentence data representing a communication message and a moving image file representing a moving image. The mail receiving device includes a storage unit for storing the sentence data and the moving image file, a first display unit for automatically and at least partially displaying the sentence, and a second display unit for displaying the moving image. And control means for controlling one of the first display means and the second display means so that at least a part of each of the time when the sentence is displayed and the time when the moving image is displayed overlap. including.
[0009]
That is, the storage unit stores the sentence data and the moving image file. The first display means automatically scrolls and displays the sentence at least partially. The second display means displays a moving image. The control unit controls one of the first display unit and the second display unit so that at least a part of each of the time when the sentence is displayed and the time when the moving image is displayed overlap. As a result, at least a part of the time when the moving image is displayed, the sentence is automatically scroll-displayed at least in part. As a result, it is possible to provide an e-mail receiving device that makes it easy to see a moving image and to know the contents of a sentence.
[0010]
Further, the above-mentioned control means controls either the first display means or the second display means so that one of the time when the sentence is displayed and the time when the moving image is displayed overlaps the other. Desirably.
[0011]
That is, the control unit can control either the first display unit or the second display unit such that one of the time when the sentence is displayed and the time when the moving image is displayed overlaps the other. Thereby, at the time when the moving image is displayed, the sentence is scrolled more accurately. As a result, it is possible to provide a mail receiving apparatus that is more accurate and easier to see the contents of a sentence while watching a moving image.
[0012]
Further, the above-mentioned control means controls either the first display means or the second display means so that the time when the sentence is displayed and the time when the moving image is displayed overlap at the start of each. It is desirable to include the means.
[0013]
That is, the control means can control either the first display means or the second display means so that the time when the sentence is displayed and the time when the moving image is displayed overlap at the start of each. Thereby, a sentence is displayed at the start of the time when the moving image is displayed. As a result, it is possible to provide an e-mail receiving apparatus that is more accurate and easier to see the contents of a sentence while watching a moving image.
[0014]
Preferably, the storage means further includes means for storing correspondence information indicating a correspondence relationship between a specific image at any point in the moving image and a specific character which is one of characters forming a sentence. . In addition, based on the correspondence information, the control unit may control the time at which the specific character is displayed in the time at which the sentence is displayed and the time at which the specific image is displayed at the time at which the moving image is displayed to overlap. It is preferable to include a unit for controlling any one of the first display unit and the second display unit.
[0015]
That is, the storage unit stores the correspondence information indicating the correspondence between the specific image at any point in the moving image and the specific character that is one of the characters constituting the sentence. The control unit may be configured to perform the first time based on the correspondence information such that the time at which the specific character is displayed in the time when the sentence is displayed and the time at which the specific image is displayed out of the time when the moving image is displayed overlap. Of the display means and the second display means can be controlled. Thus, the control unit can control any one of the first display unit and the second display unit so that the specific character is displayed at any time during which the moving image is displayed. As a result, it is possible to provide a mail receiving apparatus that makes it easier to watch a moving image and to know the contents of a sentence.
[0016]
Further, it is desirable that the above-mentioned mail receiving apparatus further includes an input unit for inputting information. In addition, it is preferable that the control means includes means for controlling either the first display means or the second display means in response to the input of the predetermined information to the input means.
[0017]
That is, the input means inputs information. Thus, the control unit can control either the first display unit or the second display unit in response to the input of the predetermined information. As a result, when predetermined information is input, it is possible to provide an e-mail receiving device in which it is easy to see a moving image and to know the contents of a sentence.
[0018]
Further, it is desirable that the above-mentioned mail receiving apparatus further includes an input unit for inputting information. In addition, it is preferable that the first display unit includes a unit for scroll-displaying a sentence in a direction determined based on information input to the input unit.
[0019]
That is, the input means inputs information. Thus, the first display means can scroll and display the sentence in a direction determined based on the information input to the input means. As a result, it is possible to provide an e-mail receiving apparatus that allows the user to easily see the contents of the sentence scrolled and displayed in a direction determined based on the input information while watching the moving image.
[0020]
In addition, the above-described mail receiving device includes an input unit for inputting information, and a determination unit for determining any one of display speed and display order of the moving image based on the information input to the input unit. It is desirable to further include
[0021]
That is, the input means inputs information. The determining means can determine any one of the display speed and the order of display of the moving image based on the information input to the input means. Thereby, a sentence is displayed at least at a part of the time when the moving image whose display speed or order of display is determined is displayed by the second display means. As a result, it is possible to provide a more convenient mail receiving apparatus that allows the user to easily watch the moving image whose display speed and display order are determined and to know the contents of the sentence.
[0022]
Further, it is preferable that the above-described mail receiving device further includes a specifying unit for specifying a display time of a sentence based on a display time of a moving image specified in advance. In addition, the control unit is configured to control the first display unit and the first display unit based on the display time of the moving image and the display time of the sentence such that the time at which the sentence is displayed and the time at which the moving image is displayed overlap each other at the end time. It is desirable to include means for controlling any of the second display means.
[0023]
That is, the specifying unit can specify the display time of the sentence based on the display time of the moving image specified in advance. The control unit is configured to control the first display unit and the second display unit based on the display time of the moving image and the display time of the sentence so that the time when the sentence is displayed and the time when the moving image is displayed overlap each other at the end time. Any of the display means can be controlled. This makes it possible to more easily control either the first display means or the second display means so that the time when the sentence is displayed and the time when the moving image is displayed overlap at the end. As a result, it is possible to provide a mail receiving apparatus in which it is easier to see a moving image and to know the contents of a sentence.
[0024]
According to another aspect of the present invention, a mail receiving device is a mail receiving device capable of receiving, as mail, sentence data representing a communication message and a moving image file representing a moving image. The mail receiving apparatus includes a first storage unit for storing text data and a moving image file, a second storage unit for storing voice data representing voice, and a communication text based on the text data and the voice data. Output means for outputting a sound corresponding to the sound, display means for displaying a moving image, and output means and a display so that at least a part of each of a time when a sound is output and a time when the moving image is displayed overlap. Control means for controlling any of the means.
[0025]
That is, the first storage unit stores the sentence data and the moving image file. The second storage means stores voice data representing voice. The output unit outputs a voice corresponding to the communication text based on the text data and the voice data. The display means displays a moving image. The control means controls either the output means or the display means so that at least a part of each of the time when the sound is output and the time when the moving image is displayed overlap. Thereby, the control unit can output the sound corresponding to the communication message at least at a part of the time when the moving image is displayed. As a result, it is possible to provide an e-mail receiving device that makes it easy to see a moving image and to know the contents of a sentence.
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same components are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
[0027]
<First embodiment>
Hereinafter, a mobile phone according to the first embodiment of the present invention will be described.
[0028]
Referring to FIG. 1, a mobile phone 1 according to the present embodiment includes a control circuit 2, a wireless circuit 3, a speaker 4, a keypad 5, a display 6, a memory 7, and a microphone 8. . The control circuit 2 controls the whole of the mobile phone 1 and processes mail transmitted together with a moving image. The wireless circuit 3 communicates mail with another mobile phone. The speaker 4 converts data into voice and outputs the voice. The keypad 5 receives an input such as a user command. The display 6 displays an image and a sentence representing a message (hereinafter, referred to as a “message”). The memory 7 stores a moving image file indicating a moving image, message data including data related to a message, and property data indicating a property of a mail. These data are data transmitted as mails with images. The microphone 8 outputs the input data in a state where the data can be converted into a voice. The control circuit 2 includes a first counter, a second counter, and a timer (all not shown). The first counter and the second counter specify parameters for specifying an image and a character to be displayed on the display 6, respectively. The timer measures the display time of the image and the character.
[0029]
Referring to FIG. 2, display 6 includes a moving image display area 61 and a character display area 62. The moving image display area 61 is an area for displaying a list of moving images and mails. The character display area 62 is an area for displaying a message. The message data includes sentence data representing a message and data representing the number of characters of the message. The property data includes data representing the total playback time and data representing the total number of frames of the moving image.
[0030]
Needless to say, the form of the mobile phone 1 is not limited to the specific examples shown in FIG. 1 or FIG. Other functions not shown in FIG. 1 or FIG. 2 may be included, or all of the functions shown in FIG. 1 or FIG. 2 may not necessarily be included. For example, the mobile phone 1 may not include the microphone 8.
[0031]
Referring to FIG. 3, the program executed on mobile phone 1 has the following control structure for selecting and displaying mail.
[0032]
In step 100 (hereinafter, step is abbreviated as S), the control circuit 2 displays a mail list in the moving image display area 61 of the display 6. In S102, control circuit 2 calls the message data, the moving image file, and the property data of the mail selected from the mail list.
[0033]
In S104, control circuit 2 determines whether or not the data called from memory 7 includes a moving image file. If it is determined that a moving image file is included (YES in S104), the process proceeds to S108. If not (NO in S104), the process proceeds to S106.
[0034]
In S106, control circuit 2 outputs the sentence data called from memory 7 to display 6. The display 6 displays a character corresponding to the sentence data in the character display area 62. In S108, control circuit 2 sets the speed and the timing. In S110, control circuit 2 performs reproduction of a moving image and display of sentence data.
[0035]
Referring to FIG. 4, the program executed by mobile phone 1 has the following control structure for setting the speed and timing.
[0036]
At S120, control circuit 2 reads out the entire reproduction time of the moving image from the property data stored in memory 7. In S122, control circuit 2 accepts selection of the scroll direction using keypad 5. In S124, control circuit 2 determines whether or not the selection of the scroll direction input from keypad 5 is the horizontal direction. If it is determined that the selection is in the horizontal direction (YES in S124), the process proceeds to S126. Otherwise (NO at S124), the process proceeds to S128.
[0037]
In S126, control circuit 2 solves the following equation to calculate a horizontal scroll speed [character / TA (ms)] for each time TA [ms].
[0038]
(Number of characters in message) = (total video playback time) x (scroll speed)
In S128, control circuit 2 calculates the vertical scroll speed for each time TA [ms] by solving the following equation.
[0039]
(Number of characters in message) / (Number of characters that can be displayed in one line of character display area 62) = (Total playback time of moving image) × (Scroll speed)
Referring to FIG. 5, the program executed by mobile phone 1 has the following control structure for playing a moving image and displaying a message.
[0040]
At S140, control circuit 2 resets the built-in timer and counter. The timer is reset to "0". The first counter and the second counter are both reset to “1”. In S142, the control circuit 2 calculates a reproduction time TB per one frame of the moving image based on the total reproduction time stored in the memory 7 and the scroll speed calculated in S126 or S128.
[0041]
In S144, control circuit 2 determines whether or not the moving image file includes the data of the image of the “I” th frame with reference to memory 7. If it is determined that image data is included (YES in S144), the process proceeds to S146. Otherwise (NO at S144), the process proceeds to S148.
[0042]
In S146, control circuit 2 calls out the image data of the “I” th frame from the moving image file in memory 7. In S 148, control circuit 2 determines whether or not the data of the “J” -th character of the sentence data is stored in memory 7. If it is determined that the data is stored in memory 7 (YES in S148), the process proceeds to S150. If not (NO in S148), the process proceeds to S152.
[0043]
At S150, control circuit 2 calls the data of the "J" -th character from the sentence data stored in memory 7. In S152, control circuit 2 outputs the image data and the character data that have been called to display 6. Character data is scroll-displayed in the character display area 62. The scroll direction (in this embodiment, either the vertical direction or the horizontal direction) follows the selection determined in S124. Thereby, the display of the moving image and the display of the message are simultaneously started in the moving image display area 61 and the character display area 62. By the processing in S126 and S128, the total playback time of the moving image and the total display time of the message in the present embodiment match, so that the display of the moving image and the display of the message are simultaneously performed in the moving image display area 61 and the character display area 62. finish.
[0044]
At S154, control circuit 2 determines whether or not reproduction time TB per frame has elapsed based on the timer. If it is determined that the reproduction time TB per frame has elapsed (YES in S154), the process proceeds to S156. Otherwise (NO at S154), the process proceeds to S158. In S156, control circuit 2 adds “1” to the value of the first counter.
[0045]
At S158, control circuit 2 determines whether or not display time TA has elapsed. If it is determined that display time TA has elapsed (YES in S158), the process proceeds to S160. Otherwise (NO at S158), the process proceeds to S166.
[0046]
In S160, control circuit 2 determines whether or not the scroll direction is the horizontal direction. If it is determined that the scroll direction is the horizontal direction (YES in S160), the process proceeds to S162. Otherwise (NO at S160), the process proceeds to S164. At S162, control circuit 2 adds “1” to the value of the second counter. In S164, control circuit 2 adds the number of characters in one line to the value of the second counter.
[0047]
At S166, control circuit 2 determines whether the values of the first counter and the second counter are both equal to or greater than the maximum value. That is, it is determined whether or not the value of the first counter is equal to or greater than the total number of frames of the moving image and the value of the second counter is equal to or greater than the number of characters of the message. If it is determined that the value is equal to or larger than the maximum value (YES in S166), the process returns to the main routine. If not (NO in S166), the process proceeds to S144.
[0048]
The operation of the mobile phone 1 based on the above structure and flowchart will be described.
[0049]
[Horizontal scroll processing operation]
Display processing of a moving image and a message when the horizontal scroll is selected will be described.
[0050]
When the mail list is displayed on the moving image display area 61 of the display 6 (S100), the control circuit 2 calls the mail data of the mail selected from the mail list from the memory 7 (S102). When the mail data is called, the control circuit 2 determines whether a moving image is attached to the mail data (S104). In this case, since a moving image is attached (YES in S104), control circuit 2 reads out the entire reproduction time from the property data stored in memory 7 (S120).
[0051]
When the entire reproduction time is read, the control circuit 2 receives a selection of the scroll direction using the keypad 5 (S122). When the selection is accepted, the control circuit 2 determines whether the selection of the scroll direction input from the keypad 5 is the horizontal direction (S124). In this case, since the horizontal scroll is selected (YES in S124), the control circuit 2 solves the following equation to determine the horizontal scroll speed [character / TA (ms) for each time TA [ms]. ] Is calculated (S126).
[0052]
(Number of characters in message) = (total video playback time) x (scroll speed)
When the scroll speed is calculated, the control circuit 2 resets the timer and the counter (S140). When the counter is reset, the control circuit 2 calculates the reproduction time TB per frame based on the total reproduction time and the scroll speed stored in the memory 7 (S142).
[0053]
When the playback time TB per frame is calculated, the control circuit 2 refers to the memory 7 and determines whether or not the moving image file includes the data of the image of the “1” frame (S144). Since the image data is included (YES in S144), control circuit 2 calls the image data of the “1” frame from the moving image file in memory 7 (S146).
[0054]
When the image data is called, the control circuit 2 determines whether or not there is data of the "1" -th character in the memory 7 (S148). Since there is data of the "1" character (YES in S148), control circuit 2 calls the data of the "1" character from the sentence data in memory 7 (S150).
[0055]
When the character data is called, the control circuit 2 outputs the called image data and the character data to the display 6 (S152). When the data is output, the control circuit 2 determines whether or not the reproduction time TB per frame has elapsed based on the timer (S154). When the reproduction time TB per frame has elapsed (YES in S154), control circuit 2 adds "1" to the value of the first counter (S156).
[0056]
When "1" is added to the value of the counter, the control circuit 2 determines whether or not the display time TA has elapsed (S158). When the display time has elapsed (YES in S158), control circuit 2 determines whether the scroll direction is the horizontal direction (S160). In this case, since the scroll direction is the horizontal direction (YES in S160), control circuit 2 adds “1” to the value of the second counter.
[0057]
When "1" is added, the control circuit 2 determines whether the values of the first counter and the second counter are both equal to or greater than the maximum value (S166). In this case, since it is not the maximum value yet (NO in S166), the operations of S144 to S162 are repeated, and control circuit 2 determines whether both the values of the first counter and the second counter are equal to or more than the maximum value (S166). ). If both are equal to or greater than the maximum value (YES in S166), all the moving images and messages have been displayed, and thus the processing ends.
[0058]
[Vertical scroll processing]
Display processing of a moving image and a message when the vertical scroll is selected will be described.
[0059]
When the control circuit 2 receives the selection of the scroll direction using the keypad 5 (S122), the control circuit 2 determines whether the selection of the scroll direction input from the keypad 5 is the horizontal direction (S124). ). In this case, since the selection is in the vertical direction (NO in S124), the control circuit 2 calculates the vertical scroll speed for each time TA [ms] by solving the following equation (S128).
[0060]
(Number of characters in message) / (Number of characters that can be displayed in one line of character display area 62) = (Total playback time of moving image) × (Scroll speed)
After the scroll speed is calculated, the control circuit 2 determines whether the scroll direction is the horizontal direction through the processing of S140 to S158 (S160). In this case, since the scroll direction is the vertical direction (NO in S160), control circuit 2 adds the number of characters in one line to the value of the second counter (S164).
[0061]
When the number of characters is added, the processing of S166 to S164 is repeated, and the control circuit 2 determines whether both the values of the first counter and the second counter are equal to or greater than the maximum value (S166). If both are greater than or equal to the maximum value (YES in S166), the process is terminated because all the moving images and messages have been displayed.
[0062]
As described above, the mobile phone according to the present embodiment can easily see a moving image and know the contents of a sentence without any special operation. The mobile phone according to the present embodiment does not particularly require a large-scale device. The mobile phone according to the present embodiment can display a message scrolled in either the vertical direction or the horizontal direction, which is determined based on the selection input by keypad 5. As a result, it is possible to provide a mobile phone that makes it easy to see a moving image and to know the contents of a sentence.
[0063]
<Second embodiment>
Hereinafter, a mobile phone according to a second embodiment of the present invention will be described.
[0064]
The mobile phone 1 according to the present embodiment includes a function key 63, a rewind key 64, a play key 65, and a fast forward key 66 on the keypad 5. With reference to FIG. 6, the display of mobile phone 1 according to the present embodiment will be described. In mobile phone 1 according to the present embodiment, display 6 is a touch panel. The display 6 also has a function of a user interface of the keypad 5. Memory 7 further includes data representing the value of the direction flag, data representing the scroll speed in each of the vertical and horizontal directions, and data representing the value of the function flag. The function key 63 is a key for turning on / off control of the timing at which the moving image according to the present embodiment is reproduced and the timing at which a message is displayed. The rewind key 64 is a key for rewinding and reproducing a moving image. The reproduction key 65 is a key for reproducing a moving image with standard settings. The fast-forward key 66 is a key for fast-forward playback of a moving image. The direction flag is a flag indicating the direction of reproduction of a moving image, for example, forward or rewind. The function flag is a flag indicating whether or not to control the playback time of the moving image and the playback time of the message according to the present embodiment. The scroll speed is a value representing the scroll speed of the message. The message data stored in the memory 7 further includes correspondence information. The correspondence information is data representing the correspondence between the frames constituting the moving image and the characters constituting the message. The contents of the correspondence information according to the present embodiment will be described with reference to FIG. The correspondence information includes a header, a character position, a frame number, and character information. The header is data representing the start of one piece of correspondence information. The character position is a value indicating the order of characters in the message. The frame number is a value indicating the number of a moving image frame corresponding to a character. The character information is data representing a character itself corresponding to the correspondence information.
[0065]
The rest of the hardware configuration is the same as in the first embodiment. The functions for them are the same. Therefore, detailed description thereof will not be repeated here.
[0066]
Referring to FIG. 8, the program executed by mobile phone 1 has the following control structure for setting the speed and timing. Note that, in the flowchart shown in FIG. 8, the processes shown in FIG. 4 described above have the same step numbers. The processing is the same. Therefore, detailed description thereof will not be repeated here.
[0067]
At S180, control circuit 2 determines whether function key 63 has been pressed or not. If it is determined that function key 63 has been pressed (YES in S180), the process proceeds to S182. If not (NO in S180), the process proceeds to S184. In S182, control circuit 2 performs a switching process. The switching process is a process configured by steps S192 to S196.
[0068]
In S184, control circuit 2 determines whether or not the function flag is “0”. If determined to be “0” (YES in S184), the process proceeds to S122. Otherwise (NO at S184), the process proceeds to S186. In S186, control circuit 2 calls out the vertical scroll speed from memory 7.
[0069]
In S188, control circuit 2 calls out the horizontal scroll speed from memory 7. In S190, control circuit 2 calls up the vertical scroll speed from memory 7.
[0070]
Referring to FIG. 9, the program executed by mobile phone 1 has the following control structure for the switching process.
[0071]
In S192, control circuit 2 determines whether or not the function flag is “0”. If determined to be "0" (YES in S192), the process proceeds to S194. Otherwise (NO at S192), the process proceeds to S196. At S194, control circuit 2 sets the function flag to “1”. At S196, control circuit 2 sets the function flag to “0”.
[0072]
Referring to FIG. 10, the program executed on mobile phone 1 has the following control structure for starting reproduction of a moving image and displaying a mail text. Note that in the flowchart shown in FIG. 10, the processes shown in FIG. 5 described above have the same step numbers. The processing is the same. Therefore, detailed description thereof will not be repeated here.
[0073]
In S200, control device 2 sets a direction flag, a timer, and a counter. The direction flag is set to “0”. The timer is set to "0". The first counter is set to “1”. The second counter is set to "1". In S202, control circuit 2 calculates display time TA and reproduction time TB per frame based on the total reproduction time and scroll speed stored in memory 7.
[0074]
In S204, control circuit 2 determines whether or not the function flag is “0”. If it is determined to be “0” (YES in S204), the process proceeds to S206. If not (NO in S204), the process proceeds to S148. In S206, control circuit 2 specifies the value J of the second counter corresponding to the value I of the first counter based on the correspondence information.
[0075]
In S208, control circuit 2 calls the character string data of the "J" th and subsequent character strings from the sentence data. In S210, control circuit 2 outputs the image data and the data of the "J" -th and subsequent character strings. In S212, control circuit 2 adds a value obtained by multiplying the value of the first counter by “1” and the value of the direction flag. In S214, control circuit 2 determines whether or not the function flag is “0”. If it is determined to be "0" (YES in S214), the process proceeds to S222. If not (NO in S214), the process proceeds to S216. At S216, control circuit 2 determines whether or not reproduction key 65 has been pressed. If it is determined that reproduction key 65 has been pressed (YES in S216), the process proceeds to S218. Otherwise (NO at S216), the process proceeds to S158. In S218, control circuit 2 temporarily suspends the processing until the next playback key 65 is pressed.
[0076]
At S220, control circuit 2 adds a value obtained by multiplying the value of the second counter by the number of characters in one line and the value of the direction flag. In S222, control circuit 2 determines whether or not the function flag is “0”. If it is determined to be “0” (YES in S222), the process proceeds to S224. Otherwise (NO at S222), the process proceeds to S166. At S224, control circuit 2 determines whether or not reproduction key 65 has been pressed. If it is determined that reproduction key 65 has been pressed (YES in S224), the process proceeds to S226. If not (NO in S224), the process proceeds to S228. In S226, control circuit 2 performs a standardization process. This standardization process is a process configured by steps S240 to S242.
[0077]
At S228, control circuit 2 determines whether rewind key 64 has been pressed or not. If it is determined that rewind key 64 has been pressed (YES in S228), the process proceeds to S230. Otherwise (NO at S228), the process proceeds to S232. In S230, control circuit 2 performs a rewinding process. The rewinding process is a process configured by steps S246 to S248. At S232, control circuit 2 determines whether or not fast-forward key 66 has been pressed. If it is determined that fast-forward key 66 has been pressed (YES in S232), the process proceeds to S234. Otherwise (NO at S232), the process proceeds to S166. In S234, control circuit 2 performs a fast-forward process. The fast-forward process is a process configured by steps S250 to S242.
[0078]
Referring to FIG. 11, a program executed by mobile phone 1 has the following control structure for standardization processing.
[0079]
In S240, control circuit 2 calculates a reproduction time TB per frame based on the total reproduction time stored in memory 7. In S242, control circuit 2 sets the value of the direction flag to “1”.
[0080]
Referring to FIG. 12, the program executed by mobile phone 1 has the following control structure for rewind processing.
[0081]
In S246, control circuit 2 multiplies reproduction time TB per frame by “1/500”. At S248, control circuit 2 sets the value of the direction flag to “−1”.
[0082]
Referring to FIG. 13, the program executed by mobile phone 1 has the following control structure for fast-forward processing. In the flowchart shown in FIG. 13, the processes shown in FIG. 11 described above are denoted by the same step numbers. The processing is the same. Therefore, detailed description thereof will not be repeated here.
[0083]
In S250, control circuit 2 multiplies reproduction time TB per frame by “1/300”.
[0084]
The other processing flow is the same as in the first embodiment. The functions for them are the same. Therefore, detailed description thereof will not be repeated here.
[0085]
The operation of the mobile phone 1 based on the above structure and flowchart will be described.
[0086]
[When a function key is pressed]
The switching process when the function key 63 is pressed will be described.
[0087]
After the processing of S100 to S120, the control circuit 2 determines whether or not the function key 63 has been pressed (S180). If function key 63 is pressed (YES in S180), control circuit 2 determines whether the function flag is “0” (S192). When the function flag is set to “0” (YES in S192), control circuit 2 sets the function flag to “1” (S194). When the function flag is set, the control circuit 2 determines whether the function flag is “0” (S184). In this case, since the function flag is "1" (NO in S192), control circuit 2 calls the vertical scroll speed (S186).
[0088]
When the vertical scroll speed is called, the control circuit 2 sets a direction flag, a timer, and a counter (S200). When set, the control circuit 2 calculates the display time TA and the reproduction time TB per frame based on the total reproduction time and the scroll speed stored in the memory 7 (S202). After the display time is calculated, the control circuit 2 determines whether or not the function flag is “0” through the processes of S144 to S146 (S204). In this case, since the function flag is "1" (NO in S204), the control circuit 2 calls the "1" -th and subsequent character string data from the sentence data through the processing of S148 (S208). As a result, control between the display time of the moving image and the display time of the message according to the present embodiment is not performed. When the character string data is called, the control circuit 2 outputs the image data and the character string data starting from the “1” -th (S210). When the data is output, the control circuit 2 waits for the reproduction time TB per frame to elapse (YES in S154), and multiplies the value of the first counter by “1” by the value of the direction flag. The added value is added (S212). At this point, it is assumed that the value of the direction flag is “1”, which is still the standard state. When the value is added, the control circuit 2 determines whether the function flag is “0” (S214). At this time, since the function flag is "1" (NO in S214), the control circuit 2 determines whether or not the reproduction key 65 has been pressed (S216). When the reproduction key 65 is pressed (YES in S216), the control circuit 2 temporarily suspends the processing until the reproduction key 65 is pressed next (S218). Next, when the reproduction key 65 is pressed and the processing is restarted, the control circuit 2 performs the processing of S158, and multiplies the value of the second counter by “1” by the value of the direction flag at that time. It is added (S220). When the value is added, the control circuit 2 determines whether the function flag is “0” (S222). At this time, since the function flag is “1” (NO in S222), control circuit 2 repeats the processing from S166.
[0089]
[For rewind processing]
The rewind processing when the function key 63 is not pressed and the rewind key 64 is pressed will be described.
[0090]
After the processing of S100 to S122, the control circuit 2 determines whether or not the selection is in the horizontal direction (S124). In this case, since the selection is made in the horizontal direction (YES in S124), the control circuit 2 calls up the horizontal scroll speed from the memory 7 (S188). When the scroll speed is called, the control circuit 2 determines whether or not the function flag is “0” through the processes of S200 to S146 (S204). In this case, since the function flag is “0” (YES in S204), control circuit 2 specifies value J of the second counter corresponding to value I of the first counter (S206). When the value is specified, the control circuit 2 determines whether or not the function flag is “0” through the processing of S148 to S212 (S214). Since the function flag is "0" (YES in S214), control circuit 2 determines whether or not the function flag is "0" (S222). Since the function flag is "0" (YES in S222), control circuit 2 determines whether or not reproduction key 65 has been pressed (S224). Since the reproduction key 65 has not been pressed (NO in S224), the control circuit 2 determines whether or not the rewind key 64 has been pressed (S228). In this case, since the rewind key 64 has been pressed (YES in S228), the control circuit 2 multiplies the reproduction time TB per frame by "1/500" (S246). When the total reproduction time is multiplied by “1/500”, the control circuit 2 sets the value of the direction flag to “−1” (S248). When the value of the direction flag is set, the control circuit 2 adds the value obtained by multiplying the value of the first counter by “1” and the value of the direction flag “−1” through the processing of S166 to S154 ( S212). As a result, moving images are sequentially displayed in the rewind direction.
[0091]
[For fast forward processing]
The fast-forward processing when the function key 63 is not pressed and the fast-forward key 66 is pressed will be described.
[0092]
After the processing of S100 to S228, the control circuit 2 determines whether or not the fast forward key 66 has been pressed (S232). In this case, since the fast-forward key 66 has been pressed (YES in S232), the control circuit 2 multiplies the reproduction time TB per frame by "1/300" (S250). When the total reproduction time is multiplied by “1/300”, the control circuit 2 sets the value of the direction flag to “1” (S242). When the value of the direction flag is set, the control circuit 2 waits until the reproduction time TB per frame of “1/300” elapses through the processing of S166 to S210 (S154). By repeating this, the moving image is fast-forward reproduced.
[0093]
[In the case of standardization processing]
The standardization process when the function key 63 is not pressed and the reproduction key 65 is pressed will be described.
[0094]
After the processing of S100 to S214, the control circuit 2 determines whether or not the reproduction key 65 has been pressed (S224). In this case, since the reproduction key 65 is pressed (YES in S224), the control circuit 2 calculates the reproduction time TB per frame based on the total reproduction time stored in the memory 7 (S240). When the reproduction time TB is calculated, the control circuit 2 sets the value of the direction flag to "1" (S242). When the value of the direction flag is set, the control circuit 2 passes the processing of steps S166 to S210, and the reproduction time TB per frame determined based on the value of the reproduction speed stored in the memory 7 elapses. Wait until (S154). Thus, the moving image is reproduced based on the value of the reproduction speed stored in the memory 7 irrespective of the total reproduction time and the value of the direction flag.
[0095]
As described above, the mobile phone according to the present embodiment can perform fast-forward playback processing and rewind playback processing. The mobile phone can perform a process of controlling a specific character constituting a message to be displayed when a specific time point of the moving image is displayed. The mobile phone can perform processing for displaying a moving image and a message in the moving image display area and the character display area, respectively, in response to the function key being pressed. As a result, it is possible to provide a mobile phone that makes it easier and more convenient to see either the moving image played back in fast-forward or the moving image played back in rewind and to know the contents of the sentence.
[0096]
<Third embodiment>
Hereinafter, a mobile phone according to a third embodiment of the present invention will be described.
[0097]
The mobile phone 1 according to the present embodiment includes a voice database in the memory 7. The voice database is a database that includes data that allows the speaker 4 to output the pronunciation of each character, word, idiom, and idiom constituting the message. These idioms are associated with pronunciations. The rest of the hardware configuration is the same as in the first embodiment. The functions for them are the same. Therefore, detailed description thereof will not be repeated here.
[0098]
Referring to FIG. 14, the program executed on mobile phone 1 has the following control structure regarding the start of reproduction of a moving image and the display of the text of a mail. Note that, in the flowchart shown in FIG. 14, the processes shown in FIG. 5 described above have the same step numbers. The processing is the same. Therefore, detailed description thereof will not be repeated here.
[0099]
At S300, control circuit 2 calls a character string from the built-in buffer. In S302, control circuit 2 adds the character called in S150 to the called character string.
[0100]
In S304, control circuit 2 determines whether or not there is audio data corresponding to the character string in the audio database stored in memory 7. If it is determined that there is audio data (YES in S304), the process proceeds to S306. If not (NO in S304), the process proceeds to S308. At S306, control circuit 2 calls up the corresponding audio data. In S308, control circuit 2 updates the character string in the buffer.
[0101]
At S310, control circuit 2 outputs the called voice data to speaker 4. At S312, control circuit 2 deletes the data in the buffer.
[0102]
The other processing flow is the same as in the first embodiment. The functions for them are the same. Therefore, detailed description thereof will not be repeated here.
[0103]
The operation of the mobile phone 1 based on the above structure and flowchart will be described. When the image data and the character data are output (S152), the control circuit 2 calls a character string from a built-in buffer (S300). When the character string is called, the control circuit 2 adds the character called in S150 to the character string (S302). When a character is added, the control circuit 2 determines whether or not there is data corresponding to the character string in the voice database of the memory 7 (S304). If there is no corresponding data (NO in S304), control circuit 2 updates the character string in the buffer (S308). When the character string is updated, the control circuit 2 determines whether or not there is audio data corresponding to the character string to which the character is newly added in the audio database through the processing of S154 to S302 (S304). . If there is voice data (YES in S304), control circuit 2 calls up the corresponding voice data (S306). When the voice data is called, the control circuit 2 outputs the voice data to the speaker 4 (S310). When the audio data is output to the speaker, the control circuit 2 deletes the data in the buffer (S312).
[0104]
As described above, the mobile phone according to the present embodiment can output sound corresponding to a message. As a result, it is possible to provide a mobile phone that allows the user to more easily see a moving image and know the contents of a sentence.
[0105]
The embodiments disclosed this time are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[0106]
【The invention's effect】
ADVANTAGE OF THE INVENTION The mail receiving apparatus which concerns on this invention can see a moving image and can know the content of a sentence easily.
[Brief description of the drawings]
FIG. 1 is a control block diagram of a mobile phone according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a display example of a display according to the first embodiment of the present invention.
FIG. 3 is a flowchart illustrating a procedure for controlling processing related to selection and display of mail according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing a control procedure of speed and timing setting processing according to the first embodiment of the present invention.
FIG. 5 is a flowchart illustrating a procedure of starting a reproduction of a moving image and controlling a process of displaying a text of a mail according to the first embodiment of the present invention.
FIG. 6 is a diagram illustrating a display example of a display according to a second embodiment of the present invention.
FIG. 7 is a diagram illustrating a concept of correspondence information according to a second embodiment of the present invention.
FIG. 8 is a flowchart illustrating a control procedure of speed and timing setting processing according to the second embodiment of the present invention.
FIG. 9 is a flowchart illustrating a control procedure of a switching process according to the second embodiment of the present invention.
FIG. 10 is a flowchart illustrating a procedure of starting a reproduction of a moving image and controlling a process of displaying a text of a mail according to the second embodiment of the present invention.
FIG. 11 is a flowchart illustrating a control procedure of a standardization process according to the second embodiment of the present invention.
FIG. 12 is a flowchart illustrating a procedure of control of a rewinding process according to the second embodiment of the present invention.
FIG. 13 is a flowchart illustrating a control procedure of fast-forward processing according to the second embodiment of the present invention.
FIG. 14 is a flowchart illustrating a procedure of starting reproduction of a moving image and controlling display processing of a text of a mail according to the third embodiment of the present invention.
[Explanation of symbols]
1 mobile phone, 2 control circuit, 3 wireless circuit, 4 speakers, 5 keypad, 6 display, 7 memory, 8 microphone, 61 movie display area, 62 character display area, 63 function keys, 64 rewind key, 65 playback key , 66 Fast forward key.

Claims

In a mail receiving device capable of receiving, as mail, sentence data representing a communication message and a moving image file representing a moving image,
Storage means for storing the sentence data and the moving image file;
First display means for automatically and at least partially scroll-displaying the sentence;
Second display means for displaying the moving image;
Control means for controlling any one of the first display means and the second display means so that at least a part of each of the time when the sentence is displayed and the time when the moving image is displayed are included. , Mail receiving device.

The control means controls one of the first display means and the second display means such that one of a time at which the sentence is displayed and a time at which the moving image is displayed overlap with the other. The mail receiving apparatus according to claim 1, further comprising:

The control unit controls one of the first display unit and the second display unit so that the time when the sentence is displayed and the time when the moving image is displayed overlap at the start of each. The mail receiving device according to claim 1 or 2, further comprising:

The storage unit further includes a unit for storing correspondence information indicating a correspondence relationship between a specific image at any time of the moving image and a specific character that is one of characters forming the sentence,
The control unit is configured to determine, based on the correspondence information, a time when the specific character is displayed in the time when the sentence is displayed and a time when the specific image is displayed in the time when the moving image is displayed. 2. The mail receiving apparatus according to claim 1, further comprising: means for controlling one of the first display means and the second display means so as to overlap.

The mail receiving device further includes an input unit for inputting information,
The apparatus according to claim 1, wherein the control unit includes a unit configured to control one of the first display unit and the second display unit in response to input of predetermined information to the input unit. 5. The mail receiving device according to any one of 4.

The mail receiving device further includes an input unit for inputting information,
5. The mail receiving device according to claim 1, wherein the first display unit includes a unit configured to scroll and display the sentence in a direction determined based on information input to the input unit. 6. .

The mail receiving device,
Input means for inputting information;
The mail reception according to any one of claims 1 to 4, further comprising: a determination unit configured to determine one of display speed and display order of the moving image based on the information input to the input unit. apparatus.

The mail receiving device further includes a specifying unit for specifying a display time of the sentence based on a display time of the moving image specified in advance,
The control unit may control the first time based on the display time of the moving image and the display time of the sentence such that a time at which the sentence is displayed and a time at which the moving image are displayed overlap each other at the end time. 7. The mail receiving device according to claim 1, further comprising a unit for controlling one of the display unit and the second display unit.

In a mail receiving device capable of receiving, as mail, sentence data representing a communication message and a moving image file representing a moving image,
First storage means for storing the sentence data and the moving image file;
Second storage means for storing voice data representing voice,
Output means for outputting a voice corresponding to the communication text, based on the text data and the voice data,
Display means for displaying the video,
Control means for controlling any of the output means and the display means so that at least a part of each of the time when the sound is output and the time when the moving image is displayed overlap.