JP2010218105A - 電子機器及びメッセージ表示システム - Google Patents

Abstract

【課題】より確実に感情を相手に伝えることができるメッセージを作成し、送信する電子機器及びメッセージ表示システムを提供すること。
【解決手段】接触を検出する接触検出部４１と、検出結果に基づいて画像を生成する画像生成部４２と、外部からの入力を検出する外部入力検出部４３と、外部入力検出部４３による検出結果に基づいて対応する文字を読み出す文字読出部４４と、接触検出部４１と外部入力検出部４３とのいずれか一方を選択する選択部４５と、接触検出部４１が選択されたとき、画像生成部４２により生成された画像を入力し、外部入力検出部４３が選択されたとき、文字読出部４４により読み出された文字を入力することにより電子的なメッセージを作成するメッセージ作成部４６と、メッセージを送信する送信部４８とを備える。
【選択図】図３

Description

本発明は、電子的なメッセージを送受信する機能を有する電子機器及びメッセージ表示システムに関する。

通信機能を備えた電子機器では、通話による通信よりも電子メール（以下、メールという。）による通信の利用頻度の方が高い傾向にある。また、メールにおいては、伝えたい内容（メッセージ）を淡々と文字の羅列のみで構成する手法よりも、喜怒哀楽の感情を伝える表現（例えば、記号を利用して人の顔を模して表現されている顔文字による表現や、人の顔等を絵的に表す画像（アイコン）等による表現）を用いて構成する手法が主流になっている。さらに、電子機器では、メールの背景画像や文字のレイアウトを工夫したもの（例えば、デコレーションメール）も利用されている。さらに、特許文献１に示すように、メールに記載されたテキストに基づいて背景画像を選択する技術も提案されている。

特開２００５−２４２７９０号公報

しかしながら、上述した技術では、より確実に感情を相手に伝えることは困難である。

本発明は、より確実に感情を相手に伝えることができるメッセージを作成し、送信することができる電子機器及びメッセージ表示システムを提供することを目的とする。

本発明に係る電子機器は、上記課題を解決するために、接触を検出する接触検出部と、前記接触検出部による検出結果に基づいて画像を生成する画像生成部と、外部からの入力を検出する外部入力検出部と、前記外部入力検出部による検出結果に基づいて対応する文字を読み出す文字読出部と、前記接触検出部と前記外部入力検出部とのいずれか一方を選択する選択部と、前記選択部により前記接触検出部が選択されたとき、前記画像生成部により生成された画像を入力し、前記選択部により前記外部入力検出部が選択されたとき、前記文字読出部により読み出された文字を入力することにより電子的なメッセージを作成するメッセージ作成部と、前記メッセージ作成部で作成される前記メッセージを送信する送信部とを備えることを特徴とする。

また、前記電子機器では、前記メッセージ作成部で作成されたメッセージに含まれている前記画像の一部又は全部を選択する画像選択部と、前記画像選択部で選択された前記画像の一部又は全部を認識する画像認識部と、前記画像認識部による認識結果に基づいて、前記画像の一部又は全部に対応する文字に変換する文字変換部とを備え、前記メッセージ作成部は、前記文字変換部により変換された文字を入力することにより電子的なメッセージを作成することが好ましい。

また、前記電子機器では、前記画像生成部は、前記接触検出部による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成することが好ましい。

また、前記電子機器では、前記画像は、前記軌跡が接触によって描かれる移動の速度に対応して動的に再現される形式の画像であることが好ましい。

また、前記電子機器では、前記画像生成部により生成された画像を記憶する画像記憶部と、前記メッセージ作成部で作成されたメッセージに含まれている前記画像の一部又は全部を選択する画像選択部と、前記画像選択部で選択された前記画像の一部又は全部を認識する画像認識部と、前記画像認識部による認識結果に基づいて、選択された前記画像の一部又は全部と同一性を有する画像を前記画像記憶部から抽出する抽出部とを備え、前記メッセージ作成部は、前記抽出部により抽出された画像を入力することにより電子的な文字と画像とから構成されるメッセージを作成することが好ましい。

本発明に係る電子機器は、上記課題を解決するために、接触に基づいて画像を生成する画像生成部と、外部からの入力を検出する外部入力検出部と、前記外部入力検出部による検出結果に基づいて対応する文字を読み出す文字読出部と、前記画像生成部により生成された画像を入力することにより、或いは前記文字読出部により読み出された文字を入力することにより、前記画像及び前記文字を含む電子的なメッセージを作成するメッセージ作成部と、前記メッセージ作成部で作成された前記メッセージを表示可能な表示部と、を備えることを特徴とする。

前記電子機器では、前記画像生成部は、前記接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成することが好ましい。

本発明に係るメッセージ表示システムは、上記課題を解決するために、第１の電子機器と第２の電子機器とを備え、メッセージを受信し、表示するメッセージ表示システムにおいて、前記第１の電子機器は、接触に基づいて画像を生成する画像生成部と、外部からの入力を検出する外部入力検出部と、前記外部入力検出部による検出結果に基づいて対応する文字を読み出す文字読出部と、前記画像生成部により生成された画像を入力することにより、或いは前記文字読出部により読み出された文字を入力することにより、前記画像及び前記文字を含む電子的なメッセージを生成するメッセージ作成部とを備え、前記第２の電子機器は、前記メッセージを受信する受信部と、当該受信したメッセージを表示可能な表示部を備えることを特徴とする。

本発明によれば、より確実に感情を相手に伝えることができるメッセージを作成し、送信することができる。

本発明に係る電子機器の外観を示す図で、（ａ）は正面図、（ｂ）は側面図である。 本発明に係る第１の電子機器と第２の電子機器とが基地局を介して通信を行う様子を示した模式的に示すブロック図である。 第１の実施例の電子機器の機能を示すブロック図である。 第２の実施例の電子機器の機能を示す機能ブロック図である。 本発明に係るメール作成時のメインフローチャートである。 本発明に係るメール作成時の文字変換を示すサブフローチャートである。 本発明に係るメール作成時のメール送信を示すサブフローチャートである。 本発明に係るメール受信のフローチャートである。

以下、本発明の実施の形態について説明する。図１は、本発明に係る外部機器（基地局１０１）を介して他の電子機器と通信を行う電子機器１の外観斜視図である。図１（ａ）は、電子機器１の正面図を示し、図１（ｂ）は、電子機器１の側面図を示す。電子機器１は、表面にディスプレイ１１を備える。ディスプレイ１１は、表面にタッチパネルが形成されており、表面を棒状のペン（いわゆる、スタイラスペン）やユーザの指先によってタッチ（接触）されることにより、様々な機能を発揮する。

また、電子機器１は、図１（ｂ）に示すように、側面に機能ボタン群２１が形成されている。なお、機能ボタン群２１は、タッチセンサにより形成されており、各ボタンがユーザの指先等でタッチされることにより、タッチされたボタンに割り当てられている機能が実行される。各ボタンの機能については後述する。また、図１では、操作部３５としてキーボードが搭載されている例を示したが、特にこの形態に限定されない。

また、図２に電子機器１の機能ブロック図を示す。電子機器１は、制御部３１、無線通信部３２、メモリ３３、ディスプレイ１１、タッチパネル３４、操作部３５、撮像部３６、音声出力部３７、音声入力部３８を少なくとも備えている。

制御部３１は、中央処理装置（ＣＰＵ）を含む半導体集積回路により構成されており、電子機器１全体を管理及び制御する。制御部３１は、メモリ３３に格納された各種のタスクを実行することにより、例えば、ディスプレイ１１に画像を表示したり、機能ボタン群２１やタッチパネル３４からの入力を受け付けたりする。これにより、制御部３１は、メモリ３３に格納されているプログラムを用いて、通話機能や、メールを作成するときに利用される文字入力機能や、撮像部３６により被写体の撮像を行う撮影機能等の様々なタスクを遂行する。

無線通信部３２は、アンテナ３２ａを介して、所定の通信方式によって基地局と無線通信を行う。所定の通信方式としては、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００等がある。メモリ３３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等で構成され、制御部３１によって処理されるプログラムやその他のデータファイル等を記憶する。

ディスプレイ１１は、ＴＦＴ液晶又は有機ＥＬ等で構成されている。ディスプレイ１１は、メモリ３３に記憶された、又Ｗｅｂブラウザ等の動作画面を表示することができる。また、ディスプレイ１１は、タッチパネル３４との組合せにより、入力インターフェースを構成する。

タッチパネル３４は、ディスプレイ１１の表面に透明又は半透明の素材で形成され、ディスプレイ１１を視認可能に配置されている。タッチパネル３４は、具体的には、ディスプレイ１１表面に取り付けるタッチスクリーンと、圧力を検知する圧力検知型がある。また、接触の感知方法としては、圧力の変化を感知する感圧方式と、静電気による電気信号を感知する静電容量方式と、光の遮断を感知する光導波路方式等に大別される。本実施例に係るタッチパネル３４は、どの方式を採用しても良い。

操作部３５は、機能ボタン群２１を備えている。機能ボタン群２１は、ペンボタン２１ａと、消しゴムボタン２１ｂと、メニューボタン２１ｃ（サイドボタン２１ｃ）とから構成されている。例えば、メールが起動されている状態において、ペンボタン２１ａがタッチされたときには、電子機器１は、ディスプレイ１１の表面の入力手段としてペンが選択されたことを把握する。また、消しゴムボタン２１ｂがタッチされたときには、電子機器１は、指定されているメッセージの一部を消去する。また、メニューボタン２１ｃがタッチされたときには、ディスプレイ１１にメニュー（例えば、カメラや、メールの起動を選択できるメニュー）を表示する。なお、操作部３５は、機能ボタン郡１２の他に、収納タイプのキーボード（ＱＷＥＲＴＹキーボード等）を更に備えていても良い。

撮像部３６は、撮像レンズと、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子と、画像処理ＩＣ等から構成される。撮像部３６は、制御部３１からの指令により、ディスプレイ１１へ画像表示を行い、静止画像データ又は動画像データとして記録し、記録後のデータをメモリ３３に記憶する。音声出力部３７は、スピーカーで構成され、受信した通話相手の音声信号を音声に変えて外部に出力する。音声入力部３８は、マイク等の音認識装置で構成され、通話時に入力されたユーザの音声を処理可能な電気信号に変換する。

＜第１の実施例＞
このように構成される電子機器１では、より確実に感情を相手に伝えるメールメッセージを作成し、送信する機能を有する。当該機能を実現するための詳細な構成について以下に述べる。電子機器１は、図３に示すように、接触検出部４１（接触検出手段）と、画像生成部４２（画像生成手段）と、外部入力検出部４３（外部入力検出手段）と、文字読出部４４（文字読出手段）と、選択部４５（選択手段）と、メッセージ作成部４６（メッセージ作成手段）と、宛先選択部４７（宛先選択手段）と、送信部４８（送信手段）とを備える。なお、接触検出部４１は、上述したタッチパネル３４に相当する。画像生成部４２と、文字読出部４４と、選択部４５と、メッセージ作成部４６と、宛先選択部４７は、上述した制御部３１に相当する。送信部４８は、上述した無線通信部３２に相当する。

接触検出部４１は、タッチセンサにより構成されており接触を検出する。画像生成部４２は、接触検出部４１による検出結果に基づいて画像を生成する。具体的には、画像生成部４２は、ユーザにより接触検出部４１を指又はスタイラスペンにより入力された筆跡に基づいて、画像を生成する。

外部入力検出部４３は、例えば、操作部３５のキーボード３５や、音声入力部３８に相当し、キーボード３５や音声入力部３８による入力を検出する。文字読出部４４（文字読出手段）は、外部入力検出部４３による検出結果に基づいて対応する文字（テキスト文字）を読み出す。具体的には、文字読出部４４は、キーボード３５上の押圧されたキーに対応する文字データを読み出したり、音声入力部３８により入力された音声を文字データに変換し、変換後の文字データを読み出したりする。

選択部４５は、接触検出部４１と外部入力検出部４３とのいずれか一方を選択する。メッセージ作成部４６は、選択部４５により接触検出部４１が選択されたとき、画像生成部４２により生成された画像を入力し、選択部４５により外部入力検出部４３が選択されたとき、文字読出部４４により読み出された文字を入力することにより電子的なメッセージを作成する。

宛先選択部４７は、メッセージ作成部４６で作成されるメッセージを送信する宛先を選択する。具体的には、宛先選択部４７は、予め登録されている宛先（アドレス）から所定のアドレスを選択したり、操作部３５のキーボードを利用して宛先を入力したりする。送信部４８は、ユーザの送信操作に応じて、宛先選択部４７により選択された宛先にメッセージを送信する。

このように構成される電子機器１は、メールに手書き文字を混在させることができるので、より確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。

また、電子機器１は、さらに、画像選択部４９と、画像認識部５０と、文字変換部５１とを備える。画像選択部４９は、メッセージ作成部４６で作成されたメッセージに含まれている画像の一部又は全部を選択する。画像認識部５０は、画像選択部４９で選択された画像の一部又は全部を認識する。すなわち、画像認識部５０は、選択された画像と対応する文字との同一性の判断を行う。文字変換部５１は、画像認識部５０による認識結果に基づいて、画像の一部又は全部に対応する文字に変換する。メッセージ作成部４６は、文字変換部５１により変換される文字を入力することにより電子的なメッセージを作成する。

このように構成されることにより、電子機器１は、手書き文字が混在しているメールメッセージについて、この手書き文字を部分的に選択することにより、当該選択された部分をテキスト文字に変換することができ、直感的な編集操作を行うことができる。なお、電子機器１は、手書き文字を部分的に選択することにより、当該選択された部分以外をテキスト文字に変換することもできる。

また、画像生成部４２は、接触検出部４１による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成しても良い。この画像は、例えば、接触検出部４１による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式で生成される。動的に再現する形式の画像は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）-４、アニメーションＧＩＦ（Ｇｒａｐｈｉｃ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）などの動画像ファイルとして形成される。そして、当該画像は、メッセージ作成部４６によりメールメッセージに埋め込まれ、互換性を有するビューワ等により再生表示される。また、再生表示時には事前に再生回数、再生速度等の設定をすることができる。

このように構成される電子機器１は、単に書き終えた手書き文字（筆跡）を生成するだけでなく、手書き文字の軌跡、すなわち、文字の筆順を追って書き終えるまでの過程を表示させることができる。このため、作成されるメールは、メール作成者の癖やメール作成時の感情を表現することになり、電子機器１は、確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。

また、画像生成部４２は、軌跡が接触によって描かれる移動の速度に対応して動的に再現される形式の画像を生成するようにしても良い。

このように構成される電子機器１の画像生成部４２により生成される画像は、軌跡が描かれるまでの移動速度を表現するので、メール作成者のメール作成時の気持ちを再現して相手に伝えることができる。電子機器１は、例えば、軌跡が描かれるまでの移動速度が速い画像であれば、相手に「急いでいる気持ち」を伝えることができ、また、軌跡が描かれるまでの移動速度が緩やかな画像であれば、「丁寧な気持ち」を伝えることができる。

また、電子機器１は、軌跡の移動速度が表現されることにより、筆跡よりも制御が難しい情報が付加されるため、メール作成者が意識しない感情も伝えることもできる。その結果、電子機器１は、さらに確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。

また、電子機器１は、さらに、図４に示すように、画像記憶部５２と、抽出部５３とを備える。画像記憶部５２は、画像生成部４２により生成された画像を記憶する。また、画像記憶部５２は、予め手書き文字の画像データが格納される。例えば、メール作成者が過去に書いた手書き文字や著名な書道家が描いた手書き文字画像などが格納される。

抽出部５３は、画像認識部５０による認識結果に基づいて、選択された画像の一部又は全部と同一性を有する画像を画像記憶部５２から抽出する。つまり、画像認識部５０は、画像認識部５０からの認識結果に基づいて、認識結果画像と画像記憶部５２に記憶された画像との同一性を判断し、同一性を有すると判断された場合に、画像記憶部５２から画像を抽出する。

このように構成される電子機器１は、予め画像を登録しておくことができ、この画像をテキスト文字や手書き文字と差し替えることができる。電子機器１には、例えば、過去に余裕のある状態で丁寧に描いた手書き文字を登録しておく。そして、気が急いているが、相手には大切にしているという感情を伝えたい時に、登録しておいた手書き文字と差し替えることができる。つまり、メール作成者の置かれた状況に関係なく、相手に表現したい感情を込めたメールを作成することができる。このため、電子機器１は、さらに確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。

また、電子機器１は、例えば、文字読出部４４により読み出された文字データを画像選択部４９で選択するようにして、予め登録されている手書き文字と差し替え可能に構成しても良い。このように構成することにより、電子機器１は、文字データを登録済の手書き文字に変換することができるために、表現方法の幅が広がるために、より確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。

＜第２の実施例＞
また、本実施例は、以下の構成を備える。電子機器１は、図３に示すように、画像生成部４２と、外部入力検出部４３と、文字読出部４４と、メッセージ作成部４６と、表示部１１とを備える。画像生成部４２と、文字読出部４４と、メッセージ作成部４６とは、上述した制御部３１に相当する。

画像生成部４２は、接触検出部４１による検出結果に基づいて画像を生成する。具体的には、画像生成部４２は、ユーザにより接触検出部４１を指又はスタイラスペンによりタッチパネル３４への接触で入力された筆跡に基づいて、画像を生成する。

外部入力検出部４３は、例えば、操作部３５のキーボード３５や、音声入力部３８に相当し、キーボード３５や音声入力部３８による入力を検出する。文字読出部４４（文字読出手段）は、外部入力検出部４３による検出結果に基づいて対応する文字を読み出す。具体的には、文字読出部４４は、キーボード３５上の押圧されたキーに対応する文字データを読み出したり、音声入力部３８により入力された音声を文字データに変換し、変換後の文字データを読み出したりする。

メッセージ作成部４６は、画像生成部４２により生成された画像を入力することにより、或いは文字読出部４４により読み出された文字を入力することにより、画像及び文字を含む電子的なメッセージを作成する。

表示部１１は、ディスプレイ１１に相当し、ＴＦＴ液晶又は有機ＥＬ等で構成されている。表示部１１は、メモリ３３に記憶された、又Ｗｅｂブラウザ等の動作画面を表示することができる。

このように構成される電子機器１は、メール作成時にメールメッセージの確認（手書き文字の出来の確認等）を行えるために、より完成度の高いメールメッセージの作成ができ、より確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。

また、画像生成部４２は、接触による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成しても良い。例えば、接触検出部４１による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成するようにしても良い。動的に再現する形式の画像は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）-４、アニメーションＧＩＦ（Ｇｒａｐｈｉｃ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）などの動画像ファイルとして形成される。そして、当該画像は、メッセージ作成部４６によりメールメッセージに埋め込まれ、互換性を有するビューワ等により再生表示される。また、再生表示時には事前に再生回数、再生速度等の設定をすることができる。

このように構成される電子機器１は、単に書き終えた手書き文字（筆跡）を生成するだけでなく、手書き文字の軌跡、すなわち、文字の筆順を追って書き終えるまでの過程を表示させることができる。このため、作成されるメールは、メール作成者の癖やメール作成時の感情を表現することになり、電子機器１は、確実に感情を相手に伝えることができるメールメッセージを作成し、送信することができる。

＜第３の実施例＞
本実施例は、第１の電子機器１と第２の電子機器１’とを備え、メッセージを受信し、表示するメッセージ表示システム２０１である。図１に示すように、第１の電子機器１と第２の電子機器１’との間のやり取りを基地局１０１を介して無線通信により行う。

第１の電子機器１は、画像生成部４２と、外部入力検出部４３と、文字読出部４４と、メッセージ作成部４６とを備える。

画像生成部４２は、接触検出部４１による検出結果に基づいて画像を生成する。具体的には、画像生成部４２は、ユーザにより接触検出部４１を指又はスタイラスペンによりタッチパネル３４への接触で入力された筆跡に基づいて、画像を生成する。

外部入力検出部４３は、例えば、操作部３５のキーボード３５や、音声入力部３８に相当し、キーボード３５や音声入力部３８による入力を検出する。文字読出部４４（文字読出手段）は、外部入力検出部４３による検出結果に基づいて対応する文字を読み出す。具体的には、文字読出部４４は、キーボード３５上の押圧されたキーに対応する文字データを読み出したり、音声入力部３８により入力された音声を文字データに変換し、変換後の文字データを読み出したりする。

メッセージ作成部４６は、画像生成部４２により生成された画像を入力することにより、或いは文字読出部４４により読み出された文字を入力することにより、画像及び文字を含む電子的なメッセージを作成する。

第２の電子機器１’は、受信部３２’と、表示部１１’とを備える。受信部は、無線通信部３２’に相当し、メッセージを受信する。表示部１１’は、ディスプレイ１１’に相当し、受信したメッセージを表示可能に構成される。

このように構成されるメッセージ表示システム２０１は、メールに手書き文字を混在させることができるので、より確実に感情を相手に伝えることができるメールメッセージを作成し、送受信することができる。

ここで、電子機器１でメールメッセージ作成から電子機器１’との送受信、そして、電子機器１’でのメールメッセージの表示までの一連のメッセージ表示システム２０１について、図５に示すフローチャートに基づいて、説明する。

まず、図５に示すように、ステップＳ１において、電子機器１は、待ち受け状態からサイドボタン２１ｃが押されることにより、ステップＳ２に進む。ステップＳ２において、電子機器１は、ディスプレイ１１上にメニュー画面を起動し、ステップＳ３に進む。ステップＳ３において、電子機器１は、メニュー選択画面へ移行し、ディスプレイ１１に表示されたメール作成機能をタッチ操作により選択された場合には、ステップＳ５へ進み、その他の機能が選択された場合には、ステップＳ４へ進む。ステップＳ４の工程において、電子機器１は、選択された機能に基づいて、処理をする。

ステップＳ５において、電子機器１は、メール作成画面を表示し、後述する機能ボタン群２１への操作（タッチ）がされることにより以下の処理が実行される。電子機器１は、メール作成画面を表示した状態では、本実施形態においては、キーボード３５による入力操作が可能に設定される。つまり、電子機器１は、メモリ３３に格納されるキーボード３５に対応した文字や記号等の入力を外部入力検出部４３で検出し、文字読出部４４にて対応した文字コードのより表示可能な文字等をメッセージ作成部４６に出力し、メッセージ作成部４６にてメッセージ作成を行う。

まず、ペンボタン２１ａ（鉛筆ボタン）が長押された場合には、選択部４５によりタッチパネル３５へのペン操作を操作順や操作スピードを動画像にて取得する入力画面（手書き操作画面）を起動し、ステップＳ７へ進む（ステップＳ６）。

ステップＳ７において、電子機器１は、タッチパネル３５へのペン操作（手書き操作）を接触検出部４１により検出する。次に、電子機器１は、接触検出部４１にて検出した結果（操作順や操作速度）に基づいて、画像生成部４２にて動画像データを生成する。この際、生成された動画像データは、メモリ３３に一時的に格納されたり、所定の操作により画像記憶部５２に登録データとして格納されたりする。次に、電子機器１は、生成された動画像データをメッセージ作成部４６によりディスプレイ１１上に表示する。

つまり、ステップＳ７の工程において、電子機器１は、メール作成者がタッチパネル３４にペン等で入力した手書き文字を筆順や書いた速度などを動画像により表示可能な形式で取得し、メール作成画面に表示する。なお、本実施形態において、動画像は、ＭＰＥＧ４やアニメーションＧＩＦなどの所定のファイル形式で生成される。また、生成される動画像は、１文字単位に限られず、文単位や任意の長さ大きさにより生成可能であり、動画像の再生速度や再生回数は適宜設定可能である。

また、鉛筆ボタン２１ａが１回押された場合には、タッチパネル３５へのペン操作を画像にて取得する入力画面を起動し、ステップＳ９へ進む（ステップＳ８）。ステップＳ９において、電子機器１は、手書き操作を接触検出部４１により検出する。次いで、電子機器１は、接触検出部４１にて検出した結果に基づいて、画像生成部４２にて画像データを生成する。この際、生成された画像データは、メモリ３３に一時的に格納されたり、所定の操作により画像記憶部５２に登録データとして格納されたりする。次に、生成された画像データは、メッセージ作成部４６によりディスプレイ１１上に表示される。

つまり、ステップＳ９の工程において、電子機器１は、メール作成者がタッチパネルにペン等で入力した手書き文字を画像により表示可能な形式で取得し、メール作成画面に表示する。なお、本実施形態において、画像は、ＪＰＥＧやＧＩＦなどの所定のファイル形式で生成される。また、生成される画像は、１文字単位に限られず、文単位や任意の長さ大きさにより生成可能である。

さらに、鉛筆ボタン２１ａが２回押された場合には、上述した手書き操作から、キーボード３５による入力操作可能なメール作成画面に復帰する（ステップ１０、ステップ１１）。上述した鉛筆ボタン２１ａへの操作がされない場合には、キーボード３５による入力が可能なメール作成画面が維持される（ステップＳ１２）。上述したメール作成画面への入力が行われた後に、電子機器１は、消しゴムボタン２１ｂが押された場合には、既に書き込まれた文字等を消去可能なステップＳ１４へ進む（ステップＳ１３）。

ステップＳ１４において、電子機器１は、メール作成画面上に表示されている文字等を、所定のタッチ操作（例えば、文字を丸で囲む）にて指定して、指定された文字等を削除する。また、電子機器１は、消しゴムボタン２１ｂが長押しされた場合には、既に入力された文字等の変換を行うステップＳ１６以下へと進む（ステップＳ１５）。

図６に示すように、ステップＳ１６において、電子機器１は、メール作成画面上に表示されている文字等を、所定のタッチ操作（例えば、文字を丸で囲む）にて指定する。

ステップＳ１６の工程において、電子機器１は、所定のタッチ操作により、文字等が指定された場合は、指定された文字等と以下の鉛筆ボタン２１ａへの操作（ステップＳ１７、ステップＳ１８、ステップＳ１９）により指示された文字形式（テキスト文字、画像データとして保存された手書き文字又は動画像データとして保存された手書き文字）への変換の判断を行う。なお、本実施形態においては、指定した文字を変換の対象とする例を示したが、指定した文字以外の文字を変換の対象としても良い。また、鉛筆ボタン２１ａの操作が行われない場合は、タイマー等により本ステップを終了し、ステップＳ２２へ進む。

鉛筆ボタン２１ａが長押しされた場合には、画像選択部４９にて指定された文字等と画像記憶部５２に格納されている登録データ（初期状態又はダウンロード等で入手したメール作成時に予め登録されている動画像データやステップＳ７で登録された動画像データ等）との変換を行うため、ステップＳ２０へ進む（ステップＳ１７）。

鉛筆ボタン２１ａが１回押された場合には、画像選択部４９にて指定された文字等と画像記憶部５２に格納されている登録データ（初期状態又はダウンロード等で入手したメール作成時に予め登録されている画像データやステップＳ７で登録された画像データ等）との変換を行うため、ステップＳ２０へ進む（ステップＳ１８）。

鉛筆ボタン２１ａが長押しされた場合には、画像選択部４９にて指定された文字等と画像記憶部５２に登録された登録データ（初期状態又はダウンロード等で入手したメール作成時に予め登録されているフォントデータ）との変換を行うため、ステップＳ２０へ進む（ステップＳ１９）。

ステップＳ２０において、電子機器１は、ステップＳ１７、ステップＳ１８、又はステップＳ１９の画像選択部４９からの変換指示により、変換指定文字を画像認識部５０において、同一性の判断を行い、同一性有りと判断した場合には、抽出部５３にて、メモリ又は画像記憶部５２に格納されている登録データを抽出し、ステップＳ２１に進む。また電子機器１は、同一性無しと判断した場合には、処理を終了して、ステップＳ２２へ進む。なお、画像の同一性の判断については、画像の座標の代表値の一致度合いや余白部分の割合等で判断するなど、周知の画像認識方法を採用することにより実現することができる。また、動画像については、動画終了時の静止画像を抽出して、この静止画像を画像の同一性の判断と同様の方法で判断することにより、実現することができる。

ステップＳ２１において、電子機器１は、抽出部５３により抽出した登録データをメッセージ作成部にて指定文字等と差し替えてメッセージ画面上に表示する。図５に示すように、ステップＳ２２において、電子機器１は、手書き操作（ステップＳ７及びステップＳ９）やキーボード操作（ステップ１１及びステップＳ１２）の有無を判断し、操作があった場合は、ステップＳ２３へ進み、操作がなかった場合は、メール作成画面の入力操作待ち状態となる。

ステップＳ２３において、電子機器１は、サイドボタン２１ｃが押された場合には、メールの入力操作を確定し（ステップＳ２４）、ステップＳ２５に進む。ステップＳ２５において、電子機器１は、ディスプレイ１１上にメールの本文以外に添付可能な情報が表示される。例えば、ファイル添付モード、カメラ撮影画像（カメラを起動して撮影を行い添付する。）、痕跡モード（手形や、サイン、キスマークなどタッチパネル３４操作により取得したデータを添付する。）がある。これらのモードのうち、痕跡モードを選択した場合には、ステップＳ２６へ進む。

ステップＳ２６において、電子機器１は、タッチパネル３４操作により痕跡（接触した軌跡を画像）を残し、ステップＳ２７へ進む。この際、痕跡は、タッチペンや指の操作に限らず、例えばタッチパネルに接触した唇等でも良い。この場合、タッチパネル３４は、痕跡モード用に接触の感度を変化させるなどして、手書き操作時とは異なる操作感を与えても良い。また、ステップＳ２６において、添付された痕跡データは、メールに痕跡データの情報が付加され、他の添付データとの差別化が図られる。

ステップＳ２７において、電子機器１は、サイドボタン２１ｃが押されることにより、痕跡モードの確定を行い、メール作成を終了し、ステップＳ２８に進む（図７参照）。ステップＳ２８において、電子機器１は、宛先選択部４７により、送信先の選択（アドレス帳データの参照及びメールアドレス等の直接入力を行う。）を行い、画面をタップすることにより（ステップＳ２９）、送信部４８によりメールデータの送信を行う（ステップＳ３０）。送信が完了しない場合は、例えば、タイマーなどにより送信キャンセルなどの指示があるまで送信を行い、送信が完了することにより、電子機器１の待ち受け状態となる（ステップＳ３１）。

次に、メールデータの送受信について、図２、３、７及び８を参照して、説明をする。電子機器１から、送信されたメールデータは、無線通信部３２により、基地局１０１にアンテナ３２ａを介して、送信される。次いで、電子機器１からのメールデータを受信した基地局１０１は、メールデータの宛先情報に基づいて、電子機器１’にメールデータを送信する。

メール受信側となる電子機器１’は、電子機器１から基地局１０１を介して送信されたメールデータを無線通信部３２’（受信部３２’）が、アンテナ３２ａ’を介して受信し（ステップＳ４０）、ステップＳ４１に進む。ステップＳ４１において、電子機器１は、受信したメールデータから、痕跡情報を取得し、痕跡情報が添付されていれば、ディスプレイ１１に痕跡表示を行い（ステップ４２）、痕跡が表示されているディスプレイをタップすることにより、メール本文の表示を行い（ステップ４３）、ステップＳ４４に進む。なお、手書き文字画像及び痕跡情報は、メール互換性のない汎用の電子機器とのやり取りをする場合には、添付ファイル扱われるようにする。

以上説明してきたように、本発明により作成される電子機器１及び電子機器１’におけるメッセージ表示システム２０１は、文字コードにより読み出し可能な文字データ（テキスト文字）と、画像や動画像の手書き文字と、が混在して１つのメール本文内で表示される。この結果、電子機器１は、文字データや登録済みの絵文字、強調表示等により作成するメールに比べて、作成における自由度が高く、他のメール及びメール本文内での単語や文章等の差別化が図りやすく、メール作成者の感情をより確実に相手に伝えることができるメッセージを作成し、送信することができる。さらに、電子機器１は、メール本文を表示する前に、痕跡表示をすることで、メール全体の印象や送り手の感情をより相手に伝えることができる。

１ 電子機器（第１の電子機器）
１’ 電子機器（第２の電子機器）
１１ 表示部
３２’ 受信部
４１ 接触検出部
４２ 画像生成部
４３ 外部入力検出部
４４ 文字読出部
４５ 選択部
４６ メッセージ作成部
４７ 宛先選択部
４８ 送信部
４９ 画像選択部
５０ 画像認識部
５１ 文字変換部
５２ 画像記憶部
５３ 抽出部

Claims (8)

1. 接触を検出する接触検出部と、
   前記接触検出部による検出結果に基づいて画像を生成する画像生成部と、
   外部からの入力を検出する外部入力検出部と、
   前記外部入力検出部による検出結果に基づいて対応する文字を読み出す文字読出部と、
   前記接触検出部と前記外部入力検出部とのいずれか一方を選択する選択部と、
   前記選択部により前記接触検出部が選択されたとき、前記画像生成部により生成された画像を入力し、前記選択部により前記外部入力検出部が選択されたとき、前記文字読出部により読み出された文字を入力することにより電子的なメッセージを作成するメッセージ作成部と、
   前記メッセージ作成部で作成される前記メッセージを送信する送信部とを備えることを特徴とする電子機器。
2. 前記メッセージ作成部で作成されたメッセージに含まれている前記画像の一部又は全部を選択する画像選択部と、
   前記画像選択部で選択された前記画像の一部又は全部を認識する画像認識部と、
   前記画像認識部による認識結果に基づいて、前記画像の一部又は全部に対応する文字に変換する文字変換部とを備え、
   前記メッセージ作成部は、前記文字変換部により変換された文字を入力することにより電子的なメッセージを作成することを特徴とする請求項１記載の電子機器。
3. 前記画像生成部は、前記接触検出部による検出結果に基づいて、接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成することを特徴とする請求項１記載の電子機器。
4. 前記画像は、前記軌跡が接触によって描かれる移動の速度に対応して動的に再現される形式の画像であることを特徴とする請求項３記載の電子機器。
5. 前記画像生成部により生成された画像を記憶する画像記憶部と、
   前記メッセージ作成部で作成されたメッセージに含まれている前記画像の一部又は全部を選択する画像選択部と、
   前記画像選択部で選択された前記画像の一部又は全部を認識する画像認識部と、
   前記画像認識部による認識結果に基づいて、選択された前記画像の一部又は全部と同一性を有する画像を前記画像記憶部から抽出する抽出部とを備え、
   前記メッセージ作成部は、前記抽出部により抽出された画像を入力することにより電子的な文字と画像とから構成されるメッセージを作成することを特徴とする請求項１記載の電子機器。
6. 接触に基づいて画像を生成する画像生成部と、
   外部からの入力を検出する外部入力検出部と、
   前記外部入力検出部による検出結果に基づいて対応する文字を読み出す文字読出部と、
   前記画像生成部により生成された画像を入力することにより、或いは前記文字読出部により読み出された文字を入力することにより、前記画像及び前記文字を含む電子的なメッセージを作成するメッセージ作成部と、
   前記メッセージ作成部で作成された前記メッセージを表示可能な表示部と、を備えることを特徴とする電子機器。
7. 前記画像生成部は、前記接触されたことによって描かれる軌跡を動的に再現する形式の画像を生成することを特徴とする請求項６記載の電子機器。
8. 第１の電子機器と第２の電子機器とを備え、メッセージを受信し、表示するメッセージ表示システムにおいて、
   前記第１の電子機器は、
   接触に基づいて画像を生成する画像生成部と、
   外部からの入力を検出する外部入力検出部と、
   前記外部入力検出部による検出結果に基づいて対応する文字を読み出す文字読出部と、
   前記画像生成部により生成された画像を入力することにより、或いは前記文字読出部により読み出された文字を入力することにより、前記画像及び前記文字を含む電子的なメッセージを生成するメッセージ作成部とを備え、
   前記第２の電子機器は、
   前記メッセージを受信する受信部と、
   当該受信したメッセージを表示可能な表示部を備えることを特徴とするメッセージ表示システム。

Images