JP2011253488A - メール受信装置、及びプログラム - Google Patents

Abstract

【課題】受信メールに添付されている送信者の顔写真をメール本文と同一画面上に表示する際における、送信者の顔の視認性を向上させる。
【解決手段】受信メールの表示に際し、添付画像に人物の顔が存在する場合には、人物の顔領域を切り出して、切り出した顔領域の画像Ａ，Ｂを、表示画面１００１内に確保した画像表示領域１００１ａに配置してメール本文と共に表示させる。添付画像に占める顔部分の割合が小さい場合であっても、メール本文と同時に表示される送信者等の顔が著しく小さくなるようなことがない。
【選択図】 図４

Description

本発明は、画像が添付された受信メールの表示技術に関するものである。

従来、例えば下記特許文献１には、携帯電話において、メール（電子メール）を受信したとき、受信メールのメール本文と、受信メールに添付されているメールの送信者の顔写真の画像とを同一画面上に表示するメール表示技術が記載されている。

特開２００５−１１５８９６号公報（段落［００２７］、［００３３］、図６参照）

しかしながら、特許文献１に記載のメール表示技術では、画面上における添付画像（顔写真）の表示スペースがメール本文の余白部分のごく限られた小さな面積となっている。そのため、添付画像に占める顔部分の割合が小さい場合には、メール本文と同時に表示される送信者の顔が著しく小さくなるため、送信者の顔が視認し難くなるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、受信メールに添付されている送信者の顔写真をメール本文と同一画面上に表示する際における、送信者の顔の視認性を向上させることを目的とする。

本発明の第１の観点に係るメール受信装置にあっては、メールを受信する受信手段と、前記受信手段により受信されたメールを表示する表示手段と、前記受信手段により受信されたメールの添付画像において人物の顔部分を検出する顔検出手段と、前記顔検出手段により検出された人物の顔部分を含む顔領域の画像を前記添付画像から切り出す切り出し手段と、前記切り出し手段により添付画像から切り出された顔領域の画像を前記メールの本文と共に前記表示手段に表示させる表示制御手段とを備えたことを特徴とする。

本発明の第２の観点に係るプログラムにあっては、コンピュータを、受信手段により受信されたメールの添付画像において人物の顔部分を検出する顔検出手段と、前記顔検出手段により検出された人物の顔部分を含む顔領域の画像を前記添付画像から切り出す切り出し手段と、前記切り出し手段により添付画像から切り出された顔領域の画像を前記メールの本文と共に表示手段に表示させる表示制御手段として機能させることを特徴とする。

本発明によれば、受信メールに添付されている送信者の顔写真をメール本文と同一画面上に表示する際における、送信者の顔の視認性を向上させることが可能となる。

本発明に係るデジタルフォトフレームのハードウェア構成を示す概略ブロック図である。 デジタルフォトフレームの機能の要部を示す機能ブロック図である。 ＤＰＦにおけるメール表示処理を示すフローチャートである。 （ａ）は、顔画像付きのメール本文を表示したときの表示画面の一例を示す図、（ｂ）は、受信メールの添付画像を全画面表示したときの表示画面の一例を示す図である。 変形例における顔画像付きのメール本文の他の表示例を示す図である。

以下、本発明の一実施形態について説明する。本実施形態は、例えばデジタルカメラにより撮影された写真等の種々の画像を表示する機能、及びメールを受信して表示する機能を備えたデジタルフォトフレーム（以下、ＤＰＦという。）に関するものである。

図１は、本発明を適用したＤＰＦ１のハードウェア構成を示す概略ブロック図である。ＤＰＦ１は、ＣＰＵ（Central Processing Unit）１０１によってシステムの全体を制御される構成である。ＣＰＵ１０１には、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、メディアコントローラ１０４、操作キー群２０１、ディスプレイ３０１、アンテナ５０１が接続された無線受信部５０２が接続されている。

ＲＯＭ１０２は、ＣＰＵ１０１にシステム全体を制御させるための複数種のプログラムやデータが記憶されているメモリである。ＲＯＭ１０２に記憶されているプログラムには、ＣＰＵ１０１を本実施形態での顔検出手段、切り出し手段、表示制御手段、拡大手段として機能させるメール表示プログラム１０２ａが含まれる。

ＲＡＭ１０３は、ＣＰＵ１０１がＤＰＦ１の制御に際し、必要に応じ種々のデータを一時記憶する作業用のメモリであり、具体的にはＳＤＲＡＭ（Synchronous dynamic random-access memory）等である。

メディアコントローラ１０４は、ＤＰＦ１の図示しない本体に設けられているメモリカードスロットに着脱自在に装着された記録メディア４０と、ＣＰＵ１０１との間におけるデータの入出力を制御する入出力インターフェースである。

記録メディア４０は、フラッシュメモリーからなる不揮発性のカード型の記憶媒体である。記録メディア４０には、デジタルカメラ等において撮影された写真の画像データや、受信したメールのデータ等が記憶されている。

操作キー群２０１は、電源スイッチ及び複数の操作スイッチから構成される。ＣＰＵ１０１は、操作キー群２０１における操作キー等の操作状態を定常的にスキャンすることにより、所定のキー操作によるユーザからの種々の指示を検知する。

ディスプレイ３０１は、バックライト付きのカラー液晶表示パネルと、ＣＰＵ１０１から供給される画像データや、文字データ等の表示データに応じてカラー液晶表示パネルを駆動し、画像データにより表される画像や、文字データにより表される文字をカラー液晶表示パネルに表示させる駆動回路とから構成される。

無線受信部５０２は、ＣＤＭＡ方式等の無線信号をアンテナ５０１によって受信する受信回路、受信した無線信号をデジタル信号に変換し、メールデータを復調する復調回路、端末認証処理を含む通信処理を行う通信制御回路等から構成される。無線受信部５０２は、復調したメールデータをＣＰＵ１０１へ供給する。

ＤＰＦ１には固有のメールアドレスが割り当てられており、無線受信部５０２は、ＤＰＦ１に割り当てられているメールアドレスを送信先とするメールのみを受信する。また、無線受信部５０２が復調してＣＰＵ１０１へ供給するメールデータは、ヘッダ部と本体部から構成されるデータであり、例えばＭＩＭＥ（Multipurpose Internet Mail Extension）規格に準拠したフォーマットのデータである。メールデータのヘッダ部には、相手先、発信者、件名等の文字データが記述され、本体部には、メールの本文を表す文字データや、添付画像を表すＪＰＥＧ（Joint Photographic Expert Group）方式等により圧縮された画像データが格納されている。

図２は、ＤＰＦ１が有する機能の要部を示す機能ブロック図である。ＤＰＦ１は、制御部１０と、操作部２０、表示部３０、メール受信部５０を有している。制御部１０は、顔検出部１１、顔切り出し部１２、拡大・縮小部１３、表示制御部１４、記憶部１５から構成される。

操作部２０は、ＤＰＦ１に対するユーザからの各種の指示を検知する機能部分であり、図１に示した操作キー群２０１により実現される。

メール受信部５０は、通信サービス事業者が運営する無線通信ネットワークを介してＤＰＦ１へ無線で送られてきたメールを受信し、受信したメールに記載されている相手先、発信者、件名、メールの本文を表す文字データや、添付画像を表す画像データを制御部１０へ供給する。メール受信部５０は、図１に示したアンテナ５０１、及び無線受信部５０２により実現される。

表示部３０は、記録メディア４０に画像データとして記憶されている画像（写真）や、メール受信部５０が新たに受信したメール、及び記録メディア４０にメールデータとして記憶されている受信済のメールの内容（相手先、発信者、件名、本文）や、添付画像を表示する。また、ユーザがＤＰＦ１を操作する際に必要とする各種の操作画面も表示する。表示部３０は、図１に示したディスプレイ３０１により実現される。

顔検出部１１は、ＤＰＦ１におけるメールの表示に際し、メールに添付画像が存在する場合、メールデータの本体部分に含まれる画像データ（以下、添付画像データという。）対象として顔検出処理を行う。なお、顔検出処理の対象となる実際の添付画像データは、制御部１０において復号化された画像データである。

顔検出処理は、添付画像において任意の人物の顔部分を検出する処理である。顔検出部１１による顔検出処理は、例えば二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて、一定範囲の位置関係にある目や鼻や口が存在する画像内の特定部分を探索する公知の技術を適用した処理である。顔検出部１１は、図１に示したＣＰＵ１０１により実現される。なお、顔検出部１１が顔検出処理に必要とするパターンデータ等の各種データはＲＯＭ１０２に記憶されている。

顔切り出し部１２は、顔検出部１１が検出した人物の顔部分を含む顔領域の画像を表す画像データを添付画像データから切り出す。ここで、顔領域とは、顔検出部１１によって検出された顔部分、及び顔部分に接する頭髪部分等からなる人体頭部に相当する領域である。顔切り出し部１２は、二値化や輪郭抽出等の画像認識技術を用いて添付画像から切り出すべき顔領域を特定する。顔切り出し部１２は、切り出した画像データを拡大・縮小部１３や表示制御部１４へ供給する。顔切り出し部１２も、図１に示したＣＰＵ１０１により実現される。

拡大・縮小部１３は、顔切り出し部１２が添付画像データから切り出した画像データに対し、必要に応じて拡大処理や縮小処理を施すことにより画像データの大きさ（画素数サイズ）を調整する。拡大・縮小部１３も、図１に示したＣＰＵ１０１により実現される。

表示制御部１４は、メール受信部５０が新たに受信したメールや、記録メディア４０にメールデータとして記憶している受信済のメールを表示部３０に表示させる。なお、以下の説明においては新たに受信したメールと受信済のメールとを総称して受信メールと呼ぶこととする。また、表示制御部１４は、後述するように受信メールに人物の顔が存在する画像が添付されている場合には、表示部３０の同一画面上に、顔切り出し部１２により添付画像データから切り出され、拡大・縮小部１３において必要に応じて拡大処理や縮小処理が施された顔画像データによって表される人物の顔をメール本文と共に表示させる。表示制御部１４も、図１に示したＣＰＵ１０１により実現される。

記憶部１５は、顔検出部１１における顔検出処理に先立ち制御部１０において復号化された添付画像データや、顔検出部１１が顔検出処理に際して使用する種々の作業用データ、顔切り出し部１２が添付画像データから切り出した顔画像データ等を一時的に記憶する。記憶部１５は、図１に示したＲＡＭ１０３により実現される。

次に、以上の構成からなるＤＰＦ１の動作について説明する。ＤＰＦ１は、無線通信ネットワークを介して送られるメールを随時受信し、受信したメールの内容を表示部３０において表示する。また、ＤＰＦ１は、操作キー群２０１の所定の操作キーの操作によって、ユーザから記録メディア４０にメールデータとして記憶しているいずれかの受信メールの表示が指示されると、ユーザから表示が指定された受信済のメールの内容を表示部３０において表示する。

そして、ＤＰＦ１においては、いずれかの受信メールを表示する際、制御部１０（ＣＰＵ１０１）がＲＯＭ１０２に記憶されているメール表示プログラム１０２ａに従い、図３に示したメール表示処理を実行する。

メール表示処理において制御部１０は、まず表示対象の受信メールに画像が添付されているか否かを判断する（ステップＳ１）。具体的に説明すると、制御部１０は、メールデータの本体部分に画像データが存在するか否かを確認することにより添付画像の有無を判断する。

そして、受信メールに画像が添付されていない場合には（ステップＳ１：ＮＯ）、表示制御部１４（ＣＰＵ１０１）が、メール本文を表示部３０（ディスプレイ３０１）の画面上に表示させる（ステップＳ２）。なお、以下の説明においては、便宜上、メールデータの本体部分に記述されている本文と、メールデータのヘッダ部分に記述されているメールの発信者、送信相手、タイトルとの双方を含めた文字情報をメール本文と呼ぶこととする。

表示制御部１４が表示部３０にメール本文を表示された後には、制御部１０が、所定のキー操作によるユーザからの表示終了指示を検出するまでの間（ステップＳ３：ＮＯ）、表示部３０におけるメール本文の表示状態を維持する。そして、制御部１０は、表示終了指示を検出した時点で（ステップＳ３：ＹＥＳ）、メール表示処理を終了する。

一方、制御部１０が、表示対象の受信メールに画像が添付されていると判断したときには（ステップＳ１：ＹＥＳ）、顔検出部１１（ＣＰＵ１０１）が添付画像データを対象として顔検出処理を行う（ステップＳ４）。なお、ステップＳ４の処理に際して顔検出部１１は、添付画像データにより表される添付画像内に存在する１又は複数の全ての人物の顔部分を検出する。

そして、ステップＳ４の処理において顔検出部１１が顔部分を１つも検出することができなかった場合には（ステップＳ５：ＮＯ）、表示制御部１４が、受信メールに画像が添付されていない場合と同様、メール本文のみを表示部３０の画面上に表示させる（ステップＳ２）。

逆に、ステップＳ４の処理において顔検出部１１が１又は複数の顔部分の検出に成功した場合には（ステップＳ５ＹＥＳ）、顔切り出し部１２（ＣＰＵ１０１）が、顔検出部１１が検出した１又は複数の顔部分に対応する顔領域の画像（以下、顔画像という。）を表す画像データを添付画像データから切り出す（ステップＳ６）。

図４（ｂ）に添付画像Ｇの例を示す。なお、図４（ｂ）は、後述する処理に際して、添付画像Ｇが縦横比を変更することなく全画面表示されたときの表示部３０の表示画面１００１を示した図であり、破線で示した領域Ｇａ，Ｇｂが便宜的に示した顔領域である。

次に、拡大・縮小部１３（ＣＰＵ１０１）が、顔切り出し部１２によって切り出された１又は複数の顔画像を表す画像データについて、拡大処理の必要があるか否か、及び縮小処理の必要があるか否かをそれぞれ判断する（ステップＳ７、ステップＳ９）。すなわち拡大・縮小部１３は、顔画像の横方向の画素サイズが予め決められている基準サイズ未満であれば拡大処理が必要であると判断し、顔画像の横方向の画素サイズが基準サイズを超えていれば縮小処理が必要であると判断する。つまり顔画像が予め決められている基準となる大きさよりも小さい場合には拡大処理が必要であると判断し、顔画像が予め決められている基準となる大きさよりも大きい場合には縮小処理が必要であると判断する。

そして、拡大・縮小部１３は、拡大処理が必要であると判断した場合には（ステップＳ７：ＹＥＳ）、顔画像を表す画像データを、横方向の画素サイズが基準サイズとなる大きさに拡大する（ステップＳ８）。また、拡大・縮小部１３は、縮小処理が必要であると判断した場合には（ステップＳ７：ＮＯ、ステップＳ９：ＹＥＳ）、顔画像を表す画像データを、横方向の画素サイズが基準サイズとなる大きさに縮小する（ステップＳ１０）。

しかる後、表示制御部１４（ＣＰＵ１０１）は、メール本文を顔画像付きで画面表示する（ステップＳ１１）。すなわち表示制御部１４は、顔切り出し部１２によって切り出された画像データ、または拡大・縮小部１３により必要に応じて拡大処理や縮小処理が施された後の画像データにより表される１又は複数の顔画像を、表示部３０において前記メールの本文と共に同一画面上に表示させる。

図４（ａ）は、ステップＳ１１の処理に伴い、メール本文が顔画像付きで表示されたときの表示部３０の表示画面１００１の一例を示した図である。図４（ａ）に示したように、表示制御部１４は、メール本文の表示に際し表示画面１００１の右側に縦長形状の画像表示領域１００１ａを確保し、画像表示領域１００１ａに顔画像Ａ，Ｂを表示させる。なお、表示制御部１４は、表示画面１００１の下辺には表示画面の種類を示す文字（「メール本文」）を表示させる。

図４（ａ）に示した画像表示領域１００１ａの横方向の画素サイズが、ステップＳ７、ステップＳ９の処理において拡大・縮小部１３が顔画像を表す画像データの拡大処理、又は縮小処理の要否を判断するときの基準サイズである。つまりステップＳ８、ステップＳ１０の処理において拡大・縮小部１３は、添付画像から切り出された顔領域Ｇａ，Ｇｂの画像である顔画像Ａ，Ｂを、画像表示領域１００１ａに表示し得る最大の大きさに拡大したり、縮小したりする。

また、表示制御部１４がメール本文を顔画像付きで画面表示した後には、制御部１０が、所定の操作キーの操作によるユーザからの画面切り替え指示の有無、及びメールの表示終了指示の有無を逐次確認する（ステップＳ１２、ステップＳ１５）。

そして、制御部１０が画面切り替え指示を検出したとき（ステップＳ１２；ＹＥＳ）、処理開始当初のように添付画像を表示中でなければ（ステップＳ１３：ＮＯ）、表示制御部１４が、顔画像付きのメール本文に替えて添付画像を表示部３０の画面に表示させる（ステップＳ１４）。すなわち表示制御部１４が、図４（ｂ）に示したように添付画像Ｇのみを表示部３０の表示画面１００１に表示させる。なお、表示制御部１４は、表示画面１００１の下辺には表示画面の種類を示す文字（「添付画像」）を表示させる。

以後、制御部１０がユーザからの画面切り替え指示を検出する毎に、表示制御部１４が、表示部３０の表示内容を顔画像付きのメール本文と添付画像とに切り替える。そして、制御部１０は、表示終了指示を検出した時点で（ステップＳ１５：ＹＥＳ）、メール表示処理を終了する。

以上のようにＤＰＦ１においては、受信メールを表示するとき、メールの送信者等の人物の顔が含まれる画像が受信メールに添付されている場合には、添付画像から顔画像（顔部分の画像）を切り出し、切り出した顔画像をメール本文と共に同一画面上に表示する。

そのため、例えば添付画像の全体を縮小してメール本文と共に同一画面上に表示する場合に比べると、添付画像に占める顔部分の割合が小さい場合であっても、メール本文と同時に表示される送信者等の顔が著しく小さくなるようなことがない。よって、ＤＰＦ１においては、受信メールに添付されている送信者の顔写真をメール本文と同一画面上に表示する際における、送信者の顔の視認性を向上させることができる。その結果、送信者の顔の表情と、顔の表情から醸し出される写真の雰囲気がわかり易くなる。

また、ＤＰＦ１は、メール本文の表示に際し、顔画像の横方向の画素サイズが、図４（ａ）に示した画像表示領域１００１ａの画素サイズ（基準サイズ）未満である場合、つまり顔画像の大きさが画像表示領域１００１ａよりも小さい場合には、顔画像を事前に拡大して表示する。

そのため、例えば添付画像のサイズが表示部３０の表示面サイズに比べて小さいために、添付画像に占める顔部分の割合は大きいにも拘わらず、メール本文と同時に表示される送信者等の顔が著しく小さくなってしまうことがない。よって、ＤＰＦ１においては、受信メールに添付されている送信者の顔写真をメール本文と同一画面上に表示する際における、送信者の顔の視認性を確実に向上させることができる。

（変形等）
ここで、以上説明したＤＰＦ１の構成は以下のように変更しても構わない。すなわち本実施形態では、図４（ａ）に示したように、表示制御部１４が、添付画像から切り出した顔画像Ａ，Ｂを表示画面１００１の右側に確保した縦長形状の画像表示領域１００１ａに表示させる構成について説明した。しかし、顔画像Ａ，Ｂを表示する画像表示領域１００１ａの形状や、表示画面１００１内での位置は適宜変更することができる。

さらに、図示しないが、例えば表示制御部１４が、添付画像から切り出した１又は複数の顔画像を半透明状態で表示画面１００１に表示させ、メール本文を１又は複数の顔画像に重ねた状態で表示画面１００１に表示させる構成としてもよい。１又は複数の顔画像を半透明状態で表示画面１００１に表示させる構成においては、１又は複数の顔画像を表示画面１００１に全画面表示させればよい。

１又は複数の顔画像を半透明状態で表示させる構成においても、添付画像に占める顔部分の割合が小さい場合であっても、メール本文と同時に表示される送信者等の顔が著しく小さくなるようなことがない。よって、受信メールに添付されている送信者の顔写真をメール本文と同一画面上に表示する際における、送信者の顔の視認性を向上させることができる。

また、本実施形態においては、添付画像から切り出した顔画像を、その大きさが画像表示領域１００１ａよりも小さいことを条件として拡大する構成について説明した。しかし、本発明の実施に際しては、添付画像から切り出した顔画像は、その大きさに関係なく無条件に拡大してメール本文と共に表示するようにしてもよい。

また、本発明の実施に際しては、メール本文を顔画像付きで画面表示するとき、添付画像から切り出した１又は複数の顔画像に、顔画像データに各種の画調を確保するための画像変換処理を事前に施す構成を採用しても構わない。なお、画調とは、画像から感じることができる印象に基づいて規定される絵画的な特徴であり、日本画調、西洋画調、水彩画調、水墨画調、ペン画調、ゴッホ調など、様々に分類することができるものである。また、顔画像データに各種の画調を確保するための画像変換処理には、例えば特開平１０−０１１５６９号公報及び特開２００６−０３１６８８号公報に開示されている技術を適用すればよい。

また、本実施形態のＤＰＦ１においては、表示制御部１４が顔画像付きのメール本文を表示させる際、例えば図５に示したようにメールの本文を囲むとともに顔画像Ａ，Ｂの一方を話者に見立てた形態を有する吹き出しＣを、表示部３０の表示画面１００１に表示させる構成を採用することもできる。

なお、吹き出しＣの具体的に形状等については、任意の形状を使用することができる。また、図５には、吹き出しＣとして、画像表示領域１００１ａで下に位置する顔画像Ｂを話者に見立てた形態のものを示した。しかし、顔画像が複数の場合においては、吹き出しの形態は、任意の顔画像を話者に見立てた形態としてもよいし、また、複数の顔画像を話者に見立てた形態としても構わない。

また、本実施形態においては、本発明をＤＰＦに採用した場合について説明したが、本発明は、受信メールを表示する機能を備えたものであれば、ＤＰＦ以外の他の装置にも適用することができる。他の装置としては、例えば文字や画像を表示する表示画面として比較的小さな表示画面を有する携帯電話端末等の種々の携帯情報端末である。

１ ＤＰＦ
１０ 制御部
１１ 画像設定部
１１ 顔検出部
１２ 顔切り出し部
１３ 画像拡大縮小部
１４ 表示制御部
１５ 記憶部
２０ 操作部
３０ 表示部
４０ 記録メディア
５０ メール受信部
１０１ ＣＰＵ
１０２ ＲＯＭ
１０２ａ メール表示プログラム
１０３ ＲＡＭ
１０４ メディアコントローラ
２０１ 操作キー群
３０１ ディスプレイ
５０１ アンテナ
５０２ 無線受信部
１００１ 表示画面

Claims (4)

1. メールを受信する受信手段と、
   前記受信手段により受信されたメールを表示する表示手段と、
   前記受信手段により受信されたメールの添付画像において人物の顔部分を検出する顔検出手段と、
   前記顔検出手段により検出された人物の顔部分を含む顔領域の画像を前記添付画像から切り出す切り出し手段と、
   前記切り出し手段により添付画像から切り出された顔領域の画像を前記メールの本文と共に前記表示手段に表示させる表示制御手段と
   を備えたことを特徴とするメール受信装置。
2. 前記顔領域の画像を拡大する拡大手段をさらに備え、
   前記表示制御手段は、
   前記拡大手段により拡大された後の顔領域の画像を、前記画像表示領域に配置した状態で前記メールの本文と共に前記表示手段に表示させる
   ことを特徴とする請求項１記載のメール受信装置。
3. 前記表示制御手段は、
   前記メールの本文を囲むとともに顔領域の画像を話者に見立てた形態を有する吹き出しを前記表示手段に表示させる
   ことを特徴とする請求項１又は２記載のメール受信装置。
4. コンピュータを、
   受信手段により受信されたメールの添付画像において人物の顔部分を検出する顔検出手段と、
   前記顔検出手段により検出された人物の顔部分を含む顔領域の画像を前記添付画像から切り出す切り出し手段と、
   前記切り出し手段により添付画像から切り出された顔領域の画像を前記メールの本文と共に表示手段に表示させる表示制御手段と
   して機能させることを特徴とするプログラム。

Images