JP2005267146A - 画像認識機能を利用した電子メール作成方法および装置 - Google Patents

Abstract

【課題】
送信先のメールアドレスが多い場合でも簡単に入力可能な電子メール作成方法および装置を提供する。
【解決手段】
複数の電子メールアドレスと当該電子メールアドレスにそれぞれ対応づけられた複数の被写体画像を格納したアドレス帳メモリ１０５を有し、顔画像検索部１０４は、集合写真画像１０１に写っているの複数の被写体の各々が含まれる被写体画像部分とアドレス帳メモリ１０５に格納されている複数の被写体画像とを比較し、一致する被写体画像が存在するか否かを判定する。一致判定された被写体画像が存在する場合には、当該一致判定された被写体画像に対応づけられた電子メールアドレスを読み出し、当該読み出された電子メールアドレスを宛先とした送信電子メールを作成する。
【選択図】 図１

Description

本発明は電子メール通信機能および画像認識機能を有する情報処理装置に係り、特に画像認識機能を利用して電子メールを作成する方法および装置に関する。

近年、電子メール機能やカメラ機能などを搭載した携帯電話端末が広く普及しており、単なる電話の枠を超えた携帯情報通信端末として進化を続けている。特に、カメラ付き携帯電話端末は、いつでも撮影でき、撮影した画像を電子メール（以下、単にメールという。）に添付して簡単に送信できるために、最近急速に普及しつつある。

このカメラ付き携帯電話端末の撮像機能を利用した様々な応用も多く提案されている。たとえば、特開２００１−２８２８２５号公報（特許文献１）に開示された情報検索方法では、携帯端末で撮像した画像データをメールに添付してサーバへ送信し、サーバは添付された画像をキーとしてデータベースを検索し、その画像キーにマッチした標準パターンに関連する情報を抽出して携帯端末へ返信する。

特開２００１−２８２８２５号公報（明細書段落００１４〜００１８参照）

しかしながら、特許文献１に開示された方法では、画像を添付したメールをメールサーバへ送信するだけであり、複数の宛先へ送信することは想定されていない。たとえば、カメラ付き携帯電話端末で記念写真として複数の人物を撮像し、その写真に写っている各人へ画像を添付したメールを送信したい場合がある。この場合、従来では、画像を添付した新規メールに各人のメールアドレスを一々入力する必要があり、人数が多い場合にはメール送信の操作が非常に面倒であった。また、ユーザが写真を見ながら送信先の相手を特定し、そのメールアドレスを調べて入力するために、送信漏れなどが発生しやすいという問題もあった。

本発明の目的は、送信先のメールアドレスが多い場合でも簡単に入力可能な電子メール作成方法および装置を提供することにある。

本発明の他の目的は、複数の人物が写っている画像を添付した電子メールに各人のメールアドレスを簡単に入力することができる電子メール作成方法および装置を提供することにある。

本発明による電子メール作成装置は、複数の被写体を撮像した集合画像を格納する第１メモリと、複数の電子メールアドレスと当該電子メールアドレスにそれぞれ対応づけられた複数の被写体画像を格納した第２メモリと、前記集合画像の前記複数の被写体の各々が含まれる被写体画像部分と前記第２メモリに格納されている前記複数の被写体画像とを比較し、前記第２メモリ内に一致する被写体画像が存在するか否かを判定する検索手段と、一致判定された被写体画像が存在する場合には、当該一致判定された被写体画像に対応づけられた電子メールアドレスを読み出し、当該読み出された電子メールアドレスを宛先とした送信電子メールを作成する電子メール作成手段と、を有することを特徴とする。

さらに、前記集合画像に含まれる複数の被写体の少なくとも１つを含む部分画像を任意に選択する画像処理手段を有し、前記検索手段は、前記部分画像から各被写体画像部分を取り出して前記第２メモリに格納されている前記複数の被写体画像と比較することを特徴とする。

望ましくは、前記検索手段が前記集合画像に前記第２メモリ内の複数の被写体画像とそれぞれ一致する複数の被写体画像部分が存在すると判定した場合、前記電子メール作成手段は、当該一致判定された複数の被写体画像部分にそれぞれ対応づけられた複数の電子メールアドレスからなるメーリングリストを作成し、前記第２メモリに登録する。前記メーリングリストは、前記集合画像と対応づけられて前記第２メモリに登録されることがさらに望ましい。さらに、前記検索手段が前記集合画像に前記第２メモリ内の複数の被写体画像とそれぞれ一致する複数の被写体画像部分が存在すると判定した場合には、前記電子メール作成手段は、当該一致判定された複数の被写体画像部分にそれぞれ対応づけられた複数の電子メールアドレスを含むメーリングリストを前記第２メモリから読み出し、当該メーリングリストに含まれるアドレスを宛先とした送信電子メールを作成することができる。

本発明による携帯通信端末は、上述した電子メール作成装置を装備したことを特徴とする。

本発明によれば、撮像画像に写っている複数の人物にメールを送信する場合、集合画像内にある顔をそれぞれ認識し、アドレスを格納した第２メモリから対応するメールアドレスを読み出すことができるために、限りなく少ない操作で多数の送信相手にメールを送信することが可能となる。また、画像認識により複数の宛先アドレスを自動的に読み出すことができるために、誤送信を有効に防止できる。

図１は本発明の一実施形態による電子メール作成装置の機能的構成を示すブロック図である。本実施形態による電子メール作成装置は、集合写真画像１０１を格納する画像メモリ、画像処理部１０２、画像解析部１０３、顔画像検索部１０４、アドレス帳メモリ１０５、メール作成部１０６、および、全体の動作を制御する制御部（図示せず）を機能的な構成要素として含む。

集合写真画像１０１には複数の人物が写っており、カメラで撮像されたばかりの画像データでもよいし、画像メモリに格納された複数の画像から選択された画像データであってもよい。ただし、集合写真画像１０１はスチル写真だけでなく、動画の１フレームであってもよい。

画像処理部１０２は集合写真画像１０１のデータを入力し、たとえばユーザによって一人あるいは複数人の顔部分が選択されると、選択された画像部分のデータを画像解析部１０３へ出力する。顔部分の選択は、ユーザがモニタ画面を見ながらキーあるいはポインティングデバイスを操作することで行うことができる。

画像解析部１０３は、画像処理部１０２から出力された顔部分の画像データの解析を行う。たとえば、その部分画像に含まれる顔の輪郭、目、眉、鼻、口、頬などの特徴点データを抽出し、解析結果として顔画像検索部１０４へ出力する。なお、画像解析部１０３が集合写真画像１０１から各人物の顔の特徴点データを順次抽出してもよい。

（メールアドレス自動取得）
顔画像検索部１０４は、画像解析部１０３から受け取った特徴点データをキーとして、アドレス帳メモリ１０５に登録されている顔画像データを検索し、一致する顔画像が存在すれば、その顔画像に対応するメールアドレスをメール作成部１０６へ出力する。画像解析部１０３から受け取った特徴点データが複数の顔を含む場合は、全ての顔について検索し、一致する顔画像に対応するメールアドレスを出力する。

アドレス帳メモリ１０５には、複数の人物の名前やメールアドレスと共に顔画像データをそれぞれ検索可能に格納したアドレス帳１０５．１が設けられているが、後述するように集合写真画像の各人物のメールアドレスを含むメーリングリスト１０５．２を登録することもできる。

なお、アドレス帳１０５．１にはさらに画像送受信可否を示すフラグを設けて、登録された人物毎に所定フォーマットの画像送信が可能な否かの条件を設定してもよい。この場合、フラグが画像送信不可を示していると、顔検索によって一致してもメールアドレスを取得することはできない。

顔画像検索部１０４がアドレス帳メモリ１０５に登録されている顔画像と一致した人物の顔を特定すると、集合写真画像１０１に写っている対応する人物の顔部分に対して、選択マーキングを一括してあるいは順次行うようにしてもよい。これにより、ユーザは、モニタ画面を見ながら、メールアドレスを取得できた人物を知ることができ、送信不要であれば選択マーキングを解除することもできる。

選択マーキングされたすべての人物へ集合写真画像１０１を送信する場合には、ユーザはメール作成の指示を行う。メール作成指示により、メール作成部１０６はアドレス帳メモリ１０５から選択マーキングされた人物のメールアドレスを取得し、それらメールアドレスを宛先とし、集合写真画像１０１を添付ファイルとする電子メールを作成する。その際、顔画像検索で一致しなかった人物（マーキングされていない人物）にも送信する場合には、当該人物のメールアドレスを直接追記すればよい。こうして作成された集合写真画像１０１が添付されたメールは、ユーザの送信指示により指定された宛先へ送信される。

なお、ここでは、集合写真画像１０１を送信する場合を説明したが、上述したように集合写真画像１０１を解析することでアドレス帳メモリ１０５から宛先のメールアドレスを自動取得し、任意の送信メールを作成することも可能である。

また、メールに添付するのはスチル写真画像とは限らない。一定時間の動画像の１フレームを集合写真画像１０１として用いた場合には、当該動画像を添付ファイルとしてメール送信することも可能である。

（メーリングリスト登録）
上述した顔画像検索部１０４によって集合写真画像１０１から複数の人物のメールアドレスが取得された場合、当該集合写真画像１０１と取得された複数のメールアドレスとを対応づけてメーリングリスト１０５．２としてアドレス帳メモリ１０５に登録することができる。メーリングリストを登録しておけば、集合写真画像１０１を選択するだけで、それに関連する全ての宛先メールアドレスを一度に読み出すことができ、メール作成がより効率的になる。

また、集合写真画像１０１と対応づけられたメーリングリスト１０５．２に、当該集合写真画像１０１では一致検索できなかった人物あるいは写っていないが関連のある人物のメールアドレスを登録しておけば、写真からそれに関連する人物を容易に検索することが可能となり、後日の検索にきわめて便利になる。

さらに、送信する集合写真画像１０１やメーリングリストに対応づけられた画像に、その画像を送信しない人物あるいはメーリングリストに登録されていない人物が含まれている場合には、ユーザ操作により、当該画像部分およびその近傍の色調を変えるなどの編集／加工を行って送信あるいはアドレス帳メモリ１０５に登録してもよい。

図２は本発明の一実施例による携帯通信端末の構成を示すブロック図である。本実施例による携帯通信端末はデジタルカメラ２０１を搭載し、一般的なユーザインタフェース２０２を有する。ここでは、ユーザインタフェース２０２として、受話器としてのスピーカ、送話器としてのマイクロフォン、必要な情報や画像を表示する液晶表示部（ＬＣＤ）、および、メニュー選択、アドレス入力、発呼／着呼操作などの各種操作を行うためのキーパッドが含まれている。

携帯通信端末にはＣＰＵ等のプログラム制御プロセッサ２０３が設けられ、プログラムメモリ２０８に格納されているプログラムを実行することにより、携帯通信やメール作成等の各種機能を実現する。本実施例では、プログラムメモリ２０８に顔画像検索プログラムおよび電子メール作成プログラムが格納されており、これらを実行することで、カメラ２０１、ユーザインタフェース２０２、画像処理部２０４、画像解析部２０５、画像メモリ２０６およびアドレス帳メモリ２０７を用いて、上述したメール作成機能が実現される。また携帯通信機能はベースバンド処理部２０９および無線システム２１０を用いて実現される。

次に、一例として、カメラ２０１で撮像した集合写真を添付し、関連する人物へ送信するためのメール作成方法について説明する。カメラ２０１で撮像された集合写真のデータが画像メモリ２０６に格納される。その後、ユーザのキー操作により顔画像検索プログラムが起動されると、顔画像検索プロセスは画像メモリ２０６から集合写真画像を読み出し、画像処理部１０２を通して液晶表示部に表示させる。

続いて、ユーザは、液晶表示部の集合写真画像を見ながら、キー操作により集合写真画像のなかで一人あるいは複数の人物の顔部分を指定する。指定された部分の画像が画像解析部２０５によって解析され、その部分画像に含まれる顔の輪郭、目、眉、鼻、口、頬などの画像解析データが生成される。

続いて、顔画像検索プロセスは、画像解析部２０５から受け取った画像解析データをキーとして、アドレス帳メモリ２０７に登録されている顔画像データを検索する。画像解析データと一致する顔画像がアドレス帳メモリ２０７に存在すれば、その顔画像に対応するメールアドレスを読み出す。

ユーザが指定した部分に存在する全ての顔について顔認識検索が終了し、一致した顔画像についてメールアドレスが読み出されると、顔画像検索プロセスは画像処理部２０４を制御して、液晶表示部に表示されている集合写真画像のうちメールアドレスの読み出しに成功した人物の顔画像に選択マーキングを表示する。

集合写真画像の送信先として選択マーキングされたメールアドレスでよければ、ユーザはメール作成プログラムを起動してメール作成プロセスを生成する。メール作成プロセスはアドレス帳メモリ２０７から選択マーキングされた人物のメールアドレスを取得し、それらメールアドレスを宛先とし、集合写真画像を添付ファイルとする電子メールを作成する。その際、顔画像検索で一致しなかった人物（マーキングされていない人物）にも送信する場合には、当該人物のメールアドレスを直接メールの宛先欄に追記する。

こうして集合写真画像が添付されたメールは、ユーザの送信指示によりベースバンド処理部２０９に出力され、符号化やスペクトラム拡散およびアナログ変換等の処理を経て無線システム２１０へ出力される。無線システム２１０は変調、周波数変換により無線送信信号を生成し、最寄りの無線基地局へ所定の無線チャネルを通して送信される。

図３は本実施例による携帯通信端末を用いて画像添付メールを複数の宛先へ送信する場合のネットワークの一例を示す図である。ここでは、移動体通信ネットワーク３０１とネットワーク３０２とからなるものとし、移動体通信ネットワーク３０１に上述した発信元の携帯通信端末３０４と１つの宛先である携帯通信端末３０７が接続されており、ネットワーク３０２にメールサーバ３０３と宛先であるユーザ端末３０５および３０６が接続されているものとする。

発信元の携帯通信端末３０４から送信された上記集合写真画像が添付されたメールは、移動体通信ネットワーク３０１およびネットワーク３０２を通してメールサーバ３０３へ転送され、サーバ３０３から宛先であるユーザ端末３０５および３０６と携帯通信端末３０７とへそれぞれ送信される。受信側のユーザ端末および携帯通信端末では、受信メールに添付されている集合写真画像を表示部に表示させることができる。

本発明の一実施形態による電子メール作成装置の機能的構成を示すブロック図である。 本発明の一実施例による携帯通信端末の構成を示すブロック図である。 本実施例による携帯通信端末を用いて画像添付メールを複数の宛先へ送信する場合のネットワークの一例を示す図である。

符号の説明

１０１ 集合写真画像
１０２ 画像処理部
１０３ 画像解析部
１０４ 顔画像検索部
１０５ アドレス帳メモリ
１０６ メール作成部

Claims (14)

1. 画像認識機能を利用した電子メール作成装置において、
   複数の被写体を撮像した集合画像を格納する第１メモリと、
   複数の電子メールアドレスと当該電子メールアドレスにそれぞれ対応づけられた複数の被写体画像を格納した第２メモリと、
   前記集合画像の前記複数の被写体の各々が含まれる被写体画像部分と前記第２メモリに格納されている前記複数の被写体画像とを比較し、前記第２メモリ内に一致する被写体画像が存在するか否かを判定する検索手段と、
   一致判定された被写体画像が存在する場合には、当該一致判定された被写体画像に対応づけられた電子メールアドレスを読み出し、当該読み出された電子メールアドレスを宛先とした送信電子メールを作成する電子メール作成手段と、
   を有することを特徴とする電子メール作成装置。
2. さらに、前記集合画像に含まれる複数の被写体の少なくとも１つを含む部分画像を任意に選択する画像処理手段を有し、
   前記検索手段は、前記部分画像から各被写体画像部分を取り出して前記第２メモリに格納されている前記複数の被写体画像と比較することを特徴とする請求項１に記載の電子メール作成装置。
3. 前記検索手段は、各被写体画像部分を解析する画像解析手段を有し、当該画像解析手段の解析結果を用いて前記第２メモリに格納されている前記複数の被写体画像を検索することを特徴とする請求項１または２に記載の電子メール作成装置。
4. 前記電子メール作成手段は、前記送信電子メールに前記集合画像を添付することを特徴とする請求項１または２に記載の電子メール作成装置。
5. 前記検索手段が前記集合画像に前記第２メモリ内の複数の被写体画像とそれぞれ一致する複数の被写体画像部分が存在すると判定した場合には、前記電子メール作成手段は、当該一致判定された複数の被写体画像部分にそれぞれ対応づけられた複数の電子メールアドレスからなるメーリングリストを作成し、前記第２メモリに登録することを特徴とする請求項１または２に記載の電子メール作成装置。
6. 前記メーリングリストは、前記集合画像と対応づけられて前記第２メモリに登録されることを特徴とする請求項５に記載の電子メール作成装置。
7. 前記検索手段が前記集合画像に前記第２メモリ内の複数の被写体画像とそれぞれ一致する複数の被写体画像部分が存在すると判定した場合には、前記電子メール作成手段は、当該一致判定された複数の被写体画像部分にそれぞれ対応づけられた複数の電子メールアドレスを含むメーリングリストを前記第２メモリから読み出し、当該メーリングリストに含まれるアドレスを宛先とした送信電子メールを作成することを特徴とする請求項５に記載の電子メール作成装置。
8. 前記検索手段が前記集合画像に前記第２メモリ内の被写体画像と一致する被写体画像部分と不一致の被写体画像部分とが存在すると判定した場合には、前記画像処理手段は、さらに、一致した被写体画像部分と不一致の被写体画像部分とを視覚的に異なるように加工することを特徴とする請求項２に記載の電子メール作成装置。
9. 請求項１に記載の電子メール作成装置を有する携帯通信端末。
10. 通信機能および画像認識機能を有する携帯通信端末において、
    画像を撮像する撮像手段と、
    複数の被写体を撮像した集合画像を格納する第１メモリと、
    複数の電子メールアドレスと当該電子メールアドレスにそれぞれ対応づけられた複数の被写体画像を格納した第２メモリと、
    前記集合画像に含まれる複数の被写体の少なくとも１つを含む部分画像を任意に選択する選択手段と、
    前記部分画像から前記複数の被写体の被写体画像部分を取り出し、前記被写体画像部分と前記第２メモリに格納されている前記複数の被写体画像とを比較し、前記第２メモリ内に一致する被写体画像が存在するか否かを判定する検索手段と、
    一致判定された被写体画像が存在する場合には、当該一致判定された被写体画像に対応づけられた電子メールアドレスを読み出し、当該読み出された電子メールアドレスを宛先とした送信電子メールを作成する電子メール作成手段と、
    を有することを特徴とする携帯通信端末。
11. 画像認識機能を利用した電子メール作成方法において、
    複数の被写体を撮像した集合画像を格納し、
    複数の電子メールアドレスと当該電子メールアドレスにそれぞれ対応づけられた複数の被写体画像を格納し、
    前記集合画像の前記複数の被写体の各々が含まれる被写体画像部分と前記第２メモリに格納されている前記複数の被写体画像とを比較することで、前記第２メモリ内に一致する被写体画像が存在するか否かを判定し、
    一致判定された被写体画像が存在する場合には、当該一致判定された被写体画像に対応づけられた電子メールアドレスを読み出し、当該読み出された電子メールアドレスを宛先とした送信電子メールを作成する、
    ことを特徴とする電子メール作成方法。
12. 前記集合画像に複数の被写体画像とそれぞれ一致する複数の被写体画像部分が存在すると判定された場合には、当該一致判定された複数の被写体画像部分にそれぞれ対応づけられた複数の電子メールアドレスからなるメーリングリストを作成し登録することを特徴とする請求項１１に記載の電子メール作成方法。
13. 前記集合画像に複数の被写体画像とそれぞれ一致する複数の被写体画像部分が存在すると判定された場合には、当該一致判定された複数の被写体画像部分にそれぞれ対応づけられた複数の電子メールアドレスを含むメーリングリストを読み出し、当該メーリングリストに含まれるアドレスを宛先とした送信電子メールを作成することを特徴とする請求項１２に記載の電子メール作成方法。
14. 画像認識機能を利用した電子メール作成をコンピュータに実行させるためのプログラムにおいて、
    複数の被写体を撮像した集合画像を格納するステップと、
    複数の電子メールアドレスと当該電子メールアドレスにそれぞれ対応づけられた複数の被写体画像を格納するステップと、
    前記集合画像の前記複数の被写体の各々が含まれる被写体画像部分と前記第２メモリに格納されている前記複数の被写体画像とを比較することで、前記第２メモリ内に一致する被写体画像が存在するか否かを判定するステップと、
    一致判定された被写体画像が存在する場合には、当該一致判定された被写体画像に対応づけられた電子メールアドレスを読み出し、当該読み出された電子メールアドレスを宛先とした送信電子メールを作成するステップと、
    を有することを特徴とするプログラム。

Images