JP2009253931A - 電子データ編集装置、電子データ編集方法及びプログラム - Google Patents

Abstract

【課題】 手入力に時間のかかるデータを編集中の電子データに挿入する際の編集効率を向上させる。
【解決手段】 編集処理の対象となる電子データに対応させて、前記編集処理で利用する画像データを特定する特定手段（１４）と、前記特定された画像データからヒトの顔を抽出する抽出手段（１５）と、前記抽出した顔の表情を識別して、複数のグループに分類される表情種別のいずれに該当するかを判定する判定手段（１７）と、前記判定手段により判定された表情種別に基づいて、電子データに挿入可能な挿入データを選択する選択手段（１９）と、前記選択手段によって選択された挿入データを、前記編集処理の対象となる電子データに挿入する挿入手段（１４）とを備える。
【選択図】 図１

Description

本発明は、メール作成機能付き携帯端末などの電子データの編集（作成）機能を備えた電子データ編集装置、電子データ編集方法及びプログラムに関する。

たとえば、携帯電話機等のメール作成機能付き携帯端末は、テキストデータ等のメールデータ（文章データ）を任意に編集（作成）できるので、電子データの編集（作成）機能を備えた電子データ編集装置の一例である。以下、このメール作成機能付き携帯端末を「携帯電話機」とすると、この携帯電話機で作成可能なメールは、テキスト文字主体のメールまたは絵文字混在のメールであり、前者の無味乾燥なテキストメールに対して、絵文字混在メールは様々な絵文字（予め用意されたハートマークなどの多種多様なグラフィック記号のこと）を使用することができ、文字だけでは伝わりにくい感情を込めることができる。

しかし、絵文字混在メールは、いちいちリストから適当な絵文字を選択して、その絵文字をメール中に挿入しなければならず、この作業を手動で行うことから、面倒を否めなかった。

そこで、メールの作成時に、ユーザの声をマイクで拾って感情を判断し、その感情から特定された絵文字を自動挿入するという技術が知られている（たとえば、特許文献１参照。）。

特開２００６−２７７５６７号公報

しかしながら、上記の従来技術にあっては、絵文字などのように、手入力に時間がかかるデータを電子メールなどの編集データ（電子データ）中に自動挿入することが可能であるが、感情の判断に一定量の音声データが必要で、音声データの収集から感情判断までに相応の時間を要するため、感情を速やかに判断できず、電子データを編集する際の操作性を悪くするという問題点がある。
また、携帯電話機で絵文字を入力する場合に限らず、デジタルカメラで撮影した画像データにユーザが任意に入力した文字列からなる名称を付加するような場合にも操作性の問題点がある。つまり、通常のデジタルカメラでは、パーソナルコンピュータのような入力し易いキーボードや高度な入力支援機能を備えておらず、カーソルキーなどにより文字を入力する必要があるので、絵文字に限らず、文章そのものを入力するのも面倒であった。

そこで、本発明の目的は、手入力に時間のかかるデータを編集中の電子データに挿入する際の編集効率を向上させることのできる電子データ編集装置、電子データ編集方法及びプログラムを提供することにある。

請求項１記載の発明は、編集処理の対象となる電子データに対応させて、前記編集処理で利用する画像データを特定する特定手段と、前記特定された画像データからヒトの顔を抽出する抽出手段と、前記抽出した顔の表情を識別して、複数のグループに分類される表情種別のいずれに該当するかを判定する判定手段と、前記判定手段により判定された表情種別に基づいて、電子データに挿入可能な挿入データを選択する選択手段と、前記選択手段によって選択された挿入データを、前記編集処理の対象となる電子データに挿入する挿入手段とを備えたことを特徴とする電子データ編集装置である。
請求項２記載の発明は、被写体を撮像して画像データを取得する撮像手段を更に備え、前記特定手段は、前記電子データの編集時に前記撮像手段で撮像された画像データを、前記編集処理で利用する画像データとして特定することを特徴とする請求項１に記載の電子データ編集装置である。
請求項３記載の発明は、電子メールを送信する送信手段と、前記送信手段により送信される電子メールに画像データを添付する画像添付手段と、を更に備え、前記電子データは、前記送信手段により送信される電子メールであり、前記特定手段は、前記画像添付手段により添付される画像データを、前記編集処理で利用する画像データとして特定することを特徴とする請求項１または請求項３いずれかに記載の電子データ編集装置である。
請求項４記載の発明は、前記挿入手段によって前記挿入データを挿入する際の前記電子データ内の挿入位置を指定する指定手段を更に備え、前記挿入手段は、前記指定手段により指定された挿入位置に前記挿入データを挿入することを特徴とする請求項１乃至請求項３いずれかに記載の電子データ編集装置である。
請求項５記載の発明は、前記指定手段は、前記電子データに含まれる文章データ内の挿入位置を指定し、前記選択手段は、文章データで構成される挿入データを選択し、前記挿入手段は、前記指定手段により指定された文章データ内の挿入位置に前記選択手段により選択された挿入データを挿入することを特徴とする請求項４に記載の電子データ編集装置である。
請求項６記載の発明は、前記判定手段は、人の感情に対応させてグループ分類される表情種別を判定することを特徴とする請求項３に記載の電子データ編集装置である。
請求項７記載の発明は、前記画像データは、前記画像添付手段により電子メールに添付される画像データであり、前記選択手段は、前記判定手段により判定された表情種別に基づいて感情を表す画像データである感情マークを前記挿入データとして選択し、前記選択手段によって選択された感情マークを、該画像データの指定位置に合成する合成手段をさらに備えたことを特徴とする請求項６に記載の電子データ編集装置である。
請求項８記載の発明は、前記特定手段により特定される画像データは、前記撮像手段により連続的に撮像されるモニタ表示用のスルー画像データまたは前記撮像手段により同一の被写体を数回にわたって撮像した複数の静止画像データであり、前記抽出手段は、前記特定手段により特定される複数の画像データの各々からヒトの顔を抽出し、前記判定手段は、前記各々の画像データから抽出した顔の表情を識別して各々の顔の感情を逐次に判定し、前記選択手段は、前記判定手段の判定結果に基づいて得られた各々の顔に対応する挿入データをユーザが選択し得るように表示し、前記挿入手段は、ユーザが選択した挿入データを前記編集中の電子データに挿入することを特徴とする請求項２に記載の電子データ編集装置である。
請求項９記載の発明は、予め前記判定手段により判定可能な複数の表情種別と前記選択手段により選択可能な複数の挿入データとを関連付けして記憶する記憶手段と、前記記憶手段を参照して前記判定手段により判定された表情種別に対応する挿入データを読み出す読み出し手段と、を更に備え、前記挿入手段は、前記読み出し手段によって読み出された挿入データを、前記編集中の電子データに挿入することを特徴とする請求項１に記載の電子データ編集装置である。
請求項１０記載の発明は、前記挿入データは文章データであり、前記表情種別に対応する文章データを任意に指定して前記記憶手段に記憶させる登録手段を更に備えたことを特徴とする請求項９に記載の電子データ編集装置である。
請求項１１記載の発明は、前記登録手段は、登録を行う表情種別を任意に指定可能であることを特徴とする請求項９に記載の電子データ編集装置である。
請求項１２記載の発明は、前記登録手段は、登録すべき表情種別を指定する際に、前記撮像手段により撮像が行われた場合は、この撮像により得られた画像データに対応して、前記抽出手段および前記判定手段により判定される表情種別を登録すべき表情種別であると特定することを特徴とする請求項１１に記載の電子データ編集装置である。
請求項１３記載の発明は、前記判定手段は、予め感情情報登録手段に登録された個人の感情情報を参照して、前記抽出手段によって抽出された顔の表情を識別して感情を判定することを特徴とする請求項１または請求項９いずれかに記載の電子データ編集装置である。
請求項１４記載の発明は、編集処理の対象となる電子データに対応させて、前記編集処理で利用する画像データを特定する特定工程と、前記特定された画像データからヒトの顔を抽出する抽出工程と、前記抽出した顔の表情を識別して、複数のグループに分類される表情種別のいずれに該当するかを判定する判定工程と、前記判定工程により判定された表情種別に基づいて、電子データに挿入可能な挿入データを選択する選択工程と、前記選択工程によって選択された挿入データを、前記編集処理の対象となる電子データに挿入する挿入工程とを含むことを特徴とする電子データ編集方法である。
請求項１５記載の発明は、電子データ編集装置のコンピュータを、編集処理の対象となる電子データに対応させて、前記編集処理で利用する画像データを特定する特定手段、前記特定された画像データからヒトの顔を抽出する抽出手段、前記抽出した顔の表情を識別して、複数のグループに分類される表情種別のいずれに該当するかを判定する判定手段、前記判定手段により判定された表情種別に基づいて、電子データに挿入可能な挿入データを選択する選択手段、及び、前記選択手段によって選択された挿入データを、前記編集処理の対象となる電子データに挿入する挿入手段として機能させることを特徴とするプログラム。

本発明によれば、手入力に時間のかかるデータを編集中の電子データに挿入する際の編集効率を向上させることのできる電子データ編集装置、電子データ編集方法及びプログラムを提供することができる。

以下、本発明の実施形態をカメラ付き携帯電話機を例にして、図面を参照しながら説明する。

まず、本実施形態における用語の定義を行う。メール又はメールデータとは、テキストデータ等の文字主体のものを指すことはもちろんのこと、文字情報に加えて書式情報等の付加情報や文字以外の任意情報（画像情報等）を含むものも指す。これは、たとえば、携帯電話機では一般的にテキストメールが多用されているものの、一部の携帯電話機やパーソナルコンピュータでは、文字修飾や画像等の埋め込みが可能な非テキストメール（ＨＴＭＬ形式などの電子データ）の編集や作成ができるようになっているからである。また、本実施形態における「編集」又は「編集処理」とは、すでに作成済みの電子データ（上記のメールデータ等）に加筆修正を加えることを意味する他、新規に電子データを作成することも意味する。また、「挿入データ」とは、編集対象の電子データに挿入又は合成されるデータのことをいい、たとえば、編集対象の電子データが「画像データ」である場合は、画像合成などによって挿入が可能な画像データであり、あるいは、編集対象の電子データがテキストデータ等の文章データである場合は、その文章データの指定位置に追加挿入が可能な文章データ（たとえば、テキストデータ）である。ただし、これらは説明のための一例に過ぎず、編集対象の電子データに挿入可能な形態のデータであれば、如何なるものであっても構わない。

図１は、カメラ付き携帯電話機のブロック図である。この図において、カメラ付き携帯電話機（以下、単に「携帯電話機」という。）１は、アンテナ２を介して最寄りの携帯電話基地局（不図示）との間で音声通信またはメールを含むデータ通信を行う通信部３と、被写体を静止画撮影またはスルー画像撮影してその画像データを生成するＣＣＤやＣＭＯＳ等の撮像デバイスを含む撮像部４と、電話番号／文字入力兼用のテンキー、オンフックキー、オフフックキー、シャッタキー、カーソルキー及び各種の機能キーを含む操作部５と、発着信電話番号の表示や静止画撮影またはスルー画像撮影時の電子ファインダー、撮像画像の確認・再生表示及びメールの作成や閲覧に用いられる液晶ディスプレイ等からなる表示部６と、音声通話用マイク７及び同スピーカ８と、画像データや送受信メールデータ並びに電話帳等のその他のデータを記憶保存する記憶部９と、パーソナルコンピュータ等の外部機器１０との間で画像データなどのやり取りを仲介する入出力部１１と、一次電池または二次電池を含む電源部１２と、与えられた画像データの中から人物の顔を抽出し、その顔の表情（笑い顔、泣き顔、怒った顔、無表情・・・・等）を判定して、その判定結果を示す感情データを発生する感情判定部１３と、ＣＰＵ１４ａやＰＲＯＭ１４ｂ及びＲＡＭ１４ｃ並びにＩ／Ｏ１４ｄなどを含むマイクロコンピュータで構成され、以上の各部の動作を統括制御する制御部１４とを有する。

図２は、感情判定部１３の概念構成図である。この図において、感情判定部１３は、前記のとおり、「与えられた画像データの中から人物の顔を抽出し、その顔の表情（笑い顔、泣き顔、怒った顔、無表情・・・・等）を判定して、その判定結果を示す感情データを発生する」という機能を有している。ここで、“感情”とは、正確には人間の心理状態のことをいうが、実際上、心理状態の把握は不可能または困難であるので、ここでは、心理状態と一定の相関がある「顔の表情」を感情と定義する。つまり、「感情＝顔の表情」であるとする。

顔の表情から感情（≒心理状態）を判断する公知技術としては、たとえば、特開２００７−６５９６９号公報に記載の「表情から心理状態を推定する方法」が知られているので、図示の感情判定部１３にも、その方法を利用してもよい。

ちなみに、同公報記載の方法の原理は、「ヒトの画像から、左右の眼および口の形状をフーリエ記述子を用いて定量的に表し、これらの口および左右の眼の形状をそれぞれ表すフーリエ記述子を用いた線形判別式により、口および左右の眼のそれぞれの形状について、あらかじめ設定されている複数の基本感情について判定得点を算出して正規化することにより、それぞれの形状における上記各基本感情に関する感情確信度を求め、各表情要素ごとの重要度を加味した重回帰式を用いて計算し、その結果からヒトの心理状態を推定する。」というものである

感情判定部１３は、与えられた画像データＧ（この画像データＧは撮像部４で撮像された静止画像またはスルー画像であってもよいし、あるいは、記憶部９に保存されている撮影済みの静止画像、若しくは外部機器１０から入力された静止画像であってもよい。）の中から人物（ヒト）の顔を抽出する顔抽出部１５と、顔抽出ありを判定する第一判定部１６と、顔抽出ありを判定した場合に、抽出された顔の表情を識別（たとえば、笑顔、泣き顔、怒った顔・・・・等）して各表情ごとの確度値（その表情の「確からしさ」を示す値）を設定する表情識別部１７と、表情識別部１７における各表情ごとの確度値のうち最大の確度値を持つものを判定する第二判定部１８と、この第二判定部１８の判定結果に対応した選択信号を出力する選択部１９と、この選択信号に従って複数の感情データの中から一つの感情データ取り出して出力する感情データ出力部２０とを有する。

ここで、表情識別部１７は、表情ごとの複数の表情識別器を有している。具体的には、図示の例では、笑顔を識別するための笑顔識別器１７ａ、泣き顔を識別するための泣き顔識別器１７ｂ及び怒った顔を識別するための怒った顔識別器１７ｃを有しているが、これらは一例に過ぎない。他の表情に対応した識別器を備えていてもよいし、あるいは、図示の識別器のいずれかを省いたり、入れ替えたりしてもよい。または、一つの表情（たとえば、笑顔）だけを識別する単一の構成であってもよい。

なお、上記例示の「笑顔」や「泣き顔」及び「怒った顔」は、同一人物の異なる表情を分類するための「表情種別」の一例であるが、この表情種別は、複数の異なる人物を分類するものではなく、複数の人物に共通して用いられる表情の分類である。

感情データ出力部２０は、前記の表情識別部１７で識別される表情の数＋１個のデータ出力器を備える。すなわち、図示の例では、表情識別部１７は三つの識別器（笑顔識別器１７ａ、泣き顔識別器１７ｂ及び怒った顔識別器１７ｃ）を備えているので、感情データ出力部２０は、笑顔データを出力するための笑顔データ出力器２０ａと、泣き顔データを出力するための泣き顔データ出力器２０ｂと、怒った顔データを出力するための怒った顔データ出力器２０ｃとを備えると共に、さらに、どの表情にも該当しない場合の無表情データを出力するための無表情データ出力器２０ｄを備える。

これら四つのデータ出力器（笑顔データ出力器２０ａ、泣き顔データ出力器２０ｂ、怒った顔データ出力器２０ｃ及び無表情データ出力器２０ｄ）から取り出される顔データは、各々の表情を模してデザインされた表情アイコンであってもよく、または顔文字や絵文字であってもよい。あるいは、それらの表情アイコン、顔文字または絵文字を特定するためのコードデータ等の識別情報であってもよい。

このような構成において、感情判定部１３に任意の画像データＧを与えると、まず、顔抽出部１５で人物の顔が抽出され、次いで、第一判定部１６で顔抽出ありか否かが判定される。そして、顔抽出ありでなければ、人物の顔が写っていない画像データであると判断して、その旨を示すデータを出力する。

一方、顔抽出ありを判定した場合は、表情識別部１７で、その抽出された顔の表情を識別する。たとえば、抽出された顔が笑顔である場合は、笑顔識別器１７ａの確度値に大きな値が与えられ、他の識別器（泣き顔識別器１７ｂや怒った顔識別器１７ｃ）の確度値に小さな値が与えられる。第二判定部１８は、それぞれの確度値を比較し、選択部１９は、最も大きい確度値の表情に対応した感情データ（笑顔データ）取り出すための選択信号を出力し、感情データ出力部２０は、この選択信号に従って複数の感情データの中から一つの感情データ、この場合は、笑顔データ出力器２０ａの笑顔データ（笑顔アイコン、笑顔の絵文字または顔文字若しくはそれらを特定するための識別情報）を取り出して出力する。

このように、感情判定部１３では、与えられた画像データＧの中から人物の顔を抽出し、その顔の表情（笑い顔、泣き顔、怒った顔、無表情・・・・等）を判定して、その判定結果を示す感情データを発生することができる。なお、各表情の確度値が同等であった場合は、無表情とみなし、無表情データ出力器２０ｄのデータ（無表情アイコン、無表情の絵文字または顔文字若しくはそれらを特定するための識別情報）を取り出して出力する。

図３は、メール作成及び送信処理のフローを示す図である。このフローは、制御部１４のＰＲＯＭ１４ｂに予め格納されている制御プログラムの一部であり、ユーザイベント（ユーザによるメール作成や送信の操作イベント）に応答して制御部１４のＲＡＭ１４ｃに読み出され、制御部１４のＣＰＵ１４ａによって実行されるものである。

このフローは、フロー開始直後に実行されるテキスト編集ブロックＢ１と、その後に続けて実行される感情マーク挿入ブロックＢ２とに大別することができる。まず、テキスト編集ブロックＢ１では、メール件名用のテキストデータが入力されたか否かを判定し（ステップＳ１）、入力されていれば、メール件名の指定位置（カーソル位置）に、そのテキストデータを挿入する（ステップＳ２）。次いで、メール本文用のテキストデータが入力されたか否かを判定し（ステップＳ３）、入力されていれば、メール本文の指定位置（カーソル位置）に、そのテキストデータを挿入する（ステップＳ４）。

次に、感情マーク挿入ブロックＢ２では、まず、メール添付用の画像データの有無を判定する（ステップＳ５）。ここで、メール添付用の画像データは、メール作成中に撮像部４で撮像した自分自身の顔写真（静止画像）であることを典型とするが、これ以外のもの、たとえば、記憶部９に記憶されている過去に撮影された顔写真であってもよい。要は、感情を抽出するための適当な顔写真であればよい。また、他の人物の顔写真であってもよい。

メール添付用の画像データなしの場合は、この感情マーク挿入ブロックＢ２から抜けてメール作成完了（ユーザによるメール編集の完了操作）を判定し（ステップＳ１３）、完了していなければ、再びテキスト編集ブロックＢ１を実行し、完了していれば、メールを送信（ステップＳ１４）した後、フローを終了する。

一方、メール添付用の画像データありの場合は、その画像データを感情判定部１３に送り、この感情判定部１３によって顔を検出し（ステップＳ６）、顔が検出されなかった場合（ステップＳ７のＮＯ）は、感情マーク挿入ブロックＢ２から抜けてメール作成完了（ユーザによるメール編集の完了操作）を判定し（ステップＳ１３）、完了していなければ、再びテキスト編集ブロックＢ１を実行し、完了していれば、メールを送信（ステップＳ１４）した後、フローを終了する。

他方、顔が検出された場合（ステップＳ７のＹＥＳ）は、顔の表情を認識して感情を判定し（ステップＳ８）、次いで、感情マークの自動合成モードが選択されているか否かを判定する（ステップＳ９）。感情マークの自動合成モードとは、予めユーザによって選択されるモードであって、このモードが選択されている場合に、メールに添付する画像データへの感情マークの自動合成を許容するというモードである。

感情マークの自動合成モードが選択されている場合、判定された感情に対応する感情マークを生成して添付画像内の指定位置に合成し（ステップＳ１０）、次いで、感情文字の自動挿入モードが選択されているか否かを判定する（ステップＳ１１）。感情文字の自動挿入モードとは、予めユーザによって選択されるモードであって、このモードが選択されている場合に、メール件名やメール本文中への感情文字の自動挿入を許容するというモードである。

感情文字の自動挿入モードが選択されている場合、判定された感情に対応する絵文字を生成してメールの件名または本文の指定位置（カーソル位置）に合成する（ステップＳ１２）。なお、感情マークの自動合成モードが選択されていない場合はステップＳ１０をパスし、また、感情文字の自動挿入モードが選択されていない場合はステップＳ１２をパスする。

図４は、感情マークの自動合成モードと感情文字の自動挿入モードとを示す概念図である。（ａ）に示すように、感情マークの自動合成モードでは、対象となる画像データ２１（メールに添付する画像データ）の所定位置（たとえば、点線で示すコーナ部分のいずれか）に感情マーク２２を合成する。また、（ｂ）に示すように、感情文字の自動挿入モードでは、メール２３の件名または本文の指定位置（カーソル位置）に顔文字（または顔絵文字）２４、２５を挿入する。

このように、本実施形態によれば、メール作成中に撮像部４を用いて自分の顔を静止画撮影するだけで、そのときの自分の感情に対応した顔文字（または顔絵文字）２４、２５をメール２３の件名や本文に自動挿入することができる。

このとき、撮像部４の静止画撮影はシャッタ操作とほぼ同時に完了し、且つ、感情判定部１３における顔抽出や感情判断もほとんど一瞬で完了するので、結局、前記の従来技術のような音声データに基づく感情判断に比べて、きわめて短時間のうちに感情判断から絵文字または顔文字の挿入までの一連の処理を終えることができ、それ故、ユーザの感情を速やかに判断してメールの作成に反映できるメール作成機能付き携帯端末を提供することができるのである。また、感情の判定をメールに添付する画像データから行っているので、改めて感情判定用の画像データを用意する必要がなく、手間の軽減を図ることができる。

加えて、本実施形態によれば、図４（ａ）に示すように、メールに添付する画像データの所定位置に感情マークを自動合成できるので、メールの受信者に対して、送信者の感情を可視化して伝えることができ、感情伝達の確実性を高めることができる。

なお、上記の説明では、メール２３の件名や本文に顔文字（文字キャラクタを組み合わせて顔のようにしたもの。）２４、２５を挿入しているが、これに限定されない。メールシステムの仕様上、許可されていれば、たとえば、顔アイコンや絵文字等のグラフィックデータを挿入してもよい。

本願の技術は、以上の実施形態に限定されず、その思想の範囲内において様々な変形例や発展例を包含することはもちろんであり、たとえば、以下のようにしてもよい。

図５は、第一の変形例を示す図であり、詳細には、図３の感情マーク挿入ブロックＢ２のステップＳ５〜ステップＳ８に置き換わる要部フローを示す図である。この第一変形例では、まず、メール添付用の画像データ（以下、添付用画像データという。）が撮影されたか否かを判定し（ステップＳ１５）、添付用画像データが撮影された場合は、その添付用画像データを記憶部９に保存（ステップＳ１６）してから新たな画像データ（以下、感情判定用画像データという。）が撮影されたか否かを判定（ステップＳ１７）する。

添付用画像データが撮影されなかった場合は、ステップＳ１６をパスして、感情判定用画像データが撮影されたか否かを判定（ステップＳ１７）する。そして、感情判定用画像データが撮影されなかった場合は、感情マーク挿入ブロックＢ２を抜けてステップＳ１３（メール作成完了判定）に進み、感情判定用画像データが撮影された場合は、その感情判定用画像データを感情判定部１３に送り、この感情判定部１３によって、感情判定用画像データから顔を検出し（ステップＳ１８）、顔が検出されなかった場合（ステップＳ１９のＮＯ）は、感情マーク挿入ブロックＢ２から抜けてステップＳ１３（メール作成完了判定）に進む。

顔が検出された場合（ステップＳ１９のＹＥＳ）は、顔の表情を認識して感情を判定し（ステップＳ２０）、次いで、判定された感情を示す感情マークを画面上に表示する（ステップＳ２１）。そして、ユーザの選択指示を判定し（ステップＳ２２）、選択指示なしの場合は、繰り返しを判定（ステップＳ２３）して、繰り返しありの場合は、再び、ステップＳ１７（感情判定用画像データの撮影判定）に復帰し、繰り返しなしの場合は、感情マーク挿入ブロックＢ２を抜けてステップＳ１３（メール作成完了判定）に進み、選択指示ありの場合は、選択指示がなされたタイミングで判定されている感情を採用する（ステップＳ２４）。

以降、図３の感情マーク挿入ブロックＢ２と同様に、感情マークの自動合成モードが選択されているか否かを判定する（ステップＳ９）。そして、選択されていれば、判定された感情に対応する感情マークを生成して添付用画像データ内の指定位置に合成し（ステップＳ１０）、次いで、感情文字の自動挿入モードが選択されているか否かを判定する（ステップＳ１１）。そして、選択されていれば、判定された感情に対応する絵文字を生成してメールの件名または本文の指定位置（カーソル位置）に合成する（ステップＳ１２）。

この第一の変形例では、メールに添付する画像データ（添付用画像データ）と、感情判定用の画像データ（感情判定用画像データ）とを別にしているため、メールに添付する画像データ（添付用画像データ）に任意のものを使用することができるようになり、添付用画像データの自由度が高まる。

加えて、感情判定用画像データを繰り返し撮影しながら、または、スルー画像を撮影しながら、所望の感情判定が得られたときに、その感情判定結果を選択指示すればよいので、表情を変えながら試行錯誤的に感情判定を行うことができ、希望の感情表現にマッチした顔文字や感情マークを選択して添付用画像データに合成したりメールに挿入したりすることができる。

図６は、所望の感情判定結果の選択指示概念図である。この図において、表示部６の画面上には、感情判定用画像データの確認用表示領域２６が設けられていると共に、過去に遡って撮影された１乃至数枚の感情判定用画像データのそれぞれの感情判定結果を示すアイコンが表示されている。たとえば、図示の例では、上から順に無表情アイコン２７、泣き顔アイコン２８、笑顔アイコン２９が表示されている。ユーザは意図した感情のアイコンを選択すればよく、たとえば、この図では、カーソル３０が位置している笑顔アイコン２９を、意図したアイコンとして選択指定することができる。

なお、この例では、感情判定用画像データを数回の撮影で取得するとしているが、つまり、感情判定用画像データを、同一の被写体を数回にわたって撮影した複数の静止画像データとしているが、これに限らず、たとえば、スルー画像としてもよい。スルー画像の取得中に表情を変えることにより、前記の無表情アイコン２７や泣き顔アイコン２８、笑顔アイコン２９などを表示することができ、そのいずれかを任意に選択することができる。

以上の説明では、顔の表情から判定された感情マーク（たとえば、顔文字や絵文字）を挿入しているが、これに限らず、たとえば、予め顔の表情に対応したテキストデータを辞書登録しておき、必要の都度、その辞書からテキストデータを読み出してメールに挿入するようにしてもよい。

図７は、辞書登録処理のフローを示す図である。このフローでは、まず、登録対象となるテキストデータ（単語や短文等）を入力し（ステップＳ３１）、次いで、撮像部４を用いて顔を継続撮影（スルー画像撮影）し、そのスルー画像データを取得する（ステップＳ３２）。そして、感情判定部１３を用いて、そのスルー画像データ内の顔から感情を判定し（ステップＳ３３）、その判定結果を表示部６に表示してユーザの登録指示の有無を判定する（ステップＳ３４）。登録指示がなければ（ステップＳ３５のＮＯ）、再びステップＳ３２に戻り、登録指示があれば（ステップＳ３５のＹＥＳ）、その登録指示のタイミングで判定されている感情の情報（コード）と、ステップＳ３１で入力されたテキストデータとを関連付けしてＰＲＯＭ１４ｂまたは記憶部９内の辞書データテーブルに登録（ステップＳ３６）した後、フローを終了する。なお、ユーザによる「登録指示」は、操作部５のキー操作によって行われることはもちろんのこと、それ以外にも、たとえば、撮像部４に向かって所定の時間、表情を変えずにいた場合は「登録指示」、途中で表情を変えた場合は「取り消し指示」としてもよい。このようにすると、ユーザによる確定または取り消しの操作が不要になるので好ましい。

図８は、辞書データテーブルの概念図である。この図において、辞書データテーブル３１は、感情フィールド３１ａと、テキストデータフィールド３１ｂとを有する。感情フィールド３１ａには、感情（笑、泣、怒、無表情・・・・等）の情報が格納され、テキストデータフィールド３１ｂには、それらの感情ごとのテキストデータが格納される。なお、図示の例では、感情フィールド３１ａに、笑い顔を示す「笑」、泣き顔を示す「泣」、怒った顔を示す「怒」、無表情を示す「無」が格納されているが、これは図示の便宜である。実際には、それぞれの感情に対応する識別情報（コード）が格納される。

図９は、辞書データテーブル利用のフローを示す図であり、図３のフローのメール件名入力処理（ステップＳ１、ステップＳ２）やメール本文入力処理（ステップＳ３、ステップＳ４）に置き換わるものである。

このフローでは、まず、テキストデータが入力されたか否かを判定し（ステップＳ４１）、入力されていれば、そのテキストデータを現在のカーソル位置に挿入する（ステップＳ４２）。次いで、スルー画像データの取得を判定し（ステップＳ４３）、取得していなければ、図３のステップＳ５に進み、取得していれば、そのスルー画像データ内の顔から感情の情報（コード）を判定する（ステップＳ４４）。

そして、図８の辞書データテーブル３１を参照し、ステップＳ４４で判定した感情の情報（コード）と関連づけて登録されているテキストデータを読み出して、そのテキストデータを現在のカーソル位置に「仮」挿入する（ステップＳ４５）。

次に、ユーザによる確定操作または取り消し操作を判定し（ステップＳ４６）、取り消しであれば、図３のステップＳ５に進み、確定であれば、仮挿入されているテキストデータを確定挿入（ステップＳ４７）してから、図３のステップＳ５に進む。なお、ユーザによる「確定」または「取り消し」の操作は、操作部５のキー操作によって行われることはもちろんのこと、それ以外にも、たとえば、撮像部４に向かって所定の時間、表情を変えずにいた場合は「確定」、途中で表情を変えた場合は「取り消し」としてもよい。

このフローによれば、予め感情の情報（コード）とテキストデータとを関連付けして辞書データテーブル３１に登録しておき、その後、必要に応じて顔を撮影するだけで、その画像データから判定された感情の情報（コード）に関連するテキストデータを辞書データテーブル３１から取り出して、メール件名またはメール本文の指定位置に自動挿入することができる。このため、その時々の感情に対応したテキストデータを速やかにメールに挿入することができ、メール作成の効率をアップすることができる。

なお、以上の説明では、感情の特定を画像データに含まれる顔から行うとしたが、実際上は、顔の表情には個人差があるので、不特定のヒトに適用するためには感情特定の信頼性の点で何らかの工夫が必要である。以下は、その工夫である。

図１０は、判断用データ登録処理のフロー及びその判断用データを用いた感情特定処理のフローを示す図である。（ａ）に示すように、判断用データ登録処理では、まず、登録対象となる個人名を入力し（ステップＳ５１）、登録対象となる感情を表す情報を入力する（ステップＳ５２）。次いで、撮像を行って画像データを取得し（ステップＳ５３）、撮像された画像データまたはその画像データから抽出された特徴データ（画像内の特徴点のデータ）を、ステップＳ５１で入力された個人名と、ステップＳ５２で入力された感情（を表す情報）とに関連付けして判断用データテーブル（後述）に登録（ステップＳ５４）した後、フローを終了する。

次に、（ｂ）に示すように、感情特定処理では、撮影画像内に検出される顔を、判断用データテーブル（後述）の登録情報と照合し、最も合致度の高い登録データを特定する（ステップＳ６１）。次いで、特定された登録データに対応する個人名及び感情を特定（ステップＳ６２）した後、フローを終了する。

図１１は、判断用データテーブルの概念図である。判断用データテーブル３２は、ユーザフィールド３２ａと、感情フィールド３２ｂと、画像データまたは特徴データフィールド３２ｃとを含む。ユーザフィールド３２ａには、ステップＳ５１で入力された個人名が格納され、感情フィールド３２ｂには、ステップＳ５２で入力された感情を表す情報が格納され、画像データまたは特徴データフィールド３２ｃには、画像データまたはその画像データから抽出された特徴データが格納される。

この判断用データ登録処理のフロー及びその判断用データを用いた感情特定処理によれば、予め個人ごとの感情（を表す情報）と、その個人の画像データまたは特徴データとを判断用データテーブル３２に登録しておき、実際に感情を判定する際には、判断用データテーブル３２の登録情報との照合によって各個人の感情を特定するので、個人差に影響されることなく、不特定のヒトに適用する場合の感情特定の信頼性向上を図ることができる。

なお、以上の説明では、カメラ付携帯電話機で電子メールを作成する場合を例にしたが、これに限定されることはなく、たとえば、デジタルカメラで撮影した画像データに、ユーザが任意に入力した文字列からなる名称を付加する場合などに適用してもよい。また、撮像部等のカメラ機能は存在することが望ましいが、必要に応じてパーソナルコンピュータ等の外部機器から画像データを取り込むこともできるので、必ずしも必須の要素ではない。要は、画像データを自己の撮像部または外部機器から取得する機能と、電子データを編集する機能とを備えた電子機器であればよい。

カメラ付き携帯電話機のブロック図である。 感情判定部１３の概念構成図である。 メール作成及び送信処理のフローを示す図である。 感情マークの自動合成モードと感情文字の自動挿入モードとを示す概念図である。 第一の変形例を示す図である。 所望の感情判定結果の選択指示概念図である。 辞書登録処理のフローを示す図である。 辞書データテーブルの概念図である。 辞書データテーブル利用のフローを示す図である。 判断用データ登録処理のフロー及びその判断用データを用いた感情特定処理のフローを示す図である。 判断用データテーブルの概念図である。

符号の説明

１ カメラ付き携帯電話機（電子データ編集装置）
３ 通信部（送信手段）
４ 撮像部（撮像手段）
１４ 制御部（特定手段、挿入手段、読み出し手段、画像添付手段、指定手段）
１５ 顔抽出部（抽出手段）
１７ 表情識別部（判定手段）
１９ 選択部（選択手段）
３１ 辞書データテーブル（記憶手段）
３２ 判断用データテーブル（登録手段）

Claims (15)

1. 編集処理の対象となる電子データに対応させて、前記編集処理で利用する画像データを特定する特定手段と、
   前記特定された画像データからヒトの顔を抽出する抽出手段と、
   前記抽出した顔の表情を識別して、複数のグループに分類される表情種別のいずれに該当するかを判定する判定手段と、
   前記判定手段により判定された表情種別に基づいて、電子データに挿入可能な挿入データを選択する選択手段と、
   前記選択手段によって選択された挿入データを、前記編集処理の対象となる電子データに挿入する挿入手段と
   を備えたことを特徴とする電子データ編集装置。
2. 被写体を撮像して画像データを取得する撮像手段を更に備え、
   前記特定手段は、前記電子データの編集時に前記撮像手段で撮像された画像データを、前記編集処理で利用する画像データとして特定することを特徴とする請求項１に記載の電子データ編集装置。
3. 電子メールを送信する送信手段と、
   前記送信手段により送信される電子メールに画像データを添付する画像添付手段と、を更に備え、
   前記電子データは、前記送信手段により送信される電子メールであり、
   前記特定手段は、前記画像添付手段により添付される画像データを、前記編集処理で利用する画像データとして特定することを特徴とする請求項１または請求項３いずれかに記載の電子データ編集装置。
4. 前記挿入手段によって前記挿入データを挿入する際の前記電子データ内の挿入位置を指定する指定手段を更に備え、
   前記挿入手段は、前記指定手段により指定された挿入位置に前記挿入データを挿入することを特徴とする請求項１乃至請求項３いずれかに記載の電子データ編集装置。
5. 前記指定手段は、前記電子データに含まれる文章データ内の挿入位置を指定し、
   前記選択手段は、文章データで構成される挿入データを選択し、
   前記挿入手段は、前記指定手段により指定された文章データ内の挿入位置に前記選択手段により選択された挿入データを挿入することを特徴とする請求項４に記載の電子データ編集装置。
6. 前記判定手段は、人の感情に対応させてグループ分類される表情種別を判定することを特徴とする請求項３に記載の電子データ編集装置。
7. 前記画像データは、前記画像添付手段により電子メールに添付される画像データであり、
   前記選択手段は、前記判定手段により判定された表情種別に基づいて感情を表す画像データである感情マークを前記挿入データとして選択し、
   前記選択手段によって選択された感情マークを、該画像データの指定位置に合成する合成手段をさらに備えたことを特徴とする請求項６に記載の電子データ編集装置。
8. 前記特定手段により特定される画像データは、前記撮像手段により連続的に撮像されるモニタ表示用のスルー画像データまたは前記撮像手段により同一の被写体を数回にわたって撮像した複数の静止画像データであり、
   前記抽出手段は、前記特定手段により特定される複数の画像データの各々からヒトの顔を抽出し、
   前記判定手段は、前記各々の画像データから抽出した顔の表情を識別して各々の顔の感情を逐次に判定し、
   前記選択手段は、前記判定手段の判定結果に基づいて得られた各々の顔に対応する挿入データをユーザが選択し得るように表示し、
   前記挿入手段は、ユーザが選択した挿入データを前記編集中の電子データに挿入する
   ことを特徴とする請求項２に記載の電子データ編集装置。
9. 予め前記判定手段により判定可能な複数の表情種別と前記選択手段により選択可能な複数の挿入データとを関連付けして記憶する記憶手段と、
   前記記憶手段を参照して前記判定手段により判定された表情種別に対応する挿入データを読み出す読み出し手段と、を更に備え、
   前記挿入手段は、前記読み出し手段によって読み出された挿入データを、前記編集中の電子データに挿入することを特徴とする請求項１に記載の電子データ編集装置。
10. 前記挿入データは文章データであり、
    前記表情種別に対応する文章データを任意に指定して前記記憶手段に記憶させる登録手段を更に備えたことを特徴とする請求項９に記載の電子データ編集装置。
11. 前記登録手段は、登録を行う表情種別を任意に指定可能であることを特徴とする請求項９に記載の電子データ編集装置。
12. 前記登録手段は、登録すべき表情種別を指定する際に、前記撮像手段により撮像が行われた場合は、この撮像により得られた画像データに対応して、前記抽出手段および前記判定手段により判定される表情種別を登録すべき表情種別であると特定することを特徴とする請求項１１に記載の電子データ編集装置。
13. 前記判定手段は、予め感情情報登録手段に登録された個人の感情情報を参照して、前記抽出手段によって抽出された顔の表情を識別して感情を判定することを特徴とする請求項１または請求項９いずれかに記載の電子データ編集装置。
14. 編集処理の対象となる電子データに対応させて、前記編集処理で利用する画像データを特定する特定工程と、
    前記特定された画像データからヒトの顔を抽出する抽出工程と、
    前記抽出した顔の表情を識別して、複数のグループに分類される表情種別のいずれに該当するかを判定する判定工程と、
    前記判定工程により判定された表情種別に基づいて、電子データに挿入可能な挿入データを選択する選択工程と、
    前記選択工程によって選択された挿入データを、前記編集処理の対象となる電子データに挿入する挿入工程と
    を含むことを特徴とする電子データ編集方法。
15. 電子データ編集装置のコンピュータを、
    編集処理の対象となる電子データに対応させて、前記編集処理で利用する画像データを特定する特定手段、
    前記特定された画像データからヒトの顔を抽出する抽出手段、
    前記抽出した顔の表情を識別して、複数のグループに分類される表情種別のいずれに該当するかを判定する判定手段、
    前記判定手段により判定された表情種別に基づいて、電子データに挿入可能な挿入データを選択する選択手段、
    及び、前記選択手段によって選択された挿入データを、前記編集処理の対象となる電子データに挿入する挿入手段
    として機能させることを特徴とするプログラム。

Images