JP2009303210A - 携帯端末機の画像情報活用方法 - Google Patents

Abstract

【課題】本発明は、携帯端末機に格納されているデータを活用する方法に関し、特に、顔認識アルゴリズムによって獲得された画像情報を用いて携帯端末機の通信機能等のような多様な機能を実行する方法に関する。
【解決手段】本発明は、携帯端末機及び携帯端末機に格納されている画像情報を活用する方法に関し、画像情報登録が選択されると、表示されたイメージから顔領域を認識するステップと、前記認識された顔領域に該当するユーザ情報があるかを判断するステップと、ユーザ情報が存在すれば、イメージに顔領域とユーザ情報とを表示するステップと、ユーザ情報が存在しなければ、ユーザ情報を登録するステップと、イメージに顔領域と登録されたユーザ情報とを表示するステップと、を有する。これによって、ユーザは、携帯端末機で実行できる様々な機能を画像情報を介して使用することができ、携帯端末機に表示される相手の顔が含まれているイメージから相手の名前又は電話番号等を容易に確認することができる。
【選択図】図４

Description

本発明は、携帯端末機に格納されているデータを活用する方法に関し、特に、顔認識アルゴリズムによって獲得された画像情報を用いて携帯端末機の通信機能等のような多様な機能を実行する方法に関する。

現代科学技術の発展に伴い、携帯端末機で使用できる機能は多様化している。例えば、携帯端末機で使用できる機能は、通信機能、カメラ機能、デジタル放送機能(ＤＭＢ;Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ ｂｒｏａｄｃａｓｔｉｎｇ)を含み、このような機能から様々なデータが生成されている。

カメラを備え、顔認識機能を実行できる携帯端末機の場合、カメラで撮影されるイメージから顔領域を認識し、認識された顔領域に該当する画像情報を生成することもできる。

しかし、携帯端末機に格納されているデータ及び画像情報は、ユーザが携帯端末機にどのようなデータが格納されているのかを確認するための用途で使われているだけであって、こういったデータ及び画像情報を用いた機能を実行できないという問題がある。そのため、携帯端末機に格納されているデータ及び画像情報を用いた多様な機能を実行できる方法に関する研究が求められている。

上記のような問題を解決するための本発明の目的は、画像情報を活用して携帯端末機で機能を実行する方法を提供することにある。

上記のような目的を達成するための本発明の実施形態に係る画像情報活用方法は、画像情報登録が選択されると、表示されたイメージから顔領域を認識するステップと、認識された顔領域に該当するユーザ情報があるかを判断するステップと、ユーザ情報が存在すれば、イメージに顔領域とユーザ情報とを表示するステップと、ユーザ情報が存在しなければ、ユーザ情報を登録するステップと、イメージに顔領域と登録されたユーザ情報とを表示するステップと、を含む。

本発明によると、ユーザは、携帯端末機に格納される画像情報からイメージに含まれた相手の名前、連絡先等を確認することができ、このような画像情報を用いて通信機能、イメージフォルダ管理機能を実行することができる。

本発明に係る携帯端末機の概略的構成を示すブロック図。 本発明の実施形態により、携帯端末機で画像情報を用いて機能を実行する方法を示すフロー図。 本発明に係る画像情報を獲得する方法を示すフロー図。 本発明の実施形態に係る画像情報を用いて機能を実行する方法を示すフロー図。 本発明の実施形態に係る画像情報登録を実行する方法を示すフロー図。 本発明の実施形態に係るユーザ情報登録を実行する方法を示すフロー図。 本発明の実施形態に係るイメージフォルダを管理する方法を示すフロー図。 本発明に係るイメージフォルダで機能を実行する方法を示すフロー図。 本発明の実施形態に係るコーラーＩＤを設定する方法を示すフロー図。 本発明の実施形態に係る通信機能を実行する方法を示すフロー図。 本発明の実施形態に係るセキュリティ機能を実行する方法を示すフロー図。 本発明の実施形態に係る顔領域とユーザ情報とを表示する画面を例示した画面例示図。 本発明に係るイメージフォルダ管理画面を例示した画面例示図。 本発明により、イメージフォルダ管理機能を実行する時、顔領域を表示する画面を例示した画面例示図。 本発明により、イメージフォルダ管理機能中、コーラーＩＤを設定する画面を例示した画面例示図。 本発明により、イメージフォルダ管理機能中、認識された顔領域を編集する画面を例示した画面例示図。 本発明により、イメージフォルダ管理機能中、認識された顔領域を編集する画面を例示した画面例示図。 本発明の他の実施形態に係るカメラ機能実行時、画像情報を登録する方法を示すフロー図。

「イメージ」とは、携帯端末機にカメラによって入力されたイメージ、あるいは、外部端末機又はインターネットを介してダウンロードし格納されたイメージを意味し、「顔領域」とは、イメージ中、ユーザの顔だけが含まれる領域を意味する。

「画像情報」とは、イメージから顔認識アルゴリズムによって顔領域のみを認識し、認識された顔領域から目、鼻、口のような特徴を抽出し格納された情報を意味する。

「ユーザ情報」とは、携帯端末機に格納されるユーザに関する情報を意味する。ここで、ユーザ情報には、名前、電話番号、メールアドレス、誕生日、住所、イメージ等に関する情報が含まれる。

「コーラーＩＤ(Ｃａｌｌｅｒ ＩＤ)」とは、携帯端末機で相手の携帯端末機と通信機能を実行するために電話番号等をダイヤルする画面や、相手の携帯端末機から通信機能実行要請(例えば、呼受信等)を受ける時に表示される画面を意味する。

以下、本発明の好ましい実施形態を添付図面を参照しながら詳細に説明する。

図１は、本発明に係る携帯端末機の概略的構成を示すブロック図である。

図１によると、携帯端末機は、格納部１１０、表示部１２０、無線通信部１３０、入力部１４０、制御部１５０及びカメラ部１６０を含む。

格納部１１０は、携帯端末機の一般的動作を制御するための各種プログラムや携帯端末機の動作中に発生する各種情報を格納する。特に、格納部１１０は、制御部１５０の制御の下、イメージ、電話番号、名前等に該当する情報を含むユーザ情報や、イメージから認識された顔領域に該当する顔認識情報を格納する。また、イメージに該当するファイル名が設定される時、又はイメージのファイル名が再設定される時、格納部１１０は、制御部１５０の制御の下、イメージに該当するファイル名をタグ情報に含めて格納することができる。

ここで、イメージは、カメラによって入力され格納されたイメージや、外部端末機から伝送されたイメージ、インターネット等を介してダウンロードされたイメージ等を含むことができる。顔認識情報は、顔領域の目、鼻、口のような特徴に該当する画像情報や全体のイメージから認識された顔領域の位置、サイズ、認識された顔領域の画面サイズ別比率に関する情報等を含むことができる。また、顔認識情報は、イメージから認識される顔領域にリンクされるユーザ情報に関するリンク情報を含むことができる。リンク情報は、イメージ別顔領域にリンクされたユーザ情報が格納された位置を表す情報を意味する。

表示部１２０は、携帯端末機の状態及び動作に関する各種情報を表示する。ここで、表示部１２０は、制御部１５０の制御の下、顔認識機能を実行する時、選択されたイメージから認識される顔領域をユーザが確認できるように表示することができる。この時、顔領域を表示する方法は、認識された顔領域をフレームで表示するか、図形等を用いて表示することができる。本発明では、認識された顔領域が四角形のフレームで表示されると仮定する。また、表示部１２０は、制御部１５０の制御の下、認識された顔領域にリンクされたユーザ情報を表示することができる。ここで、表示されるユーザ情報は名前であると仮定する。

無線通信部１３０は、携帯端末機と基地局との通信機能を行う。無線通信部１３０は、送受信機能を分離するデュープレクサと、送信信号の周波数を上昇変換する送信部と、受信信号の周波数を下降変換する受信部と、から構成することができる。ここで、無線通信部１３０は、制御部１５０の制御の下、イメージから顔領域にリンクされたユーザ情報が選択されると、選択されたユーザ情報を用いて音声通話、画像通話、又はメールの送受信を行なうことができる。また、図示しないが、デジタル放送受信部をさらに備え、デジタル放送データを受信することができる。

入力部１４０は、ユーザが入力した数字及び文字情報、各種機能の設定、及び携帯端末機の機能制御に関連して入力される信号を制御部１５０へ伝達する。また、入力部１４０は、タッチスクリーン、又は一般的なキーで形成されることができ、数字及び文字が並べられた文字キー、機能を実行できる機能キー、ソフトキー等から構成される。

制御部１５０は、携帯端末機を構成する各構成の全般的動作及び状態を制御する。特に、入力部１４０を介して画像情報登録機能が選択されると、制御部１５０は、カメラ部１６０によって入力されるイメージ、格納部１１０に格納されたイメージ、外部端末機やインターネットを介してダウンロードされたイメージの中から、ユーザによって選択されたイメージを表示部１２０に表示する。制御部１５０は、表示されたイメージから顔認識アルゴリズムを用いて顔領域を認識することができる。次に、制御部１５０は、表示されたイメージから認識された顔領域を分析して画像情報を抽出し、抽出された画像情報を格納部１１０に格納することができる。そして、制御部１５０は、分析された画像情報に該当する顔領域にリンクされたユーザ情報があるのかを確認する。画像情報に該当するユーザ情報がある場合、制御部１５０は、表示部１２０を制御し、認識された顔領域とユーザ情報とを共に表示することができる。

ここでは、顔認識アルゴリズムによって多様な方法を使用することができる。例えば、主成分分析法(ＰＣＡ;Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ)のように、全体映像空間から固有顔(Ｅｉｇｅｎ Ｆａｃｅ)という顔全体に該当する領域を抽出する方法を使用することができ、フィッシャー判別分析法(ＦＤＡ;Ｆｉｓｈｅｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ)のように、認識される顔領域と格納された顔領域とを比較して顔の局部的特徴を抽出する方法を使用することができ、独立成分分析法(ＩＣＡ;Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ)のように、認識された全体の顔領域から顔の特徴を分類し、分類された顔の特徴を格納された顔領域の特徴と比較する方法を使用することができる。

制御部１５０は、画像情報を用いて多様な機能を実行することができる。例えば、イメージに表示された顔領域及びユーザ情報から特定の顔領域が選択されると、制御部１５０は選択された顔領域にリンクされたユーザ情報を確認する。そして、確認されたユーザ情報を用いて、制御部１５０は入力部１４０を介して選択される通信機能を実行することができる。ここで、実行できる通信機能は、音声通話機能、画像通話機能及びメール送信を含み、メール送信は、短文メール、マルチメディアメール、インスタントメール及びＥメール(Ｅ-ｍａｉｌ)を含む。

制御部１５０は、画像情報を用いてセキュリティ機能を実行することができる。ここで、セキュリティ機能は、携帯端末機の電源オン・オフ制限機能、私生活保護機能及び特定機能使用制限等を含む。例えば、ＤＭＢ機能において、有料チャンネル制限機能が設定されていると仮定する。ＤＭＢ機能の実行時、入力部１４０を介して有料チャンネルが選択されると、制御部１５０はセキュリティ機能が設定されているのかを判断する。セキュリティ機能が設定されていると、制御部１５０は、カメラ部１６０を制御して獲得したイメージで顔認識機能を実行する。そして、制御部１５０は、イメージから認識された顔領域を分析して画像情報を抽出する。次いで、制御部１５０は、格納部１１０に格納されている画像情報と認識された顔領域に該当する画像情報とを比較する。抽出された画像情報と格納部１１０に格納されている画像情報とが一致すれば、制御部１５０は、無線通信部１３０を制御して有料チャンネルから受信される放送データを表示部１２０に表示することができる。

また、制御部１５０は、画像情報を用いて格納部１１０に格納されたイメージを管理することができる。すなわち、制御部１５０は、イメージに含まれた顔領域を認識し、認識された顔領域に該当するユーザ情報が存在するのかを判断する。そして、制御部１５０は、ユーザ情報を用いてイメージをユーザ別、グループ別、設定されたフォルダ別等で分類し、表示部１２０に表示することができる。例えば、イメージに三人に該当する顔領域が含まれていれば、各顔領域に関する画像情報を抽出する。そして、制御部１５０は、抽出された画像情報を用いて格納部１１０に格納された画像情報と比較する。一致する画像情報が存在すれば、制御部１５０は格納された画像情報とリンクされたユーザ情報が存在するのかを判断する。

画像情報とリンクされたユーザ情報が存在すれば、制御部１５０は、それぞれの顔領域に該当するユーザ情報に応じて、イメージをユーザ別、電話帳に設定されているグループ別に分類してもよく、フォルダ別に分類してもよい。顔領域に該当するユーザ情報がない場合には、無名(Ｕｎｋｎｏｗｎ)と分類して表示部１２０に表示することができる。

そして、制御部１５０は、格納部１１０を制御し、認識された顔領域をコーラーＩＤ(Ｃａｌｌｅｒ ＩＤ)で格納することができる。より詳細には、入力部１４０を介してコーラーＩＤ設定が選択されると、制御部１５０はコーラーＩＤに設定する顔領域及びユーザ情報を確認する。そして、制御部１５０は、イメージから選択された顔領域のみをクロップ(ｃｒｏｐ)し、格納部１１０を制御して、クロップされた顔領域と選択されたユーザ情報とをマッチして、すなわち対応付けて格納する。この場合、制御部１５０は、クロップされた顔領域の位置、サイズ、全体画面のサイズに対するクロップされた顔領域の比率情報を格納部１１０に格納することができる。そして、クロップされた顔領域を表示部１２０に表示する時、制御部１５０は、クロップされた顔領域のサイズを画面サイズの比率情報に応じて顔領域が表示される画面サイズ別に調節して表示することができる。

制御部１５０は、複数の人たちの顔領域が含まれたイメージから各人別に顔領域を認識し、認識された顔領域別に、該当するそれぞれの画像情報を抽出することができる。そして、制御部１５０は、抽出されたそれぞれの画像情報と格納部１１０に格納された画像情報とを比較する。そして、制御部１５０は、抽出されたそれぞれの画像情報と一致する格納された画像情報別にリンクされたユーザ情報を確認する。次いで、制御部１５０は、表示部１２０を制御し、それぞれの顔領域にリンクされたユーザ情報を表示する。そして、入力部１４０を介して認識された顔領域のうち、少なくとも一つの顔領域が選択された後、通信機能のような特定の機能が選択されると、制御部１５０は、選択された顔領域にリンクされたユーザ情報を用いて選択された特定の機能を実行することができる。ここで、ユーザ情報は電話番号にすることができる。

カメラ部１６０は、制御部１５０の制御の下、イメージを撮影することができる。カメラ部１６０は、撮影された光信号をアナログ映像信号に変換するカメラセンサーと、カメラセンサーから変換されたアナログ映像信号をデジタルデータに変換する信号処理部とを備える。カメラセンサーはＣＣＤセンサーであり、信号処理部はＤＳＰ(Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ)で具現することができる。また、カメラセンサー及び信号処理部は一体型で具現してもよく、別々に分離して具現してもよい。

このような構成を有する携帯端末機において、制御部１５０は、カメラ部１６０によって入力されたイメージ又は格納されているイメージを、表示部１２０を制御して表示する。そして、入力部１４０又はメニューを介して顔認識機能が選択されると、制御部１５０は表示されたイメージから顔領域を認識する。そして、制御部１５０は、認識された顔領域を分析して画像情報を抽出し、格納部１１０に格納されているユーザ情報中、抽出された画像情報に該当するユーザ情報を検索してリンクする。そして、制御部１５０は、認識された顔領域と検索されたユーザ情報とをイメージに表示する。また、認識された顔領域とユーザ情報とが表示されたイメージにおいて、入力部１４０を介して通信機能実行が選択されると、制御部１５０は、無線通信部１３０を制御し、ユーザ情報を用いて通信機能を実行することができる。また、制御部１５０は、格納部１１０に格納されている画像情報と、画像情報とリンクされたユーザ情報を用いて格納部１１０に格納されたイメージを分類して格納する。そして、制御部１５０は、表示部１２０を制御し、画像情報及びユーザ情報を用いて分類されたイメージを表示することができる。

次に、携帯端末機で画像情報を用いて機能を実行する方法について説明する。

図２は、本発明の実施形態により、携帯端末機で画像情報を用いて機能を実行する方法を示すフロー図である。図２は、図３ないし図１６ｂを参照しながら説明する。

図２によると、携帯端末機の電源がオフの状態で、ユーザが入力部１４０に備えられた電源キーを入力すると、制御部１５０は、２１０ステップで携帯端末機を構成する構成要素に電源を供給し、電源をＯＮにする。そして、制御部１５０は、２２０ステップでロック機能が設定されているのかを判断する。ロック機能が設定されていなければ、制御部１５０は２４０ステップで表示部１２０を制御して待機画面を表示する。

しかし、ロック機能が設定されていれば、制御部１５０は２３０ステップでロック解除機能を実行する。ここで、２３０ステップを図３を参照しながら説明する。

図３によると、制御部１５０は、３１０ステップで、ロックを解除するため、画像情報によるロック解除機能が設定されているのかを判断する。もし、画像情報によるロック解除機能ではなく他の解除機能が設定されていれば、制御部１５０は３７０ステップで設定されたロック解除機能を実行する。ここで、設定されたロック解除機能は、パスワードの入力、音声認識によるロック解除機能を含むことができる。

しかし、３１０ステップで画像情報によるロック解除機能が設定されていれば、制御部１５０は、３２０ステップでカメラ部１６０を制御し、カメラを駆動してイメージをキャプチャーする。そして、制御部１５０は、３３０ステップでキャプチャーされたイメージから顔領域が認識されたかどうかを判断する。顔領域が認識されれば、制御部１５０は、３４０ステップで認識された顔領域に該当する画像情報を分析する。そして、制御部１５０は、３５０ステップで、格納部１１０に格納されている画像情報と分析された画像情報とを比較し、分析された画像情報と一致する格納された画像情報があるのかを判断する。

格納された画像情報と分析された画像情報とが一致しなければ、制御部１５０は、３６０ステップで一致する画像情報がないことを表示部１２０にポップアップで表示し、３１０ステップへ戻る。ここで、制御部１５０は、表示部１２０に再認識を選択できる選択窓を表示し、顔領域を再認識するか否かを選択することができる。

格納された画像情報と分析された画像情報とが一致すれば、制御部１５０は、図２に戻り２４０ステップで待機画面を表示部１２０に表示する。この時、制御部１５０は、分析された画像情報と格納された画像情報との類似率を算出し、算出された類似率によってロック解除機能を実行することもできる。例えば、制御部１５０は、算出された類似率が７０％以上であればロック解除機能を実行し、類似率が３０％以上であればパスワード等を入力できるパスワード入力窓を表示部１２０に表示し、入力部１４０を介してパスワードを入力してもらうことでロック解除機能を実行するか、あるいは画像情報の再認識を要求することもできる。

ロック機能を解除し、待機画面を表示した制御部１５０は、２５０ステップで入力部１４０を介して画像情報を用いた機能が選択されたかどうかを判断する。この場合、画像情報を用いた機能でなければ、制御部１５０は２６０ステップで入力部１４０を介して選択された機能を実行する。ここで、選択された機能は、電話番号入力による通信機能、イメージを撮影できるカメラ機能、スケジュール管理機能等のように、携帯端末機で実行できる全ての機能を含むことができる。

他方、画像情報を用いた機能が選択されると、制御部１５０は２７０ステップで選択された画像機能を用いた機能を実行する。ここで、２７０ステップは、図４を参照しながら詳細に説明する。

図４は、本発明の実施形態に係る画像情報を用いて機能を実行する方法を示すフロー図である。図４を、図５ないし図１１を参照しながら説明する。図５は、本発明の実施形態に係る画像情報登録を実行する方法を示すフロー図である。図６は、本発明の実施形態に係るユーザ情報登録を実行する方法を示すフロー図である。図７は、本発明の実施形態に係るイメージフォルダを管理する方法を示すフロー図である。図８は、本発明に係るイメージフォルダにおける機能を実行する方法を示すフロー図である。図９は、本発明の実施形態に係るコーラーＩＤを設定する方法を示すフロー図である。図１０は、本発明の実施形態に係る通信機能を実行する方法を示すフロー図である。図１１は、本発明の実施形態に係るセキュリティ機能を実行する方法を示すフロー図である。

図４によると、制御部１５０は、４１０ステップで選択された画像情報を用いた機能が画像情報登録であるかを判断する。ユーザが、メニュー又は機能キー等によって画像情報登録を選択すると、制御部１５０は４２０ステップで画像情報登録機能を実行する。４２０ステップは、図５ないし図６を参照しながら詳細に説明する。

図５によると、入力部１４０を介して画像情報登録が選択されると、制御部１５０は５１０ステップでカメラ部１６０を駆動する。そして、制御部１５０は、５２０ステップでカメラ部１６０を介して入力されるプレビューイメージを表示部１２０に表示し、５２５ステップで表示されたプレビューイメージに顔領域が存在するのかを判断する。もし、認識される顔領域が存在しなければ、制御部１５０は、５２０ステップへ戻り、カメラ部１６０を介して入力されているイメージのプレビューイメージを表示部１２０に表示する。

ここでは、入力部１４０を介して画像情報登録が選択されると、制御部１５０はカメラ部１６０を駆動させ、入力されるイメージから顔領域を認識すると説明している。しかし、その他にも、カメラ機能が選択され、カメラ部１６０が駆動された後、入力部１４０に備えられた機能キー又は通話キーによって顔認識機能が選択されると、制御部１５０はこれを感知し、カメラ部１６０を介して入力されたイメージから顔領域を認識することもできる。

カメラ部１６０を介して入力されているイメージから顔領域が認識されると、制御部１５０は、５３０ステップで、表示部１２０を制御し、認識されている顔領域をユーザが確認できるようにフレーム又は図形等で表示する。次いで、制御部１５０は、５３５ステップで入力部１４０を介してイメージキャプチャーが選択されるのかを確認する。ユーザが、入力部１４０を介して確認キー又は撮影キーを入力すると、制御部１５０は５４０ステップで認識された顔領域に該当する画像情報を分析する。

次に、制御部１５０は、５４５ステップで分析された画像情報に該当するユーザ情報があるのかを確認する。ここで、ユーザ情報を確認する方法は、まず、制御部１５０は分析された画像情報を格納部１１０に格納された画像情報と比較する。そして、制御部１５０は、分析された画像情報と類似又は一致する格納された画像情報があれば、格納された画像情報とリンクされているユーザ情報があるのかを判断することで、ユーザ情報の有無を確認することができる。

分析された画像情報に該当するユーザ情報があれば、制御部１５０は、５５０ステップで認識された顔領域とユーザ情報とをキャプチャーされたイメージと共に表示部１２０に表示する。そして、制御部１５０は、５６０ステップで格納が選択されるのかを判断する。入力部１４０を介して確認キー又は格納キーが入力されると、制御部１５０は、５６５ステップで格納部１１０を制御し、認識された顔領域に該当する画像情報と、画像情報とリンクされたユーザ情報、及び顔領域にリンクされたユーザ情報が格納された位置に関するリンク情報、及びイメージを格納して、図４へ戻る。このように、格納された画像情報とユーザ情報によって、制御部１５０は携帯端末機で行える多様な機能を実行することができる。

５４５ステップで、分析された画像情報に該当するユーザ情報がなければ、制御部１５０は、５７０ステップでユーザの選択に応じてユーザ情報登録を実行する。５７０ステップは、図６を参照しながら説明する。

図６によると、制御部１５０は、６１０ステップで分析された画像情報に該当するユーザ情報がないことと、認識された顔領域とを表示部１２０に表示する。そして、制御部１５０は、６１５ステップで入力部１４０を介してユーザ情報登録が選択されるのかを判断する。この時、制御部１５０は、ユーザ情報をｕｎｋｎｏｗｎと認識された顔領域に表示することができる。

ユーザ情報登録が選択されると、制御部１５０は、６２０ステップでユーザ情報登録をする方法が、検索登録であるか、直接登録であるかを判断する。より詳細には、メニュー選択又は機能キー入力でユーザ情報登録が選択されると、制御部１５０は、ユーザ情報登録方法として、検索登録又は直接登録を選択できる選択窓を表示する。

ユーザが、入力部１４０を介して検索登録を選択すれば、制御部１５０は６２５ステップでユーザ情報検索窓を表示する。次に、制御部１５０は、６３０ステップで検索窓に検索語が入力されたかどうかを判断する。検索語が入力されると、制御部１５０は、６３５ステップで、格納部１１０に格納されたユーザ情報から検索語に該当するユーザ情報を検索する。そして、制御部１５０は、６４０ステップで検索語に該当するユーザ情報が存在するのかを判断する。ここで、検索語でユーザ情報を検索する方法には、名前を入力して検索する方法、グループ別にユーザ情報を検索する方法等が含まれる。

検索語に該当するユーザ情報が存在しなければ、制御部１５０は、６４５ステップで検索語に該当するユーザ情報がないことを表示し、６１５ステップへ戻る。この時、制御部１５０は、ユーザ情報再登録の選択窓を表示することができる。

他方、検索語に該当するユーザ情報が存在すれば、制御部１５０は、６５０ステップで検索されたユーザ情報及び顔領域をイメージにリンクして表示する。そして、制御部１５０は、６７０ステップで入力部１４０を介して格納が選択されるのかを判断する。

しかし、６２０ステップで、ユーザが、メニュー又は機能キー等によってユーザ情報の直接登録を選択すると、制御部１５０は、６５５ステップでユーザ情報入力窓を表示部１２０に表示する。そして、制御部１５０は、６６０ステップでユーザ情報入力が完了したのかを判断する。例えば、ユーザが、入力部１４０を介して認識された顔領域に該当する名前のようなユーザ情報を入力した後、確認キー又は完了キー等を入力すると、制御部１５０はこれをユーザ情報入力完了と判断する。

ユーザ情報入力が完了すると、制御部１５０は、６６５ステップで認識された顔領域に該当する画像情報と入力されたユーザ情報をリンクさせる。そして、制御部１５０は、入力されたユーザ情報及び認識された顔領域をイメージと共に表示部１２０に表示し、６７０ステップで入力部１４０を介して格納が選択されたかどうかを判断する。

入力部１４０を介して格納が選択されると、制御部１５０は、６７５ステップで、格納部１１０を制御し、認識された顔領域に該当する画像情報と、リンクされたユーザ情報に該当するリンク情報とを顔認識情報に含めて格納し、イメージは携帯端末機に格納される文書、音楽、電話番号データのような他のデータと共に格納した後、図４へ戻る。

ここでは、ユーザ情報を登録する方法として検索登録及び直接登録を実施形態で説明した。しかしそれら以外にも、ユーザ情報を登録する方法は、イメージが格納されるファイル名を用いてユーザ情報を登録することができる。より詳細には、ユーザが入力部１４０を介してイメージを格納するためのファイル名を入力した後、顔認識を選択すると、制御部１５０はこれを感知してイメージに含まれた顔領域を認識する。そして、制御部１５０は、認識された顔領域に該当する画像情報を分析した後、イメージを格納するためのファイル名を格納部１１０に格納されたグループ別、又はユーザ別にユーザ情報と比較する。そして、ファイル名と一致するユーザ情報が確認されれば、制御部１５０は、確認されたユーザ情報を分析された画像情報とリンクし、表示部１２０を制御して、認識された顔領域と確認されたユーザ情報とをイメージに含めて表示することができる。

そして、新しく分析された画像情報を格納するとき、制御部１５０は、ユーザ別に本来格納されていた画像情報を削除した後、新しく分析された画像情報を格納することができる。又は、制御部１５０は、本来格納されていた画像情報と新しく分析された画像情報とを、画像情報に該当するユーザ別にまとめて格納することができる。

再び、図４の４１０ステップで画像情報登録が選択されなければ、制御部１５０は、４３０ステップで画像情報によるイメージフォルダ管理が選択されるのかを確認する。メニュー又は機能キー等によってイメージフォルダ管理が選択されると、制御部１５０は４４０ステップでイメージフォルダ管理機能を実行する。４４０ステップは、図７ないし図９を参照しながら説明する。

図７によると、入力部１４０を介してイメージフォルダ管理が選択されると、制御部１５０は７１０ステップでフォルダ管理画面を表示部１２０に表示する。この場合、表示部１２０は、イメージを表示できるイメージ表示領域、イメージを項目別に分類できるフィルタリング領域、及びメニュー、確認等を選択できるメニュー選択領域に区分されることができる。フィルタリング領域には、イメージを分類するための項目が表示される。ここで、分類のための項目は、人別、グループ別、フォルダ別等にすることができる。

次いで、制御部１５０は、７１５ステップで、フィルタリング領域でイメージを分類するための項目中、少なくとも一つの項目が選択されたかどうかを判断する。ユーザが、入力部１４０を介してフィルタリング領域を選択し、方向キーを用いて選択されたフィルタリング領域で項目を選択すると、制御部１５０は、７２０ステップで選択された項目に該当するイメージを分類してイメージ表示領域に表示する。ここで、フィルタリングできる項目は、ユーザ別、グループ別、設定されたフォルダ別等にすることができる。そして、複数の人たちの顔領域を含む団体イメージをフィルタリングして表示する時、又は団体イメージに含まれるそれぞれの顔領域に該当するユーザ又はグループが選択される時、制御部１５０は、選択されたユーザ又はグループに含まれる他のイメージと共にイメージ表示領域に表示することができる。

イメージが表示された後、制御部１５０は、７２５ステップで表示されたイメージから特定のイメージが選択されるのかを判断する。ユーザが入力部１４０に備えられた方向キー等を用いて特定のイメージを選択すると、制御部１５０は、７３０ステップで選択されたイメージをイメージ表示領域に表示する。そして、制御部１５０は７３５ステップで顔認識機能が選択されるのかを判断する。顔認識機能が選択されるのかを判断する方法は、メニュー選択又は機能キー等の入力で判断することができるが、表示部１２０にイメージが表示されている状態で通話キーが入力されれば、制御部１５０は通話キー入力を顔認識機能を選択するための信号として判断することができる。

メニュー又は機能キーによって顔認識機能が選択されると、制御部１５０は、７４０ステップでイメージに含まれた顔領域から画像情報を分析する。そして、制御部１５０は、７４５ステップで分析された画像情報にリンクされたユーザ情報が存在するのかを判断する。もし、リンクされたユーザ情報が存在しなければ、制御部１５０は７５０ステップでユーザ情報登録が選択されたかどうかを判断する。ユーザ登録が選択されれば、制御部１５０は７５５ステップでユーザ情報登録を実行する。次に、制御部１５０は、７６０ステップで顔領域及びユーザ情報をイメージと共に表示する。ここで、７５５ステップは図６の詳細な説明と同一であるため、７５５ステップの詳細な説明は省略することにする。他方、ユーザ登録が選択されなければ、制御部１５０は、７５７ステップで認識された顔領域に該当するユーザ情報がないことと、顔領域とをイメージに表示する。次に、制御部１５０は７３０ステップへ戻って選択されたイメージを再表示する。

再び、７４５ステップから戻り、ユーザ情報が存在すると、制御部１５０は７６０ステップで顔領域及びユーザ情報をイメージと共に表示する。そして、制御部１５０は、７６５ステップで画像情報を利用する機能が選択されるのかを判断する。ここで、実行できる画像情報を用いた機能には、通信機能、待機画面設定機能、コーラーＩＤ設定機能、顔領域の編集機能等が含まれる。ユーザがメニューを選択すると、制御部１５０は、表示部１２０を制御し、画像情報を用いて実行できる機能をリストで表示する。そして、ユーザが、入力部１４０を介してリストで表示された機能の中から特定の機能を選択すると、制御部１５０は７７０ステップで選択される機能を実行する。ここで、７７０ステップを、図８を参照しながら詳細に説明する。

図８によると、顔領域とユーザ情報とをイメージと共に表示した制御部１５０は、８１０ステップで通信機能が選択されたかどうかを判断する。通信機能が選択されると、制御部１５０は８１５ステップで通信機能を実行する。すなわち、制御部１５０は、表示されたユーザ情報を用いて、入力部１４０を介して選択される通信機能を実行する。ここで、通信機能を実行するステップである８１５ステップは、図１０の詳細な説明で後述することにする。

他方、通信機能が選択されなければ、制御部１５０は８２０ステップで待機画面設定が選択されたかどうかを判断する。ユーザが入力部１４０を介して待機画面設定を選択すると、制御部１５０は、８２３ステップで表示されたイメージを拡大して表示部１２０の全体画面に表示する。そして、制御部１５０は、イメージにリンクされたユーザ情報と顔領域の表示を維持するのかを選択できる選択窓を表示する。次に、制御部１５０は、８２５ステップで、ユーザ情報と顔領域表示の維持が選択されるのかを判断する。

ユーザ情報と顔領域表示の維持が選択されれば、制御部１５０は、８２７ステップでユーザ情報と顔領域が表示されたイメージを待機画面として格納する。他方、表示維持が選択されなければ、制御部１５０は、８２９ステップでユーザ情報と顔領域を除去してイメージだけを待機画面に設定する。

制御部１５０は、ユーザの選択によって、待機画面に設定されたイメージに含まれた少なくとも一つの顔領域にリンクされたユーザ情報を用いて通信機能のような多様な機能を実行することができる。このような機能を利用するため、ユーザは、よく連絡する相手の顔領域が含まれたイメージを一つのイメージに編集した後、待機画面に設定することもできる。すると、制御部１５０は、設定された待機画面に含まれた相手の顔領域を認識し、認識されたそれぞれの顔領域に該当するユーザ情報をリンクして格納することができる。

入力部１４０を介して、多数のユーザ情報がリンクされた顔領域が含まれた待機画面から顔領域及び通信機能が選択されると、制御部１５０は、選択された顔領域にリンクされたユーザ情報を用いて通信機能を実行することができる。ここで、待機画面として顔領域及びユーザ情報が含まれたイメージが設定された時にキャンセルキー又は終了キーが入力されると、制御部１５０は、表示していたイメージを削除し、本来設定されていた待機画面を表示することができる。また、待機画面の表示中に入力部１４０を介して確認キー又は通話キーが長く入力されると、制御部１５０は、これを感知し、本来選択されていたユーザ情報がリンクされた顔領域が含まれたイメージを、表示部１２０に待機画面として表示することができる。

しかし、８２０ステップで待機画面設定が選択されなければ、制御部１５０は、８３０ステップでコーラーＩＤ設定が選択されるのかを判断する。入力部１４０を介してコーラーＩＤ設定が選択されると、制御部１５０は、８３５ステップでコーラーＩＤ設定機能を実行する。８３５ステップは、図９を参照しながら詳細に説明する。

図９によると、制御部１５０は、９１０ステップでコーラーＩＤに設定する顔領域が選択されるのかを判断する。ユーザが、入力部１４０に備えられた方向キーを用いて顔領域を選択すると、制御部１５０は、９１５ステップで、格納部１１０に格納されたユーザ情報から選択された顔領域にリンクされたユーザ情報を確認する。

次いで、制御部１５０は、９２０ステップで確認されるユーザ情報が存在するのかを判断する。ユーザ情報が存在しなければ、制御部１５０は、９３０ステップでユーザ情報選択窓を表示部１２０に表示する。ここで、ユーザ情報選択窓は、電話帳のようにユーザの名前、電話番号、メールアドレス等を表示することができ、検索語が入力できる入力窓と共に表示することができる。次に、制御部１５０は９３５ステップでユーザ情報が選択されたかどうかを判断する。ユーザが、入力部１４０を介して、又は検索語等を入力してユーザ情報を選択すると、制御部１５０は選択されたユーザ情報を確認する。そして、制御部１５０は、９４０ステップで選択された顔領域のみをクロップして表示部１２０に表示する。再び、９２０ステップへ戻り、顔領域に該当するユーザ情報が存在すれば、制御部１５０は、９４０ステップで選択された顔領域のみをクロップして表示部１２０に表示する。

次いで、制御部１５０は９５０ステップで格納が選択されるのかを判断する。入力部１４０を介して格納が選択されると、制御部１５０は、９６０ステップで格納部１１０を制御し、クロップされた顔領域をユーザ情報とマッチして、すなわち対応付けてコーラーＩＤとして格納する。

再び、図８へ戻り、８３０ステップでコーラーＩＤ設定が選択されなければ、制御部１５０は８４０ステップで顔領域の編集が選択されるのかを判断する。顔領域の編集機能は、イメージから認識された顔領域のサイズが正確に認識されていない場合や、本来の顔領域からずれた位置が顔領域と認識された場合、及び顔領域が存在するにもかかわらず顔領域が認識されなかった場合に、ユーザが認識された顔領域の範囲を編集できる機能である。

顔領域の編集が選択されると、制御部１５０は、８４５ステップでユーザ選択による顔領域の編集を実行する。より詳細には、メニュー又は機能キー等によって顔領域の編集が選択されると、制御部１５０は、サイズ編集、位置編集、顔領域の追加(顔領域の手動設定)等の編集方法が選択できる選択窓を表示し、ユーザが顔領域の編集方法を選択することができる。そして、制御部１５０は、ユーザの選択による編集方法で顔領域を編集することができる。この時、顔領域を編集する方法は、認識された顔領域のサイズ、位置等を編集する方法である。

例えば、イメージに含まれた顔領域のサイズが正確に認識されていない場合、顔領域を編集するステップは次のようになる。入力部１４０を介して顔領域サイズの編集が選択されると、制御部１５０は、顔領域の編集のため、選択された顔領域を表示するフレームを確認する。そして、ユーザが方向キーを入力すると、制御部１５０は、入力される方向キーに応じて確認されたフレームのサイズを調節することができる。フレームサイズの拡大は右側の方向キーで、フレームサイズの縮小は左側の方向キーで調節すると設定したと仮定する。すると、制御部１５０は、顔領域のサイズを編集する時、右側の方向キーが入力されるとフレームのサイズを拡大し、左側の方向キーが入力されるとフレームのサイズを縮小することができる。

また、顔領域の手動設定が選択された場合、制御部１５０は、表示部１２０に顔領域を表示できるフレームを表示する。そして、入力部１４０を介してフレームの位置及びサイズが選択されると、制御部１５０はフレームが位置した領域を顔領域と判断する。そして、制御部１５０は、フレームが位置した領域に該当する画像情報を分析することができる。

仮に、ユーザが、入力部１４０を介して編集しようとする顔領域を選択した後、編集方法を選択すると、制御部１５０は、選択された顔領域を選択された編集方法で編集することができる。例えば、ユーザが入力部１４０を介して編集する顔領域を先に選択した後、メニュー等によって編集方法を選択すると、制御部１５０は、選択された顔領域を選択された編集方法で編集して格納することができる。

顔領域の編集が完了すると、制御部１５０は８５０ステップで格納が選択されるのかを判断する。入力部１４０を介して格納が選択されると、制御部１５０は、８５５ステップで編集されたフレームに含まれた顔領域を再認識して格納する。そして、制御部１５０は図４へ戻る。

図４の４３０ステップで、画像情報によるイメージフォルダ管理が選択されなければ、制御部１５０は、４５０ステップで画像情報による通信機能の実行が選択されたかどうかを判断する。通信機能の実行が選択されると、制御部１５０は４６０ステップで通信機能を実行する。ここで、４６０ステップを、図１０を参照しながら説明する。

図１０によると、制御部１５０は１１００ステップで音声通話機能が選択されるのかを判断する。すなわち、顔領域とユーザ情報とが表示されたイメージが表示されており、メニュー入力領域でメニューが選択されると、制御部１５０は、音声通話機能、画像通話機能、メール送信機能を選択できる選択窓を表示する。そして、制御部１５０は、表示された選択窓で音声通話機能、画像通話機能、又はメール送信機能の中からいずれが選択されたかを判断する。

本発明において、制御部１５０は、イメージに表示された顔領域とユーザ情報とを用いて通信機能を実行することができる。例えば、待機画面で認識された顔領域に該当するユーザ情報が存在するイメージであれば、制御部１５０は、ユーザによって選択されたユーザ情報を用いて音声通話、画像通話、メール送信等を実行することができる。また、格納部１１０にイメージフォルダ管理機能等のように格納されたイメージを表示部１２０に表示するステップにおいても、表示部１２０に表示されたイメージからユーザ情報がリンクされた顔領域が認識されると、制御部１５０は、ユーザによって選択された顔領域にリンクされたユーザ情報を用いて通信機能を実行することができる。

音声通話が選択されると、制御部１５０は、１１０５ステップで、表示部１２０を制御し、認識された顔領域に該当するユーザ情報をリストで表示する。この時、ユーザ情報が表示されるリストには、名前だけでなく電話番号まで表示することができる。次いで、制御部１５０は、１１１０ステップで音声通話を実行するユーザ情報が選択されたかどうのかを判断する。音声通話を実行するユーザ情報が選択されると、制御部１５０は、１１２０ステップで無線通信部１３０を制御し、選択されたユーザ情報に該当する相手の携帯端末機と音声通話機能を実行する。

しかし、音声通話が選択されなければ、制御部１５０は、１１３０ステップで画像通話機能が選択されるのかを判断する。画像通話が選択されると、制御部１５０は、１１３５ステップで認識された顔領域に該当するユーザ情報から画像通話が可能なユーザ情報を表示する。そして、制御部１５０は、１１４０ステップで画像通話するユーザ情報が選択されるのかを判断する。ここでも、音声通話を実行するためのユーザ情報を表示するステップと同様に、電話番号を名前と共に表示部１２０に表示することができる。画像通話するユーザ情報が選択されると、制御部１５０は、１１４５ステップで無線通信部１３０を制御し、選択されたユーザ情報に該当する相手の携帯端末機と画像通話機能を実行する。

他方、１１３０ステップで画像通話が選択されなければ、制御部１５０は１１５０ステップでメール送信が選択されるのかを判断する。メール送信が選択されると、制御部１５０は、１１５５ステップでユーザ情報及びテキスト入力窓を表示部１２０に表示する。例えば、表示部１２０は、制御部１５０の制御の下、イメージに含まれたユーザ情報が表示されたユーザ情報選択窓と、メール内容を入力できるテキスト入力窓を表示することができる。ここで、ユーザ情報は、名前だけでなく電話番号又はメールアドレスを含むことができる。

そして、制御部１５０は、１１６０ステップでユーザ情報選択及びメール内容の入力完了が選択されるのかを判断する。ユーザが、メールを送るユーザ情報を選択し、メール内容を入力した後、メニュー又は確認キーを入力すると、制御部１５０は、１１６５ステップで無線通信部１３０を制御し、ユーザ情報に該当する相手の携帯端末機にメールを送信する。このように、通信機能を実行した制御部１５０は図４へ戻る。

ここでは、制御部１５０は、通信機能が選択されると、イメージにリンクされたユーザ情報を表示し、表示されたユーザ情報の中から選択されるユーザ情報を用いて通信機能を実行すると説明した。しかし、それ以外にも、入力部１４０を介してイメージに表示された顔領域の中から特定の顔領域が選択された後、通信機能が選択されると、制御部１５０は、選択された顔領域に該当するユーザ情報を用いて選択された通信機能を実行することができる。

再び、図４の４５０ステップで、画像情報による通信機能実行が選択されなければ、制御部１５０は、４７０ステップでセキュリティ機能実行が選択されるのかを判断する。入力部１４０を介してセキュリティ機能実行が選択されると、制御部１５０は、４８０ステップで選択されたセキュリティ機能を実行する。ここで、４８０ステップを、図１１を参照しながら詳細に説明する。

ここで、セキュリティ機能は、携帯端末機で実行される全ての機能に設定することができる。例えば、イメージフォルダ管理機能、発信電話制限機能、ログデータ確認機能、電子ダイアリー(スケジュール管理、メモ等)機能、フォーンブック(Ｐｈｏｎｅ Ｂｏｏｋ)機能等、ユーザが他人と共有したがらない機能を保護するためにセキュリティ機能を設定することができる。本実施形態では、ＤＭＢ機能の実行時、有料チャンネルの視聴を制限するために設定されたセキュリティ機能を、仮定して説明する。

図１１によると、入力部１４０を介してＤＭＢ機能が選択されると、制御部１５０は１２００ステップでＤＭＢメイン画面を表示部１２０に表示する。ここで、ＤＭＢメイン画面は、デジタル放送チャンネルが選択できるチャンネルリスト、及びＤＭＢ機能から選択されて実行できるメニューを表示する。

ＤＭＢメイン画面を表示した制御部１５０は、１２０５ステップで有料チャンネルが選択されるのかを判断する。有料チャンネルが選択されなければ、制御部１５０は、1２１０ステップで入力部１４０を介して選択されるチャンネルから受信された放送データを表示部１２０に表示する。

他方、入力部１４０を介して有料チャンネルが選択されると、制御部１５０は、１２１５ステップで、有料チャンネル視聴を制限するためのセキュリティ機能が設定されているのかを判断する。セキュリティ機能が設定されていれば、制御部１５０は、1２２０ステップでカメラ部１６０を駆動してイメージを獲得する。そして、制御部１５０は、１２２５ステップで、カメラ部１６０を介して入力されたイメージから顔領域が認識されるのかを判断する。顔領域が認識されると、制御部１５０は、1２３０ステップで認識された顔領域の画像情報を分析する。そして、制御部１５０は、１２３５ステップで分析された画像情報と、格納部１１０に格納された画像情報とが一致するのかを判断する。

もし、分析された画像情報と格納された画像情報とが一致すると、制御部１５０は、1２４０ステップで、選択された有料チャンネルから受信される放送データを表示部１２０に表示する。他方、分析された画像情報と格納された画像情報とが一致しなければ、制御部１５０は1２５０ステップで該当する画像情報がないことを表示する。又は、制御部１５０は、有料チャンネル視聴が制限されていることをポップアップで表示部１２０に表示する。

次に、制御部１５０は１２５５ステップで顔領域の再認識が選択されるのかを判断する。すなわち、該当する画像情報がないことを表示した制御部１５０は、顔領域を再認識するのか否かを選択できる選択窓を表示する。そして、入力部１４０を介して顔領域の再認識が選択されると、制御部１５０は1２２０ステップへ戻って顔領域を認識するステップを再実行する。ここで、ＤＭＢ機能において、画像情報を用いてセキュリティ機能を実行すると仮定して説明したが、私生活保護機能、発信電話制限機能等においても画像情報を用いてセキュリティ機能を実行することができる。例えば、ユーザが、入力部１４０を介して電話番号を入力し通話キーを入力すると、制御部１５０は発信電話制限機能が設定されているのかを判断する。発信電話制限機能が設定されていると、制御部１５０は、カメラ部１６０を介して入力されるイメージから顔領域を認識して画像情報を分析する。次いで、制御部１５０は、分析された画像情報が格納部１１０に格納された画像情報と一致するのかを判断する。画像情報が一致すると、制御部１５０は電話番号をタイヤルし、無線通信部１３０を介してダイヤルされた電話番号に該当する相手の携帯端末機と通信機能を実行することができる。

再び、図４に戻って、４７０ステップでセキュリティ機能が選択されなければ、制御部１５０は、４９０ステップでメニュー又は機能キーによって選択される機能を実行する。ここで、実行できる機能は、通信機能のように従来の携帯端末機で実行できる全ての機能である。

図１２ないし図１６ｂは、画像情報を介してそれぞれの機能が実行される画面を例示した画面例示図である。図１２は、本発明の実施形態に係る顔領域とユーザ情報とを表示する画面を例示した画面例示図である。図１３は、本発明に係るイメージフォルダ管理画面を例示した画面例示図である。図１４は、本発明によってイメージフォルダ管理機能を実行する時、顔領域を表示する画面を例示した画面例示図である。図１５は、本発明によって、イメージフォルダ管理機能中、コーラーＩＤを設定する画面を例示した画面例示図である。図１６ａ及び図１６ｂは、本発明によって、イメージフォルダ管理機能中、認識された顔領域を編集する画面を例示した画面例示図である。

図１２は、カメラ等を介して入力されたイメージや、格納部１１０に格納されたイメージを表示部１２０に表示した後、顔認識機能が選択された時に表示部１２０に表示される画面を例示した図面である。より詳細には、イメージが表示部１２０に表示された後、ユーザが通話キー又は機能キーを入力すると、制御部１５０は表示部１２０に表示されたイメージから顔領域を認識する。そして、制御部１５０は、認識された顔領域から画像情報を分析し、分析された画像情報に該当するユーザ情報を確認する。そして、制御部１５０は、確認されたユーザ情報と認識された顔領域とを、図１２のように表示部１２０を制御して表示する。ここで、ユーザ情報と認識された顔領域とを四角フレームを用いて表示すると説明したが、ユーザの設定によって、又は、携帯端末機の製造会社の設定によって、顔領域及びユーザ情報を表示する方法はそれぞれ異なる場合もある。

図１３は、イメージフォルダ管理機能が選択された時に表示されるメイン画面を例示した図面である。メニュー又は機能キー等によってイメージフォルダ管理機能が選択されると、制御部１５０は、表示部１２０を制御し、図１３のようにイメージが表示できるイメージ表示領域１２１、イメージをフォルダ別、人別、グループ別に分類できるフィルタリング領域１２３、メニューを選択できるメニュー選択領域１２５に区分して表示することができる。

図１４は、イメージフォルダ管理機能の実行時、イメージ表示領域１２１に表示されたイメージから顔認識機能が実行された画面を例示した図面である。より詳細には、イメージフォルダ管理機能で選択されたイメージが表示部１２０に表示される。入力部１４０を介して通話キー又は機能キーによって顔認識機能が選択されると、制御部１５０は、イメージに含まれた顔領域を認識し、図１４のようにイメージ表示領域１２１に表示することができる。

図１５は、イメージフォルダ管理機能中、コーラーＩＤが設定される画面を例示した画面例示図である。より詳細には、顔領域が認識されたイメージからユーザが入力部１４０を介してコーラーＩＤで使用する顔領域を選択した後、メニュー又は機能キーによってコーラーＩＤ設定を選択すると、制御部１５０は、選択された顔領域をクロップして図１５のように表示部１２０に表示する。そして、制御部１５０は、認識された顔領域に該当するユーザ情報と共にクロップされた顔領域をコーラーＩＤとして格納することができる。

図１６ａ及び図１６ｂは、イメージフォルダ管理機能中、認識された顔領域を編集する画面を例示した図面である。より詳細には、図１６ａのように、認識された顔領域が本来の顔領域より小さいか、位置が誤っている場合、ユーザが方向キー等を用いて編集しようとする顔領域を選択した後、メニュー又は機能キーによって顔領域の編集機能を選択する。すると、制御部１５０は、これを感知して選択された顔領域を確認し、顔領域に表示されたフレームのサイズ及び位置を、入力部１４０を介して入力されるユーザの選択によって図１６ｂのように変更することができる。

以上では、画像情報を用いた機能を実行する方法で表示部１２０に表示されたイメージから予め顔領域が認識され、認識された顔領域にリンクされたユーザ情報が含まれている場合、入力部１４０を介して選択される機能を実行する方法について説明した。このような方法以外にも、カメラ機能が実行されている時、入力されたイメージを表示部１２０に表示しているか、表示部１２０に格納部１１０に格納されたイメージを表示している場合、ユーザが入力部１４０を介して顔認識機能を選択すると、制御部１５０は、表示部１２０に表示しているイメージから顔領域のみを認識し、認識された顔領域に該当する画像情報を分析して、分析された画像情報に該当するユーザ情報を認識された顔領域にリンクし、表示部１２０に表示されたイメージと共に認識された顔領域及びユーザ情報を表示することができる。

図１７は、本発明の他の実施形態に係るカメラ機能の実行時、画像情報を登録する方法を示すフロー図である。

図１７によると、１７０１ステップで携帯端末機のモードが待機モードであれば、制御部１５０は、１７０５ステップでカメラ機能が選択されるのかを判断する。もし、ユーザが、メニュー又は機能キー等によってカメラ機能を選択せずに他の機能を選択したとすると、制御部１５０は１７１０ステップで選択された機能を実行する。

しかし、入力部１４０を介してカメラ機能が選択されたとすると、制御部１５０は、１７１０ステップでカメラ部１６０を駆動し、駆動されたカメラ部１６０を介して入力されるプレビューイメージを表示する。次に、制御部１５０は、１７１５ステップで画像情報登録が選択されるのかを判断する。もし、入力部１４０を介して画像情報登録が選択されなければ、制御部１５０は１７２０ステップで他の機能が選択されるのかを判断する。そして、入力部１４０を介して機能が選択されると、制御部１５０は１７２５ステップで選択される機能を実行する。ここで、選択される機能は、イメージ撮影、カメラ環境設定等、カメラ機能時に一般的に行われる機能が含まれる。

仮に、１７１５ステップで通話キーが入力されるか、メニュー及び機能キーによって画像情報登録が選択されると、制御部１５０は、１７３０ステップで表示されるプレビューイメージから顔領域が認識されるのかを判断する。

以下、１７３５ステップから１７７０ステップまでは、図５の５３０ステップから５７０ステップまでと同じステップであるため、以下、詳細な説明は省略する。簡単に要約すると、制御部１５０は、顔領域を認識し、認識された顔領域に該当する画像情報を分析する。そして、制御部１５０は、分析された画像情報に係るユーザ情報を確認して分析された画像情報にリンクし、リンクされたユーザ情報をキャプチャーされたイメージに顔領域と共に表示することができる。ここで、イメージに顔領域及びユーザ情報をフレームで表示してもよい。一方、この時、分析された画像情報に該当するユーザ情報がない場合は、制御部１５０は、ユーザの選択によって画像情報に該当するユーザ情報を登録することができる。

このような画像情報登録方法として、カメラ機能でイメージをキャプチャーする時に画像情報を登録することを例示して説明したが、制御部１５０は、ユーザの選択によってキャプチャーされたイメージを格納部１１０に格納し、格納されたイメージを表示するステップでも画像情報を登録することができる。より詳細には、制御部１５０は、カメラ機能で撮影したイメージを格納した後、格納されたイメージを表示する。そして、入力部１４０を介して顔領域認識機能が選択されると、制御部１５０は、表示されたイメージから顔領域を認識し、認識された顔領域に該当する画像情報を分析する。次に、制御部１５０は、分析された画像情報に係るユーザ情報をリンクして表示することができる。この場合、制御部１５０は、イメージだけでなく分析された画像情報とリンクされたユーザ情報に該当するリンク情報とを格納部１１０に格納することもできる。

また、外部端末機又はインターネット等を介してダウンロードしたイメージを表示部１２０に表示する時も、制御部１５０はユーザの選択によって顔認識機能を実行し、画像情報を登録することができる。例えば、ユーザが入力部１４０を介してダウンロードしたイメージを選択すると、制御部１５０は表示部１２０に選択されたダウンロードしたイメージを表示する。そして、再び、通話キー入力、又はメニュー、機能キーによって顔認識機能が選択されると、制御部１５０はダウンロードしたイメージから顔領域を認識する。次に、制御部１５０は、認識された顔領域に該当する画像情報及びユーザ情報を確認して表示する。そして、制御部１５０は、ダウンロードしたイメージと共に画像情報及びユーザ情報を格納部１１０に格納することもできる。

本発明において、イメージフォルダ管理機能の選択時、顔領域認識機能が選択されると、制御部１５０は、選択されたイメージに顔領域及びユーザ情報を表示すると説明した。ここで、イメージフォルダ管理機能の選択時、制御部１５０は、格納部１１０を確認してユーザ情報及び顔領域に該当する画像情報を含むイメージを、確認されたユーザ情報及び顔領域と共に表示されるように表示部１２０を制御することができる。また、イメージフォルダ管理機能には、外部端末機又はインターネットを介してダウンロードされたイメージを表示する機能、カメラ部１６０を介して撮影されたイメージを表示する機能、及び格納部１１０に格納されたイメージを表示する機能等が含まれる。

以上では、本発明において、特定の好ましい実施形態について図示し、説明した。しかし、本発明は、前述した実施形態に限定されることではなく、特許請求の範囲に添付する本発明の要旨を逸脱せず、当該発明の属する技術分野における通常の知識を有する者であれば、多様な変形実施も可能である。

Claims (15)

1. 画像情報登録が選択されると、表示されたイメージから顔領域を認識するステップと、
   前記認識された顔領域に該当するユーザ情報があるのかを判断するステップと、
   前記ユーザ情報が存在すると、前記イメージに前記顔領域と前記ユーザ情報とを表示するステップと、
   前記ユーザ情報が存在しないと、前記ユーザ情報を登録するステップと、
   前記イメージに前記顔領域と前記登録されたユーザ情報とを表示するステップと、
   を含むことを特徴とする画像情報活用方法。
2. 前記ユーザ情報を登録するステップは、
   前記ユーザ情報を登録するために、直接登録、検索登録及びファイル名を用いた登録の中から少なくとも一つが選択されたかどうかを判断するステップと、
   前記選択された登録によってユーザ情報を登録するステップと、
   を備えることを特徴とする請求項１に記載の画像情報活用方法。
3. 前記ユーザ情報を登録するステップは、
   前記ユーザ情報を登録するために前記直接登録が選択されると、
   ユーザ情報入力窓を表示するステップと、
   前記表示されたユーザ情報入力窓にユーザ情報が入力されると、前記入力されたユーザ情報を前記顔領域にリンクして格納するステップと、
   を備えることを特徴とする請求項２に記載の画像情報活用方法。
4. 前記ユーザ情報を登録するステップは、
   前記ユーザ情報を登録するために、前記検索登録が選択されると、
   ユーザ情報検索窓を表示するステップと、
   前記ユーザ情報検索窓に検索語が入力されると、前記検索語に該当するユーザ情報を確認するステップと、
   前記検索語に該当するユーザ情報が存在すると、前記検索されたユーザ情報を前記顔領域にリンクして格納するステップと、
   を備えることを特徴とする請求項２に記載の画像情報活用方法。
5. 前記ユーザ情報を登録するステップは、
   前記イメージを格納するためのファイル名が入力され、前記ユーザ情報を登録するために、前記ファイル名を用いた登録が選択されると、
   前記ファイル名を含むユーザ情報が存在するのかを判断するステップと、
   ファイル名を含むユーザ情報が確認されると、前記確認されたユーザ情報を前記顔領域にリンクして格納するステップと、
   を備えることを特徴とする請求項２に記載の画像情報活用方法。
6. 前記ユーザ情報と顔領域とが表示されたイメージを待機画面に設定するステップをさらに備えることを特徴とする請求項１に記載の画像情報活用方法。
7. 通信機能が選択されると、
   前記待機画面に設定された前記イメージに含まれる顔領域とリンクされた前記ユーザ情報を表示するステップと、
   前記表示されたユーザ情報から選択されるユーザ情報を用いて前記選択された通信機能を実行するステップと、
   をさらに備えることを特徴とする請求項６に記載の画像情報活用方法。
8. イメージフォルダ管理機能が選択されると、フォルダ管理画面を表示するステップと、
   顔認識機能が選択されると、前記フォルダ管理画面に表示されたイメージに含まれた顔領域を認識するステップと、
   前記認識された顔領域に該当するユーザ情報が存在すると、前記ユーザ情報を前記顔領域と共に前記イメージに表示するステップと、
   前記イメージに表示された前記ユーザ情報を用いて、選択された画像情報を用いた機能を実行するステップと、
   をさらに含むこと特徴とする請求項１に記載の画像情報活用方法。
9. 前記画像情報を用いた機能は、
   通信機能、待機画面設定機能、コーラーＩＤ設定機能及び顔領域の編集機能のうちいずれかであることを特徴とする請求項８に記載の画像情報活用方法。
10. 前記画像情報を用いた機能を実行するステップは、
    前記待機画面設定機能が選択されると、
    前記イメージを全体画面に拡大して表示するステップと、
    前記ユーザ情報と前記顔領域との維持が選択されると、前記ユーザ情報と前記顔領域とが表示された前記イメージを前記待機画面に設定するステップと、
    を備えることを特徴とする請求項９に記載の画像情報活用方法。
11. 前記画像情報を用いた機能を実行するステップは、
    前記コーラーＩＤ設定機能が選択されると、
    前記イメージからコーラーＩＤに設定する顔領域が選択されたかどうのかを判断するステップと、
    前記選択された顔領域に該当するユーザ情報を確認し、前記イメージから前記顔領域のみをクロップ（ｃｒｏｐ）して表示するステップと、
    前記クロップされた顔領域を前記ユーザ情報と対応させてコーラーＩＤとして格納するステップと、
    を備えることを特徴とする請求項９に記載の画像情報活用方法。
12. 前記画像情報を用いた機能を実行するステップは、
    前記顔領域の編集機能が選択されると、
    編集方法を選択できる選択窓を表示するステップと、
    前記編集方法が選択されると、前記イメージに含まれた顔領域を編集するステップと、
    前記編集された顔領域を再認識して格納するステップと、
    を備えることを特徴とする請求項９に記載の画像情報活用方法。
13. 機能が選択されると、セキュリティ機能が設定されているのかを判断し、前記セキュリティ機能が設定されていると、
    カメラ部を駆動するステップと、
    前記カメラ部を介して入力されるイメージから顔領域を認識するステップと、
    前記認識された顔領域に該当する画像情報を分析し、格納された画像情報と一致するかどうかを判断するステップと、
    前記格納された画像情報と前記分析された画像情報とが一致すると、前記選択された機能を実行するステップと、
    をさらに含むことを特徴とする請求項１に記載の画像情報活用方法。
14. カメラ機能が選択されると、カメラ部を駆動し、入力されるプレビューイメージを表示するステップと、
    画像情報登録が選択されると、前記プレビューイメージから顔領域が認識されたかどうかを判断するステップと、
    前記認識された顔領域に該当する画像情報を分析し、前記分析された画像情報と一致する格納された画像情報が存在するのかを判断するステップと、
    前記分析された画像情報と一致する前記格納された画像情報が存在すると、前記格納された画像情報とリンクされたユーザ情報があるのかを判断するステップと、
    前記リンクされたユーザ情報が存在すると、前記顔領域及び前記ユーザ情報を前記イメージと共に表示するステップと、
    をさらに含むことを特徴とする請求項１に記載の画像情報活用方法。
15. 前記顔領域及び前記ユーザ情報を前記イメージと共に表示するステップでは、
    前記イメージに前記顔領域及び前記ユーザ情報をフレームで表示することを特徴とする請求項１４に記載の画像情報活用方法。

Images