JP2009135700A - 携帯端末装置 - Google Patents

Abstract

【課題】顔認証を行う対象となる動作を設定可能であり、また顔認証を実行していることが操作者に察知されない携帯端末装置を提供する。
【解決手段】制御部７は操作部２に対して行われた動作に応じて、当該動作が予め正規ユーザが認証処理を行うべき動作であると設定した設定項目に該当するか否かを記憶部６を参照して判定し、認証処理を行うか否かを決定する。
【選択図】図３

Description

本発明は、操作者の顔による顔認証を行う携帯端末装置に関する。

携帯電話等の携帯端末装置には、例えば、自らの電話番号、Ｅメールアドレス、名前住所等や、アドレス帳に登録した知人等の電話番号・Ｅメールアドレス等、個人情報が記憶されることが多い。そのため、不特定の操作者による操作を受け付けてしまうことは、セキュリティの観点から好ましくない。
セキュリティを向上させるために、最近では、操作に応じてカメラにより操作者の顔を撮影し、撮影した顔画像における目、鼻、口の位置や形状・大きさ、或いは輪郭の形や大きさ等の特徴情報をメモリ内に予め記憶された正規ユーザの特徴情報と比較することにより、顔認証処理を行い、その結果、特徴情報と正規ユーザの特徴情報との一致度が所定のしきい値を超えた場合に操作者を正規ユーザであると判断して、当該操作に応じた処理を実行する携帯端末装置が登場している（例えば特許文献１）。

特開２００７−３６３６５号公報

特許文献１には、操作を検出したときに顔画像を撮影し、特徴抽出部が撮影画像から抽出した特徴情報と予め登録された特徴情報との一致度が認証閾値よりも小さいと判定された場合に、エラー履歴情報管理部がそのときのエラー履歴情報をエラー履歴情報記憶部に格納し、正規ユーザとは異なる者、例えば携帯電話機を盗んだ者などが、その携帯電話機を不正に使用しようとして、その者の顔画像から特徴情報が抽出された場合にのみ、認証処理において認証に失敗した履歴情報をエラー履歴情報として格納し、携帯電話機を取り戻した後、エラー履歴情報からその者を特定することができる携帯情報端末装置が開示されている。

しかし、特許文献１に開示された携帯情報端末装置では、顔認証を行う全ての操作に応じて顔認証を行っていた。このため、頻繁に使用する、セキュリティ上あまり問題とならない機能、例えばゲーム機能などのアプリケーションを実行する場合にも、正規ユーザは顔認証を成功させなければならないため、機能の開始に時間がかかり、煩わしい、という不利益があった。

また、特許文献１に開示された携帯情報端末装置では、操作に応じて顔認証が実行されている時には顔認証実行中であることを示す画面が表示部に表示され、顔認証が行われていることを操作者が察知できてしまうため、不正な操作者が顔写真を撮られたことに危機感を覚え、携帯情報端末装置を破棄したり破壊してしまったりする事態が起こりえた。

本発明は、このような事態を回避するために、顔認証を行う対象となる動作を設定可能であり、また顔認証を実行していることが操作者に察知されない携帯端末装置を提供することを目的とする。

上述した不利益を解消するために、第１の発明の携帯端末装置は、無線通信を行う通信部と、操作者の顔を撮影可能な撮像部と、前記撮像部が撮影した顔画像を基に、顔認証処理を行う顔認証部と、複数の動作種別ごとに認証を行うべきか否かの設定を記憶する記憶部と、表示部と、制御部と、を有し、前記制御部は、前記無線通信の待ち受け状態において、所定の動作を受け付けたとき、当該所定の動作に対応した処理が、認証処理を行うべき処理であるか否かを前記記憶部に記憶された設定を基に判定し、認証処理を行うべき処理である場合は、顔認証処理に伴う画像を前記表示部に表示させることなく前記撮像部に前記操作者の顔を撮影させるとともに、前記顔認証部に顔認証処理を行わせ、当該顔認証処理の結果を基にした認証処理において、認証合格の場合は前記所定の動作に対応した処理を実行して当該処理に対応した第１の画面を前記表示部に表示させ、認証失敗である場合は前記所定の動作に対応した処理を実行せずに認証不可であったことを示す第２の画面を前記表示部に表示させる。

好適には、前記制御部は、受け付けた前記所定の動作に対応する処理が認証処理を行うべき処理であると判定すると、当該認証処理が完了するまで、前記第１の画像及び前記第２の画像と異なる第３の画像を前記表示部に表示させる。

好適には、前記第３の画像は、当該第３の画像を表示させる契機となった前記所定の動作の動作種別ごとに異なる画像である。

好適には、開状態と閉状態とを遷移可能な筐体を有し、前記複数の動作種別は、前記筐体を閉状態から開状態へと遷移させる動作を含む。

本発明によれば、顔認証を行う対象となる動作を設定可能であり、また顔認証を実行していることが操作者に察知されない携帯端末装置を提供することができる。

以下、本発明の実施形態について説明する。
以下説明する携帯端末１００は、本発明の携帯端末装置の一例である。
図１は、携帯端末１００の各構成について説明するためのブロック図である。
図１に示すように、携帯端末１００は、通信部１と、操作部２と、表示部３と、カメラ４と、顔認証部５と、記憶部６と、制御部７とを有する。

通信部１は、無線通信システムを捕捉し、通信ネットワークに接続される図示しない基地局との間で無線通信を行い、各種データの送受信を行う。各種データとは、音声通話時の音声データ、メール送受信時のメールデータ、ウェブ閲覧時のウェブページデータ等である。
操作部２は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キーなど、各種の機能が割り当てられたキーを有しており、これらのキーが操作者によって操作された場合に、その操作内容に対応する信号を発生し、これを操作者の指示として制御部７に出力する。

表示部３は、多数の画素（複数色の発光素子の組み合わせ）を縦横に配して構成される、例えば液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ（ＯＬＥＤ）を用いて構成されており、制御部７から供給される映像信号に応じた画像を表示する。表示部３は、例えば、通信部１による無線発信時における発信先の電話番号、着信時における発信元の電話番号、受信メールや送信メールの内容、日付、時刻、電池残量、発信成否、待ち受け画面等を表示する。
カメラ４は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の光電変換素子とその制御回路等により構成される撮像手段である。カメラ４は、操作者自身（操作者側）を撮影するためのイン側カメラ４１と、それ以外の被写体を撮影するためのアウト側カメラ４２とを有する。
なお、イン側カメラ４１は、筐体を操作する状態（すなわち開状態として、操作者が筐体を手に取り、表示部３に視線を向けた姿勢）において、操作者の顔に向けて光軸が設定される状態で、筐体に取り付けられており、テレビ電話等に用いられるカメラであることが好ましい。

顔認証部５は、イン側カメラ４１が撮影した操作者の顔画像と、記憶部６に予め記憶された正規ユーザの顔画像とをそれぞれの特徴（例えば眼、鼻、口、顔の輪郭の位置、大きさ、形等）を抽出することにより比較し、操作者の顔画像と正規ユーザの顔画像との特徴の一致率が所定のしきい値以上であった場合に認証合格であるとし、所定のしきい値未満であった場合に認証不合格であるとする顔認証処理を実行する処理装置である。なお、本実施形態では、イン側カメラ４１による顔画像の撮影と、顔認証部５の顔認証処理とを合わせて認証処理と称する。
記憶部６は、携帯端末１００の各種処理に利用される各種データを記憶する。例えば、制御部７が実行するコンピュータのプログラム、通信相手の電話番号や電子メールアドレス等の個人情報を管理するアドレス帳、着信音やアラーム音を再生するための音声ファイル、待ち受け画面用の画像ファイル、各種の設定データ、プログラムの処理過程で利用される一時的なデータ、顔認証部５の顔認証処理に使用される正規ユーザの顔画像、後述する設定項目、後述する非正規ユーザの顔画像等を記憶する。記憶部６は、例えば不揮発性の記憶デバイス（不揮発性半導体メモリ、ハードディスク装置、光ディスク装置など）やランダムアクセス可能な記憶デバイス（例えばＳＲＡＭ、ＤＲＡＭ）などによって構成される。

制御部７は、携帯端末１００の全体的な動作を統括的に制御する。すなわち、携帯端末１００の各種処理（回線交換網を介して行われる音声通話、電子メールの作成と送受信、インターネットのＷｅｂサイトの閲覧など）が操作部２の操作に応じて適切な手順で実行されるように、上述した各ブロックの動作（通信部１における信号の送受信、表示部３における画像の表示、カメラ４における撮像処理、顔認証部５における顔認証処理等）を制御する。制御部７は、記憶部６に格納されるプログラム（オペレーティングシステム、アプリケーションプログラム等）に基づいて処理を実行するコンピュータ（マイクロプロセッサ）を備えており、このプログラムにおいて指示された手順に従って上述した処理を実行する。すなわち、記憶部６に格納されるオペレーティングシステムやアプリケーションプログラム等のプログラムから命令コードを順次読み込んで処理を実行する。

また、制御部７は、携帯端末１００の各種機能を実行するための操作が操作部２を介して行われたとき、その操作に対して認証処理を行うべきか否かの判定を行う判定処理を実行する。制御部７は、判定処理において認証処理が行われるべきと判定した場合は、イン側カメラ４１に操作者の顔画像を撮影させて認証処理を実行し、そうでない場合は、顔認証部５に認証処理を実行せず、操作が要求した機能の実行を実施しない。
この制御部７の判定処理についての詳細は後述する。

図２は、携帯端末１００の外観の一例を示す図である。
図２に示すように、本実施形態の携帯端末１００は、折り畳み型の携帯電話を想定している。図２に示すように、携帯端末１００は、上部筐体１０１と、下部筐体１０２と、ヒンジ部１０３とを有する。

図２（ａ）は、携帯端末１００が開かれた状態（開状態）を示した図であり、図２（ｂ）は携帯端末１００の折り畳まれた状態（閉状態）を示した図である。
図２（ａ）に示すように、上部筐体１０１には、図２（ｂ）に示す携帯端末１００の閉状態においては外部には露出しない一面に表示部３及びイン側カメラ４１が配置されている。
また、図２（ａ）に示すように、下部筐体１０２には、図２（ｂ）に示す携帯端末１００の閉状態において外部には露出しない一面に操作部２が配置されている。また、下部筐体１０２の背面部（携帯端末１００の閉状態において外部には露出しない一面）にはアウト側カメラ４２が配置されている。
すなわち、図２（ａ）に示す携帯端末１００の開状態において、操作者が表示部３を見ながら操作部２を介した操作入力を行おうとするときには、イン側カメラ４１により操作者の顔画像の撮影が可能である。

ヒンジ部１０３は、上部筐体１０１と下部筐体１０２とを開閉し、図２（ａ）に示す携帯端末１００の開状態と図２（ｂ）に示す閉状態とを遷移可能とする回転軸を有するヒンジ機構である。なお、携帯端末１００の開状態／閉状態は、制御部７により監視されており、制御部７は携帯端末１００の閉状態を検出することが可能である。具体的には、例えば上部筐体１０１に配置した図示しない突起部により、下部筐体１０２の図示しない検出スイッチが押しているか否かを制御部７が監視することにより閉状態を検出している（すなわち検出スイッチが押下されていれば閉状態、そうでなければ開状態と判定）。なお、開閉検出は、スイッチに限らず、各種センサであってもよい。
また、イン側カメラ４１は上部筐体１０１に限らず、下部筐体１０２やヒンジ部１０３に配設されていてもよい。

以下、制御部７の判定処理の詳細について説明する。
図３は、制御部７の判定処理について説明するためのフローチャートである。
ステップＳＴ１：
制御部７は、上部筐体１０１と下部筐体１０２とが閉状態から開状態へと遷移したか否かを判定する。閉状態から開状態へと遷移する開動作を検出した場合はステップＳＴ２へ進み、そうでない場合はステップＳＴ１を繰り返す。

ステップＳＴ２：
制御部７は、ステップＳＴ１で検出した開動作が認証処理の対象となる設定項目に該当するか否かの判定を記憶部６を参照して行う。
設定項目とは、携帯端末１００の各機能に対して、その機能の実行を要求する操作がなされた場合に、認証処理を行い認証に合格した場合のみ当該機能を実行すると設定された項目であり、予め正規ユーザによって設定され記憶部６に記憶されているものである。すなわち、携帯端末１００の各機能の実行を要求する各操作（例えば、メール機能を実行するための操作、ＷＥＢ閲覧機能を実行するための操作、発信操作等）に対して、予め正規ユーザが認証処理を行うべき操作であると設定した操作が、設定項目として記憶部６に記憶される。
すなわち、本ステップＳＴ２においては、制御部７は、開動作が設定項目として記憶部６に記憶されているか否か、を判定し、開動作が設定項目に含まれる場合はステップＳＴ３に進み、そうでない場合はステップＳＴ７に進む。

ステップＳＴ３：
制御部７は、ステップＳＴ２において開動作が設定項目であると判定された場合、認証処理を開始する。
すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。

ステップＳＴ４：
制御部７は、表示部３にダミー画面（本発明の第３の画面に対応）の１つであるダミーの待ち受け画面を表示させる。
ダミー画面とは、ステップＳＴ３において開始された認証処理が完了するまでの間、操作者に認証処理が実行されていることを悟られないために表示する画面である。従来の顔認証を行う携帯端末装置では、何らかの操作に応じて認証処理が開始されてから完了するまでの間は、認証処理の実行中であることを示す画面（例えば「顔認証実行中」等のメッセージを含む画面）が表示されていたところであるが、本実施形態の携帯端末１００では、その代わりに、予め記憶部６に記憶されているダミー画面を表示部３に表示させることにより、認証処理が実行中であることを操作者に察知させないことが可能である。
ここで、本実施形態の携帯端末１００では、ダミー画面として、認証処理の契機となった操作に対して本来表示されるべき画面のダミーが表示される。従って、本ステップＳＴ４においては、ステップＳＴ１における開動作に応じて本来表示されるべき画面、すなわち待ち受け画面のダミーが表示されることになる。なお、ダミーの待ち受け画面としてどのような画面を表示部３に表示させるかについては本実施形態では特に限定しないが、できるだけ操作者に不審を抱かせない画面、すなわち待ち受け画面であると一目で理解されるような画面であることが望ましい。

ステップＳＴ５：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ６に進み、認証に失敗した場合は後述する図４に示すフローチャートのＡに進む。そして、これにより、正規ユーザが登録していた本来の待ち受け画面（例えば正規ユーザの子供の写真等）が、正規ユーザ以外の操作者に見られることがなくなる。
ステップＳＴ６：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。

ステップＳＴ７：
制御部７は、表示部３に正規の待ち受け画面（本発明の第１の画面に対応）、すなわちステップＳＴ４において表示させたダミーの待ち受け画面ではない、正規ユーザによって予め設定された待ち受け画面を表示させる。

以後、ステップＳＴ１０〜ステップＳＴ１６は、メール画面或いはＷＥＢ閲覧画面の表示を要求する操作がなされた場合の処理である。
ステップＳＴ１０：
制御部７は、メール画面或いはＷＥＢ閲覧画面表示を要求する操作、すなわち、例えば操作部２のうちの１つであるメールキー或いはＷＥＢキーの押下を検知したか否かの判定を行う。メール画面或いはＷＥＢ閲覧画面表示を要求する操作を検知した場合はステップＳＴ１１に進み、そうでない場合はステップＳＴ２０に進む。
ステップＳＴ１１：
制御部７は、ステップＳＴ１０において検知した操作、すなわちメール画面或いはＷＥＢ閲覧画面表示を要求する操作が認証処理の対象となる設定項目であるか否かの判定を記憶部６を参照して行う。すなわち、制御部７は、メール画面或いはＷＥＢ閲覧画面表示を要求する操作が設定項目として記憶部６に記憶されているか否か、を判定し、設定項目に含まれる場合はステップＳＴ１２に進み、そうでない場合はステップＳＴ１５に進む。

ステップＳＴ１２：
制御部７は、ステップＳＴ１１においてメール画面或いはＷＥＢ閲覧画面表示を要求する操作が設定項目であると判定された場合、認証処理を開始する。すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。

ステップＳＴ１３：
制御部７は、ダミー画面の１つであるダミーのメール画面或いはダミーのＷＥＢ閲覧画面を表示部３に表示させる。ダミーのメール画面或いはダミーのＷＥＢ閲覧画面としては、メール画面或いはＷＥＢ閲覧画面であると一目で理解されるような画面であることが望ましい。
ところで、携帯端末１００は通常、待ち受け状態において基地局との間の無線接続（物理層の接続）はされておらず、通信開始時には基地局との無線接続を行う必要があるため、通信開始が要求されると、基地局との接続が確立されるまでの間は「connecting」等の表示である接続待ち画面を表示する。
そこで、ダミー画面としては、このような接続待ち画面を採用したり、送受信履歴の全く登録されていない状態のメールの送受信履歴画面を採用したりすることも好ましい。この場合には操作者に全く不審感を与えずに済ませることができる。さらに、ダミー画面専用のデータを記憶部６等に記憶させる必要もないため、記憶部６への不要なメモリ容量の圧迫を防止することもできる。
ステップＳＴ１４：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ１５に進み、認証に失敗した場合は後述する図４に示すフローチャートのＡに進む。
ステップＳＴ１５：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。

ステップＳＴ１６：
制御部７は、表示部３に正規のメール画面或いはＷＥＢ閲覧画面（本発明の第１の画面に対応）、すなわちステップＳＴ１３において表示させたダミーの画面ではないメール画面或いはＷＥＢ閲覧画面を表示させる。これにより、正規ユーザが登録していたお気に入り（ショートカット登録したＷＥＢページ）の内訳や、送受信メールの内容等を、正規ユーザ以外の操作者に見られることがなくなる。

次に、ステップＳＴ２０〜ＳＴ２６は、アドレス帳画面或いは発着信履歴画面の表示を要求する操作がなされた場合の処理である。
ステップＳＴ２０：
制御部７は、アドレス帳画面或いは発着信履歴画面表示を要求する操作、すなわち、例えば操作部２のうちの１つであるアドレス帳キー或いは履歴キーの押下を検知したか否かの判定を行う。アドレス帳画面或いは発着信履歴画面表示を要求する操作を検知した場合はステップＳＴ２１に進み、そうでない場合はステップＳＴ３０に進む。
ステップＳＴ２１：
制御部７は、ステップＳＴ２０において検出した操作、すなわちアドレス帳画面或いは発着信履歴画面表示を要求する操作が認証処理の対象となる設定項目であるか否かの判定を記憶部６を参照して行う。すなわち、制御部７は、アドレス帳画面或いは発着信履歴画面表示を要求する操作が設定項目として記憶部６に記憶されているか否か、を判定し、設定項目に含まれる場合はステップＳＴ２２に進み、そうでない場合はステップＳＴ２５に進む。

ステップＳＴ２２：
制御部７は、ステップＳＴ２１においてアドレス帳画面或いは発着信履歴画面表示を要求する操作が設定項目であると判定された場合、認証処理を開始する。すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。

ステップＳＴ２３：
制御部７は、ダミー画面の１つであるダミーのアドレス帳画面或いはダミーの発着信履歴画面を表示部３に表示させる。ダミーのアドレス帳画面或いはダミーの発着信履歴画面としては、アドレス帳画面或いは発着信履歴画面であると一目で理解されるような画面であることが望ましい。例えば、アドレス情報が未登録状態のアドレス帳画面や、発着信履歴が未登録状態の発着信履歴画面等をダミー画面として表示させてもよい。この場合には全く操作者に全く不審感を与えずに済ませることができる。さらに、ダミー画面専用のデータを記憶部６等に記憶させる必要もないため、記憶部６への不要なメモリ容量の圧迫を防止することもできる。
ステップＳＴ２４：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ２５に進み、認証に失敗した場合は後述する図４に示すフローチャートのＡに進む。
ステップＳＴ２５：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。

ステップＳＴ２６：
制御部７は、表示部３に正規のアドレス帳画面或いは発着信履歴画面（本発明の第１の画面に対応）、すなわちステップＳＴ２３において表示させたダミーの画面ではないアドレス帳画面或いは発着信履歴画面を表示させる。これにより、正規ユーザが登録していたアドレス情報や、送受信の履歴に基づくアドレス情報や通信履歴内容などを、正規ユーザ以外の操作者に見られることがなくなる。

次に、ステップＳＴ３０〜ＳＴ３６は、音声発信を要求する操作がなされた場合の処理である。
ステップＳＴ３０：
制御部７は、操作部２のうちテンキー（数字を入力するための１０個のキー）の押下を検知したか否か、すなわち電話番号の入力であり、発信処理を要求する操作を検知したか否かの判定を行う。テンキーが押下された場合にはステップＳＴ３１に進み、そうでない場合はステップＳＴ４０に進む。なお、制御部７は、本ステップにおいて、１度だけテンキーが押下されただけの場合には電話番号の入力とは限らないとして発信処理を要求する操作を検知したとせず、連続した複数回のテンキー入力を検知した場合のみ電話番号が入力され発信処理を要求する操作がなされたと判定するようにしてもよい。
ステップＳＴ３１：
制御部７は、ステップＳＴ３０においてテンキーに対する電話番号入力操作が検知された場合、認証処理を開始する。すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。

ステップＳＴ３２：
制御部７は、操作部２のうちの１つである発信キーに対する操作が検知されたか否かを判定する。発信キーは、テンキーを介して入力された電話番号に対する音声通話の発信を行うためのキーである。発信キーに対する操作を検知した場合はステップＳＴ３３に進み、そうでない場合はステップＳＴ３２を繰り返す。
ステップＳＴ３３：
制御部７は、ステップＳＴ３２において検知した発信キーに対する発信操作が認証処理の対象となる設定項目であるか否かの判定を記憶部６を参照して行う。すなわち、制御部７は、発信キーに対する発信操作が設定項目として記憶部６に記憶されているか否か、を判定し、設定項目に含まれる場合はステップＳＴ３４に進み、そうでない場合はステップＳＴ３６に進む。なお、ステップＳＴ３３における設定項目であるか否かの判定は、他の機能と同様、キー押下直後に行い、認証を要する設定であると判定されたときにのみ認証処理を開始するように構成してもよい。

ステップＳＴ３４：
制御部７は、ダミー画面の１つであるダミーの発信画面を表示部３に表示させる。ダミーの発信画面としては、発信画面であると一目で理解されるような画面であることが望ましい。例えば、上述した基地局への接続待ち画面を表示するよう構成すれば、操作者に全く違和感を与えることがないばかりか、専用の画面を要しないため、記憶部６のメモリ容量への圧迫もない。
ステップＳＴ３５：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ３６に進み、認証に失敗した場合は後述する図４に示すフローチャートのＡに進む。

ステップＳＴ３６：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。
ステップＳＴ３７：
制御部７は、表示部３に正規の発信画面（本発明の第１の画面に対応）、すなわちステップＳＴ３４において表示させたダミーの画面ではない発信画面を表示させ、ステップＳＴ３０においてテンキーを介して入力された電話番号に対する発信処理を通信部１に開始させる。
これにより、発信を規制することができるため、不正な利用を防止することができる。すなわち、不正な電話料金が正規ユーザに請求されることを阻止したり、電話番号等携帯端末１００に固有のＩＤ情報の外部への流出を防止したりすることができる。

ステップＳＴ４０〜ＳＴ４６は、上述したメール画面或いはＷＥＢ閲覧画面表示要求、アドレス帳画面或いは発着信履歴表示要求、音声発信要求以外の操作を検知した場合の処理である。
ステップＳＴ４０：
制御部７は、メール画面或いはＷＥＢ閲覧画面表示要求、アドレス帳画面或いは発着信履歴表示要求、音声発信要求以外の操作を検知したか否かの判定を行う。メール画面或いはＷＥＢ閲覧画面表示要求、アドレス帳画面或いは発着信履歴表示要求、音声発信要求以外の操作を検知した場合はステップＳＴ４１に進み、そうでない場合はステップＳＴ１０に戻る。
ステップＳＴ４１：
制御部７は、ステップＳＴ４０において検知された操作が認証処理の対象となる設定項目であるか否かの判定を記憶部６を参照して行う。すなわち、制御部７は、ステップＳＴ４０においてなされた操作が設定項目として記憶部６に記憶されているか否か、を判定し、設定項目に含まれる場合はステップＳＴ４２に進み、そうでない場合はステップＳＴ４５に進む。

ステップＳＴ４２：
制御部７は、ステップＳＴ４０において検知された操作が設定項目であるとステップＳＴ４１において判定された場合、認証処理を開始する。すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。

ステップＳＴ４３：
制御部７は、ステップＳＴ４０において検知した操作に対応するダミー画面を表示部３に表示させる。
ステップＳＴ４４：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ４５に進み、認証に失敗した場合は後述する図４に示すフローチャートのＡに進む。

ステップＳＴ４５：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。
ステップＳＴ４６：
制御部７は、ステップＳＴ４０において検知された操作が要求する処理に対応した正規の画面（本発明の第１の画面に対応）を表示部３に表示させる。

次に、認証処理に失敗した場合の制御部７の動作について説明する。
図４は、認証処理に失敗した場合の制御部７の動作例を示したフローチャートである。
ステップＳＴ５０：
制御部７は、認証処理に使用した顔画像に、人物の顔が写っているか否かの判定を行う。これは、認証処理に失敗した原因が、撮影した範囲内（画像内）に顔が入っていないことによるものかどうかを判定するためである。顔が画像内に写っていた場合はステップＳＴ５１に進み、そうでない場合はステップＳＴ５３に進む。
ステップＳＴ５１：
制御部７は、失敗した認証処理に使用した顔画像を、非正規ユーザ顔画像として記憶部６に記憶させる。記憶部６では、非正規ユーザ顔画像をデータベースとして保持することにより、非正規ユーザが操作を試みた履歴を残すことができる。

ステップＳＴ５２：
制御部７は、ステップＳＴ５１において記憶した非正規ユーザの顔画像を、予め設定されたアドレスに対して送信する。送信の方法は、例えばＥメールの添付ファイルとして送信する方法がある。予め設定されたアドレスは、例えば正規ユーザの有する他の通信端末、例えばＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）等においてメール送受信が可能なＥメールアドレスである。本ステップにより、正規ユーザは、リアルタイムで非正規ユーザの操作試行を知ることができる。
ステップＳＴ５３：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。
ステップＳＴ５４：
制御部７は、操作不可であることを通知する操作不可通知画面（本発明の第２の画面に対応）を表示部３に表示させる。操作不可通知画面は、例えば、「操作できません」、「セキュリティによりロックされています」等のメッセージを含む画面である。操作不可通知画面は、操作者に顔認証による認証処理を行っていたことを察知されないために、「顔認証に失敗しました」等の表示を行わないことが望ましい。

以上説明したように、本実施形態の携帯端末１００によれば、制御部７は操作部２に対して行われた動作に応じて、当該動作が予め正規ユーザが認証処理を行うべき動作であると設定した設定項目に該当するか否かを記憶部６を参照して判定し、認証処理を行うか否かを決定するので、正規ユーザは携帯端末１００の機能ごとに認証処理を行うか否かの設定を行うことができ、使い勝手が向上する。すなわち、頻繁に使用し、かつセキュリティ上それほど問題とならない、例えばＷＥＢ閲覧機能のような機能を実行させる操作を行うたびに一々認証処理が行われ煩わしい、という事態を回避することができる。

また、本実施形態の携帯端末１００によれば、制御部７は、操作部２に対する操作を検知した時点でイン側カメラ４１を起動し顔画像を撮影させて顔認証部５に顔認証を開始させ、認証処理が完了するまでの間操作に対応したダミー画面を表示部３に表示させるので、操作者に顔認証による認証処理を実行していることを察知されない。
また、本実施形態の携帯端末１００によれば、認証処理に失敗した場合には、認証に使用した顔画像を即座に予め設定された正規ユーザの有するアドレスに送信するため、正規ユーザはリアルタイムで携帯端末１００に対する非正規ユーザの操作試行を知ることができ、対策を講じることが可能である。また、認証処理に失敗した顔画像を記憶部６にデータベースとして保持するので、非正規ユーザの履歴を残すことができる。

なお、図３に示したフローチャートでは、制御部７が開動作を検出しない場合は開動作が検出されるまでステップＳＴ１を繰り返していたが、例えば下部筐体１０２の側面部や、上部筐体１０１の裏面（表示部３が配置された面の反対側の面）に、操作部２として説明したキー類とは独立したサブキーが設けられている場合にはこの限りではない。すなわち、携帯端末１００の閉状態においても、サブキーに対する操作を検出した場合は、その操作が設定項目であるかを判定し、設定項目であった場合には顔認証を行うようにすればよい。

また、上述した実施形態において、図３における開動作の検出から認証処理が開始しているが、本発明はこれに限定されるものではない。
例えば、筐体の表面にタッチセンサを設けておき、タッチセンサによる接触検出があったかどうかを予め判定し、タッチセンサの接触検出がある状態では認証処理への移行を可能とし、接触検出がない状態ではそもそも設定項目か否かの判定に入らないように制限してもよい。この構成によれば、接触検出がない状態でのキー操作を検出しても、認証処理に移行しないため、ポケットの中などでのキーへの意図しない押圧によって操作が生じた場合等にイン側カメラ４１が起動して認証処理に移行した場合、当然顔認証に成功しないために使用不可画面が表示されて使用を制限するモードに移行してしまい、正規ユーザによる解除操作が必要になる、という煩わしさを回避することができる。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

上述した実施形態では、顔認証のみによる認証処理を行っていたが、本発明はこれには限定されない。認証処理として、顔認証に加えて他の方式の認証、例えば指紋認証等の生体認証、パスワード等による認証等を並行して行ってもよい。

また、上述した実施形態では、携帯端末装置の一例として、折り畳み式の携帯電話機である携帯端末１００について説明したが、本発明はこれには限定されない。例えば、折り畳み式でなくストレート形、スライド型等、他の形式の携帯端末装置であってもよい。また、携帯電話機だけでなく、ＰＤＡ（Personal Digital Assistant）やデジタルカメラ等、他の携帯端末装置であってもよい。

図１は、携帯端末の各構成について説明するためのブロック図である。 図２は、携帯端末の外観の一例を示す図である。 図３は、制御部の判定処理について説明するためのフローチャートである。 図４は、認証処理に失敗した場合の制御部の動作例を示したフローチャートである。

符号の説明

１００…携帯端末、１０１…上部筐体、１０２…下部筐体、１０３…ヒンジ部、１…通信部、２…操作部、３…表示部、４…カメラ、４１…イン側カメラ、４２…アウト側カメラ、５…顔認証部、６…記憶部、７…制御部

Claims (4)

1. 無線通信を行う通信部と、
   操作者の顔を撮影可能な撮像部と、
   前記撮像部が撮影した顔画像を基に、顔認証処理を行う顔認証部と、
   複数の動作種別ごとに認証を行うべきか否かの設定を記憶する記憶部と、
   表示部と、
   制御部と、
   を有し、
   前記制御部は、前記無線通信の待ち受け状態において、所定の動作を受け付けたとき、当該所定の動作に対応した処理が、認証処理を行うべき処理であるか否かを前記記憶部に記憶された設定を基に判定し、認証処理を行うべき処理である場合は、顔認証処理に伴う画像を前記表示部に表示させることなく前記撮像部に前記操作者の顔を撮影させるとともに、前記顔認証部に顔認証処理を行わせ、当該顔認証処理の結果を基にした認証処理において、認証合格の場合は前記所定の動作に対応した処理を実行して当該処理に対応した第１の画面を前記表示部に表示させ、認証失敗である場合は前記所定の動作に対応した処理を実行せずに認証不可であったことを示す第２の画面を前記表示部に表示させる
   ことを特徴とする携帯端末装置。
2. 前記制御部は、受け付けた前記所定の動作に対応する処理が認証処理を行うべき処理であると判定すると、当該認証処理が完了するまで、前記第１の画像及び前記第２の画像と異なる第３の画像を前記表示部に表示させる
   ことを特徴とする請求項１に記載の携帯端末装置。
3. 前記第３の画像は、当該第３の画像を表示させる契機となった前記所定の動作の動作種別ごとに異なる画像である
   ことを特徴とする請求項２に記載の携帯端末装置。
4. 開状態と閉状態とを遷移可能な筐体
   を有し、
   前記複数の動作種別は、前記筐体を閉状態から開状態へと遷移させる動作を含む
   ことを特徴とする請求項１から３のいずれか一項に記載の携帯端末装置。

Images