JP2010231304A - 覗き見検知方法及び装置、並びに覗き見検知プログラム - Google Patents

Abstract

【課題】画面の覗き見を精度良く検知する。
【解決手段】撮影を開始し（Ｓ１１）、フレーム毎の画像を取得する（Ｓ１２）。取得した画像から顔画像を検出する（Ｓ１３）。検出した顔画像から特徴量を算出する（Ｓ１４）。算出した特徴量から、他人の顔であるか否かを判定する（Ｓ１５）。利用者の顔である場合（Ｓ１５でＮＯ）には、Ｓ１２〜Ｓ１５を繰り返す。他人の顔である場合（Ｓ１５でＹＥＳ）には、他人の顔を液晶表示画面１２に表示する（Ｓ１６）。他人の顔を表示した後に、画像データの取得（Ｓ１７）、他人の顔の検出（Ｓ１８）、特徴量の算出（Ｓ１９）を行い、算出した特徴量から、液晶表示画面１２が覗き見されているか否かを判定する（Ｓ２０）。覗き見されていない場合（Ｓ２０でＮＯ）には、Ｓ１７〜Ｓ２０を繰り返す。液晶表示画面１２が覗き見されている場合（Ｓ２０でＹＥＳ）には、警告マーク５７を液晶表示画面１２に表示する（Ｓ２１）。
【選択図】図８

Description

本発明は、画面の覗き見を検知する覗き見検知方法及び装置、並びに覗き見検知プログラムに関する。

携帯電話（以下、携帯と略す。）は広く普及し、今やほとんどの携帯には、画面を利用したメールやウェブブラウザなどの様々な機能が備わっている。これらの機能を利用することで、電車での移動時間やお店での待ち時間をつぶすことができる。しかし、混雑した車内や店内での利用は、画面の覗き見による情報の流出につながる。このため、情報の流出を懸念する利用者は、覗き見の対策として、視野角を制限する覗き見防止シールを画面に貼り付けている。

しかし、覗き見防止シールを貼り付けたとしても、覗き見を完全に防止することはできない。そこで、内蔵されたカメラで覗き見を監視し、覗き見を検知したときに警告を発する携帯が提案されている。特許文献１、２に記載の携帯では、カメラで撮像した画像から、予め登録された情報と一致しない顔を抽出し、または、画面に視線を向けた顔を抽出することをもって覗き見を検知する。利用者は、携帯から警告を受けることで、覗き見に対処することができる。

特開２００８−２４４７５３号公報 特開２００８−２７６２７４号公報

しかしながら、特許文献１に記載の携帯は、予め登録しておいた情報と一致しない顔が抽出されれば、覗き見をしていると否にかかわらず、覗き見として検知してしまう。また、特許文献２に記載の携帯は、画面の方向に視線を向けた顔が抽出されれば、覗き見の意図の有無に関係なく、覗き見として検知してしまう。誤検知により警告が発せられると、実際に覗き見を検知したときの警告が信ぴょう性をもたず、覗き見対策としての機能が果されない。また、利用者にとっては煩わしいものである。

本発明は、上記課題を鑑みてなされたものであり、画面の覗き見を精度良く検知する覗き見検知方法及び装置、並びに覗き見検知プログラムを提供することを目的とする。

上記目的を達成するために、本発明の覗き見検知装置は、画面に対面する利用者側を逐次撮影するカメラによって撮影された画像から顔を検出する顔検出手段と、検出された顔の特徴量を算出する特徴量算出手段と、算出された前記特徴量に基づいて、検出された顔が利用者以外の他人の顔であるか否かを判定する顔判定手段と、他人の顔であると判定されたことに応答して、顔に変化をもたらす物を前記画面に表示する表示制御手段と、顔に変化をもたらす物が表示された後に撮影された画像から得られた他人の顔の特徴量に基づいて、前記画面が覗き見されているか否かを判定する覗き見判定手段とを備えたことを特徴とする。

なお、前記顔判定手段は、前記画像から検出された顔の特徴量を、記録手段に予め登録された利用者の顔の特徴量と照合し、所定の範囲を超える相違がある場合にその特徴量を有する顔を他人の顔であると判定することが好ましい。

また、前記覗き見判定手段は、他人の顔の特徴量について、顔に変化をもたらす物の表示の前後で比較し、所定の範囲を超える変化がある場合に前記画面が覗き見されていると判定することが好ましい。顔に変化をもたらす物としては、前記画面内を移動する物であることが好ましい。

また、他人の顔であると判定されたことに応答して、他人の顔が中心に撮影されるように前記カメラの姿勢を変更する姿勢変更手段を備えたことが好ましい。

また、前記顔検出手段は、他人の顔であると判定されたことに応答して、他人の顔だけを検出することが好ましく、特に、他人の顔が検出される範囲に限定して顔を検出することが好ましい。

また、覗き見されていると判定されたことに応答して、覗き見されていることを利用者に警告する警告手段を備えていることが好ましく、特に、前記表示制御手段が、前記警告手段として機能することが好ましい。

本発明の覗き見検知方法は、画面に対面する利用者側を逐次撮影するカメラによって撮影された画像を取得する画像取得ステップと、取得された画像から顔を検出する顔検出ステップと、検出された顔の特徴量を算出する特徴量算出ステップと、算出された前記特徴量に基づいて、検出された顔が利用者以外の他人の顔であるか否かを判定する顔判定ステップと、他人の顔であると判定されたことに応答して、顔に変化をもたらす物を前記画面に表示する表示ステップと、顔に変化をもたらす物が表示されたことに応答して、前記画像取得ステップ、前記顔検出ステップ、及び前記特徴量算出ステップを実行し、他人の顔の特徴量を再度算出する特徴量再算出ステップと、再度算出された他人の顔の特徴量に基づいて、前記画面が覗き見されているか否かを判定する覗き見判定ステップとをコンピュータが実行することを特徴とする。

本発明の覗き見検知プログラムは、画面に対面する利用者側を逐次撮影するカメラによって撮影された画像を取得する画像取得ステップと、取得された画像から顔を検出する顔検出ステップと、検出された顔の特徴量を算出する特徴量算出ステップと、算出された前記特徴量に基づいて、検出された顔が利用者以外の他人の顔であるか否かを判定する顔判定ステップと、他人の顔であると判定されたことに応答して、顔に変化をもたらす物を前記画面に表示する表示ステップと、顔に変化をもたらす物が表示されたことに応答して、前記画像取得ステップ、前記顔検出ステップ、及び前記特徴量算出ステップを実行し、他人の顔の特徴量を再度算出する特徴量再算出ステップと、再度算出された他人の顔の特徴量に基づいて、前記画面が覗き見されているか否かを判定する覗き見判定ステップとをコンピュータに実行させることを特徴とする。

本発明の覗き見検知方法及び装置、並びに覗き見検知プログラムによれば、利用者側を撮影した画像から検出された顔が他人の顔であると判定されたことに応答して、顔に変化をもたらす物を利用者が対面する画面に表示するとともに、顔に変化をもたらす物が表示された後に撮影された画像から得られた他人の顔の特徴量に基づいて、画面が覗き見されているか否かを判定するから、覗き見の意図を有さない他人の顔が検出された場合に、覗き見として検知することはない。すなわち、覗き見の検知精度は高い。

なお、他人の顔であると判定されたことに応答して、他人の顔が中心に撮影されるようにカメラの姿勢を変更するようにしたことで、他人の顔を確実に撮影することができる。

また、他人の顔であると判定されたことに応答して、他人の顔だけを検出するようにしたことで、処理速度が向上する。他人の顔が検出される範囲に限定して顔を検出する場合には、特にその効果が期待できる。

また、覗き見されていると判定されたことに応答して、覗き見されていることを利用者に警告することで、利用者が覗き見に対処することができる。

携帯電話の外観斜視図である。 携帯電話の電気的構成を示すブロック図である。 ＣＰＵの機能を説明するブロック図である。 顔画像の検出及び特徴量の算出を説明する図である。 特徴量の照合を説明する図である。 他人の顔をスルー画像として表示した液晶表示画面の図である。 警告マークを表示した液晶表示画面の図である。 覗き見を検知する処理手順を説明するフローチャートである。 覗き見されている回数をカウントするステップを追加した、覗き見を検知する処理手順を説明するフローチャートである。 カメラモジュールの姿勢を変更する姿勢変更機構を追加した携帯電話の電気的構成を示すブロック図である。

図１に示す携帯電話１１は、電話、メールなどの通信機能の他に、液晶表示画面１２の覗き見を検知する機能を有している。携帯電話１１の前面には、液晶表示画面１２の他に、通信時のダイヤル操作を行うためのダイヤルボタンや各種設定ボタンなどから構成された操作パネル１３が設けられている。

液晶表示画面１２の上方には、受話スピーカ３３（図２参照）用の開口１４が形成され、操作パネル１３の下方には、送話マイク３４（図２参照）用の開口１５が形成されている。また、液晶表示画面１２の上方には、開口１４に隣接する位置に、カメラモジュール２６（図２参照）を保護する透明なカバープレート１６が取り付けられている。

カバープレート１６は、液晶表示画面１２に対面する利用者側から携帯電話１１の内部に光を透過させ、カメラモジュール２６による撮影を可能にする。カメラモジュール２６は、セルフ撮影用のカメラとして機能するとともに、覗き見を検知する監視カメラとして機能し、利用者側を撮影する。本明細書において「利用者側の撮影」とは、利用者の顔にその周囲（背後）を含めた撮影のことを意味する。なお、カメラモジュール２６は、動画撮影を行うものでも、一定時間毎に静止画撮影を行うものでもよい。

図２に示すように、携帯電話１１はＣＰＵ２１を備え、このＣＰＵ２１は、操作パネル１３から入力される操作信号などにしたがって、携帯電話１１全体を統括的に制御する。ＣＰＵ２１には、操作パネル１３の他に、データバス２２を介して、ＲＡＭ２３、ＲＯＭ２４、フラッシュメモリ２５、カメラモジュール２６、画像処理回路２７、ＬＣＤドライバ２８、圧縮伸長処理回路２９、メディアコントローラ３０、及び電話ユニット３１が接続されている。

ＲＡＭ２３は、ＣＰＵ２１が処理を実行するために用いられる作業用メモリである。ＲＯＭ２４には、携帯電話１１を動作させるための各種プログラムや、液晶表示画面１２に表示する種々のページデータ、その他のデータが記憶されている。ＣＰＵ２１は、ＲＯＭ２４からプログラムを読み出してＲＡＭ２３に展開し、読み出したプログラムを逐次処理する。

フラッシュメモリ２５には、特徴量テーブル５１（図５参照）が格納されている。特徴量テーブル５１には、顔画像がその特徴量と関連付けて登録されている。特徴量テーブル５１への登録は、操作パネル１３の所定の操作により行われる。詳しくは後述するが、携帯電話１１は、特徴量テーブル５１に利用者の顔画像を登録しておくことで覗き見を検知する構成となっている。本明細書では、特徴量テーブル５１に利用者の顔画像だけが登録されているものとして説明するが、特徴量テーブル５１は、複数人分の顔画像の登録が可能である。

顔の特徴量としては、画像の濃淡分布、モザイク化による類型分類などが挙げられる。詳しくは、特開平０５−０２０４４２号公報、カリフォルニア大学サンタバーバラ校ＨＰ（http://www.cs.ucsb.edu/~mturk/Papers/mturk-CVPR91.pdf）、特開平０８−２２１５４７号公報を参照されたい。なお、顔の特徴量は、顔のパーツ（例えば、目）などでもよい。こちらは、特開２００３−１７８３０４号公報を参照されたい。

カメラモジュール２６は、撮影レンズ（図示省略）と、撮影レンズによって結像された画像を撮像するＣＣＤ（図示省略）と、ＣＣＤから出力されるアナログの撮像信号に各種処理を施してデジタルの画像データに変換する撮像信号処理回路（図示省略）と、撮像信号処理回路から出力された画像データをフレーム毎に記憶するフレームメモリとを備えている。

カメラモジュール２６から出力された画像データは、ＲＡＭ２３に記憶される。画像処理回路２７は、ＲＡＭ２３に記憶された画像データを読み出して、階調変換、ホワイトバランス（ＷＢ）補正、γ補正などの各種画像処理と、ＹＣ変換処理とを施す。ＹＣ変換処理により輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換された画像データは、ＲＡＭ２３に再度記憶される。セルフ撮影を行っている場合には、画像データは、ＲＡＭ２３へ記憶されることに併せ、ＲＯＭ２４から読み出されたページデータとともにＬＣＤドライバ２８に入力される。ＬＣＤドライバ２８は、入力された画像データ及びページデータに基づいて、液晶表示画面１２にスルー画像を表示する。

圧縮伸長処理回路２９は、セルフ撮影を行っている場合に操作パネル１３の決定ボタンが操作された時に、画像処理回路２７によりＹＣ変換処理された画像データを所定の圧縮形式、例えばＪＰＥＧ形式で圧縮処理する。圧縮処理が施された画像データは、保存先の設定に応じて、フラッシュメモリ２５や、携帯電話１１内部に格納されたメモリカード３２へ記録される。また、フラッシュメモリ２５やメモリカード３２から読み出した画像データを液晶表示画面１２に表示する際には、ＪＰＥＧ形式の画像データをＹＣ信号に伸長する。メディアコントローラ３０は、メモリカード３２への画像データの記録及び読出しを行う。

電話ユニット３１は、電話通信機能を付与するユニットであり、通信回路や音声処理回路などから構成されている。電話ユニット３１には、受話スピーカ３３や送話マイク３４が接続されている。

図３に示すように、ＣＰＵ２１は、液晶表示画面１２の覗き見を検知するために、顔検出部４１、特徴量算出部４２、顔判定部４３、表示制御部４４及び覗き見判定部４５として機能する。

図４に示すように、顔検出部４１は、画像データに基づく画像から、被写体の顔画像を検出する。顔画像の検出には、特開平０５−１５８１６４号公報で開示されている測光値から作成した色相値と彩度値とのヒストグラムを用いた方法や、特開平０７−３０６４８３号公報で開示されている肌色検出を用いた方法などを利用する。詳しい説明は、各文献を参照されたい。顔画像の検出には、パターンマッチングを用いた技術を利用してもよい。なお、顔検出部４１は、他人の顔を見付け出し、液晶表示画面１２の覗き見を検知するためのものであり、他人の顔だけを検出することができればよい。顔検出部４１は、画像から検出された顔が他人の顔であると顔判定部４３で判定された後は、他人の顔が検出された範囲に限定し、利用者の顔が検出された範囲を除外して検出処理を行い、他人の顔だけを検出することが好ましい。範囲を限定した検出処理は、検出された顔の位置情報を、顔判定部４３による判定結果と関連付けてＲＡＭ２３などに記憶しておくことで実現される。なお、範囲を限定せず、利用者の顔を含めて検出してもよい。

そして、特徴量算出部４２は、顔検出部４１で検出された顔画像に基づいて、顔の特徴量を算出する。特徴量の算出には、特開平０５−０２０４４２号公報や、上述したカリフォルニア大学サンタバーバラ校ＨＰで開示されている画像の濃淡分布を表現した特徴ベクトルを算出する方法、特開平０８−２２１５４７号公報で開示されている、モザイク化してから類型分類のクラス分けを行う方法、特開２００３−１７８３０４号公報で開示されている、顔画像から抽出したパーツに基づくヒストグラムを特徴量とする方法などを利用する。詳しい説明は、各文献を参照されたい。

図５に示すように、顔判定部４３は、特徴量算出部４２で算出された特徴量に基づいて、利用者以外の他人の顔であるか否かを判定する。具体的には、顔判定部４３は、特徴量算出部４２で算出された特徴量を、予めフラッシュメモリ２５に登録された利用者の顔の特徴量と照合する。特徴量の相違が所定の範囲内に収まっている場合、その特徴量を有する顔を利用者の顔であると判定する。一方、特徴量の相違が所定の範囲を超えている場合、その特徴量を有する顔を他人の顔であると判定する。なお、特徴量算出部４２において、複数の特徴量が算出されている場合には、各特徴量についてそれぞれ判定する。

表示制御部４４は、顔判定部４３により他人の顔であると判定されると、他人の顔であると判定された顔画像データをＲＡＭ２３から読み出すとともに、ＲＯＭ２４から所定のページデータを読み出す。そして、表示制御部４４は、読み出した他人の顔画像データ及びページデータをＬＣＤドライバ２８に入力する。ＬＣＤドライバ２８は、入力された顔画像データ及びページデータに基づいて、図６に示すように、他人の顔をスルー画像５６として液晶表示画面１２に表示する。液晶表示画面１２に表示したスルー画像５６は、当該他人を驚かせるものであり、当該他人の顔に変化をもたらすものとなる。なお、図６は、液晶表示画面１２がメール作成用画面として機能していた場合にスルー画像５６が表示されたときを示している。

覗き見判定部４５は、他人の顔が液晶表示画面１２に表示された後に撮影された画像から得られた他人の顔の特徴量に基づいて、液晶表示画面１２が覗き見されているか否かを判定する。具体的には、覗き見判定部４５は、特徴量算出部４２で算出された他人の顔の特徴量から表情を認識するとともに、認識した表情を、予めＲＯＭ２４に記憶された表情（例えば、驚きや動揺の表情）に関するデータと照合する。認識した表情がＲＯＭ２４に記憶された表情の範囲内に収まっている場合、液晶表示画面１２が覗き見されていると判定する。一方、認識した表情がＲＯＭ２４に記憶された表情の範囲を超えている場合、液晶表示画面１２が覗き見されてはいないと判定する。表情の認識には、特開平１０−２５５０４３号公報で開示されている隠れマルコフモデル（ＨＭＭ）を用いた方法や、特開２００５−１４１３０５号公報や、特開２００５−２９３５３９号公報で開示されている方法などを利用する。詳しい説明は、各文献を参照されたい。

表示制御部４４は、覗き見判定部４５により、液晶表示画面１２が覗き見されていると判定されると、ＲＯＭ２４から所定のページデータを読み出し、ＬＣＤドライバ２８に入力する。ＬＣＤドライバ２８は、入力されたページデータに基づいて、図７に示すように、液晶表示画面１２が覗き見されていることを警告する警告マーク５７を、液晶表示画面１２に表示する。

次に、上記携帯電話１１における、覗き見を検知する処理手順を図８のフローチャートを参照しながら説明する。電源ＯＮの待機状態において、操作パネル１３が操作されると、監視カメラとして機能するカメラモジュール２６が起動し、撮影が開始される（ステップ（以下、Ｓと略す。）１１）。

カメラモジュール２６で撮影された画像データは、カメラモジュール２６から出力され、ＲＡＭ２３に記憶される。カメラモジュール２６からフレーム毎に出力された画像データは、ＲＡＭ２３から画像処理回路２７に読み出される。画像処理回路２７では、画像データに対し、各種画像処理と、ＹＣ変換処理が施される。ＹＣ変換処理により輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換された画像データは、再度ＲＡＭ２３に記憶される（Ｓ１２）。

ＹＣ変換処理が施された画像データは、ＲＡＭ２３から顔検出部４１に読み出される。顔検出部４１では、画像データに基づく画像から、被写体の顔画像が検出される（Ｓ１３）。顔画像が検出されると、顔検出部４１から顔画像データが出力される。顔検出部４１から出力された顔画像データは、ＲＡＭ２３に記憶される。

顔検出部４１から出力された顔画像データは、ＲＡＭ２３から特徴量算出部４２に読み出される。特徴量算出部４２では、顔画像データから、顔画像の特徴量が算出される（Ｓ１４）。算出された特徴量は、特徴量算出部４２から出力される。特徴量算出部４２から出力された特徴量は、ＲＡＭ２３に記憶される。

特徴量算出部４２から出力された特徴量は、ＲＡＭ２３から顔判定部４３に読み出される。顔判定部４３では、特徴量算出部４２で算出された特徴量から、他人の顔であるか否かを判定する（Ｓ１５）。利用者の顔であると判定された場合（Ｓ１５でＮＯ）には、画像データの取得（Ｓ１２）、顔画像の検出（Ｓ１３）、特徴量の算出（Ｓ１４）、及び他人の顔であるか否かの判定（Ｓ１５）を繰り返す。

他人の顔であると判定された場合（Ｓ１５でＹＥＳ）には、他人の顔であると判定された顔画像データが、ＲＡＭ２３から表示制御部４４に読み出される。また、ＲＯＭ２４から表示制御部４４に所定のページデータが読み出される。そして、表示制御部４４によって、顔画像データ及びページデータがＬＣＤドライバ２８に出力され、他人の顔がスルー画像５６として液晶表示画面１２に表示される（Ｓ１６）。

液晶表示画面１２に他人の顔がスルー画像５６として表示されると、カメラモジュール２６で撮影された画像データは、Ｓ１２と同様の処理ステップの後に、ＲＡＭ２３に記憶される（Ｓ１７）。

カメラモジュール２６で撮影された画像データは、ＲＡＭ２３から顔検出部４１に読み出される。顔検出部４１では、画像データに基づく画像から、他人の顔画像だけが検出される（Ｓ１８）。他人の顔画像が検出されると、顔検出部４１から他人の顔画像データが出力される。顔検出部４１から出力された顔画像データは、ＲＡＭ２３に記憶される。

顔検出部４１から出力された他人の顔画像データは、ＲＡＭ２３から特徴量算出部４２に読み出される。特徴量算出部４２では、他人の顔画像データから、顔画像の特徴量が算出される（Ｓ１９）。算出された特徴量は、特徴量算出部４２から出力される。特徴量算出部４２から出力された特徴量は、ＲＡＭ２３に記憶される。

特徴量算出部４２から出力された特徴量は、ＲＡＭ２３から覗き見判定部４５に読み出される。覗き見判定部４５では、特徴量算出部４２で算出された特徴量から、液晶表示画面１２が覗き見されているか否かを判定する（Ｓ２０）。覗き見されてはいないと判定された場合（Ｓ２０でＮＯ）には、画像データの取得（Ｓ１７）、他人の顔画像の検出（Ｓ１８）、特徴量の算出（Ｓ１９）、及び液晶表示画面１２が覗き見されているか否かの判定（Ｓ２０）を繰り返す。

液晶表示画面１２が覗き見されていると判定された場合（Ｓ２０でＹＥＳ）には、所定のページデータがＲＯＭ２４から表示制御部４４に読み出される。そして、表示制御部４４によって、ページデータがＬＣＤドライバ２８に出力され、警告マーク５７が液晶表示画面１２に表示される（Ｓ２１）。

以上説明したように、利用者側を撮影した画像から検出された顔が他人の顔であると判定されたことに応答して、顔に変化をもたらす物を液晶表示画面１２に表示するとともに、顔に変化をもたらす物が表示された後に撮影された画像から得られた他人の顔の特徴量に基づいて、液晶表示画面１２が覗き見されているか否かを判定するから、覗き見の意図を有さない他人の顔が検出された場合に、覗き見として検知することはない。すなわち、覗き見の検知精度は高い。

なお、本発明の覗き見検知装置は、上記の携帯電話１１に限定されず、画面を備えた装置全般に適用可能である。画面を備えた装置としては、ＡＴＭ（現金自動預入れ支払い機）やパーソナルコンピュータ（ＰＣ）が挙げられる。ＡＴＭの場合には、監視カメラからの画像を取得することになる。ＰＣの場合には、画像を取得するためのカメラを併設する必要がある。

また、覗き見判定部４５は、他人の顔が液晶表示画面１２に表示された後に撮影された画像から得られた他人の顔の表情を、予めＲＯＭ２４に記憶された表情に関するデータと照合することで、液晶表示画面１２が覗き見されているか否かを判定したが、この判定方法に限定されることはない。例えば、他人の顔を液晶表示画面１２へ表示する前とその後で、他人の顔の特徴量を比較することで判定してもよい。この場合、所定の範囲を超える変化があるときに、液晶表示画面１２が覗き見されていると判定する。具体的には、表示前の他人の顔の特徴量、及び表示後の他人の顔の特徴量をＲＡＭ２３から読み出して、その特徴量を相互に比較することにより判定する。

他人の顔を液晶表示画面１２へ表示する前とその後で、他人の顔の特徴量を比較する場合には、顔の特徴量として目（特に、黒目）の位置を用いれば、目の動き（視線の動き）で、液晶表示画面１２が覗き見されているか否かを判定することができる。驚いたり動揺したりした際に目が動くことを利用した判定方法である。目の動きは容易に検出できるので、この方法による判定精度は高い。

また、顔判定部４３は、特徴量算出部４２で算出された特徴量を、予め登録された利用者の顔の特徴量と照合することで、利用者以外の他人の顔であるか否かを判定したが、これに限定されることはない。他人は利用者の後方に居るため、他人の顔は利用者の顔と比較して小さく撮影されるから、検出された顔のサイズが所定のサイズより小さい場合に、他人の顔であると判定するようにしてもよい。これにより、利用者の顔の特徴量が予め登録されていない場合でも、利用者以外の他人の顔であるか否かを判定することができる。つまり、ＡＴＭなど、不特定多数の人が利用者になり得る装置であっても本発明は適用可能である。

また、画像から検出された顔が他人の顔であると判定された場合に、当該他人の顔をスルー画像５６として液晶表示画面１２に表示したが、液晶表示画面１２に、顔に変化をもたらすものが表示されればこれに限定されるものではない。動画、画像、テキスト、その他のコンテンツを表示させるようにしてもよい。また、液晶表示画面１２内を移動するマークを表示させるのでもよい。これによれば、液晶表示画面１２を覗き見している他人の目が大きく動くことが期待できる。目の動きで、液晶表示画面１２が覗き見されているか否かを判定する場合に、特に好ましい。利用者が使用しているアプリケーションに重ならない範囲で移動させた場合には、アプリケーションの使用を妨げることはない。逆に、利用者がしようしているアプリケーションに重なる範囲で移動させた場合には、液晶表示画面１２を覗き見している他人の目の動きに大きく影響し、液晶表示画面１２が覗き見されていることを確実に検知することができる。

また、液晶表示画面１２が覗き見されていると判定した場合に直ちに警告を行うようにしたが、図９に示すように、覗き見されていると判定した場合（Ｓ２０でＹＥＳ）であっても直ちに警告を行わず（Ｓ３２でＮＯ）、画像データの取得（Ｓ１７）、他人の顔画像の検出（Ｓ１８）、特徴量の算出（Ｓ１９）、及び液晶表示画面１２が覗き見されているか否かの判定（Ｓ２０）を繰り返すとともに、覗き見されていると判定した回数をカウントし（Ｓ３１）、カウントした回数が所定の回数（例えば、３回）に達した場合（Ｓ３１でＹＥＳ）に警告を行う（Ｓ２１）ようにしてもよい。これにより、覗き見の意図を有さない他人が偶然、液晶表示画面１２を覗き見した場合に警告されることが防止される。

また、液晶表示画面１２が覗き見されていると判定した場合に、警告マーク５７を液晶表示画面１２に表示させたが、液晶表示画面１２が覗き見されていることの警告を行うことができればよく、表示態様はこれに限定されるものではない。また、液晶表示画面１２に警告表示することに限定されず、その他の報知方法によって警告するようにしてもよい。例えば、携帯電話１１が有しているバイブ機能や、セルフ撮影用のフラッシュ機能を用いて警告してもよい。

また、撮影方向が一定である場合を例に説明したが、撮影方向を可変とし、検出された顔が他人の顔であると判定された後は、他人の顔が中心に撮影されるようにしてもよい。図１０に示す携帯電話１１は、ＣＰＵ２１からの信号に応答してカメラモジュール２６の姿勢を変更する姿勢変更機構６１を備えている。姿勢変更機構６１は、検出された顔が他人の顔であると判定されたことに応答して、他人の顔が中心に撮影されるようにカメラモジュール２６の姿勢を変更する。姿勢の変更は、検出された顔の位置情報を元に行えばよい。

１１ 携帯電話
１２ 液晶表示画面
２１ ＣＰＵ
２４ ＲＯＭ
２５ フラッシュメモリ
２６ カメラモジュール
３２ メモリカード
４１ 顔検出部
４２ 特徴量算出部
４３ 顔判定部
４４ 表示制御部
４５ 覗き見判定部
５１ 特徴量テーブル
５６ スルー画像
５７ 警告マーク
６１ 姿勢変更機構

Claims (11)

1. 画面に対面する利用者側を逐次撮影するカメラによって撮影された画像から顔を検出する顔検出手段と、
   検出された顔の特徴量を算出する特徴量算出手段と、
   算出された前記特徴量に基づいて、検出された顔が利用者以外の他人の顔であるか否かを判定する顔判定手段と、
   他人の顔であると判定されたことに応答して、顔に変化をもたらす物を前記画面に表示する表示制御手段と、
   顔に変化をもたらす物が表示された後に撮影された画像から得られた他人の顔の特徴量に基づいて、前記画面が覗き見されているか否かを判定する覗き見判定手段とを備えたことを特徴とする覗き見検知装置。
2. 前記顔判定手段は、前記画像から検出された顔の特徴量を、記録手段に予め登録された利用者の顔の特徴量と照合し、所定の範囲を超える相違がある場合にその特徴量を有する顔を他人の顔であると判定することを特徴とする請求項１に記載の覗き見検知装置。
3. 前記覗き見判定手段は、他人の顔の特徴量について、顔に変化をもたらす物の表示の前後で比較し、所定の範囲を超える変化がある場合に前記画面が覗き見されていると判定することを特徴とする請求項１又は２に記載の覗き見検知装置。
4. 前記表示制御手段は、顔に変化をもたらす物として、前記画面内を移動する物を表示することを特徴とする請求項２に記載の覗き見検知装置。
5. 他人の顔であると判定されたことに応答して、他人の顔が中心に撮影されるように前記カメラの姿勢を変更する姿勢変更手段を備えたことを特徴とする請求項１〜４のいずれかに記載の覗き見検知装置。
6. 前記顔検出手段は、他人の顔であると判定されたことに応答して、他人の顔だけを検出することを特徴とする請求項１〜５のいずれかに記載の覗き見検知装置。
7. 前記顔検出手段は、他人の顔であると判定されたことに応答して、他人の顔が検出される範囲に限定して顔を検出することを特徴とする請求項６に記載の覗き見検知装置。
8. 覗き見されていると判定されたことに応答して、覗き見されていることを利用者に警告する警告手段を備えたことを特徴とする請求項１〜７のいずれかに記載の覗き見検知装置。
9. 前記表示制御手段は、前記警告手段として機能し、覗き見されていると判定されたことに応答して、覗き見されていることを警告する表示を前記画面に行うことを特徴とする請求項８に記載の覗き見検知装置。
10. 画面に対面する利用者側を逐次撮影するカメラによって撮影された画像を取得する画像取得ステップと、
    取得された画像から顔を検出する顔検出ステップと、
    検出された顔の特徴量を算出する特徴量算出ステップと、
    算出された前記特徴量に基づいて、検出された顔が利用者以外の他人の顔であるか否かを判定する顔判定ステップと、
    他人の顔であると判定されたことに応答して、顔に変化をもたらす物を前記画面に表示する表示ステップと、
    顔に変化をもたらす物が表示されたことに応答して、前記画像取得ステップ、前記顔検出ステップ、及び前記特徴量算出ステップを実行し、他人の顔の特徴量を再度算出する特徴量再算出ステップと、
    再度算出された他人の顔の特徴量に基づいて、前記画面が覗き見されているか否かを判定する覗き見判定ステップとをコンピュータが実行することを特徴とする覗き見検知方法。
11. 画面に対面する利用者側を逐次撮影するカメラによって撮影された画像を取得する画像取得ステップと、
    取得された画像から顔を検出する顔検出ステップと、
    検出された顔の特徴量を算出する特徴量算出ステップと、
    算出された前記特徴量に基づいて、検出された顔が利用者以外の他人の顔であるか否かを判定する顔判定ステップと、
    他人の顔であると判定されたことに応答して、顔に変化をもたらす物を前記画面に表示する表示ステップと、
    顔に変化をもたらす物が表示されたことに応答して、前記画像取得ステップ、前記顔検出ステップ、及び前記特徴量算出ステップを実行し、他人の顔の特徴量を再度算出する特徴量再算出ステップと、
    再度算出された他人の顔の特徴量に基づいて、前記画面が覗き見されているか否かを判定する覗き見判定ステップとをコンピュータに実行させることを特徴とする覗き見検知プログラム。

Images