JP2008244753A - Peeping prevention method and peeping prevention device - Google Patents
Peeping prevention method and peeping prevention device Download PDFInfo
- Publication number
- JP2008244753A JP2008244753A JP2007081439A JP2007081439A JP2008244753A JP 2008244753 A JP2008244753 A JP 2008244753A JP 2007081439 A JP2007081439 A JP 2007081439A JP 2007081439 A JP2007081439 A JP 2007081439A JP 2008244753 A JP2008244753 A JP 2008244753A
- Authority
- JP
- Japan
- Prior art keywords
- party
- user
- peep
- face
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/88—Detecting or preventing theft or loss
Abstract
Description
本発明は第三者による覗き見を防止する方法および装置に関する。 The present invention relates to a method and apparatus for preventing peeping by a third party.
携帯電話端末装置などの携帯可能な電子計算機の広い普及に伴い、このような電子計算機を利用したサービスが充実しつつある。このサービスには、プリペイド・ポストペイド方式の金融サービスも含まれているため、このようなサービスを利用する際の安全性の確保に対するニーズが高まっている。このようなニーズを受けて近年では、例えば携帯電話端末装置に設けられたカメラを利用して顔認証を行って携帯電話端末装置そのものの使用を制限することで、安全性を確保する方法が提供されている。また特許文献1には、携帯電話端末装置の表示画面に貼り付けられることによって表示画面の視野角を制限し、他人が表示画面を覗き見するのを防ぐ、覗き見防止シールが開示されている。また表示画面そのものに視野角を制限する機能を設けることも行われている。
しかし、顔画像による認証方式は、携帯電話端末装置の使用を制限するだけであるため、正当な使用者である本人が携帯電話端末装置を使用している際に、悪意のある第三者によって表示画面が見られてしまうという問題を有している。よって例えば、ネットワークを介してショッピングをしようとしてクレジットカード番号、暗証番号、またはメールアドレスなどを入力している最中や、受信したメールアドレスを読んでいる最中に第三者に覗き見されてしまった場合には、第三者に個人情報が知られてしまうという問題がある。 However, since the authentication method based on the face image only restricts the use of the mobile phone terminal device, when a person who is a legitimate user uses the mobile phone terminal device, a malicious third party There is a problem that the display screen is seen. So, for example, while shopping over the network, while entering a credit card number, PIN, or email address, or reading a received email address, a third party is peeping If this happens, there is a problem that personal information is known to a third party.
また、覗き見防止シールを携帯電話端末装置の表示画面に貼った場合や、表示画面が視野角を制限する機能を有する場合では、視野角が制限されるために第三者による表示画面の覗き見や盗み見などの問題を軽減することが可能であるが、常に視野角が制限されてしまうという問題がある。よって例えば、携帯電話端末装置に設けられたカメラを用いた撮影によって被写界を撮影し、作成された画像を表示画面に出力して友人や知人と共に見る場合や、電子メールやインターネットのサイトなどを友人や知人と共に見る場合などのように、覗き見や盗み見を意図していない第三者と一緒に表示画面を見ようとしても、表示画面が見難くなってしまうという問題を有している。 In addition, when a peep prevention sticker is pasted on the display screen of a mobile phone terminal device, or when the display screen has a function to limit the viewing angle, the viewing angle is limited. Although it is possible to alleviate problems such as watching and stealing, there is a problem that the viewing angle is always limited. Therefore, for example, when photographing a scene by photographing using a camera provided in a mobile phone terminal device, and outputting the created image on a display screen together with friends and acquaintances, e-mail and Internet sites, etc. When viewing a display screen together with a third party who does not intend to peep or sniff, such as when viewing with a friend or an acquaintance, the display screen becomes difficult to see.
本発明はこのような従来技術の欠点を解消し、第三者による覗き見を防止して安全性を維持し、かつ使用者にとって使い易い覗き見防止方法、および装置を提供することを目的とする。 An object of the present invention is to eliminate such drawbacks of the prior art, to provide a peeping prevention method and apparatus that are easy to use for a user while maintaining safety by preventing peeping by a third party. To do.
上述の課題を解決するために、本発明による覗き見防止方法および装置では、使用中の使用者の顔を撮影して画像を作成し、この画像に使用者ではない第三者の顔が存在するか否かを判断する。その結果、第三者の顔が存在した場合は、第三者が覗き見をしている可能性がある旨を使用者に知らせ、覗き見を防止する。 In order to solve the above-described problems, in the peeping prevention method and apparatus according to the present invention, an image is created by photographing a user's face in use, and a face of a third party who is not the user exists in the image. Judge whether to do. As a result, when the face of a third party exists, the user is notified that there is a possibility that the third party is peeping, and peeping is prevented.
本発明による覗き見防止方法および装置ではさらに、第三者の位置や第三者と使用者との距離などの覗き見を回避する回避策を知らせて、覗き見を防止する。 The peeping prevention method and apparatus according to the present invention further prevents a peep by informing a avoidance method for avoiding a peep such as the position of the third party and the distance between the third party and the user.
本発明によれば、使用者の顔を撮影することによって、第三者が覗き見している可能性があるか否かを判断するため、状況に応じて覗き見を防ぐことが可能になる。よって、安全性を維持しながら、使用者にとって使い易い覗き見防止方法および装置を提供することが可能である。 According to the present invention, since it is determined whether or not there is a possibility that a third party is peeping by photographing the user's face, it is possible to prevent peeping depending on the situation. . Therefore, it is possible to provide a peeping prevention method and device that are easy for the user to use while maintaining safety.
次に添付図面を参照して本発明の実施例を詳細に説明する。図1は、本発明による覗き見防止装置を概略的に示したブロック図である。また図2は、図1に示す覗き見防止装置を用いて覗き見の防止を行う環境を概念的に示した図である。図2において図1と同じ参照符号は同様の構成要素を示す。 Embodiments of the present invention will now be described in detail with reference to the accompanying drawings. FIG. 1 is a block diagram schematically showing a peep prevention device according to the present invention. FIG. 2 is a diagram conceptually showing an environment in which peeping prevention is performed using the peeping prevention device shown in FIG. 2, the same reference numerals as those in FIG. 1 denote the same components.
図1において、本発明による覗き見防止装置10は、制御部12、撮影部14、顔抽出部16、照合部18、記憶部20、通知作成部22および出力部24を含み、撮影部14で使用者を撮影して画像を作成し、この画像に使用者ではない第三者の顔が存在するか否かを判別することによって、第三者に覗き見されている可能性があるか否かを判断し、覗き見されている可能性がある場合にはその旨を使用者に知らせるものである。なお本発明の理解に直接関係のない部分は、図示を省略し冗長な説明を避ける。
In FIG. 1, the
本実施例では覗き見防止装置10は、図2に示すように公知の携帯電話端末装置30に設けられ、携帯電話端末装置30を使用している使用者32の周りに存在する第三者、例えば図2に示す例では、使用者32の後ろにいる第三者34が携帯電話端末装置30の表示画面36を覗き見している可能性があるか否かを使用者に知らせている。なお本発明はこれに限定するわけではなく、任意のものに本発明による覗き見防止装置10を設けることが可能である。例えば、他の電子計算機、例えばコンピュータやPDA(Personal Digital Assistant)などに設けてもよい。さらに例えば、現金自動預払機(ATM:automated teller machine)などに設けることも可能である。なお本発明はこれに限定するわけではない。
In this embodiment, the
図1において、制御部12は、携帯電話端末装置30、およびこれに設けられた覗き見防止装置10の全体を統括、制御するものである。なお本実施例では、一つの制御部12によって覗き見防止装置10および携帯電話端末装置30の両方を制御しているが、本発明はこれに限定するわけではなく、覗き見防止装置10と携帯電話端末装置30のそれぞれに制御部を設けることも可能である。
In FIG. 1, the
撮影部14は図2に示すようにカメラ40を含み、カメラ40によって使用者32、より具体的には使用者32の使用環境を撮影して画像データ52を作成するものである。カメラ40は、例えば固体撮像素子を有するカメラなど、公知のカメラであってよい。またカメラ40は、暗い場所での撮影が可能になるように、光を提供する発光部を備えていてもよい。
As shown in FIG. 2, the photographing
なお本発明では、カメラ40によって撮影された画像から覗き見されている可能性があるか否かを判断するため、カメラ40は、使用者32が第三者34に覗き見してほしくないと望んでいる部分の近傍に設ける必要がある。本実施例の場合、この使用者32が覗き見されたくないと望んでいる部分は携帯電話端末装置30の表示画面36である。なぜならこの表示画面36に、例えばクレジットカードのカード番号、暗証番号、またはメールアドレスなどが表示される場合があるからである。よってカメラ40は、携帯電話端末装置30の表示画面36の近傍であれば、任意の位置に設けることが可能であり、本実施例では図2に示すように表示画面36の上部中央に設けられている。
In the present invention, in order to determine whether or not there is a possibility of being peeped from an image taken by the
なお本実施例では覗き見されたくない部分は表示画面36であるが、本発明はこれに限定するわけではなく、覗き見防止装置10が設けられるものに応じて、任意の部分を覗き見されたくない部分とすることが可能である。例えば、暗証番号やクレジットカード番号の入力を行うキーボードなどが第三者に覗き見されたくない部分であれば、キーボードなどの近傍にカメラを設けることが可能である。またカメラは、第三者に覗き見されたくない部分の近傍であれば任意の位置に設けることが可能であるが、好ましくは使用者の使用中に、この部分を覗き見している、または覗き見しようとしている第三者が十分に写る位置に設けるとよい。なお本発明はこれに限定するわけではない。撮影部14で作成された画像データ52は、顔抽出部16に送られる。以下の説明において各信号はその現れる接続線の参照番号で特定する。
In this embodiment, the portion that is not desired to be peeped is the
顔抽出部16は、供給される画像データ52から、後段の照合部18で必要となる顔の部分を示す顔情報54を抽出するものである。この顔情報54の抽出は、公知のやり方を採用して抽出することが可能であり、また顔情報54も、後段の照合部18で行われる照合に応じて公知のものを顔情報54とすることが可能である。例えば本実施例では、顔抽出部16は、電子情報通信学会誌、D-II、Vol. J80-D-II No. 8 「多様な姿勢を有する入力顔画像からの個人識別」に開示されている階層的ガボールフィルタを用いて、顔画像データ52から、顔情報54として顔の特徴量を示す特徴量データを抽出している。なお本発明はこれに限定するわけではなく、顔情報54は任意のものであってよく、例えば、公知のテンプレートなどを利用して目や口の形状、またはこれらの位置などを抽出し、目や口の形状、これらの位置、または形状と位置の組み合わせなどを顔情報54とすることも可能である。なお本発明はこれに限定するわけではない。抽出された顔情報54は、照合部18に送られる。
The
照合部18は、顔抽出部16から送られてくる顔情報54と、予め記憶部20に記憶されている登録情報56とを照合して、撮影部14で作成された画像に第三者が写っているか否かを判定し、覗き見されている可能性があるか否かを判断するものである。照合には、公知の技術を用いることが可能である。例えば本実施例では、顔情報54として特徴量データを用いているため、記憶部20には携帯電話端末装置30の使用主である本人の顔の特徴量を示す特徴量データ、および存在すれば、本人の友人などの顔の特徴量を示す特徴量データが記憶されている。よって照合部18は、登録されている本人の特徴量データ、および登録されていれば本人の友人などの特徴量データと、抽出された特徴量データと照合し、画像に第三者が存在しているか否かを判断する。なお本発明はこれに限定するわけではなく、任意のやり方を用いて第三者が画像に写っているか否かを判断することが可能である。判断の結果58は、制御部12へ送られる。
The
記憶部20は、照合部18で行われる照合の際に用いられる登録情報56を記憶する記憶回路である。本実施例では、携帯電話端末装置30の使用主である本人、すなわち使用者32によって予め登録された、顔に関する特徴量のデータが登録情報56として記憶されている。この登録情報56は、照合部18で行われる照合に応じて、公知のやり方で作成でき、また公知のやり方で記憶部20に記憶させることが可能である。さらにいったん登録した登録情報56を更新することも可能である。
The
また記憶部20には、登録情報56を複数記憶させておくことが可能である。例えば、使用者32の顔に関する登録情報と、使用者32と関係のある人、例えば使用者32の友人の顔に関する登録情報とを記憶させておいてもよい。このように複数人の登録情報を記憶部20に記憶させておくことによって、例えば携帯電話端末装置30の表示画面36を複数人で見る場合、例えば使用者32とその友人とで見る場合であっても、使用者32とその友人とは関係の無い第三者によって覗き見されることを防ぐことが可能になる。なお本発明はこれに限定するわけではない。
Further, a plurality of
さらに記憶部20には、あらかじめ登録された登録情報以外に、任意のものを記憶しておくことが可能である。例えば本実施例では、携帯電話端末装置30を用いて通話を形成する相手先の電話番号などが記憶されている。
Furthermore, arbitrary information can be stored in the
通知作成部22は、制御部12からの制御信号60によって制御され、照合部18で第三者34が表示画面36を覗き見している可能性があると判断された場合に、使用者32に第三者34が覗き見している可能性がある旨を伝える通知情報66を作成するものである。通知情報66は、使用者32に覗き見されている可能性があることを伝えることが可能であれば任意のものでよく、例えば本実施例では、「覗き見されている可能性があります」という文字データや、覗き見を伝える画像データや映像データなどである。これらの文字データ、画像データ、および映像データなどは予め通知情報66として通知作成部22に記憶させておくことが可能である。
The
また通知作成部22は、通知情報66に加えて、覗き見されていると知らされた使用者32が継続して携帯電話端末装置30を使用できるように、覗き見を回避する回避策を作成してもよい。例えば本実施例では、第三者34のいる位置、第三者34が覗き見できなくなると考えられる位置、またはこの位置の方向や位置までの距離などを作成する。このような回避策は任意のやり方を採用して作成することが可能である。例えば画像データ52から抽出された顔情報54を用いて第三者34の位置を算出し、この第三者34の位置を用いて作成してもよいし、また例えば予め通知作成部22に回避策をいくつか登録しておき、第三者34の位置などに応じて通知作成部22で選択するようにしてもよい。なお本発明はこれに限定するわけではない。回避策が作成された場合にはこの回避策と、通知情報66とは、出力部24へ送られる。
In addition to the
出力部24は、制御部12によって制御され、照合部18で第三者34が表示画面36を覗き見している可能性があると判断された場合に、使用者32にその旨を伝えるために、通知作成部22で作成された通知情報66を出力するものである。なお出力部24は、通常の状態、すなわち、照合部18で第三者34が表示画面36を覗き見している可能性がない、または覗き見している可能性が低いと判断された場合には、通常の出力、すなわち、携帯電話端末装置30の使用に必要な表示を行う。
The
本実施例では、出力部24は、図2に示す表示画面36を含む表示装置であり、表示画面36に通知情報66を表示することで使用者32に覗き見されている旨を知らせる。なお本実施例では、出力部24は表示装置であるが、本発明はこれに限定するわけではなく、使用者32に第三者34が覗き見していることを知らせることが可能であれば、出力部24に任意のものを採用することが可能である。
In the present embodiment, the
例えば図示しないが、出力部24は、振動を形成する振動形成装置であってもよく、照合部18で第三者34が覗き見していると判断された場合には、振動によって使用者32にその旨を知らせるようにしてもよい。また例えば出力部24は、音を形成する音形成装置であってもよく、照合部18で第三者34が覗き見していると判断された場合には、音によって使用者32にその旨を知らせるようにしてもよい。
For example, although not shown in the figure, the
また例えば出力部24は、発光する発光装置であってもよく、照合部18で第三者34が覗き見していると判断された場合には、光によって使用者32にその旨を知らせるようにしてもよい。さらに例えばこれらを組み合わせ、例えば表示装置による表示と振動発生装置による振動との両方によって知らせることも可能である。なお本発明は、これらの例に限定するわけではない。また通知作成部22は出力部24での出力方式に応じた通知情報66を作成することが可能である。
Further, for example, the
図3は、図1に示す覗き見防止装置における覗き見を防止する処理手順の一例を示した流れ図である。図3に示す例では、携帯電話端末装置30を使用中の使用者32をカメラ40によって撮影し、撮影により作成された画像に、予め記憶部20に登録されていない他人、すなわち第三者の顔が存在するか否かを判断することにより、覗き見されている可能性があるか否かを判断する。また覗き見されている可能性があると判断した場合には、覗き見されている可能性がある旨、および覗き見を回避する回避策を表示画面36に出力し、使用者にその旨を知らせる。以下、詳細に説明する。
FIG. 3 is a flowchart showing an example of a processing procedure for preventing peeping in the peeping prevention apparatus shown in FIG. In the example shown in FIG. 3, a
図3において、携帯電話端末装置30の制御部12は、覗き見防止処理開始の信号を受け取ると、撮像部14のカメラ40に、使用者32を、より具体的には、使用者32が携帯電話端末装置30を使用している環境を撮影させる(ステップS10)。この覗き見防止処理開始の信号は、任意のやり方で制御部12に提供することが可能であり、例えば予め携帯電話30の使用者32が、覗き見防止処理開始の信号の提供のタイミングを設定しておいてもよいし、また例えば覗き見防止処理の開始を制御部12に伝えるボタンなどを携帯電話端末装置30に設けておき、ボタンが押されると覗き見防止処理が開始されるようにしてもよい。なお本発明はこれに限定するわけではない。
In FIG. 3, when the
またこのとき制御部12は、例えば覗き見防止処理が開始された旨を表示画面36などに表示させて、開始の旨を使用者32に伝えるようにしてもよいし、また例えば、覗き見防止装置10によって覗き見されていないと判断されるまで、表示画面36に、図示しないが通常とは異なる表示をさせて、第三者34に見られてほしくないものを表示しないようにすることも可能である。なお本発明はこれに限定するわけではない。
At this time, the
撮影により作成された画像データ52は、顔抽出部16に送られる。本実施例では、カメラ40は携帯電話端末装置30の表示画面36の上部中央に設けられて、使用者32が表示画面36を見ながら携帯電話端末装置30を操作している最中を撮影するため、撮影によって作成された画像には、例えば図4に示すように、使用者32の顔、および、もし使用者32の背後から覗き見している、または覗き見しようとしている第三者34がいれば第三者34の顔が写っている。図4は、撮影によって作成された画像を概念的に示したものである。
顔抽出部では、このような使用者32の顔、および第三者34の顔が写っている画像80から、使用者32の顔情報および第三者34の顔情報を抽出する(ステップS12)。このとき顔抽出部16は、抽出された顔情報がいくつあるか判断する(ステップS14)。その結果、抽出された顔情報がゼロの場合、すなわち画像データから顔が抽出されない場合は、顔抽出部16は写真を取り直すよう制御部12へ伝え、制御部12は撮影部14に使用者32の使用環境を再度撮影させる。このとき制御部12は、顔抽出部16で顔が抽出されるまで、例えば出力部24に、それまで表示画面36に出力されていたものに替えて、第三者が見てもかまわないものを表示画面36に出力させたり、表示画面36に何も表示しないようにさせてもよい。
The face extraction unit extracts the face information of the
一方ステップS14における判断の結果、抽出された顔情報が1つ以上ある場合は、顔抽出部16は顔照合部18へ抽出されたすべての顔情報を送る。顔照合部18では、顔抽出部16から送られてきた顔情報と、予め記憶部20に登録されている登録情報とを照合し(ステップS16)、顔抽出部16から送られてきた顔情報に、記憶部20に登録されていない者、すなわち第三者34の顔情報が存在するか否かを判断し、第三者34の顔が存在する場合には、第三者34により覗き見されている可能性があると特定し、その旨を制御部12に伝える。逆に顔抽出部16から送られてきた顔情報と、記憶部20に記憶されている登録情報とが一致する、すなわち第三者34の顔情報が存在しない場合は、覗き見されている可能性が低いと特定してその旨を制御部12に伝える(ステップS18)。なお顔情報と登録情報とがどの程度一致すれば、覗き見されている可能性がないと判断するかは、例えば照合部18でどのような照合を行うかに応じて、任意に設定することが可能である。
On the other hand, if the result of determination in step S14 is that there is one or more extracted face information, the
また照合部18は、例えば複数人の登録情報が記憶部20に記憶されている場合には、顔抽出部16から送られてきた顔情報が1つのみであって、かつそれが予め携帯電話端末装置30の使用主である本人と登録された登録情報と一致するか否かをさらに判断して、使用者32が本人であるのか、本人ではない者であるのか、または本人と、本人ではない者であって予め登録された者、例えば友人とであるのかを特定してもよい。このように使用者32を特定することによって、例えば、使用者32が本人ではない場合や、使用者32に本人ではない者が含まれている場合に、携帯電話端末装置30の機能を制限したり、表示画面の表示を制限したりすることが可能になるが、本発明はこれに限定するわけではない。
For example, when the registration information of a plurality of persons is stored in the
ステップS18における判断の結果、覗き見されている可能性が低いと特定された場合には、制御部12は覗き見を防止する処理を継続するか否かを判断する(ステップS20)。この判断には任意のやり方を採用することが可能であり、例えば本実施例では制御部12は、使用者32から覗き見防止処理を終了させる信号が入力されたか否かを判断し、終了の信号が入力された際には、覗き見防止処理を終了する。一方覗き見防止処理を終了させる信号が入力されていない場合では、ステップS10へ戻り、使用者32の使用環境を撮影して覗き見防止処理を再度行う。なお制御部12は継続の判断をする前に、覗き見されている可能性が低いことを使用者32に知らせる表示を行ってもよい。
As a result of the determination in step S18, when it is determined that the possibility of peeping is low, the
ステップS18における判断の結果、覗き見されている可能性があると特定された場合は、制御部12は使用者32にその旨を知らせるよう通知作成部22に指示を出す。指示を受けた通知作成部22は、覗き見されている可能性のあることを通知するための通知情報、および覗き見を回避するための回避策を作成する(ステップS22)。
As a result of the determination in step S18, when it is determined that there is a possibility of being peeped, the
本実施例では、通知情報は、覗き見を示唆する画像、および「覗き見されている可能性があります」という文字である。また回避策は、第三者34が覗き見できなくなると考えられる位置への向き、およびこの位置までの距離であり、具体的には第三者34が携帯電話端末装置30の表示画面36の視野角外になるように携帯電話端末装置30を傾ける方向および距離である。このように第三者34が表示画面の視野角外になるような方向および距離を回避策とするのは、第三者34の顔が画像80に存在するということは、携帯電話端末装置30の表示画面36の視野角内に第三者34の顔が位置しているからであると考えられるからである。
In the present embodiment, the notification information is an image that suggests a peep and a character “may be peeped”. Further, the workaround is the direction to the position where the
なお回避策として提供する距離は、最短距離であるほうが、覗き見を回避した後も、使用者32が表示画面36を見易くなり、携帯電話端末装置30を容易に操作し続けることが可能になるため好ましいが、本発明はこれに限定するわけではない。また本実施例では、回避策は第三者34が覗き見できなくなると考えられる位置への方向、およびこの位置までの距離であるが、本発明はこれに限定するわけではなく、覗き見を回避することが可能であれば、任意のものを回避策とすることが可能である。
The shortest distance provided as a workaround is that the
図5は、図1に示す通知作成部22が回避策を作成する処理の一例を概念的に示した図である。図5において、図4と同じ参照符号は同様の構成要素を示す。図5に示す例では、通知作成部22は、まず撮影部14で作成された画像データから、第三者34の顔の位置を特定する。次にこの顔の位置を用いて、第三者が覗き見できなくなる方向、および第三者が覗き見できなくなる位置までの距離を、具体的には携帯電話端末装置30を傾ける方向、およびどの程度傾けたらよいのかという傾ける距離を算出する。なお第三者34の顔の位置の特定は、顔抽出部16で行い、通知作成部22に送るようにしてもよい。
FIG. 5 is a diagram conceptually illustrating an example of a process in which the
図5を参照して、位置の特定、および傾ける方向と距離の算出についてより具体的に説明すると、まず通知作成部22は、図5に示すように、第三者の顔に外接する四角形86を作成して、この四角形86の中心88を特定し、この中心88から画像の左端まで引いた水平線の長さX1と、中心88から画像の右端まで引いた水平線の長さX2とを比較して、第三者34の顔が画像80の右側にあるのか、または左側にあるのかを判断して第三者34の顔の位置を特定する。本実施例では、長さX2よりも長さX1の方が大きいので、通知作成部22は、第三者34が画像中の右側にいると判断する。
Referring to FIG. 5, the position specification and the calculation of the direction and distance of tilting will be described more specifically. First, as shown in FIG. 5, the
次に通知作成部22は、傾ける方向および距離を特定する。図5に示す例では、第三者34の顔は画像80の右側に位置するが、撮影によって得られる画像は左右が逆になるため、実際には第三者34は左側、さらに詳細には左後ろにいて、上方から表示画面36を覗き見している。よって使用者32は、表示画面36の向き、すなわち本実施例では携帯電話端末装置30全体の向きを、例えば図5に点線84で示すように、画像80に、第三者34が位置する側とは反対側が写って、第三者34の顔全体が写らないように変えればよく、具体的には、図6に矢印90で示すように、携帯電話端末装置30全体を使用者から見て右に傾ければ、第三者34の顔が表示画面36の視野角外に位置するようになって第三者34は表示画面を覗き見することができなくなる。よって傾ける方向は、使用者32から見て右の方向と特定される。図6は、携帯電話端末装置を傾ける向きの一例を概念的に示した図である。図6において図2と同じ参照符号は同様の構成要素を示す。
Next, the
また図5に示す例では、傾ける距離を、第三者34の顔の中心88から第三者34が位置する側の端までの距離、すなわちX2としている。なお本実施例では、説明をわかり易くするために傾ける距離をX2としているが本発明はこれに限定するわけではなく、表示画面36の視野角などに応じて任意の距離とすることが可能である。以上のようにして通知作成部22は回避策を作成する。
In the example shown in FIG. 5, the distance of tilting, and the
なお図5を参照して画像80に第三者34が一人写っている場合について説明したが、第三者が二人以上写っている場合であっても、同様にしてこれらの第三者が覗き見できない方向、および距離を算出することが可能である。
In addition, although the case where one
作成された回避策と、通知情報とは、出力部24へ送られて表示画面36に表示される(ステップS24)。図7に、通常、すなわち覗き見されていないときの表示画面の一例を概念的に示し、図8に、通知情報および回避策が表示された表示画面の一例を概念的に示す。図7、図8において図2と同じ参照符号は同様の構成要素を示す。
The created workaround and notification information are sent to the
図7において覗き見されていないときは、表示画面36には通常の表示が行われている。例えば図7に示す例では、使用者の氏名、住所、および電話番号を入力する欄100、102、104がそれぞれ表示され、使用者は各欄100、102、104を見ながら自身の氏名、住所、および電話番号をそれぞれ入力してゆく。入力された氏名、住所、および電話番号は、そのまま各欄100、102、104に表示される。なお図3に示すステップS18において覗き見されている可能性が低いと判断された際も図7と同様の通常の表示が行われる。
When not peeping in FIG. 7, normal display is performed on the
このような通常の表示が行われている場合に、覗き見されている可能性があると判断されると、表示画面36には通知情報および回避策が表示される。具体的には、本実施例では図8に示すように、表示画面36に、覗き見を示唆する画像、具体的にはサングラスの画像110、および「覗き見されている可能性があります」という文字が表示されて、使用者32に覗き見されている可能性が知らされる。また、携帯電話端末装置を概念的に示した2つの画像116、118、および矢印120が表示され、画像118を右方向に傾けた携帯電話端末装置の画像にすることによって携帯電話端末装置30を傾ける方向が、矢印120の長さによって携帯電話端末装置30を傾ける距離がそれぞれ示されている。
When it is determined that there is a possibility of peeping in such normal display, notification information and a workaround are displayed on the
なお本発明は図8に示す例に限定するわけではなく、使用者32に覗き見されている可能性がある旨を知らせることが可能であれば、任意のやり方を採用することが可能である。例えば、方向と距離とが算出されているため、携帯電話端末装置30のいる現在の位置と、覗き見を回避する位置とを表示して回避策を知らせてもよいし、また例えば矢印を表示し、矢印の長さと矢印の方向で傾ける距離と方向とを示すようにしてもよい。また本発明は、表示以外に、例えば音、振動、または光などで覗き見されている可能性のある旨を知らせてもよく、これらの種類を変えることによって傾ける方向などを知らせるようにしてもよい。また例えば回避策を知らせずに、覗き見されている可能性がある旨のみを知らせることも可能である。なお本発明はこれに限定するわけではない。
Note that the present invention is not limited to the example shown in FIG. 8, and any method can be adopted as long as the
使用者32は、このような表示が表示画面36に表示されると、覗き見されている可能性があることを認識し、回避策が示す通りに携帯電話端末装置30を使用者32から見て右方向に傾ける。なお表示画面36そのものを動かすことが出来る場合では、表示画面36のみを動かすようにしてもよい。このとき携帯電話端末装置30は、例えば自動的に撮影、照合を繰り返して、第三者34が画像80に存在しなくなる、すなわち第三者34が完全に視野角外に出たと判断されるまで、図8に示す表示を行って覗き見されている旨を使用者32に通知し続けてもよい。なお本発明はこれに限定するわけではない。
When such a display is displayed on the
図3に戻って、使用者32に覗き見されている可能性のある旨、および回避策を知らせると、制御部12は覗き見を防止する処理を継続するか否かを判断し(ステップS20)、終了する場合は覗き見防止処理を終了し、逆に終了しない場合は、ステップS10へ戻り、使用者の使用状況を再度撮影して覗き見防止処理を再度行う。
Returning to FIG. 3, when the
以上のようにして本発明では、カメラによって使用者の使用環境を撮影し、得られた画像を用いて第三者が覗き見しているか否かを判断するため、状況に応じて覗き見を防止することが可能になる。よって例えば携帯電話端末装置に本発明の覗き見防止装置を設けた場合では、常に表示画面の視野角を制限する必要がないため、正当な使用者、例えば携帯電話端末装置の使用主やこの使用主の了承を得た者が、携帯電話端末装置を使用する際に表示画面が見難くなるなどの問題が生じることがない。 As described above, in the present invention, the user's usage environment is photographed by the camera, and it is determined whether or not a third party is peeping using the obtained image. It becomes possible to prevent. Therefore, for example, when the peep prevention device of the present invention is provided in a mobile phone terminal device, it is not always necessary to limit the viewing angle of the display screen, so that the legitimate user, for example, the owner of the mobile phone terminal device or its use A person who has obtained the consent of the main person does not have problems such as difficulty in viewing the display screen when using the mobile phone terminal device.
また本発明の覗き見防止装置では、第三者によって覗き見されている可能性がある場合には、覗き見を通知すると共に、覗き見を回避する回避策を提示するため、他人による覗き見を適切に回避することが可能になり、プライバシーを保護することが可能になる。 In addition, in the peep prevention device of the present invention, when there is a possibility of peeping by a third party, the peep is noticed by another person and a workaround for avoiding the peep is presented. Can be avoided appropriately, and privacy can be protected.
図9は、通知作成部が回避策を作成する処理の別の一例を概念的に示した図である。図9において、図5と同じ参照符号は同様の構成要素を示す。図9に示す例では、通知作成部22は、垂直方向の距離、すなわち、第三者34の顔の中心88から画像の上端まで引いた垂直線の長さY1と、中心88から画像の下端まで引いた垂直線の長さY2を利用して、傾ける方向、および距離を算出する。
FIG. 9 is a diagram conceptually illustrating another example of a process in which the notification creation unit creates a workaround. 9, the same reference numerals as those in FIG. 5 denote the same components. In the example shown in FIG. 9, the
具体的に説明すると、通知作成部22は、長さX1、X2を用いて傾ける方向、および距離を算出したやり方と同様に、長さY1と、長さY2とを比較し、第三者34の顔が画像の上側にあるのか、または下側にあるのかを判断することによって、第三者の顔の位置を特定して傾ける方向を決める。本実施例ではY1よりもY2の方が大きいため、通知作成部22は、第三者34の顔が上側にあると判断して、傾ける方向を下向きと決める。なお傾ける距離は、長さX1、X2を用いて計算した場合と同様に、Y1とする。これは、説明をわかりやすくするためであって、本発明はこれに限定するわけではない。
More specifically, the
以上のようにして、垂直方向の長さを利用して作成された回避策が表示された表示画面36は、例えば図10に示すようになる。図10は、通知情報および回避策とが表示された表示画面の別の一例を概念的に示したものである。図10において、図8と同じ参照番号は同様の構成要素を示す。図10に示す例では、画像122を下方向に傾いた携帯電話端末装置の画像にすることによって携帯電話端末装置30を傾ける方向を示している。
The
なお本発明は図5、および図9に示す例に限定するわけではなく、任意のやり方を採用して傾ける方向、および距離を算出することが可能である。例えば、図5に示す長さX1、X2を用いる計算と、図9に示す長さY1、Y2を用いる計算の、両方を行って傾ける方向と距離とを算出することも可能である。なお本発明はこれに限定するわけではない。 Note that the present invention is not limited to the examples shown in FIGS. 5 and 9, and the tilt direction and distance can be calculated by adopting an arbitrary method. For example, both the calculation using the lengths X 1 and X 2 shown in FIG. 5 and the calculation using the lengths Y 1 and Y 2 shown in FIG. 9 can be performed to calculate the tilt direction and distance. is there. The present invention is not limited to this.
図11は、覗き見されている可能性のある旨を使用者に知らせる表示の別の一例を概念的に示した図である。図11において図7と同じ参照符号は同様の構成要素を示す。図11では、第三者34に知られてほしくないもの、例えば使用者32の個人情報などを、部分的にまたはすべて隠して表示し、第三者34が表示画面36を覗き見しても、このような知られてほしくないものがわからないようにする。
FIG. 11 is a diagram conceptually illustrating another example of a display for notifying the user that there is a possibility of being peeped. 11, the same reference numerals as those in FIG. 7 denote the same components. In FIG. 11, information that the
具体的には、図11に示す例では、欄102、104それぞれにおける、住所、および電話番号の具体的な数字の部分がバツ印130で隠され、第三者34が表示画面を覗き見しても、第三者34には住所や電話番号の具体的な数字がわからないようになっている。なお図11に示す例ではバツ印130で見られたくない部分を隠しているが、本発明はこれに限定するわけではなく、任意のもの、例えば図形、記号、文字、または絵などで隠すことが可能であり、さらに見られたくない部分だけ表示しないようにして隠すことも可能である。また隠す部分は数字に限定するわけではなく、任意のものを隠すことが可能である。
Specifically, in the example shown in FIG. 11, the specific numeric portions of the address and telephone number in the
図11に示すような見られたくないものを隠した表示は、例えば使用者32に第三者34が覗き見している旨を知らせるために行ってもよいし、また例えば覗き見されている旨が通知された後に、使用者32が継続して携帯電話端末装置30を使用する際などに行ってもよいし、さらに例えば覗き見している第三者34が二人以上存在しているために、携帯電話端末装置30を傾けて一方の第三者の覗き見を回避しようとすると、他方の第三者の覗き見が回避できなくなる場合などに行ってもよいが、本発明はこれに限定するわけではない。また図12に示すように、回避策と一緒に表示することも可能である。図12に示す例のように、第三者に知られてほしくないものをバツ印130で隠しながら回避策を提示することによって、使用者32は、覗き見を回避している最中であっても情報の入力など、携帯電話端末装置の操作を行うことが可能になる。
For example, the display that hides what is not desired to be seen as shown in FIG. 11 may be performed to notify the
図13は、覗き見されている可能性のある旨を使用者に知らせる表示の別の一例を概念的に示した図である。図13において、図6、および図9と同じ参照符号は同様の構成要素を示す。図13に示す例では、第三者34の顔がある位置、すなわち本実施例では左上に顔の画像132を表示することによって、第三者34の顔の位置を使用者32に知らせて、使用者32に覗き見されている可能性のある旨および回避策を提供している。よって、使用者32は自身の携帯端末装置30の表示画面36がどの方向から覗き見されているのかを把握することが可能になり、例えばその方向に手をかざしたり、また例えば覗き見されている方向とは反対方向に携帯電話端末装置30を動かしたりして、表示画面36を覗き見されないようにすることが可能になる。
FIG. 13 is a diagram conceptually illustrating another example of a display that informs the user that there is a possibility of being peeped. In FIG. 13, the same reference numerals as those in FIGS. 6 and 9 denote the same components. In the example shown in FIG. 13, the position of the face of the
なお顔の画像132を表示することによって、使用者32に第三者34の顔の位置を知らせる場合には、例えば図13に示すように、顔の画像132を表示すると共に、第三者34に見られてほしくない情報をバツ印130で隠してもよいし、また例えば図示しないが第三者34に見られてほしくない情報をバツ印130で隠さない通常の表示と、顔の画像132とを表示して、顔の画像132によって覗き見されている可能性のある旨、および第三者34の顔の位置を通知してもよく、任意のやり方を採用することが可能である。また使用者に第三者の位置を知らせることが可能であれば、顔の画像を表示することに限定するわけではなく、任意のものを表示することが可能である。例えば、図14に示すように目でもよい。
When the
図14は、覗き見されている可能性のある旨を使用者に知らせる表示の別の一例を概念的に示した図である。図14において、図8と同じ参照符号は同様の構成要素を示す。図14に示す例では、通常の表示から、覗き見されている可能性がある旨を通知する表示に切り換えて、覗き見されている可能性のある旨を使用者32に知らせると共に、第三者34の顔のある位置に目の画像134を表示することによって、使用者32に第三者34の顔のある位置を知らせている。また図14に示す例では、矢印136によって傾ける方向および距離を知らせている。
FIG. 14 is a diagram conceptually illustrating another example of a display for notifying the user that there is a possibility of being peeped. 14, the same reference numerals as those in FIG. 8 denote the same components. In the example shown in FIG. 14, the display is switched from the normal display to a notification that there is a possibility of being peeped, and the
以上のようにして、本発明では、使用環境を撮影して作成された画像から第三者が覗き見している可能性があるか否かを判断し、可能性がある場合はその旨を使用者に知らせる。よって、使用者に不便と感じさせずに、安全性を維持することが可能になる。 As described above, in the present invention, it is determined whether there is a possibility that a third party is peeping from an image created by photographing the usage environment, and if there is a possibility, the fact is indicated. Inform the user. Therefore, it is possible to maintain safety without making the user feel inconvenient.
10 覗き見防止装置
12 制御部
14 撮影部
16 顔抽出部
18 照合部
10 Peep prevention device
12 Control unit
14 Shooting section
16 Face extractor
18 Verification part
Claims (17)
該使用者を撮影して画像を作成する撮影工程と、
該画像から顔に関する顔情報を抽出する抽出工程と、
該顔情報と予め登録された登録情報とを照合することにより、前記画像に前記第三者が写っているか否かを判断する照合工程と、
該照合工程の判断に応じて前記第三者が覗き見している可能性のある旨を前記使用者に知らせる通知情報を作成する通知作成工程と、
該通知情報を出力する出力工程とを含むことを特徴とする覗き見防止方法。 A method for preventing a peep by informing a user that there is a possibility of being peeped by a third party,
A photographing step of photographing the user to create an image;
An extraction step of extracting face information about the face from the image;
A collation step of determining whether or not the third party is shown in the image by collating the face information with registered information registered in advance;
A notification creating step for creating notification information for notifying the user that the third party may be peeping according to the judgment in the collation step;
An output step for outputting the notification information.
使用者を撮影して画像を作成する撮影手段と、
該画像から顔に関する顔情報を抽出する抽出手段と、
該顔情報と予め登録された登録情報とを照合することにより、前記画像に前記第三者が写っているか否かを判断する照合手段と、
該照合手段の判断に応じて前記第三者が覗き見している可能性のある旨を前記使用者に知らせる通知情報を作成する通知作成手段と、
該通知情報を出力する出力手段とを含むことを特徴とする覗き見防止装置。 A device for informing a user that there is a possibility of being peeped by a third party and preventing the peep,
Photographing means for photographing a user and creating an image;
Extracting means for extracting face information about the face from the image;
Collation means for judging whether or not the third party is shown in the image by collating the face information with registered information registered in advance;
Notification creating means for creating notification information for notifying the user that the third party may be peeping according to the judgment of the matching means;
An output device for outputting the notification information.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007081439A JP2008244753A (en) | 2007-03-27 | 2007-03-27 | Peeping prevention method and peeping prevention device |
PCT/JP2007/068092 WO2008117486A1 (en) | 2007-03-27 | 2007-09-18 | Peep prevention method, peep prevention device and computer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007081439A JP2008244753A (en) | 2007-03-27 | 2007-03-27 | Peeping prevention method and peeping prevention device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008244753A true JP2008244753A (en) | 2008-10-09 |
Family
ID=39788228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007081439A Pending JP2008244753A (en) | 2007-03-27 | 2007-03-27 | Peeping prevention method and peeping prevention device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2008244753A (en) |
WO (1) | WO2008117486A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010171673A (en) * | 2009-01-22 | 2010-08-05 | Nec Corp | Cell phone, object approach reporting method, object approach reporting program, and program recording medium |
JP2011197276A (en) * | 2010-03-18 | 2011-10-06 | Hitachi Solutions Ltd | Apparatus and method for displaying of advertisement image |
CN104992096A (en) * | 2015-06-30 | 2015-10-21 | 广东欧珀移动通信有限公司 | Data protection method and mobile terminal |
WO2018003336A1 (en) * | 2016-06-29 | 2018-01-04 | シャープ株式会社 | User authentication device, user authentication device control method, control program, and recording medium |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184134A (en) * | 2015-08-26 | 2015-12-23 | 广东欧珀移动通信有限公司 | Smart watch based information display method and smart watch |
CN110140127B (en) | 2017-11-16 | 2022-07-22 | 华为技术有限公司 | Display method, device and terminal |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003264877A (en) * | 2002-03-12 | 2003-09-19 | Sony Ericsson Mobilecommunications Japan Inc | Mobile terminal |
JP2006031287A (en) * | 2004-07-14 | 2006-02-02 | Toshiba Corp | Automatic transaction device |
JP2006259930A (en) * | 2005-03-15 | 2006-09-28 | Omron Corp | Display device and its control method, electronic device equipped with display device, display device control program, and recording medium recording program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4086740B2 (en) * | 2003-09-09 | 2008-05-14 | 日本電気株式会社 | Terminal user monitoring system |
JP2008276274A (en) * | 2005-07-04 | 2008-11-13 | Nec Corp | Information processor and information processing method |
-
2007
- 2007-03-27 JP JP2007081439A patent/JP2008244753A/en active Pending
- 2007-09-18 WO PCT/JP2007/068092 patent/WO2008117486A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003264877A (en) * | 2002-03-12 | 2003-09-19 | Sony Ericsson Mobilecommunications Japan Inc | Mobile terminal |
JP2006031287A (en) * | 2004-07-14 | 2006-02-02 | Toshiba Corp | Automatic transaction device |
JP2006259930A (en) * | 2005-03-15 | 2006-09-28 | Omron Corp | Display device and its control method, electronic device equipped with display device, display device control program, and recording medium recording program |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010171673A (en) * | 2009-01-22 | 2010-08-05 | Nec Corp | Cell phone, object approach reporting method, object approach reporting program, and program recording medium |
JP2011197276A (en) * | 2010-03-18 | 2011-10-06 | Hitachi Solutions Ltd | Apparatus and method for displaying of advertisement image |
CN104992096A (en) * | 2015-06-30 | 2015-10-21 | 广东欧珀移动通信有限公司 | Data protection method and mobile terminal |
WO2018003336A1 (en) * | 2016-06-29 | 2018-01-04 | シャープ株式会社 | User authentication device, user authentication device control method, control program, and recording medium |
JPWO2018003336A1 (en) * | 2016-06-29 | 2019-03-07 | シャープ株式会社 | User authentication apparatus, control method for user authentication apparatus, control program, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
WO2008117486A1 (en) | 2008-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4924603B2 (en) | Face authentication device, face authentication method and program | |
JP4931924B2 (en) | Media data processing apparatus and media data processing method | |
JP5433935B2 (en) | Screen display control method, screen display control method, electronic device, and program | |
US8224128B2 (en) | Portable information terminal device | |
JP4646734B2 (en) | Portable information terminal device | |
CN108108012B (en) | Information interaction method and device | |
CN108062490A (en) | Glance prevention method, terminal and computer-readable medium | |
JP2010128778A (en) | Information display device, peep prevention method for the information display device and peep prevention program | |
JP2008244753A (en) | Peeping prevention method and peeping prevention device | |
CN108406776B (en) | Safety interaction method, safety interaction device and service robot | |
CN108446638A (en) | Auth method, device, storage medium and electronic equipment | |
US10425813B2 (en) | Authentication management method, information processing apparatus, wearable device, and computer program | |
CN109543390B (en) | Information security management method and system | |
JP2005049939A (en) | Image outputting device, image outputting method, image output processing program, image distributing server, and image distribution processing program | |
JP2007168099A (en) | Business card and terminal unit | |
CN109543389B (en) | Information protection method and system | |
JP4841687B2 (en) | Authentication information registration method for portable information terminal device | |
JP2005027135A (en) | Unauthorized photographing prevention system and terminal | |
JP2021144498A (en) | Information apparatus device, program for the same, and method for preventing unauthorized access to the same | |
WO2022259569A1 (en) | Authentication system, authentication device, authentication method, and program | |
JP2009156948A (en) | Display control device, display control method, and display control program | |
JP7409437B2 (en) | Information processing device, information processing method, and program | |
CN115344885B (en) | Display method, device and terminal | |
CN112492103A (en) | Terminal peep-proof method and device and storage medium | |
KR101910664B1 (en) | Method for protecting storing data in user device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110705 |