JP2009093399A - Information display device - Google Patents
Information display device Download PDFInfo
- Publication number
- JP2009093399A JP2009093399A JP2007263104A JP2007263104A JP2009093399A JP 2009093399 A JP2009093399 A JP 2009093399A JP 2007263104 A JP2007263104 A JP 2007263104A JP 2007263104 A JP2007263104 A JP 2007263104A JP 2009093399 A JP2009093399 A JP 2009093399A
- Authority
- JP
- Japan
- Prior art keywords
- person
- face image
- peeping
- unit
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
本発明は所定のアプリケーションに対応する画面を表示部に表示する情報表示装置に関し、特に電子メール機能、ブラウザ機能、電話帳機能などのアプリケーションを動作させ、情報表示装置の表示部に電子メールやインターネットのコンテンツなどを表示している際に、覗き見されていることを検知して警告する情報表示装置に関する。 The present invention relates to an information display device that displays a screen corresponding to a predetermined application on a display unit, and in particular, operates an application such as an e-mail function, a browser function, a telephone book function, and the like. The present invention relates to an information display device that detects and warns that a person is peeping while displaying the content of the user.
携帯電話装置をはじめとする情報表示装置は、使用する場所を選ばない。そのため、駅の構内や電車の中などで、電子メールやインターネットのコンテンツを表示しているときに、表示画面を他人に覗かれしまうことがある。また、据え置き型のパーソナルコンピュータなどの情報表示装置についても、電子メールやインターネットのコンテンツを表示しているときに、表示画面を他人に覗かれしまうことがある。 An information display device such as a mobile phone device does not choose a place to use. For this reason, when displaying e-mail or Internet contents on the premises of a station or on a train, the display screen may be looked into by others. Also, for information display devices such as stationary personal computers, other people may look into the display screen while displaying e-mail or Internet content.
例えば現金自動預け入れ支払機(ATM装置)において、操作時に他人が覗き見可能な位置にいるときは注意を促すことが提案されている(例えば、特許文献1参照)。 For example, in an automated teller machine (ATM device), it has been proposed to call attention when others are in a peekable position during operation (see, for example, Patent Document 1).
また、現金自動預け入れ支払機の操作者自身についても、その銀行口座についてパスワード入力時点からカメラの画像解析を行い、銀行口座利用者本人以外の人物であることを検知したら、警告したり特定の電話番号への通知をしたりすることが提案されている(例えば、特許文献2参照)。 Also, the operator of the automated teller machine itself analyzes the camera image of the bank account from the time the password is entered, and if it detects that it is a person other than the bank account user himself, warns or calls a specific phone It has been proposed to notify numbers (for example, see Patent Document 2).
従来の携帯電話装置の覗き見防止方法として実用化されているものに、いわゆる覗き見防止シートを貼る方法がある。覗き見防止シートを携帯電話装置の表示部に貼ると表示部の視野角は狭まり、視野角の外になった人からは表示部の内容が見えなくなる。しかし、電車の中など、自分の頭部の真後ろに他人の頭部があるときは、狭い視野角内に他人の目が入ってしまい、簡単に覗かれてしまうことがある。この場合、覗かれていても気づかないことが多い。また、視野角を狭める覗き見防止シートを貼っていると、携帯電話の表示部に表示した内容を友達などの複数の人に同時に見せるのには不便である。 As a method for preventing peeping in a conventional mobile phone device, there is a method of attaching a so-called peeping preventing sheet. If the peep prevention sheet is attached to the display unit of the mobile phone device, the viewing angle of the display unit is narrowed, and the contents of the display unit cannot be seen by a person who is outside the viewing angle. However, when someone else's head is directly behind your head, such as in a train, you may easily see someone else's eyes within a narrow viewing angle. In this case, it is often not noticed even if it is peeped. Also, if a peep prevention sheet that narrows the viewing angle is pasted, it is inconvenient to simultaneously show the content displayed on the display unit of the mobile phone to a plurality of people such as friends.
上記現金自動預け入れ支払機のように携帯電話装置でも、操作者の近くにいる人物が表示画面を覗き見しているかどうかを装置自身が判断して、警告してくれれば便利である。また、携帯電話装置を操作している者が所有者本人でないときには、そのことを装置自身が判断して、操作を禁止してくれれば、携帯電話装置の電子メールや電話帳情報などの個人情報を覗かれることが無くて便利である。 Even in a mobile phone device like the above automatic teller machine, it is convenient if the device itself determines whether a person near the operator is looking into the display screen and gives a warning. In addition, when the person who operates the mobile phone device is not the owner, if the device itself judges that and prohibits the operation, personal information such as e-mail and phone book information of the mobile phone device It is convenient not to be looked into.
そこで、カメラ付き携帯電話装置についても、表示部の近くに設けたカメラを利用して、表示部を見ることができる所定範囲内の人物の虹彩の情報を抽出して、予め記憶手段に登録してある虹彩データと照合し、誰かに覗かれていると判定したときは警告し、表示を中断して表示内容を覗かれないようにする方法が提案されている。しかし理論的には、虹彩認識技術を覗き見検出に用いるのは可能であろうが、照合する前に携帯電話装置の操作や表示部の閲覧を許される複数の人々の虹彩データを予め登録しておく必要があるなど、使い勝手の面から、一般的な携帯電話装置に簡単に搭載できるかどうか疑問であった(例えば、特許文献3参照)。 Therefore, for a camera-equipped mobile phone device, information on the iris of a person within a predetermined range where the display unit can be seen is extracted using a camera provided near the display unit and registered in the storage means in advance. A method has been proposed in which, when it is determined that someone is peeping, it is warned and the display is interrupted so that the display content cannot be looked into. However, theoretically, it would be possible to use iris recognition technology for peep detection, but before collating, the iris data of multiple people who are allowed to operate the mobile phone device and view the display unit are registered in advance. From the viewpoint of ease of use, there was a question as to whether it can be easily installed in a general mobile phone device (see, for example, Patent Document 3).
また、携帯電話装置の表示内容を誰かに覗かれていると警告された場合でも、表示部を見続けたいときがある。そのような場合には、表示しつづけている携帯電話装置を持つ手の角度を変えたり、自分の体の向きを変えたりして覗き見を回避する行動を取り、覗いている他人から見えない位置や角度に表示部をずらすことができれば便利である。このことは、据え置き型のパーソナルコンピュータなどの情報表示装置についても同様である。 Further, there is a case where the user wants to continue to look at the display portion even when a warning is given that someone is looking into the display content of the mobile phone device. In such a case, change the angle of the hand holding the mobile phone device that keeps displaying, or change the direction of your body to avoid peeping, so that you can not see it from others who are peeping It would be convenient if the display unit could be shifted to the position or angle. The same applies to information display devices such as stationary personal computers.
しかし、従来の技術は、覗き見されていることを単純に警告するにとどまり、誰にどの向きから覗かれているかを示すことについては全く配慮されていない。そのため覗き見されていることが分かったとしても、どのように携帯電話装置の持ち方を変えればよいか、あるいは自分の体の向きを変えればよいか、画面の角度を変えればよいか、ウィンドウを閉じればよいかなどがわからなかった。
本発明は、情報表示装置の所有者など、情報表示装置を専有して全ての操作ができる人物(以下、説明を簡単にするために「専有者」と称する)と、一部の操作と表示部の閲覧を「専有者」から承認された「被承認者」を簡単に登録することができ、操作者が「専有者」であるか、「被承認者」であるかを認識して制御することができる情報表示装置を実現することを第一の課題としている。 The present invention relates to a person who can occupy an information display device such as the owner of the information display device (hereinafter referred to as “exclusive person” for the sake of simplicity), a part of operation and display. “Approved Person” approved by “Exclusive Person” can be easily registered, and recognizes whether the operator is “Exclusive Person” or “Approved Person”. It is a first object to realize an information display device that can do this.
また、本発明は、「専有者」や「被承認者」以外の、情報表示装置の操作や表示部の表示内容の閲覧を承認されていない人物が情報表示装置の表示部の表示内容を覗き見たときには、そのことを検知して警告するとともに、予め定めた者の電話装置や電子メール受信機に覗き見られていることを通知することができ、更に情報表示装置に対してどの位置にいる人物が覗き見しているかを示すことができる情報表示装置を実現することを第二の課題としている。 In addition, the present invention also allows a person who is not authorized to operate the information display device or view the display content of the display unit other than the “exclusive person” or the “approved person” to look into the display content of the display unit of the information display device. When you see it, you can detect it and warn you, and you can be notified that you are peeping into a predetermined person's telephone device or e-mail receiver. A second problem is to realize an information display device that can show whether a person is peeping.
更に、本発明は、情報表示装置に対してどの位置にいる人物が覗き見しているかを示すだけにとどまらず、覗き見している人物の視線をさえぎるように表示部の視野角を変える方法など、覗き見を回避する具体的な方法を操作者に示し、また具体的な方法を自動的に実行する情報表示装置を実現することを第三の課題としている。 Furthermore, the present invention is not limited to indicating to which position a person is peeping with respect to the information display device, and a method for changing the viewing angle of the display unit so as to block the line of sight of the peeping person. A third problem is to provide an operator with a specific method for avoiding peeping, and to realize an information display device that automatically executes the specific method.
本発明は、所定のアプリケーションに対応する画面を表示部に表示する情報表示装置において、表示部の近傍に配置したカメラ手段と、顔画像データベースと、顔画像照合手段と、覗き見状況分析手段とを設け、顔画像データベースには、情報表示装置の専有者の顔画像と被承認者の顔画像を記憶しておき、情報表示装置のアプリケーションが動作すると、カメラ手段は表示部に対向する領域を撮像し、顔画像照合手段は、撮像した画像から顔画像を抽出し、抽出した顔画像と顔画像データベースに記憶した顔画像とを照合し、覗き見状況分析手段は顔画像照合手段が照合した結果、予め記憶させた顔画像が一致しないときには、覗き見されていると判定し、判定結果を表示手段に示すよう構成している。 The present invention provides an information display device that displays a screen corresponding to a predetermined application on a display unit, a camera unit arranged in the vicinity of the display unit, a face image database, a face image collating unit, a peeping state analyzing unit, In the face image database, the face image of the person who owns the information display device and the face image of the person to be approved are stored, and when the application of the information display device operates, the camera means creates a region facing the display unit. The face image collating unit extracts the face image from the captured image, collates the extracted face image with the face image stored in the face image database, and the peeping state analyzing unit collates the face image collating unit. As a result, when the face images stored in advance do not match, it is determined that the user is peeping, and the determination result is displayed on the display means.
そのため、情報表示装置の操作者が電子メール閲覧やインターネットのコンテンツ画閲覧面などの所定のアプリケーションを動作させると、カメラにより、操作者とその周辺にいる人物の画像認識を行い、操作や表示部の閲覧を承認されていない人物が検知された場合は、操作者にその旨を音声や文字などを出力して通知するだけでなく、覗き見状況を表示する。 For this reason, when an operator of the information display device operates a predetermined application such as an e-mail browsing or Internet content image browsing screen, the camera recognizes an image of the operator and a person in the vicinity with the camera, and operates and displays When a person who is not authorized to browse is detected, not only is the operator notified by outputting voice or text, but also the peeping status is displayed.
なお、ここで所定のアプリケーションとは、電子メール機能、ブラウザ機能、電話帳機能など所定の機能群のうちのいずれか一つのアプリケーションを示すことにしてもよいし、電子メールの閲覧時や、電子メール機能から電話帳を呼び出し表示しているとき、あるいはブラウザのコンテンツ閲覧画面など所定の機能を動作させるときのように複合的に連携して動作させる複数のアプリケーションを示すことにしてもよい。 Here, the predetermined application may indicate any one application in a predetermined function group such as an e-mail function, a browser function, and a phone book function, A plurality of applications that are operated in a complex manner such as when a telephone directory is called and displayed from the mail function or when a predetermined function such as a browser content browsing screen is operated may be shown.
そのため、使用するアプリケーションに応じた機能の制御について、専有者と被承認者だけが端末を閲覧できるようになるため、ユーザの利便性を損なわずに覗き見を防止できるだけでなく、覗き見されている状況が把握できる。 As a result, only the owner and the authorized person can view the device for controlling functions according to the application to be used. Can understand the situation.
また本発明は、情報表示装置を操作している操作者の周囲から覗き見されたときは、操作者にその旨を音声や文字などを出力して通知するだけでなく、覗き見状況を提示し、さらに覗き見を回避する方法を示し、そして覗き見を回避する方法を自動的に実行するように構成している。 In addition, when the present invention is peeped from around the operator who is operating the information display device, the operator is not only notified by outputting voice or text, but also presents the peeping situation. In addition, a method for avoiding peeping is shown, and a method for avoiding peeping is automatically executed.
このため、情報表示装置を操作している操作者の周囲から覗き見されたときは、警告するだけでなく、状況が把握でき、覗き見の回避方法もわかるので、覗き見している人物の視野をさえぎるように行動することができる。特に、自動的に回避動作をするようにした情報表示装置では、覗き見されたとしてもそのまま特別な行動をとらなくても、覗き見している人物の視野をさえぎるように覗き見を回避することができる。 For this reason, if you are peeping from around the operator who is operating the information display device, you can not only warn you but also understand the situation and know how to avoid peeping. You can act to block your vision. In particular, an information display device that automatically performs an avoidance operation avoids peeping so as to block the visual field of the person who is peeping without taking any special action as it is. be able to.
また本発明は、情報表示装置の待ち受けやスクリーン表示以外の機能を動作させているとき、例えば筐体が開いたときには常に覗き見防止モードにしたり、筐体が開いていないときに所定のアプリケーションが動作したりしたときは、覗き見防止モードにするようにしている。 In addition, the present invention is configured such that when a function other than the standby of the information display device or the screen display is operated, for example, when the casing is opened, the peep prevention mode is always set, or when the casing is not opened, a predetermined application is When it works, it is set to the peep prevention mode.
このため、本発明の情報表示装置が覗き見される可能性のあるときに、自動的に覗き見防止モードにすることができる。 For this reason, when there is a possibility that the information display device of the present invention is peeped, the peeping prevention mode can be automatically set.
本発明によれば、カメラ部で撮像した操作者の顔画像と、情報表示装置の専有者の顔画像または被承認者の顔画像を照合することにより、情報表示装置を操作する者が、情報表示装置の専有者または被承認者であることを確認するので、情報表示装置を操作したり、表示部を閲覧したりできる人を専有者と被承認者に制限できる。 According to the present invention, the operator who operates the information display device by comparing the face image of the operator captured by the camera unit with the face image of the person who owns the information display device or the face image of the person to be approved Since it is confirmed that the display device is an exclusive person or an approved person, the persons who can operate the information display apparatus and view the display unit can be limited to the exclusive person and the approved person.
その結果、専有者へのなりすましや被承認者へのなりすましを防止できる。人物ごとに操作できる範囲や表示部を閲覧できる範囲を制限するという使い方ができるという効果がある。また、情報表示装置に対してどの位置にいる人物がどの向きから覗き見をしているのかを示すことができる。そして、覗き見している人物の視野をさえぎるように表示部の視野角を変化させる覗き見回避方法を提示すことができる。また、自動的に覗き見を回避するために視野角を変化さることができる。 As a result, it is possible to prevent impersonation of the exclusive person and impersonation of the person to be approved. There is an effect that it can be used to limit the range that can be operated for each person and the range that can be viewed the display unit. In addition, it is possible to indicate from which direction the person at which position is looking into the information display device. And the peeping avoidance method which changes the viewing angle of a display part so that the visual field of the person who is peeping may be interrupted can be shown. Also, the viewing angle can be changed to automatically avoid peeping.
以下、本発明を実施するための最良の形態では、情報表示装置の一つである携帯電話装置について説明する。 Hereinafter, in the best mode for carrying out the present invention, a mobile phone device which is one of information display devices will be described.
(実施の形態1)
本発明の実施の形態1に係る情報表示装置は、使用時には表示部を真正面で見ている操作者のカメラ画像から顔画像を抽出し、予め携帯電話装置に記憶した顔画像付き電子電話帳などの顔画像データベースに登録した専有者および被承認者の顔画像を照合し、表示部を真正面で見ている人物が専有者でなく、被承認者でもない人物だと検知された場合には、専有者や被承認者でない人物が覗き見していると判定し、警告音や警告メッセージで覗き見されていることを通知し、覗き見の状況を提示し、その後、情報表示装置で行なわれる操作を停止する。
(Embodiment 1)
The information display device according to
図1に、本発明の実施の形態1に係る携帯電話装置100の外観図を示す。携帯電話装置100は、テンキーなどの入力部10を設けた第一の筐体1と、液晶表示手段などからなる表示部20と、CCDカメラなどからなるカメラ部21を設けた第二の筐体2をヒンジ部3により開閉可能に結合した折り畳み式携帯電話装置として構成している。携帯電話装置100の図示していない記憶装置には、電子電話帳があり、電話番号とその携帯電話装置を専ら使用する専有者の氏名と顔画像を登録し、更に専有者が一部の操作や表示部の閲覧を承認した被承認者の電話番号、氏名と顔画像を登録している。専有者および被承認者以外の人物については、電話番号と氏名を登録している。ここで顔画像については、携帯電話装置100の専有者の顔画像と、被承認者の顔画像だけを登録し、それ以外の人々の電子電話帳には顔画像を登録していないとして説明する。
FIG. 1 shows an external view of
携帯電話装置100を使用するときは、第一の筐体1を操作者が手で持ち、第二の筐体2を開いて表示部20に電子メールの文章や、インターネットからダウンロードしたコンテンツの画面を表示して見ることができる。
When the
表示部20に表示した電子メールの文章やコンテンツ画面を見るという操作がされたときには、携帯電話装置100はカメラ部21を起動して、表示部20を見ている操作者とその周辺の光景を撮像する。そして、撮像した画像について顔画像を抽出する。顔画像があれば電子電話帳に登録されている顔画像と照合する。顔画像が専有者または被承認者の顔画像と一致したときは、全てまたは一部の操作を可能にしたり、表示部の表示内容の閲覧動作を可能にしたりする。
When an operation of viewing an e-mail text or content screen displayed on the
もし、カメラ部21で撮像した顔画像が、電子電話帳に登録されている専有者および被承認者の顔画像と一致しないときは、覗かれていると判定する。覗かれていると判定したときは、図示しないブザーや表示部20に警告文を表示するなどして警告する。また、覗き見の状況を提示する。すなわち、覗いている人物が携帯電話装置100に対してどの位置にいて、どの向きから覗き見しているかを割り出して、覗き見している人物の携帯電話装置100に対する位置と、覗き見している向きを表示部20に表示する。そして、動作し始めたアプリケーションを終了させる。
If the face image captured by the
図2に、携帯電話装置100の本発明の特徴部分のブロック図を示す。図2では、電話通信機能等の一般的な機能に関するブロックについては記載を省略している。図2では、カメラ部21、入力部10、表示部20、電話帳データベース101、そしてアプリケーション処理部102が制御部103に接続していることを示している。
FIG. 2 shows a block diagram of a characteristic part of the present invention of the
ここで、カメラ部21、入力部10、表示部20、電話帳データベース101については既に説明した通りである。特に、電話帳データベース101は、携帯電話装置100の専有者108のプロフィール、つまり住所、氏名、年齢、顔画像などを登録してある他、携帯電話装置100の一部の操作と表示部の閲覧を承認された複数の被承認者109の顔画像付きのプロフィールを登録している。また、電話帳データベース101には、顔画像なしの電話帳データ110については全ての操作と閲覧を拒否する拒否対象者として登録していることを示している。
Here, the
アプリケーション処理部102は、電子メールのアプリケーション動作や、インターネットのブウザのアプリケーション動作などの具体的な動作を実行する。なお、ここで所定のアプリケーションとは、電子メール機能、ブラウザ機能、電話帳機能など所定の機能群のうちのいずれか一つのアプリケーションを示すことにしてもよいし、電子メールの閲覧時や、電子メール機能から電話帳を呼び出し表示しているとき、あるいはブラウザのコンテンツ閲覧画面など所定の機能を動作させるときのように複合的に連携して動作させる複数のアプリケーションを示すことにしてもよいとして説明する。
The
制御部103には、アプリケーション判断部104を設け、アプリケーション処理部102がどのような動作を処理しているかを監視している。アプリケーション判断部104には、カメラ部21を接続しており、アプリケーション処理部102の動作の内容により、例えば、電子メールの閲覧操作が始まったときに、覗き見防止モードを動作させ、カメラ部21を動作させる。
The
ここで、覗き見防止モードとは、電子メールのように表示部20に何らかの表示を行なっているときに、カメラ部21を起動し、操作者と操作者の周辺を撮像し、撮像した画像の中から顔画像を抽出し、抽出した顔画像をその情報表示装置の専有者の顔画像や操作の一部や表示部の閲覧を承認している被承認者の顔画像と照合して、顔画像が不一致のときは、警告するという動作モードである。
Here, the peeping prevention mode refers to the activation of the
覗き見防止モードが動作すると、第一段階の動作として、カメラ部21で撮像した画像から、情報表示装置を操作している操作者の顔画像を抽出して制御部103の中にある顔検出部105に送る。制御部103は、送られてきた顔画像を電話帳データベース101に登録されている専有者の顔画像と照合するための専有者顔認識部106を持ち、顔検出部105に送られてきた顔画像と専有者の顔認を照合する。顔画像と専有者の顔画像が一致すれば専有者顔認識部106は、操作者に全ての操作を許可する。すなわち、操作者に全ての操作を許可した後は、入力部10からの操作を受け入れて、その操作どおり動作させる。
When the peeping prevention mode is activated, the face detection in the
操作者の顔画像と専有者の顔画像が一致しなければ、操作者が被承認者かどうかを照合する。すなわち、制御部103には、カメラ部21で撮像した操作者の顔画像を、電話帳データベース101に登録されている被承認者の顔画像と照合するための被承認者顔認識部107を持ち、操作者の顔画像と被承認者の顔画像を照合する。操作者周辺の人物の顔画像と被承認者の顔画像が一致すれば被承認者顔認識部107は、被承認者に許されている操作のみを許可する。すなわち、入力部10について許可された操作については、操作されたとおりに動作させるが、許可されていない操作については動作させない。
If the face image of the operator does not match the face image of the exclusive person, it is verified whether or not the operator is an authorized person. That is, the
カメラ部21で撮像した顔画像が専有者でも被承認者でもないときには、拒否対象者であるとして、入力部10が操作されたとしても対応する動作をせず、表示部にはカメラ部21がとらえた覗き見の状況を表示する。このことにより、専有者でも被承認者でもない人物に対して直接的に警告することができる。また、覗き見の状況の画像を保存することにしておけば、誰に覗き見されたことを証拠として残すことができる。
When the face image captured by the
そして、覗き見防止モードの第二段階として、カメラ部21で撮像した画像から、情報表示装置の操作者の周辺にいる人物の顔画像を抽出して顔検出部105に送る。制御部103では、顔検出部105に送られた顔画像について、専有者顔認識部106と被承認者顔認識部107がそれぞれ照合を行い、情報表示装置の操作者の周辺にいる人物の顔画像が専有者の顔画像でも被承認者の顔画像でもないときに、覗かれていると判定する。覗かれていると判定したときは、図示しないブザーで警告音を出すとともに、表示部20に覗かれているという警告文を表示する。そして、カメラ部21が撮像した画像を「覗き見の状況」として表示部20に表示する。「覗き見の状況」が表示されると、携帯電話装置100の操作者はもちろん、携帯電話装置100を覗いている人物も見るので、覗き見している本人に直接的に警告することができる。
Then, as a second step in the peeping prevention mode, a face image of a person around the operator of the information display device is extracted from the image captured by the
次に、本発明の携帯電話装置100の覗き見防止モードの第一段階の動作を説明する。図3に、携帯電話装置100の動作を説明するフローチャートを示す。ここでは、電子メールを表示するアプリケーション動作が始まったとして説明する。
Next, the operation of the first stage in the peep prevention mode of the
まず、電子メール表示のアプリケーション動作が始まると(ステップS01)、表示部を真正面から見ている人物の顔画像をカメラ部21で撮像し、電話帳データベースに登録された顔画像と照合する。
First, when an e-mail display application operation starts (step S01), the
カメラ部21で撮像した顔画像と専有者の顔画像が一致すれば(ステップS02のYES)、制限なしで操作を続行させる(ステップS03)。そしてアプリケーション動作が終われば、処理を終了する(ステップS04)。もし、カメラ部21で撮像した顔画像と専有者の顔画像が一致しなければ(ステップS02のNO)、カメラ部21で撮像した顔画像と被承認者の顔画像を照合する。
If the face image captured by the
カメラ部21で撮像した顔画像と被承認者の顔画像が一致すれば(ステップS05のYES)、被承認者に設定されている許可内容を確認し(ステップS06のYES)、制限されている範囲での操作を続行する(ステップS07)。もしステップS05で、カメラ部21で撮像した顔画像と被承認者の顔画像と一致しなければ(ステップS05のNO)、表示部を真正面から見ている人物は携帯電話装置100の専有者でも被承認者でもない人物であり、覗き見をしていると判定する。
If the face image captured by the
そして、覗き見をされていること、不正使用であることをブザーや音声メッセージなどの音声で通知するとともに、その後の操作に対する動作を停止する(ステップS08)。そしてカメラ部21が撮像した覗き見の状況を示す画像を表示部20に表示するようにしている(ステップS09)。
Then, the user is notified by peep or voice message such as a voice message that the user is peeping or illegal use, and the operation for the subsequent operation is stopped (step S08). And the image which shows the condition of the peeping which the
以上説明したとおり、本発明の実施の形態1では、携帯電話装置の操作者が専有者か被承認者かを照合するため、専有者または被承認者になりすまして携帯電話装置を操作すると、覗かれていると判定して、音と表示部で警告し、更に覗き見の状況を提示することができる。 As described above, in the first embodiment of the present invention, in order to check whether the operator of the mobile phone device is a dedicated person or an approved person, if the mobile phone device is operated as an owner or an approved person, It can be determined that the sound is displayed, a warning is given by sound and a display unit, and a peeping situation can be presented.
次に、本発明の携帯電話装置100の覗き見防止モードの第二段階の動作を説明する。覗き見防止モードの第二段階では、表示部を見ている真正面で見ている操作者の他に、操作者の周囲にいる人物の顔画像をカメラ画像から抽出して、専有者の顔画像ならびに被承認者の顔画像と照合する。
Next, the operation of the second stage in the peep prevention mode of the
すなわち、表示部を真正面で見ている操作者の照合については前述のとおりであるが、更に、操作者の周囲にいる他の人物が表示部を覗き見していると判定した場合には、ユーザに警告音や警告メッセージで覗き見を通知し、覗き見の状況として、覗き見している人物の位置を示し、覗き見している人物から表示部が見えなくなるように視野角を変更するなどの処置を行う。 In other words, the verification of the operator who is looking directly at the display unit is as described above, and when it is determined that another person around the operator is looking into the display unit, Notify the user with a warning sound or warning message, indicate the position of the person who is peeping, and change the viewing angle so that the person who is peeping cannot see the display Take measures such as
本発明の携帯電話装置100の覗き見防止モードの第二段階の動作を、図4のフローチャートと図5、図6、図7の表示部の表示内容の遷移図を用いて説明する。
The operation of the second stage of the peep prevention mode of the
図4では、表示部20の真正面にいる人物について、カメラ部21で撮像した顔画像が専有者と一致したときの動作(ステップS03)、被承認者と一致したときの動作(ステップS07)、専有者とも被承認者とも一致しないときの動作(ステップS08)は図3と同じである。
In FIG. 4, for a person in front of the
覗き見防止モードの第二段階では、表示部20を真正面で見ている操作者に対しての処理動作を行なった後に、表示部20を真正面で見ている操作者の周囲から覗き見されているか否かを判定する。より具体的には、カメラ部21が撮像した画像の表示部20の真正面を見ている人物の顔画像の周囲に他の顔画像があるかどうかを抽出し、抽出した顔画像の全員に対して、覗き見しているかどうかをチェックする。
In the second stage of the peep prevention mode, after performing the processing operation for the operator who is looking directly at the
例えば、表示部20の真正面を見ている人物の顔画像を8人分抽出したときには、表示部20の真正面を見ている人物に近い顔画像から一人ずつ順番に、目線が表示部20を向いているか否かを8人全員についてチェックする。もし、目線が表示部20を向いているときには、その人物の顔画像を電子電話帳に登録してある顔画像、すなわち専有者の顔画像および被承認者の顔画像と照合する。操作者の周囲の人物の顔画像が電子電話帳に登録してある顔画像と一致しないときは、周囲から覗き見していると判定する。このチェックを全員について行う(ステップS10)。
For example, when eight face images of a person looking directly in front of the
画像の表示部20の真正面を見ている人物の顔画像の周囲の顔画像の内の一人でも周囲から覗き見しているときには「覗き見されている」と判定する。覗き見されていると判定したときは(ステップS11のYES)、覗き見している人物の位置と覗き見している向きを分析し(ステップS12)、図5に示すように、覗き見の具体的な状況を表示部20に表示する。
When even one of the face images around the face image of the person looking directly in front of the
図5では、覗き見の具体的な状況を頭の上から見た平面図として表示している。図5で、30は携帯電話装置の表示部20の位置と向きを示し、31は視野範囲を示す線、32は表示部の真正面に位置する操作者、33は覗き見している人物を示している。「覗き見している向き」は、33の人物の体の向きで示している。なお、34は人物32の周囲にいるが、視線が表示部20を向いていないので、覗き見していない人物として実線ではなく破線で表現している(ステップS13)。
In FIG. 5, the specific situation of peeping is displayed as a plan view seen from above the head. In FIG. 5, 30 indicates the position and orientation of the
そして、図6のように覗き見の回避方法を表示部20に表示する。図6では、表示部20の向きをどのように変えるべきかを、文字メッセージ41と矢印42、そして変えるべき表示部の向きを破線43と二点鎖線44で示している(ステップS14)。そしてアプリケーション処理動作を終了する(ステップS16)。
Then, a peeping avoidance method is displayed on the
ステップS11で、表示部20の真正面を見ている操作者の顔画像の周囲に他の顔画像があったとしても、目線が表示部20を向いていなければ、覗き見されていないと判定する。また、表示部20の真正面を見ている操作者の顔画像の周囲に他の顔画像があって、目線が表示部20を向いていたとしても、他の顔画像が電子電話帳の登録されている顔画像、つまり専有者の顔画像か被承認者の顔画像と一致したときも、専有者本人または閲覧を承認された人物であり、覗き見されていないと判定する(ステップS11のNO)。覗き見されていないと判定したときは、アプリケーション動作を行なって終了する。
Even if there is another face image around the face image of the operator who is looking directly in front of the
なお、図5では、覗き見の具体的な状況を頭の上から見た平面図として表示したが、図7のように、カメラ部21で撮像した画像の左右を鏡像反転して示してもよい。このことで、振り向かなくても状況が把握できる。また、このように現実的な画像を表示すると、この画面を覗き見している人物に対して、自分が覗き見している姿を見せることになるので、より強く警告できるという効果がある。
In FIG. 5, the specific situation of the peeping is displayed as a plan view seen from above the head. However, as shown in FIG. 7, the left and right of the image captured by the
このことにより、表示部20を真正面で見ている操作者の周囲の人物に覗かれていたときは、覗き見の具体的な状況が表示部に表示され、さらに覗き見の回避方法が表示部に示されるので、携帯電話装置の持ち方を変えたり、体の位置を変えたりすることによって覗き見されている状態から容易に脱却することができる。
Thus, when a person around the operator who is looking directly at the
(実施の形態2)
本発明の実施の形態2に係る情報表示装置を説明する。本発明の実施の形態2に係る情報表示装置である携帯電話装置200は、操作者の周囲の人物が覗き見していると判定したときに、表示部20に示した覗き見の回避方法を自動的に実行するようにした点に特徴がある。
(Embodiment 2)
An information display apparatus according to
図8に、本発明の実施の形態2に係る携帯電話装置200の動作を説明するフローチャートを示す。図8は、既に説明した図4のフローチャートのステップS01からステップS14までは同じである。ステップS14で例えば、図9のように、これから回避動作をすることを示し、ステップS15で覗き見の回避方法を実行する。具体的には、表示部20の液晶に与えている電圧を変えて視野角をずらして、覗き見している人物を視野角外に出している。
FIG. 8 shows a flowchart for explaining the operation of the mobile phone device 200 according to
実施の形態2に係る携帯電話装置200では、携帯電話装置が周囲で覗き見している人物を探し、その人物が表示部20の閲覧を承認していない人物であるときは、自動的に視野角をずらしてその人物から表示部20を見えなくしている。このことにより、例えば、実施の形態2に係る携帯電話装置200で電子メールを見ているときに周囲から覗かれたとしても回避方法があれば、自動的に回避動作が実行されるので、そのまま安心して電子メールを見続けることができる。
In the mobile phone device 200 according to the second embodiment, the mobile phone device searches for a person peeping around and when the person is a person who has not approved viewing of the
(実施の形態3)
本発明の実施の形態3に係る情報表示装置を説明する。本発明の実施の形態3に係る情報表示装置は、特定のアプリケーション処理動作をするときに、覗き見防止モードになるようにしている。例えば、本発明の実施の形態3に係る情報表示装置の筐体が開いたとき、インターネットのウエブでセキュリティを実行するとき、電子メールを編集するかまたは閲覧するとき、自分が撮った写真を見るときに覗き見防止モードが動作するようにしている。
(Embodiment 3)
An information display apparatus according to
図10に実施の形態3に係る情報表示装置である携帯電話装置300の動作を示すフローチャートを示す。図10では、携帯電話装置300が開いたとき(ステップS22)、インターネットのウエブでセキュリティを実行したとき(ステップS23)、電子メールを編集するかまたは閲覧しているとき(ステップS24)、自分が撮った写真を見るとき(ステップS25)に、覗き見防止モードに移行している(ステップS26)。 FIG. 10 is a flowchart showing the operation of the mobile phone device 300 which is the information display device according to the third embodiment. In FIG. 10, when the cellular phone device 300 is opened (step S22), when security is executed on the Internet web (step S23), when editing or browsing an e-mail (step S24), When the photograph taken is viewed (step S25), the mode is shifted to the peep prevention mode (step S26).
このように、本発明の携帯電話装置300によれば、待ち受けやスクリーン表示以外の機能を動作させているとき、例えば筐体が開いたときには常に覗き見防止モードになる。また、筐体が開いていないときに所定のアプリケーションが動作したりしたときは、覗き見防止モードになる。そのため、本発明の携帯電話装置300が覗き見される可能性のあるときには、その都度、携帯電話装置300を操作して覗き見防止モードに設定しなくても、自動的に覗き見防止モードになる。 Thus, according to the cellular phone device 300 of the present invention, when a function other than standby or screen display is operated, for example, when the casing is opened, the peep prevention mode is always set. Further, when a predetermined application is operated when the housing is not opened, the peep prevention mode is set. Therefore, whenever there is a possibility that the cellular phone device 300 of the present invention may be peeped, it is automatically set to the peep prevention mode without operating the cellular phone device 300 to set the peep prevention mode. Become.
携帯電話装置300では、上記のとき以外は覗き見防止モードにならないようにしているが、これ以外のとき、例えば携帯電話装置300の初期設定画面を開いたときにも覗き見防止モードにすれば、シークレット設定の状況などを他人に見られることが無いので、初期設定をいたずらされる心配がないという効果がある。 The cellular phone device 300 is configured not to enter the peep prevention mode except for the above, but at other times, for example, when the initial setting screen of the cellular phone device 300 is opened, the peep prevention mode is also set. Since the secret setting status is not seen by others, there is no need to worry about tampering with the initial setting.
(実施の形態4)
本発明の実施の形態4に係る情報表示装置を説明する。本発明の実施の形態4に係る情報表示装置は、実施の形態1で、情報表示装置の専有者でも被承認者でもない人物が表示部の真正面で覗き見したときに、予め定めた電話番号に発呼したり、予め定めたメールアドレスに対して電子メールを送信したりするようにしている。
(Embodiment 4)
An information display apparatus according to Embodiment 4 of the present invention will be described. The information display device according to the fourth embodiment of the present invention is the information display device according to the first embodiment, and when a person who is neither the owner of the information display device nor the person to be approved peeks in front of the display unit, a predetermined telephone number Or an e-mail is transmitted to a predetermined e-mail address.
図11に、本発明の実施の形態4に係る情報表示装置である携帯電話装置の動作を説明するフローチャートを示す。図11において、ステップS08で覗き見と不正使用を図示しないブザーや文字表示で通知した後、ステップS31で、予め定めた電話番号に発呼したり、予め定めたメールアドレスに対して電子メールを送信したりしている。 FIG. 11 is a flowchart for explaining the operation of the mobile phone device that is the information display device according to the fourth embodiment of the present invention. In FIG. 11, after notifying a peep and unauthorized use in step S08 with a buzzer or character display (not shown), in step S31, a call is made to a predetermined telephone number or an e-mail is sent to a predetermined mail address. Or sending.
このことにより、紛失したあるいは盗難にあった情報表示装置を誰かが操作したときなどに情報表示装置の専有者の自宅や警察に自動的に連絡が入ることになる。 As a result, when someone operates the lost or stolen information display device, the home of the information display device owner or the police is automatically contacted.
以上、実施の形態1から実施の形態4まで、情報表示装置の一つである携帯電話装置について説明したが、本発明の情報表示装置としては、携帯電話装置やその他の携帯端末装置に限らず、据え置き型のパーソナルコンピュータなどの情報表示装置であってもよい。据え置き型のパーソナルコンピュータでも、表示部の角度を変えたり視野角を変えたりして覗き見を回避することができ、電子メール等の通信手段も持っていることがあるからである。 As described above, the cellular phone device which is one of the information display devices has been described from the first embodiment to the fourth embodiment. However, the information display device of the present invention is not limited to the cellular phone device or other portable terminal devices. An information display device such as a stationary personal computer may be used. This is because even a stationary personal computer can avoid peeping by changing the angle of the display unit or changing the viewing angle, and may have communication means such as e-mail.
本発明は、情報表示装置の専有者や情報表示装置の一部の操作や表示部の閲覧を承認された被承認者以外の人物に操作されたり、覗き見されたりしたときに、また周囲から覗きみをされたときに、覗かれた状況が表示部に表示されるので、覗かれている状況が具体的にわかり、すぐに覗き見の回避行動がとれるものであり、さらに自動的に回避動作を行なうようにしている。そのため、本発明の情報表示装置としては、上記説明した携帯電話装置以外に、携帯型パーソナルコンピュータ、PDA(Personal Digital Assictants)や、携帯型ゲーム機、携帯型デジタルテレビ受信機、据え置き型のパーソナルコンピュータなどに適用できる。 The present invention can be used when a person other than an authorized person who has been authorized to operate a part of the information display device or a part of the information display device or to view the display unit is operated or peeped from the surroundings. When you take a peek, the status of the peep is displayed on the display, so you can see the specific situation of the peep and take action to avoid peeping immediately. The operation is performed. Therefore, as the information display device of the present invention, in addition to the mobile phone device described above, a portable personal computer, a PDA (Personal Digital Assistant), a portable game machine, a portable digital TV receiver, a stationary personal computer. Etc.
10 入力部
20 表示部
21 カメラ部
101 電話帳データベース
103 制御部
104 アプリケーション判断部
105 顔検出部
106 専有者顔認識部
107 被承認者顔認識部
DESCRIPTION OF
Claims (3)
前記表示部の近傍に配置したカメラ手段と、
顔画像データベースと、
顔画像照合手段と、
覗き見状況分析手段と、を設け、
前記顔画像データベースには、情報表示装置の専有者の顔画像と被承認者の顔画像を記憶しておき、
前記情報表示装置の前記アプリケーションが動作すると、
前記カメラ手段は前記表示部に対向する領域を撮像し、
前記顔画像照合手段は、前記撮像した画像から顔画像を抽出し、前記抽出した顔画像と前記顔画像データベースに記憶した顔画像とを照合し、
前記覗き見状況分析手段は前記顔画像照合手段が照合した結果、予め記憶させた顔画像が一致しないときには、覗き見されていると判定し、前記判定結果を前記表示手段に示すよう構成した情報表示装置。 In an information display device that displays a screen corresponding to a predetermined application on a display unit,
Camera means arranged in the vicinity of the display unit;
A face image database,
Face image matching means;
A peeping situation analysis means,
In the face image database, the face image of the person who owns the information display device and the face image of the person to be approved are stored,
When the application of the information display device operates,
The camera means images a region facing the display unit,
The face image collating means extracts a face image from the captured image, collates the extracted face image with the face image stored in the face image database,
The peeping state analyzing unit determines that the peeping situation analysis unit is peeking when the face image stored in advance does not match as a result of the collation by the face image collating unit, and the determination result is displayed on the display unit. Display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007263104A JP2009093399A (en) | 2007-10-09 | 2007-10-09 | Information display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007263104A JP2009093399A (en) | 2007-10-09 | 2007-10-09 | Information display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009093399A true JP2009093399A (en) | 2009-04-30 |
Family
ID=40665332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007263104A Pending JP2009093399A (en) | 2007-10-09 | 2007-10-09 | Information display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009093399A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011217146A (en) * | 2010-03-31 | 2011-10-27 | Ntt Docomo Inc | Portable terminal and display control method of the same |
JP2018005274A (en) * | 2016-06-27 | 2018-01-11 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2022037845A (en) * | 2020-08-25 | 2022-03-09 | ネイバー コーポレーション | User authentication method, system, and program |
-
2007
- 2007-10-09 JP JP2007263104A patent/JP2009093399A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011217146A (en) * | 2010-03-31 | 2011-10-27 | Ntt Docomo Inc | Portable terminal and display control method of the same |
JP2018005274A (en) * | 2016-06-27 | 2018-01-11 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2022037845A (en) * | 2020-08-25 | 2022-03-09 | ネイバー コーポレーション | User authentication method, system, and program |
JP7125460B2 (en) | 2020-08-25 | 2022-08-24 | ネイバー コーポレーション | User authentication method, system and program |
JP2022163168A (en) * | 2020-08-25 | 2022-10-25 | ネイバー コーポレーション | User authentication method, system, and program |
JP7402940B2 (en) | 2020-08-25 | 2023-12-21 | ネイバー コーポレーション | User authentication methods, systems and programs |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7774851B2 (en) | Methods, systems, and computer program products for protecting information on a user interface based on a viewability of the information | |
US20070242887A1 (en) | Portable Terminal, Image Information Matching Method for Portable Terminal, Image Information Matching Program, and Recording Medium | |
WO2007029710A1 (en) | Mobile processor apparatus | |
WO2007004536A1 (en) | Information processing device and information processing method | |
CN104376248B (en) | A kind of method and device that user's checking is carried out in interface for password input | |
JP2006259930A (en) | Display device and its control method, electronic device equipped with display device, display device control program, and recording medium recording program | |
JP2007179343A (en) | Information processor with security function and program | |
JP2010128778A (en) | Information display device, peep prevention method for the information display device and peep prevention program | |
CN112804445B (en) | Display method and device and electronic equipment | |
JP2006215705A (en) | Information communication apparatus, information communication system, information recording device, and information reproducing device | |
JP2014110009A (en) | Portable terminal equipment | |
JP2005244589A (en) | Mobile phone with use-limiting function and method of limiting use thereof | |
JP7131006B2 (en) | Information management device and program | |
JP5517201B2 (en) | Portable terminal device and program | |
CN106951757A (en) | A kind of method and apparatus for operating application program | |
JP2008244753A (en) | Peeping prevention method and peeping prevention device | |
WO2021181839A1 (en) | Information apparatus, program for information apparatus, and method for preventing unauthorized access to information apparatus | |
JP2009093399A (en) | Information display device | |
JP2008066832A (en) | Portable terminal equipment | |
JP4483816B2 (en) | Portable terminal device and program | |
JP2006014158A (en) | Portable terminal | |
WO2022259569A1 (en) | Authentication system, authentication device, authentication method, and program | |
CN104243476A (en) | Account protection method and device | |
JP2009135700A (en) | Portable terminal | |
JP2009129419A (en) | Electronic equipment and authentication method |