JP2008276274A - Information processor and information processing method - Google Patents
Information processor and information processing method Download PDFInfo
- Publication number
- JP2008276274A JP2008276274A JP2005194754A JP2005194754A JP2008276274A JP 2008276274 A JP2008276274 A JP 2008276274A JP 2005194754 A JP2005194754 A JP 2005194754A JP 2005194754 A JP2005194754 A JP 2005194754A JP 2008276274 A JP2008276274 A JP 2008276274A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- peeping
- image
- user
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Abstract
Description
本発明は、覗き見防止機能を備えた情報処理装置及び情報処理方法に関し、特に情報処理装置付属の画像表示装置をユーザが使用する際に、他人によって表示画面を覗き見られていることを検出してユーザ(使用者)に警告し、画像表示装置に表示されている情報を他人から隠蔽する覗き見防止機能を備えた情報処理装置及び情報処理方法に関する。 The present invention relates to an information processing apparatus and an information processing method having a peeping prevention function, and in particular, when a user uses an image display apparatus attached to an information processing apparatus, it is detected that another person is peeping at a display screen. The present invention relates to an information processing apparatus and an information processing method having a peeping prevention function that warns a user (user) and hides information displayed on an image display device from others.
携帯電話機やPC(Personal Computer,パーソナルコンピュータ)、ATM(Auto Teller Machine,自動現金預け払い機)等の情報処理装置に付属する画像表示装置の表示画面を、他人により覗き見られることを防止する方法として、例えば、画面の視認角度を狭くするための特殊加工されたフィルムシートを画面に貼る方法がある。 A method of preventing others from peeping at the display screen of an image display device attached to an information processing device such as a mobile phone, a PC (Personal Computer), an ATM (Auto Teller Machine), etc. For example, there is a method of sticking a specially processed film sheet for narrowing the viewing angle of the screen to the screen.
また、例えば、特許文献1には、電車内等で真後ろからの覗き込みによる情報の盗み見を防止する画像表示装置が記載されている。特許文献1に記載された画像表示装置は、撮像手段と、画像表示手段と、顔の目の位置を検出する検出手段と、表示位置変更手段とを備える。
For example,
上記のような構成を備えた従来の覗き見防止方法を用いた画像表示装置は、次のように動作する。画像表示装置は、撮像手段で撮影した画像から、検出手段を用いて、画像認識によって顔の目の位置を検出する。また、画像表示装置は、表示位置変更手段を用いて、検出手段の検出結果に基づいて、画像表示手段が表示する画像の表示位置を変更させる。従って、ユーザの目の位置と撮像手段の位置との相対位置に応じて、画面に表示される画像位置が変化することとなる。この結果、ユーザと他人とで頭部の揺れ方が異なる環境(例えば、電車内等で画像を表示させる場合)では、その他人からは表示画像がぶれて見えるため、情報の盗み見を防止することができる。 The image display apparatus using the conventional peeping prevention method having the above-described configuration operates as follows. The image display device detects the position of the eyes of the face by image recognition from the image captured by the imaging unit using the detection unit. The image display device uses the display position changing unit to change the display position of the image displayed by the image display unit based on the detection result of the detecting unit. Therefore, the image position displayed on the screen changes according to the relative position between the position of the user's eyes and the position of the imaging means. As a result, in an environment where the heads of the user and other people swing differently (for example, when displaying an image in a train, etc.), the display image appears to be blurred by other people, thus preventing information from being viewed. Can do.
また、例えば、非特許文献1には、予め登録された正規ユーザ以外の人物による覗き込みを防止する離席管理システムが記載されている。非特許文献1に記載された離席管理システムは、撮像手段と、画像表示手段と、顔の位置を検出する手段と、撮像した顔が事前に登録されている人物の顔に該当するか否かを判別する顔照合手段とを備える。
Further, for example, Non-Patent
上記のような構成を備えた従来の覗き見防止方法を用いた離席管理システムは、次のように動作する。離席管理システムは、撮像手段で撮影した画像から、検出手段により画像認識を用いて顔を検出する。また、離席管理システムは、検出した目位置を基準として顔データを画像から抽出し、抽出した顔データを用いて予め登録している正規使用人物データ(ユーザの顔画像)と照合を行う。離席管理システムは、正規使用人物と判定した場合、画像表示手段の出力を変化させずに、そのまま表示画面を表示し続ける。また、離席管理システムは、正規使用人物と判定しなかった場合、画像表示手段に表示されている情報を隠蔽する。この結果、登録外の人物による情報覗き込みを防止することが可能となる。 The away management system using the conventional peeping prevention method having the above-described configuration operates as follows. The away desk management system detects a face from the image taken by the imaging means using image recognition by the detection means. Further, the away management system extracts face data from the image based on the detected eye position, and collates with the regular use person data (user face image) registered in advance using the extracted face data. When the absence management system determines that the person is a regular user, the display screen continues to be displayed without changing the output of the image display means. Further, when the absence management system does not determine that the person is a regular user, the information displayed on the image display unit is concealed. As a result, it is possible to prevent the person who is not registered from looking into the information.
特殊加工されたフィルムシートを画面に貼る場合、画面にフィルムシートを張ることによって、画質の低下を生じてしまう。そのため、特殊加工されたフィルムシートを画面に貼る方法を用いる場合、第1の問題点として、情報処理装置の正規ユーザであっても、画面が見えにくくなってしまう場合があるという問題がある。 When a specially processed film sheet is pasted on the screen, the image quality is degraded by stretching the film sheet on the screen. Therefore, when using the method of sticking a specially processed film sheet on the screen, the first problem is that even a legitimate user of the information processing apparatus may have difficulty in viewing the screen.
また、特殊加工されたフィルムシートを画面に貼る場合、正規使用者の背後から覗き込まれた場合等、正規ユーザとほぼ同じ視点から画面を覗き見られた場合、正規ユーザ以外の他人の視点が画面の視認角度内となってしまう。そのため、正規ユーザ以外の他人であっても、画面に表示されている情報を読み取ることが可能となってしまう。従って、特殊加工されたフィルムシートを画面に貼る方法を用いる場合、第2の問題点として、他人が画面を覗き込む方向によって、盗み見を防止できないという問題がある。 Also, when pasting a specially processed film sheet on the screen, when looking into the screen from the back of a regular user, etc. It will be within the viewing angle of the screen. For this reason, even a person other than the authorized user can read the information displayed on the screen. Therefore, when using the method of sticking a specially processed film sheet on the screen, the second problem is that it is not possible to prevent snooping depending on the direction in which another person looks into the screen.
また、特許文献1に記載された画像表示装置では、頭部の揺れを利用して表示画面の覗き見を防止することができる。しかし、頭部が静止する状況下で画像表示装置を見る場合、正規ユーザ以外の他人による覗き見を防止できるとは限らない。例えば、喫茶店等の席で携帯電話機を操作する場合や、オフィス内の席でPCを操作する場合、銀行でATMを操作する場合等では、電車内ほど頭部が揺れ動くことはない。そのため、特許文献1に記載された画像表示装置を用いたとしても、画像表示装置に表示される画像が移動せず、他人によって容易に覗き見されてしまう可能性がある。従って、特許文献1に記載された画像表示装置を用いる場合、第3の問題点として、画像表示装置の使用場所によって、覗き見を防止することができないという問題がある。
Moreover, in the image display apparatus described in
また、非特許文献1に記載された離席管理システムを用いる場合、顔照合手段が照合に用いる正規ユーザの登録データを、予め記憶装置に記録しておく必要がある。そのため、登録データを記憶する記憶装置を備える必要があり、記憶装置のコストがかかる。特に、携帯端末等の情報処理装置では記憶容量のコストが高いので、コスト負担が高くなる。従って、非特許文献1に記載された離席管理システムを用いる場合、第4の問題点として、顔照合手段を用いるために、情報処理装置のコストが高くなってしまうという問題がある。また、非特許文献1に記載された離席管理システムでは、正規ユーザの登録顔データと撮影画像との照合処理を行うので、情報処理装置の処理負担が大きい。
In addition, when using the away management system described in Non-Patent
そこで、本発明は、情報処理装置に付属する画像表示装置の表示画面の画質を低下させずに、他人による画面の覗き見を防止できる情報処理装置及び情報処理方法を提供することを目的とする。また、本発明は、他人がユーザとほぼ同じ視点から画面を覗き込む場合であっても、他人による画面の覗き見を防止できる情報処理装置及び情報処理方法を提供することを目的とする。また、本発明は、情報処理装置を操作する人物の頭部の動きを必要とせずに、画面の覗き見を防止できる情報処理装置及び情報処理方法を提供することを目的とする。更に、本発明は、正規ユーザの顔データ又は属性データを登録することなく、簡易な方法で画面の覗き見を防止できる情報処理装置及び情報処理方法を提供することを目的とする。 Therefore, an object of the present invention is to provide an information processing apparatus and an information processing method that can prevent a peeping of the screen by another person without deteriorating the image quality of the display screen of the image display apparatus attached to the information processing apparatus. . It is another object of the present invention to provide an information processing apparatus and an information processing method that can prevent another person from looking into the screen from the same viewpoint as the user. It is another object of the present invention to provide an information processing apparatus and an information processing method that can prevent peeping on a screen without requiring movement of the head of a person who operates the information processing apparatus. Furthermore, an object of the present invention is to provide an information processing apparatus and an information processing method that can prevent a peep on the screen by a simple method without registering face data or attribute data of a regular user.
本発明による情報処理装置は、ユーザが情報処理装置(例えば、携帯電話機やパーソナルコンピュータ)が表示する画面を見ている状態で、ユーザを撮影するように情報処理装置に設置され、ユーザを含む画像を撮影する撮像部と、撮像部が撮影した画像に含まれる顔を検出する顔検出手段と、顔検出手段が検出した顔の数に基づいて、情報処理装置が表示する情報が、ユーザ以外の他人によって覗き見されている状態である覗き見状態であるか否かを判定する覗き見判定手段と、覗き見判定手段が覗き見状態であると判定すると、覗き見状態を解消するための解消処理を実行する覗き見状態解消手段(例えば、警告出力部3や表示切替手段24、覗き見人物記録手段25によって実現される)とを備えたことを特徴とする。
An information processing apparatus according to the present invention is installed in an information processing apparatus so as to photograph a user while the user is looking at a screen displayed by the information processing apparatus (for example, a mobile phone or a personal computer), and includes an image including the user The information displayed by the information processing device based on the number of faces detected by the image detection unit, the face detection unit for detecting a face included in the image captured by the image pickup unit, Peeping judgment means that determines whether or not it is a peeping state that is being peeped by another person, and if the peeping judgment means determines that it is a peeping state, it is a solution to eliminate the peeping state A peeping state elimination unit (for example, realized by the
上記のような構成を採用し、撮像部により情報処理装置の画像表示手段(例えば、モニタや携帯電話機の液晶表示部)の前方を撮影し、撮影画像内に所定の人数以上の人物の顔が検出されるか否かを判別することによって、本発明の目的を達成することができる。 By adopting the above-described configuration, the imaging unit images the front of the image display means (for example, a liquid crystal display unit of a monitor or a mobile phone) of the information processing apparatus, and faces of persons of a predetermined number or more are included in the captured image. The object of the present invention can be achieved by determining whether or not it is detected.
また、情報処理装置において、覗き見判定手段は、顔検出手段が検出した顔の数が所定数(例えば、n≧1)以上であるか否かを判断し、顔検出手段が検出した顔の数が所定数以上であると判断した場合に、覗き見状態であると判定するものであってもよい。 Further, in the information processing apparatus, the peeping determination unit determines whether or not the number of faces detected by the face detection unit is equal to or greater than a predetermined number (for example, n ≧ 1), and detects the face detected by the face detection unit. When it is determined that the number is a predetermined number or more, it may be determined that the peeping state is set.
また、情報処理装置は、ユーザが情報処理装置が表示する画面を見ている状態で、ユーザを撮影するように情報処理装置に設置され、ユーザを含む画像を撮影する撮像部と、撮像部が撮影した画像に含まれる顔を検出する顔検出手段と、顔検出手段が検出した顔に含まれる目の視線の方向を推定する視線推定手段と、視線推定手段の推定結果に基づいて、顔検出手段が検出した顔の人物が情報処理装置が表示する画面を注視しているか否かを判定する画面注視判定手段と、覗き見状態を解消するための解消処理を実行する覗き見状態解消手段とを備え、画面注視判定手段は、情報処理装置が表示する画面を注視していると判定した人物の数が所定数以上であると判定した場合に、覗き見状態であると判定し、覗き見状態解消手段は、画面注視判定手段が覗き見状態であると判定すると、解消処理を実行するものであってもよい。 The information processing apparatus is installed in the information processing apparatus so as to photograph the user while the user is viewing a screen displayed by the information processing apparatus, and an imaging unit that captures an image including the user, Face detection means for detecting a face included in the photographed image, eye gaze estimation means for estimating the direction of the eye gaze contained in the face detected by the face detection means, and face detection based on the estimation result of the eye gaze estimation means Screen gaze determination means for determining whether or not the face person detected by the means is gazing at the screen displayed by the information processing apparatus; and peep state cancellation means for executing cancellation processing for canceling the peep state And the screen gaze determining means determines that the person is determined to be peeping when determining that the number of persons determined to be watching the screen displayed by the information processing apparatus is greater than or equal to a predetermined number. The state resolution means is a screen gaze When it is determined that the constant section is the peeping state, it may be configured to execute the cancellation processing.
また、情報処理装置は、情報処理装置のユーザの要求指示に従って、情報を表示する画像表示装置(例えば、モニタや携帯電話機の液晶表示部、画像出力部5)を備えたものであってもよい。 In addition, the information processing apparatus may include an image display device (for example, a liquid crystal display unit of a monitor or a mobile phone, an image output unit 5) that displays information in accordance with a request instruction from the user of the information processing device. .
また、情報処理装置において、覗き見状態解消手段は、ユーザに対して覗き見状態であることを通知するための警告を出力する警告出力手段(例えば、警告出力部3によって実現される)であってもよい。 In the information processing apparatus, the peeping state elimination unit is a warning output unit (for example, realized by the warning output unit 3) that outputs a warning for notifying the user of the peeping state. May be.
また、情報処理装置において、警告出力手段は、画像の表示、音声の出力、情報処理装置の振動、又は発光によって、ユーザに対して覗き見状態であることを通知するものであってもよい。 In the information processing apparatus, the warning output unit may notify the user that the user is in a peeping state by displaying an image, outputting sound, vibrating the information processing apparatus, or emitting light.
また、情報処理装置において、警告出力手段は、画像の表示、音声の出力、情報処理装置の振動、又は発光のうちいずれか2つ以上の組み合わせによって、ユーザに対して覗き見状態であることを通知するものであってもよい。 Further, in the information processing device, the warning output means is in a state of peeping at the user by a combination of any two or more of image display, sound output, information processing device vibration, or light emission. You may notify.
また、情報処理装置において、警告出力手段は、画像の表示、音声の出力、情報処理装置の振動、及び発光の全てを用いて、ユーザに対して覗き見状態であることを通知するものであってもよい。 In the information processing apparatus, the warning output means notifies the user that the user is in the peeping state by using all of image display, sound output, vibration of the information processing apparatus, and light emission. May be.
また、情報処理装置において、覗き見状態解消手段は、画像表示装置が表示する情報を切り替えさせる画像表示切替手段(例えば、表示切替手段24によって実現される)であってもよい。 In the information processing apparatus, the peeping state elimination unit may be an image display switching unit (for example, realized by the display switching unit 24) that switches information displayed by the image display device.
また、情報処理装置において、画像表示切替手段は、画像表示装置が表示する画面を、情報処理装置のユーザによって予め設定された画像に切り替えさせるものであってもよい。 In the information processing apparatus, the image display switching unit may switch a screen displayed by the image display apparatus to an image preset by a user of the information processing apparatus.
また、情報処理装置において、画像表示切替手段は、画像表示装置が表示する画面を、黒色の画像に切り替えさせるものであってもよい。 In the information processing apparatus, the image display switching unit may switch a screen displayed by the image display apparatus to a black image.
また、情報処理装置は、情報処理装置が表示する画面を覗き見している人物が写っている画像を記憶する覗き見画像記憶手段(例えば、覗き見人物記憶部71によって実現される)を備え、覗き見状態解消手段は、覗き見状態であると判定した場合に、撮像部が撮影した画像を覗き見画像記憶手段に記憶させる覗き見画像記録手段であってもよい。 In addition, the information processing apparatus includes peep image storage means (for example, realized by the peep person storage unit 71) that stores an image in which a person peeping at a screen displayed by the information processing apparatus is shown. The peeping state elimination unit may be a peeping image recording unit that stores an image taken by the imaging unit in the peeping image storage unit when it is determined that the peeping state is in the peeping state.
また、情報処理装置は、覗き見画像記録手段は、撮像部が撮影した画像から、顔検出手段が検出した顔が含まれる領域を抽出し、抽出した領域の画像を覗き見画像記憶手段に記憶させるものであってもよい。 In the information processing apparatus, the peep image recording unit extracts a region including the face detected by the face detection unit from the image captured by the imaging unit, and stores the image of the extracted region in the peep image storage unit. It may be allowed.
また、情報処理装置は、情報処理装置のユーザの要求指示に従って、情報を表示する画像表示装置を備え、撮像部は、画像表示装置の周囲に設置されているものであってもよい。 Further, the information processing apparatus may include an image display device that displays information in accordance with a request instruction from the user of the information processing apparatus, and the imaging unit may be installed around the image display device.
本発明による情報処理方法は、情報処理装置のユーザとユーザの周囲を含む画像を撮影する撮像ステップと、撮影した画像に含まれる顔を検出する顔検出ステップと、検出した顔の数に基づいて、情報処理装置が表示する情報が、ユーザ以外の他人によって覗き見されている状態である覗き見状態であるか否かを判定する覗き見判定ステップと、覗き見状態であると判定すると、覗き見状態を解消するための解消処理を実行する覗き見状態解消ステップとを含むことを特徴とする。 An information processing method according to the present invention is based on an imaging step of capturing an image including a user of the information processing apparatus and the surroundings of the user, a face detection step of detecting a face included in the captured image, and the number of detected faces. When the information displayed by the information processing device is in a peeping state, which is a state of being peeped by another person other than the user, And a peeping state cancellation step for executing a cancellation process for canceling the viewing state.
上記のような構成を採用し、撮像部により情報処理装置の画像表示手段の前方を撮影し、撮影画像内に所定の人数以上の人物の顔が検出されるか否かを判別することによって、本発明の目的を達成することができる。 By adopting the configuration as described above, the front of the image display means of the information processing apparatus is photographed by the imaging unit, and it is determined whether or not the faces of persons of a predetermined number or more are detected in the photographed image, The object of the present invention can be achieved.
また、情報処理方法は、覗き見判定ステップで、顔検出ステップで検出した顔の数が所定数以上であるか否かを判断し、検出した顔の数が所定数以上であると判断した場合に、覗き見状態であると判定するものであってもよい。 Further, the information processing method determines whether or not the number of faces detected in the face detection step is greater than or equal to a predetermined number in the peek determination step, and determines that the number of detected faces is greater than or equal to the predetermined number Alternatively, it may be determined to be in a peeping state.
また、情報処理方法は、情報処理装置のユーザとユーザの周囲を含む画像を撮影する撮像ステップと、撮影した画像に含まれる顔を検出する顔検出ステップと、検出した顔に含まれる目の視線の方向を推定する視線推定ステップと、視線推定ステップにおける推定結果に基づいて、検出した顔の人物が情報処理装置が表示する画面を注視しているか否かを判定する画面注視判定ステップと、覗き見状態を解消するための解消処理を実行する覗き見状態解消ステップとを含み、画面注視判定ステップで、情報処理装置が表示する画面を注視していると判定した人物の数が所定数以上であると判定した場合に、覗き見状態であると判定し、覗き見状態解消ステップで、覗き見状態であると判定すると、解消処理を実行するものであってもよい。 Further, the information processing method includes an imaging step for capturing an image including a user of the information processing apparatus and the surroundings of the user, a face detection step for detecting a face included in the captured image, and a line of sight of eyes included in the detected face. A gaze estimation step for estimating the direction of the image, a screen gaze determination step for determining whether or not the detected person of the face is gazing at the screen displayed by the information processing device based on the estimation result in the gaze estimation step, Including a peeping state cancellation step for performing a cancellation process for canceling the viewing state, and the number of persons determined to be gazing at the screen displayed by the information processing device in the screen gaze determination step is greater than or equal to a predetermined number If it is determined that there is a peeping state when it is determined, and if it is determined in the peeping state elimination step that it is a peeping state, a cancellation process may be executed.
また、情報処理方法は、情報処理装置のユーザの要求指示に従って、情報を画像表示装置に表示するステップを含むものであってもよい。 Further, the information processing method may include a step of displaying information on the image display device in accordance with a request instruction from the user of the information processing device.
また、情報処理方法は、覗き見状態解消ステップで、ユーザに対して覗き見状態であることを通知するための警告を出力する警告出力ステップを含むものであってもよい。 The information processing method may include a warning output step of outputting a warning for notifying the user that the user is in the peeping state in the peeping state elimination step.
また、情報処理方法は、警告出力ステップで、画像の表示、音声の出力、情報処理装置の振動、又は発光によって、ユーザに対して覗き見状態であることを通知するものであってもよい。 The information processing method may be a warning output step that notifies the user that the user is in a peeping state by displaying an image, outputting sound, vibrating the information processing apparatus, or emitting light.
また、情報処理方法は、警告出力ステップで、画像の表示、音声の出力、情報処理装置の振動、又は発光のうちいずれか2つ以上の組み合わせによって、ユーザに対して覗き見状態であることを通知するものであってもよい。 Further, the information processing method is a warning output step in which the user is peeping to the user by combining any two or more of image display, sound output, information processing device vibration, and light emission. You may notify.
また、情報処理方法は、警告出力処理ステップで、画像の表示、音声の出力、情報処理装置の振動、及び発光の全てを用いて、ユーザに対して覗き見状態であることを通知するものであってもよい。 The information processing method is a warning output processing step that notifies the user that the user is in a peeping state by using all of image display, sound output, information processing device vibration, and light emission. There may be.
また、情報処理方法は、覗き見状態解消ステップで、画像表示装置が表示する情報を切り替えさせる画像表示切替ステップを含むものであってもよい。 The information processing method may include an image display switching step of switching information displayed by the image display device in the peeping state elimination step.
また、情報処理方法は、画像表示切替ステップで、画像表示装置が表示する画面を、情報処理装置のユーザによって予め設定された画像に切り替えさせるものであってもよい。 The information processing method may switch the screen displayed by the image display device to an image preset by the user of the information processing device in the image display switching step.
また、情報処理方法は、画像表示切替ステップで、画像表示装置が表示する画面を、黒色の画像に切り替えさせるものであってもよい。 The information processing method may switch the screen displayed by the image display device to a black image in the image display switching step.
また、情報処理方法は、覗き見状態解消ステップで、覗き見状態であると判定した場合に、撮像ステップで撮影した画像を、情報処理装置が表示する画面を覗き見している人物が写っている画像を記憶する覗き見画像記憶手段に記憶させる覗き見画像記録ステップを含むものであってもよい。 Also, in the information processing method, when it is determined in the peeping state elimination step that the peeping state is determined, the person who is peeping at the screen displayed by the information processing device is shown in the image captured in the imaging step. It may include a peep image recording step of storing in a peep image storage means for storing a stored image.
また、情報処理方法は、覗き見画像記録ステップで、撮像ステップで撮影した画像から、顔検出ステップで検出した顔が含まれる領域を抽出し、抽出した領域の画像を覗き見画像記憶手段に記憶させるものであってもよい。 In the information processing method, in the peek image recording step, an area including the face detected in the face detection step is extracted from the image photographed in the imaging step, and the image of the extracted area is stored in the peek image storage means. It may be allowed.
本発明によれば、撮影画像に含まれる顔を検出し、撮影画像中の顔の数に基づいて覗き見状態であるか否かを判定する。本発明によれば、覗き見防止のために特殊なフィルムシート等を情報処理装置の表示画面に貼る必要がなく、情報処理装置付属の画像表示装置の視認角度を狭くせずに済む。また、画像表示装置自体に加工を行う必要がなく、画面をユーザが直接見ることが可能である。従って、情報処理装置に付属する画像表示装置の表示画面の画質を低下させずに、他人による画面の覗き見を防止することができる。 According to the present invention, a face included in a photographed image is detected, and it is determined whether or not it is a peeping state based on the number of faces in the photographed image. According to the present invention, it is not necessary to attach a special film sheet or the like to the display screen of the information processing apparatus to prevent peeping, and the viewing angle of the image display apparatus attached to the information processing apparatus does not have to be narrowed. Further, there is no need to process the image display device itself, and the user can directly view the screen. Accordingly, it is possible to prevent a person from peeping at the screen without deteriorating the image quality of the display screen of the image display device attached to the information processing device.
また、本発明によれば、ユーザとそのユーザの背後を含む領域を撮影した画像から顔を検出し、顔の数を基準とした判定を行って覗き見行為を防止する。従って、他人がユーザとほぼ同じ視点から画面を覗き込む場合であっても、他人による画面の覗き見を防止することができる。 In addition, according to the present invention, a face is detected from an image obtained by photographing a user and a region including the back of the user, and a determination based on the number of faces is performed to prevent a peeping action. Therefore, even when another person looks into the screen from almost the same viewpoint as the user, it is possible to prevent another person from looking into the screen.
また、本発明によれば、情報処理装置を操作する人物の動きに関わらず、人物とその人物の周囲を撮影した画像から顔を検出し、検出した顔の数を基準として覗き見状態であるか否かの判定を行う。そのため、ユーザが静止している状態であっても、覗き見行為を防止することができる。従って、情報処理装置を操作する人物の頭部の動きを必要とせずに、画面の覗き見を防止することができる。 Further, according to the present invention, regardless of the movement of the person who operates the information processing apparatus, the face is detected from the image obtained by photographing the person and the surroundings of the person, and the peeping state is based on the number of detected faces. It is determined whether or not. For this reason, it is possible to prevent a peeping action even when the user is stationary. Therefore, it is possible to prevent peeping on the screen without requiring the movement of the head of the person who operates the information processing apparatus.
また、本発明によれば、覗き見状態であるか否かを判定するために、顔照合や個人属性判定等を行う必要がなく、正規ユーザを特定するためのデータを保存する必要がない。従って、ユーザに関連する情報を予め記憶手段に保存していなくても、覗き見行為を防止することができる。また、顔データを用いた照合処理を行う必要がないので、情報処理装置の処理負担を軽減することができる。従って、正規ユーザの顔データ又は属性データを登録することなく、簡易な方法で画面の覗き見を防止することができる。 In addition, according to the present invention, it is not necessary to perform face collation, personal attribute determination, or the like in order to determine whether or not the user is peeping, and it is not necessary to store data for specifying a regular user. Therefore, even if information related to the user is not stored in the storage unit in advance, the peeping action can be prevented. In addition, since it is not necessary to perform collation processing using face data, the processing load on the information processing apparatus can be reduced. Therefore, it is possible to prevent the screen from being looked at by a simple method without registering the face data or attribute data of the authorized user.
また、本発明において、単に画像中の顔を検出するだけでなく、顔検出した人物が注視する点を検出することによって覗き見状態であるか否かを判定するように構成すれば、より高精度な覗き見判定を行うことが可能である。従って、他人による覗き見行為をより高精度に防止することが可能となる。 Further, in the present invention, if it is configured not only to detect a face in an image but also to determine whether or not it is a peeping state by detecting a point at which the person whose face is detected gazes, It is possible to perform an accurate peep judgment. Therefore, it is possible to prevent the peeping action by others with higher accuracy.
また、本発明において、覗き見状態を検出すると、情報処理装置が表示する情報を切り替えさせるように構成すれば、情報処理装置のユーザが他人による覗き見を解消するために特定の操作をしなくても、他人による覗き見を防止することができる。 Further, in the present invention, if the information processing apparatus is configured to switch the information displayed when the peeping state is detected, the user of the information processing apparatus does not perform a specific operation in order to eliminate the peeping by others. However, peeping by others can be prevented.
また、本発明において、覗き見状態を検出すると、覗き見状態と判定した際の撮影画像を記憶させるように構成すれば、情報処理装置のユーザや管理者等が、覗き見行為を行った人物の顔を事後的に確認することができる。従って、覗き見による不正行為が発生した場合に、不正行為を行った人物を容易に特定することができる。また、覗き見状態の画像を記録することによる覗き見行為の抑止効果が期待でき、覗き見行為を事前防止することができる。 Further, in the present invention, when a peeping state is detected, a photographed image when it is determined as a peeping state is stored, so that a user or an administrator of the information processing apparatus performs a peeping action. Can be confirmed after the fact. Therefore, when an illegal act due to peeping occurs, it is possible to easily identify the person who has performed the illegal act. Further, it is possible to expect an effect of suppressing the peeping action by recording the peeping state image, and the peeping action can be prevented in advance.
実施の形態1.
以下、本発明の第1の実施の形態について図面を参照して説明する。図1は、本発明による覗き見防止機能を備えた情報処理装置の構成の一例を示すブロック図である。図1に示すように、情報処理装置は、画像を入力する撮像部1と、プログラム制御により動作するデータ処理装置2と、音や画像、振動、光等による警告を使用者(ユーザ)に対して出力する警告出力部3とを含む。
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an example of the configuration of an information processing apparatus having a peep prevention function according to the present invention. As shown in FIG. 1, the information processing device includes an
本実施の形態において、情報処理装置は、具体的には、携帯電話機やパーソナルコンピュータ、ワードプロセッサ専用機等の情報端末によって実現される。また、情報処理装置は、ユーザの要求指示に従って、各種情報を表示する画像表示装置(例えば、モニタや携帯電話機の液晶表示部)を備える。例えば、本実施の形態において、情報処理装置は、情報端末をデータベースから同義語を検索する情報検索装置として用いる場合に、ユーザ以外の他人による覗き見を防止する用途に用いられる。また、例えば、情報処理装置は、情報端末を同義語を検索する機能を備えたかな漢字変換装置として用いる場合に、ユーザ以外の他人による覗き見を防止する用途に用いられる。 In the present embodiment, the information processing apparatus is specifically realized by an information terminal such as a mobile phone, a personal computer, or a word processor dedicated machine. In addition, the information processing apparatus includes an image display device (for example, a liquid crystal display unit of a monitor or a mobile phone) that displays various types of information in accordance with user request instructions. For example, in the present embodiment, the information processing apparatus is used for the purpose of preventing peeping by others other than the user when the information terminal is used as an information retrieval apparatus that retrieves synonyms from a database. Further, for example, the information processing apparatus is used for the purpose of preventing peeping by others other than the user when the information terminal is used as a kana-kanji conversion apparatus having a function of searching for synonyms.
撮像部1は、具体的には、ビデオカメラやCCD(Charge Coupled Devices,電化結合素子)カメラ等の静止画像や動画像を撮影可能なカメラである。撮像部1は、ユーザが情報処理装置が表示する画面を見ている状態で、ユーザを撮影できるように情報処理装置に設置される。本実施の形態では、情報処理装置のユーザとユーザ周辺とを含む画像を撮影できるように、画像表示装置の前方を撮影するように設置される。図2は、撮像部1が撮影する画像の例を示す説明図である。図2のように、撮像部1は、使用者(ユーザ)と使用者周辺の他人等を含む画像を撮影する。
Specifically, the
また、撮像部1は、情報処理装置のユーザの顔等を良好な状態で撮影できるようにするために、ユーザが注視する情報処理装置の液晶モニタ画面やLED表示部等のデータ出力部の周囲に設置されていることが好ましい。
In addition, the
データ処理装置2は、具体的には、プログラムに従って動作する情報端末のCPUによって実現される。図1に示すように、データ処理装置2は、顔検出手段21と、覗き見判定手段22と、警告発生手段23とを含む。
Specifically, the
顔検出手段21は、撮像部1が撮影した画像に含まれる顔を検出する機能を備える。本実施の形態では、顔検出手段21は、撮像部1が撮影した画像に対して所定の顔検出処理を行って、画像に含まれる顔を検出する。。例えば、顔検出手段21は、まず、注目画素の階調値が周囲の画素の階調値よりも小さい点を黒目の候補と仮定し、画像中から黒目の位置候補を検出する。また、顔検出手段21は、検出した黒目の位置の組合せを顔の候補と仮定する。そして、顔検出手段21は、そのようにして求めた顔の候補に対して、予めニューラルネットワーク等により学習した顔と顔以外の画像を判別する判別器を用いて、各顔の候補が本当に顔であるか否かを判定する。その判定の結果、顔検出手段21は、顔であると判定した顔の候補の位置を、顔が実際に存在する可能性が高い場所として出力する。
The
なお、上記の高速顔検出処理は、例えば、「鈴木,細井,櫻井,佐藤,”リングフィルタを用いた高速顔検出処理の開発”,2003年電子情報通信学会総合大会予稿,p.251」に記載されている。 The above high-speed face detection processing is described in, for example, “Suzuki, Hosoi, Sakurai, Sato,“ Development of high-speed face detection processing using a ring filter ”, 2003 IEICE General Conference Proceedings, p. 251”. Are listed.
覗き見判定手段22は、顔検出手段21による顔検出結果(検出した顔の数)に基づいて、情報処理装置の表示画面がユーザ以外の他人によって覗き見されているか否かを判定する機能を備える。以下、情報処理装置の表示画面がユーザ以外の他人によって覗き見されている状態であることを、「覗き見状態」ともいう。本実施の形態では、覗き見判定手段22は、顔検出手段21が検出した検出顔数が所定の閾値(例えば、所定値n個)以上であるか否かを判断する。覗き見判定手段22は、顔検出手段21が検出した検出顔数がn個未満であると判断した場合、他人による覗き見状態ではないと判定する。また、覗き見判定手段22は、検出顔数がn個以上であると判断した場合、他人による覗き見状態であると判定する。なお、本実施の形態において、所定値nは、予め設定された値(例えば、n≧1)である。
The peeping
警告発生手段23は、覗き見判定手段22が覗き見状態を判定した結果、他人による覗き見状態であると判定した場合、ユーザに覗き見状態であることを通知するための警告を警告出力部3に出力させる機能を備える。
The
警告出力部3は、警告発生手段23の指示に従って、ユーザに対して覗き見状態であることを通知するための警告を出力する機能を備える。警告出力部3は、情報処理装置のユーザに対して何らかの情報を送ることが可能な手段であればよく、具体的には、スピーカ等の音声出力装置(図示せず)や、モニタ等の画像表示装置(図示せず)によって実現される。例えば、警告として音声を用いる場合、警告出力部3としてスピーカ等の音声出力装置が用いられる。この場合、警告出力部3は、音声又は警告音を出力することによって、ユーザに覗き見状態を警告する。また、例えば、警告として画像を用いる場合、警告出力部3としてモニタ等の画像表示装置が用いられる。この場合、警告出力部3は、画像又は文字情報によって、ユーザに覗き見状態を警告する。
The
本実施の形態において、警告出力部3は、例えば、画像の表示、音声の出力、情報処理装置の振動、又は発光のいずれかによって、ユーザに対して覗き見状態であることを通知する。また、警告出力部3は、画像の表示、音声の出力、情報処理装置の振動、又は発光のうちいずれか2つ以上の組み合わせによって、ユーザに対して覗き見状態であることを通知する。また、警告出力部3は、画像の表示、音声の出力、情報処理装置の振動、及び発光の全てを用いて、ユーザに対して覗き見状態であることを通知する。
In the present embodiment, the
なお、本実施の形態において、警告出力部3は、覗き見判定手段22が覗き見状態であると判定したときに、覗き見状態を解消するための解消処理を実行する覗き見状態解消手段として機能する。
In the present embodiment, the
次に、動作について説明する。図3は、ユーザ以外の他人によって表示画面を覗き見されているか否かを判定し、ユーザに警告する処理の一例を示す流れ図である。まず、撮像部1は、所定のタイミングで、情報処置装置が備える画像表示装置の前方を撮影した画像を撮影する(ステップS11)。例えば、データ処理装置2は、ユーザの操作による指示入力(例えば、表示画面への各種情報の表示の指示入力)を検出すると、画像の撮影を撮像部1に指示する。すると、撮像部1は、データ処理装置2の指示に従って、画像表示装置前方の画像を撮影する。
Next, the operation will be described. FIG. 3 is a flowchart illustrating an example of a process for determining whether or not a display screen is peeped by another person other than the user and warning the user. First, the
次に、データ処理装置2の顔検出手段21は、撮像部1が撮影した画像に対して顔の検出処理を行い、撮影画像に含まれる顔を全て抽出する(ステップS12)。また、覗き見判定手段22は、顔検出手段21が検出した顔の検出結果に基づいて、撮影画像中にn個(n≧1)以上の顔が含まれるか否かを判定する(ステップS13)。
Next, the
覗き見判定手段22がn個以上の顔が撮影画像中に含まれると判定した場合(すなわち、覗き見状態であると判定した場合)、警告発生手段23は、他人によって表示画面を覗き見されている旨をユーザに警告するための警告情報を作成する。また、覗き見判定手段22は、作成した警告情報に基づいて、情報処理装置使用者(ユーザ)に対して警告を警告出力部3に出力させ(ステップS14)、処理を終了する。例えば、警告発生手段23は、スピーカである警告出力部3に、音声や警告音を用いて警告を出力させる。また、例えば、警告発生手段23は、モニタである警告出力部3に、画像や文字情報を用いて警告を出力させる。
When the peeping
覗き見判定手段22がn個以上の顔が含まれていないと判定した場合(すなわち、覗き見状態でないと判定した場合)、情報処理装置は、ユーザに対する警告を出力することなく、そのまま処理を終了する。
When the peeping
以上のように、本実施の形態によれば、情報処理装置は、撮像部1により情報処理装置付属の画像表示装置の前方及び前方周辺の画像を撮影する。そして、情報処理装置は、撮影画像中に存在する顔の数を用いて、覗き見状態であるか否かを判定する覗き見判別を行う。そのため、情報処理装置のユーザと同じ視点から情報処理装置付属の画像表示装置を覗き見られても、撮影画像中に複数の顔を検出することによって、覗き見状態である旨の警告をユーザに通知できる。従って、他人がユーザとほぼ同じ視点から画面を覗き込む場合であっても、他人による画面の覗き見を防止することができる。
As described above, according to the present embodiment, the information processing apparatus captures images of the front and front periphery of the image display apparatus attached to the information processing apparatus using the
また、本実施の形態によれば、撮像部1が情報処理装置付属の画像表示装置の前方及び前方周辺を撮影するように設置される以外、ユーザと画像表示装置との間に拘束条件(例えば、特殊なフィルムシート)が存在しない。そのため、画像表示装置の表示特性を変えずに(すなわち、画像表示装置の画質を低下させることなく)、覗き見の警告をユーザに通知することができる。従って、情報処理装置に付属する画像表示装置の表示画面の画質を低下させずに、他人による画面の覗き見を防止することができる。
Further, according to the present embodiment, the
また、本実施の形態によれば、情報処理装置のユーザが特定の操作をしなくても、顔検出及び覗き見判定を行うことができる。そのため、情報処理装置の使用環境に関わらず、覗き見判定を行うことが可能である。また、本実施の形態によれば、予め登録する顔データを用いた照合処理を行わなくても、覗き見状態であるか否かを判定できるので、情報処理装置の処理負担を軽減できる。従って、正規ユーザの顔データ又は属性データを登録することなく、簡易な方法で画面の覗き見を防止することができる。 Further, according to the present embodiment, face detection and peeping determination can be performed without a specific operation by the user of the information processing apparatus. Therefore, it is possible to perform peep determination regardless of the use environment of the information processing apparatus. Further, according to the present embodiment, it is possible to determine whether or not the user is in the peeping state without performing the matching process using the face data registered in advance, so that the processing load on the information processing apparatus can be reduced. Therefore, it is possible to prevent the screen from being looked at by a simple method without registering the face data or attribute data of the authorized user.
実施の形態2.
次に、本発明の第2の実施の形態について図面を参照して説明する。図4は、覗き見防止機能を備えた情報処理装置の他の構成例を示すブロック図である。図4に示すように、本実施の形態では、データ処理装置4が、図1に示したデータ処理装置2の警報発生手段23に代えて表示切替手段24を含む点で、第1の実施の形態と異なる。また、情報処理装置が、警告出力部3に代えて画像出力部5を含む点で、第1の実施の形態と異なる。なお、撮像部1、顔検出手段21及び覗き見判定手段22の機能は、第1の実施の形態で示したそれらの機能と同様である。
Next, a second embodiment of the present invention will be described with reference to the drawings. FIG. 4 is a block diagram illustrating another configuration example of the information processing apparatus having the peeping prevention function. As shown in FIG. 4, in the present embodiment, the
画像出力部5は、具体的には、モニタ等の画像表示装置によって実現される。画像出力部5は、情報処理装置使用者(ユーザ)の操作により、データ処理装置4の指示に従って、各種情報を表示するための画面を表示する機能を備える。
Specifically, the
表示切替手段24は、覗き見判定手段22が覗き見状態を判定した結果、他人による覗き見状態であると判定した場合、画像出力部5が表示する画像を予め指定された画像に切り替えさせる機能を備える。例えば、表示切替手段24は、画像出力部5が表示する画面を、ユーザによって予め設定された画像に切り替えさせる。また、例えば、表示切替手段24は、画像出力部5が表示する画面を、黒色の画像に切り替えさせる。
The
例えば、情報処理装置が携帯電話機であるとする。この場合、メールや電話帳等の個人情報を画像出力部5が表示している間に、覗き見判定手段22が他人によって覗き見されていると判定すると、表示切替手段24は、画像出力部5が表示する情報を携帯電話機の待ち受け画面に切り替えさせる。そのようにすることによって、ユーザ以外の他人に個人情報を覗き見られることを防止できる。
For example, it is assumed that the information processing apparatus is a mobile phone. In this case, when the
なお、本実施の形態において、表示切替手段24は、覗き見判定手段22が覗き見状態であると判定したときに、覗き見状態を解消するための解消処理を実行する覗き見状態解消手段として機能する。
In the present embodiment, the
次に、動作について説明する。図5は、ユーザ以外の他人によって表示画面を覗き見されているか否かを判定し、情報処理装置の表示画面を切り換えさせる処理の一例を示す流れ図である。本実施の形態において、撮像部1は、第1の実施の形態で示したステップS11と同様の処理に従って画像を撮影し、顔検出手段21は、第1の実施の形態で示したステップS12と同様の処理に従って、撮影画像から顔を検出する。そして、覗き見判定手段22は、第1の実施の形態で示したステップS13と同様の処理に従って、撮影画像中にn個以上の顔が含まれるか否かを判定する。
Next, the operation will be described. FIG. 5 is a flowchart illustrating an example of a process for determining whether or not the display screen is peeped by another person other than the user and switching the display screen of the information processing apparatus. In the present embodiment, the
第1の実施の形態では、覗き見判定手段22が覗き見状態であると判定した場合、警告出力部3が警告を出力するだけで、情報処理装置付属の画像表示手段が表示する画像をそのまま出力(表示)していた。本実施の形態では、覗き見判定手段22が覗き見状態であると判定した場合、表示切替手段24は、画像出力部5が出力(表示)する画像を所定の画像に切り替えさせ(ステップS24)、処理を終了する。なお、データ処理装置4が覗き見状態でないと判定した場合、情報処理装置は、画像出力部5が出力する画像を切り換えることなく、そのまま処理を終了する。
In the first embodiment, when the peeping
以上のように、本実施の形態によれば、情報処理装置は、覗き見状態を検出すると、画像出力部5が表示する情報を表示しなくなる(画像を切り替えさせる)ように制御する。そのため、情報処理装置のユーザが他人による覗き見を解消するために特定の操作をしなくても、他人による覗き見を防止することができる。
As described above, according to the present embodiment, when detecting the peeping state, the information processing apparatus performs control so that the information displayed by the
実施の形態3.
次に、本発明の第3の実施の形態について図面を参照して説明する。図6は、覗き見防止機能を備えた情報処理装置の更に他の構成例を示すブロック図である。図6に示すように、本実施の形態では、データ処理装置6が、図1に示したデータ処理装置2の警報発生手段23に代えて覗き見人物記録手段25を含む点で、第1の実施の形態と異なる。また、情報処理装置が、警告出力部3に代えて記憶装置7を含む点で、第1の実施の形態と異なる。なお、撮像部1、顔検出手段21及び覗き見判定手段22の機能は、第1の実施の形態で示したそれらの機能と同様である。
Next, a third embodiment of the present invention will be described with reference to the drawings. FIG. 6 is a block diagram illustrating still another configuration example of the information processing apparatus having the peeping prevention function. As shown in FIG. 6, in the present embodiment, the
記憶装置7は、具体的には、メモリやハードディスク装置等である。図6に示すように、記憶装置7は、情報処理装置付属の画像表示装置を覗き見た人物を記録するための覗き見人物記憶部71を含む。本実施の形態では、記憶装置7は、覗き見人物記録手段25の指示に従って、情報処理装置が表示する画面を覗き見している人物が写っている画像を記憶する。
Specifically, the
覗き見人物記録手段25は、覗き見判定手段22が覗き見状態であると判定した場合に、覗き見状態と判定した際の判定対象の画像(撮像部1が撮影した画像)を、覗き見人物記憶部71に保存する機能を備える。
When the peeping
なお、覗き見人物記録手段25は、撮像部1が撮影した画像をそのまま覗き見人物記憶部71に記憶させるのでなく、画像から顔が写っている部分だけを抽出し、抽出した部分画像を覗き見人物記憶部71に記憶させるようにしてもよい。この場合、覗き見人物記録手段25は、撮像部1が撮影した画像から、顔検出手段21が検出した顔が含まれる領域を抽出する。そして、覗き見人物記録手段25は、抽出した領域の画像を覗き見人物記憶部71に記憶させる。
The peeping
また、本実施の形態において、覗き見人物記録手段25は、覗き見判定手段22が覗き見状態であると判定したときに、覗き見状態を解消するための解消処理を実行する覗き見状態解消手段として機能する。
Further, in this embodiment, the peeping
次に、動作について説明する。図7は、ユーザ以外の他人によって表示画面を覗き見されているか否かを判定し、覗き見している人物を記録する処理の一例を示す流れ図である。本実施の形態において、撮像部1は、第1の実施の形態で示したステップS11と同様の処理に従って画像を撮影し、顔検出手段21は、第1の実施の形態で示したステップS12と同様の処理に従って、撮影画像から顔を検出する。そして、覗き見判定手段22は、第1の実施の形態で示したステップS13と同様の処理に従って、撮影画像中にn個以上の顔が含まれるか否かを判定する。
Next, the operation will be described. FIG. 7 is a flowchart illustrating an example of processing for determining whether or not a display screen is peeped by a person other than the user and recording the peeping person. In the present embodiment, the
第1の実施の形態では、覗き見判定手段22が覗き見状態であると判定した場合、警告出力部3が警告を出力するだけで、覗き見状態と判定した際の画像を保存することを行ってはいなかった。本実施の形態では、覗き見判定手段22が覗き見状態であると判定した場合、覗き見人物記録手段25は、覗き見状態であると判定した際の判定対象の画像を覗き見人物記憶部71に保存し(ステップS34)、処理を終了する。すなわち、覗き見人物記録手段25は、ステップS11で撮像部1が撮影した撮影画像を、覗き見人物記憶部71に記憶させる。なお、データ処理装置6が覗き見状態でないと判定した場合、情報処理装置は、覗き見人物記憶部71に撮影画像を記憶させることなく、そのまま処理を終了する。
In the first embodiment, when the peeping
以上のように、本実施の形態によれば、情報処理装置は、覗き見状態を検出すると、覗き見状態と判定した際の撮影画像を記録する。そのため、情報処理装置のユーザや管理者等が、覗き見行為を行った人物の顔を事後的に確認することができる。従って、覗き見による不正行為が発生した場合に、不正行為を行った人物を容易に特定することができる。また、本実施の形態によれば、覗き見状態の画像を記録することによる覗き見行為の抑止効果が期待でき、覗き見行為を事前防止することができる。 As described above, according to the present embodiment, when the information processing apparatus detects a peeping state, the information processing apparatus records a captured image when it is determined to be a peeping state. Therefore, a user or administrator of the information processing apparatus can confirm the face of the person who has peeped afterwards. Therefore, when an illegal act due to peeping occurs, it is possible to easily identify the person who has performed the illegal act. Further, according to the present embodiment, it is possible to expect the effect of suppressing the peeping action by recording the peeping state image, and the peeping action can be prevented in advance.
実施の形態4.
次に、本発明の第4の実施の形態について図面を参照して説明する。図8は、覗き見防止機能を備えた情報処理装置の更に他の構成例を示すブロック図である。図8に示すように、本実施の形態では、データ処理装置8が、図1に示したデータ処理装置2の構成要素に加えて表示切替手段24を含む点で、第1の実施の形態と異なる。また、情報処理装置が、図1に示した構成要素に加えて画像出力部5を含む点で、第1の実施の形態と異なる。なお、撮像部1、顔検出手段21、覗き見判定手段22、警告発生手段23及び警告出力部3の機能は、第1の実施の形態で示したそれらの機能と同様である。
Next, a fourth embodiment of the present invention will be described with reference to the drawings. FIG. 8 is a block diagram illustrating still another configuration example of the information processing apparatus having the peeping prevention function. As shown in FIG. 8, the present embodiment is different from the first embodiment in that the
画像出力部5は、第2の実施の形態で示した画像出力部5と同様に、具体的には、モニタ等の画像表示装置によって実現される。また、画像出力部5は、情報処理装置使用者(ユーザ)の操作により、データ処理装置8の指示に従って、各種情報を表示するための画面を表示する機能を備える。
The
表示切替手段24は、第2の実施の形態で示した表示切替手段24と同様に、覗き見判定手段22が覗き見状態を判定した結果、他人による覗き見状態であると判定した場合、画像出力部5が表示する画像を予め指定された画像に切り替えさせる機能を備える。
As in the case of the
次に、動作について説明する。図9は、ユーザ以外の他人によって表示画面を覗き見されているか否かを判定し、ユーザに警告し情報処理装置の表示画面を切り換えさせる処理の一例を示す流れ図である。本実施の形態において、撮像部1は、第1の実施の形態で示したステップS11と同様の処理に従って画像を撮影し、顔検出手段21は、第1の実施の形態で示したステップS12と同様の処理に従って、撮影画像から顔を検出する。そして、警告発生手段23は、第1の実施の形態で示したステップS13と同様の処理に従って、撮影画像中にn個以上の顔が含まれるか否かを判定する。
Next, the operation will be described. FIG. 9 is a flowchart illustrating an example of a process for determining whether or not someone is peeping at the display screen and warning the user and switching the display screen of the information processing apparatus. In the present embodiment, the
第1の実施の形態では、覗き見判定手段22が覗き見状態であると判定した場合、警告出力部3が警告を出力するだけで、情報処理装置付属の画像表示手段が表示する画像をそのまま出力(表示)していた。また、第2の実施の形態では、覗き見判定手段22が覗き見状態であると判定した場合、画像出力部5が出力(表示)する画像を予め設定された画像に切り替えるだけで、覗き見状態をユーザに明示的に知らせることをしていなかった。
In the first embodiment, when the peeping
本実施の形態では、覗き見判定手段22が覗き見状態であると判定した場合、警告発生手段23は、警告出力部3を介してユーザに覗き見状態であることを警告する(ステップS44)。なお、警告出力部3がユーザに覗き見状態を警告する方法は、第1の実施の形態で示した方法(例えば、音声や警告音、画像、文字情報等を用いて通知)と同様である。
In the present embodiment, when the peeping
更に、表示切替手段24は、画像出力部5が出力(表示)する画像を所定の画像に切り替えさせ(ステップS45)、処理を終了する。なお、警告発生手段23が実行するステップS44の処理と、表示切替手段24が実行するステップS45の処理との順番は順不同である。例えば、覗き見判定手段22が覗き見状態であると判定すると、表示切替手段24が画像出力部5に表示画像を切り換えさせる処理を実行した後に、警告発生手段23が警告出力部3を介して警告する処理を実行してもよい。また、覗き見判定手段22が覗き見状態であると判定すると、警告発生手段23と表示切替手段24とが、並行して処理を実行してもよい。
Further, the
以上のように、本実施の形態によれば、第1の実施の形態及び第2の実施の形態と同様に、他人による覗き見行為を防止することが可能である。例えば、第1の実施の形態と同様に、覗き見状態である旨の警告をユーザに通知できるので、他人がユーザとほぼ同じ視点から画面を覗き込む場合であっても、他人による画面の覗き見を防止することができる。また、情報処理装置に付属する画像表示装置の表示画面の画質を低下させずに、他人による画面の覗き見を防止することができる。更に、正規ユーザの顔データ又は属性データを登録することなく、簡易な方法で画面の覗き見を防止することができる。 As described above, according to the present embodiment, it is possible to prevent a peeping action by others as in the first embodiment and the second embodiment. For example, as in the first embodiment, the user can be notified of a warning that the user is in a peeping state, so even if another person looks into the screen from almost the same viewpoint as the user, You can prevent seeing. Further, it is possible to prevent others from peeping at the screen without degrading the image quality of the display screen of the image display device attached to the information processing device. Furthermore, it is possible to prevent a peep on the screen by a simple method without registering the face data or attribute data of the authorized user.
また、本実施の形態によれば、覗き見状態を検出すると表示画像を切り替えさせるように制御するので、情報処理装置のユーザが他人による覗き見を解消するために特定の操作をしなくても、他人による覗き見を防止することができる。 In addition, according to the present embodiment, since the display image is controlled to be switched when the peeping state is detected, the user of the information processing apparatus does not have to perform a specific operation to eliminate peeping by others. , Peeping by others can be prevented.
実施の形態5.
次に、本発明の第5の実施の形態について図面を参照して説明する。図10は、覗き見防止機能を備えた情報処理装置の更に他の構成例を示すブロック図である。図10に示すように、本実施の形態では、データ処理装置9が、図1に示したデータ処理装置2の覗き見判定手段22に代えて、視線推定手段26と画面注視判定手段27とを含む点で、第1の実施の形態と異なる。また、本実施の形態では、データ処理装置9の警告発生手段23Aの機能が、第1の実施の形態で示した警告発生手段23の機能と異なる。なお、撮像部1、顔検出手段21及び警告出力部3の機能は、第1の実施の形態で示したそれらの機能と同様である。
Next, a fifth embodiment of the present invention will be described with reference to the drawings. FIG. 10 is a block diagram illustrating still another configuration example of the information processing apparatus having the peeping prevention function. As shown in FIG. 10, in the present embodiment, the data processing device 9 replaces the peeping
視線推定手段26は、顔検出手段21が検出した画像中の顔の目の位置に基づいて、撮影画像に含まれる顔の視線方向を推定する機能を備える。本実施の形態では、視線推定手段26は、顔検出手段21が検出した顔に含まれる目の視線の方向を推定する。
The
画面注視判定手段27は、顔検出手段21が検出した画像中の顔の位置と、視線推定手段26の推定結果(画像中の顔に対応する視線方向)とに基づいて、顔検出手段21が検出した顔の人物が情報処理装置の表示画面を注視している状態であるか否かを判定する(注視判定ともいう)機能を備える。また、画面注視判定手段27は、画面を注視している人物がn人以上であるか否かを判定する機能を備える。また、画面注視判定手段27は、情報処理装置が表示する画面を注視していると判定した人物の数がn人以上であると判定すると、覗き見状態であると判定する。
The screen gaze determination means 27 is based on the position of the face in the image detected by the face detection means 21 and the estimation result of the line-of-sight estimation means 26 (the line-of-sight direction corresponding to the face in the image). It has a function of determining whether or not the detected face person is in a state of gazing at the display screen of the information processing apparatus (also referred to as gazing determination). Further, the screen
また、本実施の形態では、警告発生手段23Aは、画面注視判定手段27が画面を注視する人物がn人以上であると判定した場合、警告出力部3に、ユーザに対して覗き見状態であることを通知するための警告を出力させる機能を備える。
In the present embodiment, the
次に、動作について説明する。図11は、ユーザ以外の他人によって表示画面を覗き見されているか否かを判定し、ユーザに警告する処理の他の例を示す流れ図である。本実施の形態において、撮像部1は、第1の実施の形態で示したステップS11と同様の処理に従って画像を撮影し、顔検出手段21は、第1の実施の形態で示したステップS12と同様の処理に従って、撮影画像から顔を検出する。
Next, the operation will be described. FIG. 11 is a flowchart illustrating another example of processing for determining whether or not a display screen is peeped by another person other than the user and warning the user. In the present embodiment, the
第1の実施の形態では、ステップS12で顔検出手段21が顔検出した後、覗き見判定手段23は、検出された顔の数をカウントし、n個以上の顔が検出された場合に覗き見状態であると判定していた。本実施の形態では、ステップS12で顔検出手段22が撮影画像中の顔を検出した後、視線推定手段26は、検出された各顔の視線方向をそれぞれ推定する(ステップS53)。
In the first embodiment, after the
図12は、画像中の顔の視線方向を推定する推定方法の例を示す説明図である。ステップS53において、視線推定手段26は、例えば、図12に示すように、エッジ情報等に基づいて、検出された目の位置に含まれる黒目の位置と、目尻や目頭の位置とを検出する。そして、視線推定手段26は、左右の黒目の位置と目尻や目頭の距離とに基づいて、画像中の顔の人物の視線方向を推定する。 FIG. 12 is an explanatory diagram illustrating an example of an estimation method for estimating the gaze direction of a face in an image. In step S53, the line-of-sight estimation means 26 detects, for example, the position of the black eye included in the detected eye position, and the position of the corner of the eye or the head of the eye based on the edge information as shown in FIG. The line-of-sight estimation means 26 estimates the line-of-sight direction of the person in the face in the image based on the positions of the left and right black eyes and the distance between the corners of the eyes and the eyes.
例えば、図12に示す例では、情報処理装置は、角度と目の各部分間の距離a,b,c,dとの対応関係を記述した対応テーブルを予め記憶装置等に記憶している。図12に示す例では、aは左目の目尻と黒目との距離であり、bは左目の黒目と目頭との距離であり、cは右目の目頭と黒目との距離であり、dは右目の黒目と目尻との距離である。例えば、検出した左目の黒目と目頭との距離bと右目の目頭と黒目との距離cとが同じ(b=c)である場合、視線推定手段26は、画像中の顔の人物が正面を向いていると判定する。また、検出した左目の黒目と目頭との距離bが右目の目頭と黒目との距離cより大きい場合(b>c)、視線推定手段26は、画像中の顔の人物が右側を注視していると判定する。 For example, in the example shown in FIG. 12, the information processing apparatus stores in advance a correspondence table in which a correspondence relationship between the angles and the distances a, b, c, and d between the eye portions is described in a storage device or the like. In the example shown in FIG. 12, a is the distance between the corner of the left eye and the black eye, b is the distance between the left eye and the eye, c is the distance between the right eye and the black eye, and d is the right eye. It is the distance between the black eyes and the corners of the eyes. For example, when the detected distance b between the left eye's black eye and the eye's eye and the distance c between the right eye's eye and the black eye are the same (b = c), the line-of-sight estimation means 26 indicates that the face person in the image is in front. It is determined that it is suitable. If the detected distance b between the left eye's black eye and the eye's eye is larger than the distance c between the right eye's eye and the black eye (b> c), the line-of-sight estimation means 26 looks at the right side of the face person in the image. It is determined that
なお、視線推定手段26は、目の各部分間の距離a,b,c,dと視線方向との対応付けをニューラルネットワーク等の学習モデルを用いて学習し、その学習結果に基づいて視線方向を推定してもよい。 The line-of-sight estimation means 26 learns the correspondence between the distances a, b, c, and d between each part of the eye and the line-of-sight direction using a learning model such as a neural network, and the line-of-sight direction based on the learning result. May be estimated.
視線推定手段26が検出されたそれぞれの顔の視線方向を推定した後、画面注視判定手段27は、視線推定手段26の推定結果に基づいて、画面中の各顔が画面を注視しているか否かを判定する(ステップS54)。
After the
図13は、画像中の顔が情報処理装置の表示画面を注視しているか否かを判定する判定方法の例を示す説明図である。図13に示すように、画面注視判定手段27は、顔が検出された位置とその顔の視線方向とに基づいて、画像中の顔の人物が画面を注視している画面注視状態であるか否かを判定する。図13に示す例では、画像中央で検出された顔の人物が正面を見ていると推定された場合、画面注視判定手段27は、画面注視状態であると判定する。また、画像中央で検出された顔について正面以外の方向を見ていると推定された場合、画面注視判定手段27は、画面注視状態でないと判定する。同様に、画像の左側で検出された顔の人物が右側を見ていると推定された場合、画面注視判定手段27は、画面注視状態であると判定する。また、画像の左側で検出された顔の人物が右側以外の方向を見ていると推定された場合、画面注視判定手段27は、画面注視状態でないと判定する。
FIG. 13 is an explanatory diagram illustrating an example of a determination method for determining whether a face in an image is gazing at the display screen of the information processing apparatus. As shown in FIG. 13, the screen gaze determination means 27 is in a screen gaze state where a face person in the image gazes at the screen based on the position where the face is detected and the gaze direction of the face. Determine whether or not. In the example illustrated in FIG. 13, when it is estimated that the face person detected in the center of the image is looking in front, the screen
また、画面注視判定手段27は、画面を注視していると判定した人物の顔の数がn個(n≧1)以上であるか否かを判定する(ステップS55)。注視状態であると判定した人物の顔の数がn個未満であると判定した場合、情報処理装置は、そのまま処理を終了する。注視状態であると判定した人物の顔の数がn個以上であると判定した場合、警告発生手段23は、覗き見状態を警告するための信号を警告出力部3に出力し、ユーザに対する警告を警告出力部3に出力させ(ステップS56)、処理を終了する。
Further, the screen
なお、本実施の形態では、情報処理装置が覗き見状態を検出した場合にユーザに対し警告を出力する場合を説明するが、情報処理装置は、覗き見状態を検出した場合に他の処理を実行するようにしてもよい。例えば、情報処理装置は、図9に示す構成要素に加えて、表示切替手段24と画像出力部5とを備え、覗き見状態を検出すると、画像出力部5が表示する表示画面を切り換えてもよい。また、例えば、情報処理装置は、図9に示す構成要素に加えて、覗き見人物記録手段25と覗き見人物記憶部71とを備え、覗き見状態を検出すると、覗き見している人物が写っている撮影画像を覗き見人物記憶部71に記憶するようにしてもよい。
In this embodiment, the case where the information processing apparatus outputs a warning to the user when the peeping state is detected will be described. However, the information processing apparatus performs other processing when the peeping state is detected. You may make it perform. For example, the information processing apparatus includes a
以上のように、本実施の形態によれば、情報処理装置は、単に画像中の顔を検出するだけでなく、顔検出した人物が注視する点を検出することによって、より高精度な覗き見判定を行うことが可能である。従って、第1の実施の形態から第4の実施の形態に示した情報処理装置と比較して、他人による覗き見行為をより高精度に防止することが可能である。 As described above, according to the present embodiment, the information processing apparatus not only detects a face in an image but also detects a point at which a person whose face is detected gazes, thereby enabling a more accurate peeking. A determination can be made. Therefore, compared with the information processing apparatus shown in the first to fourth embodiments, it is possible to prevent a peeping action by others with higher accuracy.
例えば、撮影画像中に写っている顔の数だけに基づいて覗き見状態であるか否かを判定する場合に、覗き見する意思のない善意の人物の顔が偶然写ってしまった場合であっても、覗き見状態であると判定してしまうおそれがある。本実施の形態によれば、画像中に写っている顔の視線の方向を推定することによって、画像中の顔の人物が情報処理装置の表示画面を注視しているか否かを判断する。そして、画像中の顔のうち表示画面を注視している顔の数に基づいて覗き見状態であるか否かを判定する。従って、画像中の顔の数だけに基づいて判定する場合と比較して、より高精度に覗き見状態であるか否かを判定することができる。 For example, when judging whether or not a person is peeping based on only the number of faces in the captured image, the face of a bona fide person who does not intend to peep is accidentally captured. However, there is a possibility that it is determined to be in a peeping state. According to the present embodiment, it is determined whether or not the face person in the image is gazing at the display screen of the information processing apparatus by estimating the direction of the line of sight of the face in the image. And it is determined whether it is a peeping state based on the number of the faces which are gazing at the display screen among the faces in an image. Therefore, it is possible to determine whether or not it is a peeping state with higher accuracy than in the case of determining based only on the number of faces in the image.
次に、具体的な実施例を用いて、覗き見防止機能を備えた情報処理装置の動作を説明する。図14は、覗き見防止機能を備えた情報処理装置の具体例を示す説明図である。なお、図14に示す情報処理装置は、第4の実施の形態で示した情報処理装置に対応する。また、図14に示すように、本実施例では、情報処理装置が折畳式の携帯電話機である場合を例に説明する。 Next, the operation of the information processing apparatus having a peep prevention function will be described using a specific embodiment. FIG. 14 is an explanatory diagram illustrating a specific example of an information processing apparatus having a peeping prevention function. Note that the information processing apparatus illustrated in FIG. 14 corresponds to the information processing apparatus illustrated in the fourth embodiment. Further, as shown in FIG. 14, in the present embodiment, a case where the information processing apparatus is a foldable mobile phone will be described as an example.
図14に示すように、携帯電話機は、撮像部1として、液晶モニタを見るユーザを撮影するためのカメラデバイス(例えば、CCDカメラ等)を備える。また、図14に示すように、カメラデバイスは、携帯電話機を折り畳んだ場合に内側になる面に装着される。また、カメラデバイスは、液晶モニタの周囲に取り付けられる。
As shown in FIG. 14, the mobile phone includes, as the
また、携帯電話機において、データ処理装置8は、プログラムに従って動作する携帯電話機のCPUである。また、携帯電話機において、警告出力部3は、スピーカやバイブレーション部等によって実現される。また、携帯電話機において、画像出力部5は、液晶モニタである。
In the mobile phone, the
携帯電話機は、顔検出手段21、覗き見判定手段22、警告発生手段23及び表示切替手段24として機能する中央演算装置(CPU)を有している。 The mobile phone has a central processing unit (CPU) that functions as the face detection means 21, the peek determination means 22, the warning generation means 23, and the display switching means 24.
本例では、携帯電話機のユーザが電話帳やメール等の他人に見られたくない重要情報を表示させる場合を説明する。この場合、携帯電話機は、これらの重要情報を表示するとともに、自動的にカメラデバイスと顔検出手段21とを起動し、携帯電話機の液晶モニタを見るユーザ及びそのユーザの周辺を含む画像をカメラデバイスを用いて撮影する。携帯電話機は、撮影した画像について顔検出処理を施し、例えば、検出した顔の数が2つ以上である場合、覗き見が発生していると判定する。そして、携帯電話機は、バイブレータ機能を用いた振動によってユーザに警告する。 In this example, a case will be described in which the user of the mobile phone displays important information that the user does not want to be seen by others, such as a phone book or mail. In this case, the mobile phone displays these important information, and automatically activates the camera device and the face detection means 21, and displays the image including the user viewing the liquid crystal monitor of the mobile phone and the periphery of the user. Take a picture using. The mobile phone performs face detection processing on the captured image. For example, when the number of detected faces is two or more, the mobile phone determines that peeping has occurred. The mobile phone alerts the user by vibration using the vibrator function.
また、携帯電話機は、振動による警告を行うと同時に、液晶モニタ部の表示画面を、重要情報画面から顔検出結果を表示する画面に切り替える。例えば、携帯電話機は、図15に示すように、ユーザ自身の顔と、画面を覗き見している他人の顔とを検出した検出結果を表示する画面に切り替える。そのように、重要情報を他の画像に切り替えることによって、ユーザ以外の他人による覗き見を排除し、覗き見状態であったことをユーザに通知することが可能となる。 In addition, the mobile phone performs a warning by vibration, and at the same time, switches the display screen of the liquid crystal monitor unit from the important information screen to a screen displaying the face detection result. For example, as shown in FIG. 15, the mobile phone switches to a screen that displays a detection result of detecting the user's own face and the face of another person who is looking into the screen. As described above, by switching the important information to another image, it is possible to eliminate peeping by others other than the user and notify the user that the peeping state has been established.
本発明は、携帯電話機やパーソナルコンピュータ等の重要な情報を表示する情報処理装置において、ユーザ以外の他人による覗き見を予防又は防止する用途に適用できる。例えば、本発明は、データベースから同義語を検索する情報検索装置の用途や、情報検索装置をコンピュータを用いて実現するためのプログラムの用途に適用できる。また、例えば、本発明は、同義語を検索する機能を備えたかな漢字変換装置を搭載するパーソナルコンピュータやワードプロセッサ専用機の用途や、かな漢字変換機能をコンピュータを用いて実現するプログラムの用途にも適用できる。 INDUSTRIAL APPLICABILITY The present invention can be applied to an information processing apparatus that displays important information such as a mobile phone or a personal computer, for preventing or preventing peeping by others other than the user. For example, the present invention can be applied to the use of an information search device that searches for synonyms from a database and the use of a program for realizing the information search device using a computer. Further, for example, the present invention can be applied to the use of a personal computer or a word processor dedicated machine equipped with a Kana-Kanji conversion device having a function for searching for synonyms, or the use of a program that realizes a Kana-Kanji conversion function using a computer. .
1 撮像部
2,4,6,8,9 データ処理装置
3 警告出力部
5 画像出力部
7 記憶装置
21 顔検出手段
22 覗き見判定手段
23 警告発生手段
24 表示切替手段
25 覗き見人物記録手段
26 視線推定手段
27 画面注視判定手段
71 覗き見人物記憶部
DESCRIPTION OF
Claims (27)
前記撮像部が撮影した画像に含まれる顔を検出する顔検出手段と、
前記顔検出手段が検出した顔の数に基づいて、前記情報処理装置が表示する情報が、ユーザ以外の他人によって覗き見されている状態である覗き見状態であるか否かを判定する覗き見判定手段と、
前記覗き見判定手段が覗き見状態であると判定すると、前記覗き見状態を解消するための解消処理を実行する覗き見状態解消手段とを
備えたことを特徴とする情報処理装置。 An imaging unit that is installed in the information processing apparatus so as to photograph the user in a state where the user is viewing a screen displayed by the information processing apparatus, and that captures an image including the user;
Face detection means for detecting a face included in an image captured by the imaging unit;
Based on the number of faces detected by the face detection means, it is determined whether or not the information displayed by the information processing device is in a peeping state in which a person other than the user is peeping A determination means;
An information processing apparatus comprising: a peeping state canceling unit that executes a canceling process for canceling the peeping state when the peeping determination unit determines that the peeping state is in a peeping state.
前記撮像部が撮影した画像に含まれる顔を検出する顔検出手段と、
顔検出手段が検出した顔に含まれる目の視線の方向を推定する視線推定手段と、
前記視線推定手段の推定結果に基づいて、前記顔検出手段が検出した顔の人物が情報処理装置が表示する画面を注視しているか否かを判定する画面注視判定手段と、
覗き見状態を解消するための解消処理を実行する覗き見状態解消手段とを備え、
前記画面注視判定手段は、前記情報処理装置が表示する画面を注視していると判定した人物の数が所定数以上であると判定した場合に、覗き見状態であると判定し、
前記覗き見状態解消手段は、前記画面注視判定手段が覗き見状態であると判定すると、前記解消処理を実行する
ことを特徴とする情報処理装置。 An imaging unit that is installed in the information processing apparatus so as to photograph the user in a state where the user is viewing a screen displayed by the information processing apparatus, and that captures an image including the user;
Face detection means for detecting a face included in an image captured by the imaging unit;
Eye gaze estimation means for estimating the direction of the eye gaze included in the face detected by the face detection means;
Screen gaze determining means for determining whether the person of the face detected by the face detecting means is gazing at the screen displayed by the information processing device based on the estimation result of the gaze estimating means;
A peeping state canceling means for executing a canceling process for canceling the peeping state,
The screen gaze determining means determines that it is in a peeping state when it is determined that the number of persons determined to be gazing at the screen displayed by the information processing apparatus is a predetermined number or more,
The information processing apparatus according to claim 1, wherein the peeping state cancellation unit executes the cancellation process when the screen gaze determination unit determines that the peeping state determination unit is in a peeping state.
覗き見状態解消手段は、覗き見状態であると判定した場合に、撮像部が撮影した画像を前記覗き見画像記憶手段に記憶させる覗き見画像記録手段である
請求項1から請求項11のうちのいずれか1項に記載の情報処理装置。 A peek image storage means for storing an image of a person peeping at a screen displayed by the information processing apparatus;
The peeping state eliminating unit is a peeping image recording unit that stores an image taken by the imaging unit in the peeping image storage unit when it is determined that the peeping state is in a peeping state. The information processing apparatus according to any one of the above.
撮像部は、前記画像表示装置の周囲に設置されている
請求項1から請求項13のうちのいずれか1項に記載の情報処理装置。 In accordance with a request instruction from the user of the information processing apparatus, an image display device that displays information is provided.
The information processing apparatus according to claim 1, wherein an imaging unit is installed around the image display apparatus.
撮影した前記画像に含まれる顔を検出する顔検出ステップと、
検出した顔の数に基づいて、前記情報処理装置が表示する情報が、ユーザ以外の他人によって覗き見されている状態である覗き見状態であるか否かを判定する覗き見判定ステップと、
覗き見状態であると判定すると、前記覗き見状態を解消するための解消処理を実行する覗き見状態解消ステップとを
含むことを特徴とする情報処理方法。 An imaging step of capturing an image including a user of the information processing apparatus and the periphery of the user;
A face detection step for detecting a face included in the captured image;
Based on the number of detected faces, the information displayed by the information processing device is a peeping determination step for determining whether the information is a peeping state that is being peeped by a person other than the user;
An information processing method comprising: a peeping state elimination step for executing a elimination process for eliminating the peeping state when it is determined that the peeping state is established.
撮影した前記画像に含まれる顔を検出する顔検出ステップと、
検出した顔に含まれる目の視線の方向を推定する視線推定ステップと、
前記視線推定ステップにおける推定結果に基づいて、検出した顔の人物が情報処理装置が表示する画面を注視しているか否かを判定する画面注視判定ステップと、
覗き見状態を解消するための解消処理を実行する覗き見状態解消ステップとを含み、
前記画面注視判定ステップで、前記情報処理装置が表示する画面を注視していると判定した人物の数が所定数以上であると判定した場合に、覗き見状態であると判定し、
前記覗き見状態解消ステップで、覗き見状態であると判定すると、前記解消処理を実行する
ことを特徴とする情報処理方法。 An imaging step of capturing an image including a user of the information processing apparatus and the periphery of the user;
A face detection step for detecting a face included in the captured image;
A line-of-sight estimation step for estimating the direction of the line of sight of eyes contained in the detected face;
Screen gaze determination step for determining whether or not the detected face person is gazing at the screen displayed by the information processing device based on the estimation result in the gaze estimation step;
Including a peeping state cancellation step for executing a cancellation process for canceling the peeping state,
In the screen gaze determination step, when it is determined that the number of persons determined to be gazing at the screen displayed by the information processing apparatus is a predetermined number or more, it is determined that the peeping state is present,
The information processing method according to claim 1, wherein when the peeping state elimination step determines that the peeping state is established, the elimination process is executed.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005194754A JP2008276274A (en) | 2005-07-04 | 2005-07-04 | Information processor and information processing method |
PCT/JP2006/313062 WO2007004536A1 (en) | 2005-07-04 | 2006-06-30 | Information processing device and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005194754A JP2008276274A (en) | 2005-07-04 | 2005-07-04 | Information processor and information processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008276274A true JP2008276274A (en) | 2008-11-13 |
Family
ID=37604401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005194754A Pending JP2008276274A (en) | 2005-07-04 | 2005-07-04 | Information processor and information processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2008276274A (en) |
WO (1) | WO2007004536A1 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010128778A (en) * | 2008-11-27 | 2010-06-10 | Sony Ericsson Mobilecommunications Japan Inc | Information display device, peep prevention method for the information display device and peep prevention program |
JP2012147905A (en) * | 2011-01-18 | 2012-08-09 | Sankyo Co Ltd | Game machine |
JP2013003650A (en) * | 2011-06-13 | 2013-01-07 | Sony Corp | Information processing apparatus and program |
JP2013105384A (en) * | 2011-11-15 | 2013-05-30 | Nippon Hoso Kyokai <Nhk> | Attention degree estimating device and program thereof |
JP2015526780A (en) * | 2012-06-06 | 2015-09-10 | 華為技術有限公司Huawei Technologies Co.,Ltd. | Media playback method and apparatus |
CN107835118A (en) * | 2017-10-26 | 2018-03-23 | 广东欧珀移动通信有限公司 | Information processing method, device, mobile terminal and computer-readable recording medium |
JP2018194998A (en) * | 2017-05-16 | 2018-12-06 | 富士通周辺機株式会社 | Information processing device and information processing method |
WO2019163544A1 (en) * | 2018-02-26 | 2019-08-29 | パナソニックIpマネジメント株式会社 | Bidirectional video communication system and operator terminal |
JP2020144884A (en) * | 2018-04-26 | 2020-09-10 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing method, and program |
WO2022113745A1 (en) * | 2020-11-30 | 2022-06-02 | マクセル株式会社 | Floating-in-space-image display device |
JP7457774B1 (en) | 2022-11-10 | 2024-03-28 | 株式会社日本総合研究所 | Information processing device, image processing device, and program |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008244753A (en) * | 2007-03-27 | 2008-10-09 | Oki Electric Ind Co Ltd | Peeping prevention method and peeping prevention device |
WO2010058683A1 (en) * | 2008-11-21 | 2010-05-27 | コニカミノルタホールディングス株式会社 | Electronic data read device and electronic data read method |
CN103685701A (en) * | 2012-09-17 | 2014-03-26 | 联想移动通信科技有限公司 | Peeping prevention method, device and mobile terminal |
CN103501407A (en) * | 2013-09-16 | 2014-01-08 | 北京智谷睿拓技术服务有限公司 | Device and method for protecting privacy |
CN103945275B (en) * | 2014-03-28 | 2017-05-03 | 小米科技有限责任公司 | Picture recording control method and device and mobile terminal |
JP6441200B2 (en) * | 2015-11-04 | 2018-12-19 | 日本電信電話株式会社 | Gaze-Assisted Risk Reduction System, Gaze-Assisted Risk Reduction Device, and Gaze-Assisted Risk Reduction Method |
KR101996415B1 (en) * | 2016-12-30 | 2019-07-04 | 현대자동차주식회사 | Posture information based pedestrian detection and pedestrian collision prevention apparatus and method |
WO2019041183A1 (en) * | 2017-08-30 | 2019-03-07 | 深圳传音通讯有限公司 | Anti-screen spying method for mobile terminal, mobile terminal and storage medium |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3617882B2 (en) * | 1996-03-08 | 2005-02-09 | 株式会社東芝 | Security device and security implementation method |
JP2000322358A (en) * | 1999-05-11 | 2000-11-24 | Fujitsu Ltd | Data display device and recording medium with program for information display recorded thereon |
JP2003264877A (en) * | 2002-03-12 | 2003-09-19 | Sony Ericsson Mobilecommunications Japan Inc | Mobile terminal |
JP4086740B2 (en) * | 2003-09-09 | 2008-05-14 | 日本電気株式会社 | Terminal user monitoring system |
JP2005115461A (en) * | 2003-10-03 | 2005-04-28 | Toshiba Corp | Electronic equipment controller using face matching |
JP2006039841A (en) * | 2004-07-26 | 2006-02-09 | Nec Corp | Processing device preventing spying through face detection, processing system, automatic teller, processing method, and program |
-
2005
- 2005-07-04 JP JP2005194754A patent/JP2008276274A/en active Pending
-
2006
- 2006-06-30 WO PCT/JP2006/313062 patent/WO2007004536A1/en active Application Filing
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010128778A (en) * | 2008-11-27 | 2010-06-10 | Sony Ericsson Mobilecommunications Japan Inc | Information display device, peep prevention method for the information display device and peep prevention program |
JP2012147905A (en) * | 2011-01-18 | 2012-08-09 | Sankyo Co Ltd | Game machine |
JP2013003650A (en) * | 2011-06-13 | 2013-01-07 | Sony Corp | Information processing apparatus and program |
JP2013105384A (en) * | 2011-11-15 | 2013-05-30 | Nippon Hoso Kyokai <Nhk> | Attention degree estimating device and program thereof |
JP2015526780A (en) * | 2012-06-06 | 2015-09-10 | 華為技術有限公司Huawei Technologies Co.,Ltd. | Media playback method and apparatus |
US9848238B2 (en) | 2012-06-06 | 2017-12-19 | Huawei Technologies Co., Ltd. | Media playback method and device |
JP2018194998A (en) * | 2017-05-16 | 2018-12-06 | 富士通周辺機株式会社 | Information processing device and information processing method |
CN107835118A (en) * | 2017-10-26 | 2018-03-23 | 广东欧珀移动通信有限公司 | Information processing method, device, mobile terminal and computer-readable recording medium |
WO2019163544A1 (en) * | 2018-02-26 | 2019-08-29 | パナソニックIpマネジメント株式会社 | Bidirectional video communication system and operator terminal |
JP2019149625A (en) * | 2018-02-26 | 2019-09-05 | パナソニックIpマネジメント株式会社 | Two-way video communication system and operator terminal |
GB2586542A (en) * | 2018-02-26 | 2021-02-24 | Panasonic Ip Man Co Ltd | Bidirectional video communication system and operator terminal |
JP2020144884A (en) * | 2018-04-26 | 2020-09-10 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing method, and program |
WO2022113745A1 (en) * | 2020-11-30 | 2022-06-02 | マクセル株式会社 | Floating-in-space-image display device |
JP7457774B1 (en) | 2022-11-10 | 2024-03-28 | 株式会社日本総合研究所 | Information processing device, image processing device, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2007004536A1 (en) | 2007-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008276274A (en) | Information processor and information processing method | |
US10469830B2 (en) | Unauthorized viewer detection system and method | |
JP7031588B2 (en) | Suspicious person detection device, suspicious person detection method and program | |
US9275255B2 (en) | Methods, systems, and computer program products for protecting information on a user interface based on a viewability of the information | |
US9131147B2 (en) | System and method for detecting and acting on multiple people crowding a small display for information sharing | |
US8203595B2 (en) | Method and apparatus for enabling improved eye contact in video teleconferencing applications | |
CN110634189B (en) | System and method for user alerting during an immersive mixed reality experience | |
US8600110B1 (en) | Unauthorized viewer detection system and method | |
US10281721B2 (en) | System and method for augmented reality head up display for vehicles | |
JP5790761B2 (en) | Distributed image processing system | |
CN106464803B (en) | Enhanced image capture | |
CN106165391B (en) | Enhanced image capture | |
JP2010128778A (en) | Information display device, peep prevention method for the information display device and peep prevention program | |
US20190313009A1 (en) | Electronic Device with Image Capture Command Source Identification and Corresponding Methods | |
US20090074234A1 (en) | System and method for capturing images | |
TWI766458B (en) | Information identification method and apparatus, electronic device, and storage medium | |
JPH1124603A (en) | Information display device and information collecting device | |
JP5510366B2 (en) | Image display control device and program | |
JP2010277205A (en) | Information processing device, method and program | |
JP5029986B2 (en) | Information processing apparatus and program | |
CA3086381C (en) | Method for detecting the possible taking of screenshots | |
US20190158731A1 (en) | Method and device for capturing a video with a front camera according to an image of the user captured by a rear camera | |
KR20060130647A (en) | Methods and apparatuses for formatting and displaying content | |
JP2009093399A (en) | Information display device | |
JPWO2012108273A1 (en) | Image display device, image display method, and program |