JP2019047159A - Electronic device, control device, control method of control device, and control program - Google Patents
Electronic device, control device, control method of control device, and control program Download PDFInfo
- Publication number
- JP2019047159A JP2019047159A JP2017164677A JP2017164677A JP2019047159A JP 2019047159 A JP2019047159 A JP 2019047159A JP 2017164677 A JP2017164677 A JP 2017164677A JP 2017164677 A JP2017164677 A JP 2017164677A JP 2019047159 A JP2019047159 A JP 2019047159A
- Authority
- JP
- Japan
- Prior art keywords
- display
- display device
- person
- control
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、電子機器、制御装置、制御装置の制御方法および制御プログラムに関する。 The present invention relates to an electronic device, a control device, a control method of the control device, and a control program.
スマートフォンが一般に普及し、かつ表示画面が大型化する中で、公衆の場で使用する場合に備え、周囲からの覗き見を防止する技術のニーズが高まっている。覗き見を防止する技術として広く普及しているのが、ベールビューと呼ばれる技術、および表示画面の表面に保護フィルムを貼付する方法である。 With the spread of smartphones in general and the increase in size of display screens, there is a growing need for technology that prevents peeping from the surroundings in preparation for use in public places. A technology widely used as a technology for preventing peeping is a technology called bale view and a method for applying a protective film to the surface of a display screen.
ベールビューは、ディスプレイ上に幾何学的な半透明の模様を表示させるなどし、左右(斜め)方向からディスプレイを見た場合に、本来表示されている情報を見えにくくするものである。 Bale view displays a geometric semi-transparent pattern on the display, and makes the information originally displayed inconspicuous when the display is viewed from the left and right (oblique) directions.
一方、保護フィルムの貼付も原理的にはベールビューと類似しており、表示画面の表面に半透明の保護フィルムを貼付することで、左右(斜め)方向からは情報が見えにくい状態にするものである。 On the other hand, sticking of a protective film is also similar in principle to bale view, and by sticking a semitransparent protective film on the surface of the display screen, it is difficult to see information from the left and right (oblique) directions. It is.
しかしながら、これらの方法には、後方から(ほぼ真後ろから)の覗き見にはあまり効果がないという欠点があった。また、上記の方法は、半透明の模様の表示や保護フィルムの貼付により、何も表示していない状態や何も貼付していない状態に比べて、ユーザ自身にとっても(周囲に誰もいないときも含めて)煩わしい表示となるという欠点があった。 However, these methods have the disadvantage that they are not very effective for peeping from behind (approximately from behind). In addition, the above method is also for the user himself (when there is no one around him, as compared to the state where nothing is displayed or the state where nothing is attached due to the display of a translucent pattern or the attachment of a protective film) There is a disadvantage that it becomes an annoying display.
上記のような端末を常に覗き見防止状態にするという方法とは異なる技術として、特許文献1に開示された技術がある。この技術は、端末に内蔵されているインカメラ(ディスプレイの正面側に備えられるカメラ)を用いて、周囲にユーザ以外の人物が映り込んでいないかを判定し、映り込んでいる場合には、表示フィルタをかける、あるいは画面のコントラストを調整することにより、該当の人物から画面の表示内容を見えにくくするものである。 As a technique different from the method of always putting the terminal as described above into the peeping prevention state, there is a technique disclosed in Patent Document 1. This technology uses an in-camera (a camera provided on the front side of a display) built in the terminal to determine whether a person other than the user is reflected in the surroundings, and if it is reflected, By applying a display filter or adjusting the contrast of the screen, it is possible to make it difficult for the person in question to see the displayed contents of the screen.
しかしながら、上記従来技術では、覗き見されている状態では表示装置の表示は一律に同じ表示となってしまうという問題点がある。より具体的には、上記従来技術では、後方から(ほぼ真後ろから)覗き見されているのか、あるいは左右(斜め)から覗き見されているのかなどの覗き見の状況に応じて表示装置の表示を適切に制御することができないという問題点がある。 However, in the above-mentioned prior art, there is a problem that the display on the display device is uniformly the same in the state of being peeped. More specifically, in the above-mentioned prior art, the display of the display device according to the situation of peeping, such as whether it is peeping from behind (approximately right behind) or peeping from the left and right (diagonal) There is a problem that it can not control appropriately.
本発明の一態様は、上記の問題点に鑑みて為されたものであり、その目的は、覗き見の状況に応じて表示装置の表示を適切に制御することができる電子機器などを実現することにある。 One aspect of the present invention has been made in view of the above problems, and an object thereof is to realize an electronic device and the like capable of appropriately controlling display of a display device according to a situation of watching. It is.
上記の課題を解決するために、本発明の一態様に係る電子機器は、撮像装置と、表示装置と、制御装置とを備える電子機器であって、上記制御装置は、上記撮像装置が上記表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する処理と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する処理と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理と、を行う。 In order to solve the above-mentioned subject, an electronic device concerning one mode of the present invention is an electronic device provided with an imaging device, a display, and a control device, and the above-mentioned control device is the above-mentioned display. A process of specifying a face image which is not registered as a user's face and whose line of sight is facing the display device from a captured image obtained by capturing the front of the device, and of the face image included in the captured image Based on a process of estimating the position of the face image relative to the display device based on the image of the person, and making the display on the display less visible to the person according to the estimated position of the person relative to the display device Process and do.
上記課題を解決するために、本発明の一態様に係る制御装置は、電子機器を制御する制御装置であって、撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定部と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定部と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御部と、を備える。 In order to solve the above-mentioned subject, a control device concerning one mode of the present invention is a control device which controls electronic equipment, and an imaging device is registered as a user's face from a picturized picture which picturized the front of a display. And a peep judging unit for specifying a face image whose line of sight is facing the display device, and the person's face image based on the image of the person of the face image included in the captured image And a display control unit that performs processing to make the display of the display device less visible to the person according to the estimated position of the person with respect to the display device.
上記課題を解決するために、本発明の一態様に係る制御装置の制御方法は、電子機器を制御する制御装置の制御方法であって、撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定処理と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定処理と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御処理と、を含む。 In order to solve the above-mentioned subject, a control method of a control device concerning one mode of the present invention is a control method of a control device which controls electronic equipment, and an imaging device picturized the front of a display device from a captured image, Based on a peeping judgment process of identifying a face image not registered as a user's face and whose sight is directed to the display device, and based on an image of a person of the face image included in the captured image, Display control for performing position estimation processing for estimating the position of the face image with respect to the display device, and processing for making the display of the display device less visible to the person according to the estimated position of the person for the display device And processing.
本発明の一態様に係る電子機器、制御装置および制御方法よれば、覗き見の状況に応じて表示装置の表示を適切に制御することができるという効果を奏する。 According to the electronic device, the control device, and the control method according to one aspect of the present invention, it is possible to appropriately control the display of the display device according to the situation of watching.
本発明の実施の形態について図1〜図8に基づいて説明すれば、次の通りである。以下、説明の便宜上、ある項目にて説明した構成と同一の機能を有する構成については、他の項目においても同一の符号を付記し、その説明を省略する場合がある。 It will be as follows if embodiment of this invention is described based on FIGS. 1-8. Hereinafter, for the sake of convenience of explanation, the same symbols may be added to the other items for the components having the same functions as the components described in the certain items, and the description thereof may be omitted.
〔実施形態1〕
図1の(a)は、本発明の実施形態1に係るスマートフォン(電子機器)10の構成を示すブロック図である。また、図1の(b)は、スマートフォン10の表示装置4が設けられている側の外観を示す正面図である。図1の(a)に示すように、スマートフォン10は、制御装置1、撮像センサ(撮像装置)2、記憶装置3および表示装置4を備える。
Embodiment 1
(A) of FIG. 1 is a block diagram which shows a structure of the smart phone (electronic device) 10 which concerns on Embodiment 1 of this invention. Moreover, (b) of FIG. 1 is a front view which shows the external appearance by which the
制御装置1は、スマートフォン10の各部を統括的に制御するものであり、アプリケーション実行部11、アプリケーション判定部12、センサ制御部13、覗き見判定部14、位置推定部15、表示制御部16、および表示画像生成部17を備える。なお、制御装置1に含まれる各制御ブロックの詳細については後述する。
The control device 1 controls each part of the
撮像センサ2は、例えば、インカメラ(スマートフォン10の表示装置4が設けられている側の面に備えられるカメラ)などのカメラモジュールで構成することができる。カメラモジュールは、撮影レンズが組み込まれたレンズユニットと、CCD(電荷転送素子)やCMOS(相補形金属酸化膜半導体)等の撮像素子が組み込まれた撮像センサとを一体化したものであり、小型電子機器の小さな筐体内に組み込めるように小型化されている。
The
本実施形態においては、撮像センサ2は、スマートフォン10の表示装置4の表示画面に対向する側(表示画面の前方)を撮影できるように配置されている。より具体的には、図1の(b)に示すように、撮像センサ2は、スマートフォン10の表示装置4が設けられている面の長手方向の上端に配置されている。
In the present embodiment, the
なお、撮像センサ2の配置位置は、上記の例に限定されず、表示装置4が設けられている面の長手方向の下端や、短手方向の両端の何れか少なくとも一方に配置しても良い。撮像センサ2は、表示装置4の表示画面に対向する側(表示画面の前方)を撮影し、撮像画像を覗き見判定部14に渡す。なお、人感センサなどをスマートフォン10に設け、撮像センサ2と組み合わせることで人物検出の精度を上げても良い。
In addition, the arrangement position of the
記憶装置3には、スマートフォン10の機能を実現するために必要な情報が予め記録されるか、またはスマートフォン10における情報処理により生成される情報が随時記録される。特に、本実施形態の記憶装置3では、スマートフォン10に対応付けて登録されるユーザの顔認証用情報が予め記憶される。
In the
表示装置4には、例えば、液晶パネルが使用される。但し、表示装置4に使用される表示パネルは、液晶パネルに限定されるものではなく、有機EL(エレクトロルミネッセンス)パネル、無機ELパネル、またはプラズマパネル等であってもよい。
For example, a liquid crystal panel is used for the
次に、制御装置1に含まれる各制御ブロックの詳細について説明する。アプリケーション実行部11は、ユーザの操作によりメールアプリ、SNS(ソーシャル・ネットワーク・サービス)アプリ、Webブラウザアプリ、またはTVアプリなどの各種アプリケーションを実行させる処理を行う。なお、スマートフォン10は、ユーザが上記アプリケーションの選択を行える機能を有していても良い。
Next, details of each control block included in the control device 1 will be described. The
アプリケーション判定部12は、覗き見防止が必要となる所定のアプリケーション(例えば、メールアプリやWebブラウザアプリなど)がスマートフォン10上で実行されているかを判定する。上記アプリケーションがスマートフォン10上で実行されている場合は、その旨をセンサ制御部13、覗き見判定部14および表示制御部16に通知する。
The
センサ制御部13は、撮像センサ2の動作を制御する。センサ制御部13は、アプリケーション判定部12から上記アプリケーションがスマートフォン10上で実行されている旨の通知を受けると、撮像センサ2に撮影動作を開始させる。一方、センサ制御部13は、アプリケーション判定部12から上記アプリケーションがスマートフォン10上で実行されていない旨の通知を受けると、撮像センサ2に撮影動作を停止させる。
The
なお、覗き見防止が必要となる所定のアプリケーションは、予め記憶装置3に記憶しておくなど固定的に決めておいてもよいし、スマートフォン10が、ユーザが設定できる機能を有していてもよい。また、スマートフォン10がアプリケーションの扱う情報から自動的に決めるようにしてもよい(例えば、電話帳やメール、カメラアプリにより撮影した画像を扱うアプリケーションは覗き見防止が必要となるアプリケーションと決める等)。
In addition, the predetermined application which needs to prevent peeping may be fixed in advance, for example, stored in the
覗き見判定部14は、表示装置4の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が表示装置4を向いている顔画像を特定する覗き見判定処理を行う。例えば、覗き見判定部14は、撮像センサ2から受け取った撮像画像の中に、複数の人物(顔画像)が映り込んでいる場合、記憶装置3からユーザの顔認証用情報を取得し、ユーザ登録されていない顔画像(ユーザ以外の他者の顔画像)が存在するかを判定する。また、覗き見判定部14は、ユーザ登録されていない顔画像が存在する場合にはその視線が表示装置4を向いているかによって、覗き見を判定する。
The
位置推定部15は、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の表示装置4に対する位置を推定する処理を行う。より具体的には、撮像画像中の人物画像の大きさや位置などから、スマートフォン10に対してその人物が実空間上でどのあたりに位置しているかを推定する。
The
例えば、撮像画像の中のユーザ以外の他者の顔画像の大きさが一定の閾値以上なら、他者はスマートフォン10から近くにおり、閾値より小さければ、他者はスマートフォン10から遠くにいると推定する。また、例えば、ユーザ以外の他者の顔画像の中心の撮像画像中の水平方向(横方向)の位置に基づいて、他者はスマートフォン10やユーザの左側、右側、または真ん中辺りの、どの方向にいるかを推定する。
For example, if the size of the face image of the person other than the user in the captured image is equal to or larger than a certain threshold, the other person is near the
位置推定部15は、覗き見が判定された人物の表示装置4に対する位置を推定して、表示制御部16に通知する。
The
表示制御部16は、推定した上記人物の表示装置4に対する位置に応じて、表示装置4の表示を上記人物から見えにくくする処理を行う。すなわち、表示制御部16は、アプリケーション判定部12および覗き見判定部14からの通知をもとに、覗き見防止表示の実施要否の判定と有効な覗き見防止方法の選択を行う(後述する複数の覗き見防止方法の中から少なくとも1つの覗き見防止方法を選択する)。なお、スマートフォン10は、事前にユーザが「このような場合には〜の方法を用いる」といった設定を行える機能を有していても良い。
The
また、表示制御部16は、必要に応じて表示画像生成部17に対して、覗き見を防止するための画像の生成を要求する。表示制御部16は、上記の結果を元に、表示すべき内容を表示装置4に通知する。
In addition, the
表示制御部16は、表示装置4の表示を上記人物から見えにくくする処理を行った後、表示装置4の前方を撮像した撮像画像から、上記人物の顔画像が特定されなくなった場合に、表示装置4の表示を、上記人物から見えにくくする処理が行われていない通常の表示に戻す処理を行う。これにより、覗き見されていないときは通常に表示され、覗き見されているときのみ上記人物から見えにくくされた表示に変わることから、表示に対する煩わしさが軽減される。また、ユーザは、覗き見されているという状況を表示内容の変化により認識することができ、かつその状況でもスマートフォン10をそのまま使い続けることができる。
The
表示画像生成部17は、表示制御部16からの要求を受け、表示中の画像に対して加工を行い、覗き見防止用の画像を生成する(表示装置4の表示を、覗き見を行っている人物から見えにくくする処理を行う)。
The display
表示装置4の表示を上記人物から見えにくくする処理は、表示装置4の表示の文字サイズを縮小する処理であっても良い。これにより、表示されている文字を、覗き見を行っている人物から見えにくくすることができる。
The process of making the display of the
また、表示装置4の表示を上記人物から見えにくくする処理は、表示装置4の表示の画像サイズを縮小する処理であっても良い。これにより、表示されている画像を、覗き見を行っている人物から見えにくくすることができる。
Further, the process of making the display of the
表示装置4の表示を上記人物から見えにくくする処理は、表示装置4の輝度を低下させる処理であっても良い。これにより、表示されている情報を、覗き見を行っている人物から見えにくくすることができる。
The process of making the display of the
また、表示装置4の表示を上記人物から見えにくくする処理は、上記人物の表示装置4に対する位置に応じて、表示装置4の表示の、表示装置4の表示可能領域における表示位置を変更する処理であっても良い。これにより、表示されている情報を上記人物から見えにくくすることができる。以上で説明したスマートフォン10の構成によれば、覗き見の状況に応じて表示装置4の表示を適切に制御することができる。本発明の実施の一形態は、特別な付加機材を用いることなく、一般的なスマートフォン単体で実現することができる。
Further, the process of making the display of the
(スマートフォンの動作)
次に、図2に基づき、スマートフォン10の動作について説明する。図2は、スマートフォン10の動作の一例を示すフローチャートである。まず、ステップS(以下、「ステップ」は省略する)101では、アプリケーション判定部12が、特定のアプリケーションを使用しているか否かを判定する。なお、上記特定のアプリケーションとは、上述した覗き見防止が必要となる所定のアプリケーションのことである。上記判定の結果、特定のアプリケーションを使用している場合は、その旨をセンサ制御部13、覗き見判定部14および表示制御部16に通知してS102に進む。一方、特定のアプリケーションを使用していない場合は、元に戻る。
(Operation of smartphone)
Next, the operation of the
次に、S102では、センサ制御部13が撮像センサ2を起動し、画像を撮影し、撮影した撮像画像を覗き見判定部14に通知してS103に進む。S103では、覗き見判定部14が、上記撮像画像中にユーザを含む複数の人物が映り込んでいる否かを判定し、複数の人物が映り込んでいる場合は、S104に進む。一方、上記撮像画像中に複数の人物が映り込んでいない場合は、S110に進む。
Next, in S102, the
S104では、覗き見判定部14が、複数の顔画像の中にユーザ登録されていない顔画像が存在するか否かを判定し、ユーザ登録されていない顔画像が存在する場合は、S105に進む。一方、ユーザ登録されていない顔画像が存在していない場合は、S110に進む。
In S104, the
S105では、覗き見判定部14が、ユーザ登録されていない顔画像の視線が表示装置4(表示部)を向いているか否かを判定し、視線が表示装置4を向いている場合、S106に進む。なお、ユーザ登録されていない顔画像の視線が表示装置4を向いている場合、「覗き見されている」(その可能性も含む)と判定される。一方、視線が表示装置4を向いていない場合、S110に進む。
In S105, the
S106では、位置推定部15が、ユーザ登録されていない顔画像の人物の覗き見位置(表示装置4に対する位置)を推定して、S107に進む。S107では、表示制御部16が、後述する複数の覗き見防止方法の中から少なくとも1つの覗き見防止方法を選択してS108に進む。
In S106, the
S108では、表示画像生成部17が、覗き見防止表示画面を生成して、S109に進む。S109では、表示制御部16が、表示装置4の画面表示内容を変更(覗き見防止表示オン)してS103に戻る。
In S108, the display
S110では、表示制御部16が、表示装置4の画面表示内容を変更(覗き見防止表示オフ)して、S111に進む。S111では、アプリケーション判定部12が、特定のアプリケーションを使用しているか否かを判定し、特定のアプリケーションを使用している場合は、S103に戻る。一方、S111で特定のアプリケーションを使用していない場合は、S112に進む。S112では、センサ制御部13が撮像センサ2の動作を終了させてENDとなる。
In S110, the
(覗き見防止方法の例)
次に、図3〜図6に基づき、覗き見防止方法(表示装置4の表示を、覗き見を行っている人物から見えにくくする処理)の例について説明する。図3の(a)および(b)に示すように、覗き見を検出した場合に、表示装置4の表示を、覗き見を行っている人物から見えにくくする処理は、表示装置4の表示の文字サイズを縮小する処理であっても良い。これにより、表示されている文字を、覗き見を行っている人物から見えにくくすることができる。
(Example of the peeping prevention method)
Next, an example of the peeping prevention method (a process of making the display on the
図3の(c)および(d)に示すように、覗き見を検出した場合に、表示装置4の表示を、覗き見を行っている人物から見えにくくする処理は、表示装置4の表示の画像サイズを縮小する処理であっても良い。これにより、表示されている画像を、覗き見を行っている人物から見えにくくすることができる。例えば、後方から覗かれている場合には、文字サイズまたは画像サイズを縮小し、遠距離からはほぼ画面の内容が認識できない状態にする。なお、上記の図3の(b)の処理と図3の(d)の処理とを同時に行い、覗き見防止効果を高めても良い。
As shown in (c) and (d) of FIG. 3, when the peeping is detected, the processing of making the display of the
次に、図4の(a)および(b)に示すように、覗き見を検出した場合に、表示装置4の表示を、覗き見を行っている人物から見えにくくする処理は、表示装置4の輝度を低下させる処理であっても良い。これにより、表示されている情報を、覗き見を行っている人物から見えにくくすることができる。表示装置4全体の輝度を下げ、少し離れた位置からは画面の内容がほぼ認識できないようにする。なお、照度センサとの組み合わせにより、周囲の照度から計算される反射の影響などを考慮できるようにしても良い。
Next, as shown in (a) and (b) of FIG. 4, when the peeping is detected, the processing of making the display on the
また、図4の(c)および(d)に示すように、覗き見を検出した場合に、覗き見を行っている人物の表示装置4に対する位置に応じて、表示装置4の表示の、表示装置4の表示可能領域における表示位置を変更しても良い。これにより、表示されている情報を、覗き見を行っている人物から見えにくくすることができる。
Also, as shown in (c) and (d) of FIG. 4, when peeping is detected, display of the display of the
次に、図5の(a)および(b)に示すように、左方向から覗かれている場合は、表示可能領域の右側に表示位置を変更しても良い。また、図5の(a)および(c)に示すように、右方向から覗かれている場合は、表示可能領域の左側に表示位置を変更しても良い。このように、画像を覗いている人物から表示可能領域の逆方向に表示位置を変更し、離れている位置から情報を見えにくくする。表示装置4に表示された情報の画面上の表示位置を、他者が覗き込んでいる方向と反対側に配置することで他者から見難い表示画面での利用が可能となる。さらに付加的な作用として、ユーザは表示装置4における表示内容の変化から、覗き見されている方向を逆算的に知ることができ、その方向に注意を払えることで、防犯上の効果も期待される。
Next, as shown in (a) and (b) of FIG. 5, when viewed from the left, the display position may be changed to the right of the displayable area. Further, as shown in (a) and (c) of FIG. 5, when viewed from the right direction, the display position may be changed to the left side of the displayable area. As described above, the display position is changed in the reverse direction of the displayable area from the person who is looking at the image, thereby making it difficult to see the information from the distant position. By arranging the display position on the screen of the information displayed on the
次に、図6は、覗き見防止方法のバリエーションを示す図である。選択例1では、撮像画像より、位置推定部15が「ユーザ左後方近くからの覗き見」と判定し、表示制御部16へ通知する。表示制御部16は、アプリケーション判定部12からの情報により、対象アプリケーションであるメールを利用中であり、近くからの覗き見であることから、文字サイズ変更、画面輝度変更、および表示位置変更を組合せた覗き見防止方法を選択する。
Next, FIG. 6 is a diagram showing a variation of the peeping prevention method. In the selection example 1, the
選択例2では、撮像画像より、位置推定部15が「ユーザ右後方近くからの覗き見」と判定し、表示制御部16へ通知する。表示制御部16は、アプリケーション判定部12からの情報により、対象アプリケーションであるWebブラウザを利用中であり、近くからの覗き見であることから、文字サイズ変更、画像サイズ変更、画面輝度変更、および表示位置変更を組合せた覗き見防止方法を選択する。
In the second selection example, the
選択例3では、撮像画像より、位置推定部15が「ユーザ右後方遠くからの覗き見」と判定し、表示制御部16へ通知する。表示制御部16は、アプリケーション判定部12からの情報により、対象アプリケーションであるWebブラウザを利用中であるが、遠くからの覗き見であることから、画面輝度変更のみでの覗き見防止方法を選択する。
In the selection example 3, the
選択例4では、撮像画像より、位置推定部15が「ユーザ左後方近くからの覗き見」と判定し、表示制御部16へ通知する。しかしながら、表示制御部16は、アプリケーション判定部12からの情報により、覗き見防止機能の対象外アプリケーションを利用中であることから、いずれの覗き見防止方法も選択しない。
In the selection example 4, the
〔実施形態2〕
図7は、本発明の実施形態2に係るスマートフォン(電子機器)10aの構成を示すブロック図である。本実施形態は、GPS機能などを用いてスマートフォン10の現在位置を判定し、特定の場所(たとえば自宅または会社)にいる場合は、覗き見防止機能を無効にする形態である。
Second Embodiment
FIG. 7 is a block diagram showing the configuration of a smartphone (electronic device) 10a according to the second embodiment of the present invention. In the present embodiment, the current position of the
本実施形態のスマートフォン10aは、現在位置判定部18を備える点で、スマートフォン10の構成と異なっているが、その他の構成はスマートフォン10と同様である。例えば、現在位置判定部18によりスマートフォン10が予め登録された位置に存在していると判定された場合、上述した覗き見判定の処理を行わなくても良い。これにより、明らかに不要な場面では、覗き見を判定する処理以降の処理を行わず、より快適にスマートフォン10を使用することができる。
The
(スマートフォンの動作)
次に、図8に基づき、スマートフォン10aの動作について説明する。図8は、スマートフォン10aの動作の一例を示すフローチャートである。図8に示すフローチャートは、図2に示すフローチャートにおけるS101の前に、S201が設けられている点が図2に示すフローチャートと異なっている。
(Operation of smartphone)
Next, the operation of the
すなわち、S201では、現在位置判定部18が、スマートフォン10aが現在特定の場所(予め登録された場所)に存在しているか否かを判定し、特定の場所に存在している場合には、元に戻る。一方、スマートフォン10aが特定の場所に存在していない場合には、S101に進む。なお、S101以降の動作は、上述した図2に示すフローチャートの場合と同様であるので説明は省略する。
That is, in S201, the current
〔ソフトウェアによる実現例〕
スマートフォン10の制御ブロック(特にアプリケーション判定部12、センサ制御部13、覗き見判定部14、位置推定部15、表示制御部16、表示画像生成部17および現在位置判定部18)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of software implementation]
The control block of the smartphone 10 (in particular, the
後者の場合、スマートフォン10は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
〔まとめ〕
本発明の態様1に係る電子機器は、撮像装置と、表示装置と、制御装置とを備える電子機器であって、上記制御装置は、上記撮像装置が上記表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する処理と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する処理と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理と、を行う構成である。
[Summary]
An electronic device according to aspect 1 of the present invention is an electronic device including an imaging device, a display device, and a control device, and the control device is a captured image obtained by imaging the front of the display device by the imaging device. A process of specifying a face image not registered as the user's face and whose sight line is directed to the display device, and the face based on the image of the person of the face image included in the captured image A process of estimating the position of the image person with respect to the display device, and a process of making the display on the display device less visible to the person according to the estimated position of the person with respect to the display device.
上記構成によれば、撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定し、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定し、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う。このため、覗き見の状況に応じて表示装置の表示を適切に制御することができる。 According to the above configuration, a face image which is not registered as the user's face and whose line of sight is directed to the display device is specified from the captured image obtained by imaging the front of the display device by the imaging device. The position of the face image on the display device is estimated based on the image of the person on the face image, and the display of the display device is displayed according to the estimated position of the person on the display screen. Perform processing to make it difficult for the person to see. Therefore, it is possible to appropriately control the display of the display device according to the situation of watching.
本発明の態様2に係る電子機器は、上記態様1において、上記制御装置が、上記表示装置の表示を上記人物から見えにくくする処理を行った後、上記表示装置の前方を撮像した上記撮像画像から、上記人物の上記顔画像が特定されなくなった場合に、上記表示装置の表示を、上記人物から見えにくくする処理が行われていない通常の表示に戻す処理を行っても良い。上記構成によれば、覗き見されていないときは通常に表示され、覗き見されているときのみ上記人物から見えにくくされた表示に変わることから、表示に対する煩わしさが軽減される。また、ユーザは、覗き見されているという状況を表示内容の変化により認識することができ、かつその状況でも電子機器をそのまま使い続けることができる。
In the electronic device according to
本発明の態様3に係る電子機器は、上記態様1または2において、上記表示装置の表示を上記人物から見えにくくする処理は、上記表示装置の表示の文字サイズを縮小する処理であっても良い。上記構成によれば、表示されている文字を上記人物から見えにくくすることができる。
In the electronic device according to
本発明の態様4に係る電子機器は、上記態様1〜3の何れかにおいて、上記表示装置の表示を上記人物から見えにくくする処理は、上記表示装置の表示の画像サイズを縮小する処理であっても良い。上記構成によれば、表示されている画像を上記人物から見えにくくすることができる。
In the electronic device according to
本発明の態様5に係る電子機器は、上記態様1〜4の何れかにおいて、上記表示装置の表示を上記人物から見えにくくする処理は、上記表示装置の輝度を低下させる処理であっても良い。上記構成によれば、表示されている情報を上記人物から見えにくくすることができる。
In the electronic device according to
本発明の態様6に係る電子機器は、上記態様1〜5の何れかにおいて、上記制御装置が、上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示の、該表示装置の表示可能領域における表示位置を変更しても良い。上記構成によれば、表示されている情報を上記人物から見えにくくすることができる。 The electronic device according to aspect 6 of the present invention is the display according to any one of aspects 1 to 5, wherein the control device displays the display of the display according to the position of the person relative to the display. The display position in the possible area may be changed. According to the above configuration, the displayed information can be made less visible to the person.
本発明の態様7に係る電子機器は、上記態様1〜6の何れかにおいて、上記制御装置が、上記電子機器が予め登録された位置に存在している場合に、上記特定する処理を行わなくても良い。上記構成によれば、明らかに不要な場面では、覗き見を判定する処理以降の処理を行わず、より快適に電子機器を使用することができる。 An electronic device according to a seventh aspect of the present invention is the electronic device according to any one of the first to sixth aspects, wherein the control device does not perform the process for specifying when the electronic device is present at a position registered in advance. It is good. According to the above configuration, in a scene where it is obviously unnecessary, it is possible to more comfortably use the electronic device without performing the processing after the processing of determining the peeping.
本発明の態様8に係る電子機器は、上記態様1〜7の何れかにおいて、上記制御装置が、所定のアプリケーションの実行を判定する処理を行い、上記アプリケーションの実行が判定された場合に、上記特定する処理を開始しても良い。上記構成によれば、覗き見の防止が不要な場合まで覗き見を判定する処理を行うという無駄な動作を行わないで済むため、無駄な電力の消費を抑制できる。 In the electronic device according to aspect 8 of the present invention, in any one of the above aspects 1 to 7, the control device performs a process of determining execution of a predetermined application, and the execution of the application is determined. The process of identifying may be started. According to the above configuration, since it is not necessary to perform the wasteful operation of performing the processing of determining the peeping until the peeping prevention is unnecessary, it is possible to suppress the consumption of the unnecessary power.
本発明の態様9に係る制御装置は、電子機器を制御する制御装置であって、撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定部と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定部と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御部と、を備える構成である。上記構成によれば、上記態様1と同様の効果が得られる。 The control device according to aspect 9 of the present invention is a control device that controls an electronic device, and a captured image obtained by capturing an image of the front of the display device by the imaging device is not registered as the user's face, and the line of sight is The position of the person of the face image with respect to the display device is estimated based on the peep judging unit for specifying the face image facing the display device and the image of the person of the face image included in the captured image The display control unit is configured to perform a process of making the display of the display device less visible to the person according to the position estimation unit and the estimated position of the person with respect to the display device. According to the above configuration, the same effect as in the above aspect 1 can be obtained.
本発明の態様10に係る制御装置の制御方法は、電子機器を制御する制御装置の制御方法であって、撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定処理と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定処理と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御処理と、を含む方法である。上記方法によれば、上記態様1と同様の効果が得られる。
A control method of a control device according to
本発明の各態様に係る制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置が備える各部(ソフトウェア要素)として動作させることにより上記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The control device according to each aspect of the present invention may be realized by a computer. In this case, the control device is realized by the computer by operating the computer as each unit (software element) included in the control device. The control program of the control device and the computer readable recording medium recording the same also fall within the scope of the present invention.
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
[Items to be added]
The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention. Furthermore, new technical features can be formed by combining the technical means disclosed in each embodiment.
1 制御装置
2 撮像センサ(撮像装置)
3 記憶装置
4 表示装置
10 スマートフォン(電子機器)
10a スマートフォン(電子機器)
11 アプリケーション実行部
12 アプリケーション判定部
13 センサ制御部
14 覗き見判定部
15 位置推定部
16 表示制御部
17 表示画像生成部
18 現在位置判定部
1
3
10a Smartphone (Electronic Device)
11
Claims (11)
上記制御装置は、
上記撮像装置が上記表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する処理と、
上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する処理と、
推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理と、を行うことを特徴とする電子機器。 An electronic device comprising an imaging device, a display device, and a control device,
The control unit
A process of specifying a face image which is not registered as the user's face and whose line of sight is facing the display device from a captured image obtained by capturing the front of the display device by the imaging device;
A process of estimating the position of the person of the face image with respect to the display device based on the image of the person of the face image included in the captured image;
An electronic device characterized by performing processing of making the display on the display device less visible to the person according to the estimated position of the person with respect to the display device.
上記表示装置の表示を上記人物から見えにくくする処理を行った後、上記表示装置の前方を撮像した上記撮像画像から、上記人物の上記顔画像が特定されなくなった場合に、上記表示装置の表示を、上記人物から見えにくくする処理が行われていない通常の表示に戻す処理を行うことを特徴とする請求項1に記載の電子機器。 The control unit
The display of the display device is performed when the face image of the person is no longer specified from the captured image obtained by capturing the front of the display device after processing to make the display of the display device less visible to the person The electronic device according to claim 1, characterized in that the process of returning to a normal display in which the process of making the person difficult to see is not performed is performed.
上記表示装置の表示の文字サイズを縮小する処理であることを特徴とする請求項1または2に記載の電子機器。 The process of making the display on the display device less visible to the person is:
The electronic device according to claim 1, wherein the electronic device is a process of reducing the character size of the display on the display device.
上記表示装置の表示の画像サイズを縮小する処理であることを特徴とする請求項1から3までの何れか1項に記載の電子機器。 The process of making the display on the display device less visible to the person is:
The electronic device according to any one of claims 1 to 3, wherein the electronic device is a process of reducing an image size of a display of the display device.
上記表示装置の輝度を低下させる処理であることを特徴とする請求項1から4までの何れか1項に記載の電子機器。 The process of making the display on the display device less visible to the person is:
The electronic device according to any one of claims 1 to 4, wherein the electronic device is a process for reducing the luminance of the display device.
上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示の、該表示装置の表示可能領域における表示位置を変更することを特徴とする請求項1から5までの何れか1項に記載の電子機器。 The control unit
The display position of the display of the display device in the displayable area of the display device is changed according to the position of the person with respect to the display device according to any one of claims 1 to 5, Electronic devices.
上記電子機器が予め登録された位置に存在している場合に、上記特定する処理を行わないことを特徴とする請求項1から6までの何れか1項に記載の電子機器。 The control unit
The electronic device according to any one of claims 1 to 6, wherein the process of specifying is not performed when the electronic device is present at a position registered in advance.
所定のアプリケーションの実行を判定する処理を行い、
上記アプリケーションの実行が判定された場合に、上記特定する処理を開始することを特徴とする請求項1から7までの何れか1項に記載の電子機器。 The control unit
Perform processing to determine the execution of a predetermined application,
The electronic apparatus according to any one of claims 1 to 7, wherein the process of specifying is started when execution of the application is determined.
撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定部と、
上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定部と、
推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御部と、を備えることを特徴とする制御装置。 A control device for controlling an electronic device,
A peep judging unit for specifying a face image which is not registered as the user's face and whose line of sight is facing the display device from a captured image obtained by capturing an area in front of the display device;
A position estimation unit configured to estimate the position of the person of the face image relative to the display device based on the image of the person of the face image included in the captured image;
A control device comprising: a display control unit that performs processing to make the display on the display device less visible to the person according to the estimated position of the person with respect to the display device.
撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定処理と、
上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定処理と、
推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御処理と、を含むことを特徴とする制御方法。 A control method of a control device for controlling an electronic device, comprising:
Peeping determination processing for specifying a face image which is not registered as the user's face and whose line of sight is directed to the display device from a captured image obtained by capturing an area in front of the display device;
Position estimation processing for estimating the position of the person of the face image with respect to the display device based on the image of the person of the face image included in the captured image;
And D. a display control process for performing a process of making the display on the display device less visible to the person according to the estimated position of the person with respect to the display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017164677A JP2019047159A (en) | 2017-08-29 | 2017-08-29 | Electronic device, control device, control method of control device, and control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017164677A JP2019047159A (en) | 2017-08-29 | 2017-08-29 | Electronic device, control device, control method of control device, and control program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019047159A true JP2019047159A (en) | 2019-03-22 |
Family
ID=65814789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017164677A Pending JP2019047159A (en) | 2017-08-29 | 2017-08-29 | Electronic device, control device, control method of control device, and control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019047159A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023119527A1 (en) * | 2021-12-22 | 2023-06-29 | マクセル株式会社 | Mobile information terminal and information processing method |
JP7472238B1 (en) | 2022-11-10 | 2024-04-22 | 株式会社日本総合研究所 | Information processing device and program |
-
2017
- 2017-08-29 JP JP2017164677A patent/JP2019047159A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023119527A1 (en) * | 2021-12-22 | 2023-06-29 | マクセル株式会社 | Mobile information terminal and information processing method |
JP7472238B1 (en) | 2022-11-10 | 2024-04-22 | 株式会社日本総合研究所 | Information processing device and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230412911A1 (en) | Method of controlling camera device and electronic device thereof | |
US20170178289A1 (en) | Method, device and computer-readable storage medium for video display | |
CN108228073B (en) | Interface display method and device | |
KR102018887B1 (en) | Image preview using detection of body parts | |
US20170103733A1 (en) | Method and device for adjusting and displaying image | |
US20150179147A1 (en) | Trimming content for projection onto a target | |
KR102154802B1 (en) | Photogrpaphing method of electronic apparatus and electronic apparatus thereof | |
CN106527682B (en) | Method and device for switching environment pictures | |
US20180114493A1 (en) | Electronic Device with Display-Based Image Compensation and Corresponding Systems and Methods | |
CN108459788B (en) | Picture display method and terminal | |
CN113824873A (en) | Image processing method and related electronic equipment | |
US20150172550A1 (en) | Display tiling for enhanced view modes | |
WO2020233201A1 (en) | Icon position determination method and device | |
JP2019047159A (en) | Electronic device, control device, control method of control device, and control program | |
CN112331158B (en) | Terminal display adjusting method, device, equipment and storage medium | |
CN108257091B (en) | Imaging processing method for intelligent mirror and intelligent mirror | |
JP2018507432A (en) | How to display personal content | |
US10827156B2 (en) | Light filling method and apparatus for photographing environment, and computer-readable storage medium | |
CN111355879B (en) | Image acquisition method and device containing special effect pattern and electronic equipment | |
CN115344885B (en) | Display method, device and terminal | |
CN107153448B (en) | Display module, control method thereof, electronic device and computer-readable storage medium | |
CN112765689B (en) | Data processing method, device, equipment and medium | |
CN109561215B (en) | Method, device, terminal and storage medium for controlling beautifying function | |
JP2017068839A (en) | Watching apparatus, watching method, and computer program | |
CN106470308A (en) | Image processing method and electronic equipment |