JP2019047159A - Electronic device, control device, control method of control device, and control program - Google Patents

Electronic device, control device, control method of control device, and control program Download PDF

Info

Publication number
JP2019047159A
JP2019047159A JP2017164677A JP2017164677A JP2019047159A JP 2019047159 A JP2019047159 A JP 2019047159A JP 2017164677 A JP2017164677 A JP 2017164677A JP 2017164677 A JP2017164677 A JP 2017164677A JP 2019047159 A JP2019047159 A JP 2019047159A
Authority
JP
Japan
Prior art keywords
display
display device
person
control
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017164677A
Other languages
Japanese (ja)
Inventor
大樹 堤
Daiki Tsutsumi
大樹 堤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2017164677A priority Critical patent/JP2019047159A/en
Publication of JP2019047159A publication Critical patent/JP2019047159A/en
Pending legal-status Critical Current

Links

Images

Abstract

To properly control a display on a display device according to the peeping situation.SOLUTION: A control device (1) includes a peep determination unit (14) for identifying a face image that is not registered as the user's face and in which the line of sight is facing a display device (4) from a captured image obtained by capturing the front of the display device (4) by an imaging sensor (2), a position estimation unit (15) for estimating the position of a person of the face image with respect to the display device (4) based on the image of the person of the face image included in the captured image, and a display control unit (16) for performing processing to make the display of the display device (4) invisible from the person according to the estimated position of the person with respect to the display device (4).SELECTED DRAWING: Figure 1

Description

本発明は、電子機器、制御装置、制御装置の制御方法および制御プログラムに関する。   The present invention relates to an electronic device, a control device, a control method of the control device, and a control program.

スマートフォンが一般に普及し、かつ表示画面が大型化する中で、公衆の場で使用する場合に備え、周囲からの覗き見を防止する技術のニーズが高まっている。覗き見を防止する技術として広く普及しているのが、ベールビューと呼ばれる技術、および表示画面の表面に保護フィルムを貼付する方法である。   With the spread of smartphones in general and the increase in size of display screens, there is a growing need for technology that prevents peeping from the surroundings in preparation for use in public places. A technology widely used as a technology for preventing peeping is a technology called bale view and a method for applying a protective film to the surface of a display screen.

ベールビューは、ディスプレイ上に幾何学的な半透明の模様を表示させるなどし、左右(斜め)方向からディスプレイを見た場合に、本来表示されている情報を見えにくくするものである。   Bale view displays a geometric semi-transparent pattern on the display, and makes the information originally displayed inconspicuous when the display is viewed from the left and right (oblique) directions.

一方、保護フィルムの貼付も原理的にはベールビューと類似しており、表示画面の表面に半透明の保護フィルムを貼付することで、左右(斜め)方向からは情報が見えにくい状態にするものである。   On the other hand, sticking of a protective film is also similar in principle to bale view, and by sticking a semitransparent protective film on the surface of the display screen, it is difficult to see information from the left and right (oblique) directions. It is.

しかしながら、これらの方法には、後方から(ほぼ真後ろから)の覗き見にはあまり効果がないという欠点があった。また、上記の方法は、半透明の模様の表示や保護フィルムの貼付により、何も表示していない状態や何も貼付していない状態に比べて、ユーザ自身にとっても(周囲に誰もいないときも含めて)煩わしい表示となるという欠点があった。   However, these methods have the disadvantage that they are not very effective for peeping from behind (approximately from behind). In addition, the above method is also for the user himself (when there is no one around him, as compared to the state where nothing is displayed or the state where nothing is attached due to the display of a translucent pattern or the attachment of a protective film) There is a disadvantage that it becomes an annoying display.

上記のような端末を常に覗き見防止状態にするという方法とは異なる技術として、特許文献1に開示された技術がある。この技術は、端末に内蔵されているインカメラ(ディスプレイの正面側に備えられるカメラ)を用いて、周囲にユーザ以外の人物が映り込んでいないかを判定し、映り込んでいる場合には、表示フィルタをかける、あるいは画面のコントラストを調整することにより、該当の人物から画面の表示内容を見えにくくするものである。   As a technique different from the method of always putting the terminal as described above into the peeping prevention state, there is a technique disclosed in Patent Document 1. This technology uses an in-camera (a camera provided on the front side of a display) built in the terminal to determine whether a person other than the user is reflected in the surroundings, and if it is reflected, By applying a display filter or adjusting the contrast of the screen, it is possible to make it difficult for the person in question to see the displayed contents of the screen.

特開2011−217146号公報(2011年10月27日公開)JP, 2011-217146, A (October 27, 2011 release)

しかしながら、上記従来技術では、覗き見されている状態では表示装置の表示は一律に同じ表示となってしまうという問題点がある。より具体的には、上記従来技術では、後方から(ほぼ真後ろから)覗き見されているのか、あるいは左右(斜め)から覗き見されているのかなどの覗き見の状況に応じて表示装置の表示を適切に制御することができないという問題点がある。   However, in the above-mentioned prior art, there is a problem that the display on the display device is uniformly the same in the state of being peeped. More specifically, in the above-mentioned prior art, the display of the display device according to the situation of peeping, such as whether it is peeping from behind (approximately right behind) or peeping from the left and right (diagonal) There is a problem that it can not control appropriately.

本発明の一態様は、上記の問題点に鑑みて為されたものであり、その目的は、覗き見の状況に応じて表示装置の表示を適切に制御することができる電子機器などを実現することにある。   One aspect of the present invention has been made in view of the above problems, and an object thereof is to realize an electronic device and the like capable of appropriately controlling display of a display device according to a situation of watching. It is.

上記の課題を解決するために、本発明の一態様に係る電子機器は、撮像装置と、表示装置と、制御装置とを備える電子機器であって、上記制御装置は、上記撮像装置が上記表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する処理と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する処理と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理と、を行う。   In order to solve the above-mentioned subject, an electronic device concerning one mode of the present invention is an electronic device provided with an imaging device, a display, and a control device, and the above-mentioned control device is the above-mentioned display. A process of specifying a face image which is not registered as a user's face and whose line of sight is facing the display device from a captured image obtained by capturing the front of the device, and of the face image included in the captured image Based on a process of estimating the position of the face image relative to the display device based on the image of the person, and making the display on the display less visible to the person according to the estimated position of the person relative to the display device Process and do.

上記課題を解決するために、本発明の一態様に係る制御装置は、電子機器を制御する制御装置であって、撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定部と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定部と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御部と、を備える。   In order to solve the above-mentioned subject, a control device concerning one mode of the present invention is a control device which controls electronic equipment, and an imaging device is registered as a user's face from a picturized picture which picturized the front of a display. And a peep judging unit for specifying a face image whose line of sight is facing the display device, and the person's face image based on the image of the person of the face image included in the captured image And a display control unit that performs processing to make the display of the display device less visible to the person according to the estimated position of the person with respect to the display device.

上記課題を解決するために、本発明の一態様に係る制御装置の制御方法は、電子機器を制御する制御装置の制御方法であって、撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定処理と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定処理と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御処理と、を含む。   In order to solve the above-mentioned subject, a control method of a control device concerning one mode of the present invention is a control method of a control device which controls electronic equipment, and an imaging device picturized the front of a display device from a captured image, Based on a peeping judgment process of identifying a face image not registered as a user's face and whose sight is directed to the display device, and based on an image of a person of the face image included in the captured image, Display control for performing position estimation processing for estimating the position of the face image with respect to the display device, and processing for making the display of the display device less visible to the person according to the estimated position of the person for the display device And processing.

本発明の一態様に係る電子機器、制御装置および制御方法よれば、覗き見の状況に応じて表示装置の表示を適切に制御することができるという効果を奏する。   According to the electronic device, the control device, and the control method according to one aspect of the present invention, it is possible to appropriately control the display of the display device according to the situation of watching.

(a)は、本発明の実施形態1に係るスマートフォンの構成を示すブロック図であり、(b)は、上記スマートフォンの表示装置が設けられている側の外観を示す正面図である。(A) is a block diagram which shows the structure of the smart phone which concerns on Embodiment 1 of this invention, (b) is a front view which shows the external appearance by the side in which the display apparatus of the said smart phone is provided. 上記スマートフォンの動作の一例を示すフローチャートである。It is a flow chart which shows an example of operation of the above-mentioned smart phone. (a)および(b)は、覗き見防止方法の一例を説明するための図であり、(c)および(d)は、覗き見防止方法の他の一例を説明するための図である。(A) And (b) is a figure for demonstrating an example of the peeping prevention method, (c) and (d) is a figure for demonstrating another example of the peeping prevention method. (a)および(b)は、覗き見防止方法のさらに他の一例を説明するための図であり、(c)および(d)は、覗き見防止方法のさらに他の一例を説明するための図である。(A) and (b) is a figure for demonstrating the further another example of the peeping prevention method, (c) and (d) is for demonstrating the further another example of the peeping prevention method FIG. (a)〜(c)は、覗き見防止方法のさらに他の一例を説明するための図である。(A)-(c) is a figure for demonstrating the further another example of the peeping prevention method. 覗き見防止方法のバリエーションを示す図である。It is a figure which shows the variation of the peeping prevention method. 本発明の実施形態2に係るスマートフォンの構成を示すブロック図である。It is a block diagram which shows the structure of the smart phone which concerns on Embodiment 2 of this invention. 上記スマートフォンの動作の一例を示すフローチャートである。It is a flow chart which shows an example of operation of the above-mentioned smart phone.

本発明の実施の形態について図1〜図8に基づいて説明すれば、次の通りである。以下、説明の便宜上、ある項目にて説明した構成と同一の機能を有する構成については、他の項目においても同一の符号を付記し、その説明を省略する場合がある。   It will be as follows if embodiment of this invention is described based on FIGS. 1-8. Hereinafter, for the sake of convenience of explanation, the same symbols may be added to the other items for the components having the same functions as the components described in the certain items, and the description thereof may be omitted.

〔実施形態1〕
図1の(a)は、本発明の実施形態1に係るスマートフォン(電子機器)10の構成を示すブロック図である。また、図1の(b)は、スマートフォン10の表示装置4が設けられている側の外観を示す正面図である。図1の(a)に示すように、スマートフォン10は、制御装置1、撮像センサ(撮像装置)2、記憶装置3および表示装置4を備える。
Embodiment 1
(A) of FIG. 1 is a block diagram which shows a structure of the smart phone (electronic device) 10 which concerns on Embodiment 1 of this invention. Moreover, (b) of FIG. 1 is a front view which shows the external appearance by which the display apparatus 4 of the smart phone 10 is provided. As shown in (a) of FIG. 1, the smartphone 10 includes a control device 1, an imaging sensor (imaging device) 2, a storage device 3, and a display device 4.

制御装置1は、スマートフォン10の各部を統括的に制御するものであり、アプリケーション実行部11、アプリケーション判定部12、センサ制御部13、覗き見判定部14、位置推定部15、表示制御部16、および表示画像生成部17を備える。なお、制御装置1に含まれる各制御ブロックの詳細については後述する。   The control device 1 controls each part of the smartphone 10 in an integrated manner, and the application execution unit 11, the application determination unit 12, the sensor control unit 13, the peeping determination unit 14, the position estimation unit 15, the display control unit 16, And a display image generation unit 17. The details of each control block included in the control device 1 will be described later.

撮像センサ2は、例えば、インカメラ(スマートフォン10の表示装置4が設けられている側の面に備えられるカメラ)などのカメラモジュールで構成することができる。カメラモジュールは、撮影レンズが組み込まれたレンズユニットと、CCD(電荷転送素子)やCMOS(相補形金属酸化膜半導体)等の撮像素子が組み込まれた撮像センサとを一体化したものであり、小型電子機器の小さな筐体内に組み込めるように小型化されている。   The imaging sensor 2 can be configured by, for example, a camera module such as an in-camera (a camera provided on the side of the smartphone 10 on which the display device 4 is provided). The camera module is a combination of a lens unit in which a photographing lens is incorporated and an imaging sensor in which an imaging element such as a CCD (charge transfer element) or CMOS (complementary metal oxide semiconductor) is incorporated. It is miniaturized so that it can be incorporated in a small case of an electronic device.

本実施形態においては、撮像センサ2は、スマートフォン10の表示装置4の表示画面に対向する側(表示画面の前方)を撮影できるように配置されている。より具体的には、図1の(b)に示すように、撮像センサ2は、スマートフォン10の表示装置4が設けられている面の長手方向の上端に配置されている。   In the present embodiment, the imaging sensor 2 is disposed so as to be able to capture the side facing the display screen of the display device 4 of the smartphone 10 (the front of the display screen). More specifically, as shown to (b) of FIG. 1, the imaging sensor 2 is arrange | positioned in the longitudinal direction upper end of the surface in which the display apparatus 4 of the smart phone 10 is provided.

なお、撮像センサ2の配置位置は、上記の例に限定されず、表示装置4が設けられている面の長手方向の下端や、短手方向の両端の何れか少なくとも一方に配置しても良い。撮像センサ2は、表示装置4の表示画面に対向する側(表示画面の前方)を撮影し、撮像画像を覗き見判定部14に渡す。なお、人感センサなどをスマートフォン10に設け、撮像センサ2と組み合わせることで人物検出の精度を上げても良い。   In addition, the arrangement position of the imaging sensor 2 is not limited to said example, You may arrange at any one of the lower end of the longitudinal direction of the surface in which the display apparatus 4 is provided, and the both ends of a transversal direction . The imaging sensor 2 captures an image of the side facing the display screen of the display device 4 (in front of the display screen), and passes the captured image to the peeping judgment unit 14. A human sensor or the like may be provided in the smartphone 10 and combined with the image sensor 2 to increase the accuracy of human detection.

記憶装置3には、スマートフォン10の機能を実現するために必要な情報が予め記録されるか、またはスマートフォン10における情報処理により生成される情報が随時記録される。特に、本実施形態の記憶装置3では、スマートフォン10に対応付けて登録されるユーザの顔認証用情報が予め記憶される。   In the storage device 3, information necessary to realize the function of the smartphone 10 is recorded in advance, or information generated by information processing in the smartphone 10 is recorded as needed. In particular, in the storage device 3 of the present embodiment, face authentication information of the user registered in association with the smartphone 10 is stored in advance.

表示装置4には、例えば、液晶パネルが使用される。但し、表示装置4に使用される表示パネルは、液晶パネルに限定されるものではなく、有機EL(エレクトロルミネッセンス)パネル、無機ELパネル、またはプラズマパネル等であってもよい。   For example, a liquid crystal panel is used for the display device 4. However, the display panel used for the display device 4 is not limited to the liquid crystal panel, and may be an organic EL (electro luminescence) panel, an inorganic EL panel, a plasma panel or the like.

次に、制御装置1に含まれる各制御ブロックの詳細について説明する。アプリケーション実行部11は、ユーザの操作によりメールアプリ、SNS(ソーシャル・ネットワーク・サービス)アプリ、Webブラウザアプリ、またはTVアプリなどの各種アプリケーションを実行させる処理を行う。なお、スマートフォン10は、ユーザが上記アプリケーションの選択を行える機能を有していても良い。   Next, details of each control block included in the control device 1 will be described. The application execution unit 11 executes processing to execute various applications such as a mail application, a social network service (SNS) application, a web browser application, or a TV application according to a user operation. The smartphone 10 may have a function that allows the user to select the application.

アプリケーション判定部12は、覗き見防止が必要となる所定のアプリケーション(例えば、メールアプリやWebブラウザアプリなど)がスマートフォン10上で実行されているかを判定する。上記アプリケーションがスマートフォン10上で実行されている場合は、その旨をセンサ制御部13、覗き見判定部14および表示制御部16に通知する。   The application determination unit 12 determines whether a predetermined application (for example, a mail application, a web browser application, or the like) that requires peep prevention is being executed on the smartphone 10. When the application is being executed on the smartphone 10, the sensor control unit 13, the peep judging unit 14 and the display control unit 16 are notified of that effect.

センサ制御部13は、撮像センサ2の動作を制御する。センサ制御部13は、アプリケーション判定部12から上記アプリケーションがスマートフォン10上で実行されている旨の通知を受けると、撮像センサ2に撮影動作を開始させる。一方、センサ制御部13は、アプリケーション判定部12から上記アプリケーションがスマートフォン10上で実行されていない旨の通知を受けると、撮像センサ2に撮影動作を停止させる。   The sensor control unit 13 controls the operation of the imaging sensor 2. The sensor control unit 13 causes the imaging sensor 2 to start the photographing operation when receiving the notification that the application is being executed on the smartphone 10 from the application determination unit 12. On the other hand, when the sensor control unit 13 receives a notification that the application is not being executed on the smartphone 10 from the application determination unit 12, the sensor control unit 13 causes the imaging sensor 2 to stop the imaging operation.

なお、覗き見防止が必要となる所定のアプリケーションは、予め記憶装置3に記憶しておくなど固定的に決めておいてもよいし、スマートフォン10が、ユーザが設定できる機能を有していてもよい。また、スマートフォン10がアプリケーションの扱う情報から自動的に決めるようにしてもよい(例えば、電話帳やメール、カメラアプリにより撮影した画像を扱うアプリケーションは覗き見防止が必要となるアプリケーションと決める等)。   In addition, the predetermined application which needs to prevent peeping may be fixed in advance, for example, stored in the storage device 3 in advance, or the smartphone 10 has a function that can be set by the user. Good. Alternatively, the smartphone 10 may automatically determine it from the information handled by the application (for example, an application that handles an image captured by a phone book, a mail, or a camera application may be determined as an application that requires peeping prevention).

覗き見判定部14は、表示装置4の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が表示装置4を向いている顔画像を特定する覗き見判定処理を行う。例えば、覗き見判定部14は、撮像センサ2から受け取った撮像画像の中に、複数の人物(顔画像)が映り込んでいる場合、記憶装置3からユーザの顔認証用情報を取得し、ユーザ登録されていない顔画像(ユーザ以外の他者の顔画像)が存在するかを判定する。また、覗き見判定部14は、ユーザ登録されていない顔画像が存在する場合にはその視線が表示装置4を向いているかによって、覗き見を判定する。   The peep judging unit 14 performs peep judging processing for specifying a face image which is not registered as the user's face and whose line of sight is facing the display 4 from the captured image obtained by imaging the front of the display 4. Do. For example, in the case where a plurality of persons (face images) appear in the captured image received from the imaging sensor 2, the peep judging unit 14 acquires face authentication information of the user from the storage device 3, and the user It is determined whether there is a face image (a face image of another person other than the user) that is not registered. In addition, when there is a face image not registered as a user, the peep judging unit 14 judges peeping depending on whether the line of sight is facing the display device 4.

位置推定部15は、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の表示装置4に対する位置を推定する処理を行う。より具体的には、撮像画像中の人物画像の大きさや位置などから、スマートフォン10に対してその人物が実空間上でどのあたりに位置しているかを推定する。   The position estimation unit 15 performs processing of estimating the position of the face image with respect to the display device 4 based on the image of the person of the face image included in the captured image. More specifically, it is estimated where in the real space the person is located with respect to the smartphone 10 based on the size and position of the person image in the captured image.

例えば、撮像画像の中のユーザ以外の他者の顔画像の大きさが一定の閾値以上なら、他者はスマートフォン10から近くにおり、閾値より小さければ、他者はスマートフォン10から遠くにいると推定する。また、例えば、ユーザ以外の他者の顔画像の中心の撮像画像中の水平方向(横方向)の位置に基づいて、他者はスマートフォン10やユーザの左側、右側、または真ん中辺りの、どの方向にいるかを推定する。   For example, if the size of the face image of the person other than the user in the captured image is equal to or larger than a certain threshold, the other person is near the smartphone 10, and if smaller than the threshold, the other person is far from the smartphone 10 presume. Also, for example, based on the position in the horizontal direction (lateral direction) in the captured image at the center of the face image of another person other than the user, the other person is in the direction of the left side, the right side, or the middle of the smartphone 10 or the user Estimate if you are in

位置推定部15は、覗き見が判定された人物の表示装置4に対する位置を推定して、表示制御部16に通知する。   The position estimation unit 15 estimates the position of the person for whom the peeping determination is determined with respect to the display device 4, and notifies the display control unit 16 of the position.

表示制御部16は、推定した上記人物の表示装置4に対する位置に応じて、表示装置4の表示を上記人物から見えにくくする処理を行う。すなわち、表示制御部16は、アプリケーション判定部12および覗き見判定部14からの通知をもとに、覗き見防止表示の実施要否の判定と有効な覗き見防止方法の選択を行う(後述する複数の覗き見防止方法の中から少なくとも1つの覗き見防止方法を選択する)。なお、スマートフォン10は、事前にユーザが「このような場合には〜の方法を用いる」といった設定を行える機能を有していても良い。   The display control unit 16 performs processing to make the display on the display device 4 less visible to the person in accordance with the estimated position of the person on the display device 4. That is, based on the notifications from the application determination unit 12 and the viewing determination unit 14, the display control unit 16 determines the necessity of implementation of the viewing prevention display and selects the effective viewing prevention method (described later) Select at least one peep prevention method from among the plurality of peep prevention methods). The smartphone 10 may have a function that allows the user to make settings such as “use the method in this case in advance”.

また、表示制御部16は、必要に応じて表示画像生成部17に対して、覗き見を防止するための画像の生成を要求する。表示制御部16は、上記の結果を元に、表示すべき内容を表示装置4に通知する。   In addition, the display control unit 16 requests the display image generation unit 17 to generate an image for preventing a peeping view as needed. The display control unit 16 notifies the display device 4 of the content to be displayed based on the above result.

表示制御部16は、表示装置4の表示を上記人物から見えにくくする処理を行った後、表示装置4の前方を撮像した撮像画像から、上記人物の顔画像が特定されなくなった場合に、表示装置4の表示を、上記人物から見えにくくする処理が行われていない通常の表示に戻す処理を行う。これにより、覗き見されていないときは通常に表示され、覗き見されているときのみ上記人物から見えにくくされた表示に変わることから、表示に対する煩わしさが軽減される。また、ユーザは、覗き見されているという状況を表示内容の変化により認識することができ、かつその状況でもスマートフォン10をそのまま使い続けることができる。   The display control unit 16 performs processing to make the display on the display device 4 less visible from the person, and then displays the face image of the person from the captured image obtained by imaging the front of the display device 4. A process of returning the display of the device 4 to a normal display not subjected to the process of making the person difficult to see is performed. As a result, since the display is normally displayed when the user is not watching, and the display is changed to the display made difficult to be seen by the person only when the user is watching, the burden on the display is reduced. Further, the user can recognize the situation of being peeped by the change of the display content, and can continue to use the smartphone 10 as it is even in the situation.

表示画像生成部17は、表示制御部16からの要求を受け、表示中の画像に対して加工を行い、覗き見防止用の画像を生成する(表示装置4の表示を、覗き見を行っている人物から見えにくくする処理を行う)。   The display image generation unit 17 receives the request from the display control unit 16 and performs processing on the image being displayed to generate an image for preventing peeping (by peeping the display of the display device 4 Perform processing to make it difficult to see from the person in question).

表示装置4の表示を上記人物から見えにくくする処理は、表示装置4の表示の文字サイズを縮小する処理であっても良い。これにより、表示されている文字を、覗き見を行っている人物から見えにくくすることができる。   The process of making the display of the display device 4 less visible to the person may be a process of reducing the character size of the display of the display device 4. This makes it possible to make the displayed character less visible to the person who is watching.

また、表示装置4の表示を上記人物から見えにくくする処理は、表示装置4の表示の画像サイズを縮小する処理であっても良い。これにより、表示されている画像を、覗き見を行っている人物から見えにくくすることができる。   Further, the process of making the display of the display device 4 less visible to the person may be a process of reducing the image size of the display of the display device 4. Thus, the displayed image can be made less visible to the person who is looking through.

表示装置4の表示を上記人物から見えにくくする処理は、表示装置4の輝度を低下させる処理であっても良い。これにより、表示されている情報を、覗き見を行っている人物から見えにくくすることができる。   The process of making the display of the display device 4 less visible to the person may be a process of reducing the luminance of the display device 4. Thus, the displayed information can be made less visible to the person who is looking through.

また、表示装置4の表示を上記人物から見えにくくする処理は、上記人物の表示装置4に対する位置に応じて、表示装置4の表示の、表示装置4の表示可能領域における表示位置を変更する処理であっても良い。これにより、表示されている情報を上記人物から見えにくくすることができる。以上で説明したスマートフォン10の構成によれば、覗き見の状況に応じて表示装置4の表示を適切に制御することができる。本発明の実施の一形態は、特別な付加機材を用いることなく、一般的なスマートフォン単体で実現することができる。   Further, the process of making the display of the display device 4 less visible to the person is a process of changing the display position of the display of the display device 4 in the displayable area of the display device 4 according to the position of the person with respect to the display device 4 It may be Thereby, the displayed information can be made less visible to the person. According to the configuration of the smartphone 10 described above, the display of the display device 4 can be appropriately controlled in accordance with the situation of peeping. One embodiment of the present invention can be realized by a general smartphone alone without using special additional equipment.

(スマートフォンの動作)
次に、図2に基づき、スマートフォン10の動作について説明する。図2は、スマートフォン10の動作の一例を示すフローチャートである。まず、ステップS(以下、「ステップ」は省略する)101では、アプリケーション判定部12が、特定のアプリケーションを使用しているか否かを判定する。なお、上記特定のアプリケーションとは、上述した覗き見防止が必要となる所定のアプリケーションのことである。上記判定の結果、特定のアプリケーションを使用している場合は、その旨をセンサ制御部13、覗き見判定部14および表示制御部16に通知してS102に進む。一方、特定のアプリケーションを使用していない場合は、元に戻る。
(Operation of smartphone)
Next, the operation of the smartphone 10 will be described based on FIG. FIG. 2 is a flowchart showing an example of the operation of the smartphone 10. First, in step S (hereinafter, “step” will be omitted) 101, the application determination unit 12 determines whether or not a specific application is used. The above-mentioned specific application is a predetermined application which needs the above-mentioned peep prevention. As a result of the above determination, when a specific application is used, the sensor control unit 13, the viewing determination unit 14 and the display control unit 16 are notified of that and the process proceeds to S102. On the other hand, if you are not using a specific application, go back.

次に、S102では、センサ制御部13が撮像センサ2を起動し、画像を撮影し、撮影した撮像画像を覗き見判定部14に通知してS103に進む。S103では、覗き見判定部14が、上記撮像画像中にユーザを含む複数の人物が映り込んでいる否かを判定し、複数の人物が映り込んでいる場合は、S104に進む。一方、上記撮像画像中に複数の人物が映り込んでいない場合は、S110に進む。   Next, in S102, the sensor control unit 13 activates the imaging sensor 2, captures an image, notifies the peep judging unit 14 of the captured image, and proceeds to S103. In S103, the peep judging unit 14 judges whether or not a plurality of persons including the user is reflected in the captured image. If a plurality of persons are reflected, the process proceeds to S104. On the other hand, when a plurality of persons are not reflected in the captured image, the process proceeds to S110.

S104では、覗き見判定部14が、複数の顔画像の中にユーザ登録されていない顔画像が存在するか否かを判定し、ユーザ登録されていない顔画像が存在する場合は、S105に進む。一方、ユーザ登録されていない顔画像が存在していない場合は、S110に進む。   In S104, the peep judging unit 14 determines whether or not there is a face image not registered with the user among the plurality of face images, and if there is a face image not registered with the user, the process proceeds to S105. . On the other hand, if there is no face image not registered as a user, the process proceeds to S110.

S105では、覗き見判定部14が、ユーザ登録されていない顔画像の視線が表示装置4(表示部)を向いているか否かを判定し、視線が表示装置4を向いている場合、S106に進む。なお、ユーザ登録されていない顔画像の視線が表示装置4を向いている場合、「覗き見されている」(その可能性も含む)と判定される。一方、視線が表示装置4を向いていない場合、S110に進む。   In S105, the peep judging unit 14 judges whether the line of sight of the face image not registered as a user is directed to the display device 4 (display unit). If the line of sight is directed to the display device 4, the process proceeds to S106. move on. When the line of sight of a face image not registered as a user is facing the display device 4, it is determined that "the user is watching" (including the possibility). On the other hand, if the line of sight does not face the display device 4, the process proceeds to S110.

S106では、位置推定部15が、ユーザ登録されていない顔画像の人物の覗き見位置(表示装置4に対する位置)を推定して、S107に進む。S107では、表示制御部16が、後述する複数の覗き見防止方法の中から少なくとも1つの覗き見防止方法を選択してS108に進む。   In S106, the position estimation unit 15 estimates a peeping position (position with respect to the display device 4) of the person of the face image not registered as a user, and the process proceeds to S107. In S107, the display control unit 16 selects at least one peeping prevention method from a plurality of peeping prevention methods described later, and proceeds to S108.

S108では、表示画像生成部17が、覗き見防止表示画面を生成して、S109に進む。S109では、表示制御部16が、表示装置4の画面表示内容を変更(覗き見防止表示オン)してS103に戻る。   In S108, the display image generation unit 17 generates a peeping prevention display screen, and the process proceeds to S109. In S109, the display control unit 16 changes the screen display content of the display device 4 (peeping prevention display ON), and returns to S103.

S110では、表示制御部16が、表示装置4の画面表示内容を変更(覗き見防止表示オフ)して、S111に進む。S111では、アプリケーション判定部12が、特定のアプリケーションを使用しているか否かを判定し、特定のアプリケーションを使用している場合は、S103に戻る。一方、S111で特定のアプリケーションを使用していない場合は、S112に進む。S112では、センサ制御部13が撮像センサ2の動作を終了させてENDとなる。   In S110, the display control unit 16 changes the screen display content of the display device 4 (peeping prevention display OFF), and the process proceeds to S111. In S111, the application determination unit 12 determines whether or not a specific application is used, and if the specific application is used, the process returns to S103. On the other hand, when the specific application is not used in S111, the process proceeds to S112. In S112, the sensor control unit 13 ends the operation of the imaging sensor 2 and becomes END.

(覗き見防止方法の例)
次に、図3〜図6に基づき、覗き見防止方法(表示装置4の表示を、覗き見を行っている人物から見えにくくする処理)の例について説明する。図3の(a)および(b)に示すように、覗き見を検出した場合に、表示装置4の表示を、覗き見を行っている人物から見えにくくする処理は、表示装置4の表示の文字サイズを縮小する処理であっても良い。これにより、表示されている文字を、覗き見を行っている人物から見えにくくすることができる。
(Example of the peeping prevention method)
Next, an example of the peeping prevention method (a process of making the display on the display device 4 less visible to a person who is peeping) will be described based on FIGS. 3 to 6. As shown in (a) and (b) of FIG. 3, when the peeping is detected, the processing of making the display on the display 4 less visible to the person who is peeping is the display of the display 4. It may be processing to reduce the character size. This makes it possible to make the displayed character less visible to the person who is watching.

図3の(c)および(d)に示すように、覗き見を検出した場合に、表示装置4の表示を、覗き見を行っている人物から見えにくくする処理は、表示装置4の表示の画像サイズを縮小する処理であっても良い。これにより、表示されている画像を、覗き見を行っている人物から見えにくくすることができる。例えば、後方から覗かれている場合には、文字サイズまたは画像サイズを縮小し、遠距離からはほぼ画面の内容が認識できない状態にする。なお、上記の図3の(b)の処理と図3の(d)の処理とを同時に行い、覗き見防止効果を高めても良い。   As shown in (c) and (d) of FIG. 3, when the peeping is detected, the processing of making the display of the display 4 less visible to the person who is peeping is the display of the display 4. It may be processing to reduce the image size. Thus, the displayed image can be made less visible to the person who is looking through. For example, in the case of looking from behind, the character size or the image size is reduced so that the contents of the screen can hardly be recognized from a long distance. The processing of FIG. 3 (b) and the processing of FIG. 3 (d) may be performed at the same time to enhance the peeping prevention effect.

次に、図4の(a)および(b)に示すように、覗き見を検出した場合に、表示装置4の表示を、覗き見を行っている人物から見えにくくする処理は、表示装置4の輝度を低下させる処理であっても良い。これにより、表示されている情報を、覗き見を行っている人物から見えにくくすることができる。表示装置4全体の輝度を下げ、少し離れた位置からは画面の内容がほぼ認識できないようにする。なお、照度センサとの組み合わせにより、周囲の照度から計算される反射の影響などを考慮できるようにしても良い。   Next, as shown in (a) and (b) of FIG. 4, when the peeping is detected, the processing of making the display on the display device 4 less visible to the person who is peeping is the display 4. It may be processing to reduce the brightness of Thus, the displayed information can be made less visible to the person who is looking through. The brightness of the entire display device 4 is lowered so that the contents of the screen can hardly be recognized from a position slightly away. In addition, it may be made to be able to consider the influence of the reflection calculated from surrounding illumination, etc. by combination with an illumination sensor.

また、図4の(c)および(d)に示すように、覗き見を検出した場合に、覗き見を行っている人物の表示装置4に対する位置に応じて、表示装置4の表示の、表示装置4の表示可能領域における表示位置を変更しても良い。これにより、表示されている情報を、覗き見を行っている人物から見えにくくすることができる。   Also, as shown in (c) and (d) of FIG. 4, when peeping is detected, display of the display of the display device 4 according to the position of the person who is peeping in relation to the display device 4 The display position in the displayable area of the device 4 may be changed. Thus, the displayed information can be made less visible to the person who is looking through.

次に、図5の(a)および(b)に示すように、左方向から覗かれている場合は、表示可能領域の右側に表示位置を変更しても良い。また、図5の(a)および(c)に示すように、右方向から覗かれている場合は、表示可能領域の左側に表示位置を変更しても良い。このように、画像を覗いている人物から表示可能領域の逆方向に表示位置を変更し、離れている位置から情報を見えにくくする。表示装置4に表示された情報の画面上の表示位置を、他者が覗き込んでいる方向と反対側に配置することで他者から見難い表示画面での利用が可能となる。さらに付加的な作用として、ユーザは表示装置4における表示内容の変化から、覗き見されている方向を逆算的に知ることができ、その方向に注意を払えることで、防犯上の効果も期待される。   Next, as shown in (a) and (b) of FIG. 5, when viewed from the left, the display position may be changed to the right of the displayable area. Further, as shown in (a) and (c) of FIG. 5, when viewed from the right direction, the display position may be changed to the left side of the displayable area. As described above, the display position is changed in the reverse direction of the displayable area from the person who is looking at the image, thereby making it difficult to see the information from the distant position. By arranging the display position on the screen of the information displayed on the display device 4 on the opposite side to the direction in which the other person is looking into, it is possible to use a display screen which is difficult for another person to see. Furthermore, as an additional function, the user can know the direction in which the user is peeking back from the change in the display content on the display device 4, and by paying attention in that direction, an effect on crime prevention is also expected. Ru.

次に、図6は、覗き見防止方法のバリエーションを示す図である。選択例1では、撮像画像より、位置推定部15が「ユーザ左後方近くからの覗き見」と判定し、表示制御部16へ通知する。表示制御部16は、アプリケーション判定部12からの情報により、対象アプリケーションであるメールを利用中であり、近くからの覗き見であることから、文字サイズ変更、画面輝度変更、および表示位置変更を組合せた覗き見防止方法を選択する。   Next, FIG. 6 is a diagram showing a variation of the peeping prevention method. In the selection example 1, the position estimation unit 15 determines “peeping from near the rear left of the user” based on the captured image, and notifies the display control unit 16. The display control unit 16 is using the mail that is the target application based on the information from the application determination unit 12, and since it is peeping from near, combining the character size change, the screen brightness change, and the display position change Choose a way to prevent viewing.

選択例2では、撮像画像より、位置推定部15が「ユーザ右後方近くからの覗き見」と判定し、表示制御部16へ通知する。表示制御部16は、アプリケーション判定部12からの情報により、対象アプリケーションであるWebブラウザを利用中であり、近くからの覗き見であることから、文字サイズ変更、画像サイズ変更、画面輝度変更、および表示位置変更を組合せた覗き見防止方法を選択する。   In the second selection example, the position estimation unit 15 determines “peeping from near the rear right of the user” based on the captured image, and notifies the display control unit 16. The display control unit 16 is using the Web browser that is the target application based on the information from the application determination unit 12 and is a peeping view from near, therefore, character size change, image size change, screen brightness change, and Select the peeping prevention method combined with the display position change.

選択例3では、撮像画像より、位置推定部15が「ユーザ右後方遠くからの覗き見」と判定し、表示制御部16へ通知する。表示制御部16は、アプリケーション判定部12からの情報により、対象アプリケーションであるWebブラウザを利用中であるが、遠くからの覗き見であることから、画面輝度変更のみでの覗き見防止方法を選択する。   In the selection example 3, the position estimation unit 15 determines “peeping from the far right of the user right” based on the captured image, and notifies the display control unit 16. Although the display control unit 16 is using the Web browser that is the target application based on the information from the application determination unit 12, since it is a peeping view from a distance, a peeping prevention method is selected only by changing the screen brightness. Do.

選択例4では、撮像画像より、位置推定部15が「ユーザ左後方近くからの覗き見」と判定し、表示制御部16へ通知する。しかしながら、表示制御部16は、アプリケーション判定部12からの情報により、覗き見防止機能の対象外アプリケーションを利用中であることから、いずれの覗き見防止方法も選択しない。   In the selection example 4, the position estimation unit 15 determines “peeping from near the rear left of the user” based on the captured image, and notifies the display control unit 16. However, the display control unit 16 does not select any of the peeping prevention methods because it is using the non-target application of the peeping prevention function based on the information from the application determination unit 12.

〔実施形態2〕
図7は、本発明の実施形態2に係るスマートフォン(電子機器)10aの構成を示すブロック図である。本実施形態は、GPS機能などを用いてスマートフォン10の現在位置を判定し、特定の場所(たとえば自宅または会社)にいる場合は、覗き見防止機能を無効にする形態である。
Second Embodiment
FIG. 7 is a block diagram showing the configuration of a smartphone (electronic device) 10a according to the second embodiment of the present invention. In the present embodiment, the current position of the smartphone 10 is determined using a GPS function or the like, and the peeping prevention function is disabled when the user is at a specific place (for example, a home or a company).

本実施形態のスマートフォン10aは、現在位置判定部18を備える点で、スマートフォン10の構成と異なっているが、その他の構成はスマートフォン10と同様である。例えば、現在位置判定部18によりスマートフォン10が予め登録された位置に存在していると判定された場合、上述した覗き見判定の処理を行わなくても良い。これにより、明らかに不要な場面では、覗き見を判定する処理以降の処理を行わず、より快適にスマートフォン10を使用することができる。   The smartphone 10 a of the present embodiment is different from the configuration of the smartphone 10 in that the smartphone 10 a of the present embodiment includes the current position determination unit 18, but the other configuration is the same as the smartphone 10. For example, when it is determined by the current position determination unit 18 that the smartphone 10 is present at a position registered in advance, the processing of the peeping determination described above may not be performed. Thereby, in the scene which is obviously unnecessary, the smart phone 10 can be used more comfortably without performing the process after the process of determining the peeping look.

(スマートフォンの動作)
次に、図8に基づき、スマートフォン10aの動作について説明する。図8は、スマートフォン10aの動作の一例を示すフローチャートである。図8に示すフローチャートは、図2に示すフローチャートにおけるS101の前に、S201が設けられている点が図2に示すフローチャートと異なっている。
(Operation of smartphone)
Next, the operation of the smartphone 10a will be described based on FIG. FIG. 8 is a flowchart showing an example of the operation of the smartphone 10a. The flowchart shown in FIG. 8 is different from the flowchart shown in FIG. 2 in that S201 is provided before S101 in the flowchart shown in FIG.

すなわち、S201では、現在位置判定部18が、スマートフォン10aが現在特定の場所(予め登録された場所)に存在しているか否かを判定し、特定の場所に存在している場合には、元に戻る。一方、スマートフォン10aが特定の場所に存在していない場合には、S101に進む。なお、S101以降の動作は、上述した図2に示すフローチャートの場合と同様であるので説明は省略する。   That is, in S201, the current position determination unit 18 determines whether or not the smartphone 10a is currently present at a specific place (pre-registered place). Return to On the other hand, when the smart phone 10a does not exist in a specific place, it progresses to S101. In addition, since the operation | movement after S101 is the same as that of the case of the flowchart shown in FIG. 2 mentioned above, description is abbreviate | omitted.

〔ソフトウェアによる実現例〕
スマートフォン10の制御ブロック(特にアプリケーション判定部12、センサ制御部13、覗き見判定部14、位置推定部15、表示制御部16、表示画像生成部17および現在位置判定部18)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of software implementation]
The control block of the smartphone 10 (in particular, the application determination unit 12, the sensor control unit 13, the peep determination unit 14, the position estimation unit 15, the display control unit 16, the display image generation unit 17 and the current position determination unit 18) It may be realized by a logic circuit (hardware) formed in an IC chip or the like, or may be realized by software.

後者の場合、スマートフォン10は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。   In the latter case, the smartphone 10 includes a computer that executes instructions of a program that is software that implements each function. The computer includes, for example, at least one processor (control device) and at least one computer readable storage medium storing the program. Then, in the computer, the processor reads the program from the recording medium and executes the program to achieve the object of the present invention. For example, a CPU (Central Processing Unit) can be used as the processor. As the above-mentioned recording medium, a tape, a disk, a card, a semiconductor memory, a programmable logic circuit and the like can be used besides “a non-temporary tangible medium” such as a ROM (Read Only Memory). In addition, a RAM (Random Access Memory) or the like for developing the program may be further provided. The program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program. Note that one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.

〔まとめ〕
本発明の態様1に係る電子機器は、撮像装置と、表示装置と、制御装置とを備える電子機器であって、上記制御装置は、上記撮像装置が上記表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する処理と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する処理と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理と、を行う構成である。
[Summary]
An electronic device according to aspect 1 of the present invention is an electronic device including an imaging device, a display device, and a control device, and the control device is a captured image obtained by imaging the front of the display device by the imaging device. A process of specifying a face image not registered as the user's face and whose sight line is directed to the display device, and the face based on the image of the person of the face image included in the captured image A process of estimating the position of the image person with respect to the display device, and a process of making the display on the display device less visible to the person according to the estimated position of the person with respect to the display device.

上記構成によれば、撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定し、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定し、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う。このため、覗き見の状況に応じて表示装置の表示を適切に制御することができる。   According to the above configuration, a face image which is not registered as the user's face and whose line of sight is directed to the display device is specified from the captured image obtained by imaging the front of the display device by the imaging device. The position of the face image on the display device is estimated based on the image of the person on the face image, and the display of the display device is displayed according to the estimated position of the person on the display screen. Perform processing to make it difficult for the person to see. Therefore, it is possible to appropriately control the display of the display device according to the situation of watching.

本発明の態様2に係る電子機器は、上記態様1において、上記制御装置が、上記表示装置の表示を上記人物から見えにくくする処理を行った後、上記表示装置の前方を撮像した上記撮像画像から、上記人物の上記顔画像が特定されなくなった場合に、上記表示装置の表示を、上記人物から見えにくくする処理が行われていない通常の表示に戻す処理を行っても良い。上記構成によれば、覗き見されていないときは通常に表示され、覗き見されているときのみ上記人物から見えにくくされた表示に変わることから、表示に対する煩わしさが軽減される。また、ユーザは、覗き見されているという状況を表示内容の変化により認識することができ、かつその状況でも電子機器をそのまま使い続けることができる。   In the electronic device according to aspect 2 of the present invention, in the above aspect 1, after the control device performs processing to make the display of the display device less visible to the person, the captured image obtained by imaging the front of the display device In addition, when the face image of the person is not specified, processing may be performed to return the display on the display device to a normal display in which the processing to make it difficult to be seen by the person is not performed. According to the above configuration, since the display is normally displayed when the user is not watching, and the display is changed to the display made difficult to be seen by the person only when the user is watching, the burden on the display is reduced. In addition, the user can recognize the situation of being peeped by the change of the display content, and can continue to use the electronic device as it is in that situation.

本発明の態様3に係る電子機器は、上記態様1または2において、上記表示装置の表示を上記人物から見えにくくする処理は、上記表示装置の表示の文字サイズを縮小する処理であっても良い。上記構成によれば、表示されている文字を上記人物から見えにくくすることができる。   In the electronic device according to aspect 3 of the present invention, in the aspect 1 or 2, the process of making the display on the display device less visible to the person may be a process of reducing the character size of the display of the display device . According to the above configuration, the displayed character can be made less visible to the person.

本発明の態様4に係る電子機器は、上記態様1〜3の何れかにおいて、上記表示装置の表示を上記人物から見えにくくする処理は、上記表示装置の表示の画像サイズを縮小する処理であっても良い。上記構成によれば、表示されている画像を上記人物から見えにくくすることができる。   In the electronic device according to Aspect 4 of the present invention, in any of Aspects 1 to 3, the processing to make the display on the display device less visible to the person is processing to reduce the image size of the display on the display device. It is good. According to the above configuration, the displayed image can be made less visible to the person.

本発明の態様5に係る電子機器は、上記態様1〜4の何れかにおいて、上記表示装置の表示を上記人物から見えにくくする処理は、上記表示装置の輝度を低下させる処理であっても良い。上記構成によれば、表示されている情報を上記人物から見えにくくすることができる。   In the electronic device according to aspect 5 of the present invention, in any of the aspects 1 to 4, the processing to make the display on the display device less visible to the person may be processing to lower the luminance of the display device . According to the above configuration, the displayed information can be made less visible to the person.

本発明の態様6に係る電子機器は、上記態様1〜5の何れかにおいて、上記制御装置が、上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示の、該表示装置の表示可能領域における表示位置を変更しても良い。上記構成によれば、表示されている情報を上記人物から見えにくくすることができる。   The electronic device according to aspect 6 of the present invention is the display according to any one of aspects 1 to 5, wherein the control device displays the display of the display according to the position of the person relative to the display. The display position in the possible area may be changed. According to the above configuration, the displayed information can be made less visible to the person.

本発明の態様7に係る電子機器は、上記態様1〜6の何れかにおいて、上記制御装置が、上記電子機器が予め登録された位置に存在している場合に、上記特定する処理を行わなくても良い。上記構成によれば、明らかに不要な場面では、覗き見を判定する処理以降の処理を行わず、より快適に電子機器を使用することができる。   An electronic device according to a seventh aspect of the present invention is the electronic device according to any one of the first to sixth aspects, wherein the control device does not perform the process for specifying when the electronic device is present at a position registered in advance. It is good. According to the above configuration, in a scene where it is obviously unnecessary, it is possible to more comfortably use the electronic device without performing the processing after the processing of determining the peeping.

本発明の態様8に係る電子機器は、上記態様1〜7の何れかにおいて、上記制御装置が、所定のアプリケーションの実行を判定する処理を行い、上記アプリケーションの実行が判定された場合に、上記特定する処理を開始しても良い。上記構成によれば、覗き見の防止が不要な場合まで覗き見を判定する処理を行うという無駄な動作を行わないで済むため、無駄な電力の消費を抑制できる。   In the electronic device according to aspect 8 of the present invention, in any one of the above aspects 1 to 7, the control device performs a process of determining execution of a predetermined application, and the execution of the application is determined. The process of identifying may be started. According to the above configuration, since it is not necessary to perform the wasteful operation of performing the processing of determining the peeping until the peeping prevention is unnecessary, it is possible to suppress the consumption of the unnecessary power.

本発明の態様9に係る制御装置は、電子機器を制御する制御装置であって、撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定部と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定部と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御部と、を備える構成である。上記構成によれば、上記態様1と同様の効果が得られる。   The control device according to aspect 9 of the present invention is a control device that controls an electronic device, and a captured image obtained by capturing an image of the front of the display device by the imaging device is not registered as the user's face, and the line of sight is The position of the person of the face image with respect to the display device is estimated based on the peep judging unit for specifying the face image facing the display device and the image of the person of the face image included in the captured image The display control unit is configured to perform a process of making the display of the display device less visible to the person according to the position estimation unit and the estimated position of the person with respect to the display device. According to the above configuration, the same effect as in the above aspect 1 can be obtained.

本発明の態様10に係る制御装置の制御方法は、電子機器を制御する制御装置の制御方法であって、撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定処理と、上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定処理と、推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御処理と、を含む方法である。上記方法によれば、上記態様1と同様の効果が得られる。   A control method of a control device according to aspect 10 of the present invention is a control method of a control device for controlling an electronic device, and an imaging device is registered as a user's face from a captured image obtained by capturing the front of a display device. And the display of the person of the face image based on the peep judging process of specifying the face image whose line of sight is directed to the display device and the image of the person of the face image included in the captured image A method including: position estimation processing for estimating a position with respect to a device; and display control processing for performing processing to make the display of the display device less visible to the person according to the estimated position of the person with respect to the display device. . According to the above method, the same effects as in the above aspect 1 can be obtained.

本発明の各態様に係る制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置が備える各部(ソフトウェア要素)として動作させることにより上記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。   The control device according to each aspect of the present invention may be realized by a computer. In this case, the control device is realized by the computer by operating the computer as each unit (software element) included in the control device. The control program of the control device and the computer readable recording medium recording the same also fall within the scope of the present invention.

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
[Items to be added]
The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention. Furthermore, new technical features can be formed by combining the technical means disclosed in each embodiment.

1 制御装置
2 撮像センサ(撮像装置)
3 記憶装置
4 表示装置
10 スマートフォン(電子機器)
10a スマートフォン(電子機器)
11 アプリケーション実行部
12 アプリケーション判定部
13 センサ制御部
14 覗き見判定部
15 位置推定部
16 表示制御部
17 表示画像生成部
18 現在位置判定部
1 control device 2 imaging sensor (imaging device)
3 Storage Device 4 Display Device 10 Smartphone (Electronic Device)
10a Smartphone (Electronic Device)
11 application execution unit 12 application determination unit 13 sensor control unit 14 peeping determination unit 15 position estimation unit 16 display control unit 17 display image generation unit 18 current position determination unit

Claims (11)

撮像装置と、表示装置と、制御装置とを備える電子機器であって、
上記制御装置は、
上記撮像装置が上記表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する処理と、
上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する処理と、
推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理と、を行うことを特徴とする電子機器。
An electronic device comprising an imaging device, a display device, and a control device,
The control unit
A process of specifying a face image which is not registered as the user's face and whose line of sight is facing the display device from a captured image obtained by capturing the front of the display device by the imaging device;
A process of estimating the position of the person of the face image with respect to the display device based on the image of the person of the face image included in the captured image;
An electronic device characterized by performing processing of making the display on the display device less visible to the person according to the estimated position of the person with respect to the display device.
上記制御装置は、
上記表示装置の表示を上記人物から見えにくくする処理を行った後、上記表示装置の前方を撮像した上記撮像画像から、上記人物の上記顔画像が特定されなくなった場合に、上記表示装置の表示を、上記人物から見えにくくする処理が行われていない通常の表示に戻す処理を行うことを特徴とする請求項1に記載の電子機器。
The control unit
The display of the display device is performed when the face image of the person is no longer specified from the captured image obtained by capturing the front of the display device after processing to make the display of the display device less visible to the person The electronic device according to claim 1, characterized in that the process of returning to a normal display in which the process of making the person difficult to see is not performed is performed.
上記表示装置の表示を上記人物から見えにくくする処理は、
上記表示装置の表示の文字サイズを縮小する処理であることを特徴とする請求項1または2に記載の電子機器。
The process of making the display on the display device less visible to the person is:
The electronic device according to claim 1, wherein the electronic device is a process of reducing the character size of the display on the display device.
上記表示装置の表示を上記人物から見えにくくする処理は、
上記表示装置の表示の画像サイズを縮小する処理であることを特徴とする請求項1から3までの何れか1項に記載の電子機器。
The process of making the display on the display device less visible to the person is:
The electronic device according to any one of claims 1 to 3, wherein the electronic device is a process of reducing an image size of a display of the display device.
上記表示装置の表示を上記人物から見えにくくする処理は、
上記表示装置の輝度を低下させる処理であることを特徴とする請求項1から4までの何れか1項に記載の電子機器。
The process of making the display on the display device less visible to the person is:
The electronic device according to any one of claims 1 to 4, wherein the electronic device is a process for reducing the luminance of the display device.
上記制御装置は、
上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示の、該表示装置の表示可能領域における表示位置を変更することを特徴とする請求項1から5までの何れか1項に記載の電子機器。
The control unit
The display position of the display of the display device in the displayable area of the display device is changed according to the position of the person with respect to the display device according to any one of claims 1 to 5, Electronic devices.
上記制御装置は、
上記電子機器が予め登録された位置に存在している場合に、上記特定する処理を行わないことを特徴とする請求項1から6までの何れか1項に記載の電子機器。
The control unit
The electronic device according to any one of claims 1 to 6, wherein the process of specifying is not performed when the electronic device is present at a position registered in advance.
上記制御装置は、
所定のアプリケーションの実行を判定する処理を行い、
上記アプリケーションの実行が判定された場合に、上記特定する処理を開始することを特徴とする請求項1から7までの何れか1項に記載の電子機器。
The control unit
Perform processing to determine the execution of a predetermined application,
The electronic apparatus according to any one of claims 1 to 7, wherein the process of specifying is started when execution of the application is determined.
電子機器を制御する制御装置であって、
撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定部と、
上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定部と、
推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御部と、を備えることを特徴とする制御装置。
A control device for controlling an electronic device,
A peep judging unit for specifying a face image which is not registered as the user's face and whose line of sight is facing the display device from a captured image obtained by capturing an area in front of the display device;
A position estimation unit configured to estimate the position of the person of the face image relative to the display device based on the image of the person of the face image included in the captured image;
A control device comprising: a display control unit that performs processing to make the display on the display device less visible to the person according to the estimated position of the person with respect to the display device.
電子機器を制御する制御装置の制御方法であって、
撮像装置が表示装置の前方を撮像した撮像画像から、ユーザの顔として登録されておらず、かつ、視線が上記表示装置を向いている顔画像を特定する覗き見判定処理と、
上記撮像画像に含まれる、上記顔画像の人物の画像に基づいて、該顔画像の人物の上記表示装置に対する位置を推定する位置推定処理と、
推定した上記人物の上記表示装置に対する位置に応じて、上記表示装置の表示を上記人物から見えにくくする処理を行う表示制御処理と、を含むことを特徴とする制御方法。
A control method of a control device for controlling an electronic device, comprising:
Peeping determination processing for specifying a face image which is not registered as the user's face and whose line of sight is directed to the display device from a captured image obtained by capturing an area in front of the display device;
Position estimation processing for estimating the position of the person of the face image with respect to the display device based on the image of the person of the face image included in the captured image;
And D. a display control process for performing a process of making the display on the display device less visible to the person according to the estimated position of the person with respect to the display device.
請求項9に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、上記覗き見判定部、上記位置推定部および上記表示制御部としてコンピュータを機能させるための制御プログラム。   A control program for causing a computer to function as the control device according to claim 9, wherein the control program causes the computer to function as the watching observation determination unit, the position estimation unit, and the display control unit.
JP2017164677A 2017-08-29 2017-08-29 Electronic device, control device, control method of control device, and control program Pending JP2019047159A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017164677A JP2019047159A (en) 2017-08-29 2017-08-29 Electronic device, control device, control method of control device, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017164677A JP2019047159A (en) 2017-08-29 2017-08-29 Electronic device, control device, control method of control device, and control program

Publications (1)

Publication Number Publication Date
JP2019047159A true JP2019047159A (en) 2019-03-22

Family

ID=65814789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017164677A Pending JP2019047159A (en) 2017-08-29 2017-08-29 Electronic device, control device, control method of control device, and control program

Country Status (1)

Country Link
JP (1) JP2019047159A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119527A1 (en) * 2021-12-22 2023-06-29 マクセル株式会社 Mobile information terminal and information processing method
JP7472238B1 (en) 2022-11-10 2024-04-22 株式会社日本総合研究所 Information processing device and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119527A1 (en) * 2021-12-22 2023-06-29 マクセル株式会社 Mobile information terminal and information processing method
JP7472238B1 (en) 2022-11-10 2024-04-22 株式会社日本総合研究所 Information processing device and program

Similar Documents

Publication Publication Date Title
US20230412911A1 (en) Method of controlling camera device and electronic device thereof
US20170178289A1 (en) Method, device and computer-readable storage medium for video display
CN108228073B (en) Interface display method and device
KR102018887B1 (en) Image preview using detection of body parts
US20170103733A1 (en) Method and device for adjusting and displaying image
US20150179147A1 (en) Trimming content for projection onto a target
KR102154802B1 (en) Photogrpaphing method of electronic apparatus and electronic apparatus thereof
CN106527682B (en) Method and device for switching environment pictures
US20180114493A1 (en) Electronic Device with Display-Based Image Compensation and Corresponding Systems and Methods
CN108459788B (en) Picture display method and terminal
CN113824873A (en) Image processing method and related electronic equipment
US20150172550A1 (en) Display tiling for enhanced view modes
WO2020233201A1 (en) Icon position determination method and device
JP2019047159A (en) Electronic device, control device, control method of control device, and control program
CN112331158B (en) Terminal display adjusting method, device, equipment and storage medium
CN108257091B (en) Imaging processing method for intelligent mirror and intelligent mirror
JP2018507432A (en) How to display personal content
US10827156B2 (en) Light filling method and apparatus for photographing environment, and computer-readable storage medium
CN111355879B (en) Image acquisition method and device containing special effect pattern and electronic equipment
CN115344885B (en) Display method, device and terminal
CN107153448B (en) Display module, control method thereof, electronic device and computer-readable storage medium
CN112765689B (en) Data processing method, device, equipment and medium
CN109561215B (en) Method, device, terminal and storage medium for controlling beautifying function
JP2017068839A (en) Watching apparatus, watching method, and computer program
CN106470308A (en) Image processing method and electronic equipment