JP2016038504A - Portable terminal device and control method therefor - Google Patents
Portable terminal device and control method therefor Download PDFInfo
- Publication number
- JP2016038504A JP2016038504A JP2014162753A JP2014162753A JP2016038504A JP 2016038504 A JP2016038504 A JP 2016038504A JP 2014162753 A JP2014162753 A JP 2014162753A JP 2014162753 A JP2014162753 A JP 2014162753A JP 2016038504 A JP2016038504 A JP 2016038504A
- Authority
- JP
- Japan
- Prior art keywords
- optical sensor
- image
- camera
- finger
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Telephone Function (AREA)
Abstract
Description
本開示は、携帯端末装置の制御に関し、特に、携帯端末装置の画面の輝度制御に関する。 The present disclosure relates to control of a mobile terminal device, and particularly relates to brightness control of a screen of the mobile terminal device.
近年、周囲の明るさに合わせて画面の輝度を適切に制御することが可能なスマートフォンなどの携帯端末装置が普及している。このような携帯端末装置は、自身が受けた光量を検出するための光センサを有し、検出した光量が多くなるにつれて画面を明るくする。これにより、明るい環境下では画面が明るくなり、暗い環境下では画面が暗くなる。しかしながら、光センサが手や指などの遮蔽物で覆われた場合には、光センサが周囲の光量を正確に検出できないため、画面の輝度が意図した通りに調整されない。このような問題を解決するための技術として、たとえば、特許文献1は、照度センサが遮蔽物によって遮られたことにより低減したディスプレイの明るさを補うための携帯端末を開示している。
In recent years, mobile terminal devices such as smartphones that can appropriately control the brightness of a screen in accordance with ambient brightness have become widespread. Such a portable terminal device has an optical sensor for detecting the amount of light received by itself, and brightens the screen as the detected amount of light increases. Thereby, the screen becomes bright in a bright environment, and the screen becomes dark in a dark environment. However, when the optical sensor is covered with a shield such as a hand or a finger, the optical sensor cannot accurately detect the amount of ambient light, and thus the brightness of the screen is not adjusted as intended. As a technique for solving such a problem, for example,
特許文献1に開示される携帯端末は、照度センサの近くに遮蔽物があるか否かを近接センサを用いて判断し、照度センサの近くに遮蔽物があると判断した場合には、画面の輝度を上げる。しかしながら、このように輝度制御が実現されると、携帯端末が鞄などに入れられている場合などにも近接センサによって遮蔽物が検出され、携帯端末が使用されていない状況でも画面の輝度が上げられてしまう。この結果、携帯端末の電力が無駄に消費される。このため、ユーザが携帯端末装置を使用している状況で、画面の輝度を適切に制御することが可能な携帯端末装置が望まれている。
The portable terminal disclosed in
本開示は上述のような問題点を解決するためになされたものであって、その目的は、ユーザの使用中に画面の輝度を周囲の明るさに合わせて調整することが可能な携帯端末装置を提供することである。他の局面における目的は、ユーザの使用中に画面の輝度を周囲の明るさに合わせて調整することが可能となるように携帯端末装置を制御するための方法を提供することである。 The present disclosure has been made to solve the above-described problems, and an object thereof is a portable terminal device capable of adjusting the luminance of the screen according to the ambient brightness during use by the user. Is to provide. An object in another aspect is to provide a method for controlling a mobile terminal device so that the brightness of a screen can be adjusted according to ambient brightness during use by a user.
一実施の形態に従うと、携帯端末装置は、モニタと、携帯端末装置が受けた光量を検出するための光センサと、光センサから一定の範囲内に設けられているカメラと、光センサによって検出された光量に基づいて、モニタの画面の輝度を調整するための調整部と、カメラから得られた画像の画像情報を用いて、当該画像に含まれる物体の画像内の位置を特定するための特定部と、カメラおよび光センサの予め定められた位置関係と、特定部により特定された画像内の物体の位置とに基づいて、光センサが物体に覆われていることを検出するための検出部と、検出部によって光センサが物体に覆われていることが検出された場合に、調整部によって調整される輝度を補正するための補正部とを備える。 According to one embodiment, the mobile terminal device is detected by a monitor, an optical sensor for detecting the amount of light received by the mobile terminal device, a camera provided within a certain range from the optical sensor, and the optical sensor. Based on the received light amount, an adjustment unit for adjusting the brightness of the screen of the monitor and image information of the image obtained from the camera are used to specify the position in the image of the object included in the image Detection for detecting that the optical sensor is covered with the object based on the specific part, a predetermined positional relationship between the camera and the optical sensor, and the position of the object in the image specified by the specific part And a correction unit for correcting the luminance adjusted by the adjustment unit when the detection unit detects that the optical sensor is covered with the object.
ある局面において、ユーザの使用中に画面の輝度を周囲の明るさに合わせて調整することができる。 In one aspect, the brightness of the screen can be adjusted according to the ambient brightness during use by the user.
本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。 The above and other objects, features, aspects and advantages of the present invention will become apparent from the following detailed description of the present invention taken in conjunction with the accompanying drawings.
以下、図面を参照しつつ、本実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。 Hereinafter, the present embodiment will be described with reference to the drawings. In the following description, the same parts and components are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
なお、以下では、携帯端末装置の一例であるスマートフォンの詳細について説明するが、携帯端末装置は、スマートフォンに限定されるものではない。たとえば、携帯端末装置は、タブレット端末、デジタルカメラ、電子辞書、PDA(Personal Digital Assistant)、ゲーム機、携帯可能なその他の電子機器なども含み得る。 In addition, below, although the detail of the smart phone which is an example of a portable terminal device is demonstrated, a portable terminal device is not limited to a smart phone. For example, the mobile terminal device may include a tablet terminal, a digital camera, an electronic dictionary, a PDA (Personal Digital Assistant), a game machine, and other portable electronic devices.
<第1の実施の形態>
[概要]
図1および図2を参照して、第1の実施の形態に従うスマートフォン100の概要について説明する。図1は、スマートフォン100の外観の一例を示す図である。図2は、ユーザがスマートフォン100を操作している時に得られた撮影画像を示す図である。
<First Embodiment>
[Overview]
With reference to FIG. 1 and FIG. 2, the outline | summary of the
図1に示されるように、スマートフォン100は、カメラ4と、モニタ5と、光センサ7とを含む。カメラ4は、光センサ7から一定の範囲内(たとえば、数センチ以内)に設けられている。すなわち、カメラ4は、光センサ7の近傍に設けられている。このようなカメラ4と光センサ7との位置関係は、スマートフォン100の製造時に決められるものであるので既知の情報である。
As shown in FIG. 1, the
光センサ7は、スマートフォン100が受けた光量を検出する。スマートフォン100は、光センサ7から検出される光量が多くなるにつれて、モニタ5の画面の輝度を上げる。これにより、モニタ5の画面は、明るい環境下では明るくなり、暗い環境下では暗くなる。このように、スマートフォン100は、周囲の明るさに合わせて画面の輝度を調整できるので、ユーザにとって画面が見やすくなる。
The
しかしながら、光センサ7がユーザの手指などの物体(以下、「遮蔽物」ともいう。)に覆われた場合には、明るい環境下であっても画面が暗く調整されてしまう。すなわち、このような場合には、画面が意図するよりも暗く調整されてしまう。特に、近年では、スマートフォンなどの携帯端末装置の画面が大型化しており、光センサが画面の周囲に設けられることが多い。このため、携帯端末装置の操作中に光センサを意図せずに覆ってしまうことが頻繁に生じる。
However, when the
そこで、本実施の形態に従うスマートフォン100は、光センサ7が遮蔽物に覆われている場合に、現在設定されている輝度よりも高くするように画面の輝度を補正する。これにより、スマートフォン100は、光センサ7が遮蔽物で覆われている場合であっても、周囲の明るさに合った輝度で画面を表示することができる。
Therefore,
以下では、図2を参照して、光センサ7が遮蔽物(たとえば、ユーザの手指50)に覆われているか否かを判断する方法について説明する。
Below, with reference to FIG. 2, the method to determine whether the
図2(A)に示されるように、手指50がカメラ4の左側を覆っている場合には、カメラ4から得られる撮影画像30の左側に手指が表示される(範囲30A参照)。撮影画像30内の左側に手指が表示されているということは、実際の手指50がカメラ4の左側にあることを意味する。図2(A)の例では、光センサ7がカメラ4の左側近傍に配置されているため、スマートフォン100は、カメラ4の左側にある手指50に光センサ7が覆われていると判断できる。
As shown in FIG. 2A, when the
一方、図2(B)に示されるように、手指50がカメラ4の右側を覆っている場合には、カメラ4から得られる撮影画像32の右側に手指が表示される(範囲32A参照)。撮影画像30内の右側に手指が表示されているということは、実際の手指50がカメラ4の右側にあることを意味する。図2(B)の例では、光センサ7がカメラ4の左側近傍に配置されているので、スマートフォン100は、カメラ4の右側にある手指50に光センサ7が覆われていないと判断できる。
On the other hand, as shown in FIG. 2B, when the
このように、スマートフォン100は、カメラ4から得られる撮影画像内の手指50の位置と、カメラ4および光センサ7の位置関係とに基づいて、光センサ7が手指50に覆われているか否かを判断する。スマートフォン100は、光センサ7が手指50に覆われていることを検出した場合に、現在の輝度よりも高くするように画面の輝度を補正する。これにより、光センサ7が手指50などの遮蔽物で覆われている場合であっても、スマートフォン100は、自身の周囲の明るさに合った輝度で画面を表示することができる。
Thus, the
なお、以下では、スマートフォン100が検出する遮蔽物として、スマートフォン100のユーザの手指を例に挙げて説明を行なうが、スマートフォン100が検出する遮蔽物は、手指に限定されるものではない。たとえば、スマートフォン100は、遮蔽物として、スマートフォン100のユーザの手、ユーザの腕、服の袖などを検出してもよい。
In the following description, the finger of the user of the
また、図2では、カメラ4および光センサ7がスマートフォン100の筐体の左右方向に配置されている例が示されているが、カメラ4および光センサ7は、互いに近傍に配置されていれば、スマートフォン100の筐体上の任意の場所に配置され得る。
FIG. 2 shows an example in which the
[ハードウェア構成]
図3を参照して、第1の実施の形態に従うスマートフォン100のハードウェア構成の一例について説明する。図3は、スマートフォン100の主要なハードウェア構成を示すブロック図である。図3に示されるように、スマートフォン100は、ROM(Read Only Memory)1と、CPU(Central Processing Unit)2と、RAM(Random Access Memory)3と、カメラ4と、モニタ5と、バックライト6と、光センサ7と、ネットワークインタフェース(I/F)8と、記憶装置20とを含む。記憶装置20は、位置関係22と、補正テーブル24とを格納する。
[Hardware configuration]
With reference to FIG. 3, an example of a hardware configuration of
ROM1は、オペレーティングシステム(OS:Operating System)、スマートフォン100で実行される制御プログラムなどを格納する。CPU2は、オペレーティングシステムやスマートフォン100の制御プログラムなどの各種プログラムを実行することで、スマートフォン100の動作を制御する。RAM3は、ワーキングメモリとして機能し、プログラムの実行に必要な各種データを一時的に格納する。
The
カメラ4は、レンズと、CMOS(Complementary Metal-Oxide Semiconductor)などの撮像素子とを含む。カメラ4は、画面が点灯している間に被写体を撮影し続け、生成した撮影画像をCPU2に順次出力する。
The
モニタ5は、たとえば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、またはその他の表示機器などを含む。バックライト6は、モニタ5を照明するための光源である。バックライト6の輝度は、CPU2の制御に基づいて調整される。これにより、モニタ5の明るさが調整される。光センサ7は、カメラ4から一定の範囲内に設けられている。光センサ7は、スマートフォン100が受光した光量を検出する。
The
ネットワークI/F8は、アンテナ8Aを介して、他の通信機器との間でデータを送受信する。他の通信機器は、たとえば、スマートフォン、パソコン、サーバ装置、その他通信機能を有する電子機器などを含む。スマートフォン100は、アンテナ8Aを介して、本実施の形態に従う各種の処理を実現するためのプログラムをダウンロードできるように構成されてもよい。
The network I /
記憶装置20は、たとえば、eMMC(Embedded MultiMediaCard)などの記憶媒体を含む。eMMCは、NANDフラッシュメモリと、制御回路とを含む。記憶装置20は、本実施の形態に従う各種の処理を実現するためのプログラム、カメラ4と光センサ7との位置関係22、補正テーブル24などを格納する。位置関係22は、たとえば、カメラ4を基準(原点)とした光センサ7の2次元または3次元の座標値として示される。補正テーブル24については以下の「第2の実施の形態」において説明する。位置関係22および補正テーブル24は、記憶装置20ではなく、ROM1、RAM3、または外部機器の記憶装置などに格納されてもよい。
The
なお、本実施の形態に従う各種の処理を実現するためのプログラムは、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、任意のプログラムと協働して本実施の形態に従う処理が実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従うスマートフォン100の趣旨を逸脱するものではない。さらに、本実施の形態に従うプログラムによって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、サーバ装置側が全ての機能を実行する必要はなく、スマートフォン100とサーバ装置とが協働して、本実施の形態に従う処理を実現するようにしてもよい。さらに、少なくとも1つのサーバ装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態でスマートフォン100が構成されてもよい。
Note that a program for realizing various processes according to the present embodiment may be provided by being incorporated in a part of an arbitrary program, not as a single program. In this case, processing according to the present embodiment is realized in cooperation with an arbitrary program. Even such a program that does not include some modules does not depart from the spirit of the
[機能構成]
図4および図5を参照して、スマートフォン100の機能について説明する。図4は、スマートフォン100の機能構成の一例を示すブロック図である。図5は、画面輝度の補正処理の概略を示した概念図である。図4に示されるように、スマートフォン100のCPU2は、調整部40と、特定部42と、検出部44と、補正部46とを含む。
[Function configuration]
The function of the
調整部40は、光センサ7によって検出された光量に基づいて、モニタ5の画面の輝度を調整する。ある局面において、調整部40は、光センサ7によって検出された光量が多くなるにつれて、モニタ5の画面の輝度を上げる。これにより、調整部40は、明るい環境下ではモニタ5の画面を明るくし、暗い環境下ではモニタ5の画面を暗くする。
The
特定部42は、カメラ4から得られた撮影画像の画像情報を用いて、撮影画像に含まれるユーザの手指の画像内の位置を特定する。一例として、特定部42は、撮影画像の色情報を用いて、ユーザの手指の画像内の位置を特定する。スマートフォン100が暗い所に置かれたり、紙などで覆われたりした場合には撮影画像が黒色になるが、ユーザの手指が撮影画像に写っている場合には、撮影画像の手指部分は肌色や赤色になる。このため、特定部42は、撮影画像の肌色や赤色の部分を手指として検出する。特定部42は、検出した手指の位置を検出部44に出力する。撮影画像内の手指の位置は、たとえば、撮影画像内の座標値として示される。ある局面において、撮影画像内の手指の位置は、撮影画像内に写る手指の中心座標または重心座標として示される。他の局面において、撮影画像内の手指の位置は、撮影画像内の手指部分の座標群として示される。一例として、座標群は、撮影画像の手指を囲む矩形の4つの角の座標として示される。
The specifying
検出部44は、特定部42により特定された撮影画像内の手指の位置と、カメラ4および光センサ7の予め定められた位置関係22とに基づいて、光センサ7が手指に覆われていることを検出する。より具体的には、スマートフォン100は、撮影画像内の手指の位置から、カメラ4に対する手指の実際の位置を推定する。検出部44は、カメラ4に対する光センサ7の位置関係22(図3参照)を参照して、光センサ7が手指に覆われていることを検出する。
In the detection unit 44, the
補正部46は、検出部44によって光センサ7が手指に覆われていることが検出された場合に、調整部40によって調整される輝度を補正する。ある局面において、画面の輝度は、調整部40によって調整される輝度よりも高くするように補正される。たとえば、図5に示されるように、調整部40によって画面の明るさが輝度60に調整されたとする。この場合、補正部46は、輝度60から、輝度60よりも明るい輝度66に画面輝度を補正する。
The
これにより、補正部46は、光センサ7が手指に覆われている場合であっても、周囲の明るさに合った輝度で画面を表示することができる。また、補正部46は、カメラ4からの撮影画像に手指が写っている時に輝度補正を行なうので、ユーザがスマートフォン100を使用している時のみ画面輝度が補正される。これにより、スマートフォン100は、使用されていない状況下で画面が明るく調整されることを防止でき、消費電力を減らすことができる。
Thereby, the correction |
[画面輝度の補正方法]
図6を参照して、モニタ5の画面輝度の補正方法の詳細について説明する。図6は、光センサの覆い方の違いによる画面輝度の補正量の差を概略的に示した概念図である。なお、以下の説明では、図6に示されるように、光センサ7がカメラ4の左側に設けられているという前提で説明を行なう。
[Screen brightness correction method]
With reference to FIG. 6, the detail of the correction method of the screen brightness | luminance of the
光センサ7によって検出される光量は、手指による覆われ方によって変動する。すなわち、光センサ7が手指に覆われている度合(以下、「覆われ度」ともいう。)が高くなるにつれて、光センサ7によって検出される光量は低下する。この結果、覆われ度が高くなるにつれて、画面は、調整部40(図4参照)による輝度調整により意図するよりも暗くなる。これを解決するために、補正部46(図4参照)は、覆われ度が高いほど、画面の輝度を上げる補正量を多くする。
The amount of light detected by the
光センサ7の覆われ度は、撮影画像内の手指の位置や、撮影画像内の手指の範囲などから推測され得る。たとえば、図6(A)に示されるように、光センサ7の全てが手指50に覆われている場合には、手指50が撮影画像34の左側に表示される(範囲34A参照)。図6(B)に示されるように、光センサ7の一部が手指50に覆われている場合には、手指50が撮影画像35の左下に表示される(範囲35A参照)。図6(C)に示されるように、光センサ7の覆われ度がさらに減ると、撮影画像36内の手指50の範囲がさらに狭くなる(範囲36A参照)。図6(D)に示されるように、撮影画像36内の右側(範囲37A参照)に手指が表示されている場合には、光センサ7は、手指50に全く覆われていない。
The degree of coverage of the
このように、光センサ7の覆われ度は、撮影画像内の手指50の位置によって決まるので、スマートフォン100の検出部44(図4参照)は、カメラ4から得られた撮影画像内の手指の位置とカメラ4および光センサ7の位置関係22(図3参照)とに基づいて、覆われ度を検出する。スマートフォン100の補正部46(図4参照)は、検出部44によって検出された覆われ度が高いほど、画面の輝度の補正量を多くし、画面が明るくなるように補正する。
Thus, since the degree of coverage of the
ある局面において、補正部46は、撮影画像内に占める手指の範囲が広いほど画面の輝度の補正量を多くする。撮影画像内に占める手指の範囲は、たとえば、撮影画像の画素数に対する、手指として検出された部分の画素数の割合として示される。
In one aspect, the
他の局面において、補正部46は、撮影画像内の手指の位置だけでなく、手指の方向を用いて画面の輝度を補正してもよい。手指の方向は、たとえば、撮影画像内の手指の長手方向として示される。補正部46は、カメラ4に対する手指の方向と、カメラに対する光センサ7の方向とに基づいて、光センサ7の覆われ度を決定する。このとき、補正部46は、カメラ4に対する手指の方向と、カメラに対する光センサ7の方向とが近いほど覆われ度を高くなる。補正部46は、決定した覆われ度に応じて画面の輝度を補正する。
In another aspect, the
[制御構造]
図7を参照して、スマートフォン100の制御構造について説明する。図7は、スマートフォン100が実行する処理の一部を表わすフローチャートである。図7の処理は、スマートフォン100のCPU12(プロセッサ)がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子、その他のハードウェアによって実行されてもよい。
[Control structure]
The control structure of the
ステップS10において、CPU2は、画面が点灯しているか否かを判断する。CPU2は、たとえば、スマートフォン100の動作モードが休止状態でない場合に画面が点灯していると判断し、スマートフォン100の動作モードが休止状態である場合に画面が消灯していると判断する。CPU2は、画面が点灯していると判断した場合(ステップS10においてYES)、制御をステップS12に切り替える。そうでない場合には(ステップS10においてNO)、CPU2は、ステップS10の処理を再び実行する。
In step S10, the
ステップS12において、CPU2は、カメラ4(図3参照)を起動し、被写体の撮影を開始する。カメラ4は、画面が点灯している間に被写体を撮影し続け、CPU2は、カメラ4によって生成された撮影画像を順次取得する。
In step S12, the
ステップS20は、CPU2は、特定部42(図4参照)として、撮影画像内に手指が表示されているか否かを判断する。手指の検出方法は、上述の通りであるので説明を繰り返さない。CPU2は、撮影画像内に手指が表示されていると判断した場合(ステップS20においてYES)、制御をステップS22に切り替える。そうでない場合には(ステップS20においてNO)、CPU2は、制御をステップS10に戻す。
In step S20, the
ステップS22において、CPU2は、検出部44として、撮影画像の表示内容から光センサ7の覆われ度を検出する。覆われ度の検出方法は、上述の通りであるので説明を繰り返さない。
In step S <b> 22, the
ステップS24において、CPU2は、補正部46として、光センサ7の覆われ度が高いほど、画面が明るくなるように輝度を補正する。画面輝度の補正方法は、上述の通りであるので説明を繰り返さない。
In step S <b> 24, the
[小括]
以上のようにして、本実施の形態に従うスマートフォン100は、光センサがユーザの手指などの遮蔽物に覆われている場合に、画面を明るくするように輝度を補正する。これにより、スマートフォン100は、光センサが覆われている場合でも、周囲の明るさに合った輝度で画面を表示することができ、ユーザにとっての画面のみやすさが改善される。また、スマートフォン100は、光センサが覆われている度合に合わせて画面輝度の補正量を変えるので、より正確に画面輝度を補正することができる。
[Brief Summary]
As described above,
<第2の実施の形態>
図8を参照して、第2の実施の形態に従うスマートフォン100Aの概要について説明する。図8は、補正テーブル24のデータ構造を示す図である。第1の実施の形態に従うスマートフォン100は、光センサ7の覆われ度に応じて画面輝度の補正量を決定していた。これに対して、第2の実施の形態に従うスマートフォン100Aは、以下で説明するように補正テーブル24を参照して画面輝度の補正量を決定する。なお、スマートフォン100Aのハードウェア構成などその他の点については第1の実施の形態に従うスマートフォン100と同じであるので、それらの説明は繰り返さない。
<Second Embodiment>
With reference to FIG. 8, the outline | summary of 100 A of smart phones according to 2nd Embodiment is demonstrated. FIG. 8 is a diagram illustrating the data structure of the correction table 24. The
補正テーブル24は、記憶装置20(図3参照)に予め格納されている。補正テーブル24には、手指の位置24Aと、手指の方向24Bと、画面輝度の補正量24Cとが互いに関連付けられている。手指の位置24Aは、たとえば、補正画像内の座標値として示される。手指の座標値は、たとえば、撮影画像内の手指の中心値または重心値として示される。手指の方向24Bは、一例として、補正画像内の横方向を基準とする手指の角度で示される。補正量24Cには、補正部46による画面輝度の補正量が示される。この補正量は、画面輝度の増加量として示されてもよいし、現在設定されている画面輝度に掛け合わされる係数として示されてもよい。
The correction table 24 is stored in advance in the storage device 20 (see FIG. 3). In the correction table 24, a
スマートフォン100Aは、撮影画像内の手指の位置および方向を検出する。手指の位置の検出方法は、上述の通りである。手指の方向は、たとえば、撮影画像内の手指の形状によって決定される。一例として、スマートフォン100Aは、撮影画像内の手指の長手方向を手指の方向として決定する。スマートフォン100Aは、補正テーブル24に規定される手指の位置24Aおよび手指の方向24Bの組み合わせのうちから、検出した撮影画像内の手指の位置および方向に一番近い組み合わせを選択する。スマートフォン100Aは、選択した組み合わせに関連付けられている補正量24Cを用いて画面輝度を補正する。
The smartphone 100A detects the position and direction of the finger in the captured image. The method for detecting the finger position is as described above. The direction of the finger is determined by, for example, the shape of the finger in the captured image. As an example, the smartphone 100A determines the longitudinal direction of the finger in the captured image as the direction of the finger. The smartphone 100A selects the combination closest to the finger position and direction in the detected captured image from the combinations of the
以上のようにして、本実施の形態に従うスマートフォン100Aは、格納されている補正テーブル24を参照して、画面輝度の補正量を決定する。これにより、スマートフォン100Aは、光センサの覆われ度などの検出処理を省くことができるので、処理を高速化することができる。 As described above, smartphone 100A according to the present embodiment refers to stored correction table 24 to determine a screen luminance correction amount. Thereby, since the smart phone 100A can omit detection processing such as the degree of coverage of the optical sensor, the processing can be speeded up.
<第3の実施の形態>
以下では、第3の実施の形態に従うスマートフォン100Bについて説明する。第1の実施の形態に従うスマートフォン100は、撮影画像の色情報を利用した画像処理によって手指を検出していた。これに対して、第3の実施の形態に従うスマートフォン100Bは、他の画像処理技術を用いて撮影画像内の手指の位置を検出する。なお、スマートフォン100Bのハードウェア構成などその他の点については第1の実施の形態に従うスマートフォン100と同じであるので、それらの説明は繰り返さない。
<Third Embodiment>
Hereinafter, smartphone 100B according to the third embodiment will be described.
第3の実施の形態に従うスマートフォン100Bは、撮影画像の色情報を用いずに、テンプレートマッチングなどの画像処理技術でユーザの手指を検出する。より具体的には、スマートフォン100Bは、記憶装置20(図3参照)などに予め登録された手指画像(図示しない)を基準として、撮影画像から手指画像を探索することにより撮影画像内の手指の位置を検出する。他の局面において、スマートフォン100Bは、順次得られた撮影画像から動体を検出し、検出した動体を手指として検出してもよい。 The smartphone 100B according to the third embodiment detects the user's finger using an image processing technique such as template matching without using the color information of the captured image. More specifically, the smartphone 100B searches for a finger image from the photographed image on the basis of a finger image (not shown) registered in advance in the storage device 20 (see FIG. 3) or the like, thereby detecting the finger in the photographed image. Detect position. In another aspect, the smartphone 100B may detect a moving object from sequentially obtained captured images, and may detect the detected moving object as a finger.
他の局面において、スマートフォン100Bは、ユーザの手指の他にも、テンプレートマッチングなどの画像処理技術を用いて、ユーザの手や腕などを検出してもよい。この場合、スマートフォン100Bは、記憶装置20などに予め登録された手または腕を写した画像を基準として、撮影画像から当該画像を探索することにより撮影画像内の手指の位置を検出する。
In another aspect, the smartphone 100B may detect the user's hand, arm, or the like using an image processing technique such as template matching in addition to the user's finger. In this case, the smartphone 100B detects the position of the finger in the captured image by searching for the image from the captured image with reference to an image of a hand or arm registered in advance in the
以上のようにして、本実施の形態に従うスマートフォン100Bは、色情報を用いずに手指を検出することができるので、夜などの色情報が取得しにくい状況下であっても手指を検出できるようになる。 As described above, since smartphone 100B according to the present embodiment can detect a finger without using color information, it can detect a finger even in a situation where it is difficult to acquire color information such as at night. become.
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
1 ROM、2 CPU、3 RAM、4 カメラ、5 モニタ、6 バックライト、7 光センサ、8 ネットワークI/F、8A アンテナ、20 記憶装置、22 位置関係、24 補正テーブル、24A 位置、24B 方向、24C 補正量、30,32,34〜37 撮影画像、30A,32A,34A〜37A 範囲、40 調整部、42 特定部、44 検出部、46 補正部、50 手指、60,66 輝度、100 スマートフォン。 1 ROM, 2 CPU, 3 RAM, 4 camera, 5 monitor, 6 backlight, 7 optical sensor, 8 network I / F, 8A antenna, 20 storage device, 22 positional relationship, 24 correction table, 24A position, 24B direction, 24C Correction amount, 30, 32, 34 to 37 Captured image, 30A, 32A, 34A to 37A Range, 40 adjustment unit, 42 identification unit, 44 detection unit, 46 correction unit, 50 fingers, 60, 66 brightness, 100 smartphone.
Claims (5)
モニタと、
前記携帯端末装置が受けた光量を検出するための光センサと、
前記光センサから一定の範囲内に設けられているカメラと、
前記光センサによって検出された光量に基づいて、前記モニタの画面の輝度を調整するための調整部と、
前記カメラから得られた画像の画像情報を用いて、当該画像に含まれる物体の画像内の位置を特定するための特定部と、
前記カメラおよび前記光センサの予め定められた位置関係と、前記特定部により特定された画像内の前記物体の位置とに基づいて、前記光センサが前記物体に覆われていることを検出するための検出部と、
前記検出部によって前記光センサが前記物体に覆われていることが検出された場合に、前記調整部によって調整される輝度を補正するための補正部とを備える、携帯端末装置。 A portable terminal device,
A monitor,
An optical sensor for detecting the amount of light received by the mobile terminal device;
A camera provided within a certain range from the optical sensor;
An adjustment unit for adjusting the luminance of the screen of the monitor based on the amount of light detected by the optical sensor;
Using the image information of the image obtained from the camera, a specifying unit for specifying the position in the image of the object included in the image,
In order to detect that the optical sensor is covered with the object based on a predetermined positional relationship between the camera and the optical sensor and a position of the object in the image specified by the specifying unit. A detector of
A portable terminal device comprising: a correction unit for correcting luminance adjusted by the adjustment unit when the detection unit detects that the optical sensor is covered with the object.
前記補正部は、前記光センサが前記物体に覆われている度合いが高いほど、前記画面の輝度の補正量を多くする、請求項1または2に記載の携帯端末装置。 The detection unit further detects the degree to which the light sensor is covered by the object based on the display position of the object in the image obtained from the camera and the predetermined positional relationship,
The portable terminal device according to claim 1, wherein the correction unit increases the correction amount of the luminance of the screen as the degree to which the optical sensor is covered with the object is higher.
前記携帯端末装置は、
モニタと、
前記携帯端末装置が受けた光量を検出するための光センサと、
前記光センサと同一平面上に設けられ、前記光センサから一定の範囲内に設けられているカメラとを備え、
前記制御方法は、
前記光センサによって検出された光量に基づいて、前記モニタの画面の輝度を調整するステップと、
前記カメラから得られた画像の画像情報を用いて、当該画像に含まれる物体の画像内の位置を特定するステップと、
前記カメラおよび前記光センサの予め定められた位置関係と、前記特定するステップにおいて特定された前記画像に含まれる物体の表示位置とに基づいて、前記光センサが前記物体に覆われていることを検出するステップと、
前記検出するステップにおいて前記光センサが前記物体に覆われていることが検出された場合に、前記調整するステップにおいて調整される輝度を補正するステップとを備える、制御方法。 A method for controlling a portable terminal device, comprising:
The portable terminal device
A monitor,
An optical sensor for detecting the amount of light received by the mobile terminal device;
A camera provided on the same plane as the photosensor and provided within a certain range from the photosensor;
The control method is:
Adjusting the brightness of the screen of the monitor based on the amount of light detected by the photosensor;
Identifying the position in the image of the object included in the image using image information of the image obtained from the camera;
The optical sensor is covered with the object based on a predetermined positional relationship between the camera and the optical sensor and a display position of the object included in the image specified in the specifying step. Detecting step;
And a step of correcting the brightness adjusted in the adjusting step when the optical sensor is detected to be covered with the object in the detecting step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014162753A JP2016038504A (en) | 2014-08-08 | 2014-08-08 | Portable terminal device and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014162753A JP2016038504A (en) | 2014-08-08 | 2014-08-08 | Portable terminal device and control method therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016038504A true JP2016038504A (en) | 2016-03-22 |
Family
ID=55529613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014162753A Pending JP2016038504A (en) | 2014-08-08 | 2014-08-08 | Portable terminal device and control method therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016038504A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018090552A1 (en) * | 2016-11-21 | 2018-05-24 | 华为技术有限公司 | Method for controlling screen of intelligent device, and intelligent device |
JP2018198688A (en) * | 2017-05-26 | 2018-12-20 | パラマウントベッド株式会社 | Control apparatus and motor-driven furniture |
CN109819088A (en) * | 2019-01-03 | 2019-05-28 | Oppo广东移动通信有限公司 | Light sensation calibration method and relevant apparatus |
JP2020530576A (en) * | 2018-05-31 | 2020-10-22 | 北京小米移動軟件有限公司Beijing Xiaomi Mobile Software Co.,Ltd. | Screen brightness adjustment methods, devices, electronic devices, programs and storage media |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348303A (en) * | 2003-05-21 | 2004-12-09 | Fujitsu Ltd | Object detection system and program |
JP2012248974A (en) * | 2011-05-26 | 2012-12-13 | Kyocera Corp | Mobile terminal, brightness adjustment program, and brightness adjustment method |
JP2013074613A (en) * | 2011-09-29 | 2013-04-22 | Casio Comput Co Ltd | Display device |
-
2014
- 2014-08-08 JP JP2014162753A patent/JP2016038504A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348303A (en) * | 2003-05-21 | 2004-12-09 | Fujitsu Ltd | Object detection system and program |
JP2012248974A (en) * | 2011-05-26 | 2012-12-13 | Kyocera Corp | Mobile terminal, brightness adjustment program, and brightness adjustment method |
JP2013074613A (en) * | 2011-09-29 | 2013-04-22 | Casio Comput Co Ltd | Display device |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018090552A1 (en) * | 2016-11-21 | 2018-05-24 | 华为技术有限公司 | Method for controlling screen of intelligent device, and intelligent device |
CN108701441A (en) * | 2016-11-21 | 2018-10-23 | 华为技术有限公司 | A kind of screen control method and smart machine of smart machine |
JP2018198688A (en) * | 2017-05-26 | 2018-12-20 | パラマウントベッド株式会社 | Control apparatus and motor-driven furniture |
US10932968B2 (en) | 2017-05-26 | 2021-03-02 | Paramount Bed Co., Ltd. | Control device and electric furniture |
JP2020530576A (en) * | 2018-05-31 | 2020-10-22 | 北京小米移動軟件有限公司Beijing Xiaomi Mobile Software Co.,Ltd. | Screen brightness adjustment methods, devices, electronic devices, programs and storage media |
CN109819088A (en) * | 2019-01-03 | 2019-05-28 | Oppo广东移动通信有限公司 | Light sensation calibration method and relevant apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11170708B2 (en) | Gamma correction method and device, display device, and computer storage medium | |
WO2017142342A1 (en) | Electronic device and operating method thereof | |
EP3637763B1 (en) | Colour detection method and terminal | |
US9484005B2 (en) | Trimming content for projection onto a target | |
WO2017116024A1 (en) | Electronic device having flexible display and method for operating the electronic device | |
US10761642B2 (en) | Method, mobile terminal and non-transitory computer-readable storage medium for adjusting scanning frequency of touch screen | |
JP6105953B2 (en) | Electronic device, line-of-sight input program, and line-of-sight input method | |
EP3062286B1 (en) | Optical distortion compensation | |
US20210105389A1 (en) | Apparatus and method for providing illumination of camera in electronic device | |
KR20170039201A (en) | Switching between cameras of an electronic device | |
US20220155656A1 (en) | Illuminator control method, illuminator fitting, and electronic device | |
US9495762B2 (en) | Detecting and compensating for motion between a flash and a no-flash image | |
JP2016038504A (en) | Portable terminal device and control method therefor | |
CN110442521B (en) | Control unit detection method and device | |
US11102419B2 (en) | Imaging control device, imaging apparatus, imaging control method, and imaging control program | |
EP3495882B1 (en) | Method and device for photographing images | |
US20170094189A1 (en) | Electronic apparatus, imaging method, and non-transitory computer readable recording medium | |
JP2014116710A (en) | Imaging apparatus, imaging condition setting method, and program | |
US10348983B2 (en) | Non-transitory storage medium encoded with computer readable image processing program, information processing system, information processing apparatus, and image processing method for determining a position of a subject in an obtained infrared image | |
US20160133199A1 (en) | Display brightness control | |
US10402939B2 (en) | Information processing device, information processing method, and program | |
US20170110092A1 (en) | Method and device for adjusting display brightness | |
US11082623B2 (en) | Imaging control device, imaging apparatus, imaging control method, and imaging control program with light measurement | |
US10957250B2 (en) | Terminal device, sensing method and apparatus with sensor for fingerprint identification | |
JP7289308B2 (en) | Image analysis device, image analysis method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180731 |