JP2007017596A - 携帯端末装置 - Google Patents

Abstract

【課題】携帯端末装置の小型化を妨げるようなセンサを新たに設けることなく、携帯端末装置の表示部の表示画面と使用者との位置関係に応じて望ましい向きで表示画面に情報を表示することが可能な携帯端末装置を提供すること。
【解決手段】携帯端末装置は、少なくとも文字情報を表示可能な表示部１０２を有する本体と、該本体に設けられ、当該本体の周囲を撮影するカメラ部１０１と、該カメラ部１０１が撮影した画像に基づいて使用者の顔の情報を取得し、少なくとも顔の向きと前記本体の向きとの相対的な位置関係を把握する主制御部１００と、を備える。主制御部１００は、把握した位置関係に従って表示部１０２の表示画面に表示する情報の向きを決定し、その向きで該情報が表示部１０２に表示されるように表示制御部１１０を制御する。
【選択図】図１

Description

本発明は、表示部を本体に備えた携帯端末装置に関し、特に表示部の表示画面に表示される情報の向きの制御が可能な携帯端末装置に関する。

例えば携帯無線電話端末装置（即ち、いわゆる携帯電話機）のような携帯端末装置を使用する場合、使用者が携帯端末装置の本体を持つ向きが常に一定とは限らない。

また、例えば携帯端末装置の表示部の形状が長方形の場合には、使用者がその表示部の表示画面を縦にして見たい場合と横にして見たい場合とがある。

しかし、携帯端末装置の表示画面上に表示される情報の向きが一定であると、使用者が携帯端末装置の本体を持つ向きの変化に伴って、使用者が見る表示画面の向きと表示画面上に表示される情報の向きとが一致しなくなる場合があるため、携帯端末装置を快適に使うことができなくなる。

使用者が装置を使用する向きにあわせて該装置の表示画面上に表示される情報の向きを回転させるための技術が提案されている（特許文献１参照）。特許文献１では、図７に示したような装置が提案されている。

図７に示される装置は、入力面と表示面とを兼用した表示入力操作部６０１と、電源スイッチ６０２と、赤外線等を利用する４つの非接触センサ６０３〜６０６と、を備える。４つの非接触センサ６０３〜６０６は装置の互いに異なる面に配置されている。

従って、非接触センサ６０３〜６０６が検出した信号を調べることにより、装置を使用する使用者が装置のいずれの面と対向する位置に存在するか、即ち、使用者が見ている表示画面の向きがどの向きであるか、を検出することができる。

実際には、電源スイッチ６０２をオンにすると表示面にメニュー表示画面が表示されるが、この時にも非接触センサ６０３〜６０６が検出した信号に従って、使用者が見ている表示画面の向きと表示画面に表示される情報の向きとが一致するように表示が自動的に制御される。

また、例えば使用者が非接触センサ６０３と対向する状態（向き）で装置の操作を始めた後、縦長の表示画面と横長の表示画面とを切り替えるために、使用者が自分自身と非接触センサ６０４とが対向するように装置の向きを回転させると、この回転に伴って非接触センサ６０３〜６０６の検出状態が変化するので、向きの変化が自動的に検出され、装置は表示画面上に表示される情報の向きを回転する。

また、非接触センサ６０３〜６０６のいずれも使用者を検出しなくなった場合には、表示を消灯することにより省電力を図る。そして、消灯後に非接触センサ６０３〜６０６のいずれかが再び使用者を検出した場合には、表示を点灯してそれまでの動作を続行する。

尚、この技術と類似する技術は、例えば特許文献２および特許文献３にも教示されている。

これらのような従来の技術においては、装置の側面上の互いに異なる位置に４つの非接触センサを分散した状態で配置する必要がある。しかしながら、携帯無線電話端末装置のような小型の携帯端末装置においては、互いに異なる位置に複数のセンサを更に配置することは、小型化やコストのうえで大きなデメリットになる。即ち、携帯端末装置の小型化が困難になり、携帯端末装置の製造コストも増大する。

また、赤外線センサ等を利用して使用者の位置を検出する場合には、誤検出が生じる可能性も高い。例えば、携帯端末装置の近傍に使用者以外の物体が存在する場合には、この物体を使用者と間違えて検出する可能性がある。

特開平７−１６８５２９号公報 特開２００３−３１９０４３号公報 特開平１０−１６４４０１号公報

本発明は、上述した事情に鑑みてなされたものであり、携帯端末装置の小型化を妨げるようなセンサを新たに設けることなく、携帯端末装置の表示部の表示画面と使用者との位置関係に応じて望ましい向きで表示画面に情報を表示することが可能な携帯端末装置を提供することを目的とする。

本発明の携帯端末装置は、
少なくとも文字情報を表示可能な表示部を有する本体と、
前記本体に設けられた撮像手段と、
前記撮像手段が撮影した画像に基づいて被写体（例えば使用者の顔）の情報を取得し、当該被写体（例えば少なくとも顔）の向きと前記本体の向きとの相対的な位置関係を把握する画像認識手段と、
前記画像認識手段が把握した位置関係に従って、前記表示部の表示画面に表示する情報の向きを決定する表示制御手段と、
を備える。

この構成では、撮像手段によって撮影された画像から被写体（例えば使用者の顔）を検出するので、被写体（例えば使用者の顔）の向きと携帯端末装置の向きとの相対的な位置関係を把握することができる。従って、検出された前記位置関係に基づいて表示画面に表示する文字や画像の向きを制御することにより、例えば使用者が携帯端末装置を持つ向きを９０度回転させたような場合であっても、使用者が携帯端末装置の表示画面を見た時に、表示内容が正立状態で見えるように表示を制御することができ、表示される文字や画像や使用者に対して横向きになったり、あるいは逆さになるのを防止できる。

例えば、携帯無線電話端末装置のような携帯端末装置の場合には、撮像手段としてデジタルカメラ機能が標準装備されている場合が多いので、このデジタルカメラを利用して被写体（例えば使用者の顔）を撮影すれば、新たに撮像手段を設ける必要はない。従って、携帯端末装置の大型化や製造コストの上昇を抑制できる。

また、本発明の携帯端末装置では、当該携帯端末装置に所定の動作を行わせるためのアプリケーションプログラムが新たに起動されるときに、前記撮像手段が新たに画像を撮影し、前記画像認識手段は前記撮像手段が撮影した画像から被写体（例えば使用者の顔）の向きと前記本体の向きとの相対的な位置関係を検出し、前記表示制御手段は前記画像認識手段から位置関係の情報を取得して前記アプリケーションプログラムによって生成される表示情報の表示の向きを決定する。

この構成では、新たにアプリケーションプログラムが起動されるときに使用者と携帯端末装置との位置関係が検出され、表示画面上に情報を表示する向きが決定されるので、このアプリケーションプログラムの実行によって生成される様々な情報を使用者は正立状態で見ることができる。

また、本発明の携帯端末装置は、
使用者の入力操作を検出する入力操作検出手段を更に備え、
前記入力操作検出手段が一定時間にわたって入力操作が行われなかったことを検出した場合には、前記撮像手段が新たに画像を撮影し、そして前記画像認識手段が前記撮像手段の撮影した画像を処理し、前記画像認識手段が被写体（例えば使用者の顔）を認識できなかった場合には、前記表示制御手段は実行中のアプリケーションプログラムを終了するか、もしくは前記表示部を消灯制御する。

この構成では、例えば、使用者が一時的に携帯端末装置から離れた位置に移動したような場合、つまり、しばらくの間この携帯端末装置を使用者が操作しない場合には、使用者の入力操作が所定時間にわたって検出されないため、前記撮像手段が新たに画像を撮影し、前記画像認識手段が前記撮像手段の撮影した画像を処理する。この場合、撮影された画像から被写体（例えば使用者の顔）が検出されなければ、使用者はしばらくの間はこの携帯端末装置を使わない可能性が高いとみなすことができる。そこで、被写体（例えば使用者の顔）が検出されなければ、実行中のアプリケーションプログラムを終了するか、もしくは表示部の例えばバックライトを消灯制御する。これにより、非操作時の無駄な電力消費を抑制できる。例えば、テレビ放送を視聴するためのアプリケーションプログラムが実行されている場合や、ゲーム用のアプリケーションプログラムが実行されている際には比較的大きな電力消費を伴うため、このようなアプリケーションプログラムを携帯端末装置で長時間継続して実行する場合には電池の消耗が顕著になる。一般に、誤操作によるアプリケーションプログラムの起動や、使用終了時のスイッチの切り忘れが生じた場合には、無駄に電池が消耗することになるが、上記構成では無駄な電力消費を回避できる。

また、本発明の携帯端末装置は、
音量調節機能を有する音響発生手段を更に備え、
前記画像認識手段は前記撮像手段が撮影した画像中の被写体（例えば使用者の顔）の大きさに基づいて、前記本体と使用者との距離の大きさを検出し、そして前記音響発生手段は前記画像認識手段が検出した距離の大きさを音量調節に自動的に反映する。

特定の被写体（例えば使用者の顔）の大きさは一定であるので、前記撮像手段が撮影する際のズーム倍率が一定であれば、画像中の被写体（例えば使用者の顔）の大きさは距離の大きさに応じて変化する。そこで、前記構成では前記撮像手段が撮影した画像中の被写体（例えば使用者の顔）の大きさに基づいて、携帯端末装置と使用者との距離の大きさを検出する。そして、検出した距離の大きさを音量調節に自動的に反映する。これにより、距離が小さい場合には音量を小さくし、距離が大きい場合には音量を大きくすることができ、使用者に聞こえる音の大きさを距離と無関係に一定に制御することも可能になる。

また、本発明の携帯端末装置は、
３Ｄ音響を生成すると共に、３Ｄ音響の音像定位を調節する機能を有する音響発生手段を更に備え、
前記画像認識手段は前記撮像手段が撮影した画像中の被写体（例えば使用者の顔）の大きさに基づいて、前記本体と使用者との距離の大きさを検出し、そして前記音響発生手段は前記画像認識手段が検出した距離の大きさを生成する３Ｄ音響の音像定位に自動的に反映する。

音は、音源から頭部耳道を通って鼓膜に届くまでに特性が変化する。この変化量は「HRTF（Head-Related Transfer Function：頭部伝達関数）」と呼ばれ、人はこの変化量を手がかりにして音の方向を判断していると考えられる。そこで、このHRTFを解析した結果に基づいて音を制御すれば、普通の単一のスピーカやヘッドホンだけでも臨場感あふれる立体（３Ｄ）音響が実現する。しかし、この３Ｄ音響技術では、実際の音源であるスピーカ等と視聴者との位置関係（特に距離）の変化に応じて音響の音像定位（視聴者が感じる仮想的な音源の位置）が変化する。そこで、前記構成では、画像認識手段が検出した距離の大きさを生成する３Ｄ音響の音像定位に自動的に反映する。これにより、例えば携帯端末装置上に配置されたスピーカ等の音源と視聴者である使用者との距離が変化した場合でも、望ましい音像定位を確保することが可能になる。

尚、本発明の携帯端末装置の例としては、ＰＤＡ（即ち、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）等の携帯情報端末装置、携帯無線電話端末装置（即ち、いわゆる携帯電話機）、携帯ゲーム専用端末装置、等が挙げられる。但し、本発明の携帯端末装置が、撮像手段としてデジタルカメラ機能を標準装備した近年世の中で非常に普及している携帯無線電話端末装置であると、上述したように新たに撮像手段を設ける必要はなく、よって携帯無線電話端末装置の大型化や製造コストの上昇を抑制できるので特に好ましい。

本発明によれば、携帯端末装置の小型化を妨げるようなセンサを新たに設けることなく、携帯端末装置の表示部の表示画面と使用者との位置関係に応じて望ましい向きで表示画面に情報を表示することが可能となる。

以下、図１〜図６を参照しながら本発明に係る携帯端末装置の一実施形態について説明する。尚、ここでは、近年世の中で非常に普及しているデジタルカメラを備えた携帯無線電話端末装置（即ち、いわゆる携帯電話機）を本発明に係る携帯端末装置の好適な実施形態として説明する。勿論、携帯無線電話端末装置以外の携帯端末装置、例えばＰＤＡ等の携帯情報端末装置にも本発明は適用できる。

図１は本発明の携帯無線電話端末装置の外観を示す斜視図である。図２は本発明の携帯無線電話端末装置の縦向きの場合の外観を示す正面図である。図３は本発明の携帯無線電話端末装置の横向きの場合の外観を示す正面図である。図４は本発明の携帯無線電話端末装置の縦向きの場合の外観を示す正面図である。図５は本発明の携帯無線電話端末装置の主要動作を示すフローチャートである。図６は本発明の携帯無線電話端末装置の主要な構成要素を示すシステムブロック図である。

図１に示されるように、携帯無線電話端末装置の本体１０は、下側筐体部１１と上側筐体部１２とをヒンジ１３を介して連結したものであり、折り畳み可能になっている。

下側筐体部１１には操作部１０３が設けられている。操作部１０３にはテンキー等の機能が割り当てられた多数の操作キースイッチ（即ち、ボタン）が具備されている。

また、上側筐体部１２にはカメラ部１０１および表示部１０２が設けられている。カメラ部１０１は、二次元画像を撮影するために上側筐体部１２に内蔵された撮像素子を有するデジタルカメラであって、表示部１０２の表示画面が配置された上側筐体部１２の表側面と対向する位置に存在する被写体を撮影する。表示部１０２は液晶表示装置で構成され、その平面形状の表示画面に文字や画像といった可視情報を表示することができる。

このように携帯無線電話端末装置の本体１０の片側面上でカメラ部１０１、表示部１０２および操作部１０３が部分的に露出されている。

この携帯無線電話端末装置は、通常は使用者の手によって支持され、図２に示すように縦向きに配置された状態で使用される場合もあるし、また図３に示されるように横向きに配置された状態で使用される場合もある。

使用者が携帯無線電話端末装置の表示部１０２を見ながら使用するときには、カメラ部１０１の正面に使用者が対向した状態になるので、カメラ部１０１が撮影する画像には使用者の顔等が映ることになる。このカメラ部１０１が撮影した画像は、例えば図２あるいは図３に示すように表示部１０２の表示画面に表示される。

上述の各構成要素の他にも、この携帯無線電話端末装置の本体１０内には、図６に示されるように、主制御部１００、マイク１０４、スピーカ１０５、無線通信部１０６、３Ｄ音響生成部１０７、音声信号処理部１０８、音量制御部１０９、表示制御部１１０、および記憶部１１１が設けられている。実際には図６の構成要素の他にも一般的な携帯無線電話端末装置と同様の構成要素が更に設けられる。

主制御部１００は、携帯無線電話端末装置の電気的構成要素全体を統括制御するマイクロプロセッサを備えた電気回路により構成されており、様々なプログラムを実行することにより様々な制御動作や様々な機能を実現する。

マイク１０４は、音声通話等の際に使用者の音声を入力するために利用される。スピーカ１０５は、音声通話の際に相手先から受信した音声を再生したり、着信音、音楽、等といった様々な効果音を音響として出力するために利用される。

無線通信部１０６は、アンテナを備え、携帯無線電話端末装置が音声通話やデータ通信等を行う際に所定の無線基地局との間で無線通信を行う機能を備える。

３Ｄ音響生成部１０７は、記憶部１１１に記憶されている着信音、音楽、等といった様々な効果音データを音響としてスピーカ１０５から出力されるように信号処理するだけでなく、モード切替に応じてスピーカ１０５から出力される音響が立体的な音響として使用者に聞こえるように信号処理を行える。音は、実際の音源であるスピーカ１０５から発せられ、使用者の頭部耳道を通って鼓膜に届くまでに特性が変化する。この変化量は「HRTF（Head-Related Transfer Function：頭部伝達関数）」と呼ばれ、人はこの変化量を手がかりにして音の方向を判断していると考えられる。そこで、このHRTFを解析した結果に基づいて、３Ｄ音響生成部１０７が音を制御することにより、単一のスピーカ１０５だけでも臨場感あふれる立体（３Ｄ）音響を再生できるように構成してある。

音声信号処理部１０８は、相手先から受信した音声のディジタル信号をアナログ音声信号に変換する。音量制御部１０９は、スピーカ１０５によって再生する音声や音響の音量を調節するために設けてある。

表示制御部１１０は、表示部１０２の表示画面に表示する情報の制御を実施する。例えば、表示画面に表示する画像や文字を９０度回転するような処理を表示制御部１１０が実施する。

記憶部１１１は、主制御部１００のマイクロプロセッサ等からの画像処理情報等といった様々なデータを保存したり、主制御部１００のマイクロプロセッサが実行可能なシステムプログラムやアプリケーションプログラムを保持するために利用される。システムプログラムは、携帯無線電話端末装置の例えば図６に示される電気的構成要素の動作制御を主制御部１００のマイクロプロセッサに行わせるためのプログラムである。また、アプリケーションプログラムは、例えば、様々なゲームを実行するためのプログラム、テレビ放送受信機能を実現するためのプログラム、等であって、このようなアプリケーションプログラムに従って主制御部１００のマイクロプロセッサは携帯無線電話端末装置の例えば図６に示される電気的構成要素の動作制御を行う。

ところで、図２に示されるように携帯無線電話端末装置を縦向きで使用する場合には、画像やアプリケーションプログラムが生成する情報が表示部１０２の表示画面にも縦向きで表示されることが望ましく、そして図３に示されるように携帯無線電話端末装置を横向きで使用する場合には、画像やアプリケーションプログラムが生成する情報が表示部１０２の表示画面にも横向きで表示されることが望ましい。これにより、使用者は常に正立状態で画像等を見ることができる。

表示部１０２に表示する画像等の情報の向きを使用者から見て正立状態になるように自動的に制御するためには、携帯無線電話端末装置と使用者との相対的な位置関係（特に向き）を検出する必要がある。しかし、上述したように、使用者を検出するために特別なセンサを設けると、携帯無線電話端末装置の小型化の妨げになり、また製造コストの上昇も避けられない。

そこで、本実施形態では、既に備わっているカメラ部１０１を用いて使用者の顔等を撮影し、撮影により得られた画像を解析することにより位置関係を検出する。

この形態の携帯無線電話端末装置の動作について、図５を参照しながら説明する。尚、図５に示す動作は主に主制御部１００のマイクロプロセッサによる処理および制御により実現する。勿論、専用のハードウェアで制御することも可能である。

まず、自動的に、あるいは使用者による操作部１０３への入力操作によって、記憶部１１１上に保持されたいずれか一つのアプリケーションプログラムが主制御部１００によって起動されると、主制御部１００の処理はステップＳ１からステップＳ２に進む。

ステップＳ２では、主制御部１００がカメラ部１０１の処理を起動する。これにより、カメラ部１０１の撮像素子は表示部１０２の表示画面と対向する位置に存在する被写体を撮影する。使用者が表示部１０２を見ながら携帯無線電話端末装置を使用すれば、被写体として使用者の顔等がカメラ部１０１により撮影される。

ステップＳ３では、主制御部１００が主に画像認識手段として処理を行う。即ち、主制御部１００は、カメラ部１０１によって撮影された画像を処理し、顔の位置を識別する公知の顔認識技術を用いることにより、画像中に顔が存在するか否かを区別したり、顔の方向を識別する。

例えば、主制御部１００は、顔全体を認識した後で、目、鼻、口、等の個別の特徴領域を認識し、目、鼻、口、等の相対的な位置関係を調べることにより、顔が正立状態か、あるいは横向き状態か、あるいは逆さの状態かを区別することができる。

カメラ部１０１自体は携帯無線電話端末装置の本体１０に固定されているので、カメラ部１０１が撮影した画像から認識される顔の向きは、本体１０と使用者の顔との相対的な位置関係（向き）を表す。

主制御部１００は、ステップＳ３の処理の結果に基づき、顔が認識できない第１の状態（即ち、ステップＳ４）と、正立状態で顔を検出した第２の状態（即ち、ステップＳ５）と、正立状態から右回りに９０度回転した状態で顔を検出した第３の状態（即ち、ステップＳ６）と、正立状態から１８０度回転した状態で顔を検出した第４の状態（即ち、ステップＳ７）と、正立状態から左回りに９０度回転した状態で顔を検出した第５の状態（即ち、ステップＳ８）とを区別し、いずれの状態であるかを判定する。

上述の第１の状態、即ち、顔が認識できなかった場合には、ステップＳ４からステップＳ９に進み、ステップＳ１で起動したアプリケーションプログラムを強制的に終了する。つまり、表示部１０２の表示画面と対向する位置に使用者が存在しないので、使用者は携帯無線電話端末装置を現在は使用していないものと見なす。これにより、使用者が携帯無線電話端末装置をから離れた位置に移動したような場合の無駄な電力消費を抑制できる。

また、使用者が意識的に入力操作を行わないのに携帯時等でたまたま操作部１０３が操作されてアプリケーションプログラムが起動する場合もありうるが、このような場合にもアプリケーションプログラムを終了することができる。尚、アプリケーションプログラムを終了する代わりに、表示部１０２のバックライトを消灯するだけでも電力消費の抑制には効果がある。

一方、上述した第２の状態、第３の状態、第４の状態、および第５の状態では、それぞれステップＳ５、ステップＳ６、ステップＳ７、ステップＳ８にて表示部１０２に表示される文字や画像の向きが使用者から見て正立状態になるように表示の向きが決定される。

例えば、図２に示されるように縦向きで携帯無線電話端末装置が使用されているときには、図２の左側図のようにカメラ部１０１が撮影した画像中に正立状態で使用者の顔が検出されるので、ここで主制御部１００は表示制御手段としても働き、アプリケーションプログラムの実行によって表示される様々な情報についても、縦向きの携帯無線電話端末装置の表示部１０２の表示画面上で図２の右側図のように縦向き、つまり正立状態になる向きで表示されるように表示制御部１１０を制御する。

例えば、図３に示されるように横向きで携帯無線電話端末装置が使用されているときには、図３の上側図のようにカメラ部１０１が撮影した画像中に横向き（右回りまたは左回りで９０度回転した状態）で使用者の顔が検出されるので、ここでも主制御部１００は表示制御手段として働き、アプリケーションプログラムの実行によって表示される様々な情報についても、横向きの携帯無線電話端末装置の表示部１０２の表示画面上で図３の下側図のように横向き、つまり正立状態になる向きで表示されるように表示制御部１１０を制御する。

そして、次のステップＳ１０では、カメラ部１０１の撮影により得られた画像に基づいて主制御部１００が携帯無線電話端末装置の本体１０と使用者との距離を検出する。特定の使用者の顔の大きさは一定であるので、カメラ部１０１のズーム倍率が一定の場合には、カメラ部１０１が撮影した画像中の使用者の顔の大きさは、携帯無線電話端末装置の本体１０と使用者との距離に応じて変化する。従って、例えば顔の輪郭の上下の高さや、左右の幅を調べることにより、距離を推定することができる。

例えば、カメラ部１０１で使用者を撮影した画像を表示部１０２の表示画面上に表示すると、距離が遠い場合には図４の左側図に示される表示画面のように使用者の顔が比較的小さく映るが、距離が近い場合には図４の右側図に示される表示画面のように使用者の顔が比較的大きく映ることになる。

次のステップＳ１１では、ステップＳ１０で検出した距離の大きさに基づいて主制御部１００が音量の調節および３Ｄ音響の生成条件を決定する。即ち、使用者に聞こえる音の大きさは、実際の音源であるスピーカ１０５と使用者の耳との距離に応じて変化するので、距離が大きい時には音量を増大し、距離が小さい時には音量を減少させることにより、例えば距離の変化とは無関係に一定の音量で使用者に音が聞こえるように自動的に制御することができる。実際には、主制御部１００が音量制御部１０９を制御して音量を制御する。また、実際の音源であるスピーカ１０５と使用者の耳との距離が変化すると、頭部伝達関数（ＨＲＴＦ）も変化するので、３Ｄ音響生成部１０７によって生成される３Ｄ音響の音像定位にも変化が生じる。そこで、ステップＳ１０で主制御部１００が検出した距離の大きさに応じて３Ｄ音響生成部１０７が３Ｄ音響を生成する条件を自動的に調整することにより、音像定位が変化するのを防止することができる。

ステップＳ１２では、主制御部１００が操作部１０３に対する使用者からの入力操作の有無について定期的に監視を実施する入力操作検出手段としても機能する。主制御部１００は、一定の期間内に何らかの入力操作が検出された場合（即ち、ステップＳ１３が“Ｙｅｓ”の場合）にはステップＳ１２の処理を繰り返し実行するが、一定の期間内に入力操作が全く検出されなかった場合（即ち、ステップＳ１３が“Ｎｏ”の場合）には前述のステップＳ２の処理に戻る。

例えば、使用者が携帯無線電話端末装置の使用を終了したり、一時的に使用を中断したような場合には、使用者からの入力操作がある程度長い時間にわたって検出されなくなる。その場合には使用者は携帯無線電話端末装置の表示画面を見ない状態になるので、カメラ部１０１が撮影した画像中には使用者の顔が映らなくなる。従って、このような場合には、ステップＳ１２→ステップＳ１３→ステップＳ２→ステップＳ３→ステップＳ４→ステップＳ９というように順次に実行され、ステップＳ９で主制御部１００がアプリケーションプログラムの実行を自動的に終了する。これにより、不使用時の無駄な電力消費を抑制できる。

なお、本実施形態においては、主制御部１００が主に画像認識手段として、カメラ部１０１により撮影した顔に基づいて顔の情報を取得し、顔の向きと本体１０の向きとの相対的な位置関係を把握するようにしていたが、顔に限られることはなく、例えば、目、鼻、口、等の情報を取得し、目、鼻、口、等の向きと本体１０の向きとの相対的な位置関係を把握するようにしたとしても構わない。

本発明の携帯端末装置は、その小型化を妨げるようなセンサを新たに設けることなく、携帯端末装置の表示部の表示画面と使用者との位置関係に応じて望ましい向きで表示画面に情報を表示することができるので、例えば、ＰＤＡ等の携帯情報端末装置、携帯無線電話端末装置、携帯ゲーム専用端末装置、等といった携帯端末装置として有用である。

本発明に係る携帯端末装置の一実施形態の外観を示す斜視図 本発明に係る携帯端末装置の一実施形態の縦向きの場合の外観を示す正面図 本発明に係る携帯端末装置の一実施形態の横向きの場合の外観を示す正面図 本発明に係る携帯端末装置の一実施形態の縦向きの場合の外観を示す正面図 本発明に係る携帯端末装置の一実施形態の主要動作を示すフローチャート 本発明に係る携帯端末装置の一実施形態の主要な構成要素を示すシステムブロック図 従来例の装置の構成を示す斜視図

符号の説明

１０ 本体
１１ 下側筐体部
１２ 上側筐体部
１３ ヒンジ
１００ 主制御部
１０１ カメラ部
１０２ 表示部
１０３ 操作部
１０４ マイク
１０５ スピーカ
１０６ 無線通信部
１０７ ３Ｄ音響生成部
１０８ 音声信号処理部
１０９ 音量制御部
１１０ 表示制御部
１１１ 記憶部

Claims (7)

1. 少なくとも文字情報を表示可能な表示部を有する本体と、
   前記本体に設けられた撮像手段と、
   前記撮像手段が撮影した画像に基づいて被写体の情報を取得し、当該被写体の向きと前記本体の向きとの相対的な位置関係を把握する画像認識手段と、
   前記画像認識手段が把握した位置関係に従って、前記表示部の表示画面に表示する情報の向きを決定する表示制御手段と、
   を備える携帯端末装置。
2. 請求項１記載の携帯端末装置であって、
   前記携帯端末装置に所定の動作を行わせるためのアプリケーションプログラムが新たに起動されるときに、前記撮像手段が新たに画像を撮影し、前記画像認識手段は前記撮像手段が撮影した画像から被写体の向きと前記本体の向きとの相対的な位置関係を検出し、前記表示制御手段は前記画像認識手段から位置関係の情報を取得して前記アプリケーションプログラムによって生成される表示情報の表示の向きを決定する携帯端末装置。
3. 請求項１記載の携帯端末装置であって、
   使用者の入力操作を検出する入力操作検出手段を更に備え、
   前記入力操作検出手段が一定時間にわたって入力操作が行われなかったことを検出した場合には、前記撮像手段が新たに画像を撮影し、そして前記画像認識手段が前記撮像手段の撮影した画像を処理し、前記画像認識手段が被写体を認識できなかった場合には、前記表示制御手段は実行中のアプリケーションプログラムを終了するか、もしくは前記表示部を消灯制御する携帯端末装置。
4. 請求項１記載の携帯端末装置であって、
   音量調節機能を有する音響発生手段を更に備え、
   前記画像認識手段は前記撮像手段が撮影した画像中の被写体の大きさに基づいて、前記本体と使用者との距離の大きさを検出し、そして前記音響発生手段は前記画像認識手段が検出した距離の大きさを音量調節に自動的に反映する携帯端末装置。
5. 請求項１記載の携帯端末装置であって、
   ３Ｄ音響を生成すると共に、３Ｄ音響の音像定位を調節する機能を有する音響発生手段を更に備え、
   前記画像認識手段は前記撮像手段が撮影した画像中の被写体の大きさに基づいて、前記本体と使用者との距離の大きさを検出し、そして前記音響発生手段は前記画像認識手段が検出した距離の大きさを生成する３Ｄ音響の音像定位に自動的に反映する携帯端末装置。
6. 前記被写体は、使用者の顔であることを特徴とする請求項１ないし請求項５のいずれか１項記載の携帯端末装置。
7. 請求項１ないし６のいずれか１項記載の携帯端末装置である携帯無線電話端末装置。
   

Images