JP2012004798A - 情報処理装置、情報表示用プログラムおよび情報処理装置の制御方法 - Google Patents

Abstract

【課題】情報処理装置において、複数の者が当該情報処理装置によって表示される内容を見るときに、それぞれの者の表示装置に対する位置関係に対応させて情報を表示できるようにする。
【解決手段】カメラ１が撮影した画像に対して顔認識処理が実行され、複数の顔画像が含まれている場合には、各顔画像の軸の、カメラ１が撮影した画像において基準とされる軸に対する回転角度が検出される。そして、各顔画像について、検出された回転角度に従った角度で表示情報を表示する画面が、表示部６に表示される。画像１１０７が撮影された場合、表示部６には、顔画像６１７に対応して画面６２１が、顔画像６１８に対応して画面６２２が、顔画像６１９に対応して画面６２３が、そして、顔画像６２０に対応して画面６２４が、表示される。
【選択図】図１０

Description

本発明は、情報処理装置および情報表示用プログラムに関し、特に、撮像部を備え、撮影された画像の解析結果に基づいて表示内容を変更する情報処理装置、情報表示用プログラムおよび情報処理装置の制御方法に関する。

従来から、撮像部を備えた情報処理装置において、新たなセンサを用いることなく、表示部における表示を、当該表示部と情報処理装置の使用者との位置関係に応じた向きで行うための技術が種々開示されている。

たとえば、特許文献１では、携帯端末装置において、カメラ部が撮影した画像に基づいて使用者の顔の情報を取得し、少なくとも顔の向きと本体の向きの相対的な位置関係を把握し、当該位置関係に従って表示部の表示画面に表示さえる情報の向きを決定する技術が開示されている。

また、特許文献２では、携帯端末装置において、インカメラで撮影した顔要素の位置情報を検出し、顔要素の位置情報に基づいて自端末に対するユーザの顔画像の上下方向を判断し、当該上下方向に応じて表示画面における画像の上下方向を制御する技術が開示されている。

表示部に表示する方向を制御する技術としては、特許文献３に、関連する技術が開示されている。特許文献３には、２つの筐体のそれぞれに表示部が備えられた情報処理装置において、１つの表示部で表示を行なう状態と、２つの表示部で表示を行なう状態とを取り、前者の状態から後者の状態に切り替えられたときに、一方の表示部では通常の表示を行なうとともに、他方の表示部に、一方の表示部に表示された内容と同じ内容を、当該他方の画面を分割し、複数の方向で、表示させる技術が開示されている。

特開２００７−０１７５９６号公報 特開２００８−１７７８１９号公報 特開２００９−１４６１３６号公報

近年のノートパソコンなどの情報処理装置の利用態様としては、会議などで、複数の者の意見を逐次的に情報処理装置に入力し、文書の編集を行なう態様が考えられる。このような場合、編集の過程を当該複数の者によって共有するために、当該複数の者が、情報処理装置の表示装置の表示内容を見て、文書の編集過程を確認する必要が生じる。しかしながら、従来では、上記のように複数の者で情報処理装置の表示内容を共有しようとした場合に、表示装置に対するそれぞれの者の位置関係を考慮して表示を行なうことはできなかった。

上述の特許文献３によれば、表示装置に表示すべき内容が複数の方向で表示されるものの、各方向を、上記複数の者が表示部を見ている方向に応じた方向とすることはできなかった。

本発明は、かかる実情に鑑み考え出されたものであり、その目的は、複数の者が情報処理装置において表示される内容を見るときに、それぞれの者の表示装置に対する位置関係に対応させて情報を表示できる情報処理装置、情報表示用プログラムおよび情報処理装置の制御方法を提供することである。

本発明に従った情報処理装置は、表示装置と、表示装置に表示させる情報を生成する生成部と、カメラと、カメラによって撮影された画像に対して顔画像を検出する顔認識処理を実行する顔認識処理部と、顔認識処理において検出された顔画像の数および向きに基づいて表示装置の表示内容を制御する制御部とを備え、制御部は、顔認識処理において１つの顔画像が検出された場合、検出された顔画像の向きに基づき、情報を表示装置に表示させる向きを決定して、情報を表示させ、顔認識処理において複数の顔画像が検出された場合、検出された顔画像の個数に基づき情報を表示装置に表示させる数を決定し、さらに、表示させる各情報の向きを検出された各顔画像の向きに基づいて決定して、複数個の情報を表示装置に表示させる。

また、本発明の情報処理装置では、制御部は、複数の情報のうち或る情報の表示の大きさを変更した場合、残りの情報については、形状を維持したまま、大きさを変更された或る情報とともに表示装置の表示領域に表示できる最大となるように表示の大きさを変更することが好ましい。

また、本発明の情報処理装置は、入力を受付ける操作部をさらに備え、基準となる向きは、操作部から表示装置に向かう向きであることが好ましい。

また、本発明の情報処理装置は、向きの組合せに関連付けて、表示装置に表示される情報の配置の組合せのパターンを記憶する画面分割パターン記憶部をさらに備え、制御部は、画面分割パターン記憶部に記憶された配置の組合せのパターンで、複数の情報を表示装置に表示させることが好ましい。

また、本発明の情報処理装置では、制御部は、顔認識処理において検出された顔画像の軸を決定し、検出された各顔画像の軸の撮影された画像における基準軸に対する回転角度を決定し、基準軸は、表示装置を基準となる向きで見ている被写体をカメラが撮影した画像における、当該被写体に対応する顔画像の軸であり、制御部は、情報を表示させる向きを、回転角度だけ回転させた画面で、表示装置に表示させることが好ましい。

また、本発明の情報処理装置では、制御部は、検出された各顔画像において、口から、両目を結ぶ線に対して引かれた垂線を、顔画像の軸とすることが好ましい。

また、本発明の情報処理装置では、制御部は、顔画像の軸の回転角度を正規化することが好ましい。

本発明に従った情報表示用プログラムは、表示装置と、カメラと、プロセッサと、メモリとを備えた装置において、メモリに記憶され、プロセッサによって実行されることによって装置を情報処理装置として機能させるプログラムであって、プログラムは、プロセッサに、カメラによって撮影された画像に対して顔画像を検出する顔認識処理を実行するステップと、顔認識処理において１つの顔画像が検出された場合に、検出された顔画像の向きに基づき、情報を表示装置に表示させる向きを決定して、情報を表示させるステップと、顔認識処理において複数の顔画像が検出された場合に、検出された顔画像の個数に基づき情報を表示装置に表示させる数を決定し、さらに、表示させる各情報の向きを検出された各顔画像の向きに基づいて決定して、複数個の情報を表示装置に表示させるステップとを実行させる。

本発明に従った情報処理装置の制御方法は、表示装置と、カメラと、プロセッサとを備えた情報処理装置を制御する制御方法であって、プロセッサに、カメラによって撮影された画像に対して顔画像を検出する顔認識処理を実行するステップと、顔認識処理において１つの顔画像が検出された場合に、検出された顔画像の向きに基づき、情報を表示装置に表示させる向きを決定して、情報を表示させるステップと、顔認識処理において複数の顔画像が検出された場合に、検出された顔画像の個数に基づき情報を表示装置に表示させる数を決定し、さらに、表示させる各情報の向きを検出された各顔画像の向きに基づいて決定して、複数個の情報を表示装置に表示させるステップとを実行させる。

本発明によれば、顔認識処理において検出された複数の顔画像のそれぞれについて、当該顔画像に対応する被写体のそれぞれが表示装置を見た向きに対応して、複数の画面が表示される。

これにより、複数人が表示装置を覗き込んだ場合であっても、それぞれの人が表示内容を容易に理解できる。

本発明の情報処理装置の第１の実施の形態の外観を示す図である。 図１の情報処理装置のハードウェア構成を示す図である。 図１の情報処理装置の制御ブロック図である。 図１の情報処理装置における、顔画像の回転角度を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図1の情報処理装置における、表示部の表示領域の分割パターンの例を説明するための図である。 図１の情報処理装置において表示部の表示制御のために実行される処理のフローチャートである。 図１８の画面情報生成処理のサブルーチンのフローチャートである。 本発明の情報処理装置の第２の実施の形態において実行される画面情報生成処理のサブルーチンのフローチャートである。 図２０の画面情報生成処理の処理内容を説明するための図である。 図２０の画面情報生成処理の処理内容を説明するための図である。 図２０の画面情報生成処理の処理内容を説明するための図である。 図２０の画面情報生成処理の処理内容を説明するための図である。 本発明の第３の実施の形態における、画面の大きさの変更に関する処理内容を説明するための図である。 本発明の第３の実施の形態における、画面の大きさの変更に関する処理内容を説明するための図である。 本発明の第３の実施の形態における、画面の大きさの変更に関する処理内容を説明するための図である。 本発明の第３の実施の形態における、画面の大きさの変更に関する処理内容を説明するための図である。 本発明の第３の実施の形態における、画面の大きさの変更に関する処理内容を説明するための図である。 本発明の第３の実施の形態における、画面の大きさの変更に関する処理内容を説明するための図である。 本発明の第３の実施の形態における、画面の大きさの変更に関する処理内容を説明するための図である。 本発明の第３の実施の形態における、画面の大きさの変更に関する処理内容を説明するための図である。

以下、本発明に従った情報処理装置の実施の形態について、図面を参照して説明する。なお、各図において、同一の機能を発揮する構成要素については、同一の符号を付し、詳細な説明は繰返さない。

［１．第１の実施の形態］
［１−１．情報処理装置の外観］
図１は、本発明の情報処理装置の第１の実施の形態の外観を示す図である。

図１を参照して、情報処理装置１００は、第１の筐体１１と第２の筐体１２から主に構成される。第１の筐体１１と第２の筐体１２とは、折畳み可能に構成される。

第２の筐体１２の、上記のように折り畳まれた際に内側に位置する面には、複数のキーボードを含む操作部７が設けられている。情報処理装置１００では、操作部７に対する操作がなされることにより、当該情報処理装置１００に対する情報の入力が受付けられる。

第１の筐体１１の、上記のように折り畳まれた際に内側に位置する面には、ＬＣＤ（Liquid Crystal Display）などから構成される表示部６が設けられている。また、第１の筐体１１には、表示部６と操作部７の間に、カメラ１が設けられている。カメラ１は、表示部６が存在する空間と同じ空間を撮影できるように設けられている。つまり、カメラ１は、表示部６を見る者を撮影できる位置に設けられている。なお、カメラ１は、複数の方向から表示部６を見る者を一度に撮影できるように、広角レンズを備えていることが好ましい。

なお、情報処理装置１００についての図１に示された構成は一例である。情報処理装置１００において、複数の筐体が折畳み可能に構成される必要はなく、また、表示部６、操作部７およびカメラ１の配置も、図１に示されたものに限定されない。

［１−２．ハードウェア構成］
図２は、情報処理装置１００のハードウェア構成を示す図である。

図２を参照して、情報処理装置１００は、図１のカメラ１、表示部６および操作部７の他に、当該情報処理装置の動作を全体的に制御するＣＰＵ（Central Processing Unit）３と、カメラ１の動作を制御するカメラ制御部２と、ＣＰＵ３が実行するプログラムや種々のデータを記憶するメモリ４と、表示部６に表示される画面情報をする画像処理部５と、ネットワークを介して他の装置と通信するためのＬＡＮ（Local Area Network）カード等の通信制御部８と、アンテナ９とを含む。

［１−３．制御ブロック］
図３は、情報処理装置１００の制御ブロック図である。

図３を参照して、メモリ４は、ＣＰＵ３が実行するプログラムを記憶するプログラム記憶部４０と、情報処理装置１００における種々の設定内容を記憶する設定情報記憶部４１と、後述するように顔画像の軸の回転角度を修正するための情報を記憶する角度修正情報記憶部４２と、後述するように表示部６の表示領域を分割するパターンを規定する情報を記憶する画面分割パターン記憶部４３とを含む。

ＣＰＵ３は、顔認識処理部３１、回転角度検出部３２、画面分割制御部３３、表示情報生成部３４および画像情報生成部３５を含む。本実施の形態では、ＣＰＵ３がプログラム記憶部４０に記憶されたプログラムを実行することにより、これらの要素として機能する。本発明に係る情報処理装置では、このような構成に限定されず、すべてのまたは一部の要素が、専用の回路などによって構成されてもよい。

情報処理装置１００では、カメラ１によって撮影された画像は、カメラ制御部２を介して顔認識処理部３１に送られる。顔認識処理部３１は、当該画像について、顔認識処理を実行する。顔認識処理の内容については、公知の技術を適用できるため、ここでは詳細な説明は繰り返さない。なお、顔認識処理部３１は、設定情報記憶部４１に記憶されている、顔認識処理を実行するか否かの設定内容に関する情報を確認し、顔認識処理を実行する旨の設定情報が記憶されていることを条件として、顔認識処理を実行する。

そして、当該画像において顔画像が認識されると、回転角度検出部３２において、当該顔画像の軸の、撮影された画像において基準軸に対する回転角度が検出される。なお、顔認識処理部３１において複数の顔画像が検出された場合には、回転角度検出部３２では、複数の顔画像のそれぞれについての回転角度が検出される。

上記の基準軸とは、図４（Ａ）において矢印Ａ０１で示されるような、操作部７を操作する者が表示部６を見る向きにある顔がカメラ１によって撮影されたことによって得られる画像における、当該顔に対応する顔画像の軸とされる。このことを、図４を参照して、より具体的に説明する。

図４（Ｂ）は、図４（Ａ）に示されるように、４人の者が表示部６を矢印Ａ０１，Ａ０２，Ａ０３，Ａ０４のそれぞれの向きから見ている状態でカメラ１が撮影した画像を模式的に示す図である。図４（Ｂ）の画像１００１では、矢印Ａ０１の向きで表示部６を見た者の顔が顔画像６１７で示され、矢印Ａ０２の向きで表示部６を見た者の顔が顔画像６１８で示され、矢印Ａ０３の向きで表示部６を見た者の顔が顔画像６１９で示され、そして、矢印Ａ０４の向きで表示部６を見た者の顔が顔画像６２０で示されている。

また、図４（Ｂ）では、画像１００１に対して、軸Ｌ０１〜Ｌ０４が示されている。軸Ｌ０１〜Ｌ０４は、画像１００１に含まれるものではなく、顔画像６１７〜６２０のそれぞれについての軸であり、画像１００１に対して説明のために示されている。

ここで、顔画像の軸の決定方法について、図４（Ｃ）を参照して説明する。図４（Ｃ）において、顔画像として認識された画像の中の、目として認識された領域が領域Ｐ１，Ｐ２であり、口として認識された領域を領域Ｐ３である。領域Ｐ１と領域Ｐ２の重心を通る線ＬＨを生成し、そして、領域Ｐ３の重心から当該線ＬＨに向けて垂直に引かれた線ＬＶが、顔画像の軸とされる。なお、顔画像の軸は、方向が定義されている。領域Ｐ３の重心から線ＬＨに向けられる方向が、顔画像の軸の方向である。

そして、本実施の形態では、軸Ｌ０１、つまり、操作部７を操作する位置に居る者が表示部６を見た場合にカメラ１によって撮影された画像において、当該者に対応する顔画像に対して定義される軸が、上記の基準軸である。また、回転角度とは、画像１００１における反時計方向の回転角度とされる。つまり、図４（Ｂ）では、軸Ｌ０１の回転角度は０°であり、軸Ｌ０４の回転角度は９０°であり、軸Ｌ０２の回転角度は１８０°であり、軸Ｌ０３の回転角度は２７０°である。

そして、図４（Ａ）において矢印Ａ０１で示される、操作部７を操作する位置に居る者が表示部６を見る向き、つまり、操作部７から表示部６に向かう向きが、表示部６における「基準となる向き」に相当する。

なお、回転角度の検出において、回転角度検出部３２は、角度修正情報記憶部４２に記憶された修正用の情報に基づいて修正した回転角度を、検出結果として出力する。修正用の情報としては、たとえば、表１に示すような、角度を正規化する情報が考えられる。

表１では、実際に検出された角度の範囲が、出力される角度に関連付けられている。具体的には、顔認識処理部３１において顔画像の軸が３１５°〜４４°と検出された場合には回転角度として回転角度検出部３２から出力される回転角度は０°とされ、４５°〜１３４°と検出された場合には回転角度として出力される回転角度は９０°とされ、１３５°〜２２４°と検出された場合には回転角度として出力される回転角度は１８０°とされ、２２５°〜３１４°と検出された場合には回転角度として出力される回転角度は２７０°とされる。

画面分割制御部３３は、回転角度検出部３２で検出された顔画像の軸の回転角度に応じて表示部６の表示領域を分割する。画面分割パターン記憶部４３には、回転角度検出部３２において検出された回転角度の組合せに関連付けて、表示領域を分割するパターンが記憶されている。画面分割制御部３３は、回転角度検出部３２から出力される情報に基づいて回転角度の組合せを取得し、画面分割パターン記憶部４３から当該組合せに関連付けられて記憶されたパターンを取得し、当該取得したパターンに従って、表示部６の表示領域を分割する情報を出力する。画面分割パターン記憶部４３における記憶態様の一例を、表２に模式的に示す。

表２では、分割パターン１〜分割パターン１５が回転角度の組合せに関連付けられている。なお、回転角度の組合せは、回転角度が１つ〜４つの場合を含む。各分割パターンに対応する、分割態様を具体的に規定するデータ（各分割パターンにおいて画面（領域）が配置される位置を特定する情報）は、メモリ４に記憶されている。

表示情報生成部３４は、ＣＰＵ３がメモリ４に記憶されるプログラムに従って実行するアプリケーションに基づいて、表示部６に表示させる画像情報を生成する。ここでいう画像情報を、以下、「表示情報」という。

画像情報生成部３５は、画面分割制御部３３が出力する情報（図１３等に示すような、分割パターンに従った具体的な画面の配置）に、表示情報生成部５１が生成した表示情報を嵌め込むことによって、表示部６に表示するべき画像情報を編集する。画像情報生成部３５によって編集された画像情報を、画面情報と呼ぶ。画像情報生成部３５は、画面情報を画像処理部５に出力する。

画像処理部５は、たとえば表示部６のドライバ回路によって構成される。画像処理部５は、画像情報生成部３５が出力した画面情報に基づいて、表示部６の表示態様を制御する。つまり、画像処理部５は、画面情報に従った画像を表示部６に表示させる。

［１−４．分割パターンと表示部の表示内容］
以下、表２に示された分割パターンの一部について、その具体例を説明する。

１）分割パターン１
表２の分割パターン１は、回転角度が０°の顔画像のみが検出された場合の分割パターンである。

カメラ１が撮影した画像に、表示部６を図５（Ａ）の矢印Ａ１で示す向きから見た者の顔が撮影された場合、図５（Ｂ）に示されるように、撮影された画像１１０２には、当該者の顔画像６０１が含まれる。画像１１０２に対する顔認識処理がなされると、回転角度０°が出力される。これに応じて、分割パターン１が選択される。

分割パターン１は、図１２に示されるように、表示部６の全体が１つの表示領域とする。そして、当該表示領域には、表示情報の上下の向きが、矢印ＡＰ１として示されるように、カメラ１と隣接する側が下側となるように、表示される。矢印ＡＰ１の向きは、矢印Ａ１の向きと一致している。なお、表示部６は、横方向の寸法を４Ｒ、縦方向の寸法を３Ｒ、つまり、横と縦の寸法の比が４：３とされている。

分割パターン１に従った表示部６の表示態様を図５（Ｃ）に示す。図５（Ｃ）では、「ＡＢＣＤＥＦＧＨＩＪＫ」という文字列を正立した状態で表示させる表示情報が、カメラ１と隣接する側を下側として、表示されている。

２）分割パターン３
表２の分割パターン３は、回転角度が１８０°の顔画像のみが検出された場合の分割パターンである。

カメラ１が撮影した画像に、表示部６を図６（Ａ）の矢印Ａ２で示す向きから見た者の顔が撮影された場合、図６（Ｂ）に示されるように、撮影された画像１１０３には、当該者の顔画像６０２が含まれる。画像１１０３に対する顔認識処理がなされると、回転角度１８０°が出力される。これに応じて、分割パターン３が選択される。

分割パターン３は、図１２に示されるように、表示部６の全体が１つの表示領域とする。そして、当該表示領域には、表示情報の上下の向きが、矢印ＡＰ２として示されるように、カメラ１と隣接する側が上側となるように、表示される。矢印ＡＰ２の向きは、矢印Ａ２の向きと一致している。

分割パターン３に従った表示部６の表示態様を図６（Ｃ）に示す。図６（Ｃ）では、図５（Ｃ）と同様に、「ＡＢＣＤＥＦＧＨＩＪＫ」という文字列を正立した状態で表示させる表示情報が表示されている。ただし、分割パターン３では、分割パターン１と異なり、カメラ１と隣接する側が上側となる向きで、表示情報が表示されている。

３）分割パターン６
表２の分割パターン６は、０°と１８０°の２種類の回転角度の顔画像が検出された場合の分割パターンである。

カメラ１が撮影した画像に、表示部６を図７（Ａ）の矢印Ａ３および矢印Ａ４で示す向きから見た者の顔が撮影された場合、図７（Ｂ）に示されるように、撮影された画像１１０４には、顔画像６０３と顔画像６０４が含まれる。顔画像６０３は、矢印Ａ３の向きで表示部６を見ている者の顔に対応する。顔画像６０４は、矢印Ａ４の向きで表示部６を見ている者の顔に対応する。画像１１０４に対する顔認識処理がなされると、回転角度０°と１８０°が出力される。これに応じて、分割パターン６が選択される。

分割パターン６は、図１３に示されるように、表示部６の表示領域内に、２つの領域６１，６２を形成する。領域６１，６２の形状は、いずれも、表示部６と同じ縦横比を有し面積が等しい矩形である。領域６１，６２は、いずれも、その端部（後述するように、それらの中で表示される画像の下端部）が、表示部６の表示領域の端部に当接している。これにより、各領域を、当該表示を見る者に近い位置で表示させることができる。なお、図１３において、表示部６内のハッチングを施された部分は、表示部６の表示領域内の、領域６１，６２以外の領域である。分割パターン６では、このような部分には、背景が表示され、上記した表示情報は表示されない。

分割パターン６では、領域６１における表示の上下の向きは、矢印ＡＰ１に従った、カメラ１に隣接する側を下側とした向きとされ、領域６２における表示の上下の向きは、矢印ＡＰ２に従った、カメラ１に近い側を上側とした向きとされる。矢印ＡＰ１（図１３）の向きは矢印Ａ３（図７（Ａ））の向きと同じであり、矢印ＡＰ２（図１３）の向きは矢印Ａ４（図７（Ａ））の向きと同じである。

分割パターン６に従った表示部６の表示態様を図７（Ｃ）に示す。図７（Ｃ）では、表示部６内の領域６０５，６０６のそれぞれに、図５（Ｃ）と同様に、「ＡＢＣＤＥＦＧＨＩＪＫ」という文字列を正立した状態で表示させる表示情報が表示されている。領域６０５，６０６は、それぞれ領域６１，６２に対応した領域である。

ただし、分割パターン６では、分割パターン１と異なり、領域６０５では、カメラ１と隣接する側が下側となる向きで表示情報が表示され、領域６０６では、カメラ１に近い側が上側となる向きで表示情報が表示されている。

４）分割パターン７
表２の分割パターン７は、０°と２７０°の２種類の回転角度の顔画像が検出された場合の分割パターンである。

カメラ１が撮影した画像に、表示部６を図８（Ａ）の矢印Ａ５および矢印Ａ６で示す向きから見た者の顔が撮影された場合、図８（Ｂ）に示されるように、撮影された画像１１０５には、顔画像６０７と顔画像６０８が含まれる。顔画像６０７は、矢印Ａ５の向きで表示部６を見ている者の顔に対応する。顔画像６０８は、矢印Ａ６の向きで表示部６を見ている者の顔に対応する。画像１１０５に対する顔認識処理がなされると、回転角度０°と２７０°が出力される。これに応じて、分割パターン７が選択される。

分割パターン７は、図１４に示されるように、表示部６の表示領域内に、２つの領域６３，６４を形成する。領域６３，６４の形状は、いずれも、表示部６と同じ縦横比を有し面積が等しい矩形である。領域６３，６４は、いずれも、その端部（後述するように、それらの中で表示される画像の下端部）が、表示部６の表示領域の端部に当接している。図１４において、表示部６内のハッチングを施された部分は、表示部６の表示領域内の、領域６３，６４以外の領域である。分割パターン７では、このような部分には、背景が表示され、上記した表示情報は表示されない。

分割パターン７では、領域６３における表示の上下の向きは、矢印ＡＰ１に従った、カメラ１に隣接する側を下側とした向きとされ、領域６４における表示の上下の向きは、矢印ＡＰ３に従った向きとされる。矢印ＡＰ３に従った向きは、表示部６の表示領域の下端をカメラ１に隣接する端部とした場合の、当該表示部６の表示領域の左端を下側とした向きである。矢印ＡＰ１（図１４）の向きは矢印Ａ５（図８（Ａ））の向きと同じであり、矢印ＡＰ３（図１４）の向きは矢印Ａ６（図８（Ａ））の向きと同じである。

分割パターン７に従った表示部６の表示態様を図８（Ｃ）に示す。図８（Ｃ）では、表示部６内の領域６０９，６１０のそれぞれに、図５（Ｃ）と同様に、「ＡＢＣＤＥＦＧＨＩＪＫ」という文字列を正立した状態で表示させる表示情報が表示されている。領域６０９，６１０は、それぞれ領域６３，６４に対応した領域である。

ただし、分割パターン７では、分割パターン１と異なり、領域６０９では、カメラ１と隣接する側が下側となる向きで表示情報が表示され、領域６１０では、上記した表示部６の表示領域の左端が下側となる向きで表示情報が表示されている。

５）分割パターン１３
表２の分割パターン１３は、０°と１８０°と２７０°の３種類の回転角度の顔画像が検出された場合の分割パターンである。

カメラ１が撮影した画像に、表示部６を図９（Ａ）の矢印Ａ７、矢印Ａ８および矢印Ａ９で示す向きから見た者の顔が撮影された場合、図９（Ｂ）に示されるように、撮影された画像１１０６には、顔画像６１１と顔画像６１２と顔画像６１３が含まれる。顔画像６１１は、矢印Ａ７の向きで表示部６を見ている者の顔に対応する。顔画像６１２は、矢印Ａ８の向きで表示部６を見ている者の顔に対応する。顔画像６１３は、矢印Ａ９の向きで表示部６を見ている者の顔に対応する。画像１１０６に対する顔認識処理がなされると、回転角度０°と１８０°と２７０°が出力される。これに応じて、分割パターン１３が選択される。

分割パターン１３は、図１５に示されるように、表示部６の表示領域内に、３つの領域６５，６６，６７を形成する。領域６５，６６，６７の形状は、いずれも、表示部６と同じ縦横比を有し面積が等しい矩形である。領域６５，６６，６７は、いずれも、その端部（後述するように、それらの中で表示される画像の下端部）が、表示部６の表示領域の端部に当接している。図１５において、表示部６内のハッチングを施された部分は、表示部６の表示領域内の、領域６５，６６，６７以外の領域である。分割パターン１３では、このような部分には、背景が表示され、上記した表示情報は表示されない。

分割パターン１３では、領域６５における表示の上下の向きは、矢印ＡＰ１に従った、カメラ１に隣接する側を下側とした向きとされ、領域６６における表示の上下の向きは、矢印ＡＰ２に従った、カメラ１に近い側を上側とした向きとされ、領域６７における表示の上下の向きは、矢印ＡＰ３に従った向き、つまり、表示部６の表示領域の下端をカメラ１に隣接する端部とした場合の、当該表示部６の表示領域の左端を下側とした向きとされる。矢印ＡＰ１（図１５）の向きは矢印Ａ７（図９（Ａ））の向きと同じであり、矢印ＡＰ２（図１５）の向きは矢印Ａ８（図９（Ａ））の向きと同じであり、矢印ＡＰ３（図１５）の向きは矢印Ａ９（図９（Ａ））の向きと同じである。

分割パターン１３に従った表示部６の表示態様を図９（Ｃ）に示す。図９（Ｃ）では、表示部６内の領域６１４，６１５，６１６のそれぞれに、図５（Ｃ）と同様に、「ＡＢＣＤＥＦＧＨＩＪＫ」という文字列を正立した状態で表示させる表示情報が表示されている。領域６１４，６１５，６１６は、それぞれ領域６５，６６，６７に対応した領域である。

ただし、分割パターン１３では、分割パターン１と異なり、領域６１４では、カメラ１と隣接する側が下側となる向きで表示情報が表示され、領域６１５では、カメラ１に近い側が上側となる向きで表示情報が表示され、領域６１６では、上記した表示部６の表示領域の左端が下側となる向きで表示情報が表示されている。

６）分割パターン１２
分割パターン１２は、図１６に示されるように、表示部６の表示領域内に、３つの領域６８，６９，７０を形成する。領域６８，６９，７０の形状は、いずれも、表示部６と同じ縦横比を有し面積が等しい矩形である。領域６８，６９，７０は、いずれも、その端部（後述するように、それらの中で表示される画像の下端部）が、表示部６の表示領域の端部に当接している。図１６において、表示部６内のハッチングを施された部分は、表示部６の表示領域内の、領域６８，６９，７０以外の領域である。分割パターン１２では、このような部分には、背景が表示され、上記した表示情報は表示されない。

分割パターン１２では、領域６８における表示の上下の向きは、矢印ＡＰ１に従った、カメラ１に隣接する側を下側とした向きとされる。領域６９における表示の上下の向きは、矢印ＡＰ３に従った向き、つまり、表示部６の表示領域の下端をカメラ１に隣接する端部とした場合の、当該表示部６の表示領域の左端を下側とした向きとされ、領域７０における表示の上下の向きは、矢印ＡＰ４に従った向き、つまり、表示部６の表示領域の右端を下側とした向きとされる。

７）分割パターン１５
表２の分割パターン１５は、０°と９０°と１８０°と２７０°の４種類の回転角度の顔画像が検出された場合の分割パターンである。

カメラ１が撮影した画像に、表示部６を図１０（Ａ）の矢印Ａ１０、矢印Ａ１１、矢印Ａ１２および矢印Ａ１３で示す向きから見た者の顔が撮影された場合、図１０（Ｂ）に示されるように、撮影された画像１１０７には、顔画像６１７と顔画像６１８と顔画像６１９と顔画像６２０が含まれる。顔画像６１７は、矢印Ａ１０の向きで表示部６を見ている者の顔に対応する。顔画像６１８，６１９，６２０は、それぞれ矢印Ａ１１，Ａ１２，Ａ１３の向きで表示部６を見ている者の顔に対応する。画像１１０７に対する顔認識処理がなされると、回転角度０°と９０°と１８０°と２７０°が出力される。これに応じて、分割パターン１５が選択される。

分割パターン１５は、図１７に示されるように、表示部６の表示領域内に、４つの領域７１，７２，７３，７４を形成する。領域７１，７２，７３，７４の形状は、いずれも、表示部６と同じ縦横比を有し面積が等しい矩形である。領域７１，７２，７３，７４は、いずれも、その端部（後述するように、それらの中で表示される画像の下端部）が、表示部６の表示領域の端部に当接している。図１７において、表示部６内のハッチングを施された部分は、表示部６の表示領域内の、領域７１，７２，７３，７４以外の領域である。分割パターン１５では、このような部分には、背景が表示され、上記した表示情報は表示されない。

分割パターン１５では、領域７１における表示の上下の向きは、矢印ＡＰ１に従った、カメラ１に隣接する側を下側とした向きとされ、領域７２における表示の上下の向きは、矢印ＡＰ２に従った、カメラ１に近い側を上側とした向きとされる。また、領域７３における表示の上下の向きは、矢印ＡＰ３に従った向き、つまり、表示部６の表示領域の下端をカメラ１に隣接する端部とした場合の、当該表示部６の表示領域の左端を下側とした向きとされ、領域７４における表示の上下の向きは、矢印ＡＰ４に従った向き、つまり、表示部６の表示領域の右端を下側とした向きとされる。矢印ＡＰ１（図１７）の向きは矢印Ａ１０（図１０（Ａ））の向きと同じであり、矢印ＡＰ２（図１７）の向きは矢印Ａ１１（図１０（Ａ））の向きと同じであり、矢印ＡＰ３（図１７）の向きは矢印Ａ１２（図１０（Ａ））の向きと同じであり、矢印ＡＰ４（図１７）の向きは矢印Ａ１３（図１０（Ａ））の向きと同じである。

分割パターン１５に従った表示部６の表示態様を図１０（Ｃ）に示す。図１０（Ｃ）では、表示部６内の領域６２１，６２２，６２３，６２４のそれぞれに、図５（Ｃ）と同様に、「ＡＢＣＤＥＦＧＨＩＪＫ」という文字列を正立した状態で表示させる表示情報が表示されている。領域６２１，６２２，６２３，６２４は、それぞれ領域７１，７２，７３，７４に対応した領域である。

ただし、分割パターン１５では、分割パターン１と異なり、領域６２１では、カメラ１と隣接する側が下側となる向きで表示情報が表示され、領域６２２では、カメラ１に近い側が上側となる向きで表示情報が表示されている。また、領域６２３では、上記した表示部６の表示領域の左端が下側となる向きで表示情報が表示され、領域６２４では、上記した表示部６の表示領域の右端が下側となる向きで表示情報が表示されている。

なお、本実施の形態では、分割パターンはすべて画面分割パターン記憶部４３に記憶されているものとしたが、本発明はこれに限定されない。後述する表示制御処理において、逐次、分割パターンが生成されても良い。

［１−５．回転角度の正規化］
回転角度検出部３２による回転角度の正規化について説明する。

図１１（Ａ）の矢印Ａ１４の向きで表示部６を見る者と矢印Ａ１５の向きで表示部６を見る者がカメラ１に撮影された場合、カメラ１によって撮影された場合、図１１（Ｂ）に示されるように、画像１１０８には、前者の顔に対応する顔画像６２５と後者の顔に対応する顔画像６２６が含まれる。画像１１０８における基準となる軸が、矢印Ｌ１００で示されている。そして、顔画像６２５の軸が矢印Ｌ１０１で、顔画像６２６の軸が矢印Ｌ１０２で、それぞれ示されている。

回転角度検出部３２は、矢印Ｌ１０１と矢印Ｌ１００のなす角θ１を検出する。そして、表１を参照して、なす角θ１が属する範囲を判定し、判定した範囲に対応する「出力される角度」を、回転角度の検出結果として出力する。図１１（Ｂ）の矢印Ｌ１０１については、なす角θ１が属する範囲に対応する角度として「０°」が出力される。

回転角度検出部３２は、矢印Ｌ１０２についても、矢印Ｌ１００とのなす角θ２を検出する。そして、表１を参照して、なす角θ２が属する範囲を判定し、判定した範囲に対応する「出力される角度」を、回転角度の検出結果として出力する。図１１（Ｂ）の矢印Ｌ１０２については、なす角θ１が属する範囲に対応する角度として「２７０°」が出力される。

このような処理は、画像１１０８の顔画像６２５，６２６の向きを、画像１１０８Ａに顔画像６２５Ａ，６２６Ａとして示されるように調整する処理に相当する。

［１−６．表示制御の内容］
情報処理装置１００では、表示部６における表示内容が、カメラ１が撮影した画像に含まれる顔画像の数および向きに応じて制御される。図１８は、そのような制御のために実行される表示制御処理のフローチャートである。

図１８を参照して、情報処理装置１００への電源の投入が開始されると、ステップＳ１０で、表示部６が起動されて（表示部６への電源投入が開始されて）、表示部６での表示が開示される。

次に、ステップＳ２０で、カメラ１が起動される（カメラ１への電源投入が開示されて）。

次に、ステップＳ３０で、カメラ１による撮影が開始され、ステップＳ４０へ処理が進められる。

ステップＳ４０では、ＣＰＵ３は、設定情報記憶部４１に記憶されている情報を確認することにより、表示部６の表示領域を分割するような表示モードが可能か否かを判断する。具体的には、設定情報記憶部４１には、多人数モードが可能か否かの情報が記憶されており、可能であるとする情報が記憶されていれば、ＣＰＵ３は、ステップＳ５０へ処理を進め、不可能であるとする情報が記憶されていれば、ＣＰＵ３は、ステップＳ１１０へ処理を進める。

ステップＳ１１０では、ＣＰＵ３は、カメラ１によって撮影された画像に対して顔認識処理を実行し、当該顔認識処理によって取得された顔画像の回転角度を判断して、ステップＳ１２０へ処理を進める。なお、複数の顔画像が取得された場合には、たとえば、その中の最も大きい顔画像についての回転角度を判断する。

顔画像の大きさは、たとえば、検出された顔画像における口と目の距離に基づいて決定される。具体的には、たとえば、図４（Ｃ）を参照して説明したような、線ＬＨに対する領域Ｐ３の重心の距離を、口と目の距離とし、この距離に基づいて決定される。

ステップＳ１２０では、ＣＰＵ３は、顔画像の上下方向に合致するように、表示を回転させて、表示部６に表示させる画像情報を生成し、ステップＳ１３０へ処理を進める。具体的には、ステップＳ１２０では、ＣＰＵ３は、ステップＳ１１０で判断した回転角度に沿った上下方向で、表示情報生成部３４が生成した表示情報が、最も大きく表示されるように、画像情報を生成する。

ステップＳ１３０では、ＣＰＵ３は、ステップＳ１２０で生成した画面情報を表示部６に表示させるために画像処理部５に出力して、ステップＳ１４０へ処理を進める。

ステップＳ１４０では、ＣＰＵ３は、情報処理装置１００に対する電源ＯＦＦの操作がなされる等による、表示部６における表示を終了させる事態が生じたか否かを判断し、そうであると判断するとステップＳ１５０へ処理を進め、そのような事態がまだ生じていないと判断するとステップＳ３０へ処理を戻す。

ステップＳ１５０では、ＣＰＵ３は、表示部６への電源投入を停止し、そして、ステップＳ１６０でカメラ１への電源投入を停止して、表示制御処理を終了させる。

ステップＳ５０では、ＣＰＵ３は、カメラ１が撮影した画像に対して顔認識処理を実行し、当該撮影された画像に２人以上の顔画像が含まれているか否かを判断する。そして、２人以上の顔画像が含まれていると判断するとステップＳ６０へ処理を進め、そうではないと判断するとステップＳ１１０へ処理を進める。

ステップＳ６０では、ＣＰＵ３は、設定情報記憶部４１に記憶されている情報を確認することにより、多人数モードで動作する旨の設定情報が記憶されているか否かを判断し、そのような情報が記憶されていると判断するとステップＳ７０へ処理を進め、記憶されていないと判断するとステップＳ１００へ処理を進める。

ステップＳ１００では、撮影された画像に含まれているとステップＳ５０で判断した複数の顔画像の中の最も大きい顔画像を選択して、ステップＳ１１０へ処理を進める。

ステップＳ７０では、ＣＰＵ３は、撮影された画像に含まれているとステップＳ５０で判断した複数の顔画像の中の、大きいものから順に４つの顔画像を選択して、ステップＳ８０へ処理を進める。

ステップＳ８０では、ＣＰＵ３は、ステップＳ７０で選択した４つの顔画像のそれぞれについて、図４等を参照して説明したような方法で回転角度を判断して、ステップＳ９０へ処理を進める。

ステップＳ９０では、ＣＰＵ３は、ステップＳ８０で判断した回転角度に従って表示部６の表示領域を分割し、回転角度に従った態様で表示情報を嵌め込む、画像情報生成処理を実行して、ステップＳ１３０へ処理を進める。画像情報生成処理の詳細については、図１９を参照して説明する。

図１９を参照して、画像情報生成処理では、ＣＰＵ３は、まずステップＳ９１において、表２を参照して、ステップＳ８０で判断した回転角度の組合せに対応する画面の分割パターンを取得して、ステップＳ９２へ処理を進める。

ステップＳ９２では、ＣＰＵ３は、取得した画面の分割パターンの、表示情報生成部３４が生成した表示情報を、嵌め込むべき箇所に、嵌め込むべき方向で、嵌め込むことにより画面情報を生成して、図１８へ処理をリターンさせる。なお、嵌め込むべき箇所および方向についての情報は、図５〜図１７を参照して説明したように、各分割パターンに含まれている。

以上説明した本実施の形態の表示制御処理によれば、メモリ４に、多人数モードで動作する旨の設定情報が記憶されている場合には、カメラ１が撮影した画像に対して顔認識処理が実行され、複数の顔画像が含まれている場合には、各顔画像の軸の、カメラ１が撮影した画像において基準とされる軸に対する回転角度が検出される。そして、顔画像のそれぞれについて、検出された回転角度に従った角度で、表示情報を表示する画面が、表示部６に表示される。たとえば、画像１１０６（図１０（Ｂ））がカメラ１によって撮影された場合、図１０（Ｃ）に示されるように、表示部６には、顔画像６１７に対応して画面６２１が、顔画像６１８に対応して画面６２２が、顔画像６１９に対応して画面６２３が、そして、顔画像６２０に対応して画面６２４が、表示される。

ここでいう画面とは、図５（Ｃ）や図６（Ｃ）では、表示部６の表示領域と同じ領域を有する。また、図７（Ｃ）では、表示部６の表示領域の中の領域６０５，６０６であり、図８（Ｃ）では、表示部６の表示領域の中の領域６０９，６１０であり、図９（Ｃ）では、表示部６の表示領域の中の領域６１４，６１５，６１６であり、図１０（Ｃ）では、表示部６の表示領域の中の領域６２１，６２２，６２３，６２４である。

なお、カメラ１によって撮影された画像に含まれる複数の顔画像についての回転角度が判断される場合、同じ回転角度（表１に従った正規化による同じ「出力すべき角度」）を有する複数の顔画像は、表示制御処理では、１つの顔画像として取り扱われても良い。また、このような取扱いは、ステップＳ８０で行なわれても良いし、ステップＳ５０で顔認識処理が行なわれることにより当該ステップＳ５０で行なわれても良いし、ステップＳ７０で顔認識処理が行なわれることにより当該ステップＳ７０で行なわれても良い。

ステップＳ７０において上記のような取扱いがなされた場合、ＣＰＵ３は、大きい順に４つの顔画像を選択した後、当該４つの顔画像の中の回転角度が同じものを１つの顔画像として取り扱っても良い。この場合、回転角度が同じ複数の顔画像が１つの顔画像として取り扱われると、ステップＳ８０以降の処理の対象となる顔画像は４つより少なくなる。一方、ステップＳ７０において、大きい順に顔画像を選択する際に、すでに選択した顔画像の回転角度と同じ回転角度を検出された顔画像は選択しないようにしても良い。

また、図１８の表示制御処理では、ステップＳ３０〜ステップＳ１３０の処理は、表示が終了するまで継続して実行されることから、表示部６において表示がなされている間に、カメラ１によって顔画像を撮影される人数の変更があった場合には、表示部６における表示は、変更後の人数および（表示部６に対する）位置に対応するように更新される。

［２．第２の実施の形態］
以上説明した第１の実施の形態では、顔認識処理において取得された複数の顔画像について、各顔画像の軸の向きと同じ向きの画面を表示部６に表示させていた。そして、表示部６に表示される複数の画面（たとえば、図７（Ｃ）の領域６０５と領域６０６）は、同じ大きさとされていた。

本実施の形態では、このように表示される複数の画面は、顔認識処理において取得された顔画像の大きさに応じた大きさとされる。図２０は、本実施の形態における画面情報生成処理のフローチャートである。本実施の形態は、第１の実施の形態に対して、画像情報生成処理の内容が変更される。

図２０を参照して、画面情報生成処理では、ＣＰＵ３は、ステップＳＡ９１で、表２を参照して、ステップＳ８０で判断した回転角度の組合せに対応する画面の分割パターンを取得して、ステップＳＡ９２へ処理を進める。ここでは、図２１に示されるように、たとえば分割パターン１３が取得されたものとする。

ステップＳＡ９２では、ＣＰＵ３は、ステップＳ７０で選択した各顔画像の大きさの比率を算出して、ステップＳＡ９３へ処理を進める。

ステップＳＡ９３では、ＣＰＵ３は、ステップＳ９１で取得した分割パターンに含まれる各領域を、ステップＳＡ９２で取得した、各領域に対応する顔画像の大きさの比率に応じて変更して、ステップＳＡ９４へ処理を進める。

ここで、たとえば、図２１の分割パターンに、領域７５，領域７６，領域７７の３つの領域が含まれており、領域７５，領域７６，領域７７は、縦に３Ｔ、横に４Ｔの寸法を有する長方形であるとする。また、表示部６の表示領域の大きさは、縦が６Ｔ、横が８Ｔであるとする。ここで、図中の矢印ＡＰ１〜ＡＰ３は、各領域において表示される表示情報の上側の向きを示している。そして、表示がなされる上下方向を領域の縦と言い、左右方向を横と言う。

そして、各領域に対応する顔画像の大きさの比率が１：１．１：１．２であるとする。この場合、ステップＳＡ９３の処理により、図２１の分割パターンの各領域の大きさは、図２２の領域７５Ａ，領域７６Ａ，領域７７Ａに示されるように変更される。領域７５Ａは、縦に３Ｔ、横に４Ｔの寸法を有する長方形のままであるが、領域７６Ａは、縦に３．３Ｔ、横に４．４Ｔの寸法を有する長方形とされ、そして、領域７７Ａは、縦に３．６Ｔ、横に４．８Ｔの寸法を有する長方形とされる。

そして、ＣＰＵ３は、ステップＳＡ９４で、ステップＳＡ９３で大きさが変更された全領域が、領域間での割合を変更することなく表示部６の表示領域に収まるように、全領域の大きさが変更されて、ステップＳＡ９５へ処理を進める。

表示部６の表示領域は、図２１に示されるように縦が６Ｔ、横が８Ｔである。一方、変更後は、図２２に示されたように、縦が６．３Ｔ、横が８Ｔとなっている。よって、縦方向の寸法が、表示部６の表示領域の寸法をオーバーしている。そこで、領域７５，領域７６，領域７７のすべてについて、表示部６の表示領域に収まるように、（６．０Ｔ／６．３Ｔ）倍される。これにより、図２３に領域７５Ｂ，領域７６Ｂ，領域７７Ｂとして示されるように、各領域の縦横の寸法が変更される。図２３において、領域７５Ｂは、縦に２．８５Ｔ、横に３．８０Ｔの寸法を有し、領域７６Ｂは、縦に３．１４Ｔ、横に４．１８Ｔの寸法を有し、領域７７Ｂは、縦に３．４２Ｔ、横に４．５６Ｔの寸法を有する長方形とされる。

図２０に戻って、ステップＳＡ９５では、ＣＰＵ３は、各領域（領域７５Ｂ，領域７６Ｂ，領域７７Ｂ）に、矢印ＡＰ１〜ＡＰ３に従った向きに表示されるように、表示情報を挿入することにより、画面情報を生成して、図１８に処理をリターンさせる。このような処理に基づく表示部６での表示内容を、図２４に示す。

表示部６に表示される複数の領域について、各領域の大きさを変更した場合、変更後の各領域は、図２３または図２４に示すように、他の２つの領域と当接するように配列されても良いし、その中で表示情報の下端が表示される端部が表示部６の表示領域の端部に当接するように配列されても良い。

［３．第３の実施の形態］
情報処理装置１００では、表示部６に複数の画面を表示する場合、各画面についての表示の大きさを変更する情報の入力を操作部７において受付ける。

［３−１．縮小する情報の入力］
たとえば、図２５に示すように、表示部６において分割パターン１３に従い、領域７８，７９，８０が表示されているときに、領域７８を縮小する情報を入力された場合の表示内容の変更について説明する。

なお、図２５では、表示部６の表示領域の寸法が縦６Ｔ、横８Ｔであり、そして、領域７８，７９，８０の表示領域の寸法がいずれも縦３Ｔ、横４Ｔであるとする。

たとえば、領域７８を０．８倍の大きさにする情報を入力されると、まず図２６に領域７８Ａ，７９Ａ，８０Ａとして示すように、指定された領域のみの寸法が指定された割合だけ変更される。図２６では、領域７８の寸法は縦２．４Ｔ、横３．２Ｔである。領域７９，８０の表示領域の寸法は、縦３Ｔ、横４Ｔである。

そして、ＣＰＵ３は、縦方向と横方向の余剰率を算出する。図２６を参照して、表示部６の横方向については、当該横方向の寸法８．０Ｔに対して、領域７９Ａの横方向の４．０Ｔと領域８０Ａの縦方向の３．０Ｔの和７．０Ｔであるため、余剰率は、｛８．０Ｔ−（４．０Ｔ＋３．０Ｔ）｝／（４．０Ｔ＋３．０Ｔ）＝０．１４２と算出される。表示部６の縦方向については、当該縦方向の寸法６．０Ｔに対して、領域７９Ａの縦方向の３．０Ｔに対して空いている寸法（６．０Ｔ−３．０Ｔ−２．４Ｔ）である０．６Ｔであるため、余剰率は、０．６Ｔ／３．０Ｔ＝０．２と算出される。また、領域８０Ａについての余剰率は、表示部６の縦方向の寸法６．０Ｔに対する領域８０Ａの横方向の寸法４．０Ｔの空き２．０Ｔに基づいて、２．０Ｔ／４．０Ｔ＝０．５と算出される。

余剰率が最も小さい場所によって、指定された領域以外の領域の拡大倍率が決定される。上記の例では、最も小さい余剰率が０．１４２であったため、当該余剰率に１を加えた１．１４２倍が、拡大倍率とされる。

図２７に、縮小を指定された以外の領域７９Ａ，８０Ａを当該拡大倍率で拡大させるように修正された分割パターンを、図２７に、領域７８Ｂ，７９Ｂ，８０Ｂとして示す。

各領域における矢印ＡＰ１〜ＡＰ３は、各領域において表示される表示情報の上下方向の向きを示す。当該方向に従って、各領域に表示情報が嵌め込まれた状態を、図２８に示す。

なお、図２７および図２８では、領域７８Ｂ，７９Ｂ，８０Ｂの表示部６における表示位置は、それぞれ、当該領域に表示される画像の下端部が表示部６の端部に当接するように配置されている。

また、各領域の左右方向（各領域についての矢印ＡＰ１〜ＡＰ３で示される上下方向に直行する方向）の表示位置は、表示部６の他の領域の表示される部分以外の部分の左右方向についての中央とされている。つまり、たとえば領域７８Ｂの左右方向の表示位置は、図２７において、表示部６内の領域８０Ｂより右側の部分の、左右方向の中央に位置している。

以上図２５〜図２８を参照して説明した、表示部６に表示された複数の領域の中の或る領域を小さく表示させる場合としては、たとえば、当該或る領域が、操作部７を操作する者のために表示される領域である場合が考えられる。つまり、領域７８（領域７８Ａ，７８Ｂ）は、操作部７を操作し、矢印ＡＰ１の向きで表示部６を見る者に対して表示される領域である場合が考えられる。このような制御によれば、操作部７を操作する者が意図する操作内容に従った表示部６の表示内容の変更結果について、表示部６を見る他の者に対して確認を得るために、操作部７の操作者のための画面は小さく、他の者のために表示される画面を大きく、表示することができる。

［３−２．拡大する情報の入力］
たとえば、図２９に示すように、領域８１，８２，８３が表示されているときに、領域８３を拡大する情報を入力された場合の表示内容の変更について説明する。

なお、図２９では、表示部６の表示領域の寸法が縦６Ｔ、横８Ｔである。領域８１の寸法は、縦が１．８Ｔ、横が２．４Ｔである。領域８２の寸法は、縦が４．２Ｔ、横が５．６Ｔである。領域８３の寸法は、縦が２．４Ｔ、横が３．２Ｔである。

たとえば、領域７８を１．５倍の大きさにする情報を入力されると、まず図３０に領域８１Ａ，８２Ａ，８３Ａとして示すように、指定された領域のみの寸法が指定された割合だけ変更される。図３０では、領域８１Ａの寸法は、縦が１．８Ｔ、横が２．４Ｔである。領域８２Ａの寸法は、縦が４．２Ｔ、横が５．６Ｔである。領域８３Ａの寸法は、領域８３Ａの指定された倍率である１．５倍されて、縦が３．６Ｔ、横が４．８Ｔである。

そして、ＣＰＵ３は、すでに寸法を変更した領域８３Ａ以外の領域について、縦方向と横方向の超過率を算出する。

図３０を参照して、表示部６の横方向については、領域８３Ａの縦方向以外の４．４Ｔに対する、領域８２Ａの横方向の５．６Ｔに関し、超過率は、５．６Ｔ／４．４Ｔ＝１．２７となる。表示部６の縦方向については、領域８２Ａの縦方向の４．２Ｔと領域８１Ａの縦方向１．８Ｔに関し、超過率は（４．２Ｔ＋１．８Ｔ）／６．０Ｔ＝１．０となる。よって、表示部６の横方向の方が超過率が高いため、縮小倍率は１．２７とされる。

これにより、領域８２Ａと領域８１Ａの縦と横の寸法が（１／１．２７）倍される。
このように変更された寸法が、図３１に、領域８１Ｂ，８２Ｂ，８３Ｂ示されている。

そして、このような領域８１Ｂ，８２Ｂ，８３Ｂに、矢印ＡＰ１〜ＡＰ３に従った向きで表示情報が嵌め込まれた、表示部６における表示態様が、図３２に示されている。

なお、図３１および図３２では、領域８１Ｂ，８２Ｂ，８３Ｂの表示部６における表示位置は、それぞれ、当該領域に表示される画像の下端部が表示部６の端部に当接するように配置されている。

また、各領域の左右方向（各領域についての矢印ＡＰ１〜ＡＰ３で示される上下方向に直行する方向）の表示位置は、表示部６の他の領域の表示される部分以外の部分の左右方向についての中央とされている。つまり、たとえば領域８１Ｂの左右方向の表示位置は、図３１において、表示部６内の領域８３Ｂより右側の部分の、左右方向の中央に位置している。

［４．変形例等］
以上説明した各実施の形態では、情報処理装置１００は、キーボードを含む操作部７を備えていたが、本発明に係る情報処理装置は必ずしもキーボード等の操作部を備えていなくとも良い。たとえば、その本体全体で表示装置を構成するような装置（タッチパネルを含み、当該タッチパネルによって情報を入力する装置）であっても良い。このような装置では、基準となる向きについては、当該装置の本体に付された製品ロゴや社名ロゴが入っている向きが基準とされたり、ユーザが当該装置を通常持つであろう持ち易い向きを基準とされたり、また、基準となる向きを設けなくても、どの方向でも使うことが出来るようにすることを考慮された装置でも構わない。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ カメラ、２ カメラ制御部、３ ＣＰＵ、４ メモリ、５ 画像処理部、６ 表示部、７ 操作部、３１ 顔認識処理部、３２ 回転角度検出部、３３ 画面分割制御部、３４ 表示情報生成部、３５ 画像情報生成部、４０ プログラム記憶部、４１ 設定情報記憶部、４２ 角度修正情報記憶部、４３ 画面分割パターン記憶部、１００ 情報処理装置。

Claims (9)

1. 表示装置と、
   前記表示装置に表示させる情報を生成する生成部と、
   カメラと、
   前記カメラによって撮影された画像に対して顔画像を検出する顔認識処理を実行する顔認識処理部と、
   前記顔認識処理において検出された顔画像の数および向きに基づいて前記表示装置の表示内容を制御する制御部とを備え、
   前記制御部は、
   前記顔認識処理において１つの顔画像が検出された場合、検出された顔画像の向きに基づき、前記情報を前記表示装置に表示させる向きを決定して、前記情報を表示させ、
   前記顔認識処理において複数の顔画像が検出された場合、検出された顔画像の個数に基づき前記情報を前記表示装置に表示させる数を決定し、さらに、表示させる各情報の向きを検出された各顔画像の向きに基づいて決定して、複数個の前記情報を前記表示装置に表示させる、情報処理装置。
2. 前記制御部は、複数の前記情報のうち或る情報の表示の大きさを変更した場合、残りの情報については、形状を維持したまま、大きさを変更された前記或る情報とともに前記表示装置の表示領域に表示できる最大となるように表示の大きさを変更する、請求項１に記載の情報処理装置。
3. 入力を受付ける操作部をさらに備え、
   前記基準となる向きは、前記操作部から前記表示装置に向かう向きである、請求項１または請求項２に記載の情報処理装置。
4. 向きの組合せに関連付けて、前記表示装置に表示される前記情報の配置の組合せのパターンを記憶する画面分割パターン記憶部をさらに備え、
   前記制御部は、前記画面分割パターン記憶部に記憶された配置の組合せのパターンで、複数の前記情報を前記表示装置に表示させる、請求項１〜請求項３のいずれかに記載の情報処理装置。
5. 前記制御部は、前記顔認識処理において検出された顔画像の軸を決定し、検出された各顔画像の軸の前記撮影された画像における基準軸に対する回転角度を決定し、
   前記基準軸は、前記表示装置を基準となる向きで見ている被写体を前記カメラが撮影した画像における、当該被写体に対応する顔画像の軸であり、
   前記制御部は、前記情報を表示させる向きを、前記回転角度だけ回転させた画面で、前記表示装置に表示させる、請求項１〜請求項４のいずれかに記載の情報処理装置。
6. 前記制御部は、検出された各前記顔画像において、口から、両目を結ぶ線に対して引かれた垂線を、前記顔画像の軸とする、請求項５に記載の情報処理装置。
7. 前記制御部は、前記顔画像の軸の回転角度を正規化する、請求項５または請求項６に記載の情報処理装置。
8. 表示装置と、カメラと、プロセッサと、メモリとを備えた装置において、前記メモリに記憶され、前記プロセッサによって実行されることによって前記装置を情報処理装置として機能させるプログラムであって、
   前記プログラムは、前記プロセッサに、
   前記カメラによって撮影された画像に対して顔画像を検出する顔認識処理を実行するステップと、
   前記顔認識処理において１つの顔画像が検出された場合に、検出された顔画像の向きに基づき、前記情報を前記表示装置に表示させる向きを決定して、前記情報を表示させるステップと、
   前記顔認識処理において複数の顔画像が検出された場合に、検出された顔画像の個数に基づき前記情報を前記表示装置に表示させる数を決定し、さらに、表示させる各情報の向きを検出された各顔画像の向きに基づいて決定して、複数個の前記情報を前記表示装置に表示させるステップとを実行させる、情報表示用プログラム。
9. 表示装置と、カメラと、プロセッサとを備えた情報処理装置を制御する制御方法であって、
   前記プロセッサに、
   前記カメラによって撮影された画像に対して顔画像を検出する顔認識処理を実行するステップと、
   前記顔認識処理において１つの顔画像が検出された場合に、検出された顔画像の向きに基づき、前記情報を前記表示装置に表示させる向きを決定して、前記情報を表示させるステップと、
   前記顔認識処理において複数の顔画像が検出された場合に、検出された顔画像の個数に基づき前記情報を前記表示装置に表示させる数を決定し、さらに、表示させる各情報の向きを検出された各顔画像の向きに基づいて決定して、複数個の前記情報を前記表示装置に表示させるステップとを実行させる、情報処理装置の制御方法。

Images