JP2014078238A - マルチディスプレイ装置およびその制御方法 - Google Patents

Abstract

【課題】空間ジェスチャを用いて制御できるマルチディスプレイ装置およびその制御方法の提供。
【解決手段】マルチディスプレイ装置は、第１ディスプレイ部を含む第１ボディ（ｂｏｄｙ）と、第２ディスプレイ部を含む第２ボディ（ｂｏｄｙ）と、第１ボディおよび第２ボディを連結するヒンジ部と、第１ボディに設けられた第１撮像部と、第２ボディに設けられた第２撮像部と、第１および第２撮像部で、それぞれ撮像された複数のイメージを用いて、ユーザのジェスチャを認識し、認識されたユーザのジェスチャに対応する制御動作を行う制御部とを含む。制御部は、各撮像部の撮像範囲内におけるユーザ客体の動きを用いて、ユーザのジェスチャを認識する。それにより、マルチディスプレイ装置の動作をより容易に制御することができる。
【選択図】図１

Description

本発明は、マルチディスプレイ装置およびその制御方法に係り、より詳しくは、複数のディスプレイにより複数の作業画面を表示し、ユーザのジェスチャに応じて動作を制御するマルチディスプレイ装置およびその制御方法に関する。

最近、多様なディスプレイ装置が使用されている。このようなディスプレイ装置には、各種アプリケーションがインストールされ、ユーザの選択に応じて実行されることができる。ユーザは、ディスプレイ装置上において、電子機器で実行されるアプリケーションの動作を眺めつつ、入力装置を介して電子機器を制御することができる。特に、ユーザによって、持ち運びができるように製造される携帯型電子機器は、その限られた大きさにより、タッチスクリーン形態のユーザインターフェースを使用するディスプレイ装置として開発されるケースが多い。それにより、ユーザがタッチできる多様なグラフィックユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）を提供する。

グラフィックユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）は、駆動中（ｒｕｎｎｉｎｇ）のアプリケーションの動作をユーザが直観的に知ることができ、ユーザが当該装置をより容易かつ素早く制御できるように最適化した形状で提供される。適用されるアプリケーションやディスプレイ装置の形態に応じて多様なユーザインターフェース方法が開発されている。

しかし、従来のユーザインターフェースは、通常、一つのディスプレイユニットを備えるディスプレイ装置のために生成されたものである。それにより、複数個のディスプレイユニットを備えたマルチディスプレイ装置に適したユーザインターフェース方法に関する研究は遅れているのが実情であった。

特に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）およびソフトウェア技術が発達するにつれ、マルチディスプレイ装置は一つまたは複数のアプリケーションを表示する複数の作業画面（ｔａｓｋ ｓｃｒｅｅｎｓ）を提供できるようになった。前記複数の作業画面は、物理的或いはグラフィック的に区分される一つまたはそれ以上のタッチスクリーンを通じて提供されてもよい。

よって、複数の作業画面を提供するマルチディスプレイ装置において、ユーザがより直観的かつ便利にマルチディスプレイ装置を使用できるようにするための制御技術が必要になってきた。

米国特開第２０１０−０１８０２５４号公報 米国特開第２０１０−０１８２２４号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、空間ジェスチャを用いて制御できるマルチディスプレイ装置およびその制御方法を提供することにある。

本発明の上述の目的を達成するための一実施形態に係るマルチディスプレイ装置は、第１ディスプレイ部を含む第１ボディ（ｂｏｄｙ）と、第２ディスプレイ部を含む第２ボディ（ｂｏｄｙ）と、前記第１ボディおよび前記第２ボディを連結するヒンジ部と、前記第１ボディに設けられた第１撮像部と、前記第２ボディに設けられた第２撮像部と、前記第１および第２撮像部で、それぞれ撮像された複数のイメージを用いて、ユーザのジェスチャを認識し、認識された前記ユーザのジェスチャに対応する制御動作を行う制御部とを含み、前記制御部は、前記第１撮像部が撮像可能な第１撮像範囲内で移動するユーザ客体の動き方向と、前記第２撮像部が撮像可能な第２撮像範囲内で移動する前記ユーザ客体の動き方向とを用いて、前記第１および第２撮像範囲間の重複範囲内における前記ユーザのジェスチャを認識する。

そして、前記制御部は、前記ヒンジ部を基準に、前記第１および第２ボディの開く角度を検出し、前記検出された角度が予め設定された角度範囲内であれば、前記第１および第２撮像部を活性化させてよい。
そして、前記制御部は、前記ユーザのジェスチャを３次元的に認識してよい。
なお、前記制御部は、前記ユーザのジェスチャをステレオ映像として認識してよい。

そして、前記制御部は、前記ユーザ客体が一つの連続パターンをなすように移動すると、前記連続パターンを構成するそれぞれのユーザのジェスチャに対応する複数の制御動作を連続的に行ってよい。

一方、前記制御部は、マルチジェスチャ認識モードおよびシングルジェスチャ認識モードのいずれか一方で選択的に動作し、前記マルチジェスチャ認識モードが選択されると、前記第１および前記第２撮像範囲内で移動する複数のユーザ客体の動きを追跡して前記ユーザのジェスチャを認識し、前記シングルジェスチャ認識モードが選択されると、前記第１および第２撮像範囲内で移動する一つのユーザ客体の動きを追跡して前記ユーザのジェスチャを認識してよい。

そして、マルチディスプレイ装置の前記第１撮像部は、前記第１ボディの周縁領域のうち、前記ヒンジ部と接していない一側の周縁領域の中央部に配置され、前記第２撮像部は、前記第２ボディの周縁領域のうち、前記ヒンジ部と接していない一側の周縁領域の中央部に配置されてよい。

なお、マルチディスプレイ装置は、前記第２撮像部の配置された前記第２ボディの反対面に配置される第３撮像部を更に含んでよい。

そして、前記第１撮像部は、前記第１ボディの周縁領域のうち、前記ヒンジ部と接していない両角領域にそれぞれ配置される第１カメラおよび第２カメラを含み、前記第２撮像部は、前記第２ボディの周縁領域のうち、前記ヒンジ部の反対側の周縁領域の中央部に配置された第３カメラを含んでよい。

なお、マルチディスプレイ装置の前記第１撮像部は、前記第１ボディの周縁領域のうち、前記ヒンジ部と接していない両角領域にそれぞれ配置される第１カメラおよび第２カメラを含み、前記第２撮像部は、前記第２ボディの周縁領域のうち、前記ヒンジ部と接していない両角領域にそれぞれ配置される第３カメラおよび第４カメラを含んでよい。

一方、前記ユーザのジェスチャは、シングルフィンガージェスチャ、ツーフィンガージェスチャ、マルチフィンガージェスチャ、パームジェスチャ、マルチパームジェスチャ、フィストジェスチャおよびマルチフィストジェスチャのうち、いずれか一つであってよい。

なお、前記制御部は、前記第１または第２ディスプレイ部に表示されたアイコンに対してグリップジェスチャが認識されると、前記アイコンを選択する動作を行ってよい。

本発明の上述の目的を達成するための一実施形態によると、第１ディスプレイ部を含む第１ボディと、第２ディスプレイ部を含む第２ボディと、前記第１ボディと前記第２ボディとを連結するヒンジ部とを含むマルチディスプレイ装置の制御方法において、前記第１ボディに設けられた第１撮像部および前記第２ボディに設けられた第２撮像部を用いて撮像を行うステップと、前記第１および第２撮像部で、それぞれ撮像された複数のイメージを用いて、ユーザのジェスチャを認識するステップと、認識された前記ユーザのジェスチャに対応する制御動作を行うステップとを含み、前記ユーザのジェスチャを認識するステップは、前記第１撮像部が撮像可能な第１撮像範囲内で移動するユーザ客体の動き方向と、前記第２撮像部が撮像可能な第２撮像範囲内で移動する前記ユーザ客体の動き方向とを用いて、前記第１および第２撮像範囲間の重複範囲内における前記ユーザのジェスチャを認識する。

そして、マルチディスプレイ装置の制御方法は、前記ヒンジ部を基準に、前記第１および第２ボディの開く角度を検出するステップと、前記検出された角度が予め設定された角度範囲内であれば、前記第１および第２撮像部を活性化させるステップとを更に含んでよい。
そして、前記ユーザのジェスチャは、３次元的に認識されてよい。
なお、前記ユーザのジェスチャは、ステレオ映像として認識されてよい。

そして、前記制御動作を行うステップは、前記ユーザ客体が一つの連続パターンをなすように移動すると、前記連続パターンを構成するそれぞれのユーザのジェスチャに対応する複数の制御動作を連続的に行ってよい。

なお、前記ユーザのジェスチャを認識するステップは、マルチジェスチャ認識モードおよびシングルジェスチャ認識モードのいずれか一方で選択的に動作し、前記マルチジェスチャ認識モードが選択されると、前記第１および前記第２撮像範囲内で移動する複数のユーザ客体の動きを追跡して前記ユーザのジェスチャを認識し、前記シングルジェスチャ認識モードが選択されると、前記第１および第２撮像範囲内で移動する一つのユーザ客体の動きを追跡して前記ユーザのジェスチャを認識してよい。

一方、前記ユーザのジェスチャは、シングルフィンガージェスチャ、ツーフィンガージェスチャ、マルチフィンガージェスチャ、パームジェスチャ、マルチパームジェスチャ、フィストジェスチャおよびマルチフィストジェスチャのうち、いずれか一つであってよい。

なお、前記制御動作を行うステップは、前記第１または第２ディスプレイ部に表示されたアイコンに対するグリップジェスチャが認識されると、前記アイコンを選択する動作を行ってよい。

以上説明したように、本発明によれば、空間ジェスチャを用いて、便宜にマルチディスプレイ装置の制御が可能になる。

本発明の一実施形態に係るマルチディスプレイ装置の構成を示すブロック図である。 本発明の一実施形態に係る二つのカメラを備えたマルチディスプレイ装置の斜視図である。 本発明の多様な実施形態に係るジェスチャ認識範囲を表示する図である。 本発明の多様な実施形態に係るジェスチャ認識範囲を表示する図である。 本発明の一実施形態に係るマルチカメラで動きを認識する方法を説明する図である。 本発明の一実施形態に係るマルチカメラで動きを認識する方法を説明する図である。 本発明の一実施形態に係るマルチカメラで動きを認識する方法を説明する図である。 本発明の一実施形態に係るジェスチャ形状を認識する方法のフローチャートである。 本発明の一実施形態に係るシングルジェスチャ認識モードの動作を表示する図である。 本発明の一実施形態に係るシングルジェスチャ認識モードの動作を表示する図である。 本発明の一実施形態に係るマルチジェスチャ認識モードの動作を表示する図である。 本発明の一実施形態に係るマルチジェスチャ認識モードの動作を表示する図である。 本発明の一実施形態に係る連続ジェスチャを認識する方法を説明する図である。 本発明の一実施形態に係るマルチディスプレイ装置の制御方法のフローチャートである。 本発明の一実施形態に係るジェスチャ認識モードの画面を表示する図である。 本発明の一実施形態に係るシングルジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るシングルジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るシングルジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るシングルジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るシングルジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るマルチジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るマルチジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るマルチジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るマルチジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るマルチジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るマルチジェスチャによるユーザインターフェース変更を例示する図である。 本発明の一実施形態に係るマルチジェスチャによるユーザインターフェース変更を例示する図である。 本発明の多様な実施形態に係るマルチディスプレイ装置のカメラの配置例を説明するための図である。 本発明の多様な実施形態に係るマルチディスプレイ装置のカメラの配置例を説明するための図である。 本発明の多様な実施形態に係るマルチディスプレイ装置のカメラの配置例を説明するための図である。 本発明の多様な実施形態に係るマルチディスプレイ装置のカメラの配置例を説明するための図である。 本発明の多様な実施形態に係るマルチディスプレイ装置のカメラの配置例を説明するための図である。 本発明の一実施形態に係る回転自在のカメラが備えられたマルチディスプレイ装置を示す図である。 本発明の一実施形態に係るマルチディスプレイ装置の第１ボディと第２ボディとの間の相対角度に応じたスクリーンモードを示す図である。 本発明の一実施形態に係るマルチディスプレイ装置の第１ボディと第２ボディとの間の相対角度に応じたスクリーンモードを示す図である。 本発明の一実施形態に係るマルチディスプレイ装置の第１ボディと第２ボディとの間の相対角度に応じたスクリーンモードを示す図である。 本発明の一実施形態に係るマルチディスプレイ装置の第１ボディと第２ボディとの間の相対角度に応じたスクリーンモードを示す図である。 本発明の一実施形態に係るマルチディスプレイ装置の第１ボディと第２ボディとの間の相対角度に応じたスクリーンモードを示す図である。 本発明の一実施形態に係るマルチディスプレイ装置の構成を具体的に説明するためのブロック図である。 多様な実現例によるマルチディスプレイ装置の細部構成を説明するためのブロック図である。 複数のフレームバッファを用いて、各ディスプレイ部の動作を制御するマルチディスプレイ装置の構成を示すブロック図である。 統合フレームバッファを用いて、各ディスプレイ部の動作を制御するマルチディスプレイ装置の構成を示すブロック図である。 図４１に示す二つのディスプレイ部のうちの第１ディスプレイ部の構成を具体的に説明するための図である。 図４３に示すディスプレイパネルを構成するＲ、Ｇ、Ｂ画素を構成する回路構造を説明するための図である。 本発明の一実施形態に係るマルチディスプレイ装置のシステム階層構造を説明するための図である。 近接タッチを検知する方法を説明するための図である。 別方式による近接タッチを検知する方法を説明するための図である。 本発明の一実施形態に係るマルチディスプレイ装置の制御方法のフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。本発明を説明するうえで、関連の公知機能または構成に対する具体的な説明が、本発明の要旨を無駄に曖昧にすると判断される場合、その詳細な説明は省略する。そして、後述の用語は、本発明における機能を考慮して定義された用語として、それはユーザや運用者の意図または慣例等によって異なってよい。そのため、その定義は、本明細書の内容の全般に基づいて下すべきである。

本明細書においては、マルチディスプレイ装置は、一つまたはそれ以上のタッチスクリーンからなるディスプレイを備え、アプリケーションを実行したり、コンテンツを表示できるように構成される装置として、例えば、タブレット（Ｔａｂｌｅｔ）パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ）、ノートパソコン、ラップトップパソコン、携帯用のマルチメディア再生装置（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ：ＰＭＰ）、個人用の携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、携帯電話、デジタルフォトフレーム等で実現されてよい。

図１は、本発明の一実施形態に係るマルチディスプレイ装置１００の構成を示すブロック図である。
図１を参照すると、マルチディスプレイ装置１００は、第１ボディ２と、第２ボディ４およびヒンジ部１８５を含む。第１ボディ（ｂｏｄｙ）２は、制御部１３０と、第１撮像部１４０ａおよび第１ディスプレイ部１９０ａを含み、第２ボディ（ｂｏｄｙ）４は、第２撮像部１４０ｂおよび第２ディスプレイ部１９０ｂを含む。場合によっては、制御部１３０は、第２ボディ４に含まれてよく、数個で設けられ、第１および第２ボディ２、４の両方に含まれてよい。

第１ボディ２と第２ボディ４とは、ヒンジ部１８５によって連結される。第１ボディ２および第２ボディ４は、ヒンジ部１８５を基準に回転されてよい。それにより、第１および第２ディスプレイ部１９０ａ、１９０ｂが相接する形でクローズされてよく、その反対方向に完全に反り返って、第１および第２ディスプレイ部１９０ａ、１９０ｂの背面が相接する形でオープンされてよい。または、ヒンジ部１８５の構成に応じては、１８０度に完全に開かれる形でオープンされてもよい。ヒンジ部１８５を基準に、第１ボディ２および第２ボディ４が開かれる形については、後述する多様な実施形態を参照して具体的に説明する。

制御部１３０は、第１および第２ディスプレイ部１９０ａ、１９０ｂのいずれか一方を用いて、多様な画面をディスプレイすることができる。この場合、第１および第２ディスプレイ部１９０ａ、１９０ｂが同時に一画面を表示することもでき、各自で互いに異なる画面を表示することもできる。制御部１３０は、実行されるアプリケーションや、コンテンツの種類、ユーザの選択等のような多様な条件に応じて、第１および第２ディスプレイ部１９０ａ、１９０ｂのそれぞれを選択的に活性化させ、多様な画面をディスプレイすることができる。図１においては、第１および第２ディスプレイ部１９０ａ、１９０ｂのように、二つのディスプレイユニットを含む装置の構成を示しているため、デュアルディスプレイ装置と称してよい。しかし、ディスプレイユニットの数は、二つだけでなく、３つ以上であってよいため、説明の便宜上、本明細書ではマルチディスプレイ装置と通称して説明を進める。

第１および第２撮像部１４０ａ、１４０ｂは、それぞれ第１ボディ２および第２ボディ４に設けられてよい。第１および第２撮像部１４０ａ、１４０ｂのそれぞれは、カメラを含む。各カメラは、レンズとイメージセンサとを含む。

カメラに使用可能なレンズの種類には、一般的な汎用レンズ、広角レンズ、ズームレンズ等がある。第１および第２撮像部１４０ａ、１４０ｂは、一般的に同じレンズを備えるカメラで構成されるが、場合によっては、互いに異なるレンズを備えるカメラで構成されてよい。

制御部１３０は、第１および第２ディスプレイ部１９０ａ、１９０ｂの画面に対するユーザのタッチ、第１および第２ボディ２、４に設けられたボタン選択、ユーザのジェスチャ、音声命令等のような多様なユーザ操作に応じて、マルチディスプレイ装置の動作を制御する。仮に、第１および第２ボディ２、４に電源ボタンが設けられているとしたら、その電源ボタンの選択有無に応じて、ターンオンまたはターンオフ動作を行うことができる。または、第１および第２ディスプレイ部１９０ａ、１９０ｂの画面上にメニューが表示されており、そのメニューをユーザがタッチした場合、タッチされたメニューに対応する動作を行うこともできる。

ユーザのジェスチャを認識するモードにおいては、制御部１３０は、第１および第２撮像部１４０ａ、１４０ｂで、それぞれ撮像された複数のイメージを用いて、ユーザのジェスチャを認識することができる。図１に示すように、複数の撮像部１４０ａ、１４０ｂは、互いに異なるボディに装着されるため、互いに異なる角度から同じ被写体（仮に、ユーザの手や、顔、入力ペン等）を撮像することができる。各撮像部１４０ａ、１４０ｂが互いに異なる角度からユーザ客体を撮像するようになると、単純な２次元的動きだけでなく、３次元的な動きまで検出できる。それにより、より多様なユーザのジェスチャを認識することができ、その認識結果もより精密に得ることができる。ユーザ客体の意味は、マルチディスプレイ装置１００に命令を入力するための手段を意味するものとして、例えば、手のような身体の一部であってよく、ペンのような外部装置であってよい。

制御部１３０は、第１および第２撮像部１４０ａ、１４０ｂで、それぞれ撮像された複数のイメージを総合的に考慮し、ユーザのジェスチャを認識する。複数のイメージを総合的に考慮し、ユーザのジェスチャを認識する方法については、具体的に後述することにする。

制御部１３０は、ユーザのジェスチャが認識されると、そのユーザのジェスチャに対応する動作を行う。具体的には、アプリケーション実行、各種アイコン選択、カーソル移動、アプリケーション実行終了、モード切り替え、機能実行等のような多様な動作を行う。または、制御部１３０は、第１および第２ディスプレイ部１９０ａ、１９０ｂ間の画面交換や、第１および第２ディスプレイ部１９０ａ、１９０ｂのいずれか一方でディスプレイされていた画面を、第１および第２ディスプレイ部１９０ａ、１９０ｂのいずれもが同時にディスプレイするように画面を拡大する動作、その反対に、画面を縮小する動作、画面を除去する動作等のように、画面表示に関連した各種動作を行うこともできる。各ユーザのジェスチャ別に対応する動作については、予め設定された保存部（図示せず）に保存されてよい。

その他に、制御部１３０は、第１ボディ２と第２ボディ４との間の角度を検出し、ユーザに検出された角度情報を報知したり、その検出された角度にマッチングする動作を行うこともできる。

このような制御部１３０の多様な動作例について、以下において具体的に説明するが、まずは、マルチディスプレイ装置の外形構成について説明する。

図２は、本発明の一実施形態に係る二つのカメラを備えたマルチディスプレイ装置の斜視図である。
図２を参照すると、マルチディスプレイ装置１００の第１ボディ２および第２ボディ４は、ヒンジ部１８５によって連結され、相対的に移動できるように構成される。第１ボディ２と第２ボディ４との間の角度は、０度から３６０度の間の任意の値であってよい。第１カメラ１４１は、第１ボディ２の周縁領域のうち、前記ヒンジ部１８５の反対側の周縁領域の中央部に配置される。第２カメラ１４２は、第２ボディ４の周縁領域のうち、前記ヒンジ部１８５の反対側の周縁領域の中央部に配置される。

制御部１３０は、ジェスチャ認識モードが活性化されると、第１カメラ１４１および第２カメラ１４２を用いて被写体を撮像し、その撮像された結果を用いて、ユーザのジェスチャを判断した後、そのユーザのジェスチャに対応する動作を行う。ジェスチャ認識モードは、ユーザのボタン操作や、ボディ回転、特定のジェスチャ認識等が発生した場合に活性化されてよい。

仮に、ボディ回転を用いて、ジェスチャ認識モードに切り替える実施形態によると、ユーザが第１ボディ２および第２ボディ４のいずれか一方を回転させ、そのねじ山の角度（ｉｎｃｌｕｄｅｄ ａｎｇｌｅ）が一定角度範囲だけ開くと、制御部１３０はジェスチャ認識モードで動作する。それにより、ユーザは、ジェスチャを用いてマルチディスプレイ装置の動作を制御できる。

第１カメラ１４１および第２カメラ１４２のそれぞれの撮像範囲は、第１ボディ２および第２ボディ４の間の角度（３６０度−θ）に応じて異なってくる。制作者は、ユーザのジェスチャを最も効果的に認識できる角度またはユーザがマルチディスプレイ装置を利用する際、一番頻繁に使用する姿勢等を考慮し、認識角度を設定して保存できる。それによると、第１ボディ２および第２ボディ４の間の角度（３６０度−θ）が予め設定された認識角度範囲内であれば、制御部１３０は自動的にジェスチャ認識モードで動作する。一例として、第１ボディ２および第２ボディ４の間の角度（３６０度−θ）が６０度ないし１５０度の間である場合、ジェスチャ認識モードで動作する。

ジェスチャ認識モードで動作する角度になると、マルチディスプレイ装置１００はユーザに報知する。一実施形態として、ヒンジ部１８５がジェスチャ認識モードで動作するように設定された境界角度分だけ開かれると、凹凸やストッパ（ｓｔｏｐｐｅｒ）を用いて、カチッと引っかかるようにすることで、ユーザにジェスチャ認識モードを認識させることができる。

別の実施形態として、ジェスチャ認識モードで動作する境界角度で、制御部１３０が報知音や視覚的なメッセージを発生させることにより、ユーザにジェスチャ認識モードを認識させることができる。その報知音は、ビープ（ｂｅｅｐ）音、メロディ、音声ガイド等であってよい。

別の例としては、角度によらず、ユーザがマルチディスプレイ装置１００のディスプレイ部１９０ａ、１９０ｂ上のジェスチャ認識モードをタッチしたり、第１または第２ボディ２、４上のジェスチャ認識モードキーを押すことで、マルチディスプレイ装置１００をジェスチャ認識モードで実行させることができる。

マルチディスプレイ装置１００がユーザのジェスチャを認識するためには、カメラの認識範囲内でユーザの動きがなければならない。一例として、ユーザの動きとは、第１或いは第２カメラ１４１、１４２を通じて検知されるユーザの手またはペン等の動きを意味する。

以上のような実施形態において、第１カメラおよび第２カメラ１４１、１４２は、ジェスチャ認識モードが実行される前には、ターンオフまたは非活性されてして、ジェスチャ認識モードが実行された際に活性化されてよい。

一方、上述のように、ジェスチャ認識モードは、特定ジェスチャが認識されたときに行われてよい。この場合には、第１および第２カメラ１４１、１４２は常に活性化されていなければならない。制御部１３０は、第１および第２カメラ１４１、１４２によって撮像されるユーザのジェスチャを持続的にモニタリングする途中に、特定ジェスチャ、仮に、ユーザが手や指先を画面方向にプッシュするジェスチャを取る場合に、ジェスチャ認識モードに自動的に切り替わってよい。特定ジェスチャが認識される前までは、ユーザのジェスチャがあるとしても、それに対応する動作を行わずに、タッチやボタン操作、音声操作等のみに応じて、動作を行うことができる。

図３ないし図４は、本発明の多様な実施形態に係るジェスチャ認識範囲を表示する図である。
図３においては、マルチディスプレイ装置１００に一般的なカメラが配置された場合のジェスチャ認識範囲を示している。第１および第２ボディ２、４に、それぞれ第１および第２カメラ１４１、１４２が備えられる。カメラは、一定範囲の画角（ｖｉｅｗ ａｎｇｌｅ）を有する。画角とは、撮影時に一定の画面内に含めることができる水平および垂直視野角の範囲を意味する。第１および第２カメラ１４１、１４２が標準レンズを使用する一般的なカメラである場合、約４５度程度の画角を有する。３Ｄジェスチャを正確に認識するためには、立体的なユーザ客体の模様または動きを認識することができなければならない。よって、第１カメラ１４１の認識範囲６と第２カメラ１４２の認識範囲７とが重なる部分をジェスチャ認識領域に設定する。

第１ボディ２と第２ボディ４との間の角度が変わるとしても、第１カメラ１４１の認識範囲６と第２カメラ１４２の認識範囲７とが重なる部分は、一定に維持される。ただ、第１ボディ２と第２ボディ４との間の角度に応じて、マルチディスプレイ装置１００とジェスチャ認識領域との距離が変わってよい。

第１および第２カメラ１４１、１４２の別の実施形態として、マルチディスプレイ装置１００はズームレンズを含むカメラを備えることができる。上述のように、第１および第２ボディ２、４の間の角度に応じて、ジェスチャ認識領域の距離が変わってよい。よって、ズームレンズを含むカメラは、ズーム機能を用いてカメラが認識するユーザ客体の距離を一定に維持させることができる。

図４において、マルチディスプレイ装置１００に広角カメラが配置される場合のジェスチャ認識範囲を示している。広角カメラは、一般のカメラより広い視野角を有するカメラを意味し、代表的には魚眼レンズ（ｆｉｓｈ−ｅｙｅ ｌｅｎｓ）カメラがある。図４を参照すると、第１および第２ボディ２、４に、それぞれ第１および第２カメラ１４１−１、１４２−１が備えられる。そして、マルチディスプレイ装置１００に備えられたカメラが認識できる範囲８、９を示している。第１および第２カメラ１４１−１、１４１−２は、広角カメラであるため、カメラの認識範囲８、９は、図３において示すカメラ認識範囲６、７より広い。例えば、第１および第２カメラ１４１−１、１４１−２が魚眼レンズカメラである場合、第１および第２カメラ１４１−１、１４２−１は、それぞれ１８０度の視野角を有する。よって、広角カメラを備えたマルチディスプレイ装置１００は、一般のカメラを備えた場合より広いジェスチャ認識領域を確保できる。

図３および図４に示すように、第１および第２ボディ２、４がヒンジ部を基準に一定のねじ山の角度を有するように回転した状態においてのみ、カメラ認識範囲が重なってジェスチャ認識領域が形成されてよい。よって、マルチディスプレイ装置がクローズされた状態や、１８０度に開かれた状態等の場合には、各カメラを用いたユーザのジェスチャ認識ができないか、不要な場合が発生する場合がある。このような場合、不要な電力消耗を防止するために、少なくとも一つのカメラは非活性化させることができる。非活性化とは、カメラに供給される電源を遮断してターンオフしたり、レンズカバーをクローズする等の動作であってよい。仮に、クローズ状態では、両カメラを全て非活性化させ、マルチディスプレイ装置が予め設定されたねじ山の角度以上に開くようにオープンされると、両カメラを全てまたは一つのみを活性化させることができる。活性化とは、電源を再び供給してターンオンさせたり、レンズカバーをオープンする等の動作であってよい。

ジェスチャ認識モードである場合、マルチディスプレイ装置１００は、一般的に第１および第２ボディ２、４にそれぞれ配置された二つのカメラを活性化させることができる。そして、ジェスチャ認識範囲において、ユーザの一定の動きがあると、マルチディスプレイ装置１００はそれを認識して対応する動作を行う。マルチディスプレイ装置１００がユーザのジェスチャを認識する方法について、以下で説明する。

図５ないし図７は、本発明の一実施形態に係るマルチカメラで動きを認識する方法を説明する図である。
制御部が、ユーザ客体の動きを検出するために、最小３つのフレーム（ｆｒａｍｅ）のイメージが必要になる。しかし、動く物体を撮影する場合、形体がぼやけて捉えられるブレ（ｂｌｕｒｒｉｎｇ）現象が発生するおそれがあるため、少なくとも５乃至６フレーム以上のイメージが必要である。

図５を参照すると、一つのユーザ客体５１は、ジェスチャ認識領域において左から右に動く。第１および第２カメラ１４１、１４２は、ユーザ客体５１の動きを捉える。図５の上側の３つのイメージ７１ａ、７１ｂ、７１ｃは、第１カメラ１４１で捉えられるイメージを示しており、下側の３つのイメージ７２ａ、７２ｂ、７２ｃは、第２カメラ１４２で捉えられるイメージを示すものである。

第１カメラ１４１は、ユーザ客体を下から撮像したイメージを捉える。ユーザ客体５１が動き始める時点を捉えた第１カメラ１４１の１番目のイメージ７１ａには、全画面の左側にユーザ客体が存在する。２番目のイメージ７１ｂには、全画面の中央部分にユーザ客体が存在する。３番目のイメージ７１ｃには、全画面の右側にユーザ客体が存在する。同様に、第２カメラ１４２は、ユーザ客体を正面から撮像したイメージを捉える。ユーザ客体５１が動き始める時点を捉えた第２カメラ１４２の１番目のイメージ７２ａには、全画面の左側にユーザ客体が存在する。２番目のイメージ７２ｂには、全画面の中央部分にユーザ客体が存在する。３番目のイメージ７２ｃには、全画面の右側にユーザ客体が存在する。

マルチディスプレイ装置１００の制御部１３０は、少なくとも３つのイメージを用いて、ユーザ客体５１の形状または動きを検出し、ジェスチャを認識する。ジェスチャを認識すると、認識されたジェスチャに対応する動作を行う。

ジェスチャを認識する別の実施形態としては、第１カメラ１４１が主にユーザのジェスチャを認識し、第２カメラ１４２は第１カメラ１４１のサブとして、ユーザのジェスチャのデプス（ｄｅｐｔｈ）を認識することができる。デプス（ｄｅｐｔｈ）とは、一定の面または地点を基準に、一距離の遠近を意味する。この場合、第２カメラ１４２は、デプスカメラであってよい。または、第１カメラ１４１と第２カメラ１４２との役割が逆となってよい。

図６を参照すると、一つのユーザ客体５１は、マルチディスプレイ装置１００の、ある方向に動く。第１および第２カメラ１４１、１４２はユーザ客体５１の動きを捉える。

ユーザ客体５１が動き始める時点を捉えた第１カメラ１４１の１番目のイメージ７５ａには、全画面の下部にユーザ客体が存在し、第２カメラ１４２の１番目のイメージ７６ａには、全画面の中央部分に小さい形状のユーザ客体が存在する。第１カメラ１４１の２番目のイメージ７５ｂには、全画面の中央部分にユーザ客体が存在し、第２カメラ１４２の２番目のイメージ７６ｂには、全画面の中央部分に若干大きくなったユーザ客体が存在する。第１カメラ１４１の３番目のイメージ７５ｃには、全画面の上部の端部にまでユーザ客体が存在し、第２カメラ１４２の３番目のイメージ７６ｃには、全画面の中央部分により大きくなったユーザ客体が存在する。

よって、制御部１３０は、第１カメラ１４１で捉えられるユーザ客体の形状および動きと、第２カメラ１４２で捉えられるユーザ客体の形状および動きとを検出し、それを用いてユーザ客体の空間ジェスチャを認識する。マルチディスプレイ装置１００は、認識されたジェスチャに対応する動作を行う。

図６に示すように、マルチディスプレイ装置１００は、互いに異なるボディに配置された複数のカメラ１４１、１４２を使用して、ユーザ客体の動きを把握するため、立体的なジェスチャまで判断することができる。すなわち、図６において、ユーザ客体の正面に置かれた第２カメラ１４２は、第２ディスプレイ部１９０ｂの画面に平行なＸ−Ｙ平面における動きを検知することができるが、ユーザ客体の下側に置かれた第１カメラ１４１は、第２ディスプレイ部１９０ｂの画面に垂直のＺ軸方向への動きを検知することができる。制御部１３０は、これらのカメラ１４１、１４２の撮像結果を組み合わせて、ユーザの立体的なジェスチャを認識することができる。それにより、制御動作にマッチングさせることができるユーザのジェスチャがより多様になり、ジェスチャの認識率もより細かくになる。

図７は、ユーザのジェスチャをステレオ（ｓｔｅｒｅｏ）映像として認識するもう一つの方法を示す図である。
図５ないし図６で示す図では、第１および第２カメラ１４１、１４２が、一方は正面に、他方は下に配置されている。よって、カメラを基準にして見ると、一方のカメラはユーザの動きを上下左右の動きから認識し、他方のカメラは遠近の動きから認識する。しかし、図７に示すような図では、第１および第２カメラ１４１、１４２は、ユーザの動きを方向が逆の同一の動きとして認識する。すなわち、平行する二つのカメラで入力されるユーザの動きの映像をステレオ映像という。

図７を参照すると、一つのユーザ客体はマルチディスプレイ装置１００の、ある方向に動く。第１および第２カメラ１４１、１４２は、ユーザ客体の動きを捉える。しかし、カメラで捕らえられるユーザ客体の動きは、図５ないし図６を参照して説明したものと相違している。

すなわち、ユーザ客体の動き始める時点を捉えた第１カメラ１４１の一番目のイメージ７７ａには全画面の右側端の中央部にユーザ客体が存在し、第２カメラ１４２の一番目のイメージ７８ａには全画面の左側端の中央部にユーザ客体が存在する。第１カメラ１４１の二番目のイメージ７７ｂには全画面の右側から中央部にまでユーザ客体が存在し、第２カメラ１４２の二番目のイメージ７８ｂには全画面の左側から中央部にまでユーザ客体が存在する。第１カメラ１４１の三番目のイメージ７７ｃには全画面の左側端部にまでユーザ客体が存在し、第２カメラ１４２の三番目のイメージ７８ｃには全画面の右側端にまでユーザ客体が存在する。

よって、制御部１３０は、第１カメラ１４１で捉えられるユーザ客体の形状および動きと、第２カメラ１４２で捉えられるユーザ客体の形状および動きとを検出し、それを用いてユーザ客体の空間ジェスチャを認識する。マルチディスプレイ装置１００は、認識されたジェスチャに対応する動作を行う。

図５ないし図７においては、ユーザ客体が一つの場合、動きを認識する方法について説明したが、ユーザ客体が二つ以上の場合にも同様に適用してよい。

図８は、本発明の一実施形態に係るジェスチャ形状を認識する方法のフローチャートである。
ジェスチャ形状を認識する方法は、第１または第２カメラのうち少なくとも一方のカメラが、ユーザ客体のイメージを撮像するステップ（Ｓ８１０）、ＲＭＣＴ（Ｒｅｖｉｓｅｄ Ｍｏｄｉｆｉｅｄ Ｃｅｎｓｕｓ Ｔｒａｎｓｆｏｒｍ）イメージに変換するステップ（Ｓ８２０）、局部構造特徴を検出するステップ（Ｓ８３０）、特徴点加重値テーブルを用いて類型を確認するステップ（Ｓ８４０）およびジェスチャを認識するステップ（Ｓ８５０）を含む。

ユーザ客体のイメージを撮像するステップ（Ｓ８１０）においては、第１または第２カメラのうち少なくとも一方を用いて、ユーザ客体イメージを撮像する。ＲＭＣＴイメージに変換するステップ（Ｓ８２０）においては、撮像されたイメージを、ＲＭＣＴを用いて変換する。ＲＭＣＴは、３×３ローカル領域で、周辺ピクセルと平均値との相関関係によってイメージを変換する方法を意味する。局部構造特徴を検出するステップ（Ｓ８３０）においては、ＲＭＣＴによって変換されたイメージの局部構造特徴を検出する。局部構造特徴を検出し、それを用いて全構造特徴を検出する。特徴点加重値テーブルを用いて類型を確認するステップ（Ｓ８４０）においては、検出された全構造特徴と特徴点加重値テーブルとを用いて、一致する特徴を有するジェスチャの類型を確認する。ジェスチャを認識するステップ（Ｓ８５０）では、一致する特徴を有するジェスチャが確認されると、ユーザ客体の形状を確認されたジェスチャとして認識し、マルチディスプレイ装置１００は対応する動作を行う。

＜ジェスチャ認識に関する多様な実施形態＞
図９、図１０は、本発明の一実施形態に係るシングルジェスチャ認識モードの動作を表示する図である。
シングルジェスチャ認識モードは、マルチディスプレイ装置１００が一つのユーザ客体の動きのみを空間ジェスチャの手段として認識することを意味する。例えば、マルチディスプレイ装置１００は、ユーザの任意の片手をユーザ客体として認識し、認識された手の動きのみを空間ジェスチャとして認識することができる。この場合、マルチディスプレイ装置１００は、他方の手または他人の手の動きがカメラに捉えられるとしても、ジェスチャとして認識しない。よって、シングルジェスチャ認識モードは、ユーザ客体と認識されない客体によるインタラプト（ｉｎｔｅｒｒｕｐｔ）は発生するとしても、正常なジェスチャ認識が可能である。

図９を参照すると、マルチディスプレイ装置１００によって認識されたユーザ客体５１がジェスチャ認識領域で動く。ジェスチャ認識領域は、第１および第２カメラ１４１、１４２の認識範囲が重なる領域である。マルチディスプレイ装置１００は、第１および第２カメラ１４１、１４２によって捉えられたユーザ客体の形または動きを検出してジェスチャを認識し、対応する動作を行う。

シングルジェスチャ認識モードを選択する一実施形態は、ユーザがタッチスクリーンまたはボタンを用いて、ジェスチャ認識メニューからシングルジェスチャ認識モードを選択することができる。別の実施形態は、ジェスチャ認識モードを実行させたとき、一つのユーザ客体の一定の形状を一定時間保持すると、シングルジェスチャ認識モードで動作するようにすることができる。具体的な例として、ユーザが第２カメラ１４２に向けて、片手を開いて５秒間保つと、シングルジェスチャ認識モードで動作するようにすることができる。この場合、ディスプレイ部は、シングルジェスチャ認識モードで動作するというお知らせを表示したり、ユーザにシングルジェスチャ認識モードで使用するかを確認する内容を表示することができる。または、スピーカのようなオーディオ出力部がシングルジェスチャ認識モードで動作するというビープ音、メロディ、音声ガイド等を出力することができる。

シングルジェスチャ認識モードにおいては、マルチディスプレイ装置１００が一つのユーザ客体のみを認識することができるため、別のユーザ客体のインタラプトから影響を受けない。例えば、ユーザが一つのユーザ客体７１を認識させた後、ジェスチャ動作を行う途中に、他人のユーザ客体７６がジェスチャ認識領域内に入ってくるという場合がある。しかし、マルチディスプレイ装置１００のシングルジェスチャ認識モードは、一つのユーザ客体のみをジェスチャ動作手段として認識するため、他人のユーザ客体７６がジェスチャ認識領域内で認識可能なジェスチャ動作を行うとしても、マルチディスプレイ装置１００は影響を受けない。

図１０を参照すると、別の実施形態として、ユーザ客体がペン４９である場合を示している。マルチディスプレイ装置１００にジェスチャを入力させるための手段は、ユーザの手の他に、様々な手段が可能である。ペン４９は、別の機能がない単純構造であってよく、近接センシングのためにコイルが含まれた構造であってよく、別の種々の付加機能が含まれた構造であってよい。

マルチディスプレイ装置１００は、ユーザの手やペンを区分せずに、一つの入力手段として認識することができる。または、上述のように、カメラを用いてペンの形状を認識し、ペンとユーザの手とを区分して認識することができる。

ユーザが手を用いてマルチディスプレイ装置にジェスチャを認識させる途中に、ペンを用いてジェスチャを認識させることができ、その反対の場合も可能である。この場合、マルチディスプレイ装置１００は、入力手段が変更された場合、ディスプレイ部に入力手段が変更されて、新たに入力手段を認識するというお知らせを表示することもできる。または、お知らせを表示することなく、ディスプレイ部に表示されるポインタ等のようなＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）客体の模様または色相等を変更し、入力手段が変更されたことを表示することもできる。または、何のお知らせや変更なしに、マルチディスプレイ装置の内部的にのみ、入力手段が変更されたことを認識していることもできる。

マルチディスプレイ装置１００がジェスチャを認識して動作を行う方法は、図９を参照して説明した内容と同様である。

図１１、図１２は、本発明の一実施形態に係るマルチジェスチャ認識モードの動作を表示する図である。
マルチジェスチャ認識モードは、マルチディスプレイ装置１００が少なくとも二つのユーザ客体の動きを空間ジェスチャの手段として認識することを意味する。例えば、マルチディスプレイ装置１００は、ユーザの両手をユーザ客体として認識し、両手の動きを空間ジェスチャとして認識することができる。この場合、両手が交差する場合にも、ジェスチャ認識が可能である。

図１１を参照すると、二つユーザ客体５２、５３は、ジェスチャ認識領域で一定に動く。マルチディスプレイ装置１００は、第１および第２カメラ１４１、１４２によって捉えられた二つのユーザ客体５２、５３の動きを検出してジェスチャを認識し、上記ジェスチャに対応する動作を行う。

図１２を参照すると、一つのユーザ客体は、ユーザの手５４であり、もう一つはペン４９である場合を示している。マルチジェスチャ認識モードで、ユーザ客体は両手であってよく、ペンとユーザの手であってよく、二本のペンであってよい。マルチディスプレイ装置１００がジェスチャを認識し、動作を行う方法は上述の内容と同様である。

図１３は、本発明の一実施形態に係る連続ジェスチャを認識する方法を説明する図である。
連続ジェスチャとは、例えば、選択ジェスチャと移動ジェスチャとのように、二つのジェスチャを連続する一つの動作として行うことを意味する。マルチディスプレイ装置１００の第１および第２カメラ１４１、１４２は、立体的に配置されているため、マルチディスプレイ装置１００はこのような連続ジェスチャを認識することができる。

図１３を参照すると、ユーザ客体は第２カメラ１４２の方向に動く途中に右側に動いている。ユーザのジェスチャに対応する命令は、多様にマッチングさせることができる。一例として、ユーザ客体が第２カメラ１４２方向に動くジェスチャは、アイコン選択命令に対応してよく、右側に動くジェスチャは、アイコン右側移動命令に対応してよい。この場合、図１３に示すようなユーザ客体の連続的なジェスチャは、アイコン選択および移動命令に対応するため、マルチディスプレイ装置１００は、アイコンを選択する動作と移動する動作とを連続的に行うことができる。すなわち、ユーザ客体が一つの連続パターンをなすように移動すると、制御部は、連続パターンを構成するそれぞれのユーザのジェスチャに対応する複数の制御動作を連続的に行うことができる。

図１４は、本発明の一実施形態に係るマルチディスプレイ装置の制御方法のフローチャートである。
図１４によると、マルチディスプレイ装置は、ヒンジ部を基準に第１および第２ボディの開く角度を検出する（Ｓ１４１０）。それにより、検出された角度が予め設定された角度範囲内である場合、第１および第２撮像部を活性化させる（Ｓ１４２０）。具体的には、ターンオフ状態にあった第１および第２撮像部をターンオンさせる動作を行う。第１および第２撮像部が活性化されると、各撮像部を用いて撮像を行う（Ｓ１４３０）。

上述のように、マルチディスプレイ装置は、各撮像部によって撮像された複数のイメージを総合的に用いてユーザのジェスチャを認識する。この場合、マルチディスプレイ装置は、マルチジェスチャ認識モードおよびシングルジェスチャ認識モードのいずれか一方で動作することができる。

ユーザは、マルチジェスチャ認識モードおよびシングルジェスチャ認識モードのいずれか一方を選択することができる（Ｓ１４４０）。マルチジェスチャ認識モードが選択されると、第１および第２撮像範囲内で移動する複数のユーザ客体の動きを追跡し、ユーザのジェスチャを認識する（Ｓ１４５０）。一方、シングルジェスチャ認識モードが選択されると、第１および第２撮像範囲内で移動する一つのユーザ客体の動きを追跡し、ユーザのジェスチャを認識する（Ｓ１４６０）。具体的には、第１撮像部の撮像可能な第１撮像範囲内で移動するユーザ客体の動き方向と、第２撮像部の撮像可能な第２撮像範囲内で移動する前記ユーザ客体の動き方向とを用いて、前記第１および第２撮像範囲間の重複範囲内における前記ユーザのジェスチャを３次元的に認識することができる。

マルチジェスチャ認識モードおよびシングルジェスチャ認識モードに対して、ユーザが選択を行わない場合には、デフォルトに設定された認識モードが自動的に実行されてよい。

マルチディスプレイ装置は、マルチジェスチャ認識モードおよびシングルジェスチャ認識モードのいずれか一方に応じて、第１および第２撮像部で、それぞれ撮像された複数のイメージを用いて、ユーザのジェスチャを認識する（Ｓ１４７０）。ユーザのジェスチャが認識されると、マルチディスプレイ装置は認識された前記ユーザのジェスチャに対応する制御動作を行う（Ｓ１４８０）。

図１５は、本発明の一実施形態に係るジェスチャ認識モードの画面を表示する図である。
図１５は、シングルジェスチャ認識モード画面を例として示している。ユーザがジェスチャ認識モードということを認識することができるように、マルチディスプレイ装置１００は第２ディスプレイ装置１９０ｂの状態表示ウィンドウに手の形のアイコン１３を表示することができる。前記アイコンは、ジェスチャ認識モードということを認知することができる別の模様のアイコンであってよく、アイコンではない「ジェスチャ」または「Ｇ」という文字で表示することができる。表示される位置も、第１または第２ディスプレイ部１９０ａ、１９０ｂ上の任意の位置であってよい。または、第１および第２ボディ２、４のディスプレイ部以外の領域に発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＬＥＤ）を用いて表示することができる。

一つのユーザ客体５１は、ジェスチャ認識領域で動く。第１および第２カメラ１４１、１４２は、ジェスチャ認識のために、ユーザ客体５１の動きを捉えるが、第１および第２ディスプレイ部１９０ａ、１９０ｂは、ホーム、メニュー、アイコン等のような一般的なコンテンツを表示する。よって、ユーザは、ユーザ客体の動きに対応するディスプレイ部１９０ａ、１９０ｂ上の位置を認知しにくいため、ユーザ客体の動きに対応するポインタ１２を表示する。ポインタ１２は、図示のように、十字架模様であってよく、矢印や手の形等、多様な形状が可能である。または、ユーザが任意の模様に設定することができる。ユーザ客体５１が左から右に動くと、対応するポインタ１２も左から右に動くことで、ユーザはジェスチャ動作を直観的に認識することができる。

マルチジェスチャ認識モードの場合、前記ポインタはユーザ客体の数に対応して、二つ以上になってよい。

これまで、ユーザがジェスチャを用いてマルチディスプレイ装置１００に命令を入力させる多様な実施形態について説明してきた。次に、ジェスチャに対応する画面変更の多様な実施形態について説明する。

＜ジェスチャを通じてのユーザインターフェース変更の多様な実施形態＞
図１６ないし図２０は、本発明の一実施形態に係るシングルジェスチャによるユーザインターフェース変更を例示する図である。
本発明は、カメラを用いて空間上のジェスチャを入力命令として認識し、マルチディスプレイ装置が対応する動作を行う。しかし、空間上のジェスチャは、ユーザの便宜性を考慮し、従来と同様のジェスチャにマッピングさせることができる。

タッチジェスチャタイプ
本発明の実施形態において、タッチジェスチャはタッチスクリーンに直に接触して、或いは、近くまで接近してマルチディスプレイ装置１００が検知できるようにする全種類のユーザのジェスチャを含むことができる。例えば、左手と右手との指先（ｆｉｎｇｅｒ）（特に、人差し指）、親指（ｔｈｕｍｂ）またはタッチスクリーンによって検知可能な客体（例えば、スタイラスペン）を用いてタッチスクリーン上で一つの位置或いは連続した複数の位置を選択するユーザの動作である。以下の表を参照し、タッチジェスチャについて具体的に説明する。

表１は、１本の指を用いたジェスチャタイプについて説明する。
表１を参照すると、１本の指を用いたジェスチャタイプには、タップ（Ｔａｐ）、タッチ＆ホールド（Ｔｏｕｃｈ＆Ｈｏｌｄ）、ダブルタップ（Ｄｏｕｂｌｅ Ｔａｐ）、ドラッグ（Ｄｒａｇ）、ドラッグ＆ドロップ（Ｄｒａｇ＆Ｄｒｏｐ）およびフリック（Ｆｌｉｃｋ）等がある。タップ（Ｔａｐ）とは、ユーザがタッチスクリーンを軽く押してから離した動作を意味し、タッチ＆ホールド（Ｔｏｕｃｈ＆Ｈｏｌｄ）とは、ユーザが長時間タッチを行う動作であり、ダブルタップ（Ｄｏｕｂｌｅ Ｔａｐ）とは、ユーザが素早く二回タップする動作を意味する。そして、ドラッグ（Ｄｒａｇ）とは、一方向に引く動作であり、ドラッグ＆ドロップ（Ｄｒａｇ＆Ｄｒｏｐ）とは、タッチスクリーン上の任意の客体を押した後、一方向から別の方向に引っ張るような動作であり、フリック（Ｆｌｉｃｋ）とは、素早くドラッグする動作である。

表２は、２本の指を用いたジェスチャタイプについて説明する。
表２を参照すると、２本の指を用いたジェスチャタイプには、ツーフィンガータップ（Ｔｗｏ ｆｉｎｇｅｒ Ｔａｐ）、タッチ＆スプレッド（Ｔｏｕｃｈ＆Ｓｐｒｅａｄ）、ピンチアウト（Ｐｉｎｃｈ Ｏｕｔ）、ピンチイン（Ｐｉｎｃｈ Ｉｎ）、ツーフィンガードラッグ（Ｔｗｏ ｆｉｎｇｅｒ Ｄｒａｇ）、クロスツーフィンガー（Ｃｒｏｓｓ Ｔｗｏ Ｆｉｎｇｅｒ）およびタッチ＆ローテート（Ｔｏｕｃｈ＆Ｒｏｔａｔｅ）等がある。ツーフィンガータップとは、２本の指が同時にタップする動作であり、タッチ＆スプレッドとは、２本の指が同時にタッチスクリーンを押圧し、片方の指は動かず、もう片方のみを直線で動かす動作である。ピンチアウトとは、同時の２本の指がタッチスクリーンを押した後、相互に反対方向にドラッグする動作であり、ピンチインとは、同時に２本の指がタッチスクリーンを押した後、相互向き合う方向にドラッグする動作である。ツーフィンガードラッグとは、２本の指が同一の方向にドラッグする動作であり、クロスツーフィンガーとは、相互向き合う方向に同時にドラッグされ、クロスして離れる動作である。最後に、タッチ＆ローテートとは、片方の指は動かさずに、他方のみが固定された１本の指を中心にローテートする動作を意味する。

表３は、２本以上の指を用いたジェスチャおよび手のひらを用いたジェスチャタイプについて説明する。
表３を参照すると、２本以上の指を用いたジェスチャタイプには、スリーフィンガータッチ、フォーフィンガータッチ、ファイブフィンガータッチ等がある。なお、２本以上の指を用いて上述の表１、表２でのように、タップ、ドラッグ、ローテートのようなジェスチャ動作を行うことができる。

空間ジェスチャタイプ
上述のジェスチャに更に空間ジェスチャセット（ｇｅｓｔｕｒｅ ｓｅｔ）の一実施形態は以下のように定義することができる。

表４は、空間ジェスチャセットの中で、基本セット（ｂａｓｉｃ ｓｅｔ）を示す表であり、表５は指セット（ｆｉｎｇｅｒ ｓｅｔ）を示す表である。

上述のように、ユーザのジェスチャは、シングルフィンガージェスチャ、ツーフィンガージェスチャ、マルチフィンガージェスチャ、パームジェスチャ、マルチパームジェスチャ、フィストジェスチャ、マルチフィストジェスチャのうち、いずれか一つであってよい。

説明した空間ジェスチャセットは、一実施形態であり、名称、動作または対応命令は別の方式で定義されてよい。なお、同一のジェスチャの場合にも、実行するコンテンツに応じて各コンテンツに適するように対応命令が異なってよく、別のジェスチャセットが追加されてよい。タッチスクリーン上のタッチジェスチャセット（ｔｏｕｃｈ ｇｅｓｔｕｒｅ ｓｅｔ）、空間ジェスチャの２Ｄジェスチャセット（２Ｄ ｇｅｓｔｕｒｅ ｓｅｔ）および３Ｄジェスチャセット（３Ｄ ｇｅｓｔｕｒｅ ｓｅｔ）を同一または類似に構成する場合、ユーザが便宜に使用することができる。場合に応じて、ユーザが固有のジェスチャセットを設定して使用することができるように、マルチディスプレイ装置１００はジェスチャセット設定メニューを含むことができる。

以下では、上述の多様なユーザのジェスチャに応じた具体的な画面変更について説明する。

図１６は、レフト（Ｌｅｆｔ）ジェスチャによるユーザインターフェース変更を例示した図である。レフトジェスチャとは、ユーザの客体を左方にフリック（ｆｌｉｃｋ）させるジェスチャを意味する。
図１６においては、レフトジェスチャに関連する内容のみを示しているが、具体的な装置構成と画面構成とは省略している。図１６においては、画面のページを示すカウンタは、現在の画面が何ページに該当するか表示する。図１６の（１）に示すように、第１ディスプレイ部１９０ａには第１ページ１４１０が表示され、第２ディスプレイ部１９０ｂには第２ページ１４２０が表示される。一つのユーザ客体８１は手を横に開いた形状で、右側から左側に移動する。ユーザ客体８１の移動領域はジェスチャ認識領域内に含まれなければならない。

ユーザ客体８１の移動は、第１および第２カメラによって撮像され、制御部は、ユーザ客体８１の移動を検出してレフトジェスチャを認識する。制御部が、レフトジェスチャを認識すると、ここに対応してページを左側に移動させる動作を行う。よって、図１６の（２）に示すように、第１および第２ページ１４１０、１４２０の次のページに該当する第３ページ１４１１と第４ページ１４２１とが、それぞれ第１および第２ディスプレイ部１９０ａ、１９０ｂに表示される。

ユーザ客体を右側にフリックさせるライトジェスチャが認識された場合には、現在表示されるページの以前の二ページが第１および第２ディスプレイ部１９０ａ、１９０ｂに表示される。

図１７は、グリップ（ｇｒｉｐ）とナビゲート（Ｎａｖｉｇａｔｅ）ジェスチャによるユーザインターフェース変更を例示する図である。

グリップジェスチャとは、拳を握る動作を意味する。グリップジェスチャによってＵＩ客体（例えば、アイコンやフォルダ等）が選択される。第１カメラ１４１においては、手を開いた様子から拳を握る様子に変化されるユーザ客体８２ａ乃至８２ｂが撮像される。第２カメラ１４２においては、指先の様子から拳の様子に変化されるユーザ客体８２ａ乃至８２ｂが撮像される。制御部１３０は、第１カメラ１４１および第２カメラ１４２で撮像されたユーザ客体８２ａ乃至８２ｂの変化を分析し、グリップジェスチャとして認識する。

ナビゲートジェスチャとは、拳を握って移動する動作を意味する。選択されたＵＩ客体は、ナビゲートジェスチャによってユーザ客体８２ａの移動に対応する位置に移動される。上述のように、ナビゲートジェスチャも、第１および第２カメラ１４１、１４２に撮像されたイメージを制御部１３０が分析して認識されてよい。

図１７の（１）を参照すると、第１ディスプレイ部１９０ａには、数個のアプリケーションアイコン、ウィジェット、現在時刻、世界時刻のメニューが存在する。ユーザ客体８２ａは空間ジェスチャを準備する。第１および第２カメラ１４１、１４２は、ユーザ客体８２ａの動きを撮像し、制御部は撮像された動きを検出してジェスチャを認識する。ユーザ客体８２ａに対応するポインタ１２は、ユーザ客体８２ａの動きに対応して画面上で動く。例えば、ユーザ客体８２ａが手を開いた形状で、ジェスチャ認識領域で動かすと、ポインタ１２もユーザ客体８２ａの動きに対応して画面上で動く。よって、ユーザは、ポインタ１２の動きを確認し、所望のアイコンやメニュー上に動かすことができる。図１７の（１）においては、ユーザ客体８２ａの動きに応じて、ポインタ１２が移動して世界時刻のメニュー１５１０上にポインタ１２が位置する。このとき、ユーザ客体８２ｂは、拳を作るグリップ（Ｇｒｉｐ）ジェスチャを実行する。グリップジェスチャは、アイコンやコンテンツ等を選択することができる。

図１７の（２）を参照すると、制御部は、グリップジェスチャを認識し、グリップジェスチャに対応するメニュー選択動作を行う。よって、世界時刻のメニュー１５１０が選択される。選択動作がユーザに直観的に認識できるように、制御部は世界時刻のメニュー１５１０の周辺に一定の色を有する枠１６ａを表示することができる。別の例として、選択されたメニューアイコンの色を変化させたり、メニューアイコンが前に飛び出たり、後ろに引っ込むように見えるようにする効果を施すことができる。または、ポインタ１２が手の形の場合、メニュー選択時のポインタ１２を拳を握る様子に変化させることで、ユーザに認識させることができる。

この状態で、ユーザ客体８２ｃは、ナビゲート（Ｎａｖｉｇａｔｅ）ジェスチャを実行する。ナビゲートジェスチャは、拳を握った状態で、一定方向に移動する動作である。ナビゲートジェスチャは、選択したアイコンやコンテンツを一定方向に移動させることができる。

図１７の（３）を参照すると、ユーザ客体８２ｃは拳を作った状態で、第１ボディ２から第２ボディ４に斜めに動く。すなわち、ユーザ客体８２ｃの移動に応じて、世界時刻のメニュー１５１１もそれに対応して第１ディスプレイ部１９０ａから第２ディスプレイ部１９０ｂに移動する。ユーザに、グリップジェスチャを認識させるための世界時刻のメニュー１５１１周辺の枠１６ｂは、グリップ形態が保持される間は併せて保持される。

世界時刻のメニュー１５１１が、第２ディスプレイ部１９０ｂに移動すると、ユーザ客体８２ｄは、手を開くジェスチャを行う。
図１７の（４）を参照すると、制御部は手を開くジェスチャをメニュー実行として認識し、第２ディスプレイ部１９０ｂ上に世界地図とともに特定地域の時間と天気情報を表示（１５２０）する。

図１８は、ローテート（Ｒａｔａｔｅ）ジェスチャによるユーザインターフェース変更を例示した図である。

図１８の（１）を参照すると、第１ディスプレイ部１９０ａ上には、音楽リストが存在する。音楽リストは、ＣＤケースを立体的に回転する形態で表示されてよい。音楽リストを表示する別の例として、音楽リストは、ＣＤタイトルで表示されてよく、平面上のサムネール（ｔｈｕｍｂｎａｉｌ）イメージで表示されてよい。ユーザ客体８３は、レフトまたはライトジェスチャを用いて、音楽ＣＤリストを回転させることができる。プレーしようとするＭＵＳＩＣ ３のＣＤ１６１０が第１ディスプレイ部１９０ａの一番前に来ると、グリップおよびナビゲートジェスチャを用いて、ＭＵＳＩＣ ３のＣＤ１６２０を第２ディスプレイ部１９０ｂに移動させる。グリップおよび移動ジェスチャとマルチディスプレイ装置１００に対応する動作は、図１７において説明した方法と同様である。

第１ディスプレイ部１９０ａで移動したＭＵＳＩＣ ３のＣＤ１６２０が第２ディスプレイ部１９０ｂに表示され、プレー状態を示す進行バー１６３０が表示される。場合によっては、一つのＣＤに複数の音楽ファイルが存在する場合、いずれか一つの音楽を選択する過程が含まれてよい。

ユーザは、ユーザ客体８３で円を描くローテーションジェスチャを行う。

図１８の（２）を参照すると、マルチディスプレイ装置１００は、ユーザ客体８３のローテーションジェスチャが認識されると、第２ディスプレイ部１９０ｂに表示された音楽をプレーさせ、進行状態を進行バー１６３１に表示することができる。

図１９は、ピンチ（Ｐｉｎｃｈ）ジェスチャによるユーザインターフェース変更を例示する図である。
図１９の（１）を参照すると、第１ディスプレイ部１９０ａ上には、イメージリスト１７１０が存在する。イメージリスト１７１０は、立体的に回転する形態で表示されてよい。イメージリストを表示する別の例として、イメージリストは、イメージ名のみ表示されてよく、平面上のサムネールイメージで表示されてよい。

ユーザ客体８４ａは、手のひらを開いた状態で上下左右に移動するジェスチャを行い、イメージリスト１７１０を回転させることができる。上述のように、同一のジェスチャの場合にも、実行するコンテンツに応じて各コンテンツに適するように対応命令が異なってよい。第１ディスプレイ部１９０ａには、イメージリスト１７１０のみを立体的な形態で表示しており、真ん中の最も大きいイメージ１７２０のみが選択されるように表示することができる。よって、手のひらを開いた状態で、上下左右に移動するジェスチャは、イメージリスト１７１０を回転させる命令に対応してよい。

ユーザ客体８４ｂは、グリップジェスチャと第１ボディ２から第２ボディ４側に押すナビゲートジェスチャを行い、第１ディスプレイ部１９０ａに表示された真ん中の最も大きいイメージ１７２０を第２ディスプレイ部１９０ｂに移動させる。

図１９の（２）に示すように、第１ディスプレイ部１９０ａに表示された真ん中の最も大きいイメージ１７２０は第２ディスプレイ部１９０ｂに移動し、第２ディスプレイ部１９０ｂに全画面１７２１に広げられる。

ユーザ客体８４ｃは、第２ディスプレイ部１９０ｂに広げられたイメージをピンチジェスチャに拡大したり縮小させることができる。ピンチジェスチャは、二本の指を左下、右上方向に広げたり、左上、右下方向に狭める動作を意味する。

図１９の（３）に示すように、ユーザ客体８４ｃのピンチズームインジェスチャに対応し、制御部は、第２ディスプレイ部１９０ｂ上のイメージを拡大１７２２させることができる。また、ユーザ客体のピンチズームアウトジェスチャに対応してイメージを縮小させることができる。

図２０は、フィンガーセット（ｆｉｎｇｅｒ ｓｅｔ）のタッチと、移動（Ｔｏｕｃｈ ＆ Ｍｏｖｅ）ジェスチャによるユーザインターフェース変更を例示した図である。空間ジェスチャセットのうち、タッチジェスチャはディスプレイ部１９０ａ、１９０ｂに直接タッチするわけではなく、ディスプレイ部１９０ａ、１９０ｂに接近するユーザ客体の動きを意味する。しかし、ユーザ客体の動きが直接タッチする動作と類似するため、便宜上、タッチジェスチャと称する。

図２０の（１）を参照すると、縦に立てられたマルチディスプレイ装置１００で電子書籍（ｅ−ｂｏｏｋ）を実行している画面を示している。第１ディスプレイ部１９０ａには電子書籍の左側ページが表示され、第２ディスプレイ部１９０ｂには電子書籍の右側ページが表示される。

電子書籍のページを右側から左側に捲るために、ユーザ客体８５は指で空間上のジェスチャ認識領域でタッチジェスチャを行い、右側から左側に移動する。制御部は、タッチおよび移動ジェスチャを認識して対応する命令を行う。

図２０の（２）を参照すると、電子書籍の右側ページを左側に捲り、ジェスチャ実行前に表示されていたページの次の二ページを第１および第２ディスプレイ部１９０ａ、１９０ｂに表示する。この場合、ユーザに臨場感を与えることができるように、実際の本のページが捲られるのと同様の効果を施すことができる。

図２１ないし図２７は、本発明の一実施形態に係るマルチジェスチャによるユーザインターフェース変更を例示する図である。
マルチジェスチャは、それぞれのユーザ客体が上述のジェスチャをそれぞれ取ることができ、二つのユーザ客体を用いて一つのジェスチャを取ることもできる。

図２１は、ピンチジェスチャによるユーザインターフェース変更を例示した図である。マルチジェスチャ認識モードでは、少なくとも二つのユーザ客体９１、９２がジェスチャ認識のためのツールとして使用されてよい。図２１の（１）を参照すると、第１ディスプレイ部１９０ａの一部領域にＡのイメージ１８１０が存在する。

ジェスチャ動きの説明のために方向を定義する。マルチディスプレイ装置１００で、ヒンジから水平に遠ざかる方向をＸ軸方向、マルチディスプレイ装置１００の第１ボディ２でヒンジが連結された一側端から、第１ボディ２のヒンジが連結された他側端に水平に動く方向をＹ軸方向、床面から垂直の上方に動く方向をＺ軸方向と定義する。

第１ユーザ客体９１は、グリップジェスチャを表現するために、拳を握る動作を行い、第２ユーザ客体９２は拳を握ったまま右上方、すなわちＹ−Ｚ平面上の一方向に移動する。制御部は、第１および第２ユーザ客体９１、９２のジェスチャを認識し、それに対応する動作を行う。

図２１の（２）を参照すると、制御部は、第１ユーザ客体９１のグリップジェスチャと第２ユーザ客体９２のグリップおよびＹ−Ｚ平面上の一方向に拡張するジェスチャをイメージ拡張ジェスチャと認識する。よって、第１ディスプレイ部１９０ａの一部領域に存在するＡのイメージ１８１０を第１および第２ディスプレイ部１９０ａ、１９０ｂの全領域１８１１に拡張する。

図２２ないし図２６は、マルチジェスチャによる立体イメージが表示された画面の変更を例示する図である。
図２２を参照すると、第１および第２タッチスクリーン１９０ａ、１９０ｂの全画面で一つの立体イメージ１９１０が表示される。第１および第２ボディ２、４には、それぞれの第１および第２カメラ１４１、１４２が配置される。ジェスチャ認識領域で、二つのユーザ客体９３ａ、９４ａの動きは、第１および第２カメラ１４１、１４２によって撮像され、制御部はジェスチャを認識する。場合によって、マルチジェスチャ認識モードでは、３つ以上のユーザ客体がジェスチャ動作手段として使用されてよい。

マルチジェスチャ認識モードでも、ユーザがユーザ客体の動きに対応するディスプレイ部上の位置を認知することができるように、制御部は対応するポインタ１４ａ、１４ｂを表示することができる。この場合、それぞれのユーザ客体に対応するように、ユーザ客体の数と同様の数のポインタを表示することができる。それぞれのポインタ１４ａ、１４ｂは、対応するユーザ客体９３ａ、９４ａの動きに応じて、画面上で動く。例えば、ユーザ客体９３ａ、９４ａがタッチスクリーン方向に手を開いてジェスチャ認識領域で動くと、ポインタ１４ａ、１４ｂもユーザ客体９３ａ、９４ａに対応して画面上で動く。

図２３の（１）を参照すると、第１ユーザ客体９３ｂはグリップジェスチャを表現するために拳を握り、第２ユーザ客体９４ｂは手を開いた状態で右上、すなわちＹ−Ｚ平面上の一方向に移動する。
図２３の（２）は、第２ユーザ客体９４ｂが動く方向を示す図である。第２ユーザ客体９４ｂは、Ｙ−Ｚ平面上の一方向２４ｂに移動する。

制御部は、第１および第２ユーザ客体９３ｂ、９４ｂのジェスチャを認識し、それに対応する動作を行う。すなわち、制御部は、第１ユーザ客体９３ｂのグリップジェスチャおよび第２ユーザ客体９４ｂのＹ−Ｚ平面上の一方向２４ｂに移動するジェスチャをピンチズームインジェスチャと認識する。よって、第１および第２ディスプレイ部１９０ａ、１９０ｂの立体イメージ１９１１は、ピンチズームインジェスチャに対応して拡張される。

図２４の（１）を参照すると、第１ユーザ客体９３ｃは、グリップジェスチャを表現するために拳を作り、第２ユーザ客体９４ｃは、手を開いたまま第１ディスプレイ部１９０ａからユーザの前方に円を描きつつ移動する。
図２４の（２）は、第２ユーザ客体９４ｃが動く方向を示す図である。第２ユーザ客体９４ｃはＸ−Ｚ平面上の一方向２４ｃに円を描きつつ移動する。

制御部は、第１および第２ユーザ客体９３ｃ、９４ｃのジェスチャを認識し、それに対応する動作を行う。すなわち、制御部は、第１ユーザ客体９３ｃのグリップジェスチャと、第２ユーザ客体９４ｃのＸ−Ｚ平面上の一方向２４ｃに円を描きつつ移動するジェスチャとを、立体イメージ１９１２の回転ジェスチャと認識する。よって、第１および第２ディスプレイ部１９０ａ、１９０ｂの立体イメージ１９１２は、Ｘ軸方向に９０度回転し、立体イメージ１９１２の上部が第１および第２ディスプレイ部１９０ａ、１９０ｂに表示される。

図２５の（１）を参照すると、第１ユーザ客体９３ｄは手を横に開いてユーザ方向に移動し、第２ユーザ客体９４ｄは手を横に開いてマルチディスプレイ装置１００方向に移動する。
図２５の（２）は、第１および第２ユーザ客体９３ｄ、９４ｄが動く方向を示す図である。第１ユーザ客体９３ｄは、Ｘ軸方向２３ｄに移動し、第２ユーザ客体９４ｄは第１ユーザ客体９３ｄが動く反対方向、すなわち、−Ｘ軸方向２４ｄに移動する。

制御部１３０は、第１および第２ユーザ客体９３ｄ、９４ｄのジェスチャを認識し、それに対応する動作を行う。すなわち、制御部１３０は、第１ユーザ客体９３ｄのジェスチャと第２ユーザ客体９４ｄのジェスチャとを立体イメージ１９１３を反時計回りに回転するジェスチャと認識する。よって、認識されたジェスチャに対応し、第１および第２ディスプレイ部１９０ａ、１９０ｂの立体イメージ１９１３は反時計回りに回転する。

図２６の（１）を参照すると、第１ユーザ客体９３ｅは手を横に開いて右方に移動し、第２ユーザ客体９４ｅは手を横に開いて左方に移動する。この場合、第１ユーザ客体９３ｅに対応する第１ポインタ１４ａは第１ディスプレイ部１９０ａ上に位置し、第２ユーザ客体９４ｅに対応する第２ポインタ１４ｂは第２ディスプレイ部１９０ｂ上に位置する。すなわち、第１ポインタ１４ａは、立体イメージ１９１４の左下領域に位置し、第２ポインタ１４ｂは立体イメージ１９１４の右上領域に位置する。
図２６の（２）は、第１および第２ユーザ客体９３ｅ、９４ｅが動く方向を示す図である。第１ユーザ客体９３ｅはＹ軸方向２３ｅに移動し、第２ユーザ客体９４ｅは−Ｙ軸方向２４ｅに移動する。

制御部１３０は、第１および第２ユーザ客体９３ｅ、９４ｅのジェスチャを認識し、それに対応する動作を行う。すなわち、制御部１３０は、第１ユーザ客体９３ｅのジェスチャおよび第２ユーザ客体９４ｅのジェスチャを、立体イメージに力を加えるジェスチャと認識する。よって、認識されたジェスチャに対応して立体イメージ１９１４の左下領域は右側から力を受け、右上領域は左側から力を受けて形状の変化が発生する。

図２７は、マルチジェスチャを用いた別の実施形態を示す図である。

図２７の（１）を参照すると、第１ディスプレイ部１９０ａには、絵イメージ１９ａが表示される。第２ディスプレイ部１９０ｂには、色を選択できるツールセット（ｔｏｏｌ ｓｅｔ）２７が表示される。第１ユーザ客体９５は、空間ジェスチャのうち、タップ（Ｔａｐ）ジェスチャを用いて、ツールセット２７のうち、第１色１８ａおよび第２色１８ｂを選択することができる。タップジェスチャは、指を用いて空間上でタッチする動作を意味する。仮に、ユーザが第１色１８ａの選択を解除しようとする場合、もう一度第１色１８ａに対してタップ動作を行って、選択を解除することができる。二つの色が選択された状態で、第２ユーザ客体９６は対応するポインタを色を塗ろうとする部分１９ａに位置させる。そして、第１ユーザ客体９５は色塗りをするジェスチャまたは色塗りメニューを選択し、第２ユーザ客体９６はタッチスクリーン方向に手のひらを向けた後、左側から右側にゆっくり動かす。

図２７の（２）は、上述のジェスチャの結果を示す図である。制御部は、第１および第２ユーザ客体９５、９６のジェスチャを認識し、それに対応する動作を行う。すなわち、制御部は、第２ユーザ客体９６のジェスチャに対応して色を塗ろうとする部分１９ｂを選択された二つの色１８ａ、１８ｂを根拠に、グラデーション（ｇｒａｄａｔｉｏｎ）に色を塗ることができる。

これまで、マルチディスプレイ装置がカメラを用いて空間ジェスチャを認識し、対応する動作を行う多様な実施形態について説明してきた。一般に、マルチディスプレイ装置１００は、第１および第２ボディ２、４に、それぞれ配置された二つのカメラを用いてユーザのジェスチャを認識する。しかし、カメラは、二つ以上が配置されてよく、配置位置も多様に実現されてよい。

＜カメラ配置に関する多様な実施形態＞
図２８、図２９は、本発明の多様な実施形態に係るマルチディスプレイ装置のカメラの配置例を説明するための図である。図２８ないし図２９は、マルチディスプレイ装置１００を正面から眺めた図である。カメラの配置を説明するための図であるため、カメラ以外の他の部分は省略した。

まず、図２８を参照すると、マルチディスプレイ装置１００は、第１ボディ２および第２ボディ４で構成され、第１ボディ２は第１ディスプレイ部１９０ａを含み、第２ボディ４は第２ディスプレイ部１９０ｂを含む。第１ボディ２および第２ボディ４は、ヒンジ部１８５によって連結され、相対的に移動できるように構成される。第１カメラ１４１は、第１ボディ２の周縁領域中、前記ヒンジ部１８５の反対側の周縁領域の中央部に配置されてよい。第２カメラ１４２は、第２ボディ４の周縁領域中、前記ヒンジの反対側の周縁領域の中央部に配置されてよい。

次に、図２９を参照して、カメラの配置について説明する。説明の便宜上、ユーザがマルチディスプレイ装置１００を眺める方向を基準として説明する。第１カメラ１４１’は、第１ボディ２の左側の周縁領域の中央面に配置されてよく、第２カメラ１４２’は、第２ボディ４の左側の周縁領域の中央面に配置されてよい。別の実施形態としては、第１および第２カメラは、それぞれ第１および第２ボディ２、４の右側の周縁領域の中央面に配置されてよい。更に別の実施形態としては、第１および第２カメラは、それぞれ第１および第２ボディ２、４の角領域に配置されてよい。マルチディスプレイ装置１００は、上述のように、横方向に使用可能であるだけでなく、縦方向でも使用可能である。

第１および第２カメラ１４１’、 １４２’が、第１および第２ボディ２、４の左側または右側の周縁領域に配置される場合、ユーザは左側の手または右側の手はジェスチャを用いて、反対側の手はタッチスクリーンをタッチしてマルチディスプレイ装置１００に命令を入力するのに便利である。

図３０ないし図３２は、本発明の多様な実施形態に係るマルチディスプレイ装置のカメラの配置例を説明するための図である。
図３０は、本発明の一実施形態に係る三つのカメラが備えられたマルチディスプレイ装置を示す図である。図３０を参照すると、第１および第２カメラ１４３、１４４は、第１ボディ２の第１ディスプレイ部１９０ａと同じ面に配置され、第３カメラ１４５は第２ディスプレイ部１９０ｂと同じ面に配置されてよい。第１および第２カメラ１４３、１４４は、第１ボディ２のヒンジ部１８５と接していない両角領域に配置されてよく、第３カメラ１４５は、第２ボディ４のヒンジ部１８５の反対側の周縁領域の中央部に配置されてよい。場合によって、第１ボディ２に一つのカメラが配置され、第２ボディ４に二つのカメラが配置されてよい。

図３１は、本発明の別の実施形態に係る三つのカメラが備えられたマルチディスプレイ装置を示す図である。図３１を参照すると、第１カメラ１４１は、第１ボディ２の第１ディスプレイ部１９０ａが配置された面と同じ面に配置され、第２カメラ１４２は、第２ボディ４の第２ディスプレイ部１９０ｂが配置された面と同じ面に配置される。そして、第３カメラ１４６は、第２ボディ４の第２ディスプレイ部１９０ｂが配置された面の反対面に配置されてよい。図３１には、第１および第２カメラ１４１、１４２がヒンジ部１８５の反対側の周縁領域の中央部に配置されたマルチディスプレイ装置１００が示されているが、それに限定されない。例えば、第１および第２ボディ２、４の周縁領域中のいずれか一つの一側周縁領域の中央部またはヒンジ部１８５と接していない角領域にそれぞれ配置されてよい。第３カメラ１４６は、第２ボディ４の第２ディスプレイ部１９０ｂが配置された反対面の一側の角領域に配置が限定されるわけではなく、反対側の角領域または第２ボディ４のヒンジと接していない周縁領域の中央部に配置されてよい。

図３２は、本発明の一実施形態に係る四つのカメラが備えられたマルチディスプレイ装置を示す図である。図３２を参照すると、第１および第２カメラ１４３、１４４は、第１ボディ２の周縁領域中、ヒンジ部１８５と接していない両角領域にそれぞれ配置されてよく、第３および第４カメラ１４７、１４８は、第２ボディ４の周縁領域中、ヒンジ部１８５と接していない両角領域にそれぞれ配置されてよい。第１ないし第４カメラ１４３、１４４、１４７、１４８は、図３２に示す配置位置に限定されるわけではなく、第１および第２ボディ２、４の第１および第２ディスプレイ部１９０ａ、１９０ｂと同じ面の周縁領域中、任意の位置または第１および第２ディスプレイ部１９０ａ、１９０ｂの反対面の任意の位置に配置されてよい。

三つ以上のマルチカメラが配置される場合、二つのカメラはジェスチャ認識のために使用されてよく、残りのカメラは、イメージ撮影、動画撮影等、別の用途で使用可能である。

図３３は、本発明の一実施形態に係る回転自在のカメラが備えられたマルチディスプレイ装置を示す図である。
図３３を参照すると、第１カメラ１４１は、第１ボディ２のヒンジ部１８５の反対側の周縁領域の中央部に配置され、回転型カメラ１４９は、第２ボディ４のヒンジ部１８５の反対側の周縁領域の中央部に配置される。そして、回転側カメラ１４９は、第２ボディ４と回転自在のヒンジで連結されてよい。よって、回転型カメラ１４９は、θ２角度範囲内で回転することができる。

回転型カメラ１４９の回転方法は、ユーザが直接回転させる手動型であってよく、予め設定された条件によって予め設定された値に回転する自動型であってよい。または、手動型と自動型との両方が可能な構造であってよい。回転型カメラ１４９は、外部映像を撮影するために、第２ディスプレイ部１９０ｂの反対面に自動的に回転したり、手動で回線させることができ、３Ｄジェスチャを含む空間ジェスチャ認識のために、第２ディスプレイ部１９０ｂと同じ面に自動的に回転したり、手動で回転させることができる。

空間ジェスチャは、タッチスクリーンのタッチやボタンの押圧のような物理的な接触なしに、空間上でユーザ客体の一定の動きを用いて、マルチディスプレイ装置１００を動作させることを意味する。３Ｄジェスチャは、空間ジェスチャの一種として、３次元的な動きを入力ジェスチャとして認識させ、マルチディスプレイ装置１００を動作させることを意味する。

３Ｄジェスチャ認識に関連する第１実施形態として、回転型カメラ１４９は、３Ｄジェスチャ認識のための最適の認識範囲を確保するために、自動的に回転することができる。例えば、マルチディスプレイ装置１００は、ジェスチャ認識モードに移行すると、ユーザにカメラを向けて手のひらを開くジェスチャを要求する。ユーザが、カメラに向けて手のひらを開くと、マルチディスプレイ装置１００は、回転型カメラ１４９を回転させつつ、第１カメラ１４１と回転型カメラ１４９との重畳する認識範囲内で最適の認識範囲を検出する。最適の認識範囲が検出されると、報知音またはディスプレイ上の表示を通じて、ユーザにジェスチャ認識モードに移行していることを認識させることができる。

３Ｄジェスチャ認識に関連する第２実施形態として、マルチディスプレイ装置１００は、予め第１ボディ２と第２ボディ４との角度に関連し、最適の回転型カメラ１４９の角度（θ２）情報を保存部等に保存する。ユーザがジェスチャ認識モードで使用する場合、マルチディスプレイ装置１００は、第１ボディ２と第２ボディ４との間の角度を検出し、検出された角度に対応する予め設定された回転型カメラ１４９の角度情報を用いて、回転型カメラ１４９の角度を調節することができる。

３Ｄジェスチャ認識に関連する第３実施形態として、マルチディスプレイ装置１００がジェスチャ認識モードに移行すると、第１および回転型カメラ１４１、１４９で撮影される画面を第１および第２ディスプレイ部１９０ａ、１９０ｂに表示する。ユーザが、第１および第２ディスプレイ部１９０ａ、１９０ｂに表示される撮影画面を見て、手動で回転型カメラ１４９の角度を調節することができる。この場合、ユーザ操作に役立てるために、第１または第２ディスプレイ部１９０ａ、１９０ｂ上にジェスチャ認識可否に対する情報を更に表示することができる。

図２８ないし図３３は、カメラの数および配置位置に応じたマルチディスプレイ装置１００を示している。カメラの数は、上述の図に示す数に限定されるものではなく、なお、カメラの配置位置も上述の配置位置に限定されるものではない。

なお、図２８ないし図３３においては、一実施形態として、第１および第２ボディ２、４に、それぞれ配置された二つのカメラを用いて３Ｄジェスチャを含む空間ジェスチャを認識することができるマルチディスプレイ装置１００について、説明してきた。しかし、一つのカメラはジェスチャ認識用、残りのカメラは別の用途に使用されてよい。

そして、タッチスクリーンを備えたマルチディスプレイ装置１００が空間ジェスチャ認識モードで動作する場合にも、ユーザは空間ジェスチャだけでなく、タッチジェスチャをタッチして命令を入力することができる。

マルチディスプレイ装置１００は、物理的またはグラフィック的に分離される第１ディスプレイ部１９０ａと第２ディスプレイ部１９０ｂとからなるディスプレイ装置を備え、二つのディスプレイ部１９０ａ、１９０ｂを活用し、以下の図３４ないし図３８のような多様なスクリーンモード（Ｓｃｒｅｅｎ Ｍｏｄｅ）をサポートすることができる。

図３４ないし図３８は、本発明の一実施形態に係るマルチディスプレイ装置１００の第１ボディ２と第２ボディ４との間の相対角度に応じたスクリーンモードを示す図である。
相対角度（θ）は、第１ボディ２に対して所定方向（一例として、反時計回り）に回転された第２ボディ４の回転角度である。

具体的に、相対角度（θ）は、ヒンジ部１８５そのものに内蔵されたヒンジセンサを用いて検出することができる。ヒンジセンサは、ホールセンサ、圧力センサ、誘導検出センサ、電気コンタクトセンサおよび光学センサのうち、いずれか一つで構成され、ヒンジの動きおよび相対的な位置を検出して相対角度（θ）を認識することができる。なお、相対角度（θ）は、ヒンジセンサ以外にも、地磁気センサ、加速度センサで、第１および第２ボディ２、４のそれぞれの位置を検出し、認識することができる。

図３４は、マルチディスプレイ装置１００が折り畳まれた状態を示す斜視図である。図３４に示すように、第１ボディ２と第２ボディ４上の第１および第２ディスプレイ部１９０ａ、１９０ｂが、それぞれ対向している状態で、第１ボディ２と第２ボディ４とが相接している。すなわち、第１ディスプレイ部１９０ａの反対側に第２ディスプレイ部１９０ｂが位置するようになる。ユーザが第１ディスプレイ部１９０ａを見ると、第２ディスプレイ部１９０ｂは反対側に位置するようになるため、ユーザは直接見ることができない。このように、ユーザは一つのディスプレイ部のみを見ることができる。このとき、相対角度（θ）は０度と定義する。図３４に示すように、折り畳まれた状態をシングルモード（Ｓｉｎｇｌｅ Ｍｏｄｅ）と称する。一例として、第１および第２ボディ２、４の間の相対角度が０度ないし６０度の間である場合、マルチディスプレイ装置１００はシングルモードと認知する。シングルモードは、マルチディスプレイ装置１００が使用されていないロック状態である場合、および通話（Ｃａｌｌ）アプリケーションで有効に使用される場合であってよい。シングルモードにおいては、前面の第１ディスプレイ部１９０ａが少なくとも一つのアプリケーションによる作業画面を表示し、背面の第２ディスプレイ部１９０ｂは、ターンオフされてよい。一部のアプリケーションは、オプションメニューを使用して、背面の第２ディスプレイ部１９０ｂをターンオンすることができる。

図３５は、第１ボディ２と第２ボディ４とが並んで平行した状態として、相対角度（θ）が１８０度或いは所定範囲内で１８０度に接近した状態、すなわち、広げた（ｕｎｆｏｌｄｅｄ）状態を示すものとして、エクスペンディングモード（Ｅｘｐａｎｄｉｎｇ Ｍｏｄｅ）と称する。一例として、第１および第２ボディ２、４の間の相対角度が１７５度〜１８５度の範囲にある場合、マルチディスプレイ装置１００は第１および第２ボディ２、４が広げられていると見なしてよい。エクスペンディングモードは、二つのアプリケーションに対する二つの作業画面を二つのディスプレイ部１９０ａ、１９０ｂにそれぞれ表示したり、一つのアプリケーションに対する二つの作業画面を二つのディスプレイ部１９０ａ、１９０ｂのそれぞれに表示したり、或いは、一つのアプリケーションに対する一つの作業画面を二つのディスプレイ部１９０ａ、１９０ｂに渡って広く表示する等の多様なビューモード（Ｖｉｅｗ Ｍｏｄｅ）を提供することができる。いずれか一方のディスプレイ部内で実行されるアプリケーションが存在しない場合、当該ディスプレイ部はホーム画面を表示することができる。エクスペンディングモードは、Ｅ−ｂｏｏｋ、動画プレーヤアプリケーションで有効に使用されてよい。

図３６は、第１ボディ２に対する第２ボディ４の相対角度（θ）が１８０度を超過する状態、すなわち、両ディスプレイ部１９０ａ、１９０ｂが内側に若干折り畳まれた状態を示す。本明細書においては、このような状態をツールキットモード（Ｔｏｏｌ Ｋｉｔ Ｍｏｄｅ）と称する。一例として、第１および第２ボディ２、４の間の相対角度が１８５度ないし２６５度の間の場合、ツールキットモードと認知する。ツールキットモードは、両ディスプレイ部１９０ａ、１９０ｂが内側を向くように若干折り畳まれた状態として、マルチディスプレイ装置１００がノートパソコンの類似する形で使用される場合に有効である。一例として、いずれか一つのディスプレイ部１９０ａに作業画面を表示し、他の一つのディスプレイ部１９０ｂにはキーボード等のツール（Ｔｏｏｌ）を表示する等、多様な作業環境を提供することができる。マルチディスプレイ装置１００がツールキットモードである場合、空間ジェスチャ認識モードで動作することができる。

図３７は、第１ボディ２に対する第２ボディ４の相対角度（θ）が１８０度未満である状態、すなわち、両ディスプレイ部１９０ａ、１９０ｂが相互略反対方向を向くように外側にほぼ折り畳まれた状態を示すものである。本明細書においては、このような状態をスタンディングモード（Ｓｔａｎｄｉｎｇ Ｍｏｄｅ）と称する。一例として、第１および第２ボディ２、４の間の相対角度が３０度ないし９０度の間の場合、マルチディスプレイ装置１００はスタンディングモードと認識する。スタンディングモードは、両ディスプレイ部１９０ａ、１９０ｂが外側を向くように折り畳まれた構造として、マルチディスプレイ装置１００を床に三角形状に立てることができるため、充電時、マルチディスプレイ装置１００をデジタル時計或いは写真立てとして使用する時、あるいは個人放送、映画、動画等を長時間使用する時に有効に使用されることができる。

別の実施形態として、スタンディングモードは、２名以上のユーザによる協力或いは相互作用を必要とするアプリケーション、一例としてテレビ会議、協業ゲーム（Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｇａｍｅ）等に適用されてよい。一部のアプリケーションは、スタンディングモードで前面の第１ディスプレイ部１９０ａにのみ作業画面を表示し、背面の第２ディスプレイ部１９０ｂをターンオフすることができる。一部のアプリケーションは、オプションメニューを使用して背面の第２ディスプレイ部１９０ｂをターンオンすることができる。

図３８は、図３７において説明したスタンディングモードの別の実施形態として、ヒンジの一部分が床に触れるようにマルチディスプレイ装置１００を立てておいた状態を示している。本明細書においては、このような状態を「縦向きに見る」モードと称する。「縦向きに見る」モードは、第１および第２ボディ２、４の間の相対角度が３０度ないし９０度の間であり、加速度センサによってマルチディスプレイ装置１００が縦に立てられていると判断される場合、「縦向きに見る」モードと認知する。

具体的に、加速度センサは、マルチディスプレイ装置１００の回転を検知する。加速度センサは、マルチディスプレイ装置１００の第１および第２ディスプレイ部１９０ａ、１９０ｂが左右側に配置される「縦向きに見る」モードと、第１および第２ディスプレイ部１９０ａ、１９０ｂが上下側に配置される「横向きに見る」モードとの間の切り替えを検知する。

「縦向きに見る」モードは、２名以上のユーザに、それぞれ異なる映像を提供する必要があるアプリケーション、一例としては、テレビ会議、マルチ動画プレーヤ等に適用されてよい。

図３９は、本発明の一実施形態に係るマルチディスプレイ装置の構成を具体的に説明するためのブロック図である。
図示のマルチディスプレイ装置１００は、通信部１１０のセルラー通信モジュール１１１と、無線ＬＡＮモジュール１１２と、近距離通信モジュール１１３およびコネクタ１１４のうち、少なくとも一つを用いて、外部装置（図示せず）と接続されてよい。“外部装置”は、別の装置、携帯電話、スマートフォン、タブレットパソコン、コンピュータサーバおよびデジタルテレビのうち、少なくとも一つを含んでよい。

図３９を参照すると、マルチディスプレイ装置１００は、二つのディスプレイ部１９０ａ、１９０ｂを含む。図３９においては、二つのディスプレイ部について示しているが、それは三つ以上に拡張して変更実行されてよい。

本発明の一実施形態であるマルチディスプレイ装置１００は、通信部１１０と、マルチメディア部１２０と、制御部１３０と、撮像部１４０と、センサ部１５０と、入／出力部１６０と、保存部１７０と、電源部１８０および第１、２ディスプレイ部１９０ａ、１９０ｂを含む。

通信部１１０は、セルラー通信モジュール１１１と、無線ＬＡＮモジュール１１２と、近距離通信モジュール１１３と、コネクタ１１４と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール１１５および放送通信モジュール１１６を含む。

セルラー通信モジュール１１１は、制御部１３０の制御に応じて、セルラー通信プロトコルによる無線アクセス技術を使用し、マルチディスプレイ装置１００が少なくとも一つまたは複数のアンテナ（図示せず）を介して、外部装置（特に、セルラーシステムの基地局）と接続されるようにする。

なお、セルラー通信モジュール１１１は、マルチディスプレイ装置１００に入力される電話番号を有する携帯電話、スマートフォン、タブレットパソコンまたは他の装置のような通信可能な他の機器と、音声通話、テレビ電話、ショートテキスト（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ：ＳＭＳ）メッセージまたはマルチディスプレイ（Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ：ＭＭＳ）メッセージを盛り込んだ無線信号を送／受信する。

なお、通信部１１０は、無線ＬＡＮモジュール１１２と近距離通信モジュール１１３のうち、少なくとも一方を含んでよい。例えば、無線ＬＡＮモジュール１１２のみを含んだり、近距離通信モジュール１１３のみを含んだり、または、無線ＬＡＮモジュール１１２と近距離通信モジュール１１３との両方を含んでよい。

無線ＬＡＮモジュール１１２は、制御部１３０の制御に応じて、無線ＡＰ（Ａｃｃｅｓｓ Ｐｏｉｎｔ）（図示せず）が設置された場所でインターネットに接続されてよい。無線ＬＡＮモジュール１１２は、米国電気電子協会（ＩＥＥＥ）の無線ＬＡＮ規格（ＩＥＥＥ８０２．１１ｘ）をサポートする。

近距離通信モジュール１１３は、制御部１３０の制御に応じて、マルチディスプレイ装置１００と外部機器との間に無線で近距離通信を行うことができる。近距離通信モジュールは、ブルートゥース（登録商標）（ｂｌｕｅｔｏｏｔｈ（登録商標））、赤外線通信（ＩｒＤＡ、ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）等を含んでよい。

コネクタ１１４は、ＵＳＢ ２．０、ＵＳＢ ３．０、ＨＤＭＩ（登録商標）、ＩＥＥＥ １３９４等、多様な装置とのインターフェースを提供する。
コネクタ１１４は、マルチディスプレイ装置１００と外部装置または電源ソースを接続するためのインターフェースとして利用されてよい。制御部１３０の制御によって、コネクタ１１４に接続された有線ケーブルを通じてマルチディスプレイ装置１００の保存部１７０に保存されたデータを外部装置に伝送したり、または、外部装置からデータを受信することができる。コネクタ１１４に接続された有線ケーブルを通じて、電源ソースから電源が入力されたり、バッテリ（図示せず）を充電することができる。

ＧＰＳモジュール１１５は、地球軌道上にある複数のＧＰＳ衛星（図示せず）から電波を受信し、ＧＰＳ衛星（図示せず）からマルチディスプレイ装置１００まで電波到達時間（Ｔｉｍｅ ｏｆ Ａｒｒｉｖａｌ）およびＧＰＳパラメータを用いて、マルチディスプレイ装置１００の位置を算出することができる。

放送通信モジュール１１６は、制御部１３０の制御に応じて、放送通信アンテナ（図示せず）を通じて放送局から送出される放送信号（例えば、テレビ放送信号、ラジオ放送信号またはデータ放送信号）および放送付加情報（例えば、ＥＰＳ（Ｅｌｅｃｔｒｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）またはＥＳＧ（Ｅｌｅｃｔｒｉｃ Ｓｅｒｖｉｃｅ Ｇｕｉｄｅ））を受信することができる。

マルチメディア部１２０は、オーディオ再生モジュール１２１およびビデオ再生モジュール１２２を含む。

オーディオ再生モジュール１２１は、制御部１３０の制御によって保存されたり、または、受信されるデジタルオーディオファイル（例えば、ファイル拡張子がｍｐ３、ｗｍａ、ｏｇｇまたはｗａｖのファイル）を再生することができる。ビデオ再生モジュール１２２は、デジタルビデオファイルを再生することができるように、多様な形式のコーデックをサポートする。すなわち、再生しようとするビデオファイルのコーデック形式に合うように予め保存されたコーデックによって、ビデオファイルを再生する。なお、マルチメディア部１２０のオーディオ再生モジュール１２１またはビデオ再生モジュール１２２は、制御部１３０に含まれてよい。

制御部１３０は、ＣＰＵと、マルチディスプレイ装置１００の制御のための制御プログラムが保存されたＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）およびマルチディスプレイ装置１００の外部から入力される信号またはデータを記憶したり、マルチディスプレイ装置１００で実行される作業のための記憶領域で使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＣＰＵは、シングルコアプロセッサ、デュアルコアプロセッサ、トリプルコアプロセッサおよびクォータコアプロセッサのうち、少なくとも一つを含んでよい。ＣＰＵ、ＲＯＭおよびＲＡＭは、内部バス（Ｂｕｓ）を介して接続される。

制御部１３０は、通信部１１０と、マルチメディア部１２０と、撮像部１４０と、センサ部１５０と、入／出力部１６０と、保存部１７０と、電源部１８０および第１、２ディスプレイ部１９０ａ、１９０ｂを制御する。

撮像部１４０は、第１撮像部１４１および第２撮像部１４２のうち少なくとも一方を含む。図３９においては、第１撮像部１４１と第２撮像部１４２とのみを示しているが、実施形態に応じては、更なる撮像部を含んでよい。

撮像部１４０は、制御部１３０の制御に応じて、停止イメージまたは動作を撮影する第１撮像部１４１および第２撮像部１４２の少なくとも一方を含んでよい。場合によっては、数個の撮像部を更に含んでよい。第１撮像部１４１および第２撮像部１４２は、マルチディスプレイ装置１００のボディ（ｂｏｄｙ）に備えられたり、或いは、別途の接続手段を使用してマルチディスプレイ装置１００に接続されてよい。第１撮像部１４１および第２撮像部１４２のうち少なくとも一方は、撮影に必要な光量を提供するサブ光源（例えば、フラッシュ（図示せず））を含んでよい。

一実施形態として、第１撮像部１４１は、マルチディスプレイ装置１００前面に配置され、第２カメラ１４２は、マルチディスプレイ装置１００の背面に配置されてよい。別の実施形態として、第１撮像部１４１と第２撮像部１４２とは、隣接して（例えば、第１撮像部１４１と第２撮像部１４２との間隔が１ｃｍより広く、８ｃｍより狭く）配置され、３次元停止イメージまたは３次元動画を撮影することができる。更に別の実施形態として、第１撮像部１４１は第１ボディに配置され、第２撮像部１４２は第２ボディに配置されてよい。

撮像部は、レンズとイメージセンサとを含む。撮像部に使用可能なレンズの種類には、一般的な汎用レンズ、広角レンズ、ズームレンズ等がある。第１および第２撮像部１４０ａ、１４０ｂは、一般的に同じレンズを備える撮像部で構成されるが、場合によっては、互いに異なるレンズを備える撮像部で構成されてよい。

イメージセンサには、相補型金属酸化物半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）と電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）がある。第１および第２撮像部１４０ａ、１４０ｂは、一般に一種のイメージセンサで構成されるが、異なる種類のイメージセンサの組み合わせで構成されてよい。例えば、第１および第２撮像部１４０ａ、１４０ｂの両方がＣＭＯＳまたはＣＣＤを使用することができ、第１撮像部１４０ａはＣＭＯＳ、第２撮像部１４０ｂはＣＣＤを使用することができる。

撮像部１４０は、第１撮像部１４１および第２撮像部１４２の少なくとも一方を介して撮像されたイメージを制御部１３０に伝達する。制御部１３０は、イメージを分析し、ユーザの動き或いは形状を検知し（ｄｅｔｅｃｔ）し、検知された動き或いは形状に対応する制御動作を行う。一例として、ユーザの動きとは、第１或いは第２撮像部１４１、１４２を介して検知されるユーザの手の動きを意味する。ユーザの形状とは、第１或いは第２撮像部１４１、１４２を介して検知されるユーザの顔の形状を意味してよい。

更に別の実施形態として、マルチディスプレイ装置１００は、赤外線検知器のような別の手段を用いてユーザの動きを検知し、上記動きに応答してアプリケーションを実行或いは制御することができる。

センサ部１５０は、タッチセンサ１５１と、地磁気センサ１５２と、加速度センサ１５３と、ヒンジセンサ１５４および近接センサ１５５を含む。

タッチセンサ１５１は、ユーザのディスプレイ部に対するタッチを検知することができるセンサである。タッチセンサ１５１は、ユーザのタッチを検知する方式に応じて、静電方式と圧電方式とに分けることができる。本発明の一実施形態に係るタッチセンサ１５１は、２種の方式でそれぞれ実現されてよい。タッチセンサ１５１は、ディスプレイパネルとともにディスプレイ部を構成することができる。それに対する具体的な説明は、別途の図を参照して、以下で説明する。

タッチセンサ１５１は、指先のような身体または検知可能な入力手段でタッチスクリーン１９０ａ、１９０ｂを押圧し、ディスプレイ画面上に表示された指示を入力することができるセンサを意味する。タッチセンサ１５１は、容量変化、抵抗変化または光量変化を利用する。

地磁気センサ１５２は、磁場を検出し、方位角を探知することができる。よって、マルチディスプレイ装置１００の方向を認識する。加速度センサ１５３は、出力信号を処理し、物体の加速度、振動、衝撃等の動的力を測定するものとして、マルチディスプレイ装置１００の動く速度変化や力の強度を検知する。ヒンジセンサ１５４は、ヒンジの角度または動き等を検出することができる。近接センサ１５５は、マルチディスプレイ装置１００に対するユーザ客体の接近有無を検出することができる。

図３９には示していないが、マルチディスプレイ装置１００のセンサ部１５０は、重力がどの方向に作用するかを検出することができる重力センサ、既存の加速度センサにそれぞれ回転を施して総６軸を認識することができるジャイロセンサ、イメージのようなコンテンツの横、縦フレームを自動的に検知し、コンテンツを自動回転および整列させることができるオリエンテーションセンサ、マルチディスプレイ装置１００の周辺の光の量を検出する照度センサ、大気の圧力を測定することができる高度測定センサ、物体の色を検出することができるＲＧＢセンサ、超音波や赤外線を用いて距離を測定することができる距離測定センサ、磁場の強度に応じた電圧の変化を用いるホールセンサのうち、少なくとも一つを更に含んでよい。

センサ部１５０の各センサは、状態を検出し、検出に対応する信号を生成し、制御部１３０に伝送することができる。センサ部１５０のセンサは、マルチディスプレイ装置１００の性能に応じて追加されたり削除されてよい。

入／出力部１６０は、ボタン部１６１と、マイク１６２と、スピーカ１６３および振動モータ１６４を含む。

少なくとも一つのボタン部１６１は、マルチディスプレイ装置１００のボディの前面、側面または背面にプッシュ型或いはタッチ型で形成されてよく、電源／ロックボタン、音量調節ボタン、メニューボタン、ホームボタン、「戻る」ボタン（ｂａｃｋ ｂｕｔｔｏｎ）および検索ボタンのうち、少なくとも一つを含んでよい。

マイク１６２は、制御部１３０の制御によって、音声（ｖｏｉｃｅ）またはサウンド（ｓｏｕｎｄ）を受信して電気的な信号を生成する。

スピーカ１６３は、制御部１３０の制御に応じて、セルラー通信モジュール１１１と、無線ＬＡＮモジュール１１２と、近距離通信モジュール１１３と、マルチメディア部１２０または撮像部１４０の多様な信号（例えば、無線信号、放送信号、デジタルオーディオファイル、デジタル動画ファイルまたは写真撮影等）に対応するサウンドをマルチディスプレイ装置１００の外部に出力することができる。

スピーカ１６３は、マルチディスプレイ装置１００が行う機能に対応するサウンド（例えば、電話通話に対応するボタン操作音または通話接続音）を出力することができる。スピーカ１６３は、マルチディスプレイ装置１００のボディの適切な位置に一つまたは複数で形成されてよい。一例として、スピーカ１６３は、通話中にユーザの耳に接近するのに適した位置に配置される内部スピーカモジュールと、オーディオ／ビデオファイルの再生や放送の視聴時に使用されるのに適したより高い出力を有し、マルチディスプレイ装置１００のボディの適した位置に配置される外部スピーカモジュールを含んで構成されてよい。

振動モータ１６４は、制御部１３０の制御に応じて、電気的信号を機械的な振動に変換することができる。例えば、振動モードにあるマルチディスプレイ装置１００は別の装置（図示せず）から音声通話が受信される場合、振動モータ１６４が動作する。振動モータ１６４は、マルチディスプレイ装置１００のボディ内に一つまたは複数で形成されてよい。振動モータ１６４は、第１、第２ディスプレイ部１９０ａ、１９０ｂ上で検知されるユーザのタッチジェスチャおよび第１、第２ディスプレイ部１９０ａ、１９０ｂ上で検知されるタッチの連続した動きに応答して動作することができる。

保存部１７０は、制御部１３０によって処理された各種マルチメディアデータ、コンテンツデータ、外部ソースから受信されたデータ等を保存する。

具体的に説明すると、保存部１７０は、制御部１３０の制御に応じて、セルラー通信モジュール１１１と、無線ＬＡＮモジュール１１２と、近距離通信モジュール１１３と、コネクタ１１４と、ＧＰＳモジュール１１５と、マルチメディア部１２０と、撮像部１４０と、センサ部１５０と、入／出力部１６０と、第１、２ディスプレイ部１９０ａ、１９０ｂの動作に対応するように、入／出力される信号、情報またはデータとを保存することができる。

保存部１７０は、マルチディスプレイ装置１００または制御部１３０の制御のための制御プログラムおよびアプリケーションを保存することができる。以下、“保存部”という用語は、ＲＯＭ、ＲＡＭまたはマルチディスプレイ装置１００に着脱自在のメモリカード（例えば、ＳＤカード、メモリスティック）を含むことができる。なお、保存部は、非揮発性メモリ、揮発性メモリ、ハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）を含んでよい。

電源部１８０は、マルチディスプレイ装置１００で使用される電源を供給する。電源部１８０は、充電可能なバッテリで実現されてよく、外部供給電源を変換して充電可能なバッテリに供給する電圧変換機を更に含んでよい。

電源部１８０は、制御部１３０の電源管理制御によって、マルチディスプレイ装置１００に最大性能モード、通常モード、節電モード、待ち受けモード等、多様なモードで電源を供給することができる。

第１、２ディスプレイ部１９０ａ、１９０ｂは、ヒンジ部（図示せず）によって相互連結されてよい。第１、２ディスプレイ部１９０ａ、１９０ｂは、制御部１３０の制御によってマルチメディアコンテンツ、イメージ、動画、テキスト等を表示する。

第１ディスプレイ部１９０ａと第２ディスプレイ部１９０ｂとは、物理的に相互分離されている。第１ディスプレイ部１９０ａと第２ディスプレイ部１９０ｂとに表示されるディスプレイ画面は、互いに独立的に制御することができる。例えば、第１ディスプレイ部１９０ａの解像度と第２ディスプレイ部１９０ｂの解像度とは、それぞれ個別的に設定することができる。なお、第１ディスプレイ部１９０ａと第２ディスプレイ部１９０ｂとに表示される画面の拡大、回転、画面移動、画面分割等をそれぞれ個別的に実行することができる。

なお、第１ディスプレイ部１９０ａおよび第２ディスプレイ部１９０ｂは、仮想統合フレームバッファを用いて単一ディスプレイ画面で表示することができる。

第１、２ディスプレイ部１９０ａ、１９０ｂは、液晶ディスプレイパネル（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ ＰＡＮＥＬ：ＬＣＤ Ｐａｎｅｌ）、プラズマディスプレイパネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＰＤＰ）、有機発光素子（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＯＬＥＤ）、ＶＦＤ（Ｖａｃｕｕｍ Ｆｌｕｏｒｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）， ＥＬＤ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の多様なディスプレイユニットで実現されてよい。

第１、２ディスプレイ部１９０ａ、１９０ｂは、入力タッチ機能のない一般のディスプレイパネルで実現されてよく、近接センサやタッチセンサを用いたユーザ操作を認識することができるタッチディスプレイパネルで実現されてよい。タッチディスプレイパネルで実現される場合、ユーザの身体（例えば、親指を含む指）または検知可能な入力手段（例えば、スタイラスペン）を通じて少なくとも一つのタッチジェスチャを入力されることができる。

このようなユーザインターフェースは、所定のタッチ領域、ソフトキーおよびソフトメニューを含んでよい。第１、２ディスプレイ部１９０ａ、１９０ｂは、ユーザインターフェースを通じて入力される少なくとも一つのタッチジェスチャに対応する電子信号をＬＣＤコントローラ（図示せず）を通じて、第１、２ディスプレイ部１９０ａ、１９０ｂに伝送することができる。なお、第１、２ディスプレイ部１９０ａ、１９０ｂは、タッチの連続した動きを検知し、タッチの連続的或いは非連続的な動きに対応する電子信号をＬＣＤコントローラに伝送することができる。

このような第１、２ディスプレイ部１９０ａ、１９０ｂは、例えば、抵抗膜（ｒｅｓｉｓｔｉｖｅ）方式、静電容量（ｃａｐａｃｉｔｉｖｅ）方式、赤外線（ｉｎｆｒａｒｅｄ）方式または超音波（ａｃｏｕｓｔｉｃ ｗａｖｅ）方式で実現されてよい。

第１、２ディスプレイ部１９０ａ、１９０ｂは、タッチセンサを通じて検知されたユーザの動作に関する検知信号をデジタル信号（例えば、Ｘ、Ｙ座標）に変換して制御部１３０に伝送する。制御部１３０は、受信されたデジタル信号を用いて、第１、２ディスプレイ部１９０ａ、１９０ｂを介して入力されたユーザの動作に対応する制御動作を行うことができる。例えば、制御部１３０は、ユーザ動作に応答し、第１、２ディスプレイ部１９０ａ、１９０ｂに表示されたソフトキーが選択されるようにしたり、またはソフトキーに対応するアプリケーションを実行することができる。

上述のユーザのジェスチャは、第１、２ディスプレイ部１９０ａ、１９０ｂとユーザの身体またはタッチ可能な入力手段との直接の接触（ｃｏｎｔａｃｔ）に限定されずに、非接触による方式も含む。第１、２ディスプレイ部１９０ａ、１９０ｂから検出可能なユーザ動作の感度は、マルチディスプレイ装置１００の性能または構造に応じて変更されてよい。

一方、上述の実施形態においては、マルチディスプレイ装置１００のボディがヒンジ部によって連結されるものとして図示および説明したが、ヒンジ部の代わりに、フレキシブルな材質の連結部で連結されてよい。

図４０は、多様な実現例によるマルチディスプレイ装置の細部構成を説明するためのブロック図である。
図４０によると、マルチディスプレイ装置は、通信部１１０と、マルチメディア部１２０と、制御部１３０と、撮像部１４０と、センサ部１５０と、入／出力部１６０と、保存部１７０と、電源部１８０およびマルチディスプレイ部１９０を含む。図３９において説明した構成部と同一の構成部の説明は省略し、ディスプレイする過程のみについて説明する。

ＣＰＵ１３１は、保存部（図示せず）に保存されたデータをＲＡＭ１３５から読み取り、ＲＡＭ１３５に保存されているデータのうち、グラフィック処理が必要なデータをＧＰＵ１３３に伝達する。ＣＰＵ１３１は、ＧＰＵ１３３によってグラフィック処理されたデータを受信し、システムバス１３９と接続されたＬＣＤコントローラ（図示せず）に伝達し、ディスプレイ部にイメージを表示する。

ＣＰＵ１３１は、ＧＰＵ１３３によって処理されたイメージデータをＲＡＭ１３５の予め決定された領域上に割り当てられた仮想フレームバッファ（Ｖｉｒｔｕａｌ Ｆｒａｍｅ Ｂｕｆｆｅｒ）領域に一時的に保存する。ＣＰＵ１３１は、ディスプレイ部の最大解像度（例えば、１０２４×６００）をサポートするように、仮想フレームバッファの領域を割り当てる。２つのディスプレイ部である場合には、１０２４×１２００の大きさで仮想フレームバッファの領域を割り当てる。

ＣＰＵ１３１は、仮想フレームバッファに一時的に保存されたデータをＧＰＵ１３３に出力してデジタル信号処理を行う。

ＧＰＵ１３３は、ＣＰＵ１３１の制御下で入力されたデータに対するグラフィック処理を行う。具体的には、ＧＰＵ１３３は、演算部（図示せず）およびレンダリング部（図示せず）を用いてアイコン、イメージ、テキスト等のような多様な客体を含む画面を生成することができる。演算部は、画面のレイアウトに沿って各客体が表示される座標値、形、大きさ、カラー等のような属性値を演算する。レンダリング部は、演算部で演算された属性値に基づいて客体を含む多様なレイアウトの画面を生成する。レンダリング部から生成された画面は、バス１３９を介して第１および第２ディスプレイ部１９０ａ、１９０ｂに伝達されてディスプレイ領域内に表示されたり、保存部１７０に保存されてよい。

ＣＰＵ１３１は、ＧＰＵ１３３によってグラフィック処理されたデータを第１および第２ディスプレイ部１９０ａ、１９０ｂのうち少なくとも一方を通じてディスプレイしたり、保存部１７０に保存するように制御することもでき、または、処理されたデータをディスプレイコントローラ（図示せず）に入力することができる。

ＧＰＵ１３３は、デコーダ（ｄｅｃｏｄｅｒ）、レンダラー（ｒｅｎｄｅｒｅｒ）、スケーラ（ｓｃａｌｅｒ）等を含んでよい。それにより、保存されたコンテンツをデコードし、デコードされたコンテンツデータをレンダリングしてフレームを構成し、構成されたフレームのサイズをディスプレイコントローラ（図示せず）の制御によってディスプレイの大きさに合わせてスケーリングする。もし、第１および第２ディスプレイ部１９０ａ、１９０ｂのいずれか一方でディスプレイされる画面であれば、その大きさに合わせてスケーリングし、両ディスプレイ部の全てにおいてディスプレイされる画面なら、全ディスプレイサイズに合わせてスケーリングする。ＧＰＵ１３３は、処理されたフレームをディスプレイ部に提供してディスプレイする。

マルチディスプレイ装置１００は、複数のディスプレイ部を備えているため、そのディスプレイ部を活用し、多様な画面を提供することができる。以下では、マルチディスプレイ装置の基本的な細部構成および動作に対する多様な例について記述する。

図４１は、複数のフレームバッファを用いて、各ディスプレイ部の動作を制御するマルチディスプレイ装置の構成を示すブロック図である。

図４１によると、マルチディスプレイ装置は、第１および第２ディスプレイ部１９０ａ、１９０ｂと、ディスプレイ制御部１７５とを含む。ディスプレイ制御部１７５は、図３９の制御部１３０と別の構成要素として設けられてよく、制御部１３０内に含まれる構成要素であってよい。

図４１によると、ディスプレイ制御部１７５は、第１フレームバッファ１７５ａ−１、第１ディスプレイドライバ１７５ａ−２、第２フレームバッファ１７５ｂ−１および第２ディスプレイドライバ１７５ｂ−２を含む。

第１フレームバッファ１７５ａ−１は、第１ディスプレイ部１９０ａにディスプレイされるイメージフレームをバッファリングするための構成であり、第２フレームバッファ１７５ｂ−１は、第２ディスプレイ部１９０ｂにディスプレイされるイメージフレームをバッファリングするための構成である。

仮に、ＧＰＵ１３３によってデジタル信号処理されたイメージフレームは、第１、２フレームバッファ１７５ａ−１、１７５ｂ−１にビットマップ形態で保存される。この場合、各フレームバッファ１７５ａ−１、１７５ｂ−１のバッファリング領域は、各ディスプレイ部１９０ａ、１９０ｂからサポート可能な最大ピクセルサイズに合わせて割り当てられる。第１ディスプレイドライバ１７５ａ−２は、第１フレームバッファ１７５ａ−１に保存されたイメージフレームを分析し、第１イメージソース信号に変換する。第１ディスプレイドライバ１７５ａ−２は、第１イメージソース信号を第１ディスプレイ部１９０ａに提供し、第１ディスプレイ部１９０ａがイメージフレームをディスプレイするように駆動させる。

同様に、第２ディスプレイドライバ１７５ｂ−２は、第２フレームバッファ１７５ｂ−１に保存されたイメージフレームを分析し、第２イメージソース信号に変換し、それを第２ディスプレイ部１９０ｂに提供してディスプレイさせる。

図４１においては、各ディスプレイ部１９０ａ、１９０ｂに対応する第１フレームバッファ１７５ａ−１と第２フレームバッファ１７５ｂ−１とが別途に設けられるもとして示しているが、次の図４２においては、別の実施形態に係る一つの統合フレームバッファが使用される実施形態を示す。

図４２は、統合フレームバッファを用いて、各ディスプレイ部の動作を制御するマルチディスプレイ装置の構成を示すブロック図である。

図４２は、統合フレームバッファを用いて各ディスプレイ部の動作を制御するマルチディスプレイ装置の構成を示すブロック図である。フレームバッファが統合フレームバッファ１７５−１形態で実現される場合、第１、２ディスプレイ部の最大解像度より大きなサイズで統合フレームバッファ１７５−１の大きさを割り当てて実現することができる。

例えば、第１、２ディスプレイ部が、それぞれ最大１０２４×８００の解像度をディスプレイすることができる場合、統合フレームバッファ１７５−１は１０２４×１６００の解像度をディスプレイすることができるフレームバッファサイズで保存領域を割り当てる。統合フレームバッファ１７５−１の第１領域には第１ディスプレイ部１９０ａにディスプレイされる第１イメージフレームが保存され、第２領域には第２ディスプレイ部１９０ｂにディスプレイされる第２イメージフレームが保存される。

ディスプレイドライバ１７５−２は、統合フレームバッファ１７５−１に保存された第１イメージフレームと第２イメージフレームとのアドレスを用いて、第１ディスプレイ部１９０ａまたは第２ディスプレイ部１９０ｂに第１、２イメージフレームを提供し、それぞれのディスプレイ部を駆動させる。

図４３は、図４１に示す二つのディスプレイ部のうちの第１ディスプレイ部の構成を具体的に説明するための図である。

図４３は、また、ディスプレイ部の構成の一例を説明するための図である。説明の便宜上、図４３においては、第１ディスプレイ部のみを示しているが、第２ディスプレイ部もこれと同様の形態で実現されることは勿論である。

図４３によると、第１ディスプレイ部１９０ａは、タイミングコントローラ２３１と、ゲートドライバ２３２と、データドライバ２３３と、電圧駆動部２３４および表示パネル２３５を含んでよい。

タイミングコントローラ２３１は、外部からタッチスクリーン部の解像度に適したクロック信号（ＤＣＬＫ）と水平同期信号（Ｈｓｙｎｃ）、垂直同期信号（Ｖｓｙｎｃ）等を受信し、ゲート制御信号（走査制御信号）、データ制御信号（データ信号）を生成し、入力されたＲ、Ｇ、Ｂデータを再配列してデータドライバ２３３に供給する。

タイミングコントローラ２３１は、上記のゲート制御信号に関連し、ゲートシフトクロック（Ｇａｔｅ Ｓｈｉｆｔ Ｃｌｏｃｋ：ＧＳＣ）、ゲート出力イネーブル（Ｇａｔｅ Ｏｕｔｐｕｔ Ｅｎａｂｌｅ：ＧＯＥ）と、ゲート開始パルス（Ｇａｔｅ Ｓｔａｒｔ Ｐｕｌｓｅ：ＧＳＰ）等を発生させることができるが、ここで、ＧＳＣは、Ｒ、Ｇ、Ｂ有機発光素子（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＯＬＥＤ）のような発光素子に接続された薄膜トランジスタ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ：ＴＦＴ）がオン／オフ（Ｏｎ／Ｏｆｆ）される時間を決定する信号であり、ＧＯＥはゲートドライバ２３２の出力を制御する信号であり、ＧＳＰは一つの垂直動機信号のうち、画面の一番目の駆動ラインを報知する信号である。

更に、タイミングコントローラ２３１は、データ制御信号に関連し、ソースサンプリングクロック（Ｓｏｕｒｃｅ Ｓａｍｐｌｉｎｇ Ｃｌｏｃｋ：ＳＳＣ）、ソース出力イネーブル（Ｓｏｕｒｃｅ Ｏｕｔｐｕｔ Ｅｎａｂｌｅ：ＳＯＥ）、ソース開始パルス（Ｓｏｕｒｃｅ Ｓｔａｒｔ Ｐｕｌｓｅ：ＳＳＰ）等を生成することができる。ここで、ＳＳＣは、データドライバ２３３でデータをラッチ（ｌａｔｃｈ）させるためのサンプリングクロックとして使用され、データドライブＩＣの駆動周波数を決定する。ＳＯＥは、ＳＳＣによってラッチされたデータを表示パネル２３５に伝達するようになる。ＳＳＰは、一つの水平同期期間中にデータのラッチまたはサンプリング開始を報知する信号である。

ゲートドライバ２３２は、走査信号を生成する構成として、走査線（Ｓ１、Ｓ２、Ｓ３、…、Ｓｎ）を通じて表示パネル２３５と接続される。ゲートドライバ２３２は、タイミングコントローラ２３１によって生成されたゲート制御信号に応じて電圧駆動部２３４から提供されるゲートオン／オフ電圧（Ｖｇｈ／Ｖｇｌ）を表示パネル２３５に印加する。ゲートオン電圧（Ｖｇｈ）は、表示パネル２３５に単位フレーム映像の実現のために、ゲートライン１（ＧＬ１）でゲートラインＮ（ＧＬｎ）まで順次に提供される。

データドライバ２３３は、データ信号を生成する構成として、データ線（Ｄ１、Ｄ２、Ｄ３、…、Ｄｍ）を通じて表示パネル２３５と接続される。データドライバ２３３は、タイミングコントローラ２３１によって生成されたデータ制御信号に応じてスケーリングが完了し、映像イメージフレームのＲＧＢデータを表示パネル２３５に入力される。データドライバ２３３は、タイミングコントローラ２３１で直列（ｓｅｒｉａｌ）で提供されるＲＧＢの映像データを並列（ｐａｒａｌｌｅｌ）に変換し、デジタルデータをアナログ電圧に変換して一つの水平ライン分に該当する映像データを表示パネル２３５に提供する。この過程は、各水平ライン別に順次に行われる。

電圧駆動部２３４は、ゲートドライバ２３２と、データドライバ２３３と、表示パネル２３５等に、それぞれの駆動電圧を生成して伝達する。すなわち、外部からの常用電源、すなわち、１１０Ｖまたは２２０Ｖの交流電圧が提供され、表示パネル２３５に必要な電源電圧（ＶＤＤ）を生成して提供したり、接地電圧（ＶＳＳ）を提供することができる。なお、ゲートオン電圧（Ｖｇｈ）を生成してゲートドライバ２３２に提供することができる。そのために、電圧駆動部２３４は個別に動作する複数の電圧駆動モジュール（図示せず）を含んでよい。ここで、複数の電圧駆動モジュール（図示せず）は、制御部１３０の制御に応じて、互いに異なる電圧を提供するように動作することができ、制御部１３０は予め設定された情報に応じて複数の電圧駆動モジュールが互いに異なる駆動電圧を提供するように電圧駆動部２３４を制御することができる。例えば、複数の電圧駆動モジュールのそれぞれは、制御部１３０の制御に応じて、予め設定された情報に応じて互いに異なる第１電圧およびデフォルトで設定された第２電圧を提供することができる。

一実施形態によると、電圧駆動部２３４は、複数個の領域に区分された表示パネル２３５の各領域に対応する複数個の電圧駆動モジュールを含んでよい。この場合、制御部１３０は、複数個の領域のそれぞれの画面情報（または、入力映像情報）に応じて、互いに異なる第１電圧、すなわち、ＥＬＶＤＤ電圧を提供するように複数個の電圧駆動モジュールを制御することができる。すなわち、データドライバ２３３に入力される映像信号を用いて、ＥＬＶＤＤ電圧の大きさを制御することができる。ここで、画面情報は、入力映像の輝度および階調情報の少なくともいずれか一方であってよい。

表示パネル２３５は、相互交差して画素領域を定義するための複数のゲートライン（ＧＬ１〜ＧＬｎ）とデータライン（ＤＬ１〜ＤＬｎ）とが形成され、その交差する画素領域２３６には、ＯＬＥＤのようなＲ、Ｇ、Ｂの発光素子が形成されてよい。そして、画素領域２３６の一領域、より正確には、角にはスイッチング素子、すなわち、 ＴＦＴが形成される。このようなＴＦＴのターンオン動作時にデータドライバ２３３から階調電圧がそれぞれのＲ、Ｇ、Ｂの発光素子に提供される。このとき、Ｒ、Ｇ、Ｂの発光素子は階調電圧に基づいて提供された電流量に相応して光を提供するようになる。すなわち、Ｒ、Ｇ、Ｂの発光素子は多くの電流量が提供されると、その分多くの光を提供するようになる。

図４４は、図４３に示すディスプレイパネルを構成するＲ、Ｇ、Ｂ画素を構成する回路構造を説明するための図である。

図４４を参照すると、表示パネル２３５は、３つのＲ、Ｇ、Ｂ画素領域２３６を含む。Ｒ、Ｇ、Ｂの画素領域２３６は、スキャン信号（Ｓ１）、ゲートオン電圧（Ｖｇｈ）によって動作するスイッチング素子（Ｍ１１、Ｍ２１、Ｍ３１）、データライン（ＤＬ１〜ＤＬｎ）に提供される変更された高階調値を含む画素値に基づいて電流を出力するスイッチング素子（Ｍ１２、Ｍ２２、Ｍ３２）、そしてタイミングコントローラ２３１から提供される制御信号に応じて、スイッチング素子（Ｍ１２、Ｍ２２、Ｍ３２）からＲ、Ｇ、Ｂの発光素子に提供される電流量を調節するスイッチング素子（Ｍ１３、Ｍ２３、Ｍ３３）を含んでよい。そして、このようなスイッチング素子（Ｍ１３、Ｍ２３、Ｍ３３）は、有機発光素子（ＯＬＥＤ）と接続され、ＯＬＥＤに電力を供給する。ここで、ＯＬＥＤは、蛍光または燐光有機物薄膜に電流を流すと、磁場発光の原理を用いて自ら光を発するディスプレイをいう。ＯＬＥＤのアノード（ａｎｏｄｅ）電極は画素回路に接続され、カソード（ｃａｔｈｏｄｅ）電極はＥＬＶＳＳに接続される。このようなＯＬＥＤは、画素回路から供給される電流に対応して所定の輝度の光を生成する。ここで、スイッチング素子（Ｍ１１、Ｍ２１、Ｍ３１）のゲート電極は走査線（Ｓ１）に接続され、ソース電極およびドレイン電極のうち、いずれか一方はデータ線（Ｄ１）に接続される。このような表示パネル２３５は、ＡＭ−ＯＬＥＤ（Ａｃｔｉｖｅ Ｍａｔｒｉｘ Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）パネルで実現されてよい。ただ、上述の実施形態は、本発明の一実施形態に過ぎず、本発明の一つのラインが同時に発光して駆動する方式であるＰＭ ＯＬＥＤ（Ｐａｓｓｉｖｅ Ｍａｔｒｉｘ Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を排除しないことは勿論である。

図４４の実施形態では、ＯＬＥＤについて説明してきたが。ディスプレイ部は液晶ディスプレイパネル（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ ＰＡＮＥＬ：ＬＣＤ Ｐａｎｅｌ）、プラズマディスプレイパネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＰＤＰ）、ＶＦＤ（Ｖａｃｕｕｍ Ｆｌｕｏｒｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）， ＥＬＤ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の多様なディスプレイ技術で実現されてよい。

図４５は、本発明の一実施形態に係るマルチディスプレイ装置のシステム階層構造を説明するための図である。マルチディスプレイ装置は、ハードウェア４１０だけでなく、ＯＳ４２０と、フレームワーク４３０と、通話アプリケーション４４１と、マルチメディアアプリケーション４４２と、カメラアプリケーション４４３と、ブラウザ４４４およびジェスチャ認識アプリケーション４４５のような多様なソフトウェアを含んでよい。

ハードウェア４１０は、図３９に示すような多様な構成を含むことができる。

運営体制（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ：ＯＳ）４２０は、ハードウェア４１０の動作全般を制御し、ハードウェア４１０を管理する機能を実行する。すなわち、ＯＳ４２０は、ハードウェア管理とメモリ、セキュリティ等の基本的な機能を担当する階層である。ＯＳ４２０は、マルチディスプレイ部を駆動させるためのディスプレイドライバ、データ送受信のための通信ドライバ、撮像部を駆動させるためのカメラドライバ、オーディオ部を駆動させるためのオーディオドライバ、電源管理者等のモジュールを駆動させてマルチディスプレイ装置の動作を制御する。

ＯＳ４２０より上位階層にフレームワーク（Ｆｒａｍｅ ｗｏｒｋ）階層４３０が存在する。フレームワーク４３０は、アプリケーション階層４４０とＯＳ階層４２０とを接続する役割を担う。すなわち、フレームワーク階層４３０は、ロケーションマネージャ（ｌｏｃａｔｉｏｎ ｍａｎａｇｅｒ）、報知マネージャ（ｎｏｔｉｆｉｃａｔｉｏｎ ｍａｎａｇｅｒ）およびディスプレイ部に映像を表示するためのフレームバッファ（ｆｒａｍｅ ｂｕｆｆｅｒ）を含む。

フレームワーク階層４３０の上部階層には、マルチディスプレイ装置１００の多様な機能を実現するアプリケーション階層４４０が存在する。例えば、通話アプリケーション４４１と、マルチメディアアプリケーション４４２と、カメラアプリケーション４４３と、ブラウザアプリケーション４４４およびジェスチャアプリケーション４４５等、多様な応用プログラムが含まれてよい。

図４６は、近接タッチを検知する方法を説明するための図である。
ユーザは、近接センサを用いた近接タッチ方式で、マルチディスプレイ装置１００に制御命令を入力させることができる。近接タッチは、タッチスクリーンを直接タッチせずに、空間上の一定の有効認識範囲から動きが認識される場合、一つのタッチジェスチャとして認識することが意味する。

図４６を参照すると、ディスプレイ部は、ディスプレイパネル２９０と、近接タッチ認識のための赤外線ソース部２９１および赤外線センシング部２９２を含む。赤外線ソース部２９１は、ディスプレイ部表面方向に赤外線を照射する。具体的に、赤外線ソース部２９１は、映像またはイメージを表示するディスプレイ部の下部に配置され、赤外線をディスプレイ部の表面方向に照射することができる。ディスプレイ部の表面上にユーザ客体５０の接近を認識することができる一定の領域が存在する。この領域が、近接タッチを認識することができる有効認識領域５である。

ユーザ客体の意味は、マルチディスプレイ装置１００に命令を入力するための手段を意味するものとして、例えば、手のような身体の一部であってよい。

ユーザ客体５０が有効認識領域５内に近接すると、赤外線センシング部２９２はユーザ客体５０の近接によって反射される赤外線を検知し、赤外線スキャンイメージを生成する。具体的に、赤外線センシング部２９２はアレイ形態で配置される複数の赤外線センシング素子を用いて、ユーザ客体５０の接近によって反射される赤外線に対応する赤外線スキャンイメージを生成することができる。マルチディスプレイ装置１００は、生成された赤外線スキャンイメージを用いて近接タッチ入力を検知することができる。

図４７は、別方式による近接タッチを検知する方法を説明するための図である。ユーザは、特定のペンを用いた近接タッチ方式でマルチディスプレイ装置１００に制御命令を入力させることができる。

図４７を参照すると、図４６を参照して説明したディスプレイパネル２９０ａと近接センサソース部２９１ａおよびセンシング部２９２ａを含む。特定のペンを用いて、近接タッチを認識するために、ペン４９はコイルを含むことができる。そして、ディスプレイ部は、静電気センサ部２９３を含む。静電気センサ部２９３は、数本のコイルを含むことができる。

コイルを含むペン４９が一定距離５ａ内に近接すると、静電気誘導現象によって、静電気センサ部２９３のコイルに電流が誘導される。電流は、ペン４９と近いコイルに最も大きく誘導され、ペン４９と距離が遠くなるほど、次第に小さく誘導される。よって、制御部は、最も大きく電流が誘導される地点がペン４９の位置する地点として認識するようになる。

図４７に示すディスプレイ部は、赤外線センシング部２９２ａを含んでいるため、ペン４９が一定距離内に近接する場合、赤外線センシング部２９２ａおよび静電気センサ部２９３の全てにおいてペン４９の近接が認識されることができる。よって、静電気センサ部２９３の近接認識を優先順位として二重認識になる問題を解決することができる。

図４８は、本発明の一実施形態に係るマルチディスプレイ装置の制御方法のフローチャートである。
図４８によると、マルチディスプレイ装置は、第１撮像部および第２撮像部を用いて、ユーザ客体の動き、すなわち、ジェスチャを撮像する（Ｓ４８１０）。マルチディスプレイ装置は、上述の多様な実施形態で説明したように、複数のディスプレイ部およびそれらを連結するヒンジ部を含む形態で実現されてよい。第１および第２撮像部のそれぞれは、各自の認識領域でユーザ客体のイメージを撮像する。第１および第２撮像部が互いに異なる位置に配置されると、ユーザ客体のイメージも互いに異なる角度から撮像されて獲得されてよい。

マルチディスプレイ装置は、ジェスチャが撮像されると、その撮像されたイメージを用いて、どのようなユーザのジェスチャが認識されたかを判断する（Ｓ４８２０）。上述のように、互いに異なる角度から撮像された複数のイメージに基づいて、ユーザのジェスチャを分析するようになると、３次元ジェスチャも認識することができ、精度も一層向上することができる。複数のイメージを用いて、ユーザのジェスチャを認識する方法については、上述で具体的に説明しているため、繰り返し説明は省略する。

ユーザのジェスチャが認識されると、マルチディスプレイ装置は、認識されたユーザのジェスチャに対応する制御動作を行う（Ｓ４８３０）。マルチディスプレイ装置は、予め保存された制御コマンド情報の中から認識されたユーザのジェスチャにマッチングされる制御コマンド情報を検出する。それから、検出された制御コマンド情報に対応する動作を行う。行われる動作の例については、既に具体的に説明しているため、繰り返し説明は省略する。

以上のように、本発明の多様な実施形態によると、数個のディスプレイ手段を備えたマルチディスプレイ装置で複数の撮像部を用いて、ユーザのジェスチャを認識し、そのユーザのジェスチャに応じて動作を制御することができる。それにより、より多様なユーザのジェスチャを用いて動作を制御することができ、その認識の精度も大きく向上させることができる。何より、ユーザがマルチディスプレイ装置をより容易かつ簡単に制御することができるため、ユーザの満足度が大きく向上する。

ユーザのジェスチャを用いた入力方式は、タッチ操作、ボタン操作、音声認識技術等のような他の入力方式と組み合わせて使用されることで、マルチディスプレイ装置の操作性を更に向上させることもできる。

上述の多様な実施形態に係るマルチディスプレイ装置の動作制御方法や、ユーザのジェスチャ認識方法等は、プログラムで実現され、マルチディスプレイ装置に提供されてよい。

一例として、マルチディスプレイ装置の第１ボディに設けられた第１撮像部と、第２ボディに設けられた第２撮像部とを用いて撮像を行うステップと、各撮像部で撮像された複数のイメージを用いて、ユーザのジェスチャを認識するステップと、認識されたユーザのジェスチャに対応する制御動作を行うステップとを行うプログラムが保存された非一時的な読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）が提供されてよい。

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のように短い間だけデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１１０ 通信部
１２０ マルチメディア部
１３０ 制御部
１４０ 撮像部
１４０ａ 第１撮像部
１４０ｂ 第２撮像部
１４１、１４１−１、１４１’ 第１カメラ
１４２、１４２−１、１４２’ 第２カメラ
１５０ センサ部
１６０ 入／出力部
１７０ 保存部
１７５ａ−１ 第１フレームバッファ
１７５ｂ−１ 第２フレームバッファ
１７５ａ−２ 第１ディスプレイドライバ
１７５ｂ−２ 第２ディスプレイドライバ
１７５−１ 統合フレームバッファ
１７５−２ ディスプレイドライバ
１８０ 電源部
１８５ ヒンジ部
１９０ａ 第１ディスプレイ部
１９０ｂ 第２ディスプレイ部
２３１ タイミングコントローラ
２３２ ゲートドライバ
２３３ データドライバ
２３４ 電圧駆動部

Claims (14)

1. 第１ディスプレイ部を含む第１ボディ（ｂｏｄｙ）と、
   第２ディスプレイ部を含む第２ボディ（ｂｏｄｙ）と、
   前記第１ボディおよび前記第２ボディを連結するヒンジ部と、
   前記第１ボディに設けられた第１撮像部と、
   前記第２ボディに設けられた第２撮像部と、
   前記第１および第２撮像部で、それぞれ撮像された複数のイメージを用いて、ユーザのジェスチャを認識し、認識された前記ユーザのジェスチャに対応する制御動作を行う制御部と
   を含み、
   前記制御部は、
   前記第１撮像部が撮像可能な第１撮像範囲内で移動するユーザ客体の動き方向と、前記第２撮像部が撮像可能な第２撮像範囲内で移動する前記ユーザ客体の動き方向とを用いて、前記第１および第２撮像範囲間の重複範囲内における前記ユーザのジェスチャを認識することを特徴とするマルチディスプレイ装置。
2. 前記制御部は、
   前記ヒンジ部を基準に、前記第１および第２ボディの開く角度を検出し、前記検出された角度が予め設定された角度範囲内であれば、前記第１および第２撮像部を活性化させることを特徴とする請求項１に記載のマルチディスプレイ装置。
3. 前記制御部は、
   前記ユーザのジェスチャを３次元的に認識することを特徴とする請求項１または２に記載のマルチディスプレイ装置。
4. 前記制御部は、
   前記ユーザのジェスチャをステレオ映像として認識することを特徴とする請求項１ないし３のいずれか一項に記載のマルチディスプレイ装置。
5. 前記制御部は、
   前記ユーザ客体が一つの連続パターンをなすように移動すると、前記連続パターンを構成するそれぞれのユーザのジェスチャに対応する複数の制御動作を連続的に行うことを特徴とする請求項１ないし４のいずれか一項に記載のマルチディスプレイ装置。
6. 前記ユーザのジェスチャは、
   シングルフィンガージェスチャ、ツーフィンガージェスチャ、マルチフィンガージェスチャ、パームジェスチャ、マルチパームジェスチャ、フィストジェスチャおよびマルチフィストジェスチャのうち、いずれか一つであることを特徴とする請求項１ないし５のいずれか一項に記載のマルチディスプレイ装置。
7. 前記制御部は、
   前記第１または第２ディスプレイ部に表示されたアイコンに対してグリップジェスチャが認識されると、前記アイコンを選択する動作を行うことを特徴とする請求項１ないし６のいずれか一項に記載のマルチディスプレイ装置。
8. 第１ディスプレイ部を含む第１ボディと、第２ディスプレイ部を含む第２ボディと、前記第１ボディと前記第２ボディとを連結するヒンジ部とを含むマルチディスプレイ装置の制御方法において、
   前記第１ボディに設けられた第１撮像部および前記第２ボディに設けられた第２撮像部を用いて撮像を行うステップと、
   前記第１および第２撮像部で、それぞれ撮像された複数のイメージを用いて、ユーザのジェスチャを認識するステップと、
   認識された前記ユーザのジェスチャに対応する制御動作を行うステップと
   を含み、
   前記ユーザのジェスチャを認識するステップは、
   前記第１撮像部が撮像可能な第１撮像範囲内で移動するユーザ客体の動き方向と、前記第２撮像部が撮像可能な第２撮像範囲内で移動する前記ユーザ客体の動き方向とを用いて、前記第１および第２撮像範囲間の重複範囲内における前記ユーザのジェスチャを認識することを特徴とするマルチディスプレイ装置の制御方法。
9. 前記ヒンジ部を基準に、前記第１および第２ボディの開く角度を検出するステップと、
   前記検出された角度が予め設定された角度範囲内であれば、前記第１および第２撮像部を活性化させるステップと
   を更に含むことを特徴とする請求項８に記載のマルチディスプレイ装置の制御方法。
10. 前記ユーザのジェスチャは、
    ３次元的に認識されることを特徴とする請求項８または９に記載のマルチディスプレイ装置の制御方法。
11. 前記ユーザのジェスチャは、
    ステレオ映像として認識されることを特徴とする請求項８ないし１０のいずれか一項に記載のマルチディスプレイ装置の制御方法。
12. 前記制御動作を行うステップは、
    前記ユーザ客体が一つの連続パターンをなすように移動すると、前記連続パターンを構成するそれぞれのユーザのジェスチャに対応する複数の制御動作を連続的に行うことを特徴とする請求項８ないし１１のいずれか一項に記載のマルチディスプレイ装置の制御方法。
13. 前記ユーザのジェスチャは、
    シングルフィンガージェスチャ、ツーフィンガージェスチャ、マルチフィンガージェスチャ、パームジェスチャ、マルチパームジェスチャ、フィストジェスチャおよびマルチフィストジェスチャのうち、いずれか一つであることを特徴とする請求項８ないし１２のいずれか一項に記載のマルチディスプレイ装置の制御方法。
14. 前記制御動作を行うステップは、
    前記第１または第２ディスプレイ部に表示されたアイコンに対するグリップジェスチャが認識されると、前記アイコンを選択する動作を行うことを特徴とする請求項８ないし１３のいずれか一項に記載のマルチディスプレイ装置の制御方法。

Images