JP2013140582A - 電子装置およびその制御方法 - Google Patents

Abstract

【課題】 本発明の目的とするところは、モーション入力部を介して入力されたユーザの両手を用いて、両手タスクモードを行うことができる電子装置およびその制御方法を提供することにある。
【解決手段】 電子装置およびその制御方法が提供される。本電子装置の制御方法は、両手を用いたモーションタスクを行うための両手開始命令が入力されると、両手を用いたモーションタスクを行う両手タスクモードに切り替え、両手を用いてモーションタスクを行うための両手入力ガイドＧＵＩをディスプレイする。それにより、ユーザは両手を用いてズームイン／ズームアウトのような電子装置の機能をより直観的かつ便利に行うことができるようになる。
【選択図】 図８

Description

本発明は、電子装置およびその制御方法に関し、より詳細には、モーション入力部を介して入力されたモーションに応じて制御される電子装置およびその制御方法に関する。

電子技術の発展により、多様な種類の電子装置が開発され普及している。特に、最近ではテレビをはじめとする多様な類型の電子装置が一般家庭でも使われている。これらの電子装置は、ユーザの要求に応じてより多様な機能を備えるようになっている。特に、テレビの場合、最近はインターネットと接続されてインターネットサービスまでサポートしている。ユーザはテレビを通じて数多くのデジタル放送チャネルも視聴できるようになっている。

よって、電子装置の多様な機能を効率的に使うための多様な入力方法が要求されている。例えば、リモコンを用いた入力方法、マウスを用いた入力方法、およびタッチパッドを用いた入力方法等が電子装置に適用されている。

ところが、このような単純な入力方法だけでは、電子装置の多様な機能を効果的に使いこなすことが困難であった。仮に、電子装置のすべての機能をリモコンだけで制御するようにするには、リモコンのボタン数を増やさざるを得なかった。この場合、一般のユーザがリモコンの使用法を習得することは決して容易なことではない。また、多様なメニューを画面上に表示してユーザが当該メニューを探し出して選択する方法の場合、ユーザが複雑なメニューツリーを一々確認し、自分の望むメニューを選択しなければならないという不都合が生じていた。

このような不都合を克服するために、近来には電子装置をより便利かつ直観的に制御するためのモーション認識技術が開発されている。即ち、ユーザのモーションを認識して電子装置を制御する技術が脚光を浴びている。

しかし、従来のモーション認識技術は、ユーザの片手だけを用いたモーション認識技術として、多様な入力方法が必要な現在の電子装置においては、その使用が制限的であるという問題が存在する。

韓国特開第２００７−００５５２１０号公報 韓国特開第２０１０−０１０２３５４号公報 韓国特開第２００６−００８４２５１号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、モーション入力部を介して入力されたユーザの両手を用いて、両手タスクモードを行うことができる電子装置およびその制御方法を提供することにある。

前記目的を達成するための本発明の一実施形態に係る電子装置の制御方法は、両手を用いたモーションタスクを行うための両手開始命令が入力されるステップと、前記両手開始命令が入力されると、前記両手を用いてモーションタスクを行う両手タスクモードに切り替えるステップと、前記両手タスクモードに切り替わると、前記両手を用いるモーションタスクを行うための両手入力ガイドグラフィカルユーザインタフェース（ＧＵＩ）をディスプレイするステップとを含む。

そして、前記入力されるステップは、片手を用いたモーション開始命令が入力されると、モーションタスクを行うためのモーションタスクモードに切り替え、前記モーションタスクモードに切り替えられた状態で、他方の手を用いたモーション開始命令が入力されると、前記両手開始命令が入力されたと認識してよい。

なお、前記入力されるステップは、前記両手を同時に複数回振るシェイクモーションが入力されると、前記両手開始命令が入力されたと認識してよい。

そして、前記両手を用いるモーションタスクは、ディスプレイ画面を拡大したり縮小するタスクであってよい。

なお、前記両手入力ガイドＧＵＩが前記ディスプレイ画面上の一領域に表示された状態で、前記両手が互いに遠ざかるモーションが入力されると、前記両手入力ガイドＧＵＩが表示された領域内の所定位置を基準としてディスプレイ画面を拡大し、前記両手が互いに近づくモーションが入力されると、前記両手入力ガイドＧＵＩが表示された領域内の所定位置を基準としてディスプレイ画面を縮小するステップを更に含んでよい。

そして、前記両手入力ガイドＧＵＩをディスプレイするステップは、前記ディスプレイ画面の中央領域に円状の両手入力ガイドＧＵＩをディスプレイしてよい。

なお、前記両手の移動モーションが入力されると、前記両手の移動モーションに対応するように前記円状の両手入力ガイドＧＵＩを移動させるステップを含んでよい。

そして、前記両手入力ガイドＧＵＩは、前記ユーザ両手の位置に対応する地点にディスプレイされる二つのポインタであり、前記両手を用いるモーションタスクは、前記二つのポインタを用いてディスプレイ画面を拡大したり縮小するタスクであってよい。

一方、前記目的を達成するための本発明の一実施形態に係る電子装置は、ユーザモーションが入力されるモーション入力部と、ディスプレイ部と、前記モーション入力部に両手を用いたモーションタスクを行うための両手開始命令が入力されると、前記両手を用いたモーションタスクを行う両手タスクモードに切り替え、前記両手を用いるモーションタスクを行うための両手入力ガイドグラフィカルユーザインタフェース（ＧＵＩ）を前記ディスプレイ部にディスプレイする制御部とを含む。

そして、前記制御部は、前記モーション入力部に片手を用いたモーション開始命令が入力されると、モーションタスクを行うためのモーションタスクモードに切り替え、前記モーションタスクモードに切り替えられた状態で、前記モーション入力部に他方の手を用いたモーション開始命令が入力されると、前記両手開始命令が入力されたと認識してよい。

なお、前記制御部は、前記モーション入力部を介して前記両手を同時に複数回振るシェイクモーションが入力されると、前記両手開始命令が入力されたと認識してよい。

そして、前記両手を用いるモーションタスクは、ディスプレイ画面を拡大したり縮小するタスクであってよい。

なお、前記制御部は、前記両手入力ガイドＧＵＩが前記ディスプレイ画面上の一領域に表示された状態で、前記両手が互いに遠ざかるモーションが入力されると、前記両手入力ガイドＧＵＩが表示された領域内の所定位置を基準としてディスプレイ画面を拡大し、前記両手が互いに近づくモーションが入力されると、前記両手入力ガイドＧＵＩが表示された領域内の所定位置を基準としてディスプレイ画面を縮小してよい。

そして、前記両手入力ガイドＧＵＩは、前記ディスプレイ画面の中央領域に円状のＧＵＩであってよい。

なお、前記制御部は、前記モーション入力部を介して前記両手の移動モーションが入力されると、前記両手の移動モーションに対応するように前記円状の両手入力ガイドＧＵＩを移動させてよい。

そして、前記両手入力ガイドＧＵＩは、前記ユーザ両手の位置に対応する地点にディスプレイされる二つのポインタであり、前記両手を用いるモーションタスクは、前記二つのポインタを用いてディスプレイ画面を拡大したり縮小するタスクであってよい。

以上説明したように、本発明によれば、ユーザは両手制御ＧＵＩを用いてディスプレイ画面の拡大／縮小機能をより直観的かつ便利に行うことができ、タッチ入力が可能な電子装置で実行可能なマルチタッチを用いた画面の拡大／縮小と類似しているユーザ経験を提供できるようになる。

本発明の多様な実施形態に係る電子装置の構成を説明するためのブロック図である。 本発明の多様な実施形態に係る電子装置の構成を説明するためのブロック図である。 本発明の多様な実施形態に係る電子装置の構成を説明するためのブロック図である。 本発明の多様な実施形態に係る両手を用いるユーザモーションを用いた電子装置を制御する方法を説明するための図である。 本発明の多様な実施形態に係る両手を用いるユーザモーションを用いた電子装置を制御する方法を説明するための図である。 本発明の多様な実施形態に係る両手を用いるユーザモーションを用いた電子装置を制御する方法を説明するための図である。 本発明の多様な実施形態に係る両手を用いるユーザモーションを用いた電子装置を制御する方法を説明するための図である。 本発明の一実施形態に係る両手を用いるユーザモーションを用いた電子装置を制御する方法を説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の実施形態に係る電子装置を示す概略的なブロック図である。

図１を参照すると、電子装置１００は、モーション入力部１２０と、保存部１３０と、制御部１４０およびディスプレイ部１９３を含む。電子装置１００は、外部のネットワークと接続可能なスマートテレビ、セットトップボックス、ＰＣであって、またはデジタルテレビや携帯電話等で実現されてよいが、これらに限られるものではない。

モーション入力部１２０は、ユーザのモーションを撮像した映像信号（例えば、連続するフレーム）を受信して制御部１４０に提供する。例えば、モーション入力部１２０は、レンズおよびイメージセンサで構成されるカメラユニットで実現されてよい。なお、モーション入力部１２０は、電子装置１００と一体型だけでなく、分離した形で実現されてよい。分離されたモーション入力部１２０は、電子装置１００と有線または無線ネットワークを通じて接続されてよい。

保存部１３０は、電子装置１００を駆動して制御するための多様なデータおよびプログラムを保存する。保存部１３０は、音声入力部を介して入力された音声を認識するための音声認識モジュールおよびモーション入力部１２０を介して入力されたモーションを認識するためのモーション認識モジュールを保存する。

保存部１３０は、音声データベースおよびモーションデータベースを含んでよい。音声データベースは、予め設定された音声および予め設定された音声にマッチする音声タスクが記録されたデータベースのことを意味する。モーションデータベースとは、予め設定されたモーションおよび予め設定されたモーションにマッチするモーションタスクが記録されたデータバースのことを意味する。

ディスプレイ部１９３は、放送受信部を介して受信された放送信号に対応する映像を表示する。ディスプレイ部１９３は、外部端子入力部を介して入力される映像データ（例えば、動画）を表示することができる。ディスプレイ部１９３は、制御部１４０の制御に応じて音声タスクを行うための音声ガイド情報およびモーションタスクを行うためのモーションガイド情報を表示することができる。

制御部１４０は、モーション入力部１２０と、保存部１３０およびディスプレイ部１９３を制御する。制御部１４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および電子装置１００を制御するためのモジュールおよびデータを保存するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでよい。

制御部１４０は、モーション入力部１２０を介してモーションが入力される場合、モーション検知モジュールおよびモーションデータベースを用いてモーションを認識する。モーション認識（Ｍｏｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ）はモーション入力部１２０を介して入力される映像（例えば、連続するフレーム）を周囲の背景とユーザモーションの対象であるオブジェクト（例えば、ユーザの手）領域に分離し、連続するオブジェクトの動きを認識することができる。ユーザモーションが入力される場合、制御部１４０は受信された映像をフレーム単位で保存し、保存されたフレームを用いてオブジェクトを検出する。制御部１４０は、フレームに含まれたオブジェクトの形、色、動きのうち、少なくともいずれか一つを検知してオブジェクトを検出する。制御部１４０は、複数のフレームに含まれた各々のオブジェクトの位置や各々のオブジェクトの形を用いて検出されたオブジェクトの動きを追跡することができる。

制御部１４０は、追跡されたオブジェクトの動きに応じてモーションを判断する。例えば、制御部１４０は、オブジェクトの形の変化、速度、位置、方向のうち、少なくともいずれか一つを用いてユーザのモーションを判断する。ユーザのモーションは、手を握るモーションであるグラブ（Ｇｒａｂ）、表示されたカーソルを手で移動させるモーションであるポインティング移動（Ｐｏｉｎｔｉｎｇ ｍｏｖｅ）、手を一定速度以上に一方向に動かすモーションであるスラップ（Ｓｌａｐ）、手を左／右または上／下に振るモーションであるシェイク（Ｓｈａｋｅ）および手を回転させるモーションである回転（Ｒｏｔａｔｅ）を含む。上述の実施形態以外の他のモーションにも、本発明の技術的思想が適用されてよい。例えば、握られた手を開くスプレッド（Ｓｐｒｅａｄ）モーション等が更に含まれてよく、一定時間の間、手が固定された位置にある場合にも、特定のモーションと判断してよい。

制御部１４０は、ユーザのモーションがポインティング移動であるか、スラップであるかを判断するために、オブジェクトが一定時間（例えば、８００ｍｓ）内に一定領域（例えば、４０ｃｍ×４０ｃｍの四角）から外れているかを判断する。オブジェクトが一定時間内に一定領域から外れていない場合、制御部１４０はユーザのモーションをポインティング移動と判断してよい。オブジェクトが決定された時間内に決定された領域から外れている場合、制御部１４０はユーザのモーションをスラップと判断してよい。別の一例として、オブジェクトの速度が予め設定された速度（例えば、３０ｃｍ／ｓ）以下であると判断された場合、制御部１４０はユーザのモーションをポインティング移動と判断する。オブジェクトの速度が予め設定された速度を超過するものであると判断される場合、制御部１４０はユーザのモーションをスラップと判断する。

制御部１４０は、認識された音声およびモーションを用いて、電子装置１００のタスク（Ｔａｓｋ）を行う。電子装置１００のタスクは、電源制御、チャネル変更、音量調節、コンテンツ（例えば、動画や音楽、写真等）の再生、画面に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の選択またはインターネットサービス（例えば、検索やブラウジング等）等のように、電子装置１００によって実行可能な機能の少なくとも何れか一つを含む。

特に、両手（Ｔｗｏ Ｈａｎｄ）を用いたモーションタスク（以下、“両手タスク”という）を行うための両手開始命令が入力されると、制御部１４０は、両手を用いてモーションタスクを行う両手タスクモードに切り替える。ここで、両手タスクは、ディスプレイ画面のズームインまたはズームアウトを行うタスクであってよい。ここで、両手開始命令の代わりに両手タスクモードを開始するための別の種類のユーザ命令を用いることができる。別の種類のユーザ命令は、リモコンの特定ボタン入力、電子装置１００の特定ボタン入力、ユーザの特定モーション等を含んでよい。

特に、両手タスクを行うための両手開始命令は、片手ずつ順次入力されてよく、両手が同時に入力されてもよい。

具体的に、モーション入力部１２０を介して片手を用いたモーション開始命令が入力されると、制御部１４０は、片手を用いるモーションタスクを行うためのモーションタスクモードに切り替える。そして、モーションタスクモードに切り替えられた状態で、モーション入力部１２０を介して他方の手を用いるモーション開始命令が入力されると、制御部１４０は両手開始命令が入力されたと認識することができる。ここで、片手を用いたモーション開始命令は、片手を左右方向に複数回振るシェイクモーションであってよい。

または、リモコンを用いて電子装置１００を制御する通常の制御モードでモーション入力部１２０を介して両手を同時に左右方向に複数回振るシェイクモーションが入力されると、制御部１４０は両手開始命令が入力されたと認識してよい。

両手タスクモードに切り替えられると、制御部１４０は両手タスクを行うための両手入力ガイドＧＵＩをディスプレイする。

具体的に、両手入力ガイドＧＵＩは、両手の位置に対応する画面上の２地点を連結した直線を直径とする円状のＧＵＩであってよい。それについては、図４ないし図６を参照して具体的に説明する。

モーション入力部１２０を介して両手開始命令が入力されると、制御部１４０は電子装置１００の制御モードを両手タスクモードに切り替え、モーションタスクモードを行うためのモーションガイド情報４００をディスプレイする。このとき、モーションガイド情報４００は、片手を用いたモーション開始命令が順次に入力された場合にのみディスプレイされてよく、両手を同時に用いたモーション開始命令が入力された場合にはディスプレイされなくてよい。

なお、両手開始命令が入力されると、制御部１４０は両手タスクモードを行うための両手入力ガイドＧＵＩ４３０をディスプレイする。このとき、両手入力ガイドＧＵＩ４３０には、図４に示すように、円状のＧＵＩであってよい。無論、楕円や三角、四角、直線等のユーザの両手の位置を直観的に認識できる形状なら、別の形状のＧＵＩであってよい。そして、両手入力ガイドＧＵＩ４３０の位置は、ユーザの両手の位置に応じて決定されるが、ディスプレイ画面の中央領域にディスプレイされるように設定することができる。

そして、モーション入力部１２０を介してユーザの両手が一定間隔を保持しながら移動するモーションが入力されると、制御部１４０は、ディスプレイ画面の両手入力ガイドＧＵＩ４３０を移動させる。例えば、図４に示すように、ディスプレイ画面の中央領域に両手入力ガイドＧＵＩ４３０がディスプレイされた状態で、モーション入力部１２０を介してユーザの両手が一定間隔を保持しながら右方に移動するモーションが入力されると、制御部１４０は両手入力ガイドＧＵＩ４３０を、図５に示すように、右方に移動させる。

そして、両手入力ガイドＧＵＩ４３０がディスプレイ画面上の一領域に表示された状態で、両手が互いに遠ざかるモーションが入力されると、制御部１４０は、両手入力ガイドＧＵＩ４３０が表示された領域内の所定位置を基準としてズームインを行う。例えば、図５に示すように、両手入力ガイドＧＵＩ４３０がディスプレイ画面上の右側領域に表示された状態で、両手が遠ざかるモーションが入力されると、制御部１４０は、図６に示すように、両手入力ガイドＧＵＩ４３０が表示された領域内の所定位置を基準としてディスプレイ画面を拡大することができる。このとき、両手が遠ざかるモーションは、両手が互いに遠ざかる方向に移動するモーションであってよく、片手は固定されて他方の手のみ移動するモーションであってよい。

なお、両手入力ガイドＧＵＩ４３０がディスプレイ画面上の一領域に表示された状態で、両手が互いに近づくモーションが入力されると、制御部１４０は、両手入力ガイドＧＵＩ４３０が表示された領域内の所定位置を基準としてズームアウトを行うことができる。ここで、両手入力ガイドＧＵＩ４３０が表示された領域内の所定位置は、両手入力ガイドＧＵＩが表示された領域の中心点や重心となる位置であってよい。

本発明の別の実施形態によると、両手入力ガイドＧＵＩは、図４ないし図６に示すように、円状のＧＵＩではない図７に示すような２つのポインタ７３０−１、７３０−２で実現されてよい。このとき、２つのポインタ７３０−１、７３０−２の各々は、円状、楕円状、掌の形状、矢印の形状のいずれか一つであってよいが、それに限定されるものではない。

このとき、２つのポインタ７３０−１、７３０−２がディスプレイ画面上の一領域に表示された状態で、両手が互いに遠ざかるモーションが入力されると、制御部１４０は２つのポインタ７３０−１、７３０−２と関連する所定位置を基準としてズームインを行う。なお、２つのポインタ７３０−１、７３０−２がディスプレイ画面上の一領域に表示された状態で、両手が互いに近づくモーションが入力されると、制御部１４０は、２つのポインタ７３０−１、７３０−２と関連する所定位置を基準としてズームアウトを行うことができる。ここで、二つのポインタと関連する所定位置は、二つのポインタを連結する直線の中心点か、二つのポインタを含む外郭線からなる図形（例えば、円や楕円、三角、四角等）の中心点や重心点に設定することができる。なお、二つのポインタのうちの一つの位置を所定の位置に設定することができる。この場合には、二つのポインタに対応する両手のうち、動いていない手に対応するポインタが基準であってよく、動いている手の動きに応じてディスプレイ画面の拡大または縮小されてよい。

ただ、２つのポインタ７３０−１、７３０−２がディスプレイされる場合、片手のみ動く場合には、片手の動きに応じて動いた手に対応するポインタの位置が移動され、両手のいずれもが動く場合には、二つのポインタの位置が全て移動される。ポインタの位置が移動する間、ディスプレイ画面は拡大または縮小される。

上述のように、ユーザは両手を用いて画面の拡大／縮小をより直観的かつ便利に行うことができるようになり、タッチ入力が可能な電子装置で行われ得るマルチタッチを用いた画面の拡大／縮小と類似しているユーザ経験を提供するようになる。

図２は、本発明の別の実施形態に係る電子装置１００の構成を示すブロック図である。図２を参照すると、電子装置１００は、音声入力部１１０と、モーション入力部１２０と、保存部１３０と、制御部１４０と、放送受信部１５０と、外部端子入力部１６０と、リモコン信号受信部１７０と、ネットワークインターフェース部１８０および映像出力部１９０を含む。図２に示す電子装置１００は、セットトップボックス（Ｓｅｔ Ｔｏｐ Ｂｏｘ）で実現されてよい。

一方、図２に示すモーション入力部１２０と、保存部１３０および制御部１４０に対する説明は、図１において説明したモーション入力部１２０と、保存部１３０および制御部１４０に対する説明と同様であるため、詳細な説明は省略する。

音声入力部１１０には、ユーザの発話（Ｕｔｔｅｒａｎｃｅ）した音声が入力される。音声入力部１１０は、入力された音声信号を電気信号に変換して制御部１４０に出力する。例えば、音声入力部１１０は、マイクで実現されてよい。なお、音声入力部１１０は、電子装置１００と一体型（Ａｌｌ−ｉｎ−ｏｎｅ）だけでなく、分離した形で実現されてよい。分離された音声入力部１１０は、電子装置１００と有線または無線ネットワークを通じて接続されてよい。

放送受信部１５０は、有／無線で外部から放送信号を受信する。放送信号は、映像（Ｖｉｄｅｏ）、オーディオ（Ａｕｄｉｏ）および付加データ（例えば、ＥＰＧ）を含む。放送受信部１５０は、地上波放送、ケーブル放送、衛星放送、インターネット放送等のような多様なソースから放送信号を受信することができる。

外部端子入力部１６０は、電子装置１００の外部から映像データ（例えば、動画や写真等）、オーディオデータ（例えば、音楽等）等を受信する。外部端子入力部１６０は、ＨＤＭＩ入力端子（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ Ｉｎｐｕｔ）、コンポーネント入力端子、ＰＣ入力端子、またはＵＳＢ入力端子の少なくとも一つを含んでよい。リモコン信号受信部１７０は、外部のリモコンから入力されるリモコン信号を受信する。リモコン信号受信部１７０は、電子装置１００が音声タスクモードか、モーションタスクモードでも、リモコン信号を受信することができる。リモコン信号受信部１７０は、有線または無線通信インターフェースで実現可能であり、一方向または双方向通信インターフェースで実現可能である。

ネットワークインターフェース部１８０は、制御部１４０の制御によって電子装置１００と外部装置（例えば、サーバや別の電子装置等）を接続することができる。制御部１４０は、ネットワークインターフェース部１８０を介して接続された外部装置からアプリケーションをダウンロードしたり、ウェブブラウジング等のインターネットサービスがユーザに提供されるように制御することができ、外部装置から映像データ、オーディオデータ、テキストデータ等を受信するように制御することができる。ネットワークインターフェース部１８０は、有線／無線通信インターフェースで実現可能であり、多様な種類の双方向通信インターフェースで実現可能である。例えば、イーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ（登録商標））、無線ＬＡＮおよびブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））の少なくとも一つを提供することができる。

映像出力部１９０は、放送受信部１５０を介して受信される外部の放送信号、または外部端子入力部１６０で入力される映像データ、または保存部１３０に保存されたデータ、またはネットワークインターフェース１８０を介して受信されるデータを外部の電子装置（例えば、モニタやテレビ、スピーカ等）に出力する。なお、電子装置１００がディスプレイやスピーカ等を備えている場合には、電子装置１００のディスプレイやスピーカを通じて出力することができる。

制御部１４０は、音声入力部１１０からユーザ音声が入力される場合、音声認識モジュールおよび音声データベースを用いて音声を認識する。音声認識（Ｖｏｉｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ）は入力される音声の形態によって、各々の単語を区分して発話した音声を認識する孤立単語認識（Ｉｓｏｌａｔｅｄ Ｗｏｒｄ Ｒｅｃｏｇｎｉｔｉｏｎ）、連続単語、連続文章および会話体音声を認識する連続音声認識（Ｃｏｎｔｉｎｕｏｕｓ ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）および孤立単語認識と連続音声認識との中間形態で、予め定められたキーワードを検出して認識するキーワード検出（Ｋｅｙｗｏｒｄ Ｓｐｏｔｔｉｎｇ）で区分されてよい。

ユーザ音声が入力される場合、制御部１４０は入力された音声信号内でユーザが発話した音声の始めと終わりを検出して音声区間を判断する。制御部１４０は、入力された音声信号のエネルギーを計算し、計算されたエネルギーに応じて音声信号のエネルギーレベルを分類し、動的プログラミングを通じて音声区間を検出することができる。制御部１４０は、検出された音声区間内の音声信号で音響モデル（Ａｃｏｕｓｔｉｃ Ｍｏｄｅｌ）に基づいて、音声の最小単位である音素を検出して音素データを生成する。制御部１４０は、生成された音素データにＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）確率モデルを適用してテキスト情報を生成する。しかし、上述のように、ユーザの音声を認識する方法は一実施形態に過ぎず、他の方法を用いてユーザ音声を認識することができる。それにより、制御部１４０は、音声信号の中に含まれたユーザの音声を認識することができる。

図３は、本発明の更に別の実施形態に係る電子装置１００のブロック図を示す図である。図３に示すように、電子装置１００は、音声入力部１１０と、モーション入力部１２０と、保存部１３０と、制御部１４０と、放送受信部１５０と、外部端子入力部１６０と、リモコン信号受信部１７０と、ネットワークインターフェース部１８０と、ディスプレイ部１９３およびオーディオ出力部１９６を含む。このとき、電子装置１００は、デジタルテレビであってよいが、これに限られるものではない。

一方、図３において、音声入力部１１０と、モーション入力部１２０と、保存部１３０と、制御部１４０と、放送受信部１５０と、外部端子入力部１６０と、リモコン信号受信部１７０、ネットワークインターフェース部１８０およびディスプレイ部１９３に対する説明は、図１および図２で同じ参照番号を有する構成に対する説明と同様であるため、詳細な説明は省略する。

オーディオ出力部１９６は、制御部１４０の制御によって放送信号に対応する音響を出力したり、ネットワークインターフェース部１８０を介して受信される音響を出力する。オーディオ出力部１９６は、スピーカ１９６ａ、ヘッドホン出力端子１９６ｂまたはＳ／ＰＤＩＦ出力端子１６３ｃの少なくともいずれか一つを含んでよい。

一方、保存部１３０は、図３に示すように、電源制御モジュール１３０ａ、チャネル制御モジュール１３０ｂ、音量制御モジュール１３０ｃ、外部入力制御モジュール１３０ｄ、画面制御モジュール１３０ｅ、オーディオ制御モジュール１３０ｆ、インターネット制御モジュール１３０ｇ、アプリケーションモジュール１３０ｈ、検索制御モジュール１３０ｉ、ＵＩ処理モジュール１３０ｊ、音声認識モジュール１３０ｋ、モーション認識モジュール１３０ｌ、音声データベース１３０ｍおよびモーションデータベース１３０ｎを含む。これらのモジュール（１３０ａないし１３０ｎ）は、それぞれ、電源制御機能、チャネル制御機能、音量制御機能、外部入力制御機能、画面制御機能、オーディオ制御機能、インターネット制御機能、アプリケーション実行機能、検索制御機能、ＵＩ処理機能を行うためにソフトウェアで実現されてよい。制御部１４０は、保存部１３０に保存されたこれらのソフトウェアを実行させて当該機能を行うことができる。

上述のように、各制御モジュール（１３０ａないし１３０ｎ）を保存部１３０に保存されているソフトウェアで実現されてよいが、別々のハードウェアを通じて実現されてよい。

以下では、図８を参照して、両手を用いたモーションタスクを行う方法について説明する。

まず、電子装置１００は、両手開始命令が入力されたか否かを判断する（Ｓ８１０）。このとき、両手開始命令は片手ずつ順次に入力されてよく、両手が同時に入力されてよい。

具体的に、モーション入力部１２０を介して片手を用いたモーション開始命令が入力された後、他方の手を用いるモーション開始命令が入力されると、電子装置１００は両手開始命令が入力されたと認識することができる。または、モーション入力部１２０を介して両手を同時に左右方向に複数回振るシェイクモーションが入力されると、電子装置１００は、両手開始命令が入力されたと認識してよい。

両手開始命令が入力されると（Ｓ８１０−Ｙ）、電子装置１００は電子装置１００の制御モードを両手タスクモードに切り替える（Ｓ８２０）。このとき、両手タスクモードとは、両手のモーションを用いて電子装置１００を制御するモードとして、両手タスクにはディスプレイ画面を拡大または縮小するタスクが含まれてよい。

両手タスクモードに切り替わると、電子装置１００は両手タスクを行うための両手入力ガイドＧＵＩを生成してディスプレイする（Ｓ８３０）。このとき、両手入力ガイドＧＵＩは、図４に示すように、円状のＧＵＩ４３０であってよく、図７に示すように、二つのポインタＧＵＩ７３０−１、７３０−２であってよい。しかし、それは一実施形態に過ぎず、楕円や三角、四角、直線等のユーザの両手の位置を直観的に認識することができる形状なら、別の形状のＧＵＩであってよい。

そして、電子装置１００は、両手入力ガイドＧＵＩを用いて両手タスクを行う（Ｓ８４０）。

具体的に、両手入力ガイドＧＵＩが円形のＧＵＩである場合、モーション入力部１２０を介して両手が一定間隔を保持しながら移動するモーションが入力されると、電子装置１００は円形のＧＵＩを移動させることができる。そして、両手が遠ざかるか近づくモーションが入力されると、電子装置１００は円形のＧＵＩがディスプレイされた地点に基づいてディスプレイ画面を拡大したり縮小することができる。

または、両手入力ガイドＧＵＩが二つのポインタの場合、モーション入力部１２０を介して片手が移動されるモーションが入力されると、電子装置１００は二つのポインタのうち、動いた手と対応するポインタを移動させる。そして、両手が遠ざかるか近づくモーションが入力されると、電子装置１００は二つのポインタの中心地点を基準としてディスプレイ画面を拡大したり縮小することができる。

上述のような本発明の多様な実施形態によると、ユーザは両手制御ＧＵＩを用いてディスプレイ画面の拡大／縮小機能をより直観的かつ便利に行うことができ、タッチ入力が可能な電子装置で実行可能なマルチタッチを用いた画面の拡大／縮小と類似しているユーザ経験を提供するようになる。

なお、以上のような多様な実施形態に係る制御方法を行うためのプログラムコードは、多様な類型の記録媒体に保存されてよい。具体的には、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭ等のように、端末機で読み取り可能な多様な類型の記録媒体に保存されていてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１１０ 音声入力部
１２０ モーション入力部
１３０ 保存部
１３０ａ 電源制御モジュール
１３０ｂ チャネル制御モジュール
１３０ｃ 音量制御モジュール
１３０ｄ 外部入力制御モジュール
１３０ｅ 画面制御モジュール
１３０ｆ オーディオ制御モジュール
１３０ｇ インターネット制御モジュール
１３０ｈ アプリケーションモジュール
１３０ｉ 検索制御モジュール
１３０ｊ ＵＩ処理モジュール
１３０ｋ 音声認識モジュール
１３０ｌ モーション認識モジュール
１３０ｍ 音声データベース
１３０ｎ モーションデータベース
１４０ 制御部
１５０ 放送受信部
１６０ 外部端子入力部
１６１ ＨＤＭＩ端子
１６２ コンポーネント端子
１６３ ＰＣ端子
１６４ ＵＳＢ端子
１７０ リモコン信号受信部
１８０ ネットワークインターフェース部
１８２ 無線ＬＡＮ
１８３ ブルートゥース
１９０ 映像出力部
１９３ ディスプレイ部
１９６ オーディオ出力部
１９６ａ スピーカ
１９６ｂ ヘッドホン

Claims (15)

1. 電子装置の制御方法において、
   両手を用いたモーションタスクを行うための両手開始命令が入力されるステップと、
   前記両手開始命令が入力されると、前記両手を用いてモーションタスクを行う両手タスクモードに切り替えるステップと、
   前記両手タスクモードに切り替わると、前記両手を用いるモーションタスクを行うための両手入力ガイドグラフィカルユーザインタフェース（ＧＵＩ）をディスプレイするステップと
   を含む制御方法。
2. 前記入力されるステップは、
   片手を用いたモーション開始命令が入力されると、モーションタスクを行うためのモーションタスクモードに切り替え、前記モーションタスクモードに切り替えられた状態で、他方の手を用いたモーション開始命令が入力されると、前記両手開始命令が入力されたと認識することを特徴とする請求項１に記載の制御方法。
3. 前記入力されるステップは、
   前記両手を同時に複数回振るシェイクモーションが入力されると、前記両手開始命令が入力されたと認識することを特徴とする請求項１に記載の制御方法。
4. 前記両手を用いるモーションタスクは、
   ディスプレイ画面を拡大したり縮小するタスクであることを特徴とする請求項１ないし３いずれか一項に記載の制御方法。
5. 前記両手入力ガイドＧＵＩが前記ディスプレイ画面上の一領域に表示された状態で、前記両手が互いに遠ざかるモーションが入力されると、前記両手入力ガイドＧＵＩが表示された領域内の所定位置を基準としてディスプレイ画面を拡大し、前記両手が互いに近づくモーションが入力されると、前記両手入力ガイドＧＵＩが表示された領域内の所定位置を基準としてディスプレイ画面を縮小するステップを更に含むことを特徴とする請求項４に記載の制御方法。
6. 前記両手入力ガイドＧＵＩをディスプレイするステップは、
   前記ディスプレイ画面の中央領域に円状の両手入力ガイドＧＵＩをディスプレイすることを特徴とする請求項４または５に記載の制御方法。
7. 前記両手の移動モーションが入力されると、前記両手の移動モーションに対応するように前記円状の両手入力ガイドＧＵＩを移動させるステップを含むことを特徴とする請求項６に記載の制御方法。
8. 前記両手入力ガイドＧＵＩは、
   前記ユーザ両手の位置に対応する地点にディスプレイされる二つのポインタであり、
   前記両手を用いるモーションタスクは、
   前記二つのポインタを用いてディスプレイ画面を拡大したり縮小するタスクであることを特徴とする請求項１ないし７いずれか一項に記載の制御方法。
9. 電子装置において、
   ユーザモーションが入力されるモーション入力部と、
   ディスプレイ部と、
   前記モーション入力部に両手を用いたモーションタスクを行うための両手開始命令が入力されると、前記両手を用いたモーションタスクを行う両手タスクモードに切り替え、前記両手を用いるモーションタスクを行うための両手入力ガイドグラフィカルユーザインタフェース（ＧＵＩ）を前記ディスプレイ部にディスプレイする制御部と
   を含む電子装置。
10. 前記制御部は、
    前記モーション入力部に片手を用いたモーション開始命令が入力されると、モーションタスクを行うためのモーションタスクモードに切り替え、前記モーションタスクモードに切り替えられた状態で、前記モーション入力部に他方の手を用いたモーション開始命令が入力されると、前記両手開始命令が入力されたと認識することを特徴とする請求項９に記載の電子装置。
11. 前記制御部は、
    前記モーション入力部を介して前記両手を同時に複数回振るシェイクモーションが入力されると、前記両手開始命令が入力されたと認識することを特徴とする請求項９に記載の電子装置。
12. 前記両手を用いるモーションタスクは、
    ディスプレイ画面を拡大したり縮小するタスクであることを特徴とする請求項９ないし１１いずれか一項に記載の電子装置。
13. 前記制御部は、
    前記両手入力ガイドＧＵＩが前記ディスプレイ画面上の一領域に表示された状態で、前記両手が互いに遠ざかるモーションが入力されると、前記両手入力ガイドＧＵＩが表示された領域内の所定位置を基準としてディスプレイ画面を拡大し、前記両手が互いに近づくモーションが入力されると、前記両手入力ガイドＧＵＩが表示された領域内の所定位置を基準としてディスプレイ画面を縮小することを特徴とする請求項１２に記載の電子装置。
14. 前記両手入力ガイドＧＵＩは、
    前記ディスプレイ画面の中央領域に円状のＧＵＩであることを特徴とする請求項１２または１３に記載の電子装置。
15. 前記制御部は、
    前記モーション入力部を介して前記両手の移動モーションが入力されると、前記両手の移動モーションに対応するように前記円状の両手入力ガイドＧＵＩを移動させることを特徴とする請求項１４に記載の電子装置。

Images