JP2007095030A

JP2007095030A - 携帯用端末機のグラフィック信号表示装置及び方法

Info

Publication number: JP2007095030A
Application number: JP2006177021A
Authority: JP
Inventors: Jeongsuk Yoon; 正錫尹
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2005-09-29
Filing date: 2006-06-27
Publication date: 2007-04-12
Also published as: CN1941847A; US20070070037A1; EP1770487A2; KR100643470B1

Abstract

【課題】携帯用端末機が画面に所定のグラフィック信号を画面に表示する場合に携帯用端末機の動きによりグラフィック信号を移動させ表示する携帯用端末機のグラフィック信号表示装置及び方法を提供する。
【解決手段】本発明は所定のグラフィック信号を画面に表示する場合に携帯用端末機に一体に具備されたカメラ１００が所定の被写体を撮影する。カメラが撮影した映像で被写体の特徴点を抽出し、抽出した特徴点を用いてカメラ１００の動きを検出する。検出した被写体の動きによりグラフィック信号を移動、拡大、縮小または回転させて画面に表示する。従って、ユーザは画面に表示されたグラフィック信号を一々操作する必要なく携帯用端末機の動きでグラフィック信号をスクロール、拡大、縮小または回転させて見られる。
【選択図】図１

Description

本発明は携帯用端末機のグラフィック信号表示装置及び方法に係り、さらに詳しくは移動通信端末機及びＰＤＡ(Personal Digital Assistants)などのような各種携帯用端末機が画面に表示した３次元グラフィック信号、ウェブ文書などを始めとした各種グラフィック信号を、携帯用端末機の動きによりスクロール、ズームイン、ズームアウトまたは回転させる携帯用端末機のグラフィック信号表示装置及び方法に関する。

情報通新技術分野の目立つ発展と伴って通信環境は急激な変化を向かえている。特に、携帯に簡便な移動通信端末機やＰＤＡなどのような携帯用端末機の使用が急激に増加しつつある。

そして、携帯用端末機の使用増加に伴ってユーザに使い勝手を与えるための各種新たなサービス機能が付加され、それに対する研究も盛んである。

最近は携帯用端末機で通常の電話通話は勿論、ゲームと、メッセージの送信及び受信と、データの貯蔵機能と、天気情報及び株情報などのような各種文字サービス受信などのサービスを利用できるようになった。また、携帯用端末機にカメラを一体に具備して所定の被写体を撮影し、撮影した被写体を画面を介して確認することもできる。

そして、携帯用端末機のバンド幅(bandwidth)が広く拡張されることにより携帯用端末機で無線でインターネットに接続して各種情報を取得できるようになり、実時間で取得できる情報量に飛躍的に増加しつつある。

このように携帯用端末機から提供されうる機能の多様化によって携帯用端末機の画面に表示されるべきグラフィックも多様化している。

しかし、携帯用端末機は簡便に携帯できるようにすべき制約条件によって所定のグラフィック信号を表示できる画面のサイズは数インチ以内に制限されている。

多種のグラフィック信号の表示サイズが画面サイズより大きい場合にグラフィック信号を一つの画面に全て表示できなくなる。この場合に従来は画面の右側や下段などの適当な部位にスクロールバーを共に表示している。そして、ユーザがキーパッドまたはスタイラス(stylus)を用いてスクロールバーを上下左右に移動させることにより、携帯用端末機は画面に表示されたグラフィック信号を上下左右に移動させている。

しかし、従来の技術はユーザが一々キーパッドまたはスタイラスでスクロールバーを調節すべきなので、ユーザに多くの不便と煩わしさを与えた。

本発明は前述した従来の技術を解決するために案出されたもので、その目的は携帯用端末機が画面に表示するグラフィック信号を携帯用端末機の動きにより自動でスクロール、ズームイン、ズームアウト、回転または移動させるグラフィック信号の表示装置及び方法を提供するところにある。

本発明の他の目的は携帯用端末機に一体に具備されているカメラで所定の被写体を撮影し、撮影した被写体の動きで携帯用端末機の動きを検出して、画面に表示されたグラフィック信号をスクロール、ズームイン、ズームアウト、回転または移動させるグラフィック信号の表示装置及び方法を提供するところにある。

前述した目的を有する本発明は、画面に所定のグラフィック信号を表示する場合にカメラを駆動させて所定の被写体を撮影させる。前記カメラが撮影した映像で被写体の特徴点を抽出し、抽出した特徴点を用いて被写体の動きを検出する。

前記被写体の動き検出は被写体の上下または左右移動及び移動距離と、被写体のズームイン及び拡大比率と、被写体のズームアウト及び縮小比率と、被写体の上下または左右回転方向及び回転角を検出する。

被写体の動きが検出される場合にその検出された被写体の動きにより画面に表示されたグラフィック信号を移動、拡大、縮小または回転させて表示する。

従って、本発明の表示装置はグラフィック信号を表示部の画面に表示するグラフィック部と、カメラの動きを判断して判断信号を発する動き判断信号発生部、及び前記動き判断信号発生部が発生した動き判断信号に応じて前記グラフィック部が画面に表示するグラフィック信号を移動させて表示するように制御する制御部とを含むことを特徴とする。

前記動き判断信号発生部は、所定の被写体を撮影するカメラ、及び前記カメラが撮影した被写体の特徴点の移動で前記カメラの動きを検出して判断信号を発生する動き検出部で構成されることを特徴とする。

前記動き検出部は、前記カメラが撮影した被写体の映像から特徴点を抽出する特徴点抽出部と、前記特徴点抽出部が抽出した特徴点を貯蔵するバッファ、及び前記バッファに貯蔵された以前被写体の特徴点と前記特徴点抽出部が抽出した現在被写体の特徴点を比較して被写体の動きを判断する特徴点比較部で構成されることを特徴とする。

前記特徴点比較部は、撮影した映像の被写体の移動方向と移動距離、回転方向と回転角、ズームインまたはズームアウトを判断することを特徴とする。

そして、本発明の表示方法は、グラフィック部がグラフィック信号を表示部の画面に表示する段階と、動き判断信号発生部がカメラの動きを判断する段階と、前記検出したカメラの動きにより制御部が前記グラフィック部を制御して前記画面に表示したグラフィック信号を移動させる段階とを含むことを特徴とする。

前記グラフィック信号は、携帯用端末機の内部に貯蔵されているか、あるいは携帯用端末機の外部からダウンロードされたグラフィック信号であることを特徴とする。

前記カメラの動き判断は、カメラで所定の被写体を撮影し、撮影した被写体の動きでカメラの動きを判断することを特徴とする。

前記カメラの動きを判断する段階は、カメラで所定の被写体を撮影する段階、及び前記撮影した被写体の映像から特徴点を抽出し、抽出した特徴点でカメラの移動を判断する段階よりなることを特徴とする。

前記特徴点でカメラの移動を判断する段階は、前記カメラが撮影した映像の被写体から特徴点を抽出する段階と、前記抽出した以前映像の被写体の特徴点と現在映像の被写体の特徴点を比較して被写体の動きを判断する段階、及び前記判断した被写体の動きにカメラの動きを判断する段階よりなることを特徴とする。

前記被写体の動き判断は、前記特徴点の位置移動で被写体の上下及び左右移動を判断し、前記特徴点間の間隔隔移動で被写体のズームイン及びズームアウトを判断することを特徴とする。

前記カメラの動きを判断する段階は、前記カメラが撮影した被写体の上下または左右移動が判断される場合に被写体の移動距離を判断し、前記グラフィック信号の表示段階は、前記判断した被写体の移動距離ほどグラフィック信号を移動させ画面に表示し、前記グラフィック信号の移動は、前記カメラと画面が携帯用端末機の同一面に配置されている場合に前記被写体が移動した反対方向にグラフィック信号を移動させ、前記カメラと画面が携帯用端末機の反対面に配置されている場合に前記被写体が移動した方向にグラフィック信号を移動させることを特徴とする。

前記動き判断段階は、被写体のズームインまたはズームアウトが判断される場合被写体が拡大または縮小された比率を判断し、前記グラフィック信号の表示段階は、前記判断した拡大または縮小比率によりグラフィック信号を拡大または縮小させ表示することを特徴とする。

前記グラフィック信号の拡大または縮小は、前記カメラと画面が携帯用端末機の同一面に配置されている場合、前記被写体のズームインにより前記グラフィック信号を拡大表示し、被写体のズームアウトにより前記グラフィック信号を縮小表示し、前記カメラと画面が携帯用端末機の反対面に配置されている場合に前記被写体のズームインにより前記グラフィック信号を縮小表示し、被写体のズームアウトにより前記グラフィック信号を拡大表示することを特徴とする。

前記動き判断段階は、被写体の回転が判断される場合被写体の回転角を判断し、前記グラフィック信号の表示段階は、前記判断した回転角によりグラフィック信号を回転させ画面に表示することを特徴とする。

前記グラフィック信号の回転は、前記カメラと前記画面が携帯用端末機の同一面に配置されている場合前記被写体の回転方向と同一な方向に前記グラフィック信号を回転させ、前記カメラと前記画面が携帯用端末機の反対面に配置されている場合に前記被写体の回転方向と反対方向に前記グラフィック信号を回転させることを特徴とする。

以上述べたように、本発明によれば画面サイズより表示サイズが大きいグラフィック信号を画面に表示した場合にユーザが一々キーパッドまたはスタイラスタでスクロールバーを調節すべき不便と煩わしさを除去でき、または３次元グラフィック信号を表示する場合ユーザが別に操作しなくても撮影される被写体の動きだけで３次元グラフィック信号を回転させて見られる。

以下、添付した図面に基づき本発明の望ましい実施形態を詳述する。

図１は本発明の表示装置の構成を示したブロック図である。ここで、符号１００はカメラである。前記カメラ１００は携帯用端末機に一体に具備され所定の被写体を撮影する。ここで、本発明は前記カメラ１００が携帯用端末機８に具備されている画面と同一面に設置されていると仮定する。

符号１１０は前記カメラ１００が撮影した被写体の動きを検出する動き検出部である。

前記動き検出部１１０は特徴点抽出部１１１、バッファ１１３及び特徴点比較部１１５よりなる。

前記特徴点抽出部１１１は前記カメラ１００が撮影した被写体の映像から複数の特徴点を抽出する。例えば、前記カメラ１００が撮影した被写体が人の顔の場合、前記特徴点抽出部１１１は人の顔から目、鼻、口などの特徴点を抽出する。また、前記カメラ１００が撮影した被写体が人の顔でなく所定の物などの場合、その事物の角部や明暗がはっきり区分される部位などを特徴点として抽出する。

前記バッファ１１３は前記特徴点抽出部１１１が抽出した映像の特徴点を貯蔵する。

前記特徴点比較部１１５は前記バッファ１１３に貯蔵された以前映像の特徴点と前記特徴点抽出部１１１が抽出する現在映像の特徴点の位置を比較し、比較結果に基づき被写体の動きを判断する。すなわち、特徴点比較部１１５は以前映像と現在映像の特徴点を比較して被写体の移動方向及び移動距離と、ズームイン及び拡大比率と、ズームアウト及び縮小比率と、回転方向及び回転距離を判断する。

ここで、前記特徴点比較部１１５が判断した被写体の動きは前記カメラ１００の動きと一致するもので、以前映像と現在映像の特徴点を比較してカメラ１００の移動方向及び移動距離と、カメラ１００のズームイン及び拡大比率と、カメラ１００のズームアウト及び縮小比率と、カメラ１００の回転方向及び回転距離で判断することもできる。

符号１２０は制御部である。前記制御部１２０は前記カメラ１００を駆動させ所定の被写体を撮影することを制御する。また、前記制御部１２０は前記動き検出部１１０の特徴点比較部１１５が判断した被写体の動きにより画面に表示されるグラフィック信号を表示することを制御する。例えば、制御部１２０は特徴点比較部１１５が判断した被写体の移動方向及び移動距離と、ズームイン及び拡大比率と、ズームアウト及び縮小比率と、回転方向及び回転距離によりグラフィック信号を移動、拡大、縮小、または回転させて表示することを制御する。

符号１３０はグラフィック部である。前記グラフィック部１３０には携帯用端末機内の貯蔵部(図示せず)に貯蔵されているか、あるいはインターネットなどを介して外部からダウンロードされた３次元映像、ゲーム、ウェブ文書などを始めとした各種グラフィック信号をグラフィック処理した後表示部１４０に出力して画面に表示する。また、前記グラフィック部１３０は表示部１４０の画面に表示したグラフィック信号を前記制御部１２０の制御により移動、拡大、縮小、または回転させ表示する。

このような構成を有する本発明の表示装置はグラフィック部１３０が携帯用端末機の内部に貯蔵されているか、あるいは外部でダウンロードされたグラフィック信号を入力され処理する。ここで、グラフィック信号の処理は表示部１４０の画面サイズに適するよう拡大または縮小し、また画面の解像度に適して処理することを含む。

前記グラフィック部１３０が処理したグラフィック信号は表示部１４０に出力され画面に表示される。

このように画面に所定のグラフィック信号が表示された状態で制御部１２０はカメラ１００を駆動させる。前記カメラ１００は前記制御部１２０の制御によって所定の被写体を撮影し、撮影した所定被写体の映像を出力して動き検出部１１０の特徴点抽出部１１１に入力される。

前記特徴点抽出部１１１は入力される被写体の映像から所定の特徴点を抽出する。例えば、被写体が人の顔の場合に目、鼻、口などの特徴点を抽出する。そして、被写体が所定の事物などの場合にその物の角部や明暗がはっきり区分される点などを特徴点として抽出する。ここで、被写体の特徴点を抽出することは公知であって、具体的な動作は省略する。

前記特徴点抽出部１１１が抽出した所定映像の特徴点はバッファ１１３に貯蔵され、特徴点抽出部１１１は次の映像の特徴点を抽出する動作を繰り返して行なう。従って、前記バッファ１１３にはカメラ１００が撮影した以前映像の特徴点が貯蔵され、特徴点抽出部１１１はカメラ１００が撮影した現在映像の特徴点を抽出するようになる。

前記バッファ１１３に貯蔵された以前映像の特徴点と特徴点抽出部１１１が抽出する現在映像の特徴点は特徴点比較部１１５に入力される。前記特徴点比較部１１５は前記バッファ１１３から入力される以前映像の特徴点と前記特徴点抽出部１１１から入力される現在映像の特徴点の位置を比較する。そして、前記特徴点抽出部１１１は比較結果特徴点にお位置変化を検出して制御部１２０に入力させる。

例えば、ユーザが携帯用端末機を手で握って左右に移動させる場合、カメラ１００が撮影する被写体が左右に移動され特徴点が左右に移動される。前記特徴点比較部１１５は特徴点が左右方向に移動される場合に被写体が左右に移動されたことを判断し、左右に移動された移動距離を検出する。

携帯用端末機を上下に移動させる場合、カメラ１００が撮影する被写体が上下に移動され特徴点が上下に移動される。前記特徴点比較部１１５は特徴点が上下方向に移動される場合被写体が上下に移動されたことを判断し、上下に移動された移動距離を検出する。

携帯用端末機を被写体の方向に進ませるかあるいはカメラ１００をズームインさせる場合カメラ１００が撮影する被写体が拡大され特徴点間の間隔が全体として拡大される。前記特徴点比較部１１５は特徴点間の間隔が全体として広くなる場合に被写体のズームインで判断し、被写体の拡大比率を検出する。

携帯用端末機を被写体の反対方向に後進させたりカメラ１００をズームアウトさせる場合にカメラ１００が撮影する被写体が縮小され特徴点間の間隔が全体として縮小される。前記特徴点比較部１１５は特徴点間の間隔が全体として縮小される場合に被写体のズームアウトを判断し、被写体の縮小比率を検出する。

携帯用端末機を左右方向に回転させる場合に特徴点の上下幅変化はなく、左右幅変化だけが発生する。また携帯用端末機を左右回転により中間部に位置する特徴点を基準にして左側に位置する特徴点の左右幅変化と右側に位置する特徴点の左右幅変化が相異なる。前記特徴点比較部１１５は特徴点の左右幅変化が発生する場合に左側特徴点の左右幅変化と右側特徴点の左右幅変化により左右回転方向を判断し、回転角を検出する。

携帯用端末機を上下方向に回転させる場合特徴点の上下幅変化が発生し、左右幅変化は発生しない。また、携帯用端末機を上下回転により中間部に位置する特徴点を基準にして上部に位置する特徴点の上下幅変化と下部に位置する特徴点の上下幅変化が相異なる。前記特徴点比較部１１５は特徴点の上下幅変化が発生する場合に上部特徴点の上下幅変化と下部特徴点の上下幅変化で上下回転方向を判断し、回転角を検出する。

このように前記特徴点比較部１１５が判断した被写体の動き、すなわちカメラの動きは制御部１２０に入力される。前記制御部１２０は前記特徴点比較部１１５が判断した被写体の動きによりグラフィック部１３０を制御してグラフィック部１３０が被写体の動きによりグラフィック信号をスクロール、ズームイン、ズームアウトまたは回転させ表示部１４０の画面に表示する。

図２は本発明の表示方法を示した信号流れ図である。図２に示したように携帯用端末機の内部に貯蔵されていたり、あるいは外部でダウンロードされたグラフィック信号をグラフィック部１３０が入力され処理し、表示部１４０の画面に表示する(Ｓ２００)。

ここで、前記グラフィック信号はユーザの操作により多様に入力されうる。例えば、携帯用端末機でインターネットに接続してダウンロードされるウェブ文書を始めて３次元映像、ゲームや、ユーザがカメラで撮影して携帯用端末機のメモリ(図示せず)などの貯蔵手段に貯蔵したデジタル写真などを始めて多種のグラフィック信号が入力されうる。

前記グラフィック部１３０が表示部１４０の画面にグラフィック信号を表示する場合に制御部１２０はカメラ１００を駆動させ所定の被写体を撮影する(Ｓ２０２)。ここで、カメラ１００が撮影する被写体は特定被写体に限られず、撮影した映像から特徴点を抽出することができる全ての被写体を撮影することができる。

前記カメラ１００が撮影した所定被写体の映像は特徴点抽出部１１１に入力される。

前記特徴点抽出部１１１は前記入力される所定被写体の映像から特徴点を抽出し、抽出した特徴点をバッファ１１３に貯蔵する動作を所定被写体の映像が入力されることにより繰り返して行なう(Ｓ２０４)。

すると、前記バッファ１１３には前記カメラ１００が撮影した以前映像の特徴点が貯蔵され、前記特徴点抽出部１１１はカメラ１００が撮影した現在映像の特徴点が貯蔵される。

このような状態で特徴点比較部１１５は前記バッファ１１３に貯蔵された以前映像の特徴点と前記特徴点抽出部１１１が出力する現在映像の特徴点を比較する(Ｓ２０６)。そして、特徴点比較部１１５は前記特徴点の比較結果前記カメラ１００が撮影する被写体の動きを判断し(Ｓ２０８)、動きを判断した判断信号を制御部１２０に出力する。

前記制御部１２０は前記特徴点比較部１１５の出力信号で被写体の動き、すなわちカメラの動きを判断し、判断した動きによりグラフィック部１３０を制御して前記表示部１４０の画面に表示した所定のグラフィック信号を移動させる(Ｓ２１０)。

前記段階(Ｓ２０８)における被写体の動き判断は、図３に示したように特徴点比較部１１５がバッファ１１３に貯蔵された以前映像の特徴点と特徴点抽出部１１１が出力する現在映像の特徴点の位置を比較する(Ｓ３００)。

前記比較結果特徴点の位置が移動した場合(Ｓ３０２)、特徴点比較部１１５は特徴点の位置が移動した方向と移動距離を判断する(Ｓ３０４)。

前記比較結果特徴点の位置が拡大移動される場合(Ｓ３０６)、特徴点比較部１１５はズームインを判断し、ズームインに拡大された比率を判断する(Ｓ３０８)。

前記比較結果特徴点の位置が縮小移動された場合(Ｓ３１０)、特徴点比較部１１５はズームアウトを判断し、ズームアウトに縮小された比率を判断する(Ｓ３１２)。

前記比較果特徴点の左右幅変化がある場合(Ｓ３１４)、被写体の左右回転で特徴点比較部１１５は左側に位置する特徴点の左右幅変化と右側に位置する特徴点の左右幅変化により被写体の左回転または右回転を判断し、回転角を判断する(Ｓ３１６)。

前記比較結果特徴点の上下幅の変化がある場合(Ｓ３１８)、被写体の上下回転で特徴点比較部１１５は上部に位置する特徴点の上下幅変化と下部に位置する特徴点の上下幅の変化により被写体の上部回転または下部回転を判断し、回転角を判断する(Ｓ３２０)。

このように前記特徴点比較部１１５が判断した被写体の動き、すなわちカメラ１００の動きは制御部１２０に入力されるもので、制御部１２０は特徴点比較部１１５は被写体の動きを判断し、判断した被写体の動きによりグラフィック部１３０を制御してグラフィック信号の表示を調節する。

すなわち、図４に示したように前記特徴点比較部１１５が被写体の動きを判断した場合(Ｓ４００)、制御部１２０はグラフィック部１３０が表示部１４０の画面に表示したグラフィック信号を、前記判断した被写体の移動反対方向に判断した移動距離ほどスクロールして表示するように制御する(Ｓ４０２)。

すなわち、カメラ１００が撮影した被写体が上部方向に移動した場合、画面に表示されるグラフィック信号を下部方向にスクロールして画面にグラフィック信号の上部が表示されるようにする。被写体が下部方向に移動した場合画面に表示されるグラフィック信号を上部方向にスクロールして画面にグラフィック信号の下部が表示されるようにする。被写体が左側方向に移動した場合に画面に表示されるグラフィック信号を右側方向にスクロールして画面にグラフィック信号の左側が表示されるようにする。被写体が右側方向にした場合に画面に表示されるグラフィック信号を左側方向にスクロールして画面にグラフィック信号の右側が表示されるようにする。

前記特徴点比較部１１５が被写体のズームインを判断した場合(Ｓ４０４)、制御部１２０は被写体が拡大された比率ほどグラフィック部１３０が画面に表示されたグラフィック信号を拡大させて表示するように制御する(Ｓ４０６)。

前記特徴点比較部１１５が被写体のズームアウトを判断した場合(Ｓ４０８)、制御部１２０はグラフィック部１３０が画面に表示されたグラフィック信号を縮小比率ほど縮小させ表示するように制御する(Ｓ４１０)。

前記特徴点比較部１１５が被写体の左右回転を判断した場合(Ｓ４１２)、制御部１２０はグラフィック部１３０が画面に表示されたグラフィック信号を左右回転方向に回転角ほど回転させて表示するように制御する(Ｓ４１４)。

前記特徴点比較部１１５が被写体の上下回転を判断した場合(Ｓ４１６)、制御部１２０はグラフィック部１３０が画面に表示されたグラフィック信号を上下回転方向に回転角ほど回転させ表示するように制御する(Ｓ４１８)。

ここで、本発明は画面とカメラ１００が同一面に配されている携帯用端末機を例として説明した。しかし、携帯用端末機にはカメラ１００を回転させうるようにしたり、あるいは画面が設置されている面の反対面にカメラ１００が配置されている場合もある。

従って、本発明を実施するに当って、カメラ１００と画面が同一面に設置されているか否かを判断し、判断結果カメラ１００と画面が同一面に設置されている場合に前述したように画面に表示されるグラフィック信号を動かして表示する。

そして、判断結果カメラ１００と画面が互いに反対面に設置されている場合は前述した動作と逆にグラフィック信号を動かして表示する。例えば、被写体の移動方向と同一な方向に移動距離ほどスクロールする。そして、被写体のズームインの場合に拡大比率ほど縮小表示し、ズームインの場合に拡大比率ほど縮小表示する。また撮影した被写体が左回転の場合グラフィック信号を右回転して表示し、被写体が右回転の場合にグラフィック信号を左回転して表示し、被写体が上部回転の場合にグラフィック信号を下部に回転して表示し、被写体が下部回転の場合にグラフィック信号を上部に回転して表示する。

以上のように、本発明はカメラが一体に具備されている携帯用端末機において画面に所定のグラフィック信号を表示する場合カメラが撮影する被写体の動きを検出し、検出した被写体の動きによって画面に表示されたグラフィック信号を自動にスクロール、ズームイン、ズームアウト、回転または上下左右方向に移動させ表示する。

また、画面に３次元グラフィック信号を表示する場合はユーザが携帯用端末機を握って、カメラが撮影する被写体を回転させることにより３次元グラフィック信号を回転させて表示する。

本発明は記載された具体的な例についてだけ詳述してきたが、本発明の技術思想範囲内で多様な変形及び修正が可能なことは当業者にとって明白であり、このような変形及び修正は特許請求の範囲に属することは当然である。

本発明の表示装置の構成を示すブロック図。本発明の表示方法を示す信号流れ図。本発明の表示方法において被写体の動きを判断する動作を示す信号流れ図。本発明の表示方法において画面に表示されたグラフィック信号を被写体の動きにより表示する動作を示した信号流れ図。

符号の説明

１００…カメラ、１１０…検出部、１１１…特徴点抽出部、１１３…バッファ、１１５…特徴点比較部、１２０…制御部、１３０…グラフィック部、１４０…表示部。

Claims

基準被写体を追跡する段階と、
前記基準被写体と携帯用端末機との間の相対的動きの変化を決定する段階と、
画面に前記基準被写体と関連のない前記イメージの表示を相対的動きの決定された変化により変更する段階とを含む携帯用端末機の表示画面にイメージを表示する方法。
前記イメージは前記携帯用端末機に貯蔵されているイメージの一つであって前記携帯用端末機の外部のエヌティーティーからダウンロードされることを特徴とする請求項１に記載の携帯用端末機の表示画面にイメージを表示する方法。
前記相対的動きの決定された変化を決定する段階は、
前記基準被写体の現在基準イメージを生成する段階と、
前記現在基準イメージから少なくとも一つの特徴点を抽出する段階と、
以前基準イメージの少なくとも一つの特徴点と前記現在基準イメージの前記抽出された少なくとも一つの特徴点を相互比較することを特徴とする請求項１に記載の携帯用端末機の表示画面にイメージを表示する方法。
前記相対的動きの変化を決定する段階は、
カメラが撮影した前記基準被写体が動いた方向と前記カメラが撮影した基準被写体が動いた距離と、
カメラが撮影した前記基準被写体が回転した方向と前記カメラが撮影した基準被写体の回転角と、
前記カメラが撮影した基準被写体が携帯用端末機と前記現在基準イメージの拡大比率にさらに近く、
前記カメラが撮影した基準被写体が携帯用端末機と前記現在基準イメージの縮小比率からさらに遠くあるものの少なくともいずれか一つを決定することをさらに含むことを特徴とする請求項３に記載の携帯用端末機の表示画面にイメージを表示する方法。
前記画面上のイメージ表示を変更する段階は、
前記カメラが撮影した基準被写体が移動した決定距離ほど表示画面で前記イメージを移動する段階と、
前記カメラが撮影した基準被写体が移動した決定方向により表示画面上で前記イメージを移動させる段階とを含むことを特徴とする請求項４に記載の携帯用端末機の表示画面にイメージを表示する方法。
前記画面に前記イメージの表示を変更する段階は、
前記現在基準イメージの拡大決定と前記基準被写体の縮小比率決定のいずれか一つにより前記表示画面に前記イメージを拡大することと縮小することのいずれか一つを含むことを特徴とする請求項４に記載の携帯用端末機の表示画面にイメージを表示する方法。
前記画面に前記イメージ表示を変更する段階は、
前記基準被写体と前記表示画面を撮影した前記カメラが前記携帯用端末機と同じ平面に位置すれば、撮影された基準被写体が前記携帯用端末機にさらに近くあると決定される場合、現在の基準イメージの拡大率決定により表示画面のイメージを拡大し、撮影された基準被写体が携帯用端末機からさらに遠く離れて配置されていると決定される場合、現在の基準イメージの縮小率決定により表示画面のイメージを縮小する段階と、
前記基準被写体と前記表示画面を撮影した前記カメラが前記携帯用端末機の平面反対側に配置されている場合、前記撮影された基準被写体が前記携帯用端末機にさらに近いと決定される場合、前記基準イメージの拡大率決定により前記表示画面のイメージを縮小し、前記基準被写体が前記携帯用端末機からさらに遠く離れていると決定される場合、前記現在の基準イメージの決定された縮小率により表示画面のイメージを拡大する段階とを含む請求項６に記載の携帯用端末機の表示画面にイメージを表示する方法。
前記画面に前記イメージ表示を変更する段階は、
前記撮影された基準被写体の決定方向と同じ方向に前記イメージを回転させ、前記撮影された基準被写体の決定方向と反対方向に前記イメージを回転させるもので、この際前記イメージは前記撮影された基準被写体の決定された回転角により回転することを含む請求項４に記載の携帯用端末機の表示画面にイメージを表示する方法。
前記画面に前記イメージ表示を変更する段階は、前記基準被写体と前記表示画面が前記携帯用端末機と同じ平面に配置されている場合、前記撮影された基準被写体が回転した決定方向と同じ方向に前記イメージを回転し、前記基準被写体と前記表示画面が前記携帯用端末機と反対平面に配置されている場合、前記撮影された基準被写体が回転した決定方向と逆方向に前記イメージを回転させることを含む請求項９に記載の携帯用端末機の表示画面にイメージを表示する方法。
前記イメージは相対動きの決定された変化により前記画面上で回転する３次元イメージであることを特徴とする請求項１に記載の携帯用端末機の表示画面にイメージを表示する方法。
ユーザの顔の現在基準イメージを撮影し生成して前記ユーザの顔の動きを追跡する段階と、
前記ユーザの顔の現在基準イメージで少なくとも一つの特徴点を抽出し、前記ユーザの顔の以前基準イメージの少なくとも一つの特徴点を前記ユーザの顔の前記現在基準イメージの前記抽出された少なくとも一つの特徴点と比較して、前記ユーザの顔の動き変化を決定する段階と、
前記ユーザの顔の動き変化の決定により前記画面に前記イメージ表示を変更し、この際前記イメージは前記ユーザの顔とは関連のないことを特徴とする携帯用端末機の表示画面にイメージを表示する方法。
前記ユーザの顔の動き変化を決定する段階は、前記ユーザの目と鼻と口の一つに相応する少なくとも一つの特徴点を抽出する段階を含むことを特徴とする請求項１１に記載の携帯用端末機の表示画面にイメージを表示する方法。
基準被写体を追跡するための追跡部と、
前記基準被写体と関連のないイメージを表示画面に表示するためのグラフィック部と、
前記基準被写体と携帯用端末機間の相対動きの変化を決定するための検出部と、
画面上の前記イメージ表示を前記相対動き変化により変更するために前記グラフィックユニットを制御するための制御部とを含むことを特徴とする携帯用端末機の表示画面にイメージを表示するための装置。
前記グラフィック部は前記携帯用端末機に貯蔵されたイメージの一つと前記携帯用端末機外のエヌティーティーでダウンされたイメージをさらに表示することを特徴とする請求項１３に記載の携帯用端末機の表示画面にイメージを表示するための装置。
前記追跡部はカメラを含み、また前記基準被写体を撮影し、前記被写体の現在基準イメージを生成することを特徴とする請求項１３に記載の携帯用端末機の表示画面にイメージを表示するための装置。
前記検出部は前記現在基準イメージから少なくとも一つの特徴点を抽出し、
前記基準被写体と前記携帯用端末機との相対動き変化を決定するために以前基準イメージの少なくとも一つの特徴点と前記抽出された現在基準イメージの最小一つの特徴点を比較することを特徴とする請求項１５に記載の携帯用端末機の表示画面にイメージを表示するための装置。
前記検出部は前記撮影された基準被写体が移動した方向と前記撮影された基準被写体が移動した距離と、
前記撮影された基準被写体が回転した方向と前記撮影された基準被写体の回転角と、
前記撮影された基準被写体が前記携帯用端末機と前記現在基準イメージの拡大率にさらに近接していることと、
前記撮影された基準被写体が前記携帯用端末機と前記現在基準イメージの縮小率でさらに遠く離れているもののうち少なくとも一つをさらに決定する請求項１６に記載の携帯用端末機の表示画面にイメージを表示するための装置。
前記制御部は前記グラフィック部をさらに制御して前記イメージを前記撮影された基準被写体が移動した前記決定距離ほど前記表示画面から移動させ、前記撮影された基準被写体が移動した決定方向により前記イメージを表示画面で移動させるようにすることを特徴とする請求項１７に記載の携帯用端末機の表示画面にイメージを表示するための装置。
前記制御部はグラフィック部を制御して前記現在基準イメージの拡大率及び縮小率の決定によって前記表示画面にイメージを拡大または縮小させることをさらに含むことを特徴とする請求項１７に記載の携帯用端末機の表示画面にイメージを表示するための装置。
前記制御部は前記グラフィック部を制御して前記イメージを前記撮影された基準被写体の決定された回転方向と同じ方向及び反対方向に回転するようにし、この際前記イメージは前記撮影された基準被写体の決定された回転角によって回転することを特徴とする請求項１７に記載の携帯用端末機の表示画面にイメージを表示するための装置。