JP2011517879A - 少なくとも１台のカメラによって生成された画像を表示するための方法及びシステム - Google Patents

Abstract

【課題】少なくとも１台のカメラ（１１）によって生成された画像を画像表示手段（１３）に表示するための方法を提供する。
【解決手段】少なくとも１つの実物体（１２）を撮像する前記カメラ（１１）によって、少なくとも１枚の画像（１５）を生成するステップと、前記画像（１５）を前記画像表示手段（１３）に表示するステップと、前記少なくとも１枚の画像及び／又は前記画像を生成するときの前記カメラの少なくとも１つの特有の性質を分析する（２.１Ａ、２.１Ｂ、２.１Ｃ）ステップと、前記少なくとも１つの特有の性質に基づいて、前記少なくとも１枚の画像（１５）が、前記画像表示手段（１３）にミラー反転方式で表示されるかどうかを自動的に決定するステップとを具備する。
【選択図】図３



★

Description

本発明は、少なくとも１台のカメラによって生成された１枚の画像を１つの画像表示手段に表示するための方法及びシステムに関する。本発明に係る方法及びシステムでは、少なくとも１枚の画像が、少なくとも１つの実物体を撮像するカメラによって生成され、そして、画像を表示するために、画像表示手段がカメラに接続されている。

上記のシステムは、例えば、ビデオ会議の参加者が少なくとも１台のカメラによって撮像され、当該カメラは参加者及び周囲の状況の１枚の画像又は複数枚の画像を撮影し、撮影した前記１枚の画像又は複数枚の画像を会議の各相手に伝送するようなビデオ会議などの場で利用される。場合によっては、自分自身にとってどんな画像が相手に伝送されたかをチェックする可能性があるように、会議の相手に伝送された画像は、自分自身に向けて表示されるかもしれない。このような場合には、例えば、カメラが前方に設置され、そのカメラに撮像される人の動きの一つ一つが、反転された動き又は逆転された動きとして画像上に表示される場合に、自分自身に向けて表示された画像が直感で理解できないという問題は発生するかもしれない。例えば、カメラに撮像される人が右側に移動する場合に、そのカメラがその人の前に配置されたときに、その人が示された画像は、左側へのその人の移動を表示し、そして、相手にも伝送される。

例えば、『Ｖｏｌｋｅｒ Ｐａｅｌｋｅ， Ｃｈｒｉｓｔｉａｎ Ｒｅｉｍａｎｎ，“Ａｕｔｈｏｒｉｎｇ ｖｏｎ Ａｕｇｍｅｎｔｅｄ−Ｒｅａｌｉｔｙ−Ａｎｗｅｎｄｕｎｇｅｎ”， Ｄｅｕｔｓｃｈｅ Ｇｅｓｅｌｌｓｃｈａｆｔ ｆｕｒ Ｋａｒｔｏｇｒａｐｈｉｓｃｈｅ Ｓｃｈｒｉｆｔｅｎ， Ｂａｎｄ １０： Ａｋｔｕｅｌｌｅ Ｅｎｔｗｉｃｋｌｕｎｇｅｎ ｉｎ Ｇｅｏｉｎｆｏｒｍａｔｉｏｎ ｕｎｄ Ｖｉｓｕａｌｉｓｉｒｕｎｇ， Ｂｅｉｔｒａｇｅ ｄｅｓ Ｓｅｍｉｎａｒｓ ＧＥＯ ＶＩＳ ２００６，５．−６． Ａｐｒｉｌ ２００６， Ｐｏｔｓｄａｍ， Ｓｅｉｔｅｎ ３７ ｂｉｓ ４５』において、１台のカメラが少なくとも１つの実物体を撮像し、１枚の画像を１つの表示手段に表示するようになっているもう１つのアプリケーションは、記載されている。この文献は、いわゆる“マジック・ブック”のオーサリングと使用を記載している。このようなアプリケーションでは、カメラは人に読まれる一冊の本の写真を撮影し、その本は表示画面に表示され、そして、表示画面上のあらゆる種類の仮想オブジェクトとともに、表示画面に表示される本が拡張されるように、実世界の画像に加えて仮想オブジェクトが表示される場合がある。このようなアプリケーションでは、ビデオ会議について前述のように、同じ状況は発生する可能性があり、即ち、カメラが人及び本の前に設置されたときに、本の前に座っている人の動きの一つ一つが、反転された方式又は逆転された方式で表示画面に表示される。一方、本を読んでいる人がカメラに撮像されないとうに、カメラが本の写真を人の視野から撮影するという状況も発生する可能性がある。この状況では、本が右側に移動されたときに、例えば、本を示している画像も、右側へ本の動きを示し、従って、この状況では、カメラに撮像された実物体の反転された表示又は逆転された表示はない。

このいわゆる“ミラー・ビュー問題（mirror view problem）”は、例えば、『Ｄｕｎｓｅｒ,Ａ．， Ｈｏｒｎｅｃｋｅｒ， Ｅ．：“Ｌｅｓｓｏｎｓ ｆｒｏｍ ａｎ ＡＲ ｂｏｏｋ ｓｔｕｄｙ”， ｉｎ ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｉｒｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｔａｎｇｉｂｌｅ ａｎｄ Ｅｍｂｅｄｄｅｄ Ｉｎｔｅｒａｃｔｉｏｎ （ＴＥＩ２００７）， Ｆｅｂｒｕａｒｙ １５−１７， ２００７， Ｂａｔｏｎ Ｒｏｕｇｅ， Ｌｏｕｉｓｉａｎａ， ＵＳＡ』という文献に記載された。このミラー・ビュー問題は、“このミラー・ビューは‘私は何処’という空間的な混乱を招く”。しかしながら、この文献は、この問題だけを説明しているが、この問題の解決法を提示していない。

このマジックブック（magic book）を記述するもう一つの文献は、『Ｇｒａｓｓｅｔ，Ｒ．， Ｄｕｎｓｅｒ,Ａ．， Ｓｅｉｃｈｔｅｒ，Ｈ．， Ｂｉｌｌｉｎｇｈｕｒｓｔ，Ｍ．：“Ｔｈｅ Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｂｏｏｋ： Ａ Ｎｅｗ Ｍｕｌｔｉｍｅｄｉａ Ｒｅａｄｉｎｇ Ｅｘｐｅｒｉｅｎｃｅ”， ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ‘２００７ Ｉｎｔｅｒａｃｔｉｖｉｔｙ』である。この文献は、マジックブックの使用しか記述していない。この文献によっても、ミラー・ビュー問題に対処できない。

更に、『Ｈｏｒｎｅｃｋｅｒ，Ｅ．， Ｄｕｎｓｅｒ,Ａ．：“Ｓｕｐｐｏｒｔｉｎｇ Ｅａｒｌｙ Ｌｉｔｅｒａｃｙ ｗｉｔｈ Ａｕｇｍｅｎｔｅｄ Ｂｏｏｋｓ−Ｅｘｐｅｒｉｅｎｃｅｓ ｗｉｔｈ ａｎ Ｅｘｐｌｏｒａｔｏｒｙ Ｓｔｕｄｙ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｇｅｒｍａｎ Ｓｏｃｉｅｔｙ ｏｆ Ｉｎｆｏｒｍａｔｉｃｓ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ＧＩ−Ｊａｈｒｅｓｔａｇｕｎｇ ２００７， ＧＩ−Ｅｄｉｔｉｏｎ−Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｉｎｆｏｒｍａｔｉｃｓ （ＬＮＩ）， Ｂｏｎｎｅｒ Ｋｏｌｌｅｎ Ｖｅｒｌａｇ（２００７）』という文献は、．ウェブカメラが画面上の拡張された画像を作動し、ミラー反転されたため、繰り返して“空間的な混乱”を招いたことを記述した。二次試行のビデオ解析は、［ＤＨ１０７］（これも前述した“Ｌｅｓｓｏｎｓ ｆｒｏｍ ａｎ ＡＲ ｂｏｏｋ ｓｔｕｄｙ”を参照）に報告された相互作用問題を確認した。フィジカル３Ｄ行動（ｐｈｙｓｉｃａｌ ３Ｄ ｂｅｈａｖｉｏｕｒ）を示すためにラケット上にＡＲオブジェクトを期待した子供は、画面上の反転された画像によって混乱させられる。そこで、画面上のテキスト・シーケンスと、対話型シーケンスを切り替えることを学ぶことが必要である。

更に、従来技術として、「Ｈ．Ｋ．Ｕ．Ｉ.Ｐ Ｍａｒｋ Ｂｉｌｌｉｎｇｈｕｒｓｔ， Ｔｈｅ Ｍａｇｉｃ Ｂｏｏｋ： Ａ Ｔｒａｎｓｉｔｉｏｎａｌ ＡＲ ｉｎｔｅｒｆａｃｅ， Ｃｏｍｐｕｔｅｒｓ ａｎｄ Ｇｒａｐｈｉｃｓ，２５（５）， ２００１， ｐａｇｅｓ ７４５−７５３」、「Ｊ．Ｍ．Ｕｎｄ Ｄｏｒｅｅｎ Ｄａｒｎｅｌｌ， Ｔｈｅ ｅｙｅＭａｇｉｃ Ｂｏｏｋ Ａ Ｒｅｐｏｒｔ ｉｎｔｏ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｔｏｒｙｔｅｌｌｉｎｇ ｉｎ ｔｈｅ Ｃｏｎｔｅｘｔ ｏｆ ａ Ｃｈｉｌｄｒｅｎｓ Ｗｏｒｋｓｈｏｐ， ２００３．」 「ＤＥ１０１２８０１５Ａ１、ＤＥ１０２００４０４６１４４Ａ１、ＤＥ２０２０３３６７Ｕ１、ＤＥ１０３０１８４９ Ｂ４、Ｄｅ １０２００５ ０１１ １２６ Ａ１」という文献に記載された、いわゆる拡張現実感技術（Augmented
Reality（ＡＲ）−ｔｅｃｈｎｏｌｏｇｙ）が知られている。

本発明の目的は、カメラによって生成された画像を画像表示手段に表示するための方法を提供することにある。本発明に係る方法は、前述の状況で当該画像の改善された直感的表示を当該画像表示手段に表示させることができる。

本発明の第１実施態様によれば、少なくとも１台のカメラによって生成された画像を画像表示手段に表示するための方法が開示された。本発明の第１実施態様に係る方法は、少なくとも１つの実物体を撮像するカメラによって、少なくとも１枚の画像を生成するステップと、前記画像を前記画像表示手段に表示するステップと、前記少なくとも１枚の画像及び／又は前記画像を生成するときの前記カメラの少なくとも１つの特有の性質を分析するステップと、前記少なくとも１つの特有の性質に基づいて、前記少なくとも１枚の画像が、前記画像表示手段にミラー反転方式で表示されるかどうかを自動的に決定するステップとを具備する。

本発明のもう１つの実施態様によれば、画像を表示するためのシステムが開示された。本発明のこのもう１つの実施態様に係るシステムは、少なくとも１つの実物体を撮像して少なくとも１枚の画像を生成する１台のカメラと、前記カメラに接続されており、前記カメラによって生成された前記画像を表示する画像表示手段と、前記カメラ及び前記画像表示手段に接続されており、前記少なくとも１枚の画像及び／又は前記画像を生成するときの前記カメラの少なくとも１つの特有の性質を分析し、前記画像を前記画像表示手段に表示する処理部とを備え、前記処理部は、前記少なくとも１つの特有の性質に基づいて、前記少なくとも１枚の画像が、前記画像表示手段にミラー反転方式で表示されるかどうかを自動的に決定するようになされた。

本発明の大きな効果は、本発明に係る方法及びシステムが、例えば、分析された、前記少なくとも１枚の画像及び／又は前記カメラが前記画像を生成するときの前記カメラの特有の性質などの特定の状況に基づいて、前記カメラによって撮像された前記少なくとも１枚の画像がミラー反転方式で表示されるかどうかを自動的に決定できるということである。したがって、例えば、ビデオ会議アプリケーション又はマジックブックアプリケーションなどの本明細書の最初の部分で述べた状況では、本発明に係る方法及びシステムは、前記カメラによって撮像された前記少なくとも１枚の画像の改善された直感的表示を自動的に提供することができる。そのため、ユーザは、もう、表示された画像をミラー反転させる又は反転させるかどうかを手動で決定することに、要請されない。

本発明の一実施例によれば、前記画像を生成するときの前記カメラの前記少なくとも１つの特有の性質を分析する前記ステップは、前記画像を生成するときの１つ以上のカメラ姿勢を分析することを包含する。換言すれば、１つ以上のカメラ姿勢を分析するときの結果に基づいて、前記画像が反転させられる、又は反転させられないことになる。例えば、１つ以上のカメラ姿勢を分析するステップは、前記カメラによって生成された複数の画像に関するカメラ姿勢履歴を分析し、特に、前記複数の画像に関する前記カメラ姿勢履歴をヒューリスティックスを用いて（即ち、推測によって（heuristically））、分析することを包含する。統計的方法を用いることによって、前記複数の画像に関する前記カメラ姿勢を分析することができ、そして、結果に基づいて、表示された前記画像が反転させられる、又は反転させられない。

特に、次の状況を区別することができる。第１の状況では、ユーザは１つの実物体を見ており、前記カメラも、前記ユーザと同じ視点又は前記ユーザとほぼ同じ視点から、前記実物体を観察している。例えば、前記ユーザは前記カメラを自分の手で持つ場合は、第１の状況に相当する。第２の状況では、前記カメラは、ユーザと比べて逆の視点から前記実物体を観察している。例えば、前記ユーザの前に前記カメラがある場合は、第２の状況に相当する。特に、第２の状況では、前記画像がミラー反転方式で表示される場合に、前記ユーザに向けて表示される前記画像はより直感的に理解できる。第１の状況では、このような事実はない。上述した実施例では、前記２つの状況において実物体に関する前記カメラの前記姿勢が、推測によって（heuristically）区別できるので、１つ以上のカメラ姿勢を分析することは、本発明のシステムがこれら２つの状況を区別できるようにしている。

前記少なくとも１枚の画像が、前記画像表示手段にミラー反転方式で表示されるかどうかを自動的に決定するもう一つの方法は、前記少なくとも１枚の画像の少なくとも１つの特有の性質を分析することであり、例えば、前記少なくとも１枚の画像の少なくとも１つの特性を分析することである。少なくとも１つの特性を分析するステップは、一人の人間の顔の少なくとも１つの特徴を求めるために、前記画像を検索し、分析することを包含することができる。一人の人間の顔の少なくとも１つの特徴が本発明のシステムによって検出された場合に、これは、ユーザと向かい合っている前記カメラを有する前記第２の状況が存在するという表れであるかもしれない。

前記少なくとも１枚の画像の少なくとも１つの特有の性質を分析するもう一つの方法は、好ましくは、少なくとも１つの画像領域の複数の順次画像を分析することを包含することができる。前記少なくとも１つの画像領域は、前記複数の画像の間で実質的に変化しない。本発明のシステムが前記複数の画像の間で実質的に変化しない１つの画像領域を検出しない場合に、これは、ユーザが前記カメラを自分の手で持っており、前記カメラがユーザによって移動されたときに、ほとんど全部の画像領域が移動するという表れであるかもしれない。つまり、これは、上述した第１の状況を示す。

本発明の更なる実施例及び有利な特徴は、従属請求項から明白である。

本発明に係るシステムの第１実施例の略図である。 本発明に係るシステムの第２実施例の略図である。 本発明の一実施例に係る分析処理の流れ説明図である。 本発明の一実施例に係る、図３に示された分析処理の一部の流れ説明図である。 本発明の一実施例に係る、図３に示された分析処理のほかの部分の流れ説明図である。 本発明のもう一つの実施例に係る、図３に示された分析処理のほかの部分の流れ説明図である。 複数の画像に関するカメラ姿勢の並進値の典型的な履歴を示す説明図である。 複数の画像に関するカメラ姿勢の並進値の典型的な履歴を示す説明図である。

以下、本発明の様々な実施例を説明する添付図面とともに、本発明をより詳細に説明する。

図１は、本発明に係るシステムの第１実施例の略図を示す。特に、図１は、実世界、例えば、図示された実物体１２の少なくとも１枚の画像を生成するために、ユーザ１０がカメラ１１を自分の手で持つことになっているシステム１を示す。１つの特定例によれば、実物体１２はユーザ１０の前に置かれている一冊の本であり、カメラ１１は本１２の画像を撮像し、その画像は表示画面に表示される。図１に示されたように、本１２は物体座標系１６が与えられる。また、カメラ１１は、例えばパーソナルコンピュータの表示画面又は同種のものなどの画像表示手段１３に接続されている。しかしながら、ユーザに向けて画像を表示するのに適しているその他の画像表示手段、例えば、ヘッドマウンテッドディスプレイ（head mounted display）、又は、その他のタイプのモバイル又は固定式（stationary）表示装置などの装置は、画像表示手段１３として用いることができる。更に、例えばパーソナルコンピュータ（ＰＣ）などの処理部１４は、カメラ１１及び画像表示手段１３に、有線又は無線の方式で接続されている。

図１に示されたような状況（バージョンＡ）では、ユーザ１０はカメラ１１を自分の手で持っており、自分（当該ユーザ１０）の前に置かれている実物体１２を見ている。カメラ画像１５、又は複数の画像１５（例えば、画像のビデオフロー）は、ユーザ１０の前に置かれている画像表示手段１３に、表示される。本発明の１つの実施例によれば、画像１５に拡張現実感技術（ＡＲ−ｔｅｃｈｎｏｌｏｇｙ）によって仮想オブジェクトを加えることで、画像１５は拡張された。図１に示されたような状況では、ユーザ１０はカメラ１１を左に移動する場合に、カメラ１１は左へ移動された位置から画像を撮像し、これは他の移動方向にも適用できる。１つ可能なアプリケーションによれば、ユーザ１０は本１２の画像又はビデオストリームを撮像しており、本１２の画像１５は、面白い仮想情報を加えることで拡張されて、画像表示手段１３に表示される（上述したマジックブックアプリケーション）。

図２はもう１つの状況（バージョンＢ）を示す。図２において、システム１は、図１に関する説明と同じ構成要素を実質的に備える。ただし、図２のシステム１の配置は、図１のシステム１の配置と異なる。図２に示されたような状況では、カメラ１１は、ユーザ１０の反対側に配置されており、例えば、ユーザ１０の前に、かつ、画像表示手段１３（例えば、表示画面）の上に配置される。カメラ１１を用いて、ユーザ１０は、表示画面１３に表示される自分の画像を撮像することができ、及び／又は、実物体１２（例えば、ユーザ１０の手に持っている一冊の本）の画像を撮像することができる。図１と同様に、実物体１２は物体座標系１６が与えられる。図２に示されたような状況では、ユーザ１０は自分の手で本１２をカメラ１１の前に移動することが可能であり、カメラ１１によって撮像された画像は、画像１５として表示画面１３に表示される。

図２に適用できるもう１つの状況はビデオ会議であり、ビデオ会議では、ユーザ１０は、このビデオ会議の遠隔地の相手に対して、テクニカルオブジェクト１２を示して説明する。

図２に示されたバージョンＢの両方のアプリケーションにおいて、ユーザ１０又は実物体１２は１つの方向に移動し、表示画面１３上の画像１５はミラー反転方式で表示されない場合に、各移動は、逆転方式（かなり不自然な表示）で表示画面１３に表示される。例えば、ユーザの頭又は物体１２の右への移動は、左への移動として表示画面１３に表示され、逆の場合も同じである。

本発明の特定の目標は、表示された画像がミラー反転方式で表示されるかどうかを自動的に決定するために、図１と図２の状況、即ち、バージョンＡとバージョンＢを自動的に区別することである。

図３は、本発明の一実施例に係る分析処理の流れ説明図を示す。ステップ１.０によれば、カメラ１１は実物体１２（例えば、一冊の本）の一枚の画像又は複数の画像を撮像する。撮像された画像は、本発明に係る処理を行うようになされた処理部１４に伝送される。特に、処理部１４（例えば、ＰＣ）は、コード・セクションがＰＣ１４の内部メモリへロードされるときに、本発明に係る処理を実行するようになされたソフトウェア・コード・セクション(software code sections)を有するコンピュータ・プログラム・プロダクト（a computer program product）を備える。例えば、ソフトウェア・コード・セクションはＰＣの内部メモリに格納されることができ、又は、ハードディスク・ドライブ又はその他の適切な記憶手段に格納されることができる。作動中に、プログラムはコンピュータの内部メモリへロードされる。カメラデータは、有線又は無線の方式でＰＣ１４に伝送されることができる。

ステップ１.５によれば、例えば、カメラで撮像された画像のミラー反転の手動起動のための表示画面１３上の対応表示などの手段は、ユーザのために設けられることができる。

ステップ２.０によれば、画像がミラー反転方式で表示されるかどうかを決定するために、少なくとも１つの特有の性質が分析される。一般に、複数の画像の中の一枚画像のみ（例えば、カメラによって撮像された最新の画像）を分析することが可能であり、又は、複数の画像を分析することができる。

方法ステップ２.１Ａ、２.１Ｂ及び２.１Ｃは、本発明の各実施例を示す。ステップ２.５に示されたように、これらの実施例は、それぞれ単独で行われることができ、又は、互いに組み合わせて行われることができる。例えば、表示される画像がミラー反転されるかどうかを決定する確率を得るために、ステップ２.１Ａ、２.１Ｂ及び／又は２.１Ｃから得た結果は、（異なる重み付け係数を用いるかどうかに係らず、）重み付けられることができる。しかし、画像がミラー反転されるかどうかを決定するのに、ステップ２.１Ａ、２.１Ｂ又は２.１Ｃの１つで十分である。更に、場合によっては、ステップ２.１Ａ、２.１Ｂ及び／又は２.１Ｃからの中間結果又は計算を同じような方法で組み合わせるのは、適切である。

ステップ２.１Ａによれば、画像を生成するときの１つ以上のカメラ姿勢が分析される。従来技術から、撮像された実物体に関連する各カメラ姿勢を決定するための様々なマーカに基づいたトラッキング方法又はマーカレストラッキング方法が知られている。また、従来技術から、いわゆるＳＬＡＭ法（simultaneous localization and tracking method）が知られている。これら全ての方法は、実世界又は実世界の一部に関連するカメラの位置及び方位（姿勢）を決定するのに役に立つ。利用できる事前情報（pre-information）がない場合に、場合によっては、実世界又は実世界の一部に関連するカメラの絶対姿勢を決定するのは不可能であり、しかし、特定時点からのカメラ姿勢の変化だけである。

方法ステップ２.１Ａは、撮像された実物体に関連するカメラの姿勢に関し、図１及び図２に示されたバージョンＡとバージョンＢが異なっており、推測によって（heuristically）区別できるという事実を利用する。換言すれば、バージョンＡとバージョンＢどちらが特定の現状（the particular current situation）であるのかを決定するのに、統計的方法を用いることができる。

図４は、本発明の一実施例に係る、図３にある方法ステップ２.１Ａの流れ説明図を示す。ステップ２.１Ａ１によれば、複数の画像に関するカメラ姿勢履歴が分析される。例えば、互いに関連し合うカメラ姿勢の動き（各カメラ姿勢は実物体１２に関連する。）又は物体座標系１６の動きが実質的に平面上にあるかについて、分析される。この方法ステップでは、複数の状況では、システムは、実物体（例えば、本１２）が置かれているテーブルと組み合わせて使用されると考えられる。この場合は、本１２はテーブルの上へ移動され、例えば、本は、任意の並進方向に移動され、又は、テーブルの上に回転される。この場合は、この状況において、図２に係るバージョンＢが現状であることが当然と考えられるように、物体座標系１６は、近似的に平面（テーブル面に定義された平面）の上に移動する。この場合は、表示画面１３に表示される画像は、ミラー反転される又は反転される。

ステップ２.１Ａ２について示されたもう１つの実施例によれば、複数の画像に関する各カメラ姿勢の並進値の履歴が分析される。これについて、図７及び図８は、複数の画像に関するカメラ姿勢のカメラ並進値の典型的な履歴を描く説明図を示す。縦方向に並進値が描かれるのに対して、横方向に画像の枚数が描かれる。図７に示された曲線は、バージョンＡに係る状況を有する場合の並進値の曲線を描く。一方、図８に係る曲線は、バージョンＢに係る状況を有する場合のカメラ並進値を示す。特に、図７に示された円の中に描かれている極値を分析すれば分かるように、バージョンＡ（図７）に示されたようなユーザ１０がカメラ１１を自分の手に持っている場合に、並進値の曲線は、より“不安定な”手の動きを示す。極値を有するかなり不安定な曲線は、ユーザがカメラを自分の手に持っていることが当然と考えられるように、ユーザ１０の“震える”手の表れである。一方、図８に示されたかなりスムーズな曲線は、実物体が、固定されたカメラに関して、例えばテーブル面の上へ移動された状況を示す。従って、複数の画像に関するカメラ姿勢の並進値の極値及び／又は滑らかさを分析することによって、例えば、適切なフーリエ解析方法又は同種のものを用いることによって、バージョンＡ又はバージョンＢが現状であることを決定することができる。

オプションであるかどうかに係らず、追加ステップ２.１Ａ３では、絶対的なカメラ姿勢を決定することが可能であれば、更に、撮像される実物体に関連する少なくとも１つの絶対的なカメラ姿勢を分析することができる。特に、ユーザが本を自分の手で持っており、その本を読んでいる状況では、ユーザがその本を文字が読み易いようにユーザの方に向いている方式で持っていると考えられる。従って、文字に関連する本の物体座標系が既知の場合に、文字が読み易いようにカメラは本を観察するか、それとも、文字が読み易くないようにカメラは本を逆方向から観察するかを決定することができる。図２に示されたバージョンＢを示す後者の場合は、表示される画像は、ミラー反転される、又は、反転される。

方法ステップ２.１Ａ２及び２.１Ａ３の結果を記憶し、評価することができ、更に、例えば、各結果にそれぞれポイント数を与えることによって重み付けを行うことができる。与えられたポイント数を合計することによって、現状はバージョンＡに対応するか、それとも、バージョンＢに対応するかを決定することができる。

図５は、図３に示された処理のほかの部分、特に方法ステップ２.１Ｂの実施例の流れ説明図を示す。方法ステップ２.１Ｂによれば、１枚以上の画像の少なくとも１つの特有の性質が分析され、ここで、画像又は複数の画像の少なくとも１つの特性が分析される。特に、人間の顔の特徴が検索され、ここで、画像における識別された人間の顔は、状況がバージョンＢに対応するという表れである。人間の顔の少なくとも１つの特徴のために画像を分析するのに、いわゆるサポートベクターマシン（Support Vector Machines）を利用することができる。相対トラッキング（例えば、ＳＬＡＭ）の場合に、この実施例を用いることができる。

図６は、図３に示された方法ステップ２.１Ｃの実施例を説明する流れ説明図を示す。方法ステップ２.１Ｃでは、カメラに関する動きの種類と画像環境の構造が計算される。そのために、複数の画像の間で実質的に変化しない、少なくとも１つの画像領域のために、複数の順次画像が分析される。図１（バージョンＡ）に示された状況においてカメラが移動された場合に、カメラの移動中に複数の画像に関する、複数の画像領域のうちのいずれか１つが変化しないという確率は、かなり低い。しかし、図２に示されたようなカメラが固定される状況（バージョンＢ）において、実物体１２だけが移動される場合に、少なくとも幾つかの画像シーケンスにおいて、変化しない少なくとも幾つかの画像領域が存在し、実世界の一部が変化しないことを示す。

この方法ステップの１つ特定の実施例において、方法ステップ２.１Ｃ１及び２.１Ｃ２によれば、２つの順次画像間の設定可能な複数の画像領域のオプティカルフロー（optical flow）が決定される。例えば、第１の画像（画像１）とその後の画像（画像２）の間の設定可能な複数の画像領域のオプティカルフローが計算され、ここで、可能なら、不均一なバックグランド（non-uniform backgrounds）が考慮される。従って、オプティカルフローを計算するときに、それぞれのフローベクター（flow vector）が決定され、ここで、所定の設定可能な最小値より低い長さを有するフローベクターの数が決定され、これは１つの変化しない画像部分を示す。１つ特定の画像部分は変化しないことが決定された場合に、表示される画像がミラー反転される又は反転されるように、現況はバージョンＢに対応することを決定することができる。

２つの順次画像間のオプティカルフローを決定することの代わりに、又は、２つの順次画像間のオプティカルフローを決定することへの付加として、画像を差し引く（subtract）方法、例えば、いわゆるバックグラウンド・サブトラクション（background subtraction）を用いることもできる。

図３のステップ２.６によれば、適用できる場合に、ステップ２.５とも組み合わせて、ステップ２.１Ａ、２.１Ｂ及び／又は２.１Ｃの任意の設定可能な合致する複数の結果を待つことが、変化（即ち、反転されていない画像から反転された画像への変化、逆の場合も同じである。）を転送する前に、ユーザによって設定されることができる。

オプションステップ３.０において、ユーザは、画像を反転させるかどうかを（例えば、表示画面上の個別のボタンをクリックすることによって）決定することができる。これは、ユーザを通してのシステムの反転させる又は反転させない決定の可能な確認を反映する。

本発明に係る方法及びシステムは、バージョンＡ又はバージョンＢによるシステム構成が使用される状況において、例えば、ウェブカメラをカメラ１１として使用する場合に、特に有利である。本発明は、システム構成がバージョンＡとバージョンＢの間にダイナミックに切り替えることができる状況において、特に有用であり、ここで、システムは、画像がミラー反転されるかどうかを自動的に決定することができる。本発明によれば、上述したような、面倒な手動切り替え操作によるこのようなアプリケーションの処理を中断する必要がない。

上記のように、典型的な実施例を参照して本発明を説明したが、本願発明が属する技術分野における通常の知識を有する者であれば、本発明による技術的な思想の範囲内でも、様々な変形及び修正を加え得ることは明白である。

１ システム
１０ ユーザ
１１ カメラ
１２ 実物体（本）
１３ 画像表示手段（表示画面）
１４ 処理部
１５ 画像
１６ 物体座標系

Claims (14)

1. 少なくとも１台のカメラ（１１）によって生成された画像を画像表示手段（１３）に表示するための方法であって、
   少なくとも１つの実物体（１２）を撮像する前記カメラ（１１）によって、少なくとも１枚の画像（１５）を生成するステップと、
   前記画像（１５）を前記画像表示手段（１３）に表示するステップと、
   前記少なくとも１枚の画像及び／又は前記画像を生成するときの前記カメラの少なくとも１つの特有の性質を分析する（２.１Ａ、２.１Ｂ、２.１Ｃ）ステップと、
   前記少なくとも１つの特有の性質に基づいて、前記少なくとも１枚の画像（１５）が、前記画像表示手段（１３）にミラー反転方式で表示されるかどうかを自動的に決定するステップとを具備することを特徴とする方法。
2. 前記画像を生成するときの前記カメラの前記少なくとも１つの特有の性質を分析する前記ステップは、前記画像を生成するときの１つ以上のカメラ姿勢を分析する（２.１Ａ）ことを包含する請求項１に記載の方法。
3. １つ以上のカメラ姿勢を分析する前記ステップは、前記カメラによって生成された複数の画像に関するカメラ姿勢履歴を分析し（２.１Ａ１、２.１Ａ２、２.１Ａ３）、特に、前記複数の画像に関する前記カメラ姿勢履歴を推測によって分析することを包含する請求項２に記載の方法。
4. 前記カメラによって生成された複数の画像に関するカメラ姿勢履歴を分析する前記ステップは、複数の画像に関する各カメラ姿勢の並進値の履歴を分析し（２.１Ａ２）、特に、前記並進値の極値及び／又は滑らかさを分析することを包含する請求項３に記載の方法。
5. １つ以上のカメラ姿勢を分析する前記ステップは、前記少なくとも１つの実物体（１２）に関連する前記カメラ姿勢が近似的に平面上にあるかどうかを決定する（２.１Ａ１）ことを包含する請求項２乃至４のいずれかに記載の方法。
6. １つ以上のカメラ姿勢を分析する前記ステップは、前記少なくとも１つの実物体（１２）に関連する少なくとも１つの絶対的なカメラ姿勢を決定する（２.１Ａ３）ことを包含する請求項２乃至５のいずれかに記載の方法。
7. 前記少なくとも１枚の画像の前記少なくとも１つの特有の性質を分析する前記ステップは、前記少なくとも１枚の画像の少なくとも１つの特性を分析する（２.１Ｂ、２.１Ｃ）ことを包含する請求項１乃至６のいずれかに記載の方法。
8. 前記少なくとも１枚の画像の前記少なくとも１つの特性を分析する前記ステップは、人間の顔の少なくとも１つの特徴のために、前記画像を検索して分析する（２.１Ｂ１、２.１Ｂ２）ことを包含する請求項７に記載の方法。
9. 前記少なくとも１枚の画像の前記少なくとも１つの特有の性質を分析する前記ステップは、複数の画像の間で実質的に変化しない、少なくとも１つの画像領域のために、前記複数の画像を分析する（２.１Ｃ）ことを包含する請求項１乃至８のいずれかに記載の方法。
10. 少なくとも１つの変化しない画像領域のために、複数の画像を分析する前記ステップは、
    ２つの順次画像間の設定可能な複数の画像領域のオプティカルフローを決定する（２.１Ｃ１、２.１Ｃ２）ことを包含する請求項９に記載の方法。
11. ２つの順次画像間のオプティカルフローを決定するのは、それぞれのフローベクターを決定する（２.１Ｃ２）こと、及び、所定の設定可能な最小値より低い長さを有するフローベクターの数を決定することを包含する請求項１０に記載の方法。
12. 前記少なくとも１枚の画像は、拡張現実感技術によって少なくとも１つの仮想オブジェクトを加えることで拡張される請求項１乃至１１のいずれかに記載の方法。
13. 画像を表示するためのシステム（１）であって、
    少なくとも１つの実物体（１２）を撮像して少なくとも１枚の画像（１５）を生成する１台のカメラ（１１）と、
    前記カメラ（１１）に接続されており、前記カメラによって生成された前記画像を表示する画像表示手段（１３）と、
    前記カメラ（１１）及び前記画像表示手段（１３）に接続されており、前記少なくとも１枚の画像及び／又は前記画像を生成するときの前記カメラの少なくとも１つの特有の性質を分析し、前記画像を前記画像表示手段に表示する処理部（１４）とを備え、
    前記処理部（１４）は、前記少なくとも１つの特有の性質に基づいて、前記少なくとも１枚の画像（１５）が、前記画像表示手段（１３）にミラー反転方式で表示されるかどうかを自動的に決定するようになされることを特徴とするシステム。
14. コード・セクションがコンピュータ装置の内部メモリへロードされるときに、請求項１乃至１２のいずれかに記載の方法を実行するようになされるソフトウェア・コード・セクションを有するコンピュータ・プログラム・プロダクト。

Images