JP2011517879A - 少なくとも1台のカメラによって生成された画像を表示するための方法及びシステム - Google Patents

少なくとも1台のカメラによって生成された画像を表示するための方法及びシステム Download PDF

Info

Publication number
JP2011517879A
JP2011517879A JP2010550033A JP2010550033A JP2011517879A JP 2011517879 A JP2011517879 A JP 2011517879A JP 2010550033 A JP2010550033 A JP 2010550033A JP 2010550033 A JP2010550033 A JP 2010550033A JP 2011517879 A JP2011517879 A JP 2011517879A
Authority
JP
Japan
Prior art keywords
image
camera
analyzing
images
display means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010550033A
Other languages
English (en)
Other versions
JP5249359B2 (ja
Inventor
メイアー ペーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Metaio GmbH
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Publication of JP2011517879A publication Critical patent/JP2011517879A/ja
Application granted granted Critical
Publication of JP5249359B2 publication Critical patent/JP5249359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】少なくとも1台のカメラ(11)によって生成された画像を画像表示手段(13)に表示するための方法を提供する。
【解決手段】少なくとも1つの実物体(12)を撮像する前記カメラ(11)によって、少なくとも1枚の画像(15)を生成するステップと、前記画像(15)を前記画像表示手段(13)に表示するステップと、前記少なくとも1枚の画像及び/又は前記画像を生成するときの前記カメラの少なくとも1つの特有の性質を分析する(2.1A、2.1B、2.1C)ステップと、前記少なくとも1つの特有の性質に基づいて、前記少なくとも1枚の画像(15)が、前記画像表示手段(13)にミラー反転方式で表示されるかどうかを自動的に決定するステップとを具備する。
【選択図】図3



Description

本発明は、少なくとも1台のカメラによって生成された1枚の画像を1つの画像表示手段に表示するための方法及びシステムに関する。本発明に係る方法及びシステムでは、少なくとも1枚の画像が、少なくとも1つの実物体を撮像するカメラによって生成され、そして、画像を表示するために、画像表示手段がカメラに接続されている。
上記のシステムは、例えば、ビデオ会議の参加者が少なくとも1台のカメラによって撮像され、当該カメラは参加者及び周囲の状況の1枚の画像又は複数枚の画像を撮影し、撮影した前記1枚の画像又は複数枚の画像を会議の各相手に伝送するようなビデオ会議などの場で利用される。場合によっては、自分自身にとってどんな画像が相手に伝送されたかをチェックする可能性があるように、会議の相手に伝送された画像は、自分自身に向けて表示されるかもしれない。このような場合には、例えば、カメラが前方に設置され、そのカメラに撮像される人の動きの一つ一つが、反転された動き又は逆転された動きとして画像上に表示される場合に、自分自身に向けて表示された画像が直感で理解できないという問題は発生するかもしれない。例えば、カメラに撮像される人が右側に移動する場合に、そのカメラがその人の前に配置されたときに、その人が示された画像は、左側へのその人の移動を表示し、そして、相手にも伝送される。
例えば、『Volker Paelke, Christian Reimann,“Authoring von Augmented−Reality−Anwendungen”, Deutsche Gesellschaft fur Kartographische Schriften, Band 10: Aktuelle Entwicklungen in Geoinformation und Visualisirung, Beitrage des Seminars GEO VIS 2006,5.−6. April 2006, Potsdam, Seiten 37 bis 45』において、1台のカメラが少なくとも1つの実物体を撮像し、1枚の画像を1つの表示手段に表示するようになっているもう1つのアプリケーションは、記載されている。この文献は、いわゆる“マジック・ブック”のオーサリングと使用を記載している。このようなアプリケーションでは、カメラは人に読まれる一冊の本の写真を撮影し、その本は表示画面に表示され、そして、表示画面上のあらゆる種類の仮想オブジェクトとともに、表示画面に表示される本が拡張されるように、実世界の画像に加えて仮想オブジェクトが表示される場合がある。このようなアプリケーションでは、ビデオ会議について前述のように、同じ状況は発生する可能性があり、即ち、カメラが人及び本の前に設置されたときに、本の前に座っている人の動きの一つ一つが、反転された方式又は逆転された方式で表示画面に表示される。一方、本を読んでいる人がカメラに撮像されないとうに、カメラが本の写真を人の視野から撮影するという状況も発生する可能性がある。この状況では、本が右側に移動されたときに、例えば、本を示している画像も、右側へ本の動きを示し、従って、この状況では、カメラに撮像された実物体の反転された表示又は逆転された表示はない。
このいわゆる“ミラー・ビュー問題(mirror view problem)”は、例えば、『Dunser,A., Hornecker, E.:“Lessons from an AR book study”, in proceedings of the First International Conference on Tangible and Embedded Interaction (TEI2007), February 15−17, 2007, Baton Rouge, Louisiana, USA』という文献に記載された。このミラー・ビュー問題は、“このミラー・ビューは‘私は何処’という空間的な混乱を招く”。しかしながら、この文献は、この問題だけを説明しているが、この問題の解決法を提示していない。
このマジックブック(magic book)を記述するもう一つの文献は、『Grasset,R., Dunser,A., Seichter,H., Billinghurst,M.:“The Mixed Reality Book: A New Multimedia Reading Experience”, proceedings of CHI‘2007 Interactivity』である。この文献は、マジックブックの使用しか記述していない。この文献によっても、ミラー・ビュー問題に対処できない。
更に、『Hornecker,E., Dunser,A.:“Supporting Early Literacy with Augmented Books−Experiences with an Exploratory Study”, Proceedings of the German Society of Informatics annual conference GI−Jahrestagung 2007, GI−Edition−Lecture Notes in Informatics (LNI), Bonner Kollen Verlag(2007)』という文献は、.ウェブカメラが画面上の拡張された画像を作動し、ミラー反転されたため、繰り返して“空間的な混乱”を招いたことを記述した。二次試行のビデオ解析は、[DH107](これも前述した“Lessons from an AR book study”を参照)に報告された相互作用問題を確認した。フィジカル3D行動(physical 3D behaviour)を示すためにラケット上にARオブジェクトを期待した子供は、画面上の反転された画像によって混乱させられる。そこで、画面上のテキスト・シーケンスと、対話型シーケンスを切り替えることを学ぶことが必要である。
更に、従来技術として、「H.K.U.I.P Mark Billinghurst, The Magic Book: A Transitional AR interface, Computers and Graphics,25(5), 2001, pages 745−753」、「J.M.Und Doreen Darnell, The eyeMagic Book A Report into Augmented Reality Storytelling in the Context of a Childrens Workshop, 2003.」 「DE10128015A1、DE102004046144A1、DE20203367U1、DE10301849 B4、De 102005 011 126 A1」という文献に記載された、いわゆる拡張現実感技術(Augmented
Reality(AR)−technology)が知られている。
本発明の目的は、カメラによって生成された画像を画像表示手段に表示するための方法を提供することにある。本発明に係る方法は、前述の状況で当該画像の改善された直感的表示を当該画像表示手段に表示させることができる。
本発明の第1実施態様によれば、少なくとも1台のカメラによって生成された画像を画像表示手段に表示するための方法が開示された。本発明の第1実施態様に係る方法は、少なくとも1つの実物体を撮像するカメラによって、少なくとも1枚の画像を生成するステップと、前記画像を前記画像表示手段に表示するステップと、前記少なくとも1枚の画像及び/又は前記画像を生成するときの前記カメラの少なくとも1つの特有の性質を分析するステップと、前記少なくとも1つの特有の性質に基づいて、前記少なくとも1枚の画像が、前記画像表示手段にミラー反転方式で表示されるかどうかを自動的に決定するステップとを具備する。
本発明のもう1つの実施態様によれば、画像を表示するためのシステムが開示された。本発明のこのもう1つの実施態様に係るシステムは、少なくとも1つの実物体を撮像して少なくとも1枚の画像を生成する1台のカメラと、前記カメラに接続されており、前記カメラによって生成された前記画像を表示する画像表示手段と、前記カメラ及び前記画像表示手段に接続されており、前記少なくとも1枚の画像及び/又は前記画像を生成するときの前記カメラの少なくとも1つの特有の性質を分析し、前記画像を前記画像表示手段に表示する処理部とを備え、前記処理部は、前記少なくとも1つの特有の性質に基づいて、前記少なくとも1枚の画像が、前記画像表示手段にミラー反転方式で表示されるかどうかを自動的に決定するようになされた。
本発明の大きな効果は、本発明に係る方法及びシステムが、例えば、分析された、前記少なくとも1枚の画像及び/又は前記カメラが前記画像を生成するときの前記カメラの特有の性質などの特定の状況に基づいて、前記カメラによって撮像された前記少なくとも1枚の画像がミラー反転方式で表示されるかどうかを自動的に決定できるということである。したがって、例えば、ビデオ会議アプリケーション又はマジックブックアプリケーションなどの本明細書の最初の部分で述べた状況では、本発明に係る方法及びシステムは、前記カメラによって撮像された前記少なくとも1枚の画像の改善された直感的表示を自動的に提供することができる。そのため、ユーザは、もう、表示された画像をミラー反転させる又は反転させるかどうかを手動で決定することに、要請されない。
本発明の一実施例によれば、前記画像を生成するときの前記カメラの前記少なくとも1つの特有の性質を分析する前記ステップは、前記画像を生成するときの1つ以上のカメラ姿勢を分析することを包含する。換言すれば、1つ以上のカメラ姿勢を分析するときの結果に基づいて、前記画像が反転させられる、又は反転させられないことになる。例えば、1つ以上のカメラ姿勢を分析するステップは、前記カメラによって生成された複数の画像に関するカメラ姿勢履歴を分析し、特に、前記複数の画像に関する前記カメラ姿勢履歴をヒューリスティックスを用いて(即ち、推測によって(heuristically))、分析することを包含する。統計的方法を用いることによって、前記複数の画像に関する前記カメラ姿勢を分析することができ、そして、結果に基づいて、表示された前記画像が反転させられる、又は反転させられない。
特に、次の状況を区別することができる。第1の状況では、ユーザは1つの実物体を見ており、前記カメラも、前記ユーザと同じ視点又は前記ユーザとほぼ同じ視点から、前記実物体を観察している。例えば、前記ユーザは前記カメラを自分の手で持つ場合は、第1の状況に相当する。第2の状況では、前記カメラは、ユーザと比べて逆の視点から前記実物体を観察している。例えば、前記ユーザの前に前記カメラがある場合は、第2の状況に相当する。特に、第2の状況では、前記画像がミラー反転方式で表示される場合に、前記ユーザに向けて表示される前記画像はより直感的に理解できる。第1の状況では、このような事実はない。上述した実施例では、前記2つの状況において実物体に関する前記カメラの前記姿勢が、推測によって(heuristically)区別できるので、1つ以上のカメラ姿勢を分析することは、本発明のシステムがこれら2つの状況を区別できるようにしている。
前記少なくとも1枚の画像が、前記画像表示手段にミラー反転方式で表示されるかどうかを自動的に決定するもう一つの方法は、前記少なくとも1枚の画像の少なくとも1つの特有の性質を分析することであり、例えば、前記少なくとも1枚の画像の少なくとも1つの特性を分析することである。少なくとも1つの特性を分析するステップは、一人の人間の顔の少なくとも1つの特徴を求めるために、前記画像を検索し、分析することを包含することができる。一人の人間の顔の少なくとも1つの特徴が本発明のシステムによって検出された場合に、これは、ユーザと向かい合っている前記カメラを有する前記第2の状況が存在するという表れであるかもしれない。
前記少なくとも1枚の画像の少なくとも1つの特有の性質を分析するもう一つの方法は、好ましくは、少なくとも1つの画像領域の複数の順次画像を分析することを包含することができる。前記少なくとも1つの画像領域は、前記複数の画像の間で実質的に変化しない。本発明のシステムが前記複数の画像の間で実質的に変化しない1つの画像領域を検出しない場合に、これは、ユーザが前記カメラを自分の手で持っており、前記カメラがユーザによって移動されたときに、ほとんど全部の画像領域が移動するという表れであるかもしれない。つまり、これは、上述した第1の状況を示す。
本発明の更なる実施例及び有利な特徴は、従属請求項から明白である。
本発明に係るシステムの第1実施例の略図である。 本発明に係るシステムの第2実施例の略図である。 本発明の一実施例に係る分析処理の流れ説明図である。 本発明の一実施例に係る、図3に示された分析処理の一部の流れ説明図である。 本発明の一実施例に係る、図3に示された分析処理のほかの部分の流れ説明図である。 本発明のもう一つの実施例に係る、図3に示された分析処理のほかの部分の流れ説明図である。 複数の画像に関するカメラ姿勢の並進値の典型的な履歴を示す説明図である。 複数の画像に関するカメラ姿勢の並進値の典型的な履歴を示す説明図である。
以下、本発明の様々な実施例を説明する添付図面とともに、本発明をより詳細に説明する。
図1は、本発明に係るシステムの第1実施例の略図を示す。特に、図1は、実世界、例えば、図示された実物体12の少なくとも1枚の画像を生成するために、ユーザ10がカメラ11を自分の手で持つことになっているシステム1を示す。1つの特定例によれば、実物体12はユーザ10の前に置かれている一冊の本であり、カメラ11は本12の画像を撮像し、その画像は表示画面に表示される。図1に示されたように、本12は物体座標系16が与えられる。また、カメラ11は、例えばパーソナルコンピュータの表示画面又は同種のものなどの画像表示手段13に接続されている。しかしながら、ユーザに向けて画像を表示するのに適しているその他の画像表示手段、例えば、ヘッドマウンテッドディスプレイ(head mounted display)、又は、その他のタイプのモバイル又は固定式(stationary)表示装置などの装置は、画像表示手段13として用いることができる。更に、例えばパーソナルコンピュータ(PC)などの処理部14は、カメラ11及び画像表示手段13に、有線又は無線の方式で接続されている。
図1に示されたような状況(バージョンA)では、ユーザ10はカメラ11を自分の手で持っており、自分(当該ユーザ10)の前に置かれている実物体12を見ている。カメラ画像15、又は複数の画像15(例えば、画像のビデオフロー)は、ユーザ10の前に置かれている画像表示手段13に、表示される。本発明の1つの実施例によれば、画像15に拡張現実感技術(AR−technology)によって仮想オブジェクトを加えることで、画像15は拡張された。図1に示されたような状況では、ユーザ10はカメラ11を左に移動する場合に、カメラ11は左へ移動された位置から画像を撮像し、これは他の移動方向にも適用できる。1つ可能なアプリケーションによれば、ユーザ10は本12の画像又はビデオストリームを撮像しており、本12の画像15は、面白い仮想情報を加えることで拡張されて、画像表示手段13に表示される(上述したマジックブックアプリケーション)。
図2はもう1つの状況(バージョンB)を示す。図2において、システム1は、図1に関する説明と同じ構成要素を実質的に備える。ただし、図2のシステム1の配置は、図1のシステム1の配置と異なる。図2に示されたような状況では、カメラ11は、ユーザ10の反対側に配置されており、例えば、ユーザ10の前に、かつ、画像表示手段13(例えば、表示画面)の上に配置される。カメラ11を用いて、ユーザ10は、表示画面13に表示される自分の画像を撮像することができ、及び/又は、実物体12(例えば、ユーザ10の手に持っている一冊の本)の画像を撮像することができる。図1と同様に、実物体12は物体座標系16が与えられる。図2に示されたような状況では、ユーザ10は自分の手で本12をカメラ11の前に移動することが可能であり、カメラ11によって撮像された画像は、画像15として表示画面13に表示される。
図2に適用できるもう1つの状況はビデオ会議であり、ビデオ会議では、ユーザ10は、このビデオ会議の遠隔地の相手に対して、テクニカルオブジェクト12を示して説明する。
図2に示されたバージョンBの両方のアプリケーションにおいて、ユーザ10又は実物体12は1つの方向に移動し、表示画面13上の画像15はミラー反転方式で表示されない場合に、各移動は、逆転方式(かなり不自然な表示)で表示画面13に表示される。例えば、ユーザの頭又は物体12の右への移動は、左への移動として表示画面13に表示され、逆の場合も同じである。
本発明の特定の目標は、表示された画像がミラー反転方式で表示されるかどうかを自動的に決定するために、図1と図2の状況、即ち、バージョンAとバージョンBを自動的に区別することである。
図3は、本発明の一実施例に係る分析処理の流れ説明図を示す。ステップ1.0によれば、カメラ11は実物体12(例えば、一冊の本)の一枚の画像又は複数の画像を撮像する。撮像された画像は、本発明に係る処理を行うようになされた処理部14に伝送される。特に、処理部14(例えば、PC)は、コード・セクションがPC14の内部メモリへロードされるときに、本発明に係る処理を実行するようになされたソフトウェア・コード・セクション(software code sections)を有するコンピュータ・プログラム・プロダクト(a computer program product)を備える。例えば、ソフトウェア・コード・セクションはPCの内部メモリに格納されることができ、又は、ハードディスク・ドライブ又はその他の適切な記憶手段に格納されることができる。作動中に、プログラムはコンピュータの内部メモリへロードされる。カメラデータは、有線又は無線の方式でPC14に伝送されることができる。
ステップ1.5によれば、例えば、カメラで撮像された画像のミラー反転の手動起動のための表示画面13上の対応表示などの手段は、ユーザのために設けられることができる。
ステップ2.0によれば、画像がミラー反転方式で表示されるかどうかを決定するために、少なくとも1つの特有の性質が分析される。一般に、複数の画像の中の一枚画像のみ(例えば、カメラによって撮像された最新の画像)を分析することが可能であり、又は、複数の画像を分析することができる。
方法ステップ2.1A、2.1B及び2.1Cは、本発明の各実施例を示す。ステップ2.5に示されたように、これらの実施例は、それぞれ単独で行われることができ、又は、互いに組み合わせて行われることができる。例えば、表示される画像がミラー反転されるかどうかを決定する確率を得るために、ステップ2.1A、2.1B及び/又は2.1Cから得た結果は、(異なる重み付け係数を用いるかどうかに係らず、)重み付けられることができる。しかし、画像がミラー反転されるかどうかを決定するのに、ステップ2.1A、2.1B又は2.1Cの1つで十分である。更に、場合によっては、ステップ2.1A、2.1B及び/又は2.1Cからの中間結果又は計算を同じような方法で組み合わせるのは、適切である。
ステップ2.1Aによれば、画像を生成するときの1つ以上のカメラ姿勢が分析される。従来技術から、撮像された実物体に関連する各カメラ姿勢を決定するための様々なマーカに基づいたトラッキング方法又はマーカレストラッキング方法が知られている。また、従来技術から、いわゆるSLAM法(simultaneous localization and tracking method)が知られている。これら全ての方法は、実世界又は実世界の一部に関連するカメラの位置及び方位(姿勢)を決定するのに役に立つ。利用できる事前情報(pre-information)がない場合に、場合によっては、実世界又は実世界の一部に関連するカメラの絶対姿勢を決定するのは不可能であり、しかし、特定時点からのカメラ姿勢の変化だけである。
方法ステップ2.1Aは、撮像された実物体に関連するカメラの姿勢に関し、図1及び図2に示されたバージョンAとバージョンBが異なっており、推測によって(heuristically)区別できるという事実を利用する。換言すれば、バージョンAとバージョンBどちらが特定の現状(the particular current situation)であるのかを決定するのに、統計的方法を用いることができる。
図4は、本発明の一実施例に係る、図3にある方法ステップ2.1Aの流れ説明図を示す。ステップ2.1A1によれば、複数の画像に関するカメラ姿勢履歴が分析される。例えば、互いに関連し合うカメラ姿勢の動き(各カメラ姿勢は実物体12に関連する。)又は物体座標系16の動きが実質的に平面上にあるかについて、分析される。この方法ステップでは、複数の状況では、システムは、実物体(例えば、本12)が置かれているテーブルと組み合わせて使用されると考えられる。この場合は、本12はテーブルの上へ移動され、例えば、本は、任意の並進方向に移動され、又は、テーブルの上に回転される。この場合は、この状況において、図2に係るバージョンBが現状であることが当然と考えられるように、物体座標系16は、近似的に平面(テーブル面に定義された平面)の上に移動する。この場合は、表示画面13に表示される画像は、ミラー反転される又は反転される。
ステップ2.1A2について示されたもう1つの実施例によれば、複数の画像に関する各カメラ姿勢の並進値の履歴が分析される。これについて、図7及び図8は、複数の画像に関するカメラ姿勢のカメラ並進値の典型的な履歴を描く説明図を示す。縦方向に並進値が描かれるのに対して、横方向に画像の枚数が描かれる。図7に示された曲線は、バージョンAに係る状況を有する場合の並進値の曲線を描く。一方、図8に係る曲線は、バージョンBに係る状況を有する場合のカメラ並進値を示す。特に、図7に示された円の中に描かれている極値を分析すれば分かるように、バージョンA(図7)に示されたようなユーザ10がカメラ11を自分の手に持っている場合に、並進値の曲線は、より“不安定な”手の動きを示す。極値を有するかなり不安定な曲線は、ユーザがカメラを自分の手に持っていることが当然と考えられるように、ユーザ10の“震える”手の表れである。一方、図8に示されたかなりスムーズな曲線は、実物体が、固定されたカメラに関して、例えばテーブル面の上へ移動された状況を示す。従って、複数の画像に関するカメラ姿勢の並進値の極値及び/又は滑らかさを分析することによって、例えば、適切なフーリエ解析方法又は同種のものを用いることによって、バージョンA又はバージョンBが現状であることを決定することができる。
オプションであるかどうかに係らず、追加ステップ2.1A3では、絶対的なカメラ姿勢を決定することが可能であれば、更に、撮像される実物体に関連する少なくとも1つの絶対的なカメラ姿勢を分析することができる。特に、ユーザが本を自分の手で持っており、その本を読んでいる状況では、ユーザがその本を文字が読み易いようにユーザの方に向いている方式で持っていると考えられる。従って、文字に関連する本の物体座標系が既知の場合に、文字が読み易いようにカメラは本を観察するか、それとも、文字が読み易くないようにカメラは本を逆方向から観察するかを決定することができる。図2に示されたバージョンBを示す後者の場合は、表示される画像は、ミラー反転される、又は、反転される。
方法ステップ2.1A2及び2.1A3の結果を記憶し、評価することができ、更に、例えば、各結果にそれぞれポイント数を与えることによって重み付けを行うことができる。与えられたポイント数を合計することによって、現状はバージョンAに対応するか、それとも、バージョンBに対応するかを決定することができる。
図5は、図3に示された処理のほかの部分、特に方法ステップ2.1Bの実施例の流れ説明図を示す。方法ステップ2.1Bによれば、1枚以上の画像の少なくとも1つの特有の性質が分析され、ここで、画像又は複数の画像の少なくとも1つの特性が分析される。特に、人間の顔の特徴が検索され、ここで、画像における識別された人間の顔は、状況がバージョンBに対応するという表れである。人間の顔の少なくとも1つの特徴のために画像を分析するのに、いわゆるサポートベクターマシン(Support Vector Machines)を利用することができる。相対トラッキング(例えば、SLAM)の場合に、この実施例を用いることができる。
図6は、図3に示された方法ステップ2.1Cの実施例を説明する流れ説明図を示す。方法ステップ2.1Cでは、カメラに関する動きの種類と画像環境の構造が計算される。そのために、複数の画像の間で実質的に変化しない、少なくとも1つの画像領域のために、複数の順次画像が分析される。図1(バージョンA)に示された状況においてカメラが移動された場合に、カメラの移動中に複数の画像に関する、複数の画像領域のうちのいずれか1つが変化しないという確率は、かなり低い。しかし、図2に示されたようなカメラが固定される状況(バージョンB)において、実物体12だけが移動される場合に、少なくとも幾つかの画像シーケンスにおいて、変化しない少なくとも幾つかの画像領域が存在し、実世界の一部が変化しないことを示す。
この方法ステップの1つ特定の実施例において、方法ステップ2.1C1及び2.1C2によれば、2つの順次画像間の設定可能な複数の画像領域のオプティカルフロー(optical flow)が決定される。例えば、第1の画像(画像1)とその後の画像(画像2)の間の設定可能な複数の画像領域のオプティカルフローが計算され、ここで、可能なら、不均一なバックグランド(non-uniform backgrounds)が考慮される。従って、オプティカルフローを計算するときに、それぞれのフローベクター(flow vector)が決定され、ここで、所定の設定可能な最小値より低い長さを有するフローベクターの数が決定され、これは1つの変化しない画像部分を示す。1つ特定の画像部分は変化しないことが決定された場合に、表示される画像がミラー反転される又は反転されるように、現況はバージョンBに対応することを決定することができる。
2つの順次画像間のオプティカルフローを決定することの代わりに、又は、2つの順次画像間のオプティカルフローを決定することへの付加として、画像を差し引く(subtract)方法、例えば、いわゆるバックグラウンド・サブトラクション(background subtraction)を用いることもできる。
図3のステップ2.6によれば、適用できる場合に、ステップ2.5とも組み合わせて、ステップ2.1A、2.1B及び/又は2.1Cの任意の設定可能な合致する複数の結果を待つことが、変化(即ち、反転されていない画像から反転された画像への変化、逆の場合も同じである。)を転送する前に、ユーザによって設定されることができる。
オプションステップ3.0において、ユーザは、画像を反転させるかどうかを(例えば、表示画面上の個別のボタンをクリックすることによって)決定することができる。これは、ユーザを通してのシステムの反転させる又は反転させない決定の可能な確認を反映する。
本発明に係る方法及びシステムは、バージョンA又はバージョンBによるシステム構成が使用される状況において、例えば、ウェブカメラをカメラ11として使用する場合に、特に有利である。本発明は、システム構成がバージョンAとバージョンBの間にダイナミックに切り替えることができる状況において、特に有用であり、ここで、システムは、画像がミラー反転されるかどうかを自動的に決定することができる。本発明によれば、上述したような、面倒な手動切り替え操作によるこのようなアプリケーションの処理を中断する必要がない。
上記のように、典型的な実施例を参照して本発明を説明したが、本願発明が属する技術分野における通常の知識を有する者であれば、本発明による技術的な思想の範囲内でも、様々な変形及び修正を加え得ることは明白である。
1 システム
10 ユーザ
11 カメラ
12 実物体(本)
13 画像表示手段(表示画面)
14 処理部
15 画像
16 物体座標系

Claims (14)

  1. 少なくとも1台のカメラ(11)によって生成された画像を画像表示手段(13)に表示するための方法であって、
    少なくとも1つの実物体(12)を撮像する前記カメラ(11)によって、少なくとも1枚の画像(15)を生成するステップと、
    前記画像(15)を前記画像表示手段(13)に表示するステップと、
    前記少なくとも1枚の画像及び/又は前記画像を生成するときの前記カメラの少なくとも1つの特有の性質を分析する(2.1A、2.1B、2.1C)ステップと、
    前記少なくとも1つの特有の性質に基づいて、前記少なくとも1枚の画像(15)が、前記画像表示手段(13)にミラー反転方式で表示されるかどうかを自動的に決定するステップとを具備することを特徴とする方法。
  2. 前記画像を生成するときの前記カメラの前記少なくとも1つの特有の性質を分析する前記ステップは、前記画像を生成するときの1つ以上のカメラ姿勢を分析する(2.1A)ことを包含する請求項1に記載の方法。
  3. 1つ以上のカメラ姿勢を分析する前記ステップは、前記カメラによって生成された複数の画像に関するカメラ姿勢履歴を分析し(2.1A1、2.1A2、2.1A3)、特に、前記複数の画像に関する前記カメラ姿勢履歴を推測によって分析することを包含する請求項2に記載の方法。
  4. 前記カメラによって生成された複数の画像に関するカメラ姿勢履歴を分析する前記ステップは、複数の画像に関する各カメラ姿勢の並進値の履歴を分析し(2.1A2)、特に、前記並進値の極値及び/又は滑らかさを分析することを包含する請求項3に記載の方法。
  5. 1つ以上のカメラ姿勢を分析する前記ステップは、前記少なくとも1つの実物体(12)に関連する前記カメラ姿勢が近似的に平面上にあるかどうかを決定する(2.1A1)ことを包含する請求項2乃至4のいずれかに記載の方法。
  6. 1つ以上のカメラ姿勢を分析する前記ステップは、前記少なくとも1つの実物体(12)に関連する少なくとも1つの絶対的なカメラ姿勢を決定する(2.1A3)ことを包含する請求項2乃至5のいずれかに記載の方法。
  7. 前記少なくとも1枚の画像の前記少なくとも1つの特有の性質を分析する前記ステップは、前記少なくとも1枚の画像の少なくとも1つの特性を分析する(2.1B、2.1C)ことを包含する請求項1乃至6のいずれかに記載の方法。
  8. 前記少なくとも1枚の画像の前記少なくとも1つの特性を分析する前記ステップは、人間の顔の少なくとも1つの特徴のために、前記画像を検索して分析する(2.1B1、2.1B2)ことを包含する請求項7に記載の方法。
  9. 前記少なくとも1枚の画像の前記少なくとも1つの特有の性質を分析する前記ステップは、複数の画像の間で実質的に変化しない、少なくとも1つの画像領域のために、前記複数の画像を分析する(2.1C)ことを包含する請求項1乃至8のいずれかに記載の方法。
  10. 少なくとも1つの変化しない画像領域のために、複数の画像を分析する前記ステップは、
    2つの順次画像間の設定可能な複数の画像領域のオプティカルフローを決定する(2.1C1、2.1C2)ことを包含する請求項9に記載の方法。
  11. 2つの順次画像間のオプティカルフローを決定するのは、それぞれのフローベクターを決定する(2.1C2)こと、及び、所定の設定可能な最小値より低い長さを有するフローベクターの数を決定することを包含する請求項10に記載の方法。
  12. 前記少なくとも1枚の画像は、拡張現実感技術によって少なくとも1つの仮想オブジェクトを加えることで拡張される請求項1乃至11のいずれかに記載の方法。
  13. 画像を表示するためのシステム(1)であって、
    少なくとも1つの実物体(12)を撮像して少なくとも1枚の画像(15)を生成する1台のカメラ(11)と、
    前記カメラ(11)に接続されており、前記カメラによって生成された前記画像を表示する画像表示手段(13)と、
    前記カメラ(11)及び前記画像表示手段(13)に接続されており、前記少なくとも1枚の画像及び/又は前記画像を生成するときの前記カメラの少なくとも1つの特有の性質を分析し、前記画像を前記画像表示手段に表示する処理部(14)とを備え、
    前記処理部(14)は、前記少なくとも1つの特有の性質に基づいて、前記少なくとも1枚の画像(15)が、前記画像表示手段(13)にミラー反転方式で表示されるかどうかを自動的に決定するようになされることを特徴とするシステム。
  14. コード・セクションがコンピュータ装置の内部メモリへロードされるときに、請求項1乃至12のいずれかに記載の方法を実行するようになされるソフトウェア・コード・セクションを有するコンピュータ・プログラム・プロダクト。
JP2010550033A 2008-03-14 2008-03-14 少なくとも1台のカメラによって生成された画像を表示するための方法及びシステム Active JP5249359B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2008/002058 WO2009112057A1 (en) 2008-03-14 2008-03-14 Method and system for displaying an image generated by at least one camera

Publications (2)

Publication Number Publication Date
JP2011517879A true JP2011517879A (ja) 2011-06-16
JP5249359B2 JP5249359B2 (ja) 2013-07-31

Family

ID=39930603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010550033A Active JP5249359B2 (ja) 2008-03-14 2008-03-14 少なくとも1台のカメラによって生成された画像を表示するための方法及びシステム

Country Status (4)

Country Link
US (1) US8659613B2 (ja)
EP (1) EP2255524B1 (ja)
JP (1) JP5249359B2 (ja)
WO (1) WO2009112057A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2539883A1 (en) 2010-02-24 2013-01-02 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
EP2512141B1 (en) * 2011-04-15 2019-07-17 Sony Interactive Entertainment Europe Limited System and method of user interaction in augmented reality
US9035970B2 (en) 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
US9105210B2 (en) * 2012-06-29 2015-08-11 Microsoft Technology Licensing, Llc Multi-node poster location
JP6448223B2 (ja) * 2014-06-12 2019-01-09 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
US9746913B2 (en) 2014-10-31 2017-08-29 The United States Of America As Represented By The Secretary Of The Navy Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
US10142596B2 (en) 2015-02-27 2018-11-27 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus of secured interactive remote maintenance assist
US11546385B1 (en) * 2020-12-31 2023-01-03 Benjamin Slotznick Method and apparatus for self-selection by participant to display a mirrored or unmirrored video feed of the participant in a videoconferencing platform
US11330021B1 (en) 2020-12-31 2022-05-10 Benjamin Slotznick System and method of mirroring a display of multiple video feeds in videoconferencing systems
US11621979B1 (en) 2020-12-31 2023-04-04 Benjamin Slotznick Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154692A (ja) * 1993-12-01 1995-06-16 Sharp Corp モニタ画面一体型ビデオカメラ
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
WO2007147449A1 (en) * 2006-06-21 2007-12-27 Sony Ericsson Mobile Communications Ab Device and method for adjusting image orientation
JP2008053925A (ja) * 2006-08-23 2008-03-06 Nikon Corp 撮影装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2105936B1 (es) * 1994-03-21 1998-06-01 I D Tec S L Perfeccionamientos introducidos en la patente de invencion n. p-9400595/8 por: procedimiento biometrico de seguridad y autentificacion de tarjetas de identidad y de credito, visados, pasaportes y reconocimiento facial.
KR970064171A (ko) * 1996-02-28 1997-09-12 이대원 영상 반전 장치
US7328119B1 (en) * 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
DE10127396A1 (de) 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
DE20203367U1 (de) 2002-03-04 2003-05-08 Audi Ag, 85057 Ingolstadt Frühzeitige Visualisierung von Designideen im Ton-/Designmodell
JP2004056383A (ja) * 2002-07-18 2004-02-19 Fujitsu Ltd 携帯型電子機器および撮像装置
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
DE10301849B4 (de) 2003-01-20 2007-03-01 Metaio Gmbh System und Verfahren zur statischen Einblendung von virtuellen Objekten in reale Umgebungen
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7982751B2 (en) * 2003-07-11 2011-07-19 The University Of North Carolina Methods and systems for controlling a computer using a video image and for combining the video image with a computer desktop
KR20050033167A (ko) 2003-10-06 2005-04-12 삼성전자주식회사 180°회전 복사기능이 구비된 복사장치 및 180°회전복사방법
GB2411532B (en) 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
DE102004046144A1 (de) 2004-09-23 2006-03-30 Volkswagen Ag Verfahren und System zum Planen einer Produktionsumgebung
DE102005011126A1 (de) 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
JP5055939B2 (ja) * 2006-10-12 2012-10-24 株式会社ニコン デジタルカメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07154692A (ja) * 1993-12-01 1995-06-16 Sharp Corp モニタ画面一体型ビデオカメラ
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
WO2007147449A1 (en) * 2006-06-21 2007-12-27 Sony Ericsson Mobile Communications Ab Device and method for adjusting image orientation
JP2008053925A (ja) * 2006-08-23 2008-03-06 Nikon Corp 撮影装置

Also Published As

Publication number Publication date
JP5249359B2 (ja) 2013-07-31
EP2255524A1 (en) 2010-12-01
WO2009112057A1 (en) 2009-09-17
US8659613B2 (en) 2014-02-25
EP2255524B1 (en) 2019-05-08
US20110001760A1 (en) 2011-01-06

Similar Documents

Publication Publication Date Title
JP5249359B2 (ja) 少なくとも1台のカメラによって生成された画像を表示するための方法及びシステム
CN111556278B (zh) 一种视频处理的方法、视频展示的方法、装置及存储介质
US7215322B2 (en) Input devices for augmented reality applications
US8379098B2 (en) Real time video process control using gestures
US7946921B2 (en) Camera based orientation for mobile devices
Henrysson et al. Experiments in 3D interaction for mobile phone AR
WO2018142756A1 (ja) 情報処理装置及び情報処理方法
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
JP2013069224A (ja) 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
US20210248788A1 (en) Virtual and real composite image data generation method, virtual and real images compositing system, trained model generation method, virtual and real composite image data generation device
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
CN103336576A (zh) 一种基于眼动追踪进行浏览器操作的方法及装置
JP2005250950A (ja) マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
JP6730461B2 (ja) 情報処理システム及び情報処理装置
Ye et al. Vishap: Augmented reality combining haptics and vision
WO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
Drab et al. Motion Detection as Interaction Technique for Games & Applications on Mobile Devices.
CN113269781A (zh) 数据生成方法、装置及电子设备
Cho et al. RealityReplay: Detecting and Replaying Temporal Changes In Situ Using Mixed Reality
US20170329748A1 (en) Method and system for editing hyperlink in a three-dimensional scene
Lo et al. From off-site to on-site: A Flexible Framework for XR Prototyping in Sports Spectating
CN111625101B (zh) 一种展示控制方法及装置
Ohya et al. Analyzing Video Sequences of Multiple Humans: Tracking, Posture Estimation, and Behavior Recognition
JP4478047B2 (ja) 情報提示装置及び情報提示方法とそのプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130411

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5249359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250