JP2004287902A

JP2004287902A - 複合現実感画像提示装置

Info

Publication number: JP2004287902A
Application number: JP2003079759A
Authority: JP
Inventors: Kazutoshi Kobayashi; 一利小林
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-03-24
Filing date: 2003-03-24
Publication date: 2004-10-14

Abstract

【課題】観察者に高臨場感を提供することができる複合現実感画像提示装置を提供すること。
【解決手段】現実画像と、仮想画像とを合成して観察者に複合現実感画像を提示する複合現実感画像提示装置であって、現実画像を取り込むための現実画像取込部１１，１３と、取り込んだ現実画像に基づいて複数のレイヤー画像を生成するレイヤー生成部１４と、生成された複数のレイヤー画像から選択されたレイヤー画像と、仮想画像とを合成して合成画像を生成する画像合成部１５と、生成された合成画像を複合現実感画像として観察者に表示する複合現実感画像表示部２２−１，２２−２とを具備する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、複合現実感画像提示装置に関するものである。
【０００２】
【従来の技術】
近年、観察者が直接観察する現実画像あるいは観察者の直近で撮影された映像に、コンピュータによって生成された仮想画像とを重畳、合成した複合現実感画像を観察者に提供する、いわゆる複合現実感（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）と呼ばれる技術が提案され、ゲームやアトラクション等に利用されつつある。また、飛行場や工場建設などの建設現場において、建設予定地での、より現実に近いシミュレーションやその工事の進行状況の確認等への応用も検討されている。
【０００３】
複合現実感の概要については、映像情報メディア学会誌のＶＯＬ．５２，Ｎｏ．３，ｐｐ．２６６−２７２（１９９８）に記載されている。
【０００４】
また、特開２００２−１６３６７０号公報には、上記した複合現実感画像提示装置の一例が示されており、色調や明るさの変化が大きい現実空間に仮想空間画像を重畳して複合現実感を提示する複合現実感提示装置及びその制御方法が開示されている。
【０００５】
【特許文献１】
特開２００２−１６３６７０号公報
【０００６】
【非特許文献１】
映像情報メディア学会誌、ＶＯＬ．５２，Ｎｏ．３，ｐｐ．２６６−２７２（１９９８）
【０００７】
【発明が解決しようとする課題】
上記した特開２００２−１６３６７０号公報を含む従来の複合現実感画像提示装置では、現実画像取込部としてのＣＣＤカメラ等で撮影した現実画像に対して何らかの処理は行われず、取り込んだ状態の現実画像と、色合い、明るさ等が調整された仮想画像としてのＣＧ画像とが合成されて合成画像が生成されるものであり、観察者に対して高臨場感を感じさせることを目的としたものではなかった。
【０００８】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、観察者に高臨場感を感じさせることができる複合現実感画像提示装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明に係る複合現実感画像提示装置は、現実画像と、仮想画像とを合成して観察者に複合現実感画像を提示する複合現実感画像提示装置であって、現実画像を取り込むための現実画像取込部と、前記現実画像取込部により取り込んだ現実画像に基づいてレイヤー画像を生成するレイヤー画像生成部と、前記レイヤー画像生成部で生成されたレイヤー画像と、前記仮想画像とを合成して合成画像を生成する画像合成部と、前記画像合成部で生成された合成画像を複合現実感画像として観察者に提示する画像提示部とを具備する。
【００１０】
また、第２の発明は、第１の発明に係る複合現実感画像提示装置において、前記現実画像取込部は複数であり、それぞれの現実画像取込部で取り込んだ現実画像に基づいて視差を検出する視差検出部を有する。
【００１１】
また、第３の発明は、第２の発明に係る複合現実感画像提示装置において、前記レイヤー画像生成部は、前記視差検出部で検出した視差に基づいて新たな視差をもつレイヤー画像を生成し、前記画像合成部は、このレイヤー画像と前記仮想画像とを合成する。
【００１２】
また、第４の発明は、第３の発明に係る複合現実感画像提示装置において、前記画像合成部は、前記現実画像の特定領域についてのみ前記新たな視差を持つレイヤー画像を用い、前記特定領域以外の領域については前記視差検出部で検出した視差を持つレイヤー画像を用いて前記仮想画像との合成を行う。
【００１３】
また、第５の発明は、第３の発明に係る複合現実感画像提示装置において、前記新たな視差を持つレイヤー画像を生成するにあたって、当該視差の量を制限する視差制限手段をさらに具備する。
【００１４】
また、第６の発明は、第１または第３の発明に係る複合現実感画像提示装置において、観察者の視点位置を検出する視点位置検出部と、観察者の視点姿勢を検出する視点姿勢検出部をさらに具備し、前記レイヤー画像生成部は、前記視点位置検出部で検出された視点位置と、前記視点姿勢検出部で検出された視点姿勢と、外部からの指示に基づいて、前記レイヤー画像を生成するタイミング、前記レイヤー画像の範囲、配置、コントラスト及び色調を含む条件を決定する。
【００１５】
また、第７の発明は、第６の発明に係る複合現実感画像提示装置において、緊急事態が発生した場合、または、前記視点位置検出部で検出された視点位置と、前記視点姿勢検出部で検出された視点姿勢とが所定の制御範囲を超えた場合に、前記画像合成部は、前記レイヤー画像と前記現実画像との合成処理を中止し、前記現実画像のみを前記画像提示部に送る。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本発明の一実施形態に係る複合現実感画像提示装置の機能ブロック図である。図１において、現実画像取込部（Ｒ）１１及び（Ｌ）１３は、現実空間１０における被写体を撮像して現実画像を取り込む部分であり、撮像素子としてのＣＣＤカメラと、このＣＣＤカメラにより撮像して得られた撮像画像データに所定の信号処理を施す信号処理部と、信号処理がなされた撮像画像データを記憶するメモリとを含む。現実画像取込部（Ｒ）１１は、観察者の右目に提示するための撮像画像データを取得する部分である。現実画像取込部（Ｌ）１３は、観察者の左目に提示するための撮像画像データを取得する部分である。
【００１７】
視差検出部１２は、現実画像取込部（Ｒ）１１からの撮影画像データと、現実画像取込部（Ｌ）１３からの撮影画像データとに基づいて撮影者の左右の目に関する視差を検出する部分である。また、本発明の特徴となるレイヤー生成部１４は、現実画像取込部（Ｒ）１１からの撮影画像データと、現実画像取込部（Ｌ）１３からの撮影画像データとに基づいて複数のレイヤー画像（画像層）を生成する。レイヤー画像の具体例については後述する。
【００１８】
視点位置検出部１８は、観察者の視点位置を検出する部分である。視点姿勢検出部１９は、観察者の視点姿勢を検出する部分である。ウェブ端末２０は、インターネットから所望の仮想画像データを取得する部分である。仮想画像記憶部２１は、仮想画像データを記憶する部分であり、例えばＰＣ（パーソナルコンピュータ）のもつハードディスクにより実現される。仮想画像の具体例については後述する。
【００１９】
仮想画像生成部１７は、仮想画像記憶部２１に記憶されている仮想画像かあるいはウェブ端末２０からの仮想画像データと、視点位置検出部１８からの視点位置データと、視点姿勢検出部１９からの視点姿勢データとに基づいて仮想空間における仮想画像データを生成する部分である。画像合成部１５は、レイヤ−生成部１４からのレイヤー画像と、仮想画像生成部１７からの仮想画像データとに基づいて合成画像を生成する。画像提示部としての複合現実感画像表示部（Ｒ）２２−１、（Ｌ）２２−２は、画像合成部１５からの合成画像を複合現実感画像として、観察者２５の左右の目に提示する。視差制限手段としての視差リミッター１６は、現実画像のレイヤー画像から任意の新しい視差をもつレイヤー画像を生成するにあたって視差の量を制限する手段である。コントローラ２４は、上記した各部に対してその動作についての種々の指示を与える部分である。
【００２０】
なお、レイヤー生成部１４は、視差検出部１２で検出した視差に基づいて新たな視差をもつレイヤー画像を生成することができる。そして画像合成部１５は、現実画像の特定領域についてのみ前記新たな視差をもつレイヤー画像を用い、前記特定領域以外の領域については視差検出部１２で検出した視差を持つレイヤー画像を用いて仮想画像との合成を行うことが考えられる。
【００２１】
また、レイヤー生成部１４は、視点位置検出部１８で検出された視点位置と、視点姿勢検出部１９で検出された視点姿勢と、外部のコントローラ２４からの指示に基づいて、レイヤー画像を生成するタイミング、レイヤー画像の範囲、配置、コントラスト及び色調を含む条件を決定することが考えられる。
【００２２】
図２は、本実施形態の複合現実感画像提示装置を具体的なシステム構成に適用した一例を示す図である。ここでは、図１の現実画像取込部（Ｒ）１１，（Ｌ）１３はそれぞれＣＣＤカメラ（Ｒ）１１１−１，（Ｌ）１１１−２として実現される。視点位置検出部１８はＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）１１８として実現される。視点姿勢検出部１９はＨＭＳ（ＨｅａｄＭｏｔｉｏｎＳｅｎｓｏｒ）１１９として実現される。複合現実感画像表示部（Ｒ）２２−１，（Ｌ）２２−２は、例えばビデオシースルー方式のＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）１２２として実現される。コントローラ２４は観察者により操作可能な操作手段であるコントローラ１２４により実現される。
【００２３】
また、図１の仮想画像記憶部２１は、コントローラ１２４に接続されたＰＣ１５０内のハードディスクにより実現されるが、ウェブ端末２０によりインターネットから無線回線等を介して入手することもできる。
【００２４】
観察者は、コントローラ１２４を操作して、仮想画像データをウェブ端末２０または仮想画像記憶部２１から引き出したり、複数のレイヤー画像から特定のレイヤー画像を選択することができる。
【００２５】
なお、上記したＧＰＳ１１８及びコントローラ１２４の機能をＰＣ１５０により実現することも可能である。
【００２６】
図３は、本実施形態に係る複合現実感画像提示装置の作用を説明するためのフローチャートである。まず仮想画像データを仮想画像記憶部２１からかあるいはウェブ端末２０から引き出すのかをコントローラ２４からの指示に基づいて決定する（ステップＳ１）。次に、視点位置検出部１８（ＧＰＳ１１８）で検出された、観察者の視点位置データを仮想画像生成部１７に転送する（ステップＳ２）。次に、視点姿勢検出部１９（ＨＭＳ１１９）で検出された観察者の視点姿勢データを仮想画像生成部１７に転送する（ステップＳ３）。
【００２７】
次に、仮想画像生成部１７において、視点位置、姿勢位置及びコントローラ２４からの指示に基づいて仮想画像を生成する（ステップＳ４）。コントローラ２４からの指示の具体例については後述する。次に、現実画像データを現実画像取込部（Ｒ）１１、（Ｌ）１３から視差検出部１２に転送して視差を検出する（ステップＳ５）。次に、レイヤー生成部１４において、現実画像取込部（Ｒ）１１、（Ｌ）１３から送られてきた現実画像データと、視差検出部１２からの視差情報に基づいて所定のレイヤー画像を生成する（ステップＳ６）。具体的には、予め記憶された現実画像データを読み出して既知の画像処理を施すことにより複数種類のレイヤー画像を生成する。レイヤー画像の具体例については後述する。
【００２８】
次に、現実画像データから生成された複数のレイヤー画像から目的に応じて選択されたレイヤー画像と、仮想画像生成部１７で生成された仮想画像データとを画像合成部１５に転送して合成、重畳に係る処理を行い、合成画像を生成する（ステップＳ７）。
【００２９】
次に、生成した合成画像を複合現実感画像表示部（Ｒ）２２−１，（Ｌ）２２−２に転送して表示し（ステップＳ８）、観察者２５の左右の目に提示する。次に、画面表示を継続するかどうかをコントローラ１２４からの指示に従って判断し（ステップＳ９）、画面表示を継続する場合にはステップＳ１に戻って上記の処理を反復し、ステップＳ９で画面表示を終了すると判断されたときに処理を終了する。
【００３０】
図４は、本実施形態に係る複合現実感画像提示装置の他の作用を説明するためのフローチャートである。ここでは画像表示を行っているときに何らかの緊急事態が発生した場合を想定して説明する。
【００３１】
まず仮想画像データを仮想画像記憶部２１からかあるいはウェブ端末２０から引き出すのかをコントローラ２４からの指示に基づいて決定する（ステップＳ２０）。次に、コントローラ２４からの緊急を知らせる指示があったかどうかを判断し（ステップＳ２１）、緊急の指示であった場合には、緊急事態であることを観察者に認識させるために現実画像のみを表示（ステップＳ３１）するとともに、所定の警告を重畳表示して（ステップＳ３２）処理を終了する。
【００３２】
また、ステップＳ２１で緊急の指示ではないと判断された場合には、次に、視点位置検出部１８（ＧＰＳ１１８）で検出された、観察者の視点位置データを仮想画像生成部１７に転送する（ステップＳ２２）。次に、視点姿勢検出部１９（ＨＭＳ１１９）で検出された観察者の視点姿勢データを仮想画像生成部１７に転送する（ステップＳ２３）。
【００３３】
次に、観察者の視点位置データと視点姿勢データとに基づいて、コントローラ２４により制御可能な範囲を超えたかどうかを判断し（ステップＳ２４）、超えた場合には上記したステップＳ３１、Ｓ３２を実行して処理を終了する。
【００３４】
また、ステップＳ２４において、制御可能な範囲を超えていないと判断された場合には、次に、仮想画像生成部１７において、視点位置、姿勢位置及びコントローラ２４からの指示に基づいて仮想画像を生成する（ステップＳ２５）。次に、現実画像データを現実画像取込部（Ｒ）１１、（Ｌ）１３から視差検出部１２に転送して視差を検出する（ステップＳ２６）。次に、レイヤー生成部１４において、現実画像取込部（Ｒ）１１、（Ｌ）１３から送られてきた現実画像データと、視差検出部１２からの視差情報に基づいて所定のレイヤー画像を生成する（ステップＳ２７）。具体的には、予め記憶された現実画像データを読み出して既知の画像処理を施すことにより複数種類のレイヤー画像を生成する。レイヤー画像の具体例については後述する。
【００３５】
次に、現実画像データから生成された複数のレイヤー画像から目的に応じて選択されたレイヤー画像と、仮想画像生成部１７で生成された仮想画像データとを画像合成部１５に転送して合成、重畳に係る処理を行い、合成画像を生成する（ステップＳ２８）。次に、生成した合成画像を複合現実感画像表示部（Ｒ）２２−１，（Ｌ）２２−２に転送して表示し（ステップＳ２９）、観察者２５の左右の目に提示する。次に、画面表示を継続するかどうかをコントローラ１２４からの指示に従って判断し（ステップＳ３０）、画面表示を継続する場合にはステップＳ２０に戻って上記の処理を反復し、ステップＳ３０で画面表示を終了すると判断された場合には処理を終了する。
【００３６】
図５は、レイヤー生成部１４におけるレイヤー画像生成の具体例を説明するための図であり、ステージ３００上で人物Ａ，Ｂがショーを行っており、観客３０１がこれを見ている状況を示している。図５において、Ｃで示す部分以外の部分の画像を現実画像取込部（Ｒ）１１、（Ｌ）１３から取り込まれた現実画像３０２とする。従来は、この現実画像３０２に対して何ら処理を行うことなしに人物Ｃを表す仮想画像３０３と合成していたが、本発明に係るレイヤー生成部１４は、検出した視点位置、姿勢位置及びコントローラ２４からの指示に基づいて、例えば以下のレイヤー画像を生成することができる。コントローラ２４からの指示の具体例としては、コントローラ２４が特定の音声を検出したり、または現実画像に挿入された特定のランドマーク（目印）や画像を検出した場合にレイヤー画像生成の指示を出すことなどが挙げられる。生成されるレイヤー画像が以下のものに限定されないことは勿論である。
【００３７】
１．図５に示す現実画像３０２からＢの部分を消去したレイヤー画像
２．図５に示す現実画像３０２において、Ｂの部分にスポットライトを当てた効果を出したレイヤー画像
３．図５に示す現実画像３０２において、Ｂの部分について立体感を強調したレイヤー画像
レイヤー生成部１４は、これらのレイヤー画像から選択した任意のレイヤー画像と、仮想画像３０３とを合成した画像を生成して観察者の目に提示することにより、観察者に対して高臨場感を感じさせることができる。また、状況に応じたレイヤー画像を仮想画像と合成することにより、種々のアトラクション及びステージ３００でのショー等の舞台照明、舞台装置等に関して省スペース、低価格、製作日数の短縮を実現することができ、より情報量の多い複合現実感画像を提供することができる。
【００３８】
図６は、本発明をテーマパークでのアトラクションに適用した具体例を示している。ジェットコースター４０２に乗っている観察者４０１は本発明による複合現実感画像提示装置４００を着用することにより種々のアトラクションを楽しむことができる。
【００３９】
図７（Ａ）、（Ｂ）は、本発明を都市計画シミュレーションに適用した具体例を示している。ここでは、現実画像取込部（Ｒ）１１、（Ｌ）１３から取り込まれた画像を現実画像５００とする。この現実画像５００はある都市の通りを示しているが、このような現実画像５００のＡで示す部分に、図７（Ｂ）に示すような建造物を建設することが予定されている場合を考える。この場合、従来は、予め生成された仮想画像５０１を図７（Ａ）のＡで示す部分に挿入することで建設後の状況を把握していたが、本発明では現実画像５００をそのまま合成するのでなく、現実画像５００に基づいて次のようなレイヤー画像を生成し、仮想画像５０１と合成して提示することにより、観察者に高臨場感を感じさせることを意図している。
【００４０】
１．現実画像５００のＡで示す部分（仮想画像５０１が挿入される部分）のみ、色調やコントラストを変更したレイヤー画像または白黒にしたレイヤー画像を生成する。これを、建設が予定されている建造物である仮想画像５０１と合成、表示して観察者に提示すれば、観察者は現在の町並みと建設後の町並みとの相異を確認することができる。
【００４１】
２．現実画像５００から、昼間の明るさ、夜の情景のレイヤー画像を生成し、これと仮想画像５０１とを合成、表示して観察者に提示すれば、観察者は町並みの雰囲気が昼間と夜間とでどのように相異するかを確認することができる。
【００４２】
【発明の効果】
本発明によれば、観察者に高臨場感を感じさせることができる複合現実感画像提示装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る複合現実感画像提示装置の機能ブロック図である。
【図２】本実施形態の複合現実感画像提示装置を具体的なシステム構成に適用した一例を示す図である。
【図３】本実施形態に係る複合現実感画像提示装置の作用を説明するためのフローチャートである。
【図４】本実施形態に係る複合現実感画像提示装置の他の作用を説明するためのフローチャートである。
【図５】レイヤー生成部１４におけるレイヤー画像生成の具体例を説明するための図である。
【図６】本発明をテーマパークでのアトラクションに適用した具体例を示す図である。
【図７】本発明を都市計画シミュレーションに適用した具体例を示す図である。
【符号の説明】
１０…現実空間、１１…現実画像取込部（Ｒ）、１２…視差検出部、１３…現実画像取込部（Ｌ）、１４…レイヤー生成部、１５…画像合成部、１６…視差リミッター、１７…仮想画像生成部、１８…視点位置検出部、１９…視点姿勢検出部、２０…ウェブ端末、２１…仮想画像記憶部、２２−１…複合現実感画像表示部（Ｒ）、２２−２…複合現実感画像表示部（Ｌ）、２４…コントローラ、２５…観察者。

Claims

現実画像と、仮想画像とを合成して観察者に複合現実感画像を提示する複合現実感画像提示装置であって、
現実画像を取り込むための現実画像取込部と、
前記現実画像取込部により取り込んだ現実画像に基づいてレイヤー画像を生成するレイヤー画像生成部と、
前記レイヤー画像生成部で生成されたレイヤー画像と、前記仮想画像とを合成して合成画像を生成する画像合成部と、
前記画像合成部で生成された合成画像を複合現実感画像として観察者に提示する画像提示部と、を具備することを複合現実感画像提示装置。
前記現実画像取込部は複数であり、それぞれの現実画像取込部で取り込んだ現実画像に基づいて視差を検出する視差検出部を有することを特徴とする請求項１記載の複合現実感画像提示装置。
前記レイヤー画像生成部は、前記視差検出部で検出した視差に基づいて新たな視差をもつレイヤー画像を生成し、前記画像合成部は、このレイヤー画像と前記仮想画像とを合成することを特徴とする請求項２記載の複合現実感画像提示装置。
前記画像合成部は、前記現実画像の特定領域についてのみ前記新たな視差を持つレイヤー画像を用い、前記特定領域以外の領域については前記視差検出部で検出した視差を持つレイヤー画像を用いて前記仮想画像との合成を行うことを特徴とする請求項３記載の複合現実感画像提示装置。
前記新たな視差を持つレイヤー画像を生成するにあたって、当該視差の量を制限する視差制限手段をさらに具備することを特徴とする請求項３記載の複合現実感画像提示装置。
観察者の視点位置を検出する視点位置検出部と、観察者の視点姿勢を検出する視点姿勢検出部をさらに具備し、前記レイヤー画像生成部は、前記視点位置検出部で検出された視点位置と、前記視点姿勢検出部で検出された視点姿勢と、外部からの指示に基づいて、前記レイヤー画像を生成するタイミング、前記レイヤー画像の範囲、配置、コントラスト及び色調を含む条件を決定することを特徴とする請求項１または３記載の複合現実感画像提示装置。
緊急事態が発生した場合、または、前記視点位置検出部で検出された視点位置と、前記視点姿勢検出部で検出された視点姿勢とが所定の制御範囲を超えた場合に、前記画像合成部は、前記レイヤー画像と前記現実画像との合成処理を中止し、前記現実画像のみを前記画像提示部に送ることを特徴とする請求項６記載の複合現実感画像提示装置。