JP2009301350A - Virtual image display system and virtual image display method - Google Patents
Virtual image display system and virtual image display method Download PDFInfo
- Publication number
- JP2009301350A JP2009301350A JP2008155637A JP2008155637A JP2009301350A JP 2009301350 A JP2009301350 A JP 2009301350A JP 2008155637 A JP2008155637 A JP 2008155637A JP 2008155637 A JP2008155637 A JP 2008155637A JP 2009301350 A JP2009301350 A JP 2009301350A
- Authority
- JP
- Japan
- Prior art keywords
- video
- virtual
- viewpoint
- virtual video
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 12
- 238000006073 displacement reaction Methods 0.000 claims abstract description 61
- 238000003384 imaging method Methods 0.000 claims description 114
- 239000003550 marker Substances 0.000 abstract description 10
- 230000003190 augmentative effect Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、撮像部により撮影された実映像に対応して仮想映像を生成し、当該仮想映像をスクリーンに表示する仮想映像表示システム及び仮想映像表示方法に関する。 The present invention relates to a virtual video display system and a virtual video display method for generating a virtual video corresponding to a real video shot by an imaging unit and displaying the virtual video on a screen.
ビデオカメラ等の撮像装置で撮影した映像に、コンピュータ等の仮想映像生成装置で生成した仮想映像を合成してヘッドマウントディスプレイ(Head Mounted Display)等の表示装置に表示する仮想映像表示システムが提案されている。このような技術は、複合現実感(Mixed Reality)や拡張現実感(Augmented Reality)と呼ばれる。 A virtual video display system has been proposed in which a video captured by an imaging device such as a video camera is combined with a virtual video generated by a virtual video generation device such as a computer and displayed on a display device such as a head mounted display. ing. Such a technique is called mixed reality or augmented reality.
仮想映像表示システムでは、撮像装置により撮影された映像に映し出される実在のオブジェクトと、仮想映像生成装置により生成された仮想映像は、多くの場合、従属的な位置関係を有している。当該仮想映像は、当該実在のオブジェクトに対して密接な位置関係で合成され、表示装置に表示される。 In a virtual video display system, an actual object displayed on a video shot by an imaging device and a virtual video generated by a virtual video generation device often have a subordinate positional relationship. The virtual video is synthesized with a close positional relationship with the real object and displayed on the display device.
特許文献1には、このような仮想映像表示システムとして、既知の位置に配置された第1の複数のマーカを有する作業台と、作業者の頭部姿勢を検出するために作業者に装着される姿勢センサと、前記第1の複数のマーカのうちの少なくとも1つが視野に入るように設定されたカメラと、前記カメラからの画像信号を処理して、前記第1の複数のマーカの中の任意のマーカを追跡し、この追跡マーカの座標値を検出する検出手段と、前記検出手段によって得られた前記追跡マーカの座標値と前記位置姿勢センサからの頭部位置姿勢信号とに基づいて、前記作業者の視点の位置姿勢を表す視点の位置姿勢信号を演算する演算手段と、前記視点の位置姿勢信号に応じた視点位置に、複合現実感を提示するための仮想画像を生成する生成手段とを具備することを特徴とする複合現実感提示装置が開示されている。
In
特許文献1に開示された複合現実感提示装置では、演算手段により求められた位置姿勢信号に応じた作業台上の作業者の視点位置に、生成手段により仮想画像が生成される。
特許文献1に開示された複合現実感提示装置を用いるには、カメラで撮影する作業台などの実在のオブジェクトにマーカを備え、作業者に姿勢センサを備えることが必要になる。しかし、実在のオブジェクトと仮想映像が従属的な位置関係を有さないとき、換言すると、当該オブジェクトと仮想映像の位置関係に厳しい拘束が要求されないとき、当該マーカや当該姿勢センサは不要である。
In order to use the mixed reality presentation device disclosed in
実在のオブジェクトに仮想映像を密接な位置関係で合成して表示する必要がなく、当該オブジェクトの少なくとも所定の範囲内の位置に仮想映像が表示されればよいときには、不要なマーカやセンサを必要とする当該複合現実感提示装置は、オーバスペックであり好ましくない。また、美観の観点からも、不要なマーカをオブジェクトに備えることは好ましくない。 When it is not necessary to synthesize and display a virtual image on a real object in a close positional relationship, and it is only necessary to display the virtual image at a position within at least a predetermined range of the object, an unnecessary marker or sensor is required. Such a mixed reality presentation device is not preferable because it is over-spec. Also, from the viewpoint of aesthetics, it is not preferable to provide an object with an unnecessary marker.
本発明の目的は、上述した従来の問題点に鑑み、マーカや姿勢センサを用いることなく、簡易的に拡張現実感を作り出す仮想映像表示システム及び仮想映像表示方法を提供する点にある。 In view of the above-described conventional problems, an object of the present invention is to provide a virtual video display system and a virtual video display method that easily create augmented reality without using a marker or a posture sensor.
上述の目的を達成するため、本発明による仮想映像表示システムの第一の特徴構成は、特許請求の範囲の書類の請求項1に記載した通り、撮像部と、前記撮像部と所定の位置関係で配置され、仮想的な映像を表示するスクリーンと、仮想的な映像の基準データで定義される映像オブジェクトが記憶された映像オブジェクト記憶部と、前記撮像部により撮影された実映像に対応して、前記映像オブジェクト記憶部に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成部と、前記仮想映像生成部により生成された仮想映像を前記スクリーンに表示する仮想映像表示部を備えている仮想映像表示システムであって、前記仮想映像生成部は、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。
In order to achieve the above-mentioned object, the first characteristic configuration of the virtual image display system according to the present invention is as described in
仮想映像生成部は、撮像部により撮影された実在の映像で検出された特徴点の変位に基づいて算出される撮像部の視点の変位に対応して、所定の時点で撮像部の視点から基準仮想映像を眺めた仮想映像を変化させて生成する。従って、現実の映像に基づいて検出される撮像部の視点の変位に応じて、仮想映像生成部により仮想映像の位置は姿勢が変化するようになる。 The virtual image generator generates a reference from the viewpoint of the imaging unit at a predetermined time corresponding to the displacement of the viewpoint of the imaging unit calculated based on the displacement of the feature point detected in the actual image captured by the imaging unit. The virtual video viewed from the virtual video is changed and generated. Accordingly, the posture of the position of the virtual video is changed by the virtual video generation unit according to the displacement of the viewpoint of the imaging unit detected based on the actual video.
同第二の特徴構成は、同請求項2に記載した通り、上述の第一の特徴構成に加えて、前記仮想映像生成部は、仮想映像の表示を起動するスイッチ信号を検出した時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。 In the second feature configuration, as described in claim 2, in addition to the first feature configuration described above, the virtual video generation unit detects the switch signal that activates the display of the virtual video when the switch signal is detected. Based on the reference virtual video viewed from the viewpoint of the imaging unit, a virtual video corresponding to the displacement of the viewpoint of the imaging unit calculated from the feature points of the actual video is generated.
所定の視点から眺めた映像オブジェクトの仮想映像を、所定の時点で撮像部の視点から眺めた基準仮想映像として表示する時点が、仮想映像の表示を起動するスイッチ信号を検出した時点として設定される。 The point in time when the virtual video of the video object viewed from the predetermined viewpoint is displayed as the reference virtual video viewed from the viewpoint of the imaging unit at the predetermined time is set as the time when the switch signal for starting the virtual video display is detected. .
本発明による仮想映像表示方法の第一の特徴構成は、同請求項3に記載した通り、撮像部で実映像を撮影する撮影ステップと、前記撮影ステップで撮影された実映像に対応して、映像オブジェクト記憶部に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する仮想映像生成ステップと、前記仮想映像生成ステップで生成された仮想映像をスクリーンに表示する仮想映像表示ステップを備えている仮想映像表示方法であって、前記仮想映像生成ステップで、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。 The first characteristic configuration of the virtual video display method according to the present invention is as described in claim 3, corresponding to the shooting step of shooting a real video with the imaging unit, and the real video shot in the shooting step, A virtual video generation step of reading a predetermined video object stored in the video object storage unit, and generating a virtual video viewed from an arbitrary viewpoint based on a reference virtual video viewed from the predetermined viewpoint; A virtual video display method comprising a virtual video display step for displaying a virtual video generated in the virtual video generation step on a screen, wherein the virtual video generation step is viewed from a viewpoint of the imaging unit at a predetermined time in the virtual video generation step. Based on the reference virtual video, a virtual video corresponding to the displacement of the viewpoint of the imaging unit calculated from the feature points of the real video is generated.
同第二の特徴構成は、同請求項4に記載した通り、上述の第一の特徴構成に加えて、前記仮想映像生成ステップで、仮想映像の表示を起動するスイッチ信号を検出した時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する点にある。 In the second feature configuration, in addition to the first feature configuration described above, at the time of detecting a switch signal for starting display of virtual video in the virtual video generation step, the second feature configuration is described above. Based on the reference virtual video viewed from the viewpoint of the imaging unit, a virtual video corresponding to the displacement of the viewpoint of the imaging unit calculated from the feature points of the actual video is generated.
以上説明した通り、本発明によれば、マーカや姿勢センサを用いることなく、簡易的に拡張現実感を作り出す仮想映像表示システム及び仮想映像表示方法を提供することができるようになった。 As described above, according to the present invention, it is possible to provide a virtual video display system and a virtual video display method that easily create augmented reality without using a marker or an attitude sensor.
以下に、本発明による仮想映像表示システムについて説明する。
図1に示すように、仮想映像表示システム1は、ヘッドマウントディスプレイ(以下、「HMD」と記載する。)2とコンピュータ端末3を備えている。
The virtual video display system according to the present invention will be described below.
As shown in FIG. 1, the virtual
HMD2には、撮像装置20と、スクリーン21と、投影装置22が備えられている。撮像装置20は本発明の撮像部である。撮像装置20は、例えば、小型ビデオカメラで構成され、撮影した実在の空間の映像(以下、「実映像」と記載する。)をコンピュータ端末3に入力する。スクリーン21は、撮像装置20と所定の位置関係で配置され、仮想的な映像(以下、「仮想映像」と記載する。)を表示する。投影装置22は、コンピュータ端末3から入力された仮想映像をスクリーン21に表示する。
The HMD 2 includes an
投影装置22によりスクリーン21に表示された仮想映像には、二次元または三次元の仮想物体でなる映像オブジェクトが映し出されている。当該仮想映像は、スクリーン21を透過した実映像と合成された映像として、HMD2の装着者の目に到達する。従って、当該装着者には、映像オブジェクトが実在の空間に存在しているように見える。
In the virtual image displayed on the
コンピュータ端末3には、映像処理部34と視点変位算出部33と映像オブジェクト記憶部30と仮想映像生成部31と仮想映像表示部32が備えられている。
The computer terminal 3 includes a
映像オブジェクト記憶部30は、コンピュータ端末3に備えられたハードディスクなどの記憶部に区画された領域で構成されている。映像オブジェクト記憶部30には、仮想的な映像の基準データで定義される映像オブジェクトが記憶されている。具体的に、映像オブジェクトは、ベクタデータの形式で映像オブジェクト記憶部30に記憶されている。
The video
映像処理部34と視点変位算出部33と仮想映像生成部31と仮想映像表示部32は、記憶部に格納された画像処理用アプリケーションなどの動作プログラムを実行するCPUと、当該CPUにより制御されるメモリと記憶部と画像処理用ハードウェア装置(例えば、画像処理用回路が搭載された画像処理ボードなど)などにより具現化される本発明に関する機能ブロックである。
The
仮想映像生成部31は、撮像装置20により撮影された実映像に対応して、映像オブジェクト記憶部30に記憶された所定の映像オブジェクトを読み出して、当該映像オブジェクトを所定の視点から眺めた基準仮想映像に基づいて任意の視点から眺めた仮想映像を生成する。
The virtual video generation unit 31 reads a predetermined video object stored in the video
具体的に、HMD2に設けられた仮想映像の表示を起動するスイッチ(不図示)が操作されると、当該スイッチ信号がコンピュータ端末3に入力される。当該スイッチ信号を検出すると、仮想映像生成部31は、撮像装置20により撮影された実映像に対応する所定の映像オブジェクトを映像オブジェクト記憶部30から読み出し、所定の視点から眺めた当該映像オブジェクトをレンダリングして仮想映像を生成し、当該仮想映像を撮像装置20の視点に対する基準仮想映像とする。例えば、正面を向いた姿勢の映像オブジェクトに対応した仮想映像を生成し、当該仮想映像を当該スイッチ信号検出時点での撮像装置20の視点に対する基準仮想映像とする。
Specifically, when a switch (not shown) that activates display of virtual video provided in the HMD 2 is operated, the switch signal is input to the computer terminal 3. When the switch signal is detected, the virtual video generation unit 31 reads a predetermined video object corresponding to the actual video captured by the
仮想映像表示部32により、生成された基準仮想映像がスクリーン21の中央部、或は右下方など予め設定されている位置に表示される。
The virtual
撮像装置20の視点が変位すると、仮想映像生成部31は、仮想映像の表示を起動するスイッチ信号を検出した時点で撮像装置20の視点から眺めた基準仮想映像に基づいて、当該実映像の特徴点から算出される撮像装置20の視点の変位に対応した仮想映像を生成する。
When the viewpoint of the
つまり、仮想映像生成部31は、撮像装置20の視点の変位に対応して、当該スイッチ信号を検出した時点の撮像装置20の視点から眺めた基準仮想映像に表示された位置及び姿勢の映像オブジェクトを、現時点の撮像装置20の視点から眺めた仮想映像を生成する。
In other words, the virtual video generation unit 31 corresponds to the displacement of the viewpoint of the
仮想映像表示部32は、仮想映像生成部31により生成された仮想映像を、投影装置22を介してスクリーン21に表示する。
The virtual
従って、仮想映像の表示を起動するスイッチが操作されると、仮想映像表示部32によりスクリーン21の中央に正面を向いた姿勢で映像オブジェクトが表示される仮想映像が表示され、その後、撮像装置20の視点が変位すると、スイッチ信号を検出した時点で撮像装置20の視点から眺めた位置及び姿勢の映像オブジェクトを当該変位した視点から眺めた仮想映像が表示される。
Accordingly, when the switch for starting the display of the virtual video is operated, the virtual
撮像装置20の視点の変位は、視点変位算出部33により算出される。以下、詳述する。
The viewpoint displacement of the
映像処理部34は、撮像装置20から入力された実映像からコンピュータ端末3で処理可能な映像データを生成する。具体的に、映像処理部34は入力された実映像に基づいて、ビットマップデータでなるフレーム画像を生成する。
The
視点変位算出部33は、映像処理部34から入力されたフレーム画像から特徴点を抽出して当該特徴点の変位を求め、当該変位に基づいて、撮像装置20の視点の変位を算出する。具体的に、視点変位算出部33は、フレーム画像を微分処理してエッジ抽出し、エッジの交点を特徴点として抽出し、各特徴点の位置情報を記憶する。
The viewpoint
例えば、視点変位算出部33は、図2(a)に示すフレーム画像から抽出した各特徴点の位置情報を、フレーム画像の左下の画素を基準として取得し、メモリなどの一時記憶装置に記憶する。また、当該フレーム画像(以下、「前回フレーム画像」と記載する。)の次に入力された図2(b)に示すフレーム画像(以下、「今回フレーム画像」と記載する。)についても同様に、各特徴点の位置情報を取得して記憶する。当該前回フレーム画像と当該今回フレーム画像には、同一の4つの特徴点(P0、P1、P2、P3)が含まれている。
For example, the viewpoint
視点変位検出部33は、今回フレーム画像と前回フレーム画像に含まれる各特徴点の位置情報を、夫々の特徴点について比較し、各特徴点の変位及び全特徴点の相関関係の変化を求める。そして、当該変位及び当該相関関係の変化に基づいて撮像装置20の視点の変位、即ち、撮像装置20の視点の縦横斜め方向の移動、前後方向の移動、回転移動及び移動距離を算出する。
The viewpoint
図2(b)に示す今回フレーム画像と図2(a)に示す前回フレーム画像に基づいて、視点変位検出部33により求められた各特徴点の変位は、水平方向に「+Δx」と垂直方向に「+Δy」である。また、各特徴点の位置関係及び特徴点間距離は同一であり、相関関係は維持されている。
Based on the current frame image shown in FIG. 2B and the previous frame image shown in FIG. 2A, the displacement of each feature point obtained by the
従って、視点変位検出部33は、撮像装置20の視点は、当該前回フレーム画像を撮影したときから、当該今回フレーム画像を撮影したときに水平方向に「−Δx」と垂直方向に「−Δy」移動したと算出する。
Accordingly, the viewpoint
以下に、仮想映像表示システム1による仮想映像表示動作について、図3に示すフローチャートを用いて説明する。
Hereinafter, a virtual video display operation by the virtual
仮想映像表示を開始するスイッチが操作されると、撮像装置20により実映像の撮影が開始され、仮想映像生成部31により当該実映像に対応して、映像オブジェクト記憶部30に記憶された所定の映像オブジェクトが読み出される(SA1〜SA3)。
When a switch for starting virtual video display is operated, shooting of a real video is started by the
仮想映像生成部31により、当該映像オブジェクトがレンダリングされて基準仮想映像が生成され、仮想映像表示部32により、当該基準仮想映像がスクリーン21に表示される(SA4、SA5)。
The video object is rendered by the virtual video generation unit 31 to generate a reference virtual video, and the reference virtual video is displayed on the
映像処理部34により、撮像装置20で撮影された実映像からビットマップデータでなるフレーム画像が生成され(SA6)、視点変位算出部33により、フレーム画像から特徴点が抽出され、当該特徴点の位置情報が記憶される(SA7、SA8)。
A frame image composed of bitmap data is generated from the actual video captured by the
視点変位算出部33により、今回フレーム画像と前回フレーム画像の特徴点の位置情報が比較されて各特徴点の変位及び相関関係が求められ、当該変位及び当該相関関係に基づいて、撮像装置20の視点の変位が算出される(SA9、SA10)。
The viewpoint
撮像装置の視点の変位があれば(SA11)、仮想映像生成部31により、変位前の視点から眺めた位置及び姿勢の映像オブジェクトを、現在の撮像装置20の視点から眺めた仮想映像が生成され(SA4)、仮想映像表示部32により、スクリーン21に当該仮想映像が表示される(SA5)。
If there is a displacement of the viewpoint of the imaging device (SA11), the virtual video generation unit 31 generates a virtual video of the video object at the position and orientation viewed from the viewpoint before the displacement viewed from the viewpoint of the
以下に、当該仮想映像表示システムが採用された情報案内装置について説明する。 In the following, an information guidance apparatus employing the virtual video display system will be described.
情報案内装置4は、美術館などに展示された作品の作品情報や作者情報などを案内するHMDである。図4(a)、図4(b)に示すように、情報案内装置4は、撮像装置40とスクリーン41と投影装置42と情報案内制御装置43を備えている。
The information guide device 4 is an HMD that guides work information, author information, and the like of works displayed in a museum. As shown in FIGS. 4A and 4B, the information guide device 4 includes an
情報案内制御装置43には、映像処理部48と視点変位算出部47と映像オブジェクト記憶部44と仮想映像生成部45と仮想映像表示部46と映像オブジェクト選択部49が備えられている。
The information
映像オブジェクト記憶部44は、情報案内制御装置43に備えられたフラッシュROMなどの記憶部に区画された領域で構成されている。映像オブジェクト記憶部44には、情報案内を行う作品の作品情報や作者情報に対応する映像オブジェクトが作品毎に記憶されている。
The video
映像処理部48と視点変位算出部47と仮想映像生成部45と仮想映像表示部46と映像オブジェクト選択部49は、情報案内制御装置43に備えられたマイクロコンピュータと、当該マイクロコンピュータにより制御される記憶部と受信アンテナと画像処理回路や受信回路などの周辺回路などにより具現化される機能ブロックである。
The
映像オブジェクト選択部49は、情報案内を行う各作品の近傍に設置された不図示の送信部から送信される無線電波でなる作品選択信号(例えば、各作品に個別に付与されたコード番号を示す信号など)を受信する。 The video object selection unit 49 is a work selection signal (for example, a code number assigned to each work individually) that is a radio wave transmitted from a transmission unit (not shown) installed in the vicinity of each work that provides information guidance. Signal).
そして、映像オブジェクト選択部49は、当該作品選択信号で示される作品に対応する映像オブジェクトを、スクリーン41に表示する仮想映像に対応する映像オブジェクトとして選択する。
Then, the video object selection unit 49 selects the video object corresponding to the work indicated by the work selection signal as the video object corresponding to the virtual video displayed on the
作品選択信号は、情報を案内すべき作品を示す信号であり、映像オブジェクトに対応する仮想映像の表示を起動するスイッチ信号である。 The work selection signal is a signal indicating a work for which information is to be guided, and is a switch signal that activates display of a virtual video corresponding to the video object.
映像オブジェクト選択部49は、受信した作品選択信号が複数あるときには、受信レベルの最も高い作品選択信号で示される映像オブジェクトを選択する。 When there are a plurality of received work selection signals, the video object selection unit 49 selects the video object indicated by the work selection signal having the highest reception level.
以下に、映像オブジェクト選択部49による映像オブジェクト選択動作について、図5に示すフローチャートを用いて説明する。 The video object selection operation by the video object selection unit 49 will be described below with reference to the flowchart shown in FIG.
作品選択信号が複数入力されると、映像オブジェクト選択部49により、夫々の受信レベルが確認され、受信レベルの最も高い作品選択信号に対応する作品の映像オブジェクトがスクリーン41に表示する仮想映像に対応する映像オブジェクトとして選択される(SB1〜SB4)。
When a plurality of work selection signals are input, the video object selection unit 49 confirms each reception level, and the video object of the work corresponding to the work selection signal with the highest reception level corresponds to the virtual video displayed on the
作品選択信号が1つ入力されると、映像オブジェクト選択部49により、当該作品選択信号に対応する作品の映像オブジェクトが選択される(SB1、SB2、SB5)。 When one piece selection signal is input, the video object selection unit 49 selects the video object of the piece corresponding to the piece selection signal (SB1, SB2, SB5).
仮想映像生成部45は、映像オブジェクト選択部49により新たな映像オブジェクトが選択されると、撮像装置40により撮影された実映像に対応する映像オブジェクトとして、映像オブジェクト記憶部44から当該映像オブジェクトを読み出して、スクリーン41の所定の位置に、所定の姿勢の当該映像オブジェクトが表示される仮想映像を基準仮想映像として生成する。
When a new video object is selected by the video object selection unit 49, the virtual
また、撮像装置40の視点が変位すると、仮想映像生成部45は、映像オブジェクト選択部49により作品選択信号が検出された時点で撮像装置40の視点から眺めた基準仮想映像に基づいて、当該実映像の特徴点から算出される撮像装置40の視点の変位に対応した仮想映像を生成する。
In addition, when the viewpoint of the
つまり、仮想映像生成部45は、視点変位算出部47により算出された撮像装置40の視点の変位に対応して、撮像装置40の視点から眺めた位置や姿勢が変化した映像オブジェクトに対応する仮想映像を生成する。
That is, the virtual
以下に、情報案内装置4による情報案内となる仮想映像表示動作について、図6に示すフローチャートを用いて説明する。 Below, the virtual video display operation | movement used as the information guidance by the information guidance apparatus 4 is demonstrated using the flowchart shown in FIG.
映像オブジェクト選択部49により、最初の映像オブジェクトが選択されると、撮像装置40により撮影が開始され、仮想映像生成部45により、撮像装置40で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部44から読み出される(SC1〜SC3)。
When the first video object is selected by the video object selection unit 49, shooting is started by the
仮想映像生成部45により、スクリーン41の所定の位置に所定の姿勢で当該映像オブジェクトが表示される基準仮想映像が生成され、仮想映像表示部46により当該基準仮想映像が投影装置42を介して、スクリーン41に表示される(SC4、SC5)。
A virtual
撮像装置40により撮影された実映像に基づき、映像処理部48によりビットマップデータでなるフレーム画像が生成され、視点変位算出部47により、フレーム画像の特徴点から撮像装置40の視点の変位が算出される(SC6、SC7)。
Based on the actual video captured by the
撮像装置40の視点に移動がなければ、仮想映像表示部46によりスクリーン41に表示される仮想映像は変化しない(SC8)。
If there is no movement in the viewpoint of the
撮像装置40の視点に移動があり(SC8)、映像オブジェクト選択部49により、新たな映像オブジェクトが選択されると(SC9)、仮想映像生成部45により、撮像装置40で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部44から読み出され、基準仮想映像が生成され、仮想映像表示部46により当該基準仮想映像が表示される(SC3〜SC5)。
When the viewpoint of the
撮像装置40の視点に移動があり(SC8)、映像オブジェクト選択部49により、新たな映像オブジェクトが選択されなければ(SC9)、仮想映像生成部45により、撮像装置40の視点から眺めた位置や姿勢が変化した映像オブジェクトに対応する仮想映像が生成され、仮想映像表示部46により当該仮想映像が表示される(SC4、SC5)。
If there is a movement in the viewpoint of the imaging device 40 (SC8) and no new video object is selected by the video object selection unit 49 (SC9), the virtual
情報案内装置4は、美術館などに展示された作品の作品情報や作者情報を案内にのみ用いられるものではない。例えば、複写機などの画像形成装置の操作パネルの操作方法や、当該装置に生じたトラブル(紙詰まり、紙切れ、トナーやインクなどの印刷部材切れ等)の案内及びトラブル対処方法を案内するものとして用いることができる。 The information guide device 4 is not used only for guidance on work information and author information of works exhibited at museums and the like. For example, as an operation method of an operation panel of an image forming apparatus such as a copying machine, a guide to troubles occurring in the apparatus (paper jam, out of paper, out of printing member such as toner or ink), and a troubleshooting method Can be used.
この場合、操作パネルに配置されたハードウェアキーや、液晶パネル上に表示される操作画面上のソフトウェアキーに対応する説明文などや、各トラブルの内容説明文や対処方法の説明文などに対応する映像オブジェクトが映像オブジェクト記憶部44に記憶される。
In this case, it corresponds to the hardware key arranged on the operation panel, the explanation corresponding to the software key on the operation screen displayed on the liquid crystal panel, the explanation of the contents of each trouble, the explanation of the countermeasure, etc. The video object to be stored is stored in the video
仮想映像生成部45は、情報案内装置4に取り付けられた案内開始要求キーの操作に基づくキー操作信号、または、画像形成装置で生じたトラブルに対応するトラブル信号に基づいて、撮像装置40で撮影された実映像に対応する映像オブジェクトを映像オブジェクト記憶部44から読み出して基準仮想映像を生成し、また、撮像装置40の視点の変位に対応した仮想映像を生成する。
The virtual
以下に、当該仮想映像表示システムが採用された携帯電話機について説明する。図7に示すように、携帯電話機5は、撮像部50とスクリーン51と映像処理部56と視点変位算出部55と映像オブジェクト記憶部52と仮想映像生成部53と仮想映像表示部54と映像オブジェクト選択部57を備えている。
Hereinafter, a mobile phone employing the virtual video display system will be described. As shown in FIG. 7, the
撮像部50は携帯電話機5に内蔵された小型カメラで構成され、スクリーン51は液晶表示パネルで構成され、映像オブジェクト記憶部52はフラッシュROMなどの記憶部に区画された領域で構成されている。
The
映像オブジェクト記憶部52には、電子出版書籍などの文書が表示された仮想的な用紙(以下、「仮想用紙」と記載する。)に対応する映像オブジェクトが仮想用紙毎に記憶されている。
The video
映像処理部56と視点変位算出部55と仮想映像生成部53と仮想映像表示部54と映像オブジェクト選択部57は、携帯電話機5に備えられたマイクロコンピュータと、当該マイクロコンピュータにより制御される記憶部と画像処理回路などの周辺回路などにより具現化される機能ブロックである。
The
映像オブジェクト選択部57は、携帯電話機5に備えられた数値キーなどの操作に応じて入力されるキー操作信号に対応する仮想用紙(映像オブジェクト)をスクリーン51に表示する仮想映像に対応する映像オブジェクトとして選択する。当該キー操作信号は、仮想用紙を選択する用紙選択信号であり、映像オブジェクトに対応する仮想映像の表示を起動するスイッチ信号である。
The video
仮想映像生成部53は、映像オブジェクト選択部57によりキー操作信号が検出されて映像オブジェクトが選択されると、撮像部50により撮影された実映像に対応する映像オブジェクトとして映像オブジェクト記憶部52から当該映像オブジェクトを読み出して、スクリーン51の所定の位置に所定の姿勢で仮想用紙が表示されるように、基準仮想映像を生成する。
When the video
また、仮想映像生成部53は、映像オブジェクト選択部57により用紙選択信号が検出された時点で撮像部50の視点から仮想用紙を眺めた基準仮想映像に基づいて、当該実映像の特徴点から算出される撮像部50の視点の変位に対応した仮想映像を生成する。
In addition, the virtual
つまり、仮想映像生成部53は、視点変位算出部55により算出された撮像部50の視点の変位に対応して、撮像装置50の視点から眺めた位置や姿勢が変化した仮想用紙に対応する仮想映像を生成する。
In other words, the virtual
以下に、携帯電話機5による仮想文書表示動作について、図8に示すフローチャートを用いて説明する。
Hereinafter, a virtual document display operation by the
映像オブジェクト選択部57により、最初の映像オブジェクトが選択されると、撮像部50により撮影が開始され、仮想映像生成部53により、撮像部50で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部52から読み出される(SD1〜SD3)。
When the first video object is selected by the video
仮想映像生成部53により、スクリーン51の所定の位置に所定の姿勢で当該映像オブジェクトが表示される基準仮想映像が生成され、仮想映像表示部54により当該基準仮想映像がスクリーン51に表示される(SD4、SD5)。
The virtual
映像オブジェクト選択部57により、新たな映像オブジェクトが選択されると(SD6)、仮想映像生成部53により、撮像部50で撮影された実映像に対応して、当該映像オブジェクトが映像オブジェクト記憶部52から読み出され、基準仮想映像が生成され、仮想映像表示部54により当該基準仮想映像が表示される(SD3〜SD5)。
When a new video object is selected by the video object selection unit 57 (SD6), the video object is stored in the video
映像オブジェクト選択部57により、新たな映像オブジェクトが選択されないとき(SD6)、撮像部50により撮影された実映像に基づき、映像処理部56によりビットマップデータでなるフレーム画像が生成され、視点変位算出部55により、撮像部50の視点の変位が算出される(SD7、SD8)。
When no new video object is selected by the video object selection unit 57 (SD6), a frame image composed of bitmap data is generated by the
撮像部50の視点が移動していなければ、仮想映像表示部54によりスクリーン51に表示される仮想映像は変化しない(SD9)。
If the viewpoint of the
撮像部50の視点が移動していれば(SD9)、仮想映像生成部53により、撮像部50の視点から眺めた位置や姿勢が変化した映像オブジェクトに対応する仮想映像が生成され、仮想映像表示部54により当該仮想映像が表示される(SD4、SD5)。
If the viewpoint of the
以下、別実施形態を説明する。 Hereinafter, another embodiment will be described.
上述の仮想映像表示システム1に、撮像装置20の視点の変位に対応した仮想映像の生成を許容する第一モード、または、撮像装置20の視点の変位に対応した仮想映像の生成を許容しない第二モードの何れかに、仮想映像生成部31の仮想映像生成モードを切り替えるモード切替部を備えた際の実施形態について説明する。
The first mode in which the virtual
モード切替部は、コンピュータ端末3に備えられたハードディスクなどの記憶部に格納された画像処理用アプリケーションなどの動作プログラムを実行するCPUと、当該CPUにより制御されるメモリと記憶部と画像処理用ハードウェア装置(例えば、画像処理用回路が搭載された画像処理ボードなど)などの協働により具現化される機能ブロックである。 The mode switching unit includes a CPU that executes an operation program such as an image processing application stored in a storage unit such as a hard disk provided in the computer terminal 3, a memory controlled by the CPU, a storage unit, and an image processing hardware. Hardware block (for example, an image processing board on which an image processing circuit is mounted) and the like.
HMD2に設けられた仮想映像生成モードを切り替えるスイッチが操作されると、当該操作に応じてモード切替信号がコンピュータ端末3に入力される。 When a switch for switching the virtual video generation mode provided in the HMD 2 is operated, a mode switching signal is input to the computer terminal 3 in accordance with the operation.
モード切替部は、モード切替信号を検出すると、第一モードから第二モード、または、第二モードから第一モードに仮想映像生成モードを切り替える。 When detecting the mode switching signal, the mode switching unit switches the virtual video generation mode from the first mode to the second mode, or from the second mode to the first mode.
モード切替部は、仮想映像生成モードが第一モードのとき、視点変位算出部33が算出した撮像装置20の視点の変位の値を変更することなく、仮想映像生成部31に出力する。従って、仮想映像生成部31は、撮像装置20の視点の変位に対応して仮想映像を生成する。
When the virtual video generation mode is the first mode, the mode switching unit outputs to the virtual video generation unit 31 without changing the viewpoint displacement value of the
モード切替部は、仮想映像生成モードが第二モードのとき、視点変位算出部33が算出した撮像装置20の視点の変位の値を当該変位がないときの値に変更して、仮想映像生成部31に出力する。従って、仮想映像生成部31は、撮像装置20の視点は移動していないと判断し、新たな仮想映像は生成されない。
When the virtual video generation mode is the second mode, the mode switching unit changes the value of the viewpoint displacement of the
スクリーン21に表示可能な空間の範囲は有限である為、大きく移動した移動先の撮像装置20の視点から映像オブジェクトを眺めた仮想映像に映像オブジェクトが表示されないことがある。
Since the range of the space that can be displayed on the
このような場合、撮像装置20の視点を移動する前に、モード切替部により、仮想映像生成モードを第一モードから第二モードに切り替え、移動後に、第二モードから第一モードに切り替えることで、仮想映像生成部31は、移動後の撮像装置の視点を移動前の撮像装置20の視点と同じ視点として判断する。
In such a case, the virtual image generation mode is switched from the first mode to the second mode by the mode switching unit before the viewpoint of the
従って、撮像装置20の視点が大きく移動するようなときであっても、仮想映像に映像オブジェクトを確実に表示することができるため、当該仮想映像表示システム1の操作性が向上する。
Therefore, even when the viewpoint of the
このような構成は、仮想用紙を表示する携帯電話機などに好適に採用することができる。具体的に、モード切替部は、携帯電話機に備えられた数値キーなどの操作に応じて、仮想映像表示モードを切り替えるように構成される。 Such a configuration can be suitably employed in a mobile phone or the like that displays virtual paper. Specifically, the mode switching unit is configured to switch the virtual video display mode in accordance with an operation of a numeric key or the like provided in the mobile phone.
携帯電話機を用いて仮想用紙を閲覧している操作者が姿勢を変えたいとき、例えば、机に向かった状態からソファーなどに横になって当該仮想用紙を閲覧しようとするとき、操作者により数値キーが操作されると、当該キー操作に応じて、モード切替部により仮想映像生成モードが第一モードから第二モードに切り替えられる。 When an operator who is browsing virtual paper using a mobile phone wants to change his / her posture, for example, when he / she wants to lie down on a sofa or the like from a state facing a desk, When a key is operated, the virtual image generation mode is switched from the first mode to the second mode by the mode switching unit according to the key operation.
そして、操作者により数値キーが新たに操作され、モード切替部により仮想映像生成モードが第二モードから第一モードに切り替えられると、仮想映像生成部は、移動後の撮像部の視点を移動前の撮像部の視点と同じ視点として判断する。 When the numeric key is newly operated by the operator and the virtual video generation mode is switched from the second mode to the first mode by the mode switching unit, the virtual video generation unit moves the viewpoint of the imaging unit after the movement before the movement. It is determined that the viewpoint is the same as the viewpoint of the imaging unit.
上述の実施形態では、仮想映像生成部31が仮想映像を生成する際に基準とする基準仮想映像の映像オブジェクトを眺める撮像装置20の視点は、仮想映像の表示を起動するスイッチ信号を検出した時点の撮像装置20の視点であるものとしたが、これに限定するものではない。
In the above-described embodiment, the viewpoint of the
例えば、当該視点は、仮想映像表示システム1を起動した時点の撮像装置20の視点や、前回に仮想映像表示システム1を終了した時点の撮像装置20の視点など、所定の時点の撮像装置20の視点であってよい。
For example, the viewpoint may be the viewpoint of the
上述の実施形態は何れも本発明の一実施例に過ぎず、当該記載により本発明の範囲が限定されるものではなく、各部の具体的構成は本発明による作用効果を奏する範囲において適宜変更することができることは言うまでもない。 The above-described embodiments are merely examples of the present invention, and the scope of the present invention is not limited by the description, and the specific configuration of each part is appropriately changed within the scope of the effects of the present invention. It goes without saying that it can be done.
1:仮想映像表示システム
2:HMD(ヘッドマウントディスプレイ)
3:コンピュータ端末
4:仮想映像表示システム(情報案内装置)
5:仮想映像表示システム(携帯電話機)
20:撮像部(撮像装置)
21:スクリーン
30:映像オブジェクト記憶部
31:仮想映像生成部
32:仮想映像表示部
40:撮像部(撮像装置)
41:スクリーン
44:映像オブジェクト記憶部
45:仮想映像生成部
46:仮想映像表示部
50:撮像部
51:スクリーン
52:映像オブジェクト記憶部
53:仮想映像生成部
54:仮想映像表示部
1: Virtual video display system 2: HMD (head mounted display)
3: Computer terminal 4: Virtual video display system (information guide device)
5: Virtual video display system (mobile phone)
20: Imaging unit (imaging device)
21: Screen 30: Video object storage unit 31: Virtual video generation unit 32: Virtual video display unit 40: Imaging unit (imaging device)
41: Screen 44: Video object storage unit 45: Virtual video generation unit 46: Virtual video display unit 50: Imaging unit 51: Screen 52: Video object storage unit 53: Virtual video generation unit 54: Virtual video display unit
Claims (4)
前記仮想映像生成部は、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する仮想映像表示システム。 An imaging unit, a screen that is arranged in a predetermined positional relationship with the imaging unit, displays a virtual video, a video object storage unit that stores a video object defined by virtual video reference data, and A predetermined video object stored in the video object storage unit is read out corresponding to the actual video shot by the imaging unit, and the video object is viewed from an arbitrary viewpoint based on a reference virtual video viewed from the predetermined viewpoint. A virtual video display system including a virtual video generation unit that generates a viewed virtual video, and a virtual video display unit that displays the virtual video generated by the virtual video generation unit on the screen,
The virtual video generator generates a virtual video corresponding to a displacement of the viewpoint of the imaging unit calculated from a feature point of the real video based on the reference virtual video viewed from the viewpoint of the imaging unit at a predetermined time. Virtual video display system to generate.
前記仮想映像生成ステップで、所定の時点で前記撮像部の視点から眺めた前記基準仮想映像に基づいて、当該実映像の特徴点から算出される前記撮像部の視点の変位に対応した仮想映像を生成する仮想映像表示方法。 A shooting step of shooting a real video by the imaging unit, and a predetermined video object stored in the video object storage unit corresponding to the real video shot in the shooting step is read out, and the video object is viewed from a predetermined viewpoint A virtual image generation step for generating a virtual image viewed from an arbitrary viewpoint based on the viewed reference virtual image, and a virtual image display step for displaying the virtual image generated in the virtual image generation step on a screen An image display method,
In the virtual video generation step, based on the reference virtual video viewed from the viewpoint of the imaging unit at a predetermined time point, a virtual video corresponding to the displacement of the viewpoint of the imaging unit calculated from the feature points of the real video Virtual video display method to be generated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008155637A JP2009301350A (en) | 2008-06-13 | 2008-06-13 | Virtual image display system and virtual image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008155637A JP2009301350A (en) | 2008-06-13 | 2008-06-13 | Virtual image display system and virtual image display method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009301350A true JP2009301350A (en) | 2009-12-24 |
Family
ID=41548165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008155637A Pending JP2009301350A (en) | 2008-06-13 | 2008-06-13 | Virtual image display system and virtual image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009301350A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013078037A (en) * | 2011-09-30 | 2013-04-25 | Casio Comput Co Ltd | Image processing device, image processing method, and program |
EP2747404A1 (en) | 2012-12-19 | 2014-06-25 | Konica Minolta, Inc. | Image processing terminal, image processing system, and computer-readable storage medium storing control program of image processing terminal |
WO2014162852A1 (en) * | 2013-04-04 | 2014-10-09 | ソニー株式会社 | Image processing device, image processing method and program |
JP2015007835A (en) * | 2013-06-24 | 2015-01-15 | キヤノン株式会社 | Image processing apparatus and image processing method |
-
2008
- 2008-06-13 JP JP2008155637A patent/JP2009301350A/en active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013078037A (en) * | 2011-09-30 | 2013-04-25 | Casio Comput Co Ltd | Image processing device, image processing method, and program |
EP2747404A1 (en) | 2012-12-19 | 2014-06-25 | Konica Minolta, Inc. | Image processing terminal, image processing system, and computer-readable storage medium storing control program of image processing terminal |
WO2014162852A1 (en) * | 2013-04-04 | 2014-10-09 | ソニー株式会社 | Image processing device, image processing method and program |
JPWO2014162852A1 (en) * | 2013-04-04 | 2017-02-16 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
US9823739B2 (en) | 2013-04-04 | 2017-11-21 | Sony Corporation | Image processing device, image processing method, and program |
JP2015007835A (en) * | 2013-06-24 | 2015-01-15 | キヤノン株式会社 | Image processing apparatus and image processing method |
US9684169B2 (en) | 2013-06-24 | 2017-06-20 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for viewpoint determination |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8350896B2 (en) | Terminal apparatus, display control method, and display control program | |
JP6689559B2 (en) | Image projection apparatus, system, image projection method and program | |
US8388146B2 (en) | Anamorphic projection device | |
WO2013035758A1 (en) | Information display system, information display method, and storage medium | |
WO2018101227A1 (en) | Display control device, head-mounted display, control method for display control device, and control program | |
US20130063345A1 (en) | Gesture input device and gesture input method | |
JP2013258614A (en) | Image generation device and image generation method | |
JP2009064109A (en) | Image projector and its control method | |
JP2011166754A (en) | Display control program, display control apparatus, display control system, and display control method | |
JP5798183B2 (en) | Pointing control device, integrated circuit thereof, and pointing control method | |
US20120268493A1 (en) | Information processing system for augmented reality | |
JP6739847B2 (en) | Image display control device and image display control program | |
JP2013050883A (en) | Information processing program, information processing system, information processor, and information processing method | |
JP2005174021A (en) | Method and device for presenting information | |
JP5831151B2 (en) | Control processing program, image display apparatus, and image display method | |
JP2006276748A (en) | Information presenting device, information presenting method, and computer program | |
JP2018005517A (en) | Terminal device and program | |
JP2009301350A (en) | Virtual image display system and virtual image display method | |
JP6021568B2 (en) | Image processing program, image processing apparatus, image processing system, and image processing method | |
WO2018139073A1 (en) | Display control device, second display device, method for controlling display control device, and control program | |
KR20150022233A (en) | Augmented reality device using mobile device and method of implementing augmented reality | |
JP2011172253A (en) | Display control program, display controller, display control system, and display control method | |
JP6686319B2 (en) | Image projection device and image display system | |
JP2006318094A (en) | Information processing method and information processor | |
KR101860215B1 (en) | Content Display System and Method based on Projector Position |