JP2018067229A - Walk-through system and program - Google Patents
Walk-through system and program Download PDFInfo
- Publication number
- JP2018067229A JP2018067229A JP2016206740A JP2016206740A JP2018067229A JP 2018067229 A JP2018067229 A JP 2018067229A JP 2016206740 A JP2016206740 A JP 2016206740A JP 2016206740 A JP2016206740 A JP 2016206740A JP 2018067229 A JP2018067229 A JP 2018067229A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- still
- moving
- moving image
- spot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
この発明は、静止スポット間を移動して周囲を見渡す仮想体験を視聴者に行わせるためのウォークスルー・システムに関する。この発明は、例えば、視聴者に、建築物の内部を歩き回って見学する仮想体験を行わせるシステムに適用して好適である。 The present invention relates to a walk-through system for allowing a viewer to perform a virtual experience of moving between stationary spots and looking around. The present invention is suitable for application to a system that allows a viewer to perform a virtual experience of walking around and seeing inside a building, for example.
従来より、住宅等の建築物を購入・借り入れしたい顧客に対して、その建築物の写真や動画を見せ、多数の種類の住宅から自分の好みに合った住宅等を絞り込む際の参考にさせる販売手法が知られている。 Traditional sales to customers who want to purchase and borrow buildings such as houses, show photos and videos of the buildings, and narrow down the housing that suits their preferences from many types of houses Techniques are known.
また、その建築物の構造等を顧客が更に理解し易くなるように、各部屋等の全周囲（３６０゜）の静止画をパーソナル・コンピュータやスマート・フォン等で視聴させるサービスも、既に実現されている。 In addition, to make it easier for customers to understand the structure of the building, a service for viewing still images of the entire surroundings (360 °) of each room with a personal computer or smart phone has already been realized. ing.
更には、単に静止画や動画を見せるのでは無く、その建築物の見学を顧客に仮想体験させる技術も、既に提案されている。このような技術を開示する文献として、例えば、下記特許文献１が知られている。
In addition, a technology that allows a customer to experience a virtual tour of the building, rather than simply showing still images and moving images, has already been proposed. As a document disclosing such a technique, for example, the following
特許文献１の技術では、予め建築物の三次元構造をＣＡＤ(Computer Aided
Design) システムで構築しておき、そのＣＡＤデータを用いて、視聴者の疑似動作に合わせた画像を逐次生成・表示する。この技術を用いることで、視聴者は、この建築物内を自由にウォークスルーしながら見て回ることができ、これにより、多種類の住宅から自分の好みに合った住宅等を絞り込み易くなる。
In the technique of
The system is constructed with a (Design) system, and the CAD data is used to sequentially generate and display images in accordance with the viewer's pseudo-motion. By using this technology, the viewer can walk around the building freely while walking through it, and this makes it easier to narrow down a variety of houses and the like that suits his / her preference.
しかしながら、特許文献１の技術では、視聴者が住宅内を歩き回るときや周りを見渡すときの視界を、ＣＡＤシステム上に構築した三次元空間から生成するため、非常に高い処理能力がシステムに要求されると共に作成作業の人的負担も非常に大きくなり、従って、システムが高価になるという欠点がある。その反面、実際に撮影したものと比較して、現実感に劣る。
However, in the technique of
この発明の課題は、実際に撮影した画像を元に簡単な画像処理で、現実感のある仮想体験を視聴者に行わせることができる、ウォークスルー・システム及びプログラムを、安価に提供することにある。 An object of the present invention is to provide a walk-through system and a program at low cost that can allow a viewer to perform a realistic virtual experience with simple image processing based on an actually captured image. is there.
かかる課題を解決するために、請求項１の発明に係るウォークスルー・システムは、複数の静止スポット間に設定されたパスを移動して周囲を見渡す仮想体験を視聴者に行わせるためのウォークスルー・システムであって、前記仮想体験用の画像を表示する表示部と、前記視聴者が前記パスを移動する際の視界変化を示す移動動画を、前記表示部に表示させるための、移動画像データを保存する移動画像データ保存部と、前記静止スポットにおける静止画像を、前記表示部に表示させるための、静止画像データを保存する静止画像データ保存部と、何れかの前記静止スポットが選択された状態で、移動先の該静止スポットを選択するための操作部と、該操作部が前記移動先の静止スポットを選択したときに、この選択結果に対応する前記移動画像データ及び前記静止画像データを前記移動画像データ保存部及び前記静止画像データ保存部から読み出して、前記仮想体験用の画像として前記表示部に順次表示させる表示処理部と、を備えることを特徴とする。
In order to solve this problem, the walk-through system according to the invention of
請求項２の発明は、請求項１に記載の構成に加えて、前記表示処理部は、何れかの前記静止スポットの前記静止画像を前記表示部に表示させる際に、該静止画像に重ねて、当該静止スポットからの移動が可能な他の該静止スポットへの移動方向を示すマークを１個又は複数個表示させるマーク表示処理と、前記操作部によって何れかの該マークが選択されたときに、その選択された移動方向に配置された前記静止スポットの内で最も移動距離が短いものを、前記移動先の静止スポットに決定する移動先決定処理と、を更に実行することを特徴とする。 According to a second aspect of the present invention, in addition to the configuration of the first aspect, the display processing unit overlaps the still image when displaying the still image of any one of the still spots on the display unit. A mark display process for displaying one or a plurality of marks indicating the moving direction to another stationary spot that can be moved from the stationary spot, and when any one of the marks is selected by the operation unit And a destination determination process for further determining the destination still spot having the shortest moving distance among the stationary spots arranged in the selected moving direction.
請求項３の発明は、請求項１又は２に記載の構成に加えて、前記移動画像データ保存部が保存する前記移動画像データは、前記パス上を移動するカメラによって撮影された動画であり、前記表示処理部は、該動画を、前記移動動画として前記表示部に表示させる、ことを特徴とする。
In addition to the configuration of
請求項４の発明は、請求項１又は２に記載の構成に加えて、前記移動画像データ保存部が保存する前記移動画像データは、前記パス毎に複数の地点でそれぞれ撮影された静止画像であり、前記表示処理部は、同一の前記パスに対応する複数の該静止画像をアニメーション化した画像を、前記移動動画として前記表示部に表示させる、ことを特徴とする。 According to a fourth aspect of the present invention, in addition to the configuration of the first or second aspect, the moving image data stored by the moving image data storage unit is a still image captured at a plurality of points for each path. And the display processing unit displays on the display unit, as the moving moving image, an image obtained by animating a plurality of the still images corresponding to the same path.
請求項５の発明は、請求項１又は２に記載の構成に加えて、前記移動画像データ保存部が保存する前記移動画像データは、前記パスの移動元の前記静止スポットで撮影された１枚の基準静止画像であり、前記表示処理部は、該１枚の基準静止画像から変換した複数の変換静止画像をアニメーション化してなる画像を、前記移動動画として前記表示部に表示させ、該複数の変換静止画像は、撮影を行った空間を三次元モデル化し、この三次元モデルに、実際の計測結果に基づいた座標を有する複数の基準点を設定する第１処理と、各基準点の三次元座標を、前記パス上の複数の位置に対応する複数の二次元投影座標に変換する第２処理と、前記基準静止画像の画素から、前記基準点に対応するものをそれぞれ特定する第３処理と、前記複数の二次元投影座標のそれぞれについて、前記画素の位置が、これに対応する前記基準点の前記二次元投影座標と一致するように、前記基準静止画像を変形させる第４処理と、を含む移動動画生成処理で生成されることを特徴とする。 According to a fifth aspect of the present invention, in addition to the configuration of the first or second aspect, the moving image data stored by the moving image data storage unit is one image taken at the stationary spot that is the movement source of the path. The display processing unit causes the display unit to display an image formed by animating a plurality of converted still images converted from the one reference still image on the display unit as the moving moving image. The converted still image is obtained by converting the captured space into a three-dimensional model, and setting a plurality of reference points having coordinates based on actual measurement results in the three-dimensional model, and the three-dimensional of each reference point. A second process for converting coordinates to a plurality of two-dimensional projection coordinates corresponding to a plurality of positions on the path; and a third process for specifying each of the pixels of the reference still image corresponding to the reference point The plurality of two A moving image generation process including: a fourth process for deforming the reference still image so that the position of the pixel matches the two-dimensional projection coordinate of the reference point corresponding to each of the original projection coordinates It is generated by.
請求項６の発明は、請求項５に記載の構成に加えて、前記基準点は、前記移動元の静止スポット上と、前記移動先の静止スポット上と、該移動先の静止スポットの後方にある壁面上の点とに設定されたことを特徴とする。 According to a sixth aspect of the present invention, in addition to the configuration according to the fifth aspect, the reference point is located on the stationary spot of the movement source, on the stationary spot of the movement destination, and behind the stationary spot of the movement destination. It is set to a point on a wall surface.
請求項７の発明に係るプログラムは、請求項１乃至６の何れかに記載の表示処理部をコンピュータで実現する。 A program according to a seventh aspect of the invention realizes the display processing unit according to any one of the first to sixth aspects by a computer.
請求項１の発明では、各静止スポットで周囲を見渡す仮想体験のための静止画像と、これら静止スポット間の移動する仮想体験のための動画とを、個別に作成することとした。このため、請求項１の発明によれば、建築物全体の三次元構造を仮想的に構築する必要が無いので、十分に現実感のある仮想体験を視聴者に行わせることができるにも拘わらず、撮影作業や画像処理を簡単にできる。 According to the first aspect of the present invention, a still image for a virtual experience overlooking the surroundings at each still spot and a moving image for a virtual experience moving between these still spots are individually created. Therefore, according to the first aspect of the present invention, since it is not necessary to virtually construct the three-dimensional structure of the entire building, it is possible to allow the viewer to have a sufficiently realistic virtual experience. Therefore, it is possible to easily perform shooting work and image processing.
請求項２の発明によれば、表示部が静止スポットでの視聴者の視界を表示しているときに、その画像に重ねて表示されたマークを選択するだけで、次の静止スポットへ移動できるので、視聴者が仮想空間内を歩き回る仮想体験を、簡単な操作のみで行える。
According to the invention of
請求項３の発明によれば、移動時の動画として、実際にパス上を移動するカメラによって撮影された動画を使用するので、移動の仮想体験を十分に現実感のあるものにできるにも拘わらず、非常に安価に実現できる。 According to the third aspect of the present invention, since a moving image taken by a camera that actually moves on a path is used as a moving image, the virtual experience of movement can be sufficiently realistic. Therefore, it can be realized at a very low cost.
請求項４の発明によれば、移動時の動画として、ルート上の複数地点で撮影した静止画像をアニメーション化したものを使用するので、移動の仮想体験を十分に現実感のあるものにできるにも拘わらず、非常に安価に実現できる。 According to the fourth aspect of the present invention, as the moving image, animated images of still images taken at a plurality of points on the route are used, so that the virtual experience of movement can be made sufficiently realistic. Nevertheless, it can be realized at a very low cost.
請求項５の発明によれば、移動時の動画を、１枚の静止画像から生成するので、移動の仮想体験を十分に現実感のあるものにできるにも拘わらず、非常に安価に実現できる。
According to the invention of
請求項６の発明によれば、基準点を移動元の静止スポット上と、移動先の静止スポット上と、移動先の静止スポットの後方にある壁面上の点としたので、移動の仮想体験を十分に現実感のあるものとすることができるにも拘わらず、非常に安価に実現できる。
According to the invention of
請求項７の発明によれば、請求項１乃至６に記載の表示処理部をコンピュータで実現できる。
According to invention of
［この発明の実施の形態１］
以下、この発明の実施の形態１について、この発明を、住宅の内部を見学する仮想体験を提供するシステムに適用した場合を例に採って、説明する。
[
Hereinafter,
図１に示したように、この実施の形態１に係るウォークスルー・システム１００は、表示部１１０と、データベース１２０と、操作部１３０と、表示処理部１４０とを備えている。なお、表示処理部１４０は、ハードウエア的に構築することも可能であるが、ソフトウエア的に構築しても良い。
As shown in FIG. 1, the walk-through system 100 according to the first embodiment includes a
図１において、表示部１１０は、仮想体験用の画像を表示して、視聴者に視聴させるためのデバイスである。この表示部１１０としては、例えば、コンピュータの液晶ディスプレイや、タブレット端末のディスプレイ等を使用できる。更には、三次元の仮想体験を提供したい場合には、例えば、ゴーグル型のバーチャル・リアリティ用ヘッドセット等を使用できる。
In FIG. 1, a
データベース１２０は、表示部１１０に表示する画像を生成するための各種データが格納される。このために、このデータベース１２０は、移動画像データ保存部１２１と、静止画像データ保存部１２２と、ウォークスルー情報保存部１２３とを備えている。このデータベースは、インターネット等の通信網を介して、表示処理部１４０に接続しても良い。
The
以下、これらの保存部１２１、１２２、１２３に格納されるデータ及び情報について説明する。
Hereinafter, data and information stored in the
この実施の形態１では、図２に示したような住宅のウォークスルーを、視聴者（仮想体験者）に提供する。 In the first embodiment, a walk-through of a house as shown in FIG. 2 is provided to a viewer (virtual experience person).
図２において、静止スポット１〜１２は、ウォークスルーの仮想体験時に、視聴者が立ち止まって住宅内を見渡す位置である。この実施の形態１では、これら静止スポット１〜１２にカメラを固定して、全周囲（３６０゜）のパノラマ静止画を撮影する。但し、全周囲でない、通常の動画を用いても良い。この撮影で得られた画像データ（以下、「静止画像データ」と記す）は、静止画像データ保存部１２２に保存される。
In FIG. 2,
また、パスＰ１〜Ｐ１４は、ウォークスルーの仮想体験において、視聴者が住宅内を歩き回る際の移動経路である。この実施の形態１では、これらパスＰ１〜Ｐ１４のそれぞれで、カメラを移動させながら、全周囲のパノラマ動画を撮影する。この撮影で得られた画像データ（以下、「移動画像データ」と記す）は、移動画像データ保存部１２１に保存される。
In addition, the paths P1 to P14 are moving paths when the viewer walks around the house in the walk-through virtual experience. In the first embodiment, panoramic video of the entire periphery is photographed while moving the camera in each of these paths P1 to P14. Image data obtained by this shooting (hereinafter referred to as “moving image data”) is stored in the moving image
更に、ウォークスルー情報保存部１２３には、表示処理部１４０（後述）が、移動画像データや静止画像データを保存部１２１、１２２から適宜読み出して仮想体験用画像を生成するために必要な各種情報を保存する。具体的には、このウォークスルー情報保存部１２３には、各静止スポット１〜１２の識別番号、各静止スポット１〜１２から移動可能な他の静止スポットとその移動方向、各静止スポット１〜１２と静止画像データ保存部１２２に保存された静止画像データとの関連付け情報、各パスＰ１〜Ｐ１４と移動画像データ保存部１２１に保存された移動画像データとの関連付け情報等が保存される。
Further, in the walk-through
一方、図１において、操作部１３０は、ウォークスルー・システム１００に対する各種操作を行う。また、この操作部１３０を操作者（視聴者や、仮想体験サービスの提供者等）が操作することにより、移動先静止スポットを選択することができる（詳細は後述する）。操作部１３０としては、例えば、キーボード、マウス、タブレット端末のタッチパネル機構、ゲームコントローラ等を使用することができる。
On the other hand, in FIG. 1, the
表示処理部１４０は、操作部１３０の操作に従い、データベース１２０の保存部１２１、１２２、１２３に格納されたデータ及び情報を用いて、ウォークスルーを仮想体験するための画像を適宜生成する。
In accordance with the operation of the
以下、表示処理部１４０の処理について説明する。
Hereinafter, processing of the
仮想体験が開始されたとき、表示処理部１４０は、仮想空間上の視聴者の位置を、何れかの静止スポット（図２参照）に設定する。そして、表示処理部１４０は、データベース１２０のウォークスルー情報保存部１２３からその静止スポットの識別番号を読み出し、更に、この識別番号に対応する静止画像データを、静止画像データ保存部１２２から読み出す。そして、表示処理部１４０は、この静止画像データを、表示部１１０に送る。その結果、表示部１１０は、その静止スポットに視聴者が立っているときの視界を、静止画像として表示する。
When the virtual experience is started, the
上述のように、この静止画像は、全周囲（３６０゜）のパノラマ静止画である。このため、操作者が操作部１３０を操作することで、視聴者は、図３に示したように、前後左右上下の略３６０゜の方向を自由に見渡すことができる。また、この静止画は、ズームイン／ズームアウトも、自由に行うことができる。
As described above, this still image is a panoramic still image of the entire circumference (360 °). For this reason, when the operator operates the
図３は、静止スポット１に対応する静止画像の一例であり、正面、斜め上、斜め下、斜め右、斜め左の視界を示している。
FIG. 3 is an example of a still image corresponding to the
また、このとき、表示処理部１４０は、データベース１２０のウォークスルー情報保存部１２３から、その静止スポットから移動可能な他の静止スポットと、その移動方向に関する情報を読み出す。そして、表示処理部１４０は、表示部１１０の静止画像に重ねて、これら移動可能な静止スポットの方向を示すマークを表示させる。
At this time, the
図４は、静止スポット２に対応する静止画像の一例である。静止スポット２は、静止スポット１、３、４、５との間にパスＰ１、Ｐ２、Ｐ４、Ｐ５が設定されており、従って、これら静止スポット１、３、４、５への移動が可能である（図２参照）。このため、表示部１１０には、静止スポット２から見た静止画像に重ねて、静止スポット１、３、４、５の方向を示すマークが表示される。
FIG. 4 is an example of a still image corresponding to the
図４の例では、視聴者が窓の方向を見ているときの静止画像であるため、静止スポット１の方向を示すマークＭ１と、静止スポット３の方向を示すマークＭ２とが、表示部１１０に表示されている。この状態において、視聴者が右方向へ視界を移すことにより、表示部１１０には、静止スポット４の方向を示すマークが表示されるようになる（図示せず）。また、この状態において、視聴者が背後へ視界を移すことにより、表示部１１０には、静止スポット５の方向を示すマークが表示されるようになる（図示せず）。
In the example of FIG. 4, since it is a still image when the viewer is looking in the direction of the window, the mark M1 indicating the direction of the
なお、移動可能な静止スポットが、同じ方向に複数個存在する場合には、その時に選択されている静止スポット（仮想体験において、視聴者が位置している静止スポット）から最も近いものを、移動可能な静止スポットとすればよい。 If there are multiple movable still spots in the same direction, the one that is closest to the still spot selected at that time (the still spot where the viewer is located in the virtual experience) is moved. What is necessary is just a possible stationary spot.
操作者は、表示部１１０が表示しているマークから、何れか一つを選択することができる。例えば、操作部１３０としてマウスを使用している場合であれば、選択したいマークの位置にポインタを移動させてマウスをクリックすることで、操作者は任意のマークを選択できる。
The operator can select any one from the marks displayed on the
何れかのマークが選択されると、表示処理部１４０は、そのマークが示す方向に位置する静止スポットを特定して、移動先静止スポットに設定する。更に、表示処理部１４０は、現在の静止スポット（移動元静止スポット）と移動先静止スポットとを結ぶパスを、パスＰ１〜Ｐ１４から特定する。
When any mark is selected, the
続いて、表示処理部１４０は、特定されたパスに対応する移動画像データを、データベース１２０の移動画像データ保存部１２１から読み出す。そして、表示処理部１４０は、その移動画像データを表示部１１０に送る。これにより、表示部１１０が、移動画像を表示する。
Subsequently, the
上述したように、この移動画像は、全周囲（３６０゜）のパノラマ動画である。このため、各静止スポット１〜１２の静止画像と同様、操作部１３０を操作することで、視聴者は、前後左右上下の略３６０゜の方向を、自由に見渡すことができる。また、この静止画は、ズームイン／ズームアウトや移動の停止等も、自由に行うことができる。
As described above, this moving image is a panoramic video of the entire circumference (360 °). For this reason, as with the still images of the still spots 1 to 12, by operating the
移動画像を表示する場合には、移動元静止スポットから移動先静止スポットへの移動方向に応じて、その移動画像の再生方向が決定される。すなわち、動画は、片方向のみ撮影し保存しておけば、逆方向への移動の動画は逆回転に再生することで実現できる。 When a moving image is displayed, the reproduction direction of the moving image is determined according to the moving direction from the movement source still spot to the movement destination stationary spot. That is, if the moving image is captured and stored only in one direction, the moving image moving in the reverse direction can be realized by reproducing it in the reverse direction.
また、移動元静止スポットの静止画像がズームイン／ズームアウトされている場合は、その表示倍率に一致するように、移動画像の表示倍率を設定しても良い。 Further, when the still image of the movement source still spot is zoomed in / zoomed out, the display magnification of the moving image may be set so as to match the display magnification.
次に、表示処理部１４０は、移動先の静止画像データを、データベース１２０の静止画像データ保存部１２２から読み出す。そして、表示処理部１４０は、表示部１１０による移動画像の再生の終了後に、仮想空間上の視聴者の位置を移動先静止スポットに設定すると共に、その静止画像データを表示部１１０に送る。
Next, the
更に、表示処理部１４０は、データベース１２０のウォークスルー情報保存部１２３から、その静止スポットから移動可能な静止スポットと方向に関する情報を読み出す。そして、表示処理部１４０は、表示部１１０の静止画像に重ねて、これら移動可能な静止スポットの方向を示すマークを表示させる。
Further, the
その後も、操作者が何れかのマークを選択するたびに、表示処理部１４０が同様の動作を繰り返す。
Thereafter, each time the operator selects any mark, the
以上説明したように、この実施の形態１では、各静止スポットで周囲を見渡す仮想体験のための静止画像と、これら静止スポット間の移動する仮想体験のための動画とを、個別に撮影して保存することとした。そして、各操作者が移動先静止スポットを選択することで、各静止スポット間を移動する仮想体験を行えるようにした。このため、この実施の形態１によれば、建築物の仮想的な三次元構造を構築しないにも拘わらず、十分に現実感のある仮想体験を視聴者に行わせることができる。従って、この実施の形態１によれば、撮影作業や画像処理を簡単にできると共に、高価な撮影機材を使用する必要が無い。
As described above, in the first embodiment, a still image for a virtual experience overlooking the surroundings at each still spot and a moving image for a virtual experience moving between these still spots are individually photographed. We decided to save. Each operator can select a destination stationary spot to perform a virtual experience of moving between the stationary spots. For this reason, according to this
また、この実施の形態１によれば、表示部１１０が静止スポットでの視聴者の視界を表示しているときに、その画像に重ねて表示されたマークを選択するだけで、次の静止スポットへの移動を行うことができ、従って、視聴者が仮想空間内を歩き回る仮想体験を、簡単な操作のみで行える。
In addition, according to the first embodiment, when the
更に、この実施の形態１では、移動時の動画として、実際にパス上を移動するカメラによって撮影された動画を使用するので、移動の仮想体験を十分に現実感のあるものとすることができる。 Furthermore, in the first embodiment, a moving image that is actually taken by a camera that moves on the path is used as the moving image, so that the virtual experience of movement can be sufficiently realistic. .
［この発明の実施の形態２］
この発明の実施の形態２について、図５のブロック図を用いて説明する。
[
A second embodiment of the present invention will be described with reference to the block diagram of FIG.
上述の実施の形態１では、パスＰ１〜Ｐ１４でカメラを移動させながら撮影した全周囲のパノラマ動画を移動画像データ保存部１２１に保存して、移動画像に使用した。
In the first embodiment described above, the panoramic video of the entire periphery shot while moving the camera in the paths P1 to P14 is stored in the moving image
これに対して、この実施の形態２では、パスＰ１〜Ｐ１４のそれぞれにおいて、複数の地点でパノラマ静止画像を撮影し、これらパノラマ静止画像を、移動画像データとして、移動画像データ保存部１２１に保存する。移動画像は、移動中の動画表現のためにのみ用いられるため、静止スポットの画像よりも解像度や画質を落としても影響は少ない。そこで、データ容量やコンピュータの処理負荷などを考慮して、解像度や画質を落としたものを用いてよい。
In contrast, in the second embodiment, panoramic still images are taken at a plurality of points in each of the paths P1 to P14, and these panoramic still images are stored in the moving image
また、ウォークスルー情報保存部１２３には、これら複数の移動画像データと各パスＰ１〜Ｐ１４との関連付け情報等が保存される。
The walk-through
そして、何れかのパスの移動動画を表示部１１０に再生させる際に、表示処理部１４０が、そのパスに対応する複数の画像データ（静止画像のデータ）を、移動画像データ保存部１２１から読み出し、動画生成部５１０へ送る。続いて、この動画生成部５１０が、これらの画像データをアニメーション化すること（すなわち、連続的に表示を切り替えること）で、そのパスに対応する移動動画を生成し、表示処理部１４０へ送る。そして、表示処理部１４０が、その動画の移動動画を表示部１１０に送って、表示させる。
When the moving image of any path is reproduced on the
他の構成や動作は、上述の実施の形態１と同様である。 Other configurations and operations are the same as those in the first embodiment.
この実施の形態２によれば、移動の仮想体験を十分に現実感のあるものとしつつ、上述の実施の形態１よりも更に、仮想体験を安価に提供できる。 According to the second embodiment, it is possible to provide a virtual experience at a lower cost than in the first embodiment, while making the virtual experience of movement sufficiently realistic.
［この発明の実施の形態３］
この発明の実施の形態３について説明する。この実施の形態３に係るシステム構成は、図５と同様である。
[Third Embodiment of the Invention]
この実施の形態３では、パスＰ１〜Ｐ１４のそれぞれにおいて、一方の静止スポットから他方の静止スポットを見た視界の全周囲（３６０゜）の静止画（例えばパノラマ静止画）の撮影を、１枚ずつ行う。この撮影で得られた静止画像データは、移動画像データ保存部１２１に保存される。
In the third embodiment, in each of the paths P1 to P14, one still image (for example, a panoramic still image) is captured all around the field of view (360 °) when viewing the other still spot from one still spot. Do it one by one. Still image data obtained by this shooting is stored in the moving image
また、ウォークスルー情報保存部１２３には、これら静止画像データと各パスＰ１〜Ｐ１４との関連付け情報等が保存される。
The walk-through
そして、何れかのパスの移動動画を表示部１１０に再生させる際に、表示処理部１４０が、そのパスに対応する１枚の静止画像データを、移動画像データ保存部１２１から読み出し、動画生成部５１０へ送る。そして、この動画生成部５１０が、この静止画像データを三次元のモデルにマッピングし、その三次元空間を徐々に移動することでそのパスを移動しているように見せる移動動画を生成し、表示処理部１４０へ送る。
When the moving image of any path is reproduced on the
ここで、周知のように、３６０゜カメラで撮影した画像は、超広角カメラで撮影したような、歪んだ画像である。このため、動画生成部５１０は、この画像に写っている空間の三次元モデルに基づき、以下のようにして、撮影した画像を加工する。
Here, as is well known, an image taken with a 360 ° camera is a distorted image taken with an ultra-wide angle camera. For this reason, the moving
（１）最初に、以下のようにして、移動元静止スポット上で移動先静止スポットを眺めたときの視界に相当する静止画像データ（以下、「基準静止画像」と記す）を生成する。 (1) First, still image data (hereinafter referred to as “reference still image”) corresponding to the field of view when the destination still spot is viewed on the source still spot is generated as follows.
ａ．まず、撮影を行った空間を三次元モデル化し、この三次元モデルに複数の基準点を設定する。各基準点は、それぞれ、三次元（ｘ，ｙ，ｚ）の座標を有する。各基準点の三次元座標は、撮影を行った現場で、各基準点となる場所の位置関係を計測することによって決定される。 a. First, the space in which the image is taken is converted into a three-dimensional model, and a plurality of reference points are set in the three-dimensional model. Each reference point has three-dimensional (x, y, z) coordinates. The three-dimensional coordinates of each reference point are determined by measuring the positional relationship between the locations serving as the reference points at the site where the image was taken.
ｂ．各基準点の三次元座標を、移動元静止スポットにおける二次元投影座標（すなわち、二次元画像として表示する時の座標）に変換する。 b. The three-dimensional coordinates of each reference point are converted into two-dimensional projection coordinates (that is, coordinates when displayed as a two-dimensional image) in the movement source stationary spot.
ｃ．基準静止画像の画素から、これら基準点に対応するものを特定する。 c. Those corresponding to these reference points are specified from the pixels of the reference still image.
ｄ．そして、これらの画素の位置が、それぞれ、対応する基準点の二次元座標と一致するように、基準静止画像を変形させる。 d. Then, the reference still image is deformed so that the positions of these pixels coincide with the two-dimensional coordinates of the corresponding reference points.
以上のａ〜ｄにより、最初の静止画像データ（以下、「変換静止画像」と記す）が完成する。 With the above a to d, the first still image data (hereinafter referred to as “converted still image”) is completed.
（２）次に、各基準点の三次元座標を、移動元静止スポットから所定距離だけ移動先静止スポットに近づいたときの二次元投影座標に変換する。そして、変換後の二次元投影座標について、上述のｃ、ｄの処理を行う。 (2) Next, the three-dimensional coordinates of each reference point are converted into two-dimensional projection coordinates when approaching the destination stationary spot by a predetermined distance from the source stationary spot. Then, the above-described processes c and d are performed on the converted two-dimensional projection coordinates.
（３）その後も、二次元投影座標を、移動先静止スポットに徐々に近づいたときのものに変換しつつ、上述のｃ、ｄの処理を繰り返す。そして、移動先静止スポットに到達したときの変換静止画像が得られると、これらの処理の繰り返しを終了する。 (3) After that, the above-described processes c and d are repeated while converting the two-dimensional projection coordinates into those gradually approaching the destination stationary spot. When the converted still image when the destination still spot is obtained is obtained, the repetition of these processes is terminated.
（４）全ての変換静止画像を生成すると、動画生成部５１０は、これらの変換静止画像をアニメーション化することで、そのパスに対応する移動動画を生成する。
(4) When all the converted still images are generated, the moving
その後、動画生成部５１０は、この移動動画を、表示処理部１４０へ送る。そして、表示処理部１４０が、その移動動画を表示部１１０に送って、表示させる。
Thereafter, the moving
ここで、動画生成部５１０が生成する各変換静止画像は、三次元モデルの基準点数を多くするほど、歪みの少ない高画質なものにできる。そして、各変換静止画像が高画質であるほど、それらをアニメーション化した移動動画も高画質になる。
Here, each converted still image generated by the moving
例えば、撮影した部屋が床、天井、四方の壁からなる六面体空間であると仮定した場合には、移動元静止スポットと移動先静止スポットと六つの面との距離や位置関係等が正確に特定されるように、多数の基準点を設定すれば、三次元モデルを正確に設定でき、このため、視界を正確に再現することができる。 For example, if it is assumed that the filmed room is a hexahedral space consisting of a floor, ceiling, and four walls, the distance and positional relationship between the source stationary spot, destination stationary spot, and the six planes can be accurately specified. As described above, if a large number of reference points are set, the three-dimensional model can be set accurately, and thus the field of view can be accurately reproduced.
しかしながら、上述のように、全周囲（３６０゜）の静止画に基準点を設定するためには、その基準点の位置を実際に正確に計測して、その三次元座標を決定しなければならない。このため、基準点の数が多いほど、計測作業の労力が増大して、移動画像の作成費用を増大させることになる。 However, as described above, in order to set a reference point in a still image of the entire circumference (360 °), the position of the reference point must be actually measured accurately and its three-dimensional coordinates must be determined. . For this reason, as the number of reference points increases, the labor of the measurement work increases, and the cost for creating a moving image increases.
このため、この実施の形態３では、図６に示したように、基準点を、移動元静止スポットＰｎ上と、移動先静止スポットＰｍ上と、その移動先静止スポットＰｍの後方にある壁面上の点Ｐｗの、三点のみとする。そして、移動元静止スポットＰｎから壁面の点Ｐｗまでの距離Ｌ１と、移動元静止スポットＰｎから移動先静止スポットＰｍまでの距離Ｌ２のみを、計測する。 Therefore, in the third embodiment, as shown in FIG. 6, the reference points are on the movement source stationary spot Pn, the movement destination stationary spot Pm, and on the wall surface behind the movement destination stationary spot Pm. The point Pw is only three points. Then, only the distance L1 from the movement source stationary spot Pn to the point Pw on the wall surface and the distance L2 from the movement source stationary spot Pn to the movement destination stationary spot Pm are measured.
その結果、この実施の形態３では、上記のような六面体空間に対応させて、回転楕円体の三次元モデルを設定することになる。このため、各静止画像データは、画像の中心部分では高画質であるが（歪みが少ないが）、周辺部分に近いほど歪みが大きい画像となる。しかしながら、本発明者等の検討によれば、このような静止画像データをアニメーション化した移動動画であっても、静止スポット間を移動する仮想体験の動画としては、十分な現実感が得られる。 As a result, in the third embodiment, a three-dimensional model of a spheroid is set corresponding to the hexahedral space as described above. For this reason, each still image data has a high image quality in the center portion of the image (although there is little distortion), but the closer to the peripheral portion, the larger the distortion becomes. However, according to the study by the present inventors, even a moving moving image in which such still image data is animated can provide a sufficient sense of reality as a moving image of a virtual experience that moves between still spots.
また、基準点を上述のような三点とすることで、計測作業の労力を低減させて、移動画像の作成費用を減らすことができる。 Further, by setting the reference points to the three points as described above, it is possible to reduce the labor of measurement work and reduce the cost of creating a moving image.
他の構成や動作は、上述の実施の形態１と同様である。 Other configurations and operations are the same as those in the first embodiment.
以上説明したように、この実施の形態３によれば、移動の仮想体験を十分に現実感のあるものとしつつ、上述の実施の形態１、２よりも更に、仮想体験を安価に提供できる。 As described above, according to the third embodiment, it is possible to provide a virtual experience at a lower cost than in the first and second embodiments, while making the virtual experience of movement sufficiently realistic.
１００ システム
１１０ 表示部
１２０ データベース
１２１ 移動画像データ保存部
１２２ 静止画像データ保存部
１２３ ウォークスルー情報保存部
１３０ 操作部
１４０ 表示処理部
100
Claims (7)
前記仮想体験用の画像を表示する表示部と、
前記視聴者が前記パスを移動する際の視界変化を示す移動動画を、前記表示部に表示させるための、移動画像データを保存する移動画像データ保存部と、
前記静止スポットにおける静止画像を、前記表示部に表示させるための、静止画像データを保存する静止画像データ保存部と、
何れかの前記静止スポットが選択された状態で、移動先の該静止スポットを選択するための操作部と、
該操作部が前記移動先の静止スポットを選択したときに、この選択結果に対応する前記移動画像データ及び前記静止画像データを前記移動画像データ保存部及び前記静止画像データ保存部から読み出して、前記仮想体験用の画像として前記表示部に順次表示させる表示処理部と、
を備えることを特徴とするウォークスルー・システム。 A walk-through system for allowing viewers to perform a virtual experience of moving around a set path between multiple still spots and looking around.
A display unit for displaying the virtual experience image;
A moving image data storage unit for storing moving image data for displaying on the display unit a moving video showing a change in field of view when the viewer moves along the path;
A still image data storage unit for storing still image data for displaying a still image at the still spot on the display unit;
With any one of the stationary spots selected, an operation unit for selecting the stationary spot to be moved;
When the operation unit selects the still spot of the movement destination, the moving image data and the still image data corresponding to the selection result are read from the moving image data storage unit and the still image data storage unit, and A display processing unit for sequentially displaying on the display unit as a virtual experience image;
A walk-through system characterized by comprising:
何れかの前記静止スポットの前記静止画像を前記表示部に表示させる際に、該静止画像に重ねて、当該静止スポットからの移動が可能な他の該静止スポットへの移動方向を示すマークを１個又は複数個表示させるマーク表示処理と、
前記操作部によって何れかの該マークが選択されたときに、その選択された移動方向に配置された前記静止スポットの内で最も移動距離が短いものを、前記移動先の静止スポットに決定する移動先決定処理と、
を更に実行することを特徴とする請求項１に記載のウォークスルー・システム。 The display processing unit
When displaying the still image of any one of the still spots on the display unit, a mark indicating the moving direction to another still spot that can be moved from the still spot is superimposed on the still image. Mark display processing to display one or more,
When any one of the marks is selected by the operation unit, a movement that determines a stationary spot having the shortest moving distance among the stationary spots arranged in the selected moving direction as the stationary spot to be moved. Pre-decision processing,
The walk-through system of claim 1, further comprising:
前記表示処理部は、該動画を、前記移動動画として前記表示部に表示させる、
ことを特徴とする請求項１又は２に記載のウォークスルー・システム。 The moving image data stored by the moving image data storage unit is a moving image shot by a camera moving on the path,
The display processing unit displays the moving image on the display unit as the moving moving image.
The walk-through system according to claim 1 or 2, characterized by the above.
前記表示処理部は、同一の前記パスに対応する複数の該静止画像をアニメーション化した画像を、前記移動動画として前記表示部に表示させる、
ことを特徴とする請求項１又は２に記載のウォークスルー・システム。 The moving image data stored by the moving image data storage unit are still images taken at a plurality of points for each path,
The display processing unit causes the display unit to display an image in which a plurality of the still images corresponding to the same path are animated as the moving moving image.
The walk-through system according to claim 1 or 2, characterized by the above.
前記表示処理部は、該１枚の基準静止画像から変換した複数の変換静止画像をアニメーション化してなる画像を、前記移動動画として前記表示部に表示させ、
該複数の変換静止画像は、
撮影を行った空間を三次元モデル化し、この三次元モデルに、実際の計測結果に基づいた座標を有する複数の基準点を設定する第１処理と、
各基準点の三次元座標を、前記パス上の複数の位置に対応する複数の二次元投影座標に変換する第２処理と、
前記基準静止画像の画素から、前記基準点に対応するものをそれぞれ特定する第３処理と、
前記複数の二次元投影座標のそれぞれについて、前記画素の位置が、これに対応する前記基準点の前記二次元投影座標と一致するように、前記基準静止画像を変形させる第４処理と、
を含む移動動画生成処理で生成されることを特徴とする請求項１又は２に記載のウォークスルー・システム。 The moving image data stored by the moving image data storage unit is one reference still image taken at the still spot from which the path is moved,
The display processing unit causes the display unit to display an image formed by animating a plurality of converted still images converted from the single reference still image as the moving moving image,
The plurality of converted still images are:
A first process of making a three-dimensional model of the imaged space and setting a plurality of reference points having coordinates based on actual measurement results in the three-dimensional model;
A second process for converting the three-dimensional coordinates of each reference point into a plurality of two-dimensional projection coordinates corresponding to a plurality of positions on the path;
A third process for identifying each of the pixels of the reference still image corresponding to the reference point;
For each of the plurality of two-dimensional projection coordinates, a fourth process for deforming the reference still image so that the position of the pixel coincides with the two-dimensional projection coordinates of the reference point corresponding thereto,
The walk-through system according to claim 1, wherein the walk-through system is generated by a moving moving image generation process including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016206740A JP2018067229A (en) | 2016-10-21 | 2016-10-21 | Walk-through system and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016206740A JP2018067229A (en) | 2016-10-21 | 2016-10-21 | Walk-through system and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018067229A true JP2018067229A (en) | 2018-04-26 |
Family
ID=62087087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016206740A Pending JP2018067229A (en) | 2016-10-21 | 2016-10-21 | Walk-through system and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018067229A (en) |
-
2016
- 2016-10-21 JP JP2016206740A patent/JP2018067229A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11217019B2 (en) | Presenting image transition sequences between viewing locations | |
| CN110874818B (en) | Image processing and virtual space construction method, device, system and storage medium | |
| US11842384B2 (en) | Digital model optimization responsive to orientation sensor data | |
| US20140181630A1 (en) | Method and apparatus for adding annotations to an image | |
| JP6310149B2 (en) | Image generation apparatus, image generation system, and image generation method | |
| US20240087157A1 (en) | Image processing method, recording medium, image processing apparatus, and image processing system | |
| JP6635573B2 (en) | Image processing system, image processing method, and program | |
| JP2013008257A (en) | Image composition program | |
| JP2019101563A (en) | Information processing apparatus, information processing system, information processing method, and program | |
| CN110751616B (en) | Indoor and outdoor panoramic house-watching video fusion method | |
| JP6149967B1 (en) | Video distribution server, video output device, video distribution system, and video distribution method | |
| JP7334460B2 (en) | Work support device and work support method | |
| JP2006040053A (en) | Image processing method and program | |
| CN111064946A (en) | Video fusion method, system, device and storage medium based on indoor scene | |
| CN111064947A (en) | Panoramic-based video fusion method, system, device and storage medium | |
| WO2015141214A1 (en) | Processing device for label information for multi-viewpoint images and processing method for label information | |
| CN113674397B (en) | Data processing method and device | |
| CN108510433B (en) | Space display method and device and terminal | |
| Yu et al. | Projective Bisector Mirror (PBM): Concept and Rationale | |
| JP2017084215A (en) | Information processing system, control method thereof, and program | |
| JP2018067229A (en) | Walk-through system and program | |
| JP2017168132A (en) | Virtual object display system, display system program, and display method | |
| JP7417827B2 (en) | Image editing method, image display method, image editing system, and image editing program | |
| JP2012128737A (en) | Three-dimentional (3d) video generation system | |
| KR20190081178A (en) | System and method for providing augmented reality user interface |