JP2014082764A - Image display device, image display method, server apparatus and image data structure - Google Patents

Image display device, image display method, server apparatus and image data structure Download PDF

Info

Publication number
JP2014082764A
JP2014082764A JP2013228514A JP2013228514A JP2014082764A JP 2014082764 A JP2014082764 A JP 2014082764A JP 2013228514 A JP2013228514 A JP 2013228514A JP 2013228514 A JP2013228514 A JP 2013228514A JP 2014082764 A JP2014082764 A JP 2014082764A
Authority
JP
Japan
Prior art keywords
image
moving image
still image
panoramic
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013228514A
Other languages
Japanese (ja)
Other versions
JP5646033B2 (en
Inventor
Kyoko Furumura
京子 古村
Shinichi Hirata
真一 平田
Ken Yamagishi
建 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2013228514A priority Critical patent/JP5646033B2/en
Publication of JP2014082764A publication Critical patent/JP2014082764A/en
Application granted granted Critical
Publication of JP5646033B2 publication Critical patent/JP5646033B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image display device capable of effectively displaying moving images in a panoramic image.SOLUTION: A control point detection section 20 extracts a feature point between a panoramic image and a part of a frame of the moving image to detect a control point for associating the moving image to a region of the panoramic image. An alignment processing section 12 adjusts the alignment of the moving image with respect to the panoramic image based on the control point. A mapping processing section 14 performs mapping of the panoramic image and a still image frame of the moving image after alignment processing as a texture in a three-dimensional panoramic space. A three-dimensional image generation section 16 generates a three-dimensional panoramic image when the three-dimensional panoramic space is viewed in a specified viewing direction. Receiving an instruction to reproduce a moving image in the three-dimensional panoramic image, a moving image reproduction section 22 reproduces the moving image.

Description

この発明は、画像を表示する装置および方法に関する。   The present invention relates to an apparatus and a method for displaying an image.

デジタルスチルカメラやデジタルビデオカメラが普及しており、撮影した静止画や動画をコンピュータに保存して閲覧、加工したり、ゲーム機やテレビジョン(TV)システムの画面に表示する機会が多くなっている。また、撮影した動画をインターネットの投稿サイトにアップロードし、他のユーザと動画を共有することも盛んである。   Digital still cameras and digital video cameras have become widespread, and there are more opportunities to save and view captured still images and movies on a computer, display them on the screen of game consoles and television (TV) systems. Yes. In addition, it is also popular to upload a captured video to an Internet posting site and share the video with other users.

デジタルカメラの中には、パノラマ画像の撮影が可能なものもあり、手軽に視野角の広いパノラマ画像を撮影することができるようになってきた。また、撮影方向を変えながら、デジタルカメラの撮影した複数の画像を貼り合わせることでパノラマ画像を生成するソフトウエアツールもよく利用されている。   Some digital cameras can take panoramic images, and it has become possible to easily take panoramic images with a wide viewing angle. A software tool that generates a panoramic image by combining a plurality of images taken by a digital camera while changing the shooting direction is also often used.

ユーザが撮影したこのようなパノラマ画像の投稿を受け付け、インターネットで公開する360citiesというサイト(http;//www.360cities.net)もあり、世界中のユーザが投稿したパノラマ画像を閲覧することができる。   There is also a site called 360 cities (http; // www.360cities.net) that accepts postings of panoramic images taken by users and publishes them on the Internet, and can browse panoramic images posted by users all over the world. .

パノラマ画像が静止画である場合、パノラマ画像に撮像された一部の対象物について静止画に代えて動画を提供したい場合がある。たとえば、夜景を撮影したパノラマ画像の場合、静止画でも十分美しいが、動画であれば、建物の照明が付いたり消えたりする様子を示すことができ、より現実感や美しさが増す。また、動きのある対象物については動画にすると、パノラマ画像に躍動感を与えることができる。また、パノラマ画像を通して全体の風景を見た後、興味のある対象物にフォーカスして詳細を見るとき、動画が提供されると、より多くの情報を提供することができる。   When the panoramic image is a still image, it may be desired to provide a moving image instead of the still image for some objects captured in the panoramic image. For example, in the case of a panoramic image obtained by photographing a night view, a still image is sufficiently beautiful, but in the case of a moving image, it can be shown that the lighting of a building is turned on or off, and the realism and beauty are further increased. In addition, if a moving object is converted into a moving image, a dynamic feeling can be given to the panoramic image. In addition, when viewing the entire landscape through a panoramic image and then viewing the details while focusing on the object of interest, more information can be provided if a moving image is provided.

本発明はこうした課題に鑑みてなされたものであり、その目的は、静止画像内に動画像を効果的に表示することのできる技術を提供することにある。   The present invention has been made in view of these problems, and an object of the present invention is to provide a technique capable of effectively displaying a moving image in a still image.

上記課題を解決するために、本発明のある態様のパノラマ画像表示装置は、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像の一部のフレームとの間で特徴点を抽出することにより、前記動画像を前記パノラマ画像の領域に対応付けるためのコントロールポイントを検出する検出部と、前記コントロールポイントにもとづいて前記パノラマ画像に対する前記動画像のアライメントを調整するアライメント処理部と、前記パノラマ画像およびアライメント処理された前記動画像の静止画フレームをテクスチャとして3次元パノラマ空間にマッピングするマッピング処理部と、前記パノラマ画像の撮影場所を視点位置として、前記3次元パノラマ空間を指定された視線方向に見たときの3次元パノラマ画像を生成する3次元画像生成部と、前記3次元パノラマ画像を画面に表示させる表示制御部と、表示された3次元パノラマ画像に対するユーザの指示を受け付けるインタフェース部と、前記インタフェース部が前記3次元パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含む。   In order to solve the above-described problem, a panoramic image display device according to an aspect of the present invention extracts a feature point between a panoramic image and a partial frame of a moving image to be pasted on the panoramic image. A detection unit for detecting a control point for associating a moving image with the region of the panoramic image, an alignment processing unit for adjusting alignment of the moving image with respect to the panoramic image based on the control point, and the panoramic image and alignment processing A mapping processing unit that maps the still image frame of the moving image as a texture to a three-dimensional panoramic space, and the three-dimensional panoramic space is viewed in a specified line-of-sight direction with the shooting location of the panoramic image as a viewpoint position A 3D image generation unit for generating a 3D panoramic image of A display control unit for displaying the 3D panoramic image on a screen; an interface unit for accepting a user's instruction for the displayed 3D panoramic image; and an instruction for the interface unit to reproduce the moving image in the 3D panoramic image. Is received, the moving image reproducing unit for reproducing the moving image is included.

本発明の別の態様もまた、パノラマ画像表示装置である。この装置は、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像が与えられたとき、前記パノラマ画像に対する前記動画像の少なくとも一部のフレームのアライメントを調整するアライメント処理部と、前記パノラマ画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させる表示制御部と、表示されたパノラマ画像に対するユーザの指示を受け付けるインタフェース部と、前記インタフェース部が前記パノラマ画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含む。前記インタフェース部が前記パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像再生部は、前記動画像の静止画フレームに代えて、前記動画像の再生を開始する。   Another aspect of the present invention is also a panoramic image display device. The apparatus includes an alignment processing unit that adjusts alignment of at least a part of a frame of the moving image with respect to the panoramic image when a panoramic image and a moving image to be pasted on the panoramic image are given, and alignment with the panoramic image. A display control unit that displays the processed still image frame of the moving image on a screen, an interface unit that receives a user instruction for the displayed panoramic image, and the interface unit displays the moving image in the panoramic image. A moving image reproduction unit that reproduces the moving image when an instruction to reproduce is received. When the interface unit receives an instruction to zoom in on an area including the moving image in the panoramic image, the moving image reproduction unit starts reproducing the moving image instead of the still image frame of the moving image. .

本発明のさらに別の態様は、パノラマ画像表示方法である。この方法は、プロセッサが、パノラマ画像と前記パノラマ画像に貼り付けるべき動画像を記憶デバイスから読み出し、前記パノラマ画像に対する前記動画像の少なくとも一部のフレームのアライメントを調整するステップと、プロセッサが、前記パノラマ画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させるステップと、プロセッサが、表示されたパノラマ画像に対するユーザの指示を受け付けるステップと、プロセッサが、前記パノラマ画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像の静止画フレームに代えて、前記動画像の再生を開始するステップとを含む。   Yet another embodiment of the present invention is a panoramic image display method. In this method, a processor reads out a panoramic image and a moving image to be pasted on the panoramic image from a storage device, adjusts an alignment of at least a part of the frame of the moving image with respect to the panoramic image, and the processor includes: A step of superimposing a still image frame of the moving image that has undergone alignment processing on a panoramic image and displaying the frame on a screen; a step of receiving a user instruction for the displayed panoramic image; A step of starting reproduction of the moving image instead of the still image frame of the moving image when an instruction to zoom in on an area including the moving image is received.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described constituent elements and the expression of the present invention converted between a method, an apparatus, a system, a computer program, a data structure, a recording medium, and the like are also effective as an aspect of the present invention.

本発明によれば、静止画像内に効果的に動画像を表示することができる。   According to the present invention, a moving image can be effectively displayed in a still image.

実施の形態に係るパノラマ画像表示装置の構成図である。1 is a configuration diagram of a panoramic image display device according to an embodiment. 図1のパノラマ画像表示装置に接続される入力デバイスの一例であるコントローラの構成図である。It is a block diagram of the controller which is an example of the input device connected to the panorama image display apparatus of FIG. 図3(a)〜(d)は、パノラマ画像を撮影するために用いられる全方位撮影システムの機構と撮影方向を説明する図である。FIGS. 3A to 3D are diagrams for explaining the mechanism and shooting direction of the omnidirectional shooting system used for shooting a panoramic image. 図4(a)はカメラの方位角θ、図4(b)はカメラの仰角φを説明する図である。4A illustrates the azimuth angle θ of the camera, and FIG. 4B illustrates the elevation angle φ of the camera. 図5(a)〜(c)は、カメラの初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。FIGS. 5A to 5C are diagrams illustrating panoramic images that are shot when the initial position of the camera is in the direction of the azimuth angle θ. 図6(a)〜(c)は、カメラの仰角φ=60°の場合に撮影されるパノラマ画像を説明する図である。FIGS. 6A to 6C are views for explaining panoramic images taken when the elevation angle φ of the camera is 60 °. 複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。It is a figure explaining the method of connecting a some image and producing a panoramic image. 複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。It is a figure explaining the method of connecting a some image and producing a panoramic image. 図1のパノラマ画像表示装置によるパノラマ画像生成手順を説明するフローチャートである。It is a flowchart explaining the panorama image generation procedure by the panorama image display apparatus of FIG. 図9(a)、(b)は、パノラマ画像とそれに貼り付けるべき動画像の例を示す図である。FIGS. 9A and 9B are diagrams showing examples of panoramic images and moving images to be pasted thereon. パノラマ画像に貼り付けるべき別の動画像を示す図である。It is a figure which shows another moving image which should be affixed on a panoramic image. 図10の動画像を貼り付けたパノラマ画像を示す図である。It is a figure which shows the panoramic image which affixed the moving image of FIG. 図11に示すパノラマ画像において、動画像が貼り付けられた領域にズームインしたときに表示される画像を示す図である。FIG. 12 is a diagram illustrating an image displayed when zooming in on a region where a moving image is pasted in the panoramic image illustrated in FIG. 11. 動画像が貼り付けられたパノラマ画像を示す図である。It is a figure which shows the panoramic image on which the moving image was affixed. 図14(a)、(b)、(c)は、パノラマ画像内の動画像の領域をズームインして動画像を再生した様子を示す。FIGS. 14A, 14B, and 14C show how a moving image is reproduced by zooming in on a moving image region in the panoramic image. ズームアウトして図13のパノラマ画像に戻ったときの画面例である。It is an example of a screen when zooming out and returning to the panoramic image of FIG. 動画像のアライメントを再調整してパノラマ画像に貼り付けた例を示す図である。It is a figure which shows the example which readjusted the alignment of a moving image and was affixed on the panoramic image.

本発明の実施の形態の概要を説明する。パノラマ画像に対して動画像の静止画フレームをアライメントして貼り付ける。パノラマ画像内の動画像を含む領域にズームインすると、それまで表示されていた静止画フレームに代えて、動画像の再生が開始される。撮影された動画像には手振れ成分が含まれているため、動画像とパノラマ画像の境界領域で画像に乱れが生じる。そこで、境界領域では動画像とパノラマ画像をアルファブレンドして手振れによる影響を軽減する。動画像の再生を中断して、ズームアウトすると、最後に表示されていたフレームをパノラマ画像に対してアライメントし直して表示する。あるいは、ズームアウトすると、元のパノラマ画像に切り替えて表示してもよい。   An outline of an embodiment of the present invention will be described. Align and paste a still image frame of a moving image to a panoramic image. When the area including the moving image in the panoramic image is zoomed in, reproduction of the moving image is started instead of the still image frame displayed so far. Since the captured moving image includes a camera shake component, the image is disturbed in the boundary region between the moving image and the panoramic image. In view of this, in the boundary region, the effect of camera shake is reduced by alpha blending the moving image and the panoramic image. When playback of a moving image is interrupted and zoomed out, the last displayed frame is realigned with the panoramic image and displayed. Alternatively, when zoomed out, the original panoramic image may be switched and displayed.

図1は、実施の形態に係るパノラマ画像表示装置100の構成図である。図1に示すパノラマ画像表示装置100の機能構成は、一例として、パーソナルコンピュータ、ゲーム機、携帯機器、携帯端末などにハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。これらの機能構成の一部がサーバに実装され、一部がクライアントに実装され、パノラマ画像表示装置100は、ネットワークを介してサーバ−クライアントシステムとして実現されてもよい。   FIG. 1 is a configuration diagram of a panoramic image display apparatus 100 according to an embodiment. The functional configuration of the panoramic image display device 100 illustrated in FIG. 1 can be implemented by hardware, software, or a combination thereof in a personal computer, a game machine, a portable device, a portable terminal, or the like as an example. A part of these functional configurations is mounted on a server and a part is mounted on a client, and the panoramic image display apparatus 100 may be realized as a server-client system via a network.

パノラマ画像・付加データ記憶部24は、撮影場所に関する情報と撮影方位に関する情報が関連付けられたパノラマ画像を保持する。撮影場所や撮影方位に関する情報などの付加データはパノラマ画像のデータファイルに直接付加されてもよく、付加データはパノラマ画像とは別のファイルとして管理されてもよい。   The panoramic image / additional data storage unit 24 holds a panoramic image in which information about the shooting location and information about the shooting direction are associated. Additional data such as information on the shooting location and shooting direction may be added directly to the panoramic image data file, and the additional data may be managed as a separate file from the panoramic image.

撮影場所に関する情報は、たとえば、GPS(Global Positioning System)により与えられる緯度・経度情報を含む。撮影方位に関する情報は、たとえば、方位センサなどから得られるパノラマ画像の中心点の方位角の情報を含み、それ以外に撮影時のカメラの仰角やロール角の情報を含んでもよい。   The information regarding the shooting location includes, for example, latitude / longitude information given by GPS (Global Positioning System). The information on the shooting direction includes, for example, information on the azimuth angle of the center point of the panoramic image obtained from the direction sensor, and may include information on the elevation angle and roll angle of the camera at the time of shooting.

撮影方位に関する情報としてパノラマ画像の中心点の方位角が与えられれば、カメラを左右方向にパンした角度にもとづいて、パノラマ画像の任意の点の方位を計算上、求めることができる。パノラマ画像の中心点の方位角とパン角にもとづいて計算された、パノラマ画像の真北、真南、真東、真西の方位にあるピクセルの座標値を撮影方位に関する情報としてパノラマ画像にもたせてもよい。   If the azimuth angle of the center point of the panoramic image is given as information on the shooting azimuth, the azimuth of an arbitrary point of the panoramic image can be calculated based on the angle of panning the camera in the left-right direction. Put the coordinate values of the pixels in the true north, true south, true east, and true west directions of the panoramic image calculated based on the azimuth angle and pan angle of the center point of the panoramic image as information on the shooting direction. May be.

パノラマ画像取得部10は、表示対象のパノラマ画像をパノラマ画像・付加データ記憶部24から取得する。表示対象のパノラマ画像は、たとえば、ユーザが地図などで撮影場所を指定することで特定される。   The panorama image acquisition unit 10 acquires a panorama image to be displayed from the panorama image / additional data storage unit 24. The panorama image to be displayed is specified, for example, by the user specifying the shooting location on a map or the like.

動画像データ記憶部26は、撮影場所に関する情報が関連付けられた動画像を保持する。撮影場所に関する情報は、たとえば、撮影時にGPSにより与えられる緯度・経度情報を含む。撮影場所に関する情報は、地名や施設の名称など撮影された対象物の固有名称であってもよい。   The moving image data storage unit 26 holds a moving image associated with information related to the shooting location. The information regarding the shooting location includes, for example, latitude / longitude information given by GPS at the time of shooting. The information regarding the shooting location may be a unique name of the shot object such as a place name or a facility name.

動画像取得部11は、動画像データ記憶部26からパノラマ画像に貼り付けるべき動画像を取得する。動画像取得部11は、パノラマ画像取得部10が取得した表示対象のパノラマ画像の撮影場所に関する情報をパノラマ画像・付加データ記憶部24から取得して、同一または近隣の撮影場所で撮影された動画像を動画像データ記憶部26から取得してもよい。撮影場所は、緯度経度情報で特定してもよいし、地名や施設名などを具体的に特定することで撮影場所を間接的に特定してもよい。   The moving image acquisition unit 11 acquires a moving image to be pasted on the panoramic image from the moving image data storage unit 26. The moving image acquisition unit 11 acquires information regarding the shooting location of the panoramic image to be displayed acquired by the panoramic image acquisition unit 10 from the panoramic image / additional data storage unit 24, and a moving image shot at the same or a nearby shooting location. An image may be acquired from the moving image data storage unit 26. The shooting location may be specified by latitude and longitude information, or the shooting location may be indirectly specified by specifically specifying a place name, a facility name, or the like.

また、動画像取得部11は、同じ場所で撮影されたが撮影時間帯や撮影季節が異なる動画像が複数ある場合は、パノラマ画像の撮影時間帯や撮影季節に合った動画像を選択してもよい。たとえば、春に撮影されたパノラマ画像には春に撮影された動画像を選択し、夜の時間帯に撮影されたパノラマ画像には夜の時間帯に撮影された動画像を選択する。   In addition, when there are a plurality of moving images shot at the same place but with different shooting time zones or shooting seasons, the moving image acquisition unit 11 selects a moving image that matches the shooting time zone or shooting season of the panoramic image. Also good. For example, a moving image taken in the spring is selected as a panoramic image taken in the spring, and a moving image taken in the night time is selected as a panoramic image taken in the night time.

コントロールポイント検出部20は、パノラマ画像と動画像のフレームとの間で特徴点抽出を行うことにより、パノラマ画像と動画像を対応付けるコントロールポイントを検出する。動画像の全フレームについて特徴点を抽出すると、処理時間がかかるため、たとえば、動画像の先頭から数フレームを選択し、パノラマ画像とそれらのフレームとの間で特徴点抽出を行う。特徴点抽出処理には画像マッチングで用いられる公知の技術を用いることができる。   The control point detection unit 20 detects a control point that associates a panoramic image with a moving image by performing feature point extraction between the panoramic image and the frame of the moving image. If feature points are extracted for all frames of a moving image, processing time is required. For example, several frames are selected from the beginning of the moving image, and feature points are extracted between the panoramic image and those frames. A known technique used in image matching can be used for the feature point extraction processing.

特徴点抽出処理が終わると、抽出された特徴点の中から、動画像フレームをパノラマ画像の領域に対応づけるのに適したコントロールポイントを選択する。特徴点は多数抽出されるが、コントロールポイントとしては、動画像フレーム全体に偏りなく分散していることが望ましく、好ましくは、動画像フレームを格子状に複数の領域に分割したときの格子点のあたりにコントロールポイントを選択することができれば、動画像フレームをパノラマ画像の領域に高い精度でアライメントすることが可能になる。   When the feature point extraction process is completed, a control point suitable for associating the moving image frame with the panoramic image region is selected from the extracted feature points. Although many feature points are extracted, it is desirable that the control points are distributed evenly over the entire moving image frame. Preferably, the lattice points when the moving image frame is divided into a plurality of regions in a lattice shape are preferably used. If the control point can be selected, the moving image frame can be aligned with the panoramic image area with high accuracy.

アライメント処理部12は、コントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを調整する。具体的にはパノラマ画像のコントロールポイントに動画像フレームのコントロールポイントが対応するように、動画像を拡大・縮小し、変形させる。パノラマ画像には広角撮影による歪みがあるため、動画像フレームもそれに合わせて変形されることになる。結果的に、パノラマ画像にマッピングするために、動画像フレームのパン、チルト、ロール、スケールを求めることになる。   The alignment processing unit 12 adjusts the alignment of the moving image with respect to the panoramic image based on the control point. Specifically, the moving image is enlarged / reduced and deformed so that the control point of the moving image frame corresponds to the control point of the panoramic image. Since the panoramic image has distortion due to wide-angle shooting, the moving image frame is also deformed accordingly. As a result, the pan, tilt, roll, and scale of the moving image frame are obtained for mapping to the panoramic image.

ここで、コントロールポイントは、動画像のたとえば先頭から数フレームについて設定されているから、コントロールポイントにもとづいてそれらのフレームのそれぞれがパノラマ画像の領域にアライメントされるが、最小二乗法を用いて、それらのフレームに対して最適なパン、チルト、ロール、スケールを決定する。最終的に決定されたアライメントにもとづいて動画像をパノラマ画像の領域に対応づける。パノラマ画像の領域には、最終決定されたパン、チルト、ロール、スケールにもとづいてアライメント処理された動画像の一枚のフレーム、たとえば先頭フレームが静止画として貼り付けられる。   Here, since the control points are set for several frames from the beginning of the moving image, for example, each of those frames is aligned to the panoramic image area based on the control points, but using the least square method, Determine the optimal pan, tilt, roll, and scale for those frames. The moving image is associated with the panoramic image area based on the finally determined alignment. In the panoramic image area, one frame of a moving image that has been subjected to alignment processing based on the final determined pan, tilt, roll, and scale, for example, the first frame is pasted as a still image.

マッピング処理部14は、パノラマ画像およびアライメント処理された動画像の静止画フレームをテクスチャとして3次元パノラマ空間にマッピングする処理を行う。   The mapping processing unit 14 performs a process of mapping the panoramic image and the still image frame of the moving image subjected to the alignment processing as a texture to the three-dimensional panoramic space.

全天球パノラマ画像の場合は、3次元パノラマ空間として球を想定し、球面マッピングにより、パノラマ画像を球面にテクスチャマッピングする。あるいは、3次元パノラマ空間として立方体を想定し、キューブマッピングにより、パノラマ画像を立方体表面にテクスチャマッピングしてもよい。また、パノラマ画像がチルト方向の成分をもたず、パン方向にのみ広がる画像である場合、3次元パノラマ空間として円柱を想定し、パノラマ画像を円柱面にテクスチャマッピングしてもよい。パノラマ画像がパン方向の成分をもたず、チルト方向にのみ広がる画像である場合も同様である。   In the case of an omnidirectional panoramic image, a sphere is assumed as a three-dimensional panoramic space, and the panoramic image is texture-mapped to a spherical surface by spherical mapping. Alternatively, a cube may be assumed as the three-dimensional panorama space, and the panorama image may be texture-mapped on the cube surface by cube mapping. Further, when the panorama image is an image that does not have a component in the tilt direction and spreads only in the pan direction, a cylinder may be assumed as the three-dimensional panorama space, and the panorama image may be texture-mapped on the cylinder surface. The same applies to a case where the panoramic image has no pan direction component and spreads only in the tilt direction.

3次元画像生成部16は、マッピング処理部14によりパノラマ画像および動画像の静止画フレームがマッピングされた3次元パノラマ空間内を指定された視線方向に見たときの3次元パノラマ画像を生成する。3次元パノラマ空間が球の場合、視点は球の中心に置かれ、立方体の場合、視点は立方体内部の中心に置かれ、円柱の場合、視点は円柱の中心軸上に置かれる。視点は表示対象のパノラマ画像を撮影した場所であり、視線方向は、その撮影場所から周囲を見る方向であり、方位角と仰角で特定される。3次元画像生成部16は、方位角と仰角で特定される視線方向で3次元パノラマ空間を見たときの3次元画像を生成する。   The three-dimensional image generation unit 16 generates a three-dimensional panoramic image when the mapping processing unit 14 views the three-dimensional panoramic space in which the panoramic image and the still image frame of the moving image are mapped in the designated line-of-sight direction. When the three-dimensional panoramic space is a sphere, the viewpoint is placed at the center of the sphere. When the cube is a cube, the viewpoint is placed at the center inside the cube. In the case of a cylinder, the viewpoint is placed on the center axis of the cylinder. The viewpoint is a place where a panoramic image to be displayed is photographed, and the line-of-sight direction is a direction of looking around from the photographing place, and is specified by an azimuth angle and an elevation angle. The three-dimensional image generation unit 16 generates a three-dimensional image when the three-dimensional panoramic space is viewed in the viewing direction specified by the azimuth angle and the elevation angle.

動画像再生部22は、3次元画像生成部16により生成された3次元パノラマ画像内に貼り付けられた動画像を再生し、表示制御部18に与える。パノラマ画像内の動画像が貼り付けられた領域には、動画像データ記憶部26に格納された動画像データへのリンクが設けられており、動画像再生部22は、リンク情報にもとづいて符号化された動画像データを動画像データ記憶部26から読み出し、復号して再生する。   The moving image reproduction unit 22 reproduces the moving image pasted in the three-dimensional panoramic image generated by the three-dimensional image generation unit 16 and gives it to the display control unit 18. In the panoramic image, a region to which the moving image is pasted is provided with a link to the moving image data stored in the moving image data storage unit 26. The moving image reproduction unit 22 encodes the code based on the link information. The converted moving image data is read from the moving image data storage unit 26, decoded and reproduced.

表示制御部18は、生成された3次元パノラマ画像をディスプレイ装置の画面に表示させる。また、表示制御部18は、動画像再生部22により再生された動画像をディスプレイ装置の画面に表示させる。   The display control unit 18 displays the generated three-dimensional panoramic image on the screen of the display device. In addition, the display control unit 18 displays the moving image reproduced by the moving image reproducing unit 22 on the screen of the display device.

動画像の再生は、たとえば、動画像の静止画フレームが貼り付けられたパノラマ画像の領域にズームインしたときに自動的に開始される。また、動画像の静止画フレームが貼り付けられたパノラマ画像の領域に、動画像が存在することを示すシンボルを表示し、そのシンボルをユーザが選択した場合に動画像が再生されるようにしてもよい。   The reproduction of a moving image is automatically started, for example, when the panorama image area to which the still image frame of the moving image is pasted is zoomed in. In addition, a symbol indicating that a moving image exists is displayed in the panoramic image area where the still image frame of the moving image is pasted, and the moving image is reproduced when the user selects the symbol. Also good.

動画再生中に、フレーム間でカメラのパン、チルト、ロールが変わったり、カメラのズーム率が変わるなどにより、撮影方向または撮影倍率が大きく変化した場合、コントロールポイント検出部20は、撮影方向または撮影倍率の変化があった後の数フレーム(「最新フレーム」という)とパノラマ画像との間で特徴点抽出処理を行い、抽出された特徴点からコントロールポイントを新たに検出し、アライメント処理部12にコントロールポイントの情報を提供してもよい。   When the shooting direction or the shooting magnification changes greatly due to a change in camera pan, tilt, or roll between frames or a change in the zoom ratio of the camera during video playback, the control point detector 20 detects the shooting direction or shooting. A feature point extraction process is performed between a few frames after the change in magnification (referred to as the “latest frame”) and the panorama image, a control point is newly detected from the extracted feature points, and the alignment processing unit 12 Control point information may be provided.

この場合、アライメント処理部12は、新たなコントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを再調整し、動画像の最新フレームをパノラマ画像の領域に対応づける。マッピング処理部14は、アライメント処理された動画像の最終表示フレームをパノラマ画像とともに3次元パノラマ空間にマッピングする。これにより、最新のアライメント情報にもとづいて動画像が適切にパノラマ画像にアライメントされてパノラマ画像内に表示される。   In this case, the alignment processing unit 12 readjusts the alignment of the moving image with respect to the panoramic image based on the new control point, and associates the latest frame of the moving image with the panoramic image region. The mapping processing unit 14 maps the final display frame of the moving image subjected to the alignment processing together with the panoramic image into the three-dimensional panoramic space. Accordingly, the moving image is appropriately aligned with the panoramic image based on the latest alignment information and displayed in the panoramic image.

動画像の最初のアライメント処理は、動画像の先頭から数フレームから検出したコントロールポイントにもとづいて行われている。最初のアライメント結果にもとづいて再生途中のフレームをパノラマ画像の領域に表示させると、カメラの撮影方向や撮影倍率に変化があった場合、不整合が生じることがある。再生途中のフレームについてコントロールポイントを改めて検出して、アライメントを再調整することにより、再生中の動画像のフレームをパノラマ画像の領域に正確に対応づけることができる。   The initial alignment processing of a moving image is performed based on control points detected from several frames from the beginning of the moving image. If a frame being reproduced is displayed in the panoramic image area based on the initial alignment result, inconsistency may occur if there is a change in the shooting direction or shooting magnification of the camera. By re-detecting the control point for the frame being reproduced and readjusting the alignment, it is possible to accurately associate the frame of the moving image being reproduced with the panoramic image region.

特に、動画像の撮影中に撮影場所が移動している場合は、再生途中のフレームを貼り付けるべきパノラマ画像の位置は、最初のアライメント処理で決めた貼り付け位置から移動している。そのため、再生途中のフレームについて、コントロールポイントの検出、アライメント処理を再度行えば、再生途中のフレームをパノラマ画像の移動先の位置に正しく対応づけることができる。   In particular, when the shooting location has moved during shooting of a moving image, the position of the panoramic image to which the frame being reproduced is to be pasted has moved from the pasting position determined in the initial alignment processing. Therefore, if control point detection and alignment processing are performed again for a frame that is being reproduced, the frame that is being reproduced can be correctly associated with the position to which the panoramic image is moved.

動画像のアライメントの再調整は、動画像の再生が終了するか、中断したときに行ってもよい。動画像の再生は、動画像の静止画フレームが貼り付けられたパノラマ画像の領域にズームインしたときに行われるため、再生中のフレームがパノラマ画像に適切にアライメントされていなくても気にならないこともあるが、動画像の再生を終了もしくは中断し、ズームアウトして、動画像の最後に表示されていたフレーム(「最終表示フレーム」という)がパノラマ画像に正しくアライメントされていないと、不自然である。そこで、コントロールポイント検出部20が最終表示フレームとパノラマ画像との間で特徴点抽出処理を行ってコントロールポイントを新たに検出し、アライメント処理部12が、新たなコントロールポイントにもとづいてパノラマ画像に対する動画像のアライメントを再調整し、動画像の最終表示フレームをパノラマ画像の領域に対応づけてもよい。これにより、動画像の最終表示フレーム、すなわち動画像の再生が終了したときは最後のフレーム、動画像の再生が途中で中断したときは中断したときに表示されていたフレームが適切にパノラマ画像にアライメントされてパノラマ画像内に表示される。   The readjustment of the alignment of the moving image may be performed when the reproduction of the moving image is completed or interrupted. Moving image playback is performed when you zoom in on the panoramic image area where the still image frame of the moving image is pasted, so you don't mind even if the frame you are playing is not properly aligned with the panoramic image However, it may be unnatural if the playback of the video is terminated or interrupted, zoomed out, and the frame displayed at the end of the video (referred to as the “final display frame”) is not correctly aligned with the panorama image. It is. Therefore, the control point detection unit 20 performs a feature point extraction process between the final display frame and the panoramic image to newly detect a control point, and the alignment processing unit 12 adds a moving image to the panoramic image based on the new control point. The image alignment may be readjusted, and the final display frame of the moving image may be associated with the panoramic image region. As a result, the last display frame of the moving image, that is, the last frame when the playback of the moving image is finished, and the frame displayed when the playback of the moving image is interrupted in the middle are appropriately converted into a panoramic image. Aligned and displayed in the panoramic image.

動画像再生中に、フレーム間で撮影方向または撮影倍率が所定の閾値を超えて変化した場合、コントロールポイント検出部20は、最新フレームとパノラマ画像との間でコントロールポイントを新たに検出するが、アライメント処理部12によるアライメントの再調整はその時点では行わず、コントロールポイントの情報だけをメモリに記憶しておき、パノラマ画像をズームアウトしたときなど必要に応じて、アライメント処理部12が動画像のアライメントの再調整を行うようにしてもよい。   When the shooting direction or the shooting magnification changes between frames during playback of a moving image exceeding a predetermined threshold, the control point detection unit 20 newly detects a control point between the latest frame and the panoramic image. Alignment readjustment by the alignment processing unit 12 is not performed at that time, and only the control point information is stored in the memory, and when necessary, for example, when the panoramic image is zoomed out, the alignment processing unit 12 The alignment may be readjusted.

ユーザインタフェース部40は、ディスプレイの画面に表示されるグラフィックスに対して、ユーザが入力デバイスを用いて操作することを可能にするグラフィカルユーザインタフェースである。ユーザインタフェース部40は、画面に表示された地図や3次元パノラマ画像に対するゲーム機のコントローラ、マウス、キーボードなどの入力デバイスからユーザの指示を受け付ける。図2は、入力デバイスの一例であるコントローラ102を示し、その構成の詳細については後述する。なお、入力デバイスから一定時間入力のないときは、スクリプト再生部により画面に表示された地図や3次元パノラマ画像に対してスクリプトにしたがって操作コマンドが実行されてもよい。   The user interface unit 40 is a graphical user interface that allows the user to operate the graphics displayed on the display screen using an input device. The user interface unit 40 receives a user instruction from an input device such as a game console controller, a mouse, or a keyboard for a map or a three-dimensional panoramic image displayed on the screen. FIG. 2 shows a controller 102 as an example of an input device, and details of the configuration will be described later. When there is no input from the input device for a certain period of time, an operation command may be executed in accordance with the script on the map or 3D panoramic image displayed on the screen by the script playback unit.

ユーザインタフェース部40は、指定されたパノラマ画像をパノラマ画像・付加データ記憶部24から取得するように、パノラマ画像取得部10に指示する。   The user interface unit 40 instructs the panorama image acquisition unit 10 to acquire the designated panorama image from the panorama image / additional data storage unit 24.

ユーザは、たとえば、コントローラ102のアナログスティック118または方向キー群116などを操作することにより、3次元パノラマ空間を見る視線方向を変更する指示を入力することができる。ユーザインタフェース部40の視線方向設定部32は、ユーザが指示する視線方向を3次元画像生成部16に与える。3次元画像生成部16は、3次元パノラマ空間を指定された視線方向から見た場合の画像を生成する。   For example, the user can input an instruction to change the line-of-sight direction of viewing the three-dimensional panoramic space by operating the analog stick 118 or the direction key group 116 of the controller 102. The line-of-sight direction setting unit 32 of the user interface unit 40 gives the line-of-sight direction indicated by the user to the three-dimensional image generation unit 16. The three-dimensional image generation unit 16 generates an image when the three-dimensional panoramic space is viewed from the designated line-of-sight direction.

画角設定部31は、ユーザが表示されたパノラマ画像に対してズーム操作をしたときの画角を設定し、パノラマ画像取得部10と3次元画像生成部16に設定された画角の情報を与える。画角の異なるパノラマ画像がパノラマ画像・付加データ記憶部24に記憶されている場合、パノラマ画像取得部10は、設定された画角にもっとも近い画角のパノラマ画像を読み出し、表示対象のパノラマ画像を切り替える。3次元画像生成部16は、設定された画角に応じて3次元パノラマ画像を拡大・縮小することで、ズームイン・ズームアウトの視覚効果を実現する。   The angle-of-view setting unit 31 sets the angle of view when the user performs a zoom operation on the displayed panoramic image, and the information on the angle of view set in the panoramic image acquisition unit 10 and the three-dimensional image generation unit 16 is set. give. When panoramic images having different angles of view are stored in the panoramic image / additional data storage unit 24, the panoramic image acquisition unit 10 reads a panoramic image having the angle of view closest to the set angle of view, and displays a panoramic image to be displayed. Switch. The three-dimensional image generation unit 16 realizes a zoom-in / zoom-out visual effect by enlarging / reducing the three-dimensional panoramic image according to the set angle of view.

パノラマ画像には、撮影高度に関する情報も付与されており、パノラマ画像・付加データ記憶部24は、同一の撮影位置に対して異なる高度で撮影されたパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ102の筐体前面の左側にあるL1/L2ボタン161、162を操作することにより、高度を変更する指示を入力することができる。L1ボタン161を押すことにより、高度を上げる指示を、L2ボタン162を押すことにより、高度を下げる指示を与えることができる。   The panorama image is also provided with information on the shooting altitude, and the panorama image / additional data storage unit 24 may hold panorama images shot at different altitudes at the same shooting position. In that case, for example, the user can input an instruction to change the altitude by operating the L1 / L2 buttons 161 and 162 on the left side of the front surface of the housing of the controller 102. By pressing the L1 button 161, an instruction to raise the altitude can be given, and by pushing the L2 button 162, an instruction to lower the altitude can be given.

表示制御部18は、現在表示されているパノラマ画像について、同一撮影場所で異なる高度で撮影したパノラマ画像があることを、たとえば、画面の上部、下部に小さな矢印を示すことでユーザに知らせてもよい。画面の上部に上向きの矢印があれば、現在よりも撮影高度の高い画像があることを示し、画面の下部に下向きの矢印があれば、現在よりも撮影高度の低い画像があることを示す。   For example, the display control unit 18 may notify the user that there are panoramic images taken at different altitudes at the same shooting location by displaying small arrows at the top and bottom of the screen. Good. If there is an upward arrow at the top of the screen, it indicates that there is an image with a higher shooting altitude than the current level, and if there is an downward arrow at the bottom of the screen, it indicates that there is an image with a lower shooting altitude than the current level.

ユーザインタフェース部40の高度設定部34は、ユーザから高度を変更する指示を受け取ると、同一撮影位置であるが、指定された高度に対応するパノラマ画像をパノラマ画像・付加データ記憶部24から取得するように、パノラマ画像取得部10に指示する。パノラマ画像取得部10は、L1ボタン161が押された場合は、現在表示されているパノラマ画像よりも撮影高度のより高いパノラマ画像を取得し、L2ボタン162が押された場合は、撮影高度のより低いパノラマ画像を取得する。   When the altitude setting unit 34 of the user interface unit 40 receives an instruction to change the altitude from the user, the altitude setting unit 34 acquires a panoramic image corresponding to the designated altitude from the panoramic image / additional data storage unit 24 at the same shooting position. In this way, the panorama image acquisition unit 10 is instructed. When the L1 button 161 is pressed, the panorama image acquisition unit 10 acquires a panorama image having a higher shooting altitude than the currently displayed panorama image, and when the L2 button 162 is pressed, the panorama image acquisition unit 10 acquires the shooting altitude. Get a lower panoramic image.

表示制御部18は、撮影高度の異なるパノラマ画像に切り替えて表示する際、たとえば、ユーザがエレベータで上下しているかのような感覚を与えるために、特別なエフェクトを画像に施してもよい。たとえば、より高度の高いパノラマ画像に切り替える場合、現在表示されているパノラマ画像を下にスクロールさせて、より高度の高いパノラマ画像が上から降りてくるように表示させることで、ユーザはあたかも階上に行ったかのような感覚をもつことができる。   When the display control unit 18 switches and displays panoramic images with different shooting altitudes, the display control unit 18 may apply a special effect to the images, for example, in order to give a feeling as if the user is moving up and down with an elevator. For example, when switching to a higher-level panoramic image, the user scrolls down the currently displayed panoramic image so that the higher-level panoramic image descends from the top, so that the user can move up and down. You can feel as if you went to.

パノラマ画像には、撮影日時に関する情報も付与されており、パノラマ画像・付加データ記憶部24は、同一の撮影位置に対して撮影日時の異なるパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ102の筐体前面の右側にあるR1/R2ボタン151、152を操作することにより、撮影日時を変更する指示を入力することができる。R1ボタン151を押すことにより、遅い日時にシフトする指示を、R2ボタン152を押すことにより、早い日時にシフトする指示を与えることができる。   The panorama image is also given information related to the shooting date and time, and the panorama image / additional data storage unit 24 may hold panorama images with different shooting dates and times at the same shooting position. In that case, for example, the user can input an instruction to change the shooting date and time by operating the R1 / R2 buttons 151 and 152 on the right side of the front surface of the housing of the controller 102. An instruction to shift to a later date and time can be given by pressing the R1 button 151, and an instruction to shift to an earlier date and time can be given by pressing the R2 button 152.

表示制御部18は、現在表示されているパノラマ画像について、異なる日時に撮影したパノラマ画像があることを、たとえば、時計やカレンダーのアイコンを画面の隅に示すことでユーザに知らせてもよい。朝、昼、夜など時間帯の異なるパノラマ画像が存在するときは時計のアイコンを、春、夏、秋、冬など季節の異なるパノラマ画像が存在するときはカレンダーのアイコンを表示する。   The display control unit 18 may notify the user that there are panoramic images taken at different dates and times for the currently displayed panoramic image, for example, by displaying a clock or calendar icon at the corner of the screen. A clock icon is displayed when there are panoramic images with different time zones such as morning, noon, and night, and a calendar icon is displayed when there are panoramic images with different seasons such as spring, summer, autumn, and winter.

ユーザインタフェース部40の日時設定部36は、ユーザから日時を変更する指示を受け取った場合、同一撮影位置であるが、指定された日時に対応するパノラマ画像をパノラマ画像・付加データ記憶部24から取得するように、パノラマ画像取得部10に指示する。パノラマ画像取得部10は、R1ボタン151が押された場合は、現在表示されているパノラマ画像よりも撮影日時のより遅いパノラマ画像を取得し、R2ボタン152が押された場合は、撮影日時のより早いパノラマ画像を取得する。   When receiving an instruction to change the date / time from the user, the date / time setting unit 36 of the user interface unit 40 obtains a panorama image corresponding to the designated date / time from the panorama image / additional data storage unit 24 at the same shooting position. The panorama image acquisition unit 10 is instructed to do so. When the R1 button 151 is pressed, the panorama image acquisition unit 10 acquires a panorama image whose shooting date and time is later than that of the currently displayed panorama image, and when the R2 button 152 is pressed, the panorama image acquisition unit 10 acquires the shooting date and time. Get a faster panoramic image.

これにより、たとえば、同一撮影場所であっても、朝の時間帯に撮影されたパノラマ画像から夜の時間帯にパノラマ画像に切り替えたり、春に撮影されたパノラマ画像から秋に撮影されたパノラマ画像に切り替えるなど、時間帯や季節などが異なるパノラマ画像に切り替えることができる。表示制御部18は、パノラマ画像を切り替えるとき、フェイドイン・フェイドアウトなどのエフェクトを画像に施してもよい。   Thus, for example, even at the same shooting location, a panoramic image taken in the morning time zone is switched to a panoramic image in the night time zone, or a panoramic image taken in the autumn from the panoramic image taken in the spring It is possible to switch to a panoramic image with a different time zone or season. When switching the panoramic image, the display control unit 18 may apply an effect such as fade-in / fade-out to the image.

視点位置設定部30は、パノラマ画像の撮影場所を視点位置に設定し、視点位置を3次元画像生成部16に通知する。視線方向設定部32は、指定された視線方向を3次元画像生成部16に与える。   The viewpoint position setting unit 30 sets the panoramic image shooting location as the viewpoint position, and notifies the three-dimensional image generation unit 16 of the viewpoint position. The line-of-sight direction setting unit 32 gives the specified line-of-sight direction to the three-dimensional image generation unit 16.

図2は、図1のパノラマ画像表示装置100に接続される入力デバイスの一例であるコントローラ102の構成図である。パノラマ画像表示装置100は、一例としてゲーム機であってもよい。   FIG. 2 is a configuration diagram of the controller 102 as an example of an input device connected to the panoramic image display apparatus 100 of FIG. The panorama image display device 100 may be a game machine as an example.

コントローラ102は、パノラマ画像表示装置100に対する操作入力を行うための複数のボタンやキーを有する。ユーザがコントローラ102のボタンやキーを操作すると、その操作入力が無線または有線によりパノラマ画像表示装置100に送信される。   The controller 102 has a plurality of buttons and keys for performing operation input to the panoramic image display apparatus 100. When the user operates a button or key of the controller 102, the operation input is transmitted to the panoramic image display apparatus 100 by wireless or wired.

コントローラ102の筐体上面122には、方向キー群116、アナログスティック118、操作ボタン群120が設けられている。方向キー群116は、「上」、「下」、「左」、「右」方向指示キーを含む。操作ボタン群120は、○ボタン124、×ボタン126、□ボタン128、および△ボタン130を含む。   A direction key group 116, an analog stick 118, and an operation button group 120 are provided on the housing upper surface 122 of the controller 102. The direction key group 116 includes “up”, “down”, “left”, and “right” direction instruction keys. The operation button group 120 includes a circle button 124, a x button 126, a square button 128, and a Δ button 130.

ユーザは左手で左側把持部134bを把持し、右手で右側把持部134aを把持して、筐体上面122上の方向キー群116、アナログスティック118、および操作ボタン群120を操作する。   The user grips the left grip 134b with the left hand, grips the right grip 134a with the right hand, and operates the direction key group 116, the analog stick 118, and the operation button group 120 on the housing upper surface 122.

さらに、コントローラ102の筐体前面には、右側操作部150と左側操作部160が設けられている。右側操作部150はR1ボタン151とR2ボタン152を含み、左側操作部160はL1ボタン161とL2ボタン162を含む。   Further, a right operation unit 150 and a left operation unit 160 are provided on the front surface of the housing of the controller 102. The right operation unit 150 includes an R1 button 151 and an R2 button 152, and the left operation unit 160 includes an L1 button 161 and an L2 button 162.

ユーザは、方向キー群116を操作することにより、画面上の表示されたポインタを上下左右の各方向に移動させることができる。たとえば、パノラマ画像内に表示された複数のマーカーのいずれかを選択する際、方向キー群116を操作して画面上で複数のマーカー間を移動することができる。ユーザは所望のマーカー上にポインタが来たときに、○ボタン124を押すことでそのマーカーを選択することができる。   The user can move the pointer displayed on the screen in the up, down, left, and right directions by operating the direction key group 116. For example, when selecting any of the plurality of markers displayed in the panoramic image, the direction key group 116 can be operated to move between the plurality of markers on the screen. When the pointer is over a desired marker, the user can select the marker by pressing the ○ button 124.

操作ボタン群120の各ボタンには、パノラマ画像表示アプリケーションプログラムによりそれぞれ異なる機能が割り付けられてもよい。たとえば、△ボタン130にはメニューの表示を指定する機能、×ボタン126には、選択した項目の取り消し等を指定する機能、○ボタン124には選択した項目の決定等を指定する機能、□ボタン128には、目次等の表示/非表示を指定する機能がそれぞれ割り付けられる。   Different functions may be assigned to the buttons of the operation button group 120 depending on the panoramic image display application program. For example, the Δ button 130 has a function for specifying menu display, the X button 126 has a function for specifying cancellation of a selected item, the ○ button 124 has a function for specifying determination of a selected item, and the □ button. 128 is assigned a function for designating display / non-display of the table of contents.

アナログスティック118は、ユーザによって傾倒操作されたとき、アナログ値を出力する手段を備える。コントローラ102は、アナログスティック118を傾倒したときの方向と量に応じたアナログ出力信号をパノラマ画像表示装置100に送る。たとえば、ユーザは、アナログスティック118を所望の方向に傾倒することで、ディスプレイに表示された3次元パノラマ画像内で視点を所望の方向に移動させることができる。   The analog stick 118 includes means for outputting an analog value when it is tilted by a user. The controller 102 sends an analog output signal corresponding to the direction and amount when the analog stick 118 is tilted to the panoramic image display device 100. For example, the user can move the viewpoint in a desired direction in the three-dimensional panoramic image displayed on the display by tilting the analog stick 118 in a desired direction.

筐体上面122には、さらにLED付きボタン136、セレクトボタン140、スタートボタン138が設けられる。LED付きボタン136は、たとえば、ディスプレイにメニュー画面を表示させるためのボタンとして利用される。スタートボタン138は、パノラマ画像表示アプリケーションの起動、パノラマ画像の再生開始、一時停止などをユーザが指示するためのボタンである。セレクトボタン140は、ディスプレイに表示されたメニュー表示の選択等をユーザが指示するためのボタンである。   On the top surface 122 of the housing, a button 136 with an LED, a select button 140, and a start button 138 are further provided. The button 136 with LED is used as a button for displaying a menu screen on a display, for example. The start button 138 is a button for the user to instruct the start of the panorama image display application, the start of playback of the panorama image, the pause, and the like. The select button 140 is a button for the user to instruct selection of a menu display displayed on the display.

図3(a)〜(d)は、パノラマ画像を撮影するために用いられる全方位撮影システム230の機構と撮影方向を説明する図である。   FIGS. 3A to 3D are views for explaining the mechanism and shooting direction of the omnidirectional shooting system 230 used for shooting a panoramic image.

図3(d)に示すように、全方位撮影システム230において、カメラ200は操作盤210に固定されており、操作盤210をZ軸周りに回転させることでカメラのパン角を変え、X軸周りに回転させることでカメラのチルト角を変え、Y軸周りに回転させることでカメラのロール角を変えることができる。ここでZ軸は鉛直軸(重力方向軸)である。   As shown in FIG. 3D, in the omnidirectional imaging system 230, the camera 200 is fixed to the operation panel 210, and the pan angle of the camera is changed by rotating the operation panel 210 around the Z axis, so that the X axis The tilt angle of the camera can be changed by rotating around, and the roll angle of the camera can be changed by rotating around the Y axis. Here, the Z axis is a vertical axis (gravity direction axis).

図3(a)は、操作盤210に設置されたカメラ200の上面図であり、操作盤の初期位置(Y軸方向)をパン角0°とし、Z軸の周りに−180°〜+180°の範囲でパン角を変えることができる。   FIG. 3A is a top view of the camera 200 installed on the operation panel 210. The initial position (Y-axis direction) of the operation panel is a pan angle of 0 °, and −180 ° to + 180 ° around the Z axis. The pan angle can be changed within the range.

図3(b)は、操作盤210に設置されたカメラ200の正面図であり、操作盤210が水平に置かれた状態をロール角0°とし、Y軸の周りに−180°〜+180°の範囲でロール角を変えることができる。   FIG. 3B is a front view of the camera 200 installed on the operation panel 210. When the operation panel 210 is placed horizontally, the roll angle is 0 °, and −180 ° to + 180 ° around the Y axis. The roll angle can be changed within the range.

図3(c)は、操作盤210に設置されたカメラ200の側面図であり、操作盤210が水平に置かれた状態をチルト角0°とし、X軸の周りに−90°〜+90°の範囲でチルト角を変えることができる。   FIG. 3C is a side view of the camera 200 installed on the operation panel 210. When the operation panel 210 is placed horizontally, the tilt angle is 0 °, and −90 ° to + 90 ° around the X axis. The tilt angle can be changed within the range.

図3(d)の全方位撮影システム230により撮影されるパノラマ画像に撮影方位に関する情報を付与するためには、カメラ200が撮影時にどの方位に向いていたかを記録しておく必要がある。そのために、全方位撮影システム230は、方位を測定するための方位センサや傾斜角を測定するための加速度センサなどを備える。さらに、撮影位置や撮影時間を測定するためにGPSセンサなども備える。   In order to give information about the shooting direction to the panoramic image shot by the omnidirectional shooting system 230 of FIG. 3D, it is necessary to record in which direction the camera 200 was directed at the time of shooting. For this purpose, the omnidirectional imaging system 230 includes an azimuth sensor for measuring the azimuth and an acceleration sensor for measuring the tilt angle. Furthermore, a GPS sensor or the like is provided for measuring the shooting position and shooting time.

図4(a)はカメラ200の方位角θ、図4(b)はカメラ200の仰角φを説明する図である。図4(a)はカメラ200の上面図であり、カメラ200は撮影の初期位置において、真北から東へ方位角θだけずれた方向220を向いており、この方向がパン角0°に相当する。すなわちパン角の基準方向220の方位角はθである。パノラマ画像を撮影するとき、この方位角θの基準方向220に対して−180°〜+180°の範囲でパン角を変えながら、被写体をパノラマ撮影する。   4A illustrates the azimuth angle θ of the camera 200, and FIG. 4B illustrates the elevation angle φ of the camera 200. FIG. 4A is a top view of the camera 200. The camera 200 faces a direction 220 that is shifted from true north to east by an azimuth angle θ at the initial shooting position, which corresponds to a pan angle of 0 °. To do. That is, the azimuth angle of the pan angle reference direction 220 is θ. When shooting a panoramic image, the subject is panoramic shot while changing the pan angle in a range of −180 ° to + 180 ° with respect to the reference direction 220 of the azimuth angle θ.

図4(b)はカメラ200の側面図であり、仰角φは、X軸周りにカメラ200を回転させた場合に、チルト0°の方向、すなわちY軸方向に対して上方向を正と定義する角度である。通常、カメラ200を水平ポジションに設定して撮影するので仰角φ=0°であるが、全天球のパノラマ画像を撮影するには、カメラをチルトさせて仰角φを変えて被写体を撮影する必要がある。   FIG. 4B is a side view of the camera 200, and the elevation angle φ is defined as positive when the camera 200 is rotated about the X axis, ie, the upward direction with respect to the 0 ° tilt direction, that is, the Y axis direction. It is an angle to do. Usually, since the camera 200 is set to the horizontal position and shot, the elevation angle φ = 0 °. However, in order to take a panoramic image of the whole celestial sphere, it is necessary to tilt the camera and change the elevation angle φ to shoot the subject. There is.

図5(a)〜(c)は、カメラ200の初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。   FIGS. 5A to 5C are diagrams illustrating panoramic images that are shot when the initial position of the camera 200 is in the direction of the azimuth angle θ.

図5(a)の上面図に示すように、初期位置においてカメラ200は方位角θの方向220を向いており、図5(b)の側面図に示すように、カメラ200の仰角φ=0°である。仰角φ=0°に保ちながら、基準方向220に対してカメラ200のパン角を−180°から+180°の範囲で変化させながら、仰角φ=0°における全方位のパノラマ画像を撮影する。図5(c)は、このようにして撮影されたパノラマ画像300を示す。パノラマ画像300の中心はパン角0°であり、パノラマ画像300の左半分はパン角を0°から−180°まで変えて撮影された画像であり、右半分はパン角を0°から180°まで変えて撮影された画像である。   As shown in the top view of FIG. 5A, the camera 200 faces the direction 220 of the azimuth angle θ at the initial position, and the elevation angle φ = 0 of the camera 200 as shown in the side view of FIG. °. While maintaining the elevation angle φ = 0 °, panoramic images of all directions at the elevation angle φ = 0 ° are taken while changing the pan angle of the camera 200 in the range of −180 ° to + 180 ° with respect to the reference direction 220. FIG. 5C shows a panoramic image 300 shot in this way. The center of the panorama image 300 has a pan angle of 0 °, the left half of the panorama image 300 is an image taken by changing the pan angle from 0 ° to −180 °, and the right half has a pan angle of 0 ° to 180 °. It is an image that was taken by changing up to.

パノラマ画像300のパン角0°の中心位置は、真北から方位角θだけ東にずれているから、北(N)、南(S)、東(E)、西(W)の位置は点線で示す箇所になる。パノラマ画像300は、撮影方位に関する情報として、パン角0°の中心位置の方位角θをもってさえいれば、北(N)、南(S)、東(E)、西(W)のピクセル位置は、方位角θのずれを考慮して計算で求めることができる。あるいは、方位角θの代わりに、北(N)、南(S)、東(E)、西(W)のピクセル位置の座標値を撮影方位に関する情報としてもうようにしてもよい。   Since the center position of pan angle 0 ° of panorama image 300 is shifted east from true north by azimuth angle θ, the positions of north (N), south (S), east (E), and west (W) are dotted lines. It becomes the part shown by. As long as the panoramic image 300 has the azimuth angle θ at the center position with a pan angle of 0 ° as information on the shooting direction, the pixel positions of north (N), south (S), east (E), and west (W) are In consideration of the deviation of the azimuth angle θ, it can be obtained by calculation. Alternatively, instead of the azimuth angle θ, the coordinate values of the pixel positions of north (N), south (S), east (E), and west (W) may be already used as information regarding the shooting direction.

全天球のパノラマ画像を得るためには、カメラ200の仰角を変えて撮影する必要がある。たとえば、カメラ200の画角が60°であるとすると、原理的にはカメラ200を上下に±60°チルトさせた上で、パン角を−180°〜180°の範囲で変えながら同様の撮影を行えば、全天球のパノラマ画像を得ることができる。   In order to obtain a panoramic image of the whole celestial sphere, it is necessary to shoot by changing the elevation angle of the camera 200. For example, assuming that the angle of view of the camera 200 is 60 °, in principle, the camera 200 is tilted by ± 60 ° up and down, and the same shooting is performed while changing the pan angle in the range of −180 ° to 180 °. The panoramic image of the whole celestial sphere can be obtained.

図6(a)〜(c)は、カメラ200の仰角φ=60°の場合に撮影されるパノラマ画像を説明する図である。図6(a)の上面図に示すように、初期位置においてカメラ200は方位角θの方向220を向いており、図6(b)の側面図に示すように、カメラ200の仰角φ=60°である。仰角φ=60°に保ちながら、基準方向220に対してカメラ200のパン角を−180°から+180°の範囲で変化させながら、図6(c)に示すような、仰角φ=60°におけるパノラマ画像302を撮影する。   FIGS. 6A to 6C are views for explaining panoramic images taken when the elevation angle φ of the camera 200 is 60 °. As shown in the top view of FIG. 6A, the camera 200 faces the direction 220 of the azimuth angle θ at the initial position, and the elevation angle φ = 60 of the camera 200 as shown in the side view of FIG. °. While maintaining the elevation angle φ = 60 °, the pan angle of the camera 200 is changed in the range of −180 ° to + 180 ° with respect to the reference direction 220, and the elevation angle φ = 60 ° as shown in FIG. A panoramic image 302 is taken.

同様にして、カメラ200の仰角をφ=−60°に保ちながら、パン角を−180°から+180°の範囲で変化させながら、仰角φ=−60°におけるパノラマ画像を撮影する。仰角φ=0°、60°、−60°のパノラマ画像を組み合わせれば、全天球パノラマ画像が得られる。もっとも、実装上は、画角の境界部分で画像を貼り合わせる際にレンズの歪みから生じる不整合を補正するために、境界付近をだぶらせて撮影する方法を採ることが多い。   Similarly, while maintaining the elevation angle of the camera 200 at φ = −60 °, the panoramic image at the elevation angle φ = −60 ° is shot while the pan angle is changed in the range of −180 ° to + 180 °. An omnidirectional panoramic image can be obtained by combining panoramic images with elevation angles φ = 0 °, 60 °, and −60 °. However, in terms of mounting, in order to correct inconsistency caused by lens distortion when images are bonded at the boundary portion of the angle of view, a method of photographing the vicinity of the boundary is often employed.

このようにして得られた全天球パノラマ画像には、方位角および仰角の情報が付与されており、その情報にもとづいてパノラマ画像の任意のピクセルについて方位と仰角を特定可能である。また、パノラマ画像には撮影場所の位置情報としてGPSにより測定された緯度・経度情報も付与される。パノラマ画像に付与すべき付加情報は、一例として、Exif(Exchangeable Image File Format)と呼ばれる画像ファイルの規格にしたがって記録してもよい。撮影場所の地名はファイル名の一部に記録し、撮影日時、撮影場所の緯度・経度、高度、方位角などをExif形式のデータとして記録することができる。仰角はExif形式では定義されていないが、拡張データとして記録する。   The omnidirectional panoramic image obtained in this way is given information on the azimuth angle and the elevation angle, and the azimuth and elevation angle can be specified for any pixel of the panoramic image based on the information. In addition, latitude / longitude information measured by GPS is given to the panoramic image as position information of the shooting location. For example, the additional information to be added to the panoramic image may be recorded in accordance with an image file standard called Exif (Exchangeable Image File Format). The place name of the shooting location can be recorded in a part of the file name, and the shooting date and time, the latitude / longitude of the shooting location, the altitude, the azimuth angle, etc. can be recorded as Exif format data. The elevation angle is not defined in the Exif format, but is recorded as extended data.

図7Aおよび図7Bは、複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。   7A and 7B are diagrams illustrating a method of creating a panoramic image by connecting a plurality of images.

図7Aの例では、カメラ200をチルト(またはパン)させながら撮影された7枚の画像341〜347を円筒にマッピングした後、つなぎ合わせて円筒状の画像340を作成する。画像をつなぎ合わせるとき、画像の境界付近をオーバーラップさせる。   In the example of FIG. 7A, seven images 341 to 347 taken while tilting (or panning) the camera 200 are mapped onto a cylinder, and then joined together to create a cylindrical image 340. When joining the images, overlap the borders of the images.

図7Bに示すように、カメラ200をパン(またはチルト)させて撮影することで、図7Aで示した円筒状の画像がパン(またはチルト)方向に複数得られる。これらの円筒状の画像340a〜340fを画像の境界付近をオーバーラップさせて合成することで、全方位のパノラマ画像360が最終的に得られる。   As shown in FIG. 7B, by shooting with the camera 200 panned (or tilted), a plurality of cylindrical images shown in FIG. 7A are obtained in the pan (or tilted) direction. By combining these cylindrical images 340a to 340f by overlapping the vicinity of the boundary between the images, an omnidirectional panoramic image 360 is finally obtained.

図8は、パノラマ画像表示装置100によるパノラマ画像生成手順を説明するフローチャートである。図9(a)、(b)〜図16を参照しながら、図8のパノラマ画像生成手順の各ステップを説明する。図8に示すフローチャートにおいては、各部の処理手順を、ステップを意味するS(Stepの頭文字)と数字との組み合わせによって表示する。また、Sと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Y(Yesの頭文字)を付加して、例えば、(S24のY)と表示し、逆にその判断結果が否定的であった場合は、N(Noの頭文字)を付加して、(S24のN)と表示する。   FIG. 8 is a flowchart for explaining a panoramic image generation procedure by the panoramic image display apparatus 100. Each step of the panoramic image generation procedure in FIG. 8 will be described with reference to FIGS. 9 (a) and 9 (b) to FIG. In the flowchart shown in FIG. 8, the processing procedure of each part is displayed by a combination of S (acronym for Step) meaning a step and a number. In addition, when a determination process is executed by the process displayed by the combination of S and a number, and the determination result is affirmative, Y (acronym for Yes) is added, for example (Y in S24) If the result of the determination is negative, N (acronym for No) is added and (N in S24) is displayed.

パノラマ画像取得部10は、撮影されたパノラマ画像400とそれに付加された撮影場所に関する情報をパノラマ画像・付加データ記憶部24から取得する(S10)。動画像取得部11は、パノラマ画像400の撮影場所と同じまたは近い場所で撮影された動画像500を動画像データ記憶部26から取得する(S12)。   The panoramic image acquisition unit 10 acquires information about the captured panoramic image 400 and the shooting location added thereto from the panoramic image / additional data storage unit 24 (S10). The moving image acquisition unit 11 acquires, from the moving image data storage unit 26, the moving image 500 captured at the same location as or near the shooting location of the panoramic image 400 (S12).

コントロールポイント検出部20は、動画像500の先頭から数フレームを取得し(S14)、パノラマ画像400と動画像500のフレームの間でマッチングの取れる特徴点を抽出し、抽出された特徴点の中から、動画像500のフレームをパノラマ画像400の領域に位置づけるためのコントロールポイントを選択する(S16)。   The control point detection unit 20 acquires several frames from the beginning of the moving image 500 (S14), extracts feature points that can be matched between the panoramic image 400 and the frames of the moving image 500, and among the extracted feature points. Then, a control point for positioning the frame of the moving image 500 in the region of the panoramic image 400 is selected (S16).

図9(a)、(b)は、パノラマ画像400とそれに貼り付けるべき動画像500の例を示す図である。ここでは、図9(a)のパノラマ画像400と図9(b)の動画像500の先頭フレームとの間で4つのコントロールポイントが検出され、2つの画像の対応するコントロールポイント間が点線で示すように関連付けされている。   FIGS. 9A and 9B are diagrams showing examples of a panoramic image 400 and a moving image 500 to be pasted thereon. Here, four control points are detected between the panoramic image 400 of FIG. 9A and the first frame of the moving image 500 of FIG. 9B, and the corresponding control points of the two images are indicated by dotted lines. So that they are related.

アライメント処理部12は、コントロールポイントにもとづいて、パノラマ画像400に対する動画像500のアライメントを調整し、動画像500をパノラマ画像400の領域に関連付ける(S18)。   The alignment processing unit 12 adjusts the alignment of the moving image 500 with respect to the panoramic image 400 based on the control point, and associates the moving image 500 with the region of the panoramic image 400 (S18).

図10は、パノラマ画像に貼り付けるべき別の動画像510を示す図である。動画像510は観覧車を撮影したものである。図11は、図10の動画像510を貼り付けたパノラマ画像410を示す図である。パノラマ画像410には、元から観覧車が撮影されており、その観覧車の撮影領域に、観覧車の動画像510の先頭フレームの静止画を貼り付けている。別の実施例では、パノラマ画像410は観覧車は撮影されていないが、動画像510を貼り付けることでその位置に仮想的に観覧車があるように見せることもできる。   FIG. 10 is a diagram showing another moving image 510 to be pasted on the panoramic image. The moving image 510 is a photograph of a ferris wheel. FIG. 11 is a view showing a panoramic image 410 to which the moving image 510 of FIG. 10 is pasted. In the panoramic image 410, the ferris wheel is originally photographed, and the still image of the first frame of the moving image 510 of the ferris wheel is pasted in the photographing area of the ferris wheel. In another embodiment, the panoramic image 410 is not photographed with a ferris wheel, but the moving image 510 can be pasted to make it appear as if the ferris wheel is virtually there.

図8のフローチャートに戻り、マッピング処理部14は、動画像500、510が関連付けられたパノラマ画像400、410をパノラマ球にマッピングする(S20)。3次元画像生成部16は、動画像500、510が関連付けられたパノラマ画像400、410がマッピングされた3次元パノラマ球を指定された視線方向に見たときの3次元パノラマ画像を生成し、表示制御部18は生成された3次元パノラマ画像を表示する(S22)。   Returning to the flowchart of FIG. 8, the mapping processing unit 14 maps the panoramic images 400 and 410 associated with the moving images 500 and 510 to the panoramic sphere (S20). The three-dimensional image generation unit 16 generates and displays a three-dimensional panoramic image when the three-dimensional panoramic sphere to which the panoramic images 400 and 410 associated with the moving images 500 and 510 are mapped is viewed in the specified viewing direction. The control unit 18 displays the generated three-dimensional panoramic image (S22).

ユーザがパノラマ画像400、410に貼り付けられた動画像500、510を含む領域にズームインする操作を行った場合(S24のY)、動画像再生部22は、動画像500、510の再生を開始する。これにより、動画像500では、ビルの照明が付いたり消えたりする様子や、エレベータが上下する様子が再生され、動画像510では、観覧車が回る様子が再生される。動画像500、510に対するズームイン操作が行われない場合(S24のN)、パノラマ画像生成処理を終了する。   When the user performs an operation of zooming in on an area including the moving images 500 and 510 pasted on the panoramic images 400 and 410 (Y in S24), the moving image reproducing unit 22 starts reproducing the moving images 500 and 510. To do. Thereby, in the moving image 500, the state where the lighting of the building is turned on and off and the state where the elevator moves up and down are reproduced, and in the moving image 510, the state where the ferris wheel rotates is reproduced. When the zoom-in operation is not performed on the moving images 500 and 510 (N in S24), the panorama image generation process is terminated.

動画像再生部22は、動画再生の際、動画像500、510とパノラマ画像400、410の境界領域をアルファブレンドする(S26)。   The moving image playback unit 22 alpha blends the boundary area between the moving images 500 and 510 and the panoramic images 400 and 410 when playing back a moving image (S26).

図12は、図11に示すパノラマ画像410において、動画像510が貼り付けられた領域にズームインしたときに表示される画像412を示す図である。動画像510を再生すると、動画像510とパノラマ画像410の境界領域512は、手振れの影響でフレーム毎に境界線が動くため、乱れが生じる。これは、動画像510の先頭の数フレームはパノラマ画像にアライメントされているが、手振れの影響で、全部のフレームのコントロールポイントがパノラマ画像のコントロールポイントが一致するわけではないためである。この手振れによる境界領域の乱れは、図11のように動画像510の静止画フレームがパノラマ画像410に貼り付けられた状態では存在しないが、ズームインして動画像510を再生したときに発生する。   FIG. 12 is a diagram showing an image 412 displayed when the zoomed-in area of the panoramic image 410 shown in FIG. When the moving image 510 is reproduced, the boundary line 512 between the moving image 510 and the panoramic image 410 is disturbed because the boundary line moves for each frame due to the influence of camera shake. This is because the first few frames of the moving image 510 are aligned with the panoramic image, but the control points of all the frames do not match the control points of the panoramic image due to the influence of camera shake. The disturbance of the boundary region due to the camera shake does not exist when the still image frame of the moving image 510 is pasted on the panoramic image 410 as shown in FIG. 11, but occurs when the moving image 510 is reproduced by zooming in.

そこで、動画像再生部22は、動画像510とパノラマ画像410の境界領域512では、動画像510の各フレームの画素とパノラマ画像410の画素をアルファブレンドすることで境界領域の乱れを目立たないように後処理する。   Therefore, the moving image reproduction unit 22 does not make the boundary region inconspicuous in the boundary region 512 between the moving image 510 and the panoramic image 410 by alpha blending the pixels of each frame of the moving image 510 and the pixels of the panoramic image 410. Post-process.

動画再生中に、フレーム間で撮影方向または撮影倍率の変化量が所定の閾値以内である場合(S28のN)、ステップS26の処理が繰り返される。フレーム間で撮影方向または撮影倍率の変化量が所定の閾値を超えた場合(S28のY)、動画像再生部22は、撮影方向または撮影倍率の変化があった後の数フレーム(「最新フレーム」)を取得し(S30)、ステップS16に戻り、コントロールポイント検出部20が、動画像の最新フレームについてパノラマ画像の領域に対応付けるためのコントロールポイントを新たに検出し、アライメント処理部12が、新たなコントロールポイントにもとづいて動画像のアライメントを再調整し、動画像の最終表示フレームをパノラマ画像に関連付ける。   If the amount of change in the shooting direction or the shooting magnification between frames is within a predetermined threshold during moving image reproduction (N in S28), the process in step S26 is repeated. When the amount of change in the shooting direction or the shooting magnification between frames exceeds a predetermined threshold (Y in S28), the moving image playback unit 22 uses several frames (“the latest frame” after the change in the shooting direction or the shooting magnification. ”) (S30), the process returns to step S16, the control point detection unit 20 newly detects a control point for associating the latest frame of the moving image with the panoramic image region, and the alignment processing unit 12 The moving image alignment is readjusted based on various control points, and the final display frame of the moving image is associated with the panoramic image.

図13〜図16を参照して、動画像のアライメントの再調整処理を説明する。図13は、動画像520が貼り付けられたパノラマ画像420を示す図である。動画像520は馬車を撮影したものであるが、その背景画像についてマッチングを取ることによって、動画像520の先頭フレームがパノラマ画像420の領域に対応付けられ、貼り付けられている。   The moving image alignment readjustment process will be described with reference to FIGS. FIG. 13 is a diagram illustrating a panoramic image 420 to which the moving image 520 is pasted. The moving image 520 is an image of a carriage. By matching the background image, the first frame of the moving image 520 is associated with the region of the panoramic image 420 and pasted.

図14(a)、(b)、(c)は、パノラマ画像420内の動画像520の領域をズームインして動画像520を再生した様子を示す。図14(a)、図14(b)、図14(c)の各フレームは、動画像520から再生されたフレームを時間順に示したものである。馬車はパノラマ画像420内の右から左の方向に進み、観覧車の前まで到着した。   FIGS. 14A, 14 </ b> B, and 14 </ b> C show a state in which the moving image 520 is reproduced by zooming in on the region of the moving image 520 in the panoramic image 420. Each frame in FIG. 14A, FIG. 14B, and FIG. 14C shows frames reproduced from the moving image 520 in time order. The carriage traveled from right to left in the panoramic image 420 and arrived in front of the Ferris wheel.

図15は、ズームアウトして図13のパノラマ画像420に戻ったときの画面例である。ズームアウトすると、動画像の再生は中断し、最後に表示されていたフレームが表示される。あるいは、ズームアウト後も動画像の再生は続けられ、最新フレームが表示されてもよい。ここでは、比較のため、アライメントの再調整をしない場合を説明する。動画像520の最初のアライメント結果にもとづいて、動画像520はパノラマ画像420の右側にアライメントされているが、表示されているのは、最後に表示されていた、あるいは最新の図14(c)のフレームであるために、動画像520の背景はパノラマ画像420と一致せず、不自然である。   FIG. 15 is a screen example when zooming out and returning to the panoramic image 420 of FIG. When zoomed out, the playback of the moving image is interrupted, and the frame that was displayed last is displayed. Alternatively, the playback of the moving image may be continued even after zooming out, and the latest frame may be displayed. Here, the case where alignment readjustment is not performed will be described for comparison. Based on the first alignment result of the moving image 520, the moving image 520 is aligned on the right side of the panoramic image 420, but what is displayed is the last displayed or the latest FIG. Therefore, the background of the moving image 520 does not match the panoramic image 420 and is unnatural.

図16は、動画像520のアライメントを再調整してパノラマ画像420に貼り付けた例を示す図である。動画像520の最終表示フレームの背景画像のコントロールポイントがパノラマ画像420の移動先の領域のコントロールポイントに対応付けられるため、動画像520の背景はパノラマ画像420と一致している。このように、動画像520において撮影された対象物(この例では馬車)が移動する場合は、動画像520をパノラマ画像420に貼り付ける位置もそれに合わせ追従させて移動させる。   FIG. 16 is a diagram illustrating an example in which the alignment of the moving image 520 is readjusted and pasted on the panoramic image 420. Since the control point of the background image of the final display frame of the moving image 520 is associated with the control point of the movement destination area of the panoramic image 420, the background of the moving image 520 matches the panoramic image 420. As described above, when the object (the carriage in this example) photographed in the moving image 520 moves, the position where the moving image 520 is pasted on the panoramic image 420 is also moved following the movement.

なお、ズームアウトして動画像の再生を中断したときに、最終表示フレームを表示するのではなく、動画像の先頭フレームを表示する場合は、動画像520を最初のアライメント結果にもとづいて、図15に示すようにパノラマ画像420の右側にアライメントすればよい。   Note that when displaying the first frame of the moving image instead of displaying the final display frame when the playback of the moving image is interrupted by zooming out, the moving image 520 is displayed based on the first alignment result. As shown in FIG. 15, alignment may be performed on the right side of the panoramic image 420.

動画像520の貼り付け位置の移動は、ズームアウトした時点で行ってもよいが、動画像520の各フレームのコントロールポイントをパノラマ画像420内のコントロールポイントに追従させることでリアルタイムで動画像520の貼り付け位置をパノラマ画像420内で移動させてもよい。ズームインしているときでも、動画像520の周囲にパノラマ画像420の一部が表示されていることがあり、動画像520を再生中に各フレームの貼り付け位置をパノラマ画像420内で移動させることで、各フレームの背景画像をパノラマ画像420に一致させて連続性を保つことができる。   The moving position of the moving image 520 may be moved when zoomed out. However, the control point of each frame of the moving image 520 is made to follow the control point in the panoramic image 420 in real time. The pasting position may be moved in the panoramic image 420. Even when zoomed in, a portion of the panoramic image 420 may be displayed around the moving image 520, and the pasting position of each frame is moved in the panoramic image 420 while the moving image 520 is being played back. Thus, the background image of each frame can be matched with the panoramic image 420 to maintain continuity.

以上述べたように、本実施の形態のパノラマ画像表示装置によれば、動画像の先頭数フレームについて求めたコントロールポイントにもとづいてパノラマ画像に動画像の静止画フレームを正確に貼り付けて表示させることができる。動画像が貼り付けられた領域にズームインしたときに自動的に動画像の再生が開始される。手振れによる影響でフレーム毎にコントロールポイントの位置が異なるが、動画像とパノラマ画像の境界領域で動画像とパノラマ画像の画素値をアルファブレンドすることで境界領域の乱れを目立たなくすることができる。   As described above, according to the panoramic image display device of the present embodiment, the still image frame of the moving image is accurately pasted and displayed on the panoramic image based on the control points obtained for the first few frames of the moving image. be able to. When zooming in on the area where the moving image is pasted, the reproduction of the moving image is automatically started. Although the position of the control point varies from frame to frame due to the influence of camera shake, the disturbance of the boundary region can be made inconspicuous by alpha blending the pixel values of the moving image and the panoramic image in the boundary region between the moving image and the panoramic image.

動画像の再生を中断したときは、中断したときに表示されていたフレームについてコントロールポイントを求めて、パノラマ画像に貼り付けるため、ズームアウトしたときにパノラマ画像との連続性を維持することができる。特に動画像内の対象物が移動して撮影方向が変わっていく場合は、動画像の貼り付け位置をパノラマ画像内で移動させることで動画像とパノラマ画像の間で連続性を保つことができる。   When playback of a moving image is interrupted, a control point is obtained for the frame that was displayed when it was interrupted and pasted to the panorama image, so continuity with the panorama image can be maintained when zooming out. . In particular, when the object in the moving image moves and the shooting direction changes, the continuity between the moving image and the panoramic image can be maintained by moving the moving image pasting position in the panoramic image. .

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .

上記の説明では、動画像が関連付けされたパノラマ画像を球面などの3次元パノラマ空間にマッピングし、指定された視線方向から3次元パノラマ空間を見た場合の3次元パノラマ画像を画面に表示したが、動画像が関連付けられたパノラマ画像を単に2次元表示するだけでもよい。この場合、マッピング処理部14および3次元画像生成部16の構成は不要であり、パノラマ画像表示装置100を簡素化できる。この場合でも2次元表示されたパノラマ画像に関連付けられた動画像の領域にズームインした場合に動画像が自動再生される。あるいは、パノラマ画像に動画像が関連付けられていることを示すシンボルをユーザが選択した場合に、動画像の再生を開始してもよい。   In the above description, the panorama image associated with the moving image is mapped to a three-dimensional panorama space such as a spherical surface, and the three-dimensional panorama image when the three-dimensional panorama space is viewed from the designated viewing direction is displayed on the screen. The panoramic image associated with the moving image may be simply displayed two-dimensionally. In this case, the configuration of the mapping processing unit 14 and the three-dimensional image generation unit 16 is unnecessary, and the panoramic image display device 100 can be simplified. Even in this case, the moving image is automatically reproduced when the area of the moving image associated with the two-dimensionally displayed panoramic image is zoomed in. Alternatively, the reproduction of the moving image may be started when the user selects a symbol indicating that the moving image is associated with the panoramic image.

パノラマ画像は図3のような全方位撮影システムで撮影されたものに限らず、魚眼レンズを用いて撮影された画像や、撮影方向を変えながら通常のデジタルカメラで撮影された複数の画像を合成した画像であってもよい。   The panoramic image is not limited to the one taken with the omnidirectional photographing system as shown in FIG. 3, but is composed of an image photographed using a fisheye lens or a plurality of images photographed with a normal digital camera while changing the photographing direction. It may be an image.

上記の説明では、アライメント処理部12が動画像をパノラマ画像の領域に関連付けた後、マッピング処理部14がパノラマ画像と動画像の静止画フレームを3次元パノラマ空間にマッピングした。別の方法として、アライメント処理部12が、コントロールポイントにもとづいて動画像の静止画フレームをパノラマ画像の領域に合成する処理まで行った後、マッピング処理部14が動画像の静止画フレームが合成されたパノラマ画像を3次元パノラマ空間にマッピングしてもよい。   In the above description, after the alignment processing unit 12 associates the moving image with the panoramic image region, the mapping processing unit 14 maps the panoramic image and the still image frame of the moving image to the three-dimensional panoramic space. As another method, after the alignment processing unit 12 has performed processing for combining the still image frame of the moving image with the panoramic image region based on the control point, the mapping processing unit 14 combines the still image frame of the moving image. The panorama image may be mapped to the three-dimensional panorama space.

パノラマ画像表示装置100の機能構成の内、主にパノラマ画像に動画像をアライメントしてリンクする機能に係る構成をサーバに実装し、主にパノラマ画像とパノラマ画像内にリンクされた動画像を閲覧する機能に係る構成をクライアントに実装することで、パノラマ画像表示装置100を、ネットワークを介したサーバ−クライアントシステムとして実現することもできる。サーバが、パノラマ画像に対して動画像の静止画フレームをアライメントしてリンクする処理を実行し、クライアントには、動画像がリンク付けされたパノラマ画像を閲覧するインタフェースが提供されてもよい。クライアントの表示画面においてユーザが動画像の領域にズームインすると、動画像の符号化ストリームがサーバからストリーム配信され、クライアント側で復号されて動画像の再生がなされてもよい。   Among the functional configurations of the panoramic image display device 100, a configuration related to a function of aligning and linking a moving image to a panoramic image is mainly implemented in the server, and the panoramic image and a moving image linked in the panoramic image are mainly viewed. The panorama image display apparatus 100 can also be realized as a server-client system via a network by mounting a configuration related to the function to the client. The server may execute a process of aligning and linking the still image frames of the moving image to the panoramic image, and the client may be provided with an interface for browsing the panoramic image to which the moving image is linked. When the user zooms in on the moving image area on the display screen of the client, the encoded stream of the moving image may be streamed from the server and decoded on the client side to reproduce the moving image.

10 パノラマ画像取得部、 11 動画像取得部、 12 アライメント処理部、 14 マッピング処理部、 16 3次元画像生成部、 18 表示制御部、 20 コントロールポイント検出部、 22 動画像再生部、 24 パノラマ画像・付加データ記憶部、 26 動画像データ記憶部、 30 視点位置設定部、 31 画角設定部、 32 視線方向設定部、 34 高度設定部、 36 日時設定部、 40 ユーザインタフェース部、 100 パノラマ画像表示装置、 200 カメラ。   10 panorama image acquisition unit, 11 moving image acquisition unit, 12 alignment processing unit, 14 mapping processing unit, 16 three-dimensional image generation unit, 18 display control unit, 20 control point detection unit, 22 moving image reproduction unit, 24 panorama image / Additional data storage unit, 26 moving image data storage unit, 30 viewpoint position setting unit, 31 field angle setting unit, 32 gaze direction setting unit, 34 altitude setting unit, 36 date and time setting unit, 40 user interface unit, 100 panoramic image display device 200 cameras.

Claims (9)

動画像を静止画像の領域に対応付けるためのコントロールポイントにもとづいて前記静止画像に対する前記動画像のアライメントを調整するアライメント処理部と、
前記静止画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させる表示制御部と、
表示された静止画像に対するユーザの指示を受け付けるインタフェース部と、
前記インタフェース部が前記静止画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する動画像再生部とを含むことを特徴とする画像表示装置。
An alignment processing unit that adjusts the alignment of the moving image with respect to the still image based on a control point for associating the moving image with a region of the still image;
A display control unit for displaying on the screen a still image frame of the moving image that has undergone alignment processing on the still image;
An interface unit for receiving a user instruction for the displayed still image;
An image display device comprising: a moving image reproduction unit that reproduces the moving image when the interface unit receives an instruction to reproduce the moving image in the still image.
前記インタフェース部が前記静止画像内の前記動画像を含む領域にズームインする指示を受け付けた場合、前記動画像再生部は、前記動画像の静止画フレームに代えて、前記動画像の再生を開始することを特徴とする請求項1に記載の画像表示装置。   When the interface unit receives an instruction to zoom in on an area including the moving image in the still image, the moving image reproduction unit starts reproducing the moving image instead of the still image frame of the moving image. The image display apparatus according to claim 1. 前記動画像再生部は、前記動画像を再生する際、前記動画像と前記静止画像の境界領域をアルファブレンドすることにより、前記静止画像との不整合による影響を緩和させることを特徴とする請求項1または2に記載の画像表示装置。   The moving image reproduction unit reduces the influence of mismatch between the moving image and the still image by alpha blending a boundary area between the moving image and the still image when reproducing the moving image. Item 3. The image display device according to Item 1 or 2. 前記動画像の撮影方向または撮影倍率が所定の閾値を超えて変化した場合、前記アライメント処理部は、撮影方向または撮影倍率が変化した後の最新フレームについては更新されたコントロールポイントにもとづいて前記静止画像に対する前記動画像のアライメントを再調整し、
前記表示制御部は、アライメントが再調整された前記動画像の最新フレームを前記静止画像に重ねて画面に表示させることを特徴とする請求項1から3のいずれかに記載の画像表示装置。
When the shooting direction or shooting magnification of the moving image has changed beyond a predetermined threshold, the alignment processing unit performs the stationary based on the updated control point for the latest frame after the shooting direction or shooting magnification has changed. Readjust the alignment of the video with respect to the image,
The image display device according to claim 1, wherein the display control unit displays the latest frame of the moving image whose alignment is readjusted on the screen so as to overlap the still image.
静止画像と前記静止画像に貼り付けるべき動画像の一部のフレームとの間で特徴点を抽出することにより、前記動画像を前記静止画像の領域に対応付けるためのコントロールポイントを検出する検出部と、
検出されたコントロールポイントを前記静止画像を閲覧する端末装置に送信する送信部とを含み、
前記動画像の撮影方向または撮影倍率が所定の閾値を超えて変化した場合、前記検出部は、撮影方向または撮影倍率が変化した後の最新フレームについて、前記静止画像との間で特徴点を抽出して、前記動画像を前記静止画像の領域に対応付けるためのコントロールポイントを新たに検出し、前記送信部は、新たなコントロールポイントを前記端末装置に送信することを特徴とするサーバ装置。
A detection unit for detecting a control point for associating the moving image with the region of the still image by extracting feature points between the still image and a part of the frame of the moving image to be pasted on the still image; ,
A transmission unit that transmits the detected control point to a terminal device that browses the still image,
When the shooting direction or shooting magnification of the moving image changes beyond a predetermined threshold, the detection unit extracts feature points from the still image for the latest frame after the shooting direction or shooting magnification changes. Then, the server apparatus newly detects a control point for associating the moving image with the region of the still image, and the transmission unit transmits the new control point to the terminal apparatus.
静止画像と前記静止画像に貼り付けるべき動画像の一部のフレームとの間で特徴点を抽出することによって検出された、前記動画像を前記静止画像の領域に対応付けるためのコントロールポイントと、前記静止画像のデータと、前記動画像のデータとが配置されたフォーマット構造を有する画像データ構造。   A control point for associating the moving image with a region of the still image detected by extracting a feature point between the still image and a part of the frame of the moving image to be pasted on the still image; and An image data structure having a format structure in which still image data and moving image data are arranged. プロセッサが、静止画像と前記静止画像に貼り付けるべき動画像を記憶デバイスから読み出し、前記動画像を前記静止画像の領域に対応付けるためのコントロールポイントにもとづいて前記静止画像に対する前記動画像のアライメントを調整するステップと、
プロセッサが、前記静止画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させるステップと、
プロセッサが、表示された静止画像に対するユーザの指示を受け付けるステップと、
プロセッサが、前記静止画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生するステップとを含むことを特徴とする画像表示方法。
A processor reads a still image and a moving image to be pasted on the still image from a storage device, and adjusts the alignment of the moving image with respect to the still image based on a control point for associating the moving image with a region of the still image And steps to
A step of displaying a still image frame of the moving image that has undergone alignment processing on the still image and displaying the frame on a screen;
A processor accepting a user instruction for the displayed still image;
And a step of reproducing the moving image when the processor receives an instruction to reproduce the moving image in the still image.
動画像を静止画像の領域に対応付けるためのコントロールポイントにもとづいて前記静止画像に対する前記動画像のアライメントを調整する機能と、
前記静止画像にアライメント処理された前記動画像の静止画フレームを重ねて画面に表示させる機能と、
表示された静止画像に対するユーザの指示を受け付ける機能と、
前記静止画像内の前記動画像を再生する指示を受け付けた場合、前記動画像を再生する機能とをコンピュータに実行させることを特徴とするプログラム。
A function of adjusting the alignment of the moving image with respect to the still image based on a control point for associating the moving image with a region of the still image;
A function of displaying a still image frame of the moving image that has undergone alignment processing on the still image on a screen;
A function of accepting user instructions for the displayed still image;
A program for causing a computer to execute a function of reproducing the moving image when receiving an instruction to reproduce the moving image in the still image.
請求項8のプログラムを格納したことを特徴とする記録媒体。   A recording medium storing the program according to claim 8.
JP2013228514A 2013-11-01 2013-11-01 Image display device and image display method Active JP5646033B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013228514A JP5646033B2 (en) 2013-11-01 2013-11-01 Image display device and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013228514A JP5646033B2 (en) 2013-11-01 2013-11-01 Image display device and image display method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010225365A Division JP5406813B2 (en) 2010-10-05 2010-10-05 Panorama image display device and panorama image display method

Publications (2)

Publication Number Publication Date
JP2014082764A true JP2014082764A (en) 2014-05-08
JP5646033B2 JP5646033B2 (en) 2014-12-24

Family

ID=50786532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013228514A Active JP5646033B2 (en) 2013-11-01 2013-11-01 Image display device and image display method

Country Status (1)

Country Link
JP (1) JP5646033B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102449877B1 (en) 2017-09-15 2022-10-04 삼성전자주식회사 Method and terminal for providing a content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259454A (en) * 2001-03-02 2002-09-13 Victor Co Of Japan Ltd Object management device and object management method
JP2004214830A (en) * 2002-12-27 2004-07-29 Iwane Kenkyusho:Kk Partial real time image display
JP2005269121A (en) * 2004-03-17 2005-09-29 Sanyo Electric Co Ltd Video image recorder
JP2006005610A (en) * 2004-06-17 2006-01-05 Hitachi Ltd Panoramic video recording and reproducing device
JP2009159514A (en) * 2007-12-27 2009-07-16 Sony Corp Imaging device, control method thereof, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259454A (en) * 2001-03-02 2002-09-13 Victor Co Of Japan Ltd Object management device and object management method
JP2004214830A (en) * 2002-12-27 2004-07-29 Iwane Kenkyusho:Kk Partial real time image display
JP2005269121A (en) * 2004-03-17 2005-09-29 Sanyo Electric Co Ltd Video image recorder
JP2006005610A (en) * 2004-06-17 2006-01-05 Hitachi Ltd Panoramic video recording and reproducing device
JP2009159514A (en) * 2007-12-27 2009-07-16 Sony Corp Imaging device, control method thereof, and program

Also Published As

Publication number Publication date
JP5646033B2 (en) 2014-12-24

Similar Documents

Publication Publication Date Title
JP5406813B2 (en) Panorama image display device and panorama image display method
JP5409577B2 (en) Panorama image generation apparatus and panorama image generation method
JP5464955B2 (en) Panorama image display device
JP5250598B2 (en) Image display device and image display method
CN105144229B (en) Image processing apparatus, image processing method and program
US20200288098A1 (en) Method, apparatus, medium, terminal, and device for multi-angle free-perspective interaction
JP6787394B2 (en) Information processing equipment, information processing methods, programs
JP2005122100A (en) Image displaying system, image displaying apparatus, and program
JP6816465B2 (en) Image display systems, communication systems, image display methods, and programs
JP2014529930A (en) Selective capture and display of a portion of a native image
JP2018110375A (en) Display device, program, and display method
JP5701967B2 (en) Image display device and image display method
CN111669518A (en) Multi-angle free visual angle interaction method and device, medium, terminal and equipment
JP5646033B2 (en) Image display device and image display method
JP2019114147A (en) Image processing apparatus, control method for image processing apparatus, and program
JP5920857B2 (en) Image display device and image display method
JP6122991B2 (en) Image display device and image display method
TW202129228A (en) Method for appending image to panoramic image implemented by a servo terminal connected to a user terminal and a panoramic image database through a communication network
JP2013258540A (en) Electronic apparatus
CN111669569A (en) Video generation method and device, medium and terminal
WO2022180459A1 (en) Image processing method, recording medium, image processing apparatus, and image processing system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141104

R150 Certificate of patent or registration of utility model

Ref document number: 5646033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250