JP2006208767A - Image reproducing device and program - Google Patents

Image reproducing device and program Download PDF

Info

Publication number
JP2006208767A
JP2006208767A JP2005021097A JP2005021097A JP2006208767A JP 2006208767 A JP2006208767 A JP 2006208767A JP 2005021097 A JP2005021097 A JP 2005021097A JP 2005021097 A JP2005021097 A JP 2005021097A JP 2006208767 A JP2006208767 A JP 2006208767A
Authority
JP
Japan
Prior art keywords
image
layer
layers
dimensional image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005021097A
Other languages
Japanese (ja)
Other versions
JP4904692B2 (en
Inventor
Setsu Mihashi
説 三橋
Nobuhiro Fujinawa
展宏 藤繩
Hirotake Nozaki
弘剛 野崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2005021097A priority Critical patent/JP4904692B2/en
Publication of JP2006208767A publication Critical patent/JP2006208767A/en
Application granted granted Critical
Publication of JP4904692B2 publication Critical patent/JP4904692B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To display a two dimensional image in a stereoscopic and natural manner by employing a simple method without using a special filter or special glasses. <P>SOLUTION: The image reproducing device of this invention has a layer generating section and a display control section. The layer generating section takes out image data representing the two dimensional image and generates a plurality of image data of the layer which is a partial image of the two dimensional image. The display control section superimposes the plurality of the layers and displays them on a monitor. While displaying the plurality of the layers, the display control section changes at least any of the move distance, the expanding and reducing rate, the amount of vibration and the amount of rotation for every layer. Thus, stereoscopic effect can be given to the two dimensional image without generating sense of incongruity. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像再生装置及び画像再生プログラムに関し、特に、二次元画像に遠近感を与えて立体的に見せる技術に関する。   The present invention relates to an image playback device and an image playback program, and more particularly to a technique for giving a perspective to a two-dimensional image and making it appear stereoscopically.

従来より、二次元平面を三次元立体的に表現する様々な技術が提案されており、その一例として両眼の視差を利用したステレオグラムが知られている。ステレオグラムは、2種の画像を用いる必要があるため、特殊な機器を用いた撮影を要し、その表示画像を観察するためには特殊なフィルタや眼鏡が必要となる。そのようなフィルタや眼鏡を用いることなく二次元画像を立体的に表示する方法として、例えば特許文献1が知られている。   Conventionally, various techniques for expressing a two-dimensional plane three-dimensionally have been proposed. As an example, a stereogram using binocular parallax is known. Since the stereogram needs to use two types of images, it requires shooting using a special device, and a special filter and glasses are required to observe the display image. For example, Patent Document 1 is known as a method for stereoscopically displaying a two-dimensional image without using such a filter or glasses.

特許文献1では、1つの二次元画像に対応する複数のレイヤを2次元で(同一平面上で)表示する際、前段のレイヤほど振幅量が大きくなるように、各レイヤを同方向に同調させながら振動させている。ここで、「前段」は、画面に垂直な方向に観察者側(手前側)を意味するものとし、「後段」は、前段の反対の意味で用いる。特許文献1では、1つの二次元画像から複数のレイヤをどのように生成するかについては記載されていないが、その方法は、例えば特許文献2に記載されている。   In Patent Document 1, when a plurality of layers corresponding to one two-dimensional image are displayed two-dimensionally (on the same plane), the layers are tuned in the same direction so that the amplitude amount increases as the previous layer. While vibrating. Here, “front stage” means an observer side (front side) in a direction perpendicular to the screen, and “rear stage” is used in the opposite sense of the previous stage. Patent Document 1 does not describe how to generate a plurality of layers from one two-dimensional image, but the method is described in Patent Document 2, for example.

特許文献2では、2次元画像の画像データから、各画素に対し奥行き情報を算出し、奥行き情報に基づいて2次元画像を近景と遠景(のレイヤ)に分離している。ここで、各画素に対する奥行き情報は、特許文献2の段落[0027]等に記載されているように、2次元画像データの各画素に対し彩度を求め、彩度を奥行き値と見立てることで取得している。これは、景色は遠ざかるほど淡くなり(彩度が低下し)、近い方ほど色が鋭くなる(彩度が高くなる)という一般的な傾向を利用したものである。なお、各画素に対する奥行き情報、即ち、各画素に対する撮影位置からの距離の算出方法は、種々開発されており、株式会社マーキュリーシステムの「Mercury 3D」等で実用化されている。
特許第3448604号公報 特開2002−123842号公報
In Patent Document 2, depth information is calculated for each pixel from image data of a two-dimensional image, and the two-dimensional image is separated into a foreground and a distant view (layer) based on the depth information. Here, as described in paragraph [0027] of Patent Document 2, the depth information for each pixel is obtained by calculating the saturation for each pixel of the two-dimensional image data and regarding the saturation as a depth value. Have acquired. This is based on the general tendency that the scenery becomes lighter (saturation decreases) as the distance increases, and the color becomes sharper (saturation increases) closer. Various methods for calculating the depth information for each pixel, that is, the distance from the shooting position for each pixel, have been developed and put to practical use in “Mercury 3D” of Mercury System Co., Ltd.
Japanese Patent No. 3448604 JP 2002-123842 A

特許文献1のように表示画像の各レイヤを同一方向に振動させることは、写真を鑑賞する目的では人工的で不自然である。このため、特殊なフィルタや眼鏡を用いることなく、簡易な方法により、二次元画像を立体的且つ自然に見えるように表示する方法が望まれていた。
本発明の目的は、特殊なフィルタや眼鏡を用いることなく、簡易な方法により、二次元画像を立体的且つ自然に見えるように表示するための技術を提供することである。
Vibrating the layers of the display image in the same direction as in Patent Document 1 is artificial and unnatural for the purpose of viewing photographs. For this reason, there has been a demand for a method of displaying a two-dimensional image so that it looks three-dimensional and natural by a simple method without using a special filter or glasses.
An object of the present invention is to provide a technique for displaying a two-dimensional image so that it looks three-dimensional and natural by a simple method without using a special filter or glasses.

以下、本発明の原理を説明後、本発明の構成を請求項毎に説明する。
特許文献1のようにレイヤを振動させると不自然に見える。その不自然さを解消するためには、レイヤを一定方向にのみ移動させることで、パンニングをして撮影したような表示効果を与えればよい。その際、立体感を得るためには、前段のレイヤほど移動量を大きくする必要がある。また、特許文献1では、各レイヤの移動方向について、「左右、上下、或いは、これらを合成した方向が採用できる」としているが、それだけでは立体感が不十分である。
Hereinafter, after explaining the principle of the present invention, the configuration of the present invention will be described for each claim.
When the layer is vibrated as in Patent Document 1, it looks unnatural. In order to eliminate the unnaturalness, it is only necessary to give a display effect that is obtained by panning and shooting by moving the layer only in a certain direction. In that case, in order to obtain a three-dimensional effect, it is necessary to increase the movement amount in the preceding layer. Further, in Patent Document 1, the movement direction of each layer is described as “left and right, up and down, or a direction in which these are combined” can be adopted. However, the stereoscopic effect is insufficient.

そこで、左右、上下、或いは、これらを合成した方向以外に、レイヤを前後方向(画面に対して鉛直な方向)にも動かせば、表現効果はさらに充実する。具体的には、レイヤを拡大することで、そのレイヤが示す被写体が鑑賞者に近づく方向に移動しているように見せる。反対にレイヤを縮小することで、そのレイヤが示す被写体が鑑賞者から遠ざかる方向に移動しているように見せる。その際、前段のレイヤほど拡大率または縮小率の100%との差を大きくし、後段のレイヤほど拡大率または縮小率を100%に近くする。そのようにすれば、被写体が手前に近づいてくる様子、或いは、遠ざかっていく様子に遠近感が加わり、立体感が増す。   Therefore, if the layer is moved in the front-rear direction (direction perpendicular to the screen) in addition to the left and right, the upper and lower sides, or the direction in which these are combined, the expression effect is further enhanced. Specifically, by enlarging the layer, the subject indicated by the layer appears to move in a direction approaching the viewer. On the other hand, by reducing the layer, the subject indicated by the layer appears to move away from the viewer. At this time, the difference between the enlargement ratio or the reduction ratio of 100% is increased in the preceding layer, and the enlargement ratio or the reduction ratio is close to 100% in the subsequent layer. By doing so, a perspective is added to the appearance of the subject approaching or moving away, and the stereoscopic effect is increased.

しかし、前段のレイヤと後段のレイヤとで移動量を変えて、それらを移動させる場合、元の二次元画像には写っていない部分、即ち、前段の被写体の背後にあって、撮影位置からは見えなかった部分を表示しなくてはならない。その場合、元の二次元画像には写っていない部分の画像を作成する必要があるが、架空の画像の作成は避けるべきである。この解決策として本発明者は、元の二次元画像が示す被写体の構図よりも、各レイヤを鑑賞者に近い側に移動させた状態を予め作り、この状態を表示開始時の画像として、上述のように各レイヤを移動させながら表示する方法を捻出した。   However, when changing the amount of movement between the previous layer and the subsequent layer and moving them, the part that is not shown in the original two-dimensional image, that is, behind the previous subject, from the shooting position The part that was not visible must be displayed. In that case, it is necessary to create an image of a portion that is not shown in the original two-dimensional image, but the creation of a fictitious image should be avoided. As a solution to this problem, the inventor made in advance a state in which each layer is moved closer to the viewer than the composition of the subject indicated by the original two-dimensional image, and this state is used as an image at the start of display as described above. The method of displaying while moving each layer was devised.

ここでの「各レイヤを鑑賞者に近い側に移動させた状態」は、前段のレイヤほど大きい拡大率で各レイヤを拡大することで作成する。この場合、表示開始時点では、後段よりも前段のレイヤの拡大率の方が大きいため、後段のレイヤの一部は前段のレイヤによって隠れた状態となる。従って、レイヤの移動量が所定の範囲内であれば、各レイヤを移動させながら表示しても、元の二次元画像に示されている画像を表示すればよく、架空の画像を作成する必要はない。本発明は、以上のように画期的な技術思想に基づくものであり、以下のように構成される。   The “state in which each layer is moved closer to the viewer” here is created by enlarging each layer with a larger enlargement ratio as the previous layer. In this case, at the display start time, the enlargement rate of the preceding layer is larger than the succeeding layer, so that a part of the succeeding layer is hidden by the preceding layer. Therefore, if the moving amount of the layer is within a predetermined range, it is only necessary to display the image shown in the original two-dimensional image even if each layer is moved and displayed, and it is necessary to create a fictitious image. There is no. The present invention is based on the groundbreaking technical idea as described above, and is configured as follows.

請求項1の画像再生装置は、レイヤ生成部と、表示制御部とを備えたことを特徴とする。レイヤ生成部は、二次元画像を示す画像データを取得して、二次元画像の少なくとも一部の画像を示すレイヤの画像データを複数生成する。表示制御部は、移動距離、拡大率、縮小率、振動量、回転量の少なくともいずれかを各々のレイヤ毎に変えて、複数のレイヤを重ねてモニタ上に表示させる。   According to another aspect of the present invention, there is provided an image reproduction apparatus including a layer generation unit and a display control unit. The layer generation unit acquires image data indicating a two-dimensional image, and generates a plurality of layer image data indicating at least a part of the two-dimensional image. The display control unit changes at least one of the movement distance, the enlargement ratio, the reduction ratio, the vibration amount, and the rotation amount for each layer, and displays a plurality of layers on the monitor.

請求項2の発明は、請求項1の画像再生装置において、「レイヤ生成部が、二次元画像の画像データに対し、1画素または画素領域毎に撮影位置からの距離に相当する情報を算出し、撮影位置からの距離に応じて複数のレイヤの画像データを生成する」ことを特徴とする。
請求項3の発明は、請求項2の画像再生装置において、以下の点を特徴とする。第1に、表示制御部は、レイヤ毎に拡大率または縮小率を変えて、複数のレイヤを重ねてモニタ上に表示させる。第2に、撮影位置からの距離が近いレイヤほど、相対的に拡大率または縮小率が大きい。
According to a second aspect of the present invention, in the image reproduction device according to the first aspect, the “layer generation unit calculates information corresponding to the distance from the shooting position for each pixel or pixel area for the image data of the two-dimensional image. The image data of a plurality of layers is generated in accordance with the distance from the shooting position ”.
According to a third aspect of the present invention, in the image reproduction device of the second aspect, the following points are characterized. First, the display control unit changes the enlargement ratio or the reduction ratio for each layer, and displays a plurality of layers on the monitor. Secondly, the closer the distance from the shooting position is, the larger the enlargement ratio or reduction ratio is.

請求項4の発明は、請求項3の画像再生装置において、「表示制御部が、撮影位置からの距離が最も近いレイヤを拡大すると共に最も前段にした状態から、複数のレイヤの表示を開始させる」ことを特徴とする。
請求項5の発明は、請求項1〜請求項4のいずれかの画像再生装置において、「表示制御部が、1つの二次元画像の再生時間に応じて、その二次元画像に対応する複数のレイヤに対して移動速度をそれぞれ決定し、決定した移動速度で複数のレイヤを移動させながら表示させる」ことを特徴とする。
According to a fourth aspect of the present invention, in the image reproducing device according to the third aspect, "the display control unit starts displaying a plurality of layers from a state where the layer closest to the shooting position is enlarged and brought to the frontmost stage. It is characterized by that.
According to a fifth aspect of the present invention, there is provided the image reproduction device according to any one of the first to fourth aspects, wherein the display control unit includes a plurality of display units corresponding to the two-dimensional image according to the reproduction time of one two-dimensional image. The moving speed is determined for each layer, and a plurality of layers are displayed while moving at the determined moving speed ”.

請求項6の発明は、請求項1〜請求項5のいずれかの画像再生装置において、表示制御部が複数のレイヤを一方向に移動させながら表示させることを特徴とする。
請求項7の発明は、請求項1〜請求項6のいずれかのレイヤ生成部及び表示制御部として、コンピュータを機能させるための画像再生プログラムである。
According to a sixth aspect of the present invention, in the image reproduction device according to any one of the first to fifth aspects, the display control unit displays a plurality of layers while moving the layers in one direction.
A seventh aspect of the present invention is an image reproduction program for causing a computer to function as the layer generation unit and the display control unit according to any one of the first to sixth aspects.

本発明では、二次元画像の画像データを取得して複数のレイヤを生成後、複数のレイヤを重ねて表示させる。この表示の際、移動距離、拡大率、縮小率、振動量、回転量の少なくともいずれかをレイヤ毎に変えるので、違和感を与えることなく、二次元画像に立体感を与えることができる。   In the present invention, after obtaining image data of a two-dimensional image and generating a plurality of layers, the plurality of layers are superimposed and displayed. At the time of this display, at least any one of the moving distance, the enlargement ratio, the reduction ratio, the vibration amount, and the rotation amount is changed for each layer, so that a stereoscopic effect can be given to the two-dimensional image without giving a sense of incongruity.

以下、本発明の画像再生装置の実施形態について、装置構成、動作フロー、効果、補足事項の順に図面を参照しながら説明する。
<本実施形態の構成>
図1は、本実施形態の画像再生装置の概略構成を示すブロック図である。図に示すように、画像再生装置10は、媒体ドライブ部20と、MPU24と、表示インターフェース28と、システムバス30と、記憶部32と、画像メモリ36とを有する。
Hereinafter, an embodiment of an image reproduction device of the present invention will be described in the order of device configuration, operation flow, effect, and supplementary items with reference to the drawings.
<Configuration of this embodiment>
FIG. 1 is a block diagram showing a schematic configuration of the image reproduction apparatus of the present embodiment. As shown in the figure, the image playback device 10 includes a medium drive unit 20, an MPU 24, a display interface 28, a system bus 30, a storage unit 32, and an image memory 36.

媒体ドライブ部20は、CD−ROMドライブ、DVD−ROMドライブ、メモリカードスロット等を有し、装填された記録媒体40に記録された画像データを読み込んで、それを画像メモリ36に記憶させる。また、媒体ドライブ部20は、USB等の入力用インターフェースも有し、ネットワークから画像データを取り込むことも可能である。なお、媒体ドライブ部20は、無線により外部から画像データを取り込むことが可能な構成にしてもよい。   The medium drive unit 20 includes a CD-ROM drive, a DVD-ROM drive, a memory card slot, and the like. The medium drive unit 20 reads image data recorded on the loaded recording medium 40 and stores it in the image memory 36. The medium drive unit 20 also has an input interface such as a USB, and can capture image data from a network. The medium drive unit 20 may be configured to be able to capture image data from the outside wirelessly.

画像メモリ36は、画像データ等を一時的に記憶する。
MPU24は、画像メモリ36に読み込まれた二次元画像の画像データから複数のレイヤを生成し、それを立体的に見せる映像信号を生成する。
記憶部32は、画像再生装置10の設定条件等を記憶する不揮発性メモリである。
表示インターフェース28は、液晶表示装置等のモニタ48に接続され、MPU24により生成された映像信号をモニタ48に入力する。
The image memory 36 temporarily stores image data and the like.
The MPU 24 generates a plurality of layers from the image data of the two-dimensional image read into the image memory 36, and generates a video signal that shows them three-dimensionally.
The storage unit 32 is a nonvolatile memory that stores setting conditions and the like of the image playback device 10.
The display interface 28 is connected to a monitor 48 such as a liquid crystal display device, and inputs a video signal generated by the MPU 24 to the monitor 48.

図2は、本実施形態におけるレイヤの生成方法を示す説明図である。図2(a)は、記録媒体40から読み込んだ画像データにより表される元の二次元画像を示し、図2(b)、(c)、(d)はそれぞれ、図2(a)の二次元画像から生成されたレイヤの画像を示す。以下、MPU24によるレイヤの生成方法を説明する。
まず、MPU24は、特許文献2に記載された公知の手法により、元の二次元画像の画像データの各画素に対し、撮影位置からの距離(以下、奥行き値Xという)を算出する。
FIG. 2 is an explanatory diagram illustrating a layer generation method according to the present embodiment. FIG. 2A shows an original two-dimensional image represented by image data read from the recording medium 40, and FIGS. 2B, 2C, and 2D are respectively two views of FIG. The image of the layer produced | generated from the three-dimensional image is shown. Hereinafter, a layer generation method by the MPU 24 will be described.
First, the MPU 24 calculates a distance from the photographing position (hereinafter referred to as a depth value X) for each pixel of the image data of the original two-dimensional image by a known method described in Patent Document 2.

次に、MPU24は、奥行き値Xに応じて全画素を複数のレイヤに分類する。即ち、奥行き値Xが同じ範囲に入る複数の画素をレイヤとする。例えば奥行き値Xが第1の所定値以上の画素は最も後段のレイヤR1、奥行き値Xが第2の所定値(第1の所定値より小さい値)以下の画素は最も前段のレイヤR3、それ以外の画素は中段のレイヤR2とする。
本実施形態では説明の簡単化のため、元の二次元画像の構図は、図2(a)に示すように、後段の背景Baと、中段の被写体家屋Hoと、前段の被写体人物Pa、Pbとで構成されているとする。従って、後段のレイヤR1は、図2(b)に示すように背景Baからなり、中段のレイヤR2は、図2(c)に示すように被写体家屋Hoからなり、後段のレイヤR3は、図2(d)に示すように被写体人物Pa、Pbからなる。
Next, the MPU 24 classifies all pixels into a plurality of layers according to the depth value X. That is, a plurality of pixels having a depth value X in the same range is set as a layer. For example, the pixel whose depth value X is equal to or greater than the first predetermined value is the rearmost layer R1, and the pixel whose depth value X is equal to or smaller than the second predetermined value (a value smaller than the first predetermined value) is the frontmost layer R3. The other pixels are the middle layer R2.
In the present embodiment, for simplification of description, as shown in FIG. 2A, the composition of the original two-dimensional image is as follows: the back background Ba, the middle subject house Ho, and the front subject persons Pa, Pb. And is composed of Accordingly, the latter layer R1 is made up of the background Ba as shown in FIG. 2B, the middle layer R2 is made up of the subject house Ho as shown in FIG. 2C, and the latter layer R3 is shown in FIG. As shown in 2 (d), it consists of subject persons Pa and Pb.

本実施形態では一例として、各レイヤR1〜R3における画像が存在しない領域を透明画素とすることで、各レイヤR1〜R3の画像データのサイズ(縦横の画素数)は、元の二次元画像の画像データと同じとする。ここでの透明画素とは、画素値を有さない画素である。即ち、2つのレイヤを重ねて表示する場合、ある位置の画素について、一方のレイヤでは透明画素であり、他方のレイヤでは画素値を有する通常の画素であれば、他方のレイヤの画素値のみに応じた表示がされる。また、複数のレイヤを重ねて表示する際、ある位置の画素について、複数のレイヤが画素値を有する場合、それらの内の最も前段のレイヤの画素値のみに応じた表示がされる。   In the present embodiment, as an example, by setting a region where no image exists in each layer R1 to R3 as a transparent pixel, the size (number of vertical and horizontal pixels) of the image data of each layer R1 to R3 is the same as that of the original two-dimensional image. Same as image data. Here, the transparent pixel is a pixel having no pixel value. That is, when two layers are displayed in an overlapping manner, if a pixel at a certain position is a transparent pixel in one layer and a normal pixel having a pixel value in the other layer, only the pixel value of the other layer is used. A corresponding display is displayed. Further, when displaying a plurality of layers in a superimposed manner, if a plurality of layers have pixel values for a pixel at a certain position, display is performed according to only the pixel values of the frontmost layer among them.

図2(b)に示すように、後段のレイヤR1では、元の二次元画像において被写体家屋Ho、被写体人物Pa、Pbがあった画素領域のみが透明画素となる。図2(c)に示すように、中段のレイヤR2では、被写体家屋Hoにおいて被写体人物Pbの後ろに隠れている部分と、背景Baに対応する画素領域とが透明画素となる。図2(d)に示すように、前段のレイヤR3では、元の二次元画像における被写体人物Pa、Pb以外の画素領域が透明画素となる。なお、被写体人物Paの画素領域と、被写体人物Pbの画素領域は互いに繋がっていないが、1つのレイヤとして扱う。即ち、本実施形態では、奥行き値Xが同じ範囲になる画素領域は、画像として繋がっているか否かに拘らず、1つのレイヤとして扱う。   As shown in FIG. 2B, in the subsequent layer R1, only the pixel area where the subject house Ho, the subject person Pa, and Pb exist in the original two-dimensional image is a transparent pixel. As shown in FIG. 2C, in the middle layer R2, a portion hidden behind the subject person Pb in the subject house Ho and a pixel region corresponding to the background Ba are transparent pixels. As shown in FIG. 2D, in the previous layer R3, pixel regions other than the subject person Pa and Pb in the original two-dimensional image are transparent pixels. The pixel area of the subject person Pa and the pixel area of the subject person Pb are not connected to each other, but are treated as one layer. That is, in the present embodiment, pixel regions having the same depth value X are handled as one layer regardless of whether or not they are connected as an image.

また、奥行き値Xにより複数のレイヤに分割する際、等間隔の距離で分類するのではなく、前段のレイヤほど、そのレイヤに含まれる画素の奥行き値Xの上限値と下限値の間隔を小さくすることが望ましい。例えば、最も前段のレイヤは奥行き値X=0〜1[メートル]の範囲の被写体、2番目に前段のレイヤは奥行き値X=1〜5[メートル]の範囲の被写体、3番目に前段のレイヤは奥行き値X=5〜25[メートル]の範囲の被写体、4番目に前段のレイヤは奥行き値X=25〜125[メートル]の範囲の被写体・・・というように、後段になるほど、そのレイヤに対する奥行き値Xの範囲を広げることが望ましい。   In addition, when dividing into multiple layers based on the depth value X, the upper layer and the lower limit value of the depth value X of the pixels included in the layer are made smaller in the preceding layer rather than being classified at equal intervals. It is desirable to do. For example, the foremost layer is the subject in the range of depth value X = 0 to 1 [meter], the second previous layer is the subject in the range of depth value X = 1 to 5 [meter], and the third is the previous layer Is the subject in the range of the depth value X = 5 to 25 [meter], the fourth layer is the subject in the range of the depth value X = 25 to 125 [meter], and so on. It is desirable to widen the range of depth values X for.

図3は、表示開始時の画像の作成方法を示す説明図である。本実施形態では、前段のレイヤほど大きい拡大率で各レイヤを拡大することで、元の二次元画像が示す構図よりも各レイヤを手前側に移動させた状態を作り、この状態を表示開始時の画像とする。例えば、後段のレイヤR1を図3(a)に示すように102%の拡大率で拡大し、中段のレイヤR2を図3(b)に示すように125%の拡大率で拡大し、前段のレイヤR3を図3(c)に示すように250%の拡大率で拡大する。ここでの拡大率の数値は、一例である。   FIG. 3 is an explanatory diagram showing a method of creating an image at the start of display. In this embodiment, by enlarging each layer with a larger enlargement ratio as the previous layer, a state in which each layer is moved to the near side from the composition indicated by the original two-dimensional image is created, and this state is displayed at the start of display. Image. For example, the latter layer R1 is enlarged at an enlargement rate of 102% as shown in FIG. 3A, and the middle layer R2 is enlarged at an enlargement rate of 125% as shown in FIG. Layer R3 is enlarged at an enlargement rate of 250% as shown in FIG. The numerical value of the enlargement rate here is an example.

なお、本明細書での拡大率、及び縮小率は、面積割合ではなく、縦または横の画素数を何%で拡大または縮小するかを意味する。また、本実施形態では、縦方向にも横方向にも同じ割合で拡大縮小する。図3(d)は、このように拡大したレイヤR1〜R3を重ねた表示開始時の画像であり、前段のレイヤほど拡大率が大きいので、各レイヤR1〜R3において透明画素となっている画像領域を表示する必要はない。   Note that the enlargement ratio and reduction ratio in this specification do not mean the area ratio, but mean what percentage the number of vertical or horizontal pixels is enlarged or reduced. In the present embodiment, the image is enlarged / reduced at the same rate both in the vertical direction and in the horizontal direction. FIG. 3D is an image at the start of display in which the layers R1 to R3 expanded in this way are overlapped. Since the enlargement ratio is higher in the preceding layer, the image is a transparent pixel in each layer R1 to R3. There is no need to display the area.

図4(a)〜(c)は、レイヤR1〜R3をそれぞれどのように移動させて重畳表示することで、元の二次元画像を立体的に見せるかを示す説明図である。なお、図4(a)〜(c)における縦横の2本の点線は、各レイヤR1〜R3の移動量を分かり易くするために、画像全体を縦横に2分割した線であり、実際にモニタ48に表示されるものではない。縦横の2本の点線の交点は、画像の中心である。図4(a)は表示開始時の画像であって図3(d)と同じであり、図4(b)は表示途中の画像、図4(c)は表示終了時の画像である。本実施形態では一例として、各レイヤR1〜R3を画像の右から左の一方向にのみ移動させる。このときの移動量は、後述するように、透明画素となっている領域を表示しなくてもよい範囲内にする。   4A to 4C are explanatory diagrams showing how the layers R1 to R3 are moved and superimposed to display the original two-dimensional image in a three-dimensional manner. Note that the two vertical and horizontal dotted lines in FIGS. 4A to 4C are lines obtained by dividing the entire image vertically and horizontally in order to make the movement amounts of the layers R1 to R3 easy to understand. 48 is not displayed. The intersection of two vertical and horizontal dotted lines is the center of the image. 4A is an image at the start of display, which is the same as FIG. 3D, FIG. 4B is an image in the middle of display, and FIG. 4C is an image at the end of display. In the present embodiment, as an example, the layers R1 to R3 are moved only in one direction from the right to the left of the image. As will be described later, the movement amount at this time is set within a range in which the area that is a transparent pixel need not be displayed.

<本実施形態の動作説明>
図5は、本実施形態の画像再生装置10の動作を示す流れ図である。ここでは一例として、スライドショーとして複数の二次元画像を立体的に表示する例を説明するが、本発明は他の表示方法にも適用可能である。以下、図に示すステップ番号に従って、画像再生装置10の動作を説明する。
<Description of operation of this embodiment>
FIG. 5 is a flowchart showing the operation of the image reproduction device 10 of the present embodiment. Here, as an example, an example in which a plurality of two-dimensional images are stereoscopically displayed as a slide show will be described, but the present invention can also be applied to other display methods. Hereinafter, the operation of the image reproduction apparatus 10 will be described according to the step numbers shown in the figure.

[ステップS1]MPU24は、どのファイルの画像データを読み込むかを媒体ドライブ部20に指令する。媒体ドライブ部20は、装填された記録媒体40内から、MPU24により指令された画像データのファイルを読み込み、これを画像メモリ36に記憶させる。本実施形態では、ここで読み込む画像データは二次元画像を示すものとする。
[ステップS2]MPU24は、前述の手法により、画像メモリ36に読み込まれた画像データの各画素に対し、奥行き値Xを計算する。
[Step S1] The MPU 24 instructs the medium drive unit 20 which file image data is to be read. The medium drive unit 20 reads the image data file instructed by the MPU 24 from the loaded recording medium 40 and stores it in the image memory 36. In the present embodiment, the image data read here indicates a two-dimensional image.
[Step S2] The MPU 24 calculates a depth value X for each pixel of the image data read into the image memory 36 by the method described above.

[ステップS3]MPU24は、奥行き値Xに基づいて、画像データが示す二次元画像を複数のレイヤに分割できるか否かを判定する。具体的には、全画素が同程度の奥行き値Xの範囲内に含まれるか否かを判定する。分割できる場合、ステップS4に進み、分割できない場合、ステップS9に進む。
[ステップS4]MPU24は、前述の図2で説明した手順で、元の二次元画像の画像データから複数のレイヤの画像データを生成する。
[Step S3] Based on the depth value X, the MPU 24 determines whether or not the two-dimensional image indicated by the image data can be divided into a plurality of layers. Specifically, it is determined whether or not all the pixels are included in the range of the same depth value X. If it can be divided, the process proceeds to step S4, and if it cannot be divided, the process proceeds to step S9.
[Step S4] The MPU 24 generates image data of a plurality of layers from the image data of the original two-dimensional image by the procedure described in FIG.

[ステップS5]MPU24は、表示する際のレイヤの移動方向を決定する。この移動方向は、例えばスライドショーの開始前に設定され、記憶部32に記憶された画像再生装置10の設定条件等に基づいてMPU24が決定してもよいし、ユーザにより予め設定させてもよい。或いは、多数の画像のデータベースから最適化学習された演算アルゴリズムをMPU24に記憶させておき、記憶媒体40から読み込んだ元の二次元画像にふさわしい移動方向を決定するようにしてもよい。本実施形態では一例として、各レイヤを画像の右から左の一方向にのみ移動させる。   [Step S5] The MPU 24 determines the moving direction of the layer for display. This moving direction is set before the start of the slide show, for example, and may be determined by the MPU 24 based on the setting conditions of the image playback device 10 stored in the storage unit 32, or may be set in advance by the user. Alternatively, an arithmetic algorithm that has been optimized and learned from a database of a large number of images may be stored in the MPU 24, and a movement direction suitable for the original two-dimensional image read from the storage medium 40 may be determined. In this embodiment, as an example, each layer is moved only in one direction from the right to the left of the image.

[ステップS6]MPU24は、前述の図3で説明した手順で、前段のレイヤほど大きい拡大率で各レイヤを拡大し、表示開始時の画像の画像データを作成する。ここでの拡大率は、例えば300%等の最大値を予め決めておき、最も前段のレイヤの拡大率がその最大値になり、最も後段のレイヤの拡大率が例えば約103〜100%になるようにすればよい。なお、最も後段のレイヤは、全く拡大しなくてもよい。   [Step S6] The MPU 24 enlarges each layer with a larger enlargement ratio as the preceding layer in the procedure described with reference to FIG. 3, and creates image data of an image at the start of display. The enlargement rate here is determined in advance to a maximum value such as 300%, for example, the enlargement rate of the first layer is the maximum value, and the enlargement rate of the latter layer is, for example, about 103 to 100%. What should I do? Note that the last layer need not be expanded at all.

上記のように表示開始時の画像を作成後、MPU24は、表示開始時の画像から、各レイヤR1〜R3をステップS5で決定した移動方向に移動させた場合に、透明画素を表示せずに済む最大移動距離を求める。このときの各レイヤR1、R2、R3の移動量の比は、例えば以下のように決める。まず、MPU24は、各レイヤR1、R2、R3に対し、そのレイヤに分類された全画素の奥行き値Xの平均値を算出し、それぞれ平均奥行き値Xaver1、Xaver2,Xaver3とする。そして、各レイヤR1、R2、R3の移動量は、例えば平均奥行き値Xaver1、Xaver2,Xaver3の逆数に比例させることで、前段のレイヤほど移動量を大きくする。   After creating the display start image as described above, the MPU 24 does not display the transparent pixels when the layers R1 to R3 are moved from the display start image in the movement direction determined in step S5. Find the maximum distance traveled. At this time, the ratio of the movement amounts of the layers R1, R2, and R3 is determined as follows, for example. First, the MPU 24 calculates, for each layer R1, R2, and R3, the average value of the depth values X of all the pixels classified in the layer, and sets them as average depth values Xaver1, Xaver2, and Xaver3, respectively. Then, the movement amount of each layer R1, R2, R3 is increased in proportion to the reciprocal of the average depth value Xaver1, Xaver2, Xaver3, for example, so that the movement amount of the previous layer is increased.

最大移動距離の算出は、例えば以下のように行えばよい。即ち、各レイヤを所定量移動させた画像をシミュレーション後、透明画素を表示せずに済むか否かを判定する処理を、否と判定されるまで、各レイヤの移動量を次第に大きくしながら繰り返す。本実施形態では説明の簡単化のため、後段のレイヤR1の平均奥行き値Xaver1が他のレイヤに比べて十分に大きいとし、後段のレイヤR1は移動させないとする。   The maximum movement distance may be calculated as follows, for example. That is, after simulating an image in which each layer has been moved by a predetermined amount, the process of determining whether or not to display a transparent pixel is repeated while gradually increasing the amount of movement of each layer until it is determined to be no . In this embodiment, for simplification of description, it is assumed that the average depth value Xaver1 of the subsequent layer R1 is sufficiently larger than the other layers, and the subsequent layer R1 is not moved.

この場合、MPU24は、表示開始時の画像に対し、レイヤR3を例えば5画素分、レイヤR2を例えば1画素分左から右に移動させた画像を画像メモリ36上でシミュレーションし、その画像において透明画素を表示せずに済むか否かを判定する。透明画素を表示せずに済むと判定された場合、表示開始時の画像に対し、レイヤR3を10画素分、レイヤR2を1画素分左から右に移動させた画像をシミュレーションし、その画像において透明画素を表示せずに済むか否かを判定する。このような処理を繰り返し、レイヤR2、R3に対し、透明画素を表示せずに済む最大移動距離Maxr2、Maxr3をそれぞれを求める。   In this case, the MPU 24 simulates, on the image memory 36, an image in which the layer R3 is moved by 5 pixels, for example, and the layer R2 is moved by 1 pixel, for example, from the left to the right with respect to the image at the start of display. It is determined whether or not the pixel need not be displayed. If it is determined that it is not necessary to display the transparent pixels, an image obtained by moving the layer R3 by 10 pixels and the layer R2 by 1 pixel from the left to the right is simulated with respect to the image at the start of display. It is determined whether or not to display the transparent pixels. Such processing is repeated, and the maximum movement distances Maxr2 and Maxr3 that do not require the display of transparent pixels are obtained for the layers R2 and R3, respectively.

次に、MPU24は、一画像当たりの再生時間(例えば1秒〜20秒)に応じて、レイヤR2、R3の移動速度Vr2、Vr3を算出する。ここでの移動速度は、一秒当たりにそのレイヤを何画素分所定方向に移動させるかである。再生時間に拘らず、透明画素を表示せずに済む最大移動距離Maxr2、Maxr3は変わらないので、本実施形態では一例として、移動速度=最大移動距離/再生時間、として算出する。   Next, the MPU 24 calculates the moving speeds Vr2 and Vr3 of the layers R2 and R3 according to the reproduction time per image (for example, 1 second to 20 seconds). The moving speed here is how many pixels the layer is moved in a predetermined direction per second. Regardless of the reproduction time, the maximum movement distances Maxr2 and Maxr3 that do not need to display a transparent pixel do not change. Therefore, in this embodiment, as an example, the calculation is performed as movement speed = maximum movement distance / reproduction time.

[ステップS7]MPU24は、ステップS6で生成した表示開始時の画像を起点として、1画像の再生時間の間、ステップS5で決定した移動方向に、ステップS6で決定した一定の移動速度で各レイヤが移動する映像信号を生成する。
[ステップS8]MPU24は、表示インターフェース28を介して、ステップS7で生成した映像信号をモニタ48に入力する。この後、ステップS10に進む。
[Step S7] The MPU 24 uses the image at the start of display generated in Step S6 as a starting point for each layer at the constant moving speed determined in Step S6 in the moving direction determined in Step S5 during the reproduction time of one image. Generates a moving video signal.
[Step S8] The MPU 24 inputs the video signal generated in step S7 to the monitor 48 via the display interface 28. Thereafter, the process proceeds to step S10.

[ステップS9]このステップに到達するのは、ステップS3で、二次元画像を複数のレイヤに分割できないと判定された場合である。このステップS9では、MPU24は、画像メモリ36に読み込まれた画像データを二次元の静止画像として表示するための映像信号を生成する。次に、MPU24は、表示インターフェース28を介して、この映像信号をモニタ48に入力する。この後、ステップS10に進む。   [Step S9] This step is reached when it is determined in step S3 that the two-dimensional image cannot be divided into a plurality of layers. In step S9, the MPU 24 generates a video signal for displaying the image data read into the image memory 36 as a two-dimensional still image. Next, the MPU 24 inputs this video signal to the monitor 48 via the display interface 28. Thereafter, the process proceeds to step S10.

[ステップS10]MPU24は、スライドショーとして表示すべき次の画像の画像データがあるか否かを判定し、あればステップS1に戻り、なければ所定の処理を行ってスライドショーを終了させる。以上のステップS1〜S10の間において、モニタ48は、ステップS8またはステップS9で入力された映像信号に従った画像を、スライドショーとして連続的に表示する。ステップS8で入力された映像信号の画像の表示中には、モニタ48上で重畳表示される各レイヤR1〜R3は、前述の図4に示したように同じ方向に異なる速度で移動する。ステップS9で入力された映像信号の画像の表示中には、モニタ48は静止画表示状態となる。以上が本実施形態の画像再生装置10の動作説明である。   [Step S10] The MPU 24 determines whether there is image data of the next image to be displayed as a slide show. If there is, the process returns to step S1, and if not, performs a predetermined process and ends the slide show. During the above steps S1 to S10, the monitor 48 continuously displays images according to the video signal input in step S8 or step S9 as a slide show. During the display of the image of the video signal input in step S8, the layers R1 to R3 superimposed on the monitor 48 move at different speeds in the same direction as shown in FIG. While the image of the video signal input in step S9 is being displayed, the monitor 48 is in a still image display state. The above is the description of the operation of the image playback device 10 of the present embodiment.

<本実施形態の効果>
このように本実施形態では、二次元画像の各画素に対し奥行き値Xを算出し、奥行き値Xに応じて元の二次元画像の全画像領域を複数の画像領域に分割することで、複数のレイヤを生成する。そして、各レイヤを重畳すると共に一定方向に移動させながら表示する。このとき、奥行き値Xが小さい(前段の)レイヤほど移動量を大きくするので、移動量が大きいレイヤは手前側に見え、移動量が小さいレイヤは遠方に見える。このように元の静止画の二次元画像を動画的に表示することで遠近感が加わるため、立体的に見える。このとき、全てのレイヤを同じ方向にのみ移動させるので、パンニングをして撮影したような表示効果があり、不自然に見えることはない。
<Effect of this embodiment>
As described above, in this embodiment, the depth value X is calculated for each pixel of the two-dimensional image, and the entire image area of the original two-dimensional image is divided into a plurality of image areas according to the depth value X. Generate the layer. Each layer is superimposed and displayed while moving in a certain direction. At this time, since the moving amount is increased as the layer having a smaller depth value X (the preceding stage), a layer having a large moving amount appears on the near side, and a layer having a small moving amount appears on the far side. Thus, since the perspective is added by displaying the original two-dimensional image of a still image as a moving image, it looks three-dimensional. At this time, since all the layers are moved only in the same direction, there is a display effect as if panned and photographed, and it does not look unnatural.

また、前段のレイヤほど大きい拡大率で各レイヤを拡大することで、各レイヤを手前側に移動させた状態を作成し、これを表示開始時の画像とする。その状態から、各レイヤを移動させて最大移動距離を求め、その範囲内で各レイヤを移動させながら表示する。従って、常に元の二次元画像に示されている画像を表示すればよく、架空の画像を作成する必要はない。従って、特殊なフィルタや眼鏡を用いることなく、簡易な方法により、二次元画像を立体的且つ自然に見えるように表示できる。   Further, by enlarging each layer with a larger enlargement ratio as the previous layer, a state in which each layer is moved to the near side is created, and this is used as an image at the start of display. From this state, each layer is moved to obtain the maximum moving distance, and each layer is displayed while being moved within the range. Therefore, it is sufficient to always display the image shown in the original two-dimensional image, and it is not necessary to create a fictitious image. Therefore, it is possible to display a two-dimensional image so that it looks three-dimensional and natural by a simple method without using a special filter or glasses.

<本実施形態の補足事項>
上述したステップS1〜S10の処理をプログラムコード化して、画像再生プログラムを作成してもよい(請求項7に対応)。この画像再生プログラムは、例えば電子カメラのCPUに予め記憶させておくことで、撮影した画像を電子カメラの液晶モニタ上で上述と同様に立体的に表示できる。同様に、本発明の画像再生プログラムは、フォトストレージャ(画像蓄積装置)、画像処理装置、デジタルビデオカメラ等にも適用可能である。
<Supplementary items of this embodiment>
The processing in steps S1 to S10 described above may be converted into a program code to create an image reproduction program (corresponding to claim 7). For example, by storing the image reproduction program in advance in the CPU of the electronic camera, the captured image can be displayed three-dimensionally on the liquid crystal monitor of the electronic camera as described above. Similarly, the image reproduction program of the present invention can be applied to a photo storage device (image storage device), an image processing device, a digital video camera, and the like.

ステップS8で入力する映像信号に基づいた立体的表示に、スライド効果(画面切り替え効果)を連動させてもよい。連動させる場合、1つの二次元画像の表示の終了のさせかた(フェードアウトの仕方)は、レイヤの移動方向が左から右への方向の場合、例えば左から右へ消していけばよい。レイヤの移動方向が手前から奥の場合、例えば画像の周囲から消し、画像の中心が最後に消えるようにすればよい。   A slide effect (screen switching effect) may be linked to the stereoscopic display based on the video signal input in step S8. In the case of interlocking, the method of ending the display of one two-dimensional image (fade-out method) may be erased from the left to the right, for example, when the moving direction of the layer is from left to right. When the moving direction of the layer is from the front to the back, for example, the layer may be erased from the periphery of the image so that the center of the image disappears last.

本実施形態では、画素領域として分離しているか繋がっているかに拘らず、奥行き値Xが同じ範囲になる全ての画素を1つのレイヤとして扱う例を述べた(図2の最前段のレイヤR3)。本発明は、かかる実施形態に限定されるものではない。画素領域が分離しているものは、奥行き値Xが同じ範囲であっても、それぞれ別々のレイヤとして扱い、移動方向、移動速度、拡大率等を変えてもよい。   In the present embodiment, an example has been described in which all pixels having the same depth value X regardless of whether they are separated or connected as a pixel area are handled as one layer (the first layer R3 in FIG. 2). . The present invention is not limited to such an embodiment. In the case where the pixel regions are separated, even if the depth value X is in the same range, they may be treated as different layers, and the moving direction, moving speed, magnification rate, etc. may be changed.

本実施形態では、画像の左右方向にレイヤを移動させる例を述べた。本発明は、かかる実施形態に限定されるものではない。任意の一方向(画面に鉛直な方向も含む)に動かしてもよい。
例えば図6に示すように、画面に鉛直な方向に手前から奥に各レイヤR1〜R3を移動させてもよい。図6(a)は表示開始時の画像であって図3(d)と同じであり、図6(b)は表示途中の画像であり、図6(c)は表示終了時の画像であって元の二次元画像(図2(a))と同じである。各レイヤR1〜R3の中心位置は図6(a)、図6(b)、図6(c)で同じである。図6(a)では、元の二次元画像を基準とすれば、前段のレイヤほど大きい拡大率で各レイヤR1〜R3は拡大されている。また、図6(b)では、元の二次元画像に対する各レイヤR1〜R3の拡大率は、図6(a)の場合よりも小さい。
In the present embodiment, the example in which the layer is moved in the left-right direction of the image has been described. The present invention is not limited to such an embodiment. It may be moved in any one direction (including a direction perpendicular to the screen).
For example, as shown in FIG. 6, the layers R1 to R3 may be moved from the front to the back in a direction perpendicular to the screen. 6A is an image at the start of display, which is the same as FIG. 3D, FIG. 6B is an image in the middle of display, and FIG. 6C is an image at the end of display. This is the same as the original two-dimensional image (FIG. 2A). The center positions of the layers R1 to R3 are the same in FIGS. 6A, 6B, and 6C. In FIG. 6A, if the original two-dimensional image is used as a reference, the layers R1 to R3 are enlarged at a larger enlargement ratio as the previous layer. In FIG. 6B, the enlargement ratio of each layer R1 to R3 with respect to the original two-dimensional image is smaller than that in the case of FIG.

従って、図6(a)、図6(b)、図6(c)の順に徐々に変化させながら表示すれば、被写体人物Pa、Pbが手前から奥に移動しているように見える。そのように表示するためには、表示開始時の画像(図6(a))を基準として、表示中においてレイヤR2、R3を徐々に縮小していけばよい。このときの単位時間当たりの縮小の度合いは、前段のレイヤ(R3)ほど、100%との差を大きくする。   Therefore, if the images are displayed while being gradually changed in the order of FIGS. 6A, 6B, and 6C, the subject persons Pa and Pb appear to move from the front to the back. In order to display in such a manner, the layers R2 and R3 may be gradually reduced during display on the basis of the image at the start of display (FIG. 6A). At this time, the degree of reduction per unit time increases the difference from 100% in the preceding layer (R3).

上述の実施形態ように任意の一方向に移動させるのではなく、左から右に移動後、画面に鉛直な方向に奥から手前に移動のように、2つ以上の移動方向を組み合わせてもよい。或いは、各レイヤを回転させながら表示してもよい。
また、例えば、海に浮かぶヨットを撮影した画像のように、振動させて表示させても違和感無しと判断される画像の場合には、各レイヤを適切な周期と振幅で振動させながら表示してもよい。奥行き方向に前後して2隻のヨットが存在する場合に、手前のヨットを大きな振幅で振動させ、奥のヨットを小さな振幅で振動させることで、立体感とともにヨットが波に揺れていることを表現することができる。
Instead of moving in one arbitrary direction as in the above-described embodiment, two or more moving directions may be combined, such as moving from left to right and moving from the back to the front in a direction perpendicular to the screen. . Alternatively, each layer may be displayed while being rotated.
Also, for example, in the case of an image that is judged to be uncomfortable even if it is vibrated and displayed, such as an image of a yacht floating in the sea, each layer is displayed while being vibrated with an appropriate period and amplitude. Also good. When there are two yachts in the depth direction, the yacht in front is vibrated with a large amplitude and the yacht in the back is vibrated with a small amplitude. Can be expressed.

また、1つの画像の各レイヤそれぞれに対して、拡大、縮小、移動、回転、振動の異なる処理を施すようにしてもよい。
ステップS2において、1画素毎に奥行き値Xを算出したが、複数の画素を含む画素領域毎に奥行き値Xを算出し、元の画像を複数のレイヤに分割してもよい。
本実施形態では、元の二次元画像を3つのレイヤに分割する例を述べが、本発明は、かかる実施形態に限定されるものではない。2つ、または、4つ以上のレイヤに分割してもよい。
Further, different processes of enlargement, reduction, movement, rotation, and vibration may be applied to each layer of one image.
In step S2, the depth value X is calculated for each pixel. However, the depth value X may be calculated for each pixel region including a plurality of pixels, and the original image may be divided into a plurality of layers.
In the present embodiment, an example in which an original two-dimensional image is divided into three layers will be described, but the present invention is not limited to such an embodiment. You may divide | segment into two or four or more layers.

表示開始時の画像から各レイヤを移動させた場合に、透明画素を表示せずに済む最大移動距離を求め、モニタ48での表示中にはその最大移動距離だけ各レイヤを移動させる例を述べた。本発明は、かかる実施形態に限定されるものではない。各レイヤの全移動距離は、最大移動距離より小さくしてもよい。或いは、各レイヤの移動速度を予め定めた所定値にして、表示中における全移動距離が最大移動距離の範囲内となるように、再生時間を適宜変更してもよい。   An example is described in which, when each layer is moved from the image at the start of display, the maximum movement distance that does not need to display transparent pixels is obtained, and each layer is moved by the maximum movement distance during display on the monitor 48. It was. The present invention is not limited to such an embodiment. The total movement distance of each layer may be smaller than the maximum movement distance. Alternatively, the playback time may be appropriately changed so that the moving speed of each layer is set to a predetermined value and the total moving distance during display is within the range of the maximum moving distance.

請求項と本実施形態との対応関係は、例えば以下の通りである。請求項記載のレイヤ生成部は、記録媒体40内の画像データを画像メモリ36に取り込む媒体ドライブ部20の機能と、複数のレイヤの画像データを生成するMPU24の機能とに対応する。請求項記載の表示制御部は、ステップS5〜S8において、レイヤ毎に拡大縮小率、移動速度を決定し、二次元画像を立体的に見せるための映像信号を生成するMPU24の機能に対応する。   The correspondence between the claims and the present embodiment is as follows, for example. The layer generation unit recited in the claims corresponds to the function of the medium drive unit 20 that captures image data in the recording medium 40 into the image memory 36 and the function of the MPU 24 that generates image data of a plurality of layers. The display control unit described in claims corresponds to the function of the MPU 24 that determines the enlargement / reduction ratio and the moving speed for each layer and generates a video signal for stereoscopically displaying a two-dimensional image in steps S5 to S8.

以上詳述したように本発明は、画像再生装置及び画像再生プログラムにおいて大いに利用可能である。   As described above in detail, the present invention can be used greatly in an image reproduction apparatus and an image reproduction program.

本実施形態の画像再生装置のブロック図である。It is a block diagram of the image reproduction apparatus of this embodiment. 本実施形態におけるレイヤの生成方法を示す説明図である。It is explanatory drawing which shows the production | generation method of the layer in this embodiment. 表示開始時の画像の作成方法を示す説明図である。It is explanatory drawing which shows the production method of the image at the time of a display start. 各レイヤをそれぞれどのように移動させて重畳表示することで、元の二次元画像を立体的に見せるかを示す説明図である。It is explanatory drawing which shows how the original two-dimensional image is shown in three dimensions by moving how each layer is each superimposed and displayed. 本実施形態の画像再生装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image reproduction apparatus of this embodiment. 被写体が手前から奥に移動しているように表示する場合において、各レイヤの動かし方を示す説明図である。FIG. 11 is an explanatory diagram showing how to move each layer when displaying the subject as if it is moving from the front to the back.

符号の説明Explanation of symbols

10 画像再生装置
20 媒体ドライブ部
24 MPU
28 表示インターフェース
30 システムバス
32 記憶部
36 画像メモリ
40 記録媒体
48 モニタ
Ba 背景
Ho 被写体家屋
Pa、Pb 被写体人物
DESCRIPTION OF SYMBOLS 10 Image reproducing apparatus 20 Medium drive part 24 MPU
28 Display interface 30 System bus 32 Storage unit 36 Image memory 40 Recording medium 48 Monitor Ba Background Ho Subject house Pa, Pb Subject person

Claims (7)

二次元画像を示す画像データを取得して、前記二次元画像の少なくとも一部の画像を示すレイヤの画像データを複数生成するレイヤ生成部と、
移動距離、拡大率、縮小率、振動量、回転量の少なくともいずれかを各々の前記レイヤ毎に変えて、複数の前記レイヤを重ねてモニタ上に表示させる表示制御部と
を備えたことを特徴とする画像再生装置。
A layer generation unit that acquires image data indicating a two-dimensional image and generates a plurality of image data of layers indicating at least a part of the two-dimensional image;
A display control unit that changes at least one of a movement distance, an enlargement ratio, a reduction ratio, a vibration amount, and a rotation amount for each of the layers, and displays the plurality of layers on a monitor in a superimposed manner. An image reproducing apparatus.
請求項1に記載の画像再生装置において、
前記レイヤ生成部は、前記二次元画像の画像データに対し、1画素または画素領域毎に撮影位置からの距離に相当する情報を算出し、前記撮影位置からの距離に応じて複数の前記レイヤの画像データを生成する
ことを特徴とする画像再生装置。
The image reproduction apparatus according to claim 1,
The layer generation unit calculates information corresponding to the distance from the shooting position for each pixel or pixel area for the image data of the two-dimensional image, and sets a plurality of layers according to the distance from the shooting position. An image reproducing device that generates image data.
請求項2に記載の画像再生装置において、
前記表示制御部は、前記レイヤ毎に前記拡大率または前記縮小率を変えて、複数の前記レイヤを重ねて前記モニタ上に表示させ、
前記撮影位置からの距離が近い前記レイヤほど、相対的に前記拡大率または前記縮小率が大きい
ことを特徴とする画像再生装置。
The image reproduction apparatus according to claim 2,
The display control unit changes the enlargement ratio or the reduction ratio for each layer, displays a plurality of the layers on the monitor,
The image reproduction device according to claim 1, wherein the closer the distance from the shooting position is, the larger the enlargement ratio or the reduction ratio is.
請求項3に記載の画像再生装置において、
前記表示制御部は、前記撮影位置からの距離が最も近い前記レイヤを拡大すると共に最も前段にした状態から、複数の前記レイヤの表示を開始させる
ことを特徴とする画像再生装置。
The image reproduction apparatus according to claim 3,
The display control unit is configured to start displaying a plurality of layers from a state in which the layer closest to the shooting position is enlarged and brought to the foremost stage.
請求項1〜請求項4のいずれかに記載の画像再生装置において、
前記表示制御部は、1つの前記二次元画像の再生時間に応じて、その前記二次元画像に対応する複数の前記レイヤに対して移動速度をそれぞれ決定し、決定した前記移動速度で複数の前記レイヤを移動させながら表示させる
ことを特徴とする画像再生装置。
In the image reproducing device according to any one of claims 1 to 4,
The display control unit determines a moving speed for each of the plurality of layers corresponding to the two-dimensional image according to a reproduction time of the one two-dimensional image, and the plurality of the moving speeds determined by the determined moving speed. An image reproduction apparatus characterized by displaying while moving a layer.
請求項1〜請求項5のいずれかに記載の画像再生装置において、
前記表示制御部は、複数の前記レイヤを一方向に移動させながら表示させる
ことを特徴とする画像再生装置。
In the image reproducing device according to any one of claims 1 to 5,
The display control unit displays the plurality of layers while moving the layers in one direction.
請求項1〜請求項6のいずれかに記載の前記レイヤ生成部及び前記表示制御部として、コンピュータを機能させるための画像再生プログラム。
An image reproduction program for causing a computer to function as the layer generation unit and the display control unit according to claim 1.
JP2005021097A 2005-01-28 2005-01-28 Image reproduction apparatus and image reproduction program Expired - Fee Related JP4904692B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005021097A JP4904692B2 (en) 2005-01-28 2005-01-28 Image reproduction apparatus and image reproduction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005021097A JP4904692B2 (en) 2005-01-28 2005-01-28 Image reproduction apparatus and image reproduction program

Publications (2)

Publication Number Publication Date
JP2006208767A true JP2006208767A (en) 2006-08-10
JP4904692B2 JP4904692B2 (en) 2012-03-28

Family

ID=36965698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005021097A Expired - Fee Related JP4904692B2 (en) 2005-01-28 2005-01-28 Image reproduction apparatus and image reproduction program

Country Status (1)

Country Link
JP (1) JP4904692B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108198A (en) * 2006-10-27 2008-05-08 Samii Kk Two-dimensional moving image generation device, game console, and image generation device
WO2008093391A1 (en) * 2007-01-29 2008-08-07 Mitsubishi Electric Corporation Image display device and image display method
JP2008249680A (en) * 2007-03-29 2008-10-16 Sk C & C Co Ltd Navigation apparatus having picture frame function, and method for operating the same
JP2010068018A (en) * 2008-09-08 2010-03-25 Sony Corp Image processing apparatus, imaging device and display device
JP2011070495A (en) * 2009-09-28 2011-04-07 Casio Computer Co Ltd Image display device, method, and program
JP2011257553A (en) * 2010-06-08 2011-12-22 Sony Corp Image stabilizing apparatus, image stabilizing method and program
JP2012507908A (en) * 2008-11-04 2012-03-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and system for encoding 3D image signal, method and system for decoding encoded 3D image signal and 3D image signal
JP2012108790A (en) * 2010-11-18 2012-06-07 Nintendo Co Ltd Image processing program, image processing device, image processing method and image processing system
JP2013069118A (en) * 2011-09-22 2013-04-18 Nec Corp Information display method, information processing device, and program
CN103179416A (en) * 2011-12-26 2013-06-26 三星电子株式会社 Image processing method and apparatus using multi-layer representation
JP2018533108A (en) * 2015-08-18 2018-11-08 マジック リープ, インコーポレイテッドMagic Leap,Inc. Virtual and augmented reality systems and methods
US11616911B2 (en) 2018-02-22 2023-03-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP4174625A4 (en) * 2020-06-24 2023-12-27 ZTE Corporation Image display method and apparatus, computer readable storage medium, and electronic apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018110821A1 (en) 2016-12-14 2018-06-21 Samsung Electronics Co., Ltd. Display apparatus and method for controlling the display apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078611A (en) * 1998-08-31 2000-03-14 Toshiba Corp Stereoscopic video image receiver and stereoscopic video image system
JP2002140731A (en) * 2000-11-01 2002-05-17 Esuroku:Kk Picture processor, picture processing system and recording medium
JP2003052055A (en) * 2001-08-06 2003-02-21 Sony Corp Picture processor, picture signal generating method, picture processing program and information recording medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078611A (en) * 1998-08-31 2000-03-14 Toshiba Corp Stereoscopic video image receiver and stereoscopic video image system
JP2002140731A (en) * 2000-11-01 2002-05-17 Esuroku:Kk Picture processor, picture processing system and recording medium
JP2003052055A (en) * 2001-08-06 2003-02-21 Sony Corp Picture processor, picture signal generating method, picture processing program and information recording medium

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108198A (en) * 2006-10-27 2008-05-08 Samii Kk Two-dimensional moving image generation device, game console, and image generation device
JP5489470B2 (en) * 2007-01-29 2014-05-14 三菱電機株式会社 Image display device and image display method
WO2008093391A1 (en) * 2007-01-29 2008-08-07 Mitsubishi Electric Corporation Image display device and image display method
CN101601084B (en) * 2007-01-29 2011-09-07 三菱电机株式会社 Image display device and image display method
JP2008249680A (en) * 2007-03-29 2008-10-16 Sk C & C Co Ltd Navigation apparatus having picture frame function, and method for operating the same
JP2010068018A (en) * 2008-09-08 2010-03-25 Sony Corp Image processing apparatus, imaging device and display device
EP2347597B1 (en) * 2008-11-04 2018-10-17 Koninklijke Philips N.V. Method and system for encoding a 3d image signal, encoded 3d image signal, method and system for decoding a 3d image signal
JP2012507908A (en) * 2008-11-04 2012-03-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and system for encoding 3D image signal, method and system for decoding encoded 3D image signal and 3D image signal
JP2011070495A (en) * 2009-09-28 2011-04-07 Casio Computer Co Ltd Image display device, method, and program
US20140253600A1 (en) * 2010-06-08 2014-09-11 Sony Corporation Image stabilization device, image stabilization method, and program
JP2011257553A (en) * 2010-06-08 2011-12-22 Sony Corp Image stabilizing apparatus, image stabilizing method and program
US9524561B2 (en) 2010-06-08 2016-12-20 Sony Corporation Image stabilization device, image stabilization method, and program
US9443340B2 (en) 2010-11-18 2016-09-13 Nintendo Co., Ltd. Computer readable storage medium having stored thereon image processing program, image processing apparatus, image processing method, and image processing system
JP2012108790A (en) * 2010-11-18 2012-06-07 Nintendo Co Ltd Image processing program, image processing device, image processing method and image processing system
JP2013069118A (en) * 2011-09-22 2013-04-18 Nec Corp Information display method, information processing device, and program
EP2611182A3 (en) * 2011-12-26 2015-04-22 Samsung Electronics Co., Ltd Image processing method and apparatus using multi-layer representation
CN103179416B (en) * 2011-12-26 2016-08-10 三星电子株式会社 Use image processing method and the equipment of multi-layer representation
CN103179416A (en) * 2011-12-26 2013-06-26 三星电子株式会社 Image processing method and apparatus using multi-layer representation
JP2018533108A (en) * 2015-08-18 2018-11-08 マジック リープ, インコーポレイテッドMagic Leap,Inc. Virtual and augmented reality systems and methods
JP7036711B2 (en) 2015-08-18 2022-03-15 マジック リープ, インコーポレイテッド Virtual and augmented reality systems and methods
US11302018B2 (en) 2015-08-18 2022-04-12 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11481911B2 (en) 2015-08-18 2022-10-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11616911B2 (en) 2018-02-22 2023-03-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11800218B2 (en) 2018-02-22 2023-10-24 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP4174625A4 (en) * 2020-06-24 2023-12-27 ZTE Corporation Image display method and apparatus, computer readable storage medium, and electronic apparatus

Also Published As

Publication number Publication date
JP4904692B2 (en) 2012-03-28

Similar Documents

Publication Publication Date Title
JP4904692B2 (en) Image reproduction apparatus and image reproduction program
JP4214976B2 (en) Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system
JP4508878B2 (en) Video filter processing for stereoscopic images
JP4251952B2 (en) Stereoscopic image display apparatus and stereoscopic image display method
US7262767B2 (en) Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
JP5449162B2 (en) Video encoding apparatus, video encoding method, video reproduction apparatus, and video reproduction method
US20150235408A1 (en) Parallax Depth Rendering
JP4212987B2 (en) Stereoscopic image display apparatus, stereoscopic image display method, program for causing computer to execute the method, and recording medium recording the program
JP2006165795A (en) Image forming device and image forming method
JP2005295004A (en) Stereoscopic image processing method and apparatus thereof
KR20210016021A (en) Transmitting apparatus, transmitting method and program
JP2011090400A (en) Image display device, method, and program
TW201029440A (en) Image processing device, program, image processing method, recording method, and recording medium
TWI496452B (en) Stereoscopic image system, stereoscopic image generating method, stereoscopic image adjusting apparatus and method thereof
WO2009155688A1 (en) Method for seeing ordinary video in 3d on handheld media players without 3d glasses or lenticular optics
JP2009246625A (en) Stereoscopic display apparatus, stereoscopic display method, and program
WO2012070636A1 (en) Image processing device, image processing method, and image processing program
WO2013108285A1 (en) Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method
CN103959336A (en) Image processing apparatus, method thereof, and non-transitory computer readable storage medium
US20170104982A1 (en) Presentation of a virtual reality scene from a series of images
JP2004356772A (en) Three-dimensional stereoscopic image display apparatus and program for providing three-dimensional stereoscopic display function to computer
JPH07182533A (en) Method for making two-dimensional image into three-dimensional image
JP2006186795A (en) Depth signal generating apparatus, depth signal generating program, pseudo stereoscopic image generating apparatus, and pseudo stereoscopic image generating program
JPH0950540A (en) Method for generating picture
KR100433276B1 (en) Three-dimensional display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111226

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4904692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees