JP2015011226A - Additional information insertion device, additional information extraction device, additional information insertion program, and additional information extraction program - Google Patents
Additional information insertion device, additional information extraction device, additional information insertion program, and additional information extraction program Download PDFInfo
- Publication number
- JP2015011226A JP2015011226A JP2013137277A JP2013137277A JP2015011226A JP 2015011226 A JP2015011226 A JP 2015011226A JP 2013137277 A JP2013137277 A JP 2013137277A JP 2013137277 A JP2013137277 A JP 2013137277A JP 2015011226 A JP2015011226 A JP 2015011226A
- Authority
- JP
- Japan
- Prior art keywords
- additional information
- integral
- image data
- lens array
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000037431 insertion Effects 0.000 title claims abstract description 99
- 238000003780 insertion Methods 0.000 title claims abstract description 92
- 238000000605 extraction Methods 0.000 title claims description 42
- 238000000034 method Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 10
- 230000002441 reversible effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Abstract
Description
本発明は、インテグラルフォトグラフィ方式の立体画像に付加情報を挿入する付加情報挿入装置及び付加情報挿入プログラム、並びに立体画像情報から付加情報を抽出する付加情報抽出装置及び付加情報抽出プログラムに関する。 The present invention relates to an additional information insertion device and additional information insertion program for inserting additional information into an integral photography stereoscopic image, and an additional information extraction device and additional information extraction program for extracting additional information from stereoscopic image information.
従来、任意の視点から自由に立体画像（立体再生像）を見ることが可能な立体テレビジョン方式の一つとして、平面状あるいは曲面状に配列されたレンズ群を用いた、いわゆるインテグラルフォトグラフィ（Integral Photography）方式（以下、ＩＰ方式と呼ぶ場合がある）の立体画像撮影装置及び立体画像表示装置が知られている（特許文献１参照）。 Conventionally, so-called integral photography using a group of lenses arranged in a plane or curved surface is one of the three-dimensional television systems capable of freely viewing a stereoscopic image (stereoscopic reproduced image) from an arbitrary viewpoint. A (Integral Photography) method (hereinafter sometimes referred to as an IP method) stereoscopic image capturing device and a stereoscopic image display device are known (see Patent Document 1).
ここで、特許文献１に記載されるＩＰ方式について、図７を参照して概要を説明する。
撮影側において高解像度カメラ１１２（例えば、４Ｋ解像度のカメラ）は、被写体から出た光をレンズアレイ１１１越しに撮影する。これにより、高解像度カメラ１１２は、レンズアレイ１１１の仕様に従い並んだ各々の要素レンズにより結像した光学像（要素画像）で構成されるインテグラル画像をインテグラル画像データ（撮影画像データ）として記録する。
Here, an outline of the IP system described in Patent Document 1 will be described with reference to FIG.
On the photographing side, a high-resolution camera 112 (for example, a 4K resolution camera) photographs light emitted from the subject through the lens array 111. As a result, the high resolution camera 112 records an integral image composed of optical images (element images) formed by the respective element lenses arranged in accordance with the specifications of the lens array 111 as integral image data (captured image data). To do.
続いて、表示側において高解像度の液晶パネル１４２は、高解像度カメラ１１２が記録したインテグラル画像データを表示する。そして、観察者は、撮影で使用したものと同じ仕様のレンズアレイ１４１を通して液晶パネル１４２を観察する。これにより、撮影側の被写体空間と同じような光線が表示側の観察者の目前で再現され、観察者は、視点を移動させても移動後の視点位置に応じた被写体の立体画像を観察することができる。 Subsequently, on the display side, the high resolution liquid crystal panel 142 displays the integral image data recorded by the high resolution camera 112. Then, the observer observes the liquid crystal panel 142 through the lens array 141 having the same specifications as those used for photographing. As a result, light rays similar to the subject space on the photographing side are reproduced in front of the observer on the display side, and the observer observes the stereoscopic image of the subject according to the moved viewpoint position even if the viewpoint is moved. be able to.
しかしながら、レンズアレイに用いる要素レンズは円形のため要素画像もおおよそ円形となり、要素レンズを出来る限り隙間無く配列したとしてもインテグラル画像データには要素画像外の情報であり、被写体の立体画像の表示には必要のない領域（非表示領域）が存在する。その為、インテグラル画像データは、この非表示領域に着目すれば、この領域を構成する画素数分のデータが無駄になっていた。 However, since the element lens used for the lens array is circular, the element image is also approximately circular, and even if the element lenses are arranged as far as possible, the integral image data contains information outside the element image and displays a stereoscopic image of the subject. There is an unnecessary area (non-display area). For this reason, in the integral image data, if attention is paid to this non-display area, data corresponding to the number of pixels constituting this area is wasted.
本発明はかかる点に鑑みてなされたものであって、インテグラルフォトグラフィ方式において、被写体の立体画像の表示には必要のない領域（非表示領域）を有効に活用できる付加情報挿入装置、付加情報抽出装置、付加情報挿入プログラム、及び付加情報抽出プログラムを提供することを課題とする。 The present invention has been made in view of such a point, and in the integral photography system, an additional information insertion device and an additional information insertion device that can effectively use an area (non-display area) that is not necessary for displaying a stereoscopic image of a subject. It is an object to provide an information extraction device, an additional information insertion program, and an additional information extraction program.
前記課題を解決するために本発明の一態様による付加情報挿入装置は、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データに、立体画像の表示に関連するサービスに用いる付加情報を挿入する付加情報挿入装置であって、付加情報挿入部を備える構成とした。 In order to solve the above problems, an additional information insertion device according to an aspect of the present invention provides a service related to display of a stereoscopic image in integral image data of an integral photography system used for display of a stereoscopic image using a lens array. The additional information insertion device for inserting additional information used in the above-described configuration includes an additional information insertion unit.
ここで、インテグラル画像データは、レンズアレイの仕様（要素レンズの形状、要素レンズの配列方法等）に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成される。 Here, the integral image data includes information on pixels belonging to the region of the element image corresponding to the specifications of the lens array (element lens shape, element lens arrangement method, etc.) and information on pixels belonging to the region outside the element image. It is comprised including.
このような構成を備える付加情報挿入装置は、付加情報挿入部が、立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納される位置に付加情報を挿入する。 In the additional information insertion device having such a configuration, the additional information insertion unit inserts additional information at a position where information on pixels belonging to an area outside the element image that is not necessary for displaying a stereoscopic image is stored.
また、本発明の一態様による付加情報抽出装置は、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データから、立体画像の表示に関連するサービスに用いる付加情報を抽出する付加情報抽出装置であって、付加情報抽出部を備える構成とした。 The additional information extraction apparatus according to an aspect of the present invention also provides additional information used for a service related to stereoscopic image display from integral image data of an integral photography system used to display a stereoscopic image using a lens array. The additional information extracting device is configured to include an additional information extracting unit.
このような構成を備える付加情報抽出装置は、付加情報抽出部が、立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納された位置から付加情報を抽出する。 In the additional information extraction apparatus having such a configuration, the additional information extraction unit extracts additional information from a position where information on pixels belonging to an area outside the element image that is not necessary for displaying a stereoscopic image is stored.
本発明の一態様によれば、被写体の立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納される位置に付加情報を挿入するので、この領域（非表示領域）を有効に活用することができる。その為、観察者に対して、被写体の立体画像の表示に関連するサービスを新たな領域を確保することなく提供することができる。 According to one aspect of the present invention, additional information is inserted at a position where information on pixels belonging to a region outside the element image that is not necessary for displaying a stereoscopic image of the subject is stored, so this region (non-display region) is effective. It can be used for. Therefore, it is possible to provide a service related to the display of the stereoscopic image of the subject to the observer without securing a new area.
また、本発明の一態様によれば、被写体の立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納された位置から付加情報を抽出するので、この領域（非表示領域）を有効に活用することができる。その為、観察者に対して、被写体の立体画像の表示に関連するサービスを新たな領域を確保することなく提供することができる。 In addition, according to one aspect of the present invention, additional information is extracted from a position where information on pixels belonging to an area outside the element image that is not necessary for displaying a stereoscopic image of the subject is stored, so this area (non-display area) Can be used effectively. Therefore, it is possible to provide a service related to the display of the stereoscopic image of the subject to the observer without securing a new area.
以下、本発明の実施するための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面における寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings as appropriate.
Each figure is only schematically shown so that the invention can be fully understood. Therefore, the present invention is not limited to the illustrated example. In addition, dimensions in the drawings to be referred to may be exaggerated for clarity. In addition, in each figure, about the same component or the same component, the same code | symbol is attached | subjected and those overlapping description is abbreviate | omitted.
［実施形態］
≪実施形態に係る付加情報挿入抽出システムの構成≫
付加情報挿入抽出システム１は、ＩＰ方式を用いた立体画像の表示システムにおいて、撮影データ（インテグラル画像データ）に付加情報を挿入・抽出することで、立体画像の表示に関連するサービスを実現するものである。
付加情報挿入抽出システム１は、撮影装置１０と、付加情報挿入装置２０と、付加情報抽出装置３０と、表示装置４０と、付加情報実行装置５０とを備えている。以下、各装置の構成について詳細に説明する。
[Embodiment]
<< Configuration of Additional Information Insertion / Extraction System According to Embodiment >>
The additional information insertion / extraction system 1 realizes a service related to the display of a stereoscopic image by inserting / extracting the additional information into the photographing data (integral image data) in the stereoscopic image display system using the IP method. Is.
The additional information insertion / extraction system 1 includes an imaging device 10, an additional information insertion device 20, an additional information extraction device 30, a display device 40, and an additional information execution device 50. Hereinafter, the configuration of each apparatus will be described in detail.
＜撮影装置＞
撮影装置１０は、レンズアレイ１１及び高解像度（例えば、４Ｋ解像度、８Ｋ解像度）の撮像部１２（例えば、ＣＭＯＳイメージセンサ）を有するＩＰ方式用の公知の高感度カメラである。ここで、「４Ｋ解像度」は、画素数（横×縦）が「３８４０×２１６０（約８００万画素）」である。一方、「８Ｋ解像度」は、画素数（横×縦）が「７６８０×４３２０（約３３００万画素）」である。なお、「８Ｋ解像度」は、スーパーハイビジョンと呼ばれることも多い。
<Photographing device>
The photographing apparatus 10 is a known high-sensitivity camera for IP system having a lens array 11 and a high-resolution (for example, 4K resolution, 8K resolution) imaging unit 12 (for example, a CMOS image sensor). Here, in “4K resolution”, the number of pixels (horizontal × vertical) is “3840 × 2160 (approximately 8 million pixels)”. On the other hand, in the “8K resolution”, the number of pixels (horizontal × vertical) is “7680 × 4320 (approximately 33 million pixels)”. “8K resolution” is often called “Super Hi-Vision”.
図２にレンズアレイ１１の構成を示す。レンズアレイ１１は、要素画像を形成するものである。レンズアレイ１１は、形状やサイズが同様の要素レンズＬが、規則的に配列されている。図２（ａ）に示す俵積み配列のレンズアレイ１１ａ（１１）は、要素レンズＬの水平方向（横方向）に対する並びが１列おきに要素レンズＬの半径分だけずれている。一方、図２（ｂ）に示す正方配列のレンズアレイ１１ｂ（１１）は、隣接する要素レンズＬの中心が、垂直方向（縦方向）及び水平方向（横方向）で一致している。図２（ａ）に示す俵積み配列は、図２（ｂ）に示す正方配列に比べて要素レンズＬ間の隙間が少なく密度の高い配置である。なお、本実施形態では、要素レンズＬの形状として真円形を想定するが、楕円形であってもよい。なお、表示装置４０が有するレンズアレイ４１は、レンズアレイ１１と同様の仕様である。 FIG. 2 shows the configuration of the lens array 11. The lens array 11 forms an element image. In the lens array 11, element lenses L having the same shape and size are regularly arranged. In the stacked lens array 11a (11) shown in FIG. 2A, the arrangement of the element lenses L in the horizontal direction (lateral direction) is shifted by the radius of the element lens L every other column. On the other hand, in the square array lens array 11b (11) shown in FIG. 2B, the centers of adjacent element lenses L coincide in the vertical direction (longitudinal direction) and the horizontal direction (lateral direction). The stacked arrangement shown in FIG. 2A has a high density with fewer gaps between the element lenses L than the square arrangement shown in FIG. In the present embodiment, a perfect circle is assumed as the shape of the element lens L, but an elliptical shape may be used. The lens array 41 included in the display device 40 has the same specifications as the lens array 11.
撮像部１２は、レンズアレイ１１で形成した要素画像を撮像するものである。撮像部１２は、解像度に対応した複数の画素センサ（撮像素子）を備えて構成される。そして、撮像部１２は、レンズアレイ１１の仕様に従い並んだ各々の要素レンズＬにより結像した光学像（要素画像）で構成されるインテグラル画像が表面に投影される。そして、撮像部１２は、表面に投影されたインテグラル画像を撮像し、撮像したインテグラル画像の色情報をインテグラル画像データＧとして付加情報挿入装置２０に出力する。 The imaging unit 12 captures an element image formed by the lens array 11. The imaging unit 12 includes a plurality of pixel sensors (imaging elements) corresponding to the resolution. The imaging unit 12 projects an integral image composed of optical images (element images) formed by the element lenses L arranged in accordance with the specifications of the lens array 11 on the surface. The imaging unit 12 captures an integral image projected on the surface, and outputs color information of the captured integral image to the additional information insertion device 20 as integral image data G.
＜付加情報挿入装置＞
付加情報挿入装置２０は、インテグラル画像データＧに付加情報Ｆを挿入するものである。付加情報挿入装置２０は、付加情報挿入画素特定部２１と、付加情報挿入部２２と、付加情報符号化部２３と、を備えている。付加情報挿入画素特定部２１、付加情報挿入部２２、付加情報符号化部２３は、ＣＰＵ（Central Processing Unit）が図示しないＲＯＭ等に格納されたプログラムをＲＡＭ（Random Access Memory）に展開することにより実現するプログラム実行処理や、専用回路等により実現される。これらの機能がプログラム実行処理により実現される場合、「○○部」を「○○手段」と呼ぶ場合がある。
<Additional information insertion device>
The additional information insertion device 20 inserts additional information F into the integral image data G. The additional information insertion device 20 includes an additional information insertion pixel specifying unit 21, an additional information insertion unit 22, and an additional information encoding unit 23. In the additional information insertion pixel specifying unit 21, the additional information insertion unit 22, and the additional information encoding unit 23, a CPU (Central Processing Unit) develops a program stored in a ROM (not shown) in a RAM (Random Access Memory). It is realized by a program execution process to be realized or a dedicated circuit. When these functions are realized by a program execution process, the “XX section” may be called “XX means”.
（付加情報挿入画素特定部）
付加情報挿入画素特定部２１は、付加情報Ｆを挿入する場所をインテグラル画像データＧの中から特定するものである。付加情報挿入画素特定部２１には、撮影装置１０からインテグラル画像データＧが入力される。
(Additional information insertion pixel specifying part)
The additional information insertion pixel specifying unit 21 specifies a place where the additional information F is inserted from the integral image data G. Integral image data G is input from the imaging device 10 to the additional information insertion pixel specifying unit 21.
付加情報挿入画素特定部２１は、インテグラル画像データＧが表示装置４０により表示される場合における要素画像外に属する画素の位置を特定する。図３に表示パネル４２にインテグラル画像データＧが表示された状態を示す。図３では、要素画像の領域に属する画素をドットなし（白色）で表し、要素画像外の領域に属する画素をドット模様で表している。撮影側でレンズアレイ１１に用いる要素レンズＬは円形のため、光学像（要素画像）もおおよそ円形となり、要素レンズＬを出来る限り隙間無く配列したとしてもドット模様の画素で示す領域が発生してしまう。付加情報挿入画素特定部２１は、要素画像外の領域に属する画素（ドット模様で表された画素）の位置を特定する。 The additional information insertion pixel specifying unit 21 specifies the position of a pixel belonging to the outside of the element image when the integral image data G is displayed on the display device 40. FIG. 3 shows a state in which the integral image data G is displayed on the display panel 42. In FIG. 3, pixels belonging to the region of the element image are represented by no dots (white), and pixels belonging to the region outside the element image are represented by a dot pattern. Since the element lens L used for the lens array 11 on the photographing side is circular, the optical image (element image) is also approximately circular, and even if the element lenses L are arranged with no gap as much as possible, an area indicated by dot-patterned pixels is generated. End up. The additional information insertion pixel specifying unit 21 specifies the position of a pixel (pixel represented by a dot pattern) belonging to a region outside the element image.
付加情報挿入画素特定部２１が要素画像外に属する画素の位置を特定する方法は、種々の方法を用いることができる。例えば、付加情報挿入画素特定部２１は、表示装置４０の要素画像外の領域に属する画素の位置を情報として管理しておいてもよいし、また、表示装置４０のレンズアレイ４１の配列方法や表示パネル４２の解像度を用いて計算により要素画像外の領域に属する画素の位置を算出してもよい。本実施形態では、付加情報挿入画素特定部２１が要素画像外の領域に属する画素の位置を情報として管理しているものとする。そして、付加情報挿入画素特定部２１は、要素画像外の領域に属する画素（ドット模様で表された画素）の位置を付加情報挿入部２２に出力する。 Various methods can be used as the method by which the additional information insertion pixel specifying unit 21 specifies the position of the pixel belonging to the outside of the element image. For example, the additional information insertion pixel specifying unit 21 may manage, as information, the position of a pixel belonging to an area outside the element image of the display device 40, and may also include an arrangement method of the lens array 41 of the display device 40, You may calculate the position of the pixel which belongs to the area | region outside an element image by calculation using the resolution of the display panel 42. FIG. In the present embodiment, it is assumed that the additional information insertion pixel specifying unit 21 manages the position of a pixel belonging to an area outside the element image as information. Then, the additional information insertion pixel specifying unit 21 outputs the position of the pixel (pixel represented by a dot pattern) belonging to the area outside the element image to the additional information insertion unit 22.
（付加情報挿入部）
付加情報挿入部２２は、付加情報挿入画素特定部２１が特定したインテグラル画像データＧの場所に、付加情報Ｆを挿入するものである。
付加情報挿入部２２には、撮影装置１０からインテグラル画像データ１０が入力される。また、付加情報挿入部２２には、付加情報挿入画素特定部２１から要素画像外の領域に属する画素の位置Ｉが入力される。また、付加情報挿入部２２には、付加情報Ｆが入力される。付加情報Ｆは、例えば、インテグラル画像データ１０の撮影者により入力される。なお、付加情報Ｆは、予め付加情報挿入装置２０内に格納されているようにしてもよい。
(Additional information insertion part)
The additional information insertion unit 22 inserts additional information F at the location of the integral image data G specified by the additional information insertion pixel specifying unit 21.
The integral image data 10 is input from the imaging device 10 to the additional information insertion unit 22. Further, the additional information insertion unit 22 receives the position I of the pixel belonging to the area outside the element image from the additional information insertion pixel specifying unit 21. Further, additional information F is input to the additional information insertion unit 22. The additional information F is input by a photographer of the integral image data 10, for example. Note that the additional information F may be stored in the additional information insertion device 20 in advance.
ここで、付加情報Ｆは、データの種類や内容が限定されるものではなく、広範なデータを想定している。例えば、付加情報Ｆは、インテグラル画像データＧの種類を示す情報、撮影時期、撮影場所、撮影者等を示すメタデータや、種々の装置を動作させるためのトリガーとして予め決められたコマンドであってもよい。 Here, the additional information F is not limited to the type or content of data, and assumes a wide range of data. For example, the additional information F is information indicating the type of the integral image data G, metadata indicating the shooting time, the shooting location, the photographer, and the like, and commands predetermined as triggers for operating various devices. May be.
付加情報挿入部２２は、入力されたインテグラル画像データＧの要素画像外の領域に属する画素の位置Ｉ（図３のドット模様で表された画素）に付加情報Ｆを挿入する。付加情報挿入部２２は、付加情報Ｆを複数の画素にまたがって挿入するようにしてもよい。
そして、付加情報挿入部２２は、付加情報Ｆが挿入された（付加情報が含まれた）インテグラル画像データＧＦ及び付加情報Ｆを挿入した画素の位置ＩＦを付加情報符号化部２３に出力する。
The additional information insertion unit 22 inserts the additional information F into the position I of the pixel belonging to the area outside the element image of the input integral image data G (the pixel represented by the dot pattern in FIG. 3). The additional information insertion unit 22 may insert the additional information F across a plurality of pixels.
Then, the additional information insertion section 22, the position I F of the additional information F is (containing the additional information) that has been inserted by inserting the integral image data G F and the additional information F pixels in the additional information encoding unit 23 Output.
（付加情報符号化部）
付加情報符号化部２３は、付加情報Ｆが挿入されたインテグラル画像データＧＦを符号化するものである。付加情報符号化部２３には、付加情報挿入部２２から、付加情報Ｆが挿入されたインテグラル画像データＧＦ及び付加情報Ｆを挿入した画素の位置ＩＦが入力される。
(Additional information encoding unit)
Additional information encoding unit 23 is for additional information F is to encode the inserted integral image data G F. The additional information coding unit 23, from the additional information insertion section 22, the position I F of the pixel additional information F has inserted an inserted integral image data G F and the additional information F is input.
付加情報符号化部２３は、公知の符号化方式を用いてインテグラル画像データＧＦを符号化する。符号化の方式は、例えば、付加情報挿入装置２０と付加情報抽出装置３０とをつなぐ回線（有線や無線を含む）のビットレートなどを考慮して決定するのがよい。これにより、インテグラル画像データＧＦの情報量を圧縮することができる。 Additional information encoding unit 23 encodes the integral image data G F using a known encoding scheme. The encoding method may be determined in consideration of, for example, the bit rate of a line (including wired and wireless) connecting the additional information insertion device 20 and the additional information extraction device 30. Thus, it is possible to compress the information amount of the integral image data G F.
例えば、付加情報符号化部２３は、リアルタイムでインテグラル画像データＧＦを符号化する場合に、ＭＰＥＧ−２を用いて情報量を１／３８〜１／１００程度に圧縮したり、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４を用いて情報量を１／１００〜１／２００程度に圧縮する。なお、付加情報符号化部２３は、複数個で構成されることにより高い解像度のインテグラル画像データＧＦを回線のビットレートに合わせて圧縮することも可能である。 For example, the additional information encoding unit 23, when encoding the integral image data G F in real time, or to compress the information amount of about 1 / 38-1 / 100 by using the MPEG-2, MPEG-4 AVC / H. The amount of information is compressed to about 1/100 to 1/200 using H.264. Incidentally, the additional information encoding unit 23, it is also possible to compress the combined integral image data G F of high resolution by being constituted by a plurality of the bit rate of the line.
また、インテグラル画像データＧＦに含まれる付加情報Ｆが符号化前のデータと復号化後のデータとが完全に一致しなければならない場合（例えば、メタデータやコマンドであった場合）、付加情報符号化部２３は、少なくとも付加情報Ｆについては可逆圧縮の符号化方式を用いるようにする。その場合、例えば、付加情報符号化部２３は、インテグラル画像データＧＦを幾つかの領域に分割し、付加情報Ｆが含まれる領域を可逆圧縮の符号化方式を用い、それ以外の領域を非可逆圧縮の符号化方式を用いる。 Further, when the additional information F included in the integral image data G F it must have the data after decoding the coded data before completely match (e.g., if a meta-data and commands), additional The information encoding unit 23 uses a lossless compression encoding method for at least the additional information F. In that case, for example, the additional information encoding unit 23 divides the integral image data G F into several areas, using the encoding scheme of the lossless compression regions included additional information F is, the other region A lossy encoding method is used.
そして、付加情報符号化部２３は、符号化されたインテグラル画像データＧＦＣを付加情報抽出装置３０の付加情報復号化部３１に出力する。また、付加情報符号化部２３は、付加情報Ｆを挿入した画素の位置ＩＦをインテグラル画像データＧＦＣのサイド情報として付加情報抽出装置３０の付加情報復号化部３１に出力する。 Then, the additional information encoding unit 23 outputs the encoded integral image data G FC to the additional information decoding unit 31 of the additional information extracting device 30. Also, the additional information encoding unit 23 outputs the additional information decoding unit 31 of the additional information extraction unit 30 to position I F of pixels inserting additional information F as side information integral image data G FC.
＜付加情報抽出装置＞
付加情報抽出装置３０は、インテグラル画像データＧから付加情報Ｆを抽出するものである。付加情報抽出装置３０は、付加情報復号化部３１と、付加情報抽出部３２と、を備えている。付加情報復号化部３１、及び付加情報抽出部３２は、ＣＰＵ（Central Processing Unit）が図示しないＲＯＭ等に格納されたプログラムをＲＡＭ（Random Access Memory）に展開することにより実現するプログラム実行処理や、専用回路等により実現される。これらの機能がプログラム実行処理により実現される場合、「○○部」を「○○手段」と呼ぶ場合がある。
<Additional information extraction device>
The additional information extraction device 30 extracts additional information F from the integral image data G. The additional information extraction device 30 includes an additional information decoding unit 31 and an additional information extraction unit 32. The additional information decoding unit 31 and the additional information extracting unit 32 are a program execution process realized by a CPU (Central Processing Unit) developing a program stored in a ROM (not shown) in a RAM (Random Access Memory), Realized by a dedicated circuit or the like. When these functions are realized by a program execution process, the “XX section” may be called “XX means”.
（付加情報復号化部）
付加情報復号化部３１は、付加情報Ｆが挿入されたインテグラル画像データＧＦを復号化するものである。付加情報復号化部３１には、付加情報挿入装置２０の付加情報符号化部２３から符号化されたインテグラル画像データＧＦＣが入力される。また、付加情報復号化部３１には、付加情報符号化部２３から、付加情報Ｆが挿入された画素の位置ＩＦが入力される。
(Additional information decoder)
Additional information decoding unit 31 is adapted to decode the integral image data G F for additional information F has been inserted. The additional information decoding unit 31 receives the integral image data G FC encoded from the additional information encoding unit 23 of the additional information inserting device 20. Also, the additional information decoding unit 31, from the additional information encoding unit 23, the position I F of the pixel additional information F is inserted is input.
付加情報復号化部３１は、付加情報符号化部２３が用いた符号化に対応する復号化方式を用いて、符号化されたインテグラル画像データＧＦＣを復号化する。復号化方式は、公知のものを用いることができる。そして、付加情報復号化部３１は、復号化したインテグラル画像データＧＦ及び付加情報Ｆが挿入された画素の位置ＩＦを付加情報抽出部３２に出力する。 The additional information decoding unit 31 decodes the encoded integral image data G FC using a decoding method corresponding to the encoding used by the additional information encoding unit 23. A known decoding method can be used. Then, the additional information decoding unit 31 outputs the position I F pixels integral image data G F and the additional information F decrypted is inserted into the additional information extraction unit 32.
（付加情報抽出部）
付加情報抽出部３２は、インテグラル画像データＧの特定の場所から、付加情報Ｆを抽出するものである。付加情報抽出部３２には、付加情報復号化部３１から復号化されたインテグラル画像データＧＦ及び付加情報Ｆが挿入された画素の位置ＩＦが入力される。
(Additional information extraction unit)
The additional information extraction unit 32 extracts additional information F from a specific location of the integral image data G. The additional information extraction unit 32, the position I F pixels integral image data G F and the additional information F that has been decoded from the additional information decoding unit 31 is inserted is input.
付加情報抽出部３２は、入力されたインテグラル画像データＧＦの位置ＩＦから付加情報Ｆを抽出する。そして、付加情報抽出部３２は、付加情報Ｆを抽出した後のインテグラル画像データＧＦを表示装置４０に出力する。また、付加情報抽出部３２は、抽出した付加情報Ｆを付加情報実行装置５０に出力する。 Additional information extraction unit 32 extracts the additional information F from the position I F of the input integral image data G F. Then, the additional information extraction unit 32 outputs the integral image data GF after extracting the additional information F to the display device 40. Further, the additional information extraction unit 32 outputs the extracted additional information F to the additional information execution device 50.
＜表示装置＞
表示装置４０は、レンズアレイ４１及び高解像度（例えば、４Ｋ解像度、８Ｋ解像度）の表示パネル４２を有するＩＰ方式用の公知のディスプレイである。レンズアレイ４１の仕様は、撮影装置１０が有するレンズアレイ１１と同様である。
<Display device>
The display device 40 is a known display for the IP system having a lens array 41 and a high-resolution (for example, 4K resolution, 8K resolution) display panel 42. The specifications of the lens array 41 are the same as those of the lens array 11 included in the photographing apparatus 10.
表示装置４０には、付加情報抽出部３２からインテグラル画像データＧＦが入力される。表示装置４０は、表示パネル４２に入力されたインテグラル画像データＧＦを表示する。図４に、俵積み配列のレンズアレイ４１を用いる表示パネル４２にインテグラル画像データＧＦが表示された状態を例示する。図４では、要素レンズの形状に対応してそれぞれが円形であり、被写体の立体画像の表示に必要な複数の要素画像が表示されると共に、被写体の立体画像の表示には必要のない領域（黒色の領域）が要素画像間に表示されている。本実施形態に係る付加情報Ｆは、後者の黒色の領域に挿入されていた。 On the display device 40, integral image data G F is inputted from the additional information extracting section 32. Display device 40 displays the integral image data G F inputted to the display panel 42. Figure 4 illustrates a state in which the integral image data G F on the display panel 42 is displayed using a lens array 41 of the bale stacking sequence. In FIG. 4, each element is circular corresponding to the shape of the element lens, and a plurality of element images necessary for displaying the stereoscopic image of the subject are displayed and an area (not necessary for displaying the stereoscopic image of the subject) ( (Black area) is displayed between element images. The additional information F according to the present embodiment has been inserted into the latter black area.
そして、観察者は、レンズアレイ４１を通して表示パネル４２を観察することにより、撮影側の被写体空間と同じような光線が観察者の目前で再現される。観察者は、視点を移動させても移動後の視点位置に応じた被写体の立体画像を観察することができる。 Then, by observing the display panel 42 through the lens array 41, the observer reproduces light rays similar to the subject space on the photographing side in front of the observer. Even if the observer moves the viewpoint, the observer can observe a stereoscopic image of the subject corresponding to the moved viewpoint position.
＜付加情報実行装置＞
付加情報実行装置５０は、付加情報Ｆの種類や内容に基づいた種々の処理を実行するものである。付加情報実行装置５０には、付加情報抽出部３２から付加情報Ｆが入力される。ここで、付加情報Ｆは、データの種類や内容が限定されるものではなく広範なデータを想定している。その為、付加情報実行装置５０は、入力される付加情報Ｆを実行可能であればよく、その構成は特に限定されるものではない。例えば、付加情報Ｆが音響、照明等を制御するコマンドである場合に、付加情報実行装置５０は、音響装置や照明装置であってよい。また、付加情報Ｆが画像ファイルである場合に、付加情報実行装置５０は、表示装置であってよい。また、付加情報Ｆがメタデータである場合に、付加情報実行装置５０は、例えば、ＰＣ（Personal Computer）、ＰＤＦ（Personal Digital Assistant）、多機能携帯電話機であってよい。なお、付加情報実行装置５０は、表示装置４０や付加情報抽出装置３０の一部として構成されてもよい。
<Additional information execution device>
The additional information execution device 50 executes various processes based on the type and content of the additional information F. Additional information F is input from the additional information extraction unit 32 to the additional information execution device 50. Here, as the additional information F, the type and contents of the data are not limited, and a wide range of data is assumed. Therefore, the additional information execution device 50 only needs to be able to execute the input additional information F, and the configuration thereof is not particularly limited. For example, when the additional information F is a command for controlling sound, lighting, or the like, the additional information execution device 50 may be an acoustic device or a lighting device. Further, when the additional information F is an image file, the additional information execution device 50 may be a display device. When the additional information F is metadata, the additional information execution device 50 may be, for example, a PC (Personal Computer), a PDF (Personal Digital Assistant), or a multi-function mobile phone. Note that the additional information execution device 50 may be configured as a part of the display device 40 or the additional information extraction device 30.
以上のように、本実施形態に係る付加情報挿入装置２０は、インテグラル画像データＧの中で要素画像外の領域に属する画素を特定し、特定した画素に付加情報を挿入する。その為、本実施形態に係る付加情報挿入装置２０は、インテグラル画像データＧの中の被写体の立体画像の表示には必要のない領域を有効に活用することができる。 As described above, the additional information insertion device 20 according to the present embodiment identifies pixels belonging to the area outside the element image in the integral image data G, and inserts additional information into the identified pixels. Therefore, the additional information insertion device 20 according to the present embodiment can effectively use an area that is not necessary for displaying a stereoscopic image of a subject in the integral image data G.
また、本実施形態に係る付加情報抽出装置３０は、インテグラル画像データＧの中で要素画像外の領域に属する画素から付加情報を抽出する。その為、本実施形態に係る付加情報抽出装置３０は、インテグラル画像データＧの中の被写体の立体画像の表示には必要のない領域を有効に活用することができる。 Further, the additional information extraction device 30 according to the present embodiment extracts additional information from pixels belonging to a region outside the element image in the integral image data G. Therefore, the additional information extraction device 30 according to the present embodiment can effectively utilize an area that is not necessary for displaying the stereoscopic image of the subject in the integral image data G.
［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
[Modification]
As mentioned above, although embodiment of this invention was described, this invention is not limited to this, It can implement in the range which does not change the meaning of a claim.
実施形態に係る付加情報挿入装置２０は、撮影装置１０とは別個の構成にしていたが、撮影装置１０の一部として構成されてもよい。
また、実施形態に係る付加情報抽出装置３０は、表示装置４０とは別個の構成にしていたが、表示装置４０の一部として構成されてもよい。
Although the additional information insertion device 20 according to the embodiment has a separate configuration from the imaging device 10, the additional information insertion device 20 may be configured as a part of the imaging device 10.
Further, although the additional information extraction device 30 according to the embodiment has a configuration separate from the display device 40, the additional information extraction device 30 may be configured as a part of the display device 40.
付加情報挿入部２２は、付加情報Ｆを挿入した画素の位置ＩＦをインテグラル画像データＧＦのある決められた画素（例えば、）に挿入して、インテグラル画像データＧＦに含めるようにしてもよい。この場合、付加情報抽出部３２は、最初にこの決められた画素の位置を参照し、付加情報Ｆを挿入した画素の位置ＩＦを取得してから、位置ＩＦに従って付加情報Ｆを抽出する。 Additional information insertion section 22 is inserted into position I F is determined pixel of the integral image data G F of pixels inserting additional information F (for example), to include the integral image data G F May be. In this case, the additional information extraction unit 32 first refers to the position of the determined pixels, from the acquisition of the position I F of pixels inserting additional information F, to extract the additional information F according to the position I F .
また、付加情報抽出部３２には、付加情報挿入装置２０の付加情報挿入部２２から付加情報Ｆを挿入した画素の位置ＩＦが入力されずに、付加情報抽出部３２がすべての要素画像外の領域に属する画素の位置を参照して、付加情報Ｆを抽出するようにしてもよい。 Also, the additional information extracting unit 32, additional information from the additional information inserting unit 22 without being position I F of pixels inserting additional information F input of the insertion device 20, the additional information extracting unit 32 all elements outside the image The additional information F may be extracted with reference to the positions of the pixels belonging to the region.
また、付加情報抽出部３２は、付加情報Ｆを抽出した後、付加情報Ｆが挿入されていた部分に特定の色の情報を挿入するようにしてもよい。これにより、表示装置４０で付加情報Ｆを抽出した後のインテグラル画像データＧを表示する場合に、付加情報Ｆが挿入されていた画素で想定外のエラーが発生することを防止することできる。 Further, after the additional information F is extracted, the additional information extraction unit 32 may insert information of a specific color into a portion where the additional information F has been inserted. Thereby, when displaying the integral image data G after extracting the additional information F by the display device 40, it is possible to prevent an unexpected error from occurring in the pixel in which the additional information F has been inserted.
また、実施形態に係る付加情報挿入画素特定部２１は、要素画像外の領域に属する画素の位置を情報として管理していたが、要素画像外の領域に属する画素の位置を計算により算出するようにしてもよい。具体的には、付加情報挿入画素特定部２１は、要素画像の中心画素位置からみたある画素の相対的な位置が、要素画像の半径（要素レンズの半径）Ｒよりも遠くに位置するときには、要素画像外の領域に属する画素であると特定する。 Further, the additional information insertion pixel specifying unit 21 according to the embodiment manages the position of the pixel belonging to the area outside the element image as information, but calculates the position of the pixel belonging to the area outside the element image by calculation. It may be. Specifically, when the relative position of a certain pixel viewed from the center pixel position of the element image is located farther than the radius (element lens radius) R of the element image, the additional information insertion pixel specifying unit 21 A pixel belonging to a region outside the element image is specified.
レンズアレイ４１の配列方法が俵積み配列の場合を想定すると、前記した計算には、例えば以下の式１、式２、及び式３を用いることができる。式１は要素画像の中心画素位置を算出するものであり、式２は要素画像の中心画素位置からみた相対位置での画素位置であり、式３はある画素の中心画素位置からみた相対的な距離が要素レンズ半径よりも遠くに位置するか否かを判定するためのものである。 Assuming that the arrangement method of the lens array 41 is a stacked arrangement, for example, the following Expression 1, Expression 2, and Expression 3 can be used for the above calculation. Expression 1 is for calculating the center pixel position of the element image, Expression 2 is a pixel position at a relative position viewed from the center pixel position of the element image, and Expression 3 is a relative position viewed from the center pixel position of a certain pixel. This is for determining whether the distance is located farther than the element lens radius.
ここで、（ｉ，ｊ）ｍ，ｎは、要素画像（ｍ，ｎ）の中心画素位置を示す。ｍ（正の整数）は要素画像の行を識別するための番号であり、ｎ（正の整数）は要素画像の列を識別するための番号である。また、ｉ（自然数）は表示パネル４２の水平方向の画素位置を示し、ｊ（自然数）は表示パネル４２の垂直方向の画素位置を示す。また、Ｍ（自然数）は水平方向及び垂直方向に対する最大画素数である。 Here, (i, j) m, n indicates the center pixel position of the element image (m, n). m (positive integer) is a number for identifying a row of element images, and n (positive integer) is a number for identifying a column of element images. Further, i (natural number) indicates the pixel position in the horizontal direction of the display panel 42, and j (natural number) indicates the pixel position in the vertical direction of the display panel 42. M (natural number) is the maximum number of pixels in the horizontal and vertical directions.
ここで、（ｕ，ｖ）は、要素画像（ｍ，ｎ）の中心画素からみた相対位置を示す。また、（ｍ％２）は、ｍを２で割った時の余りを示す。また、（ｉ´，ｊ´）は、要素画像（ｍ，ｎ）の中心画素から相対位置（ｕ，ｖ）での画素位置を示す。 Here, (u, v) indicates a relative position viewed from the center pixel of the element image (m, n). Further, (m% 2) indicates a remainder when m is divided by 2. Further, (i ′, j ′) indicates the pixel position at the relative position (u, v) from the center pixel of the element image (m, n).
ここで、Ｒは要素画像の半径（要素レンズの半径）である。 Here, R is the radius of the element image (radius of the element lens).
なお、ＩＰ方式においては、撮影装置１０が有するレンズアレイ１１の仕様と表示装置４０の仕様とを対応させ、また、撮影装置１０が有する撮像部１２の仕様と表示パネル４２の仕様とを対応させる。その為、実施形態では付加情報挿入画素特定部２１が、インテグラル画像データＧが表示装置４０により表示される場合における要素画像外に属する画素の位置を特定していたが、撮影装置１０が有するレンズアレイ１１の仕様に従い並んだ各々の要素レンズＬにより光学像（要素画像）が投影されない領域に属する画素センサが検出した色情報をインテグラル画像データＧから特定するようにしてもよい。以下、詳細に説明する。 In the IP system, the specifications of the lens array 11 included in the photographing apparatus 10 are associated with the specifications of the display apparatus 40, and the specifications of the imaging unit 12 included in the photographing apparatus 10 are associated with the specifications of the display panel 42. . Therefore, in the embodiment, the additional information insertion pixel specifying unit 21 specifies the position of the pixel belonging to the outside of the element image when the integral image data G is displayed by the display device 40. The color information detected by the pixel sensor belonging to the region where the optical image (element image) is not projected by the element lenses L arranged according to the specifications of the lens array 11 may be specified from the integral image data G. Details will be described below.
図１に示す撮影装置１０の撮像部１２は、前記した通り、解像度に対応した複数の画素センサ（撮像素子）を備えて構成される。そして、撮像部１２は、レンズアレイ１１の仕様に従い並んだ各々の要素レンズＬにより結像した光学像（要素画像）で構成されるインテグラル画像が表面に投影される。図５に撮像部１２の表面にインテグラル画像が投影された状態を示す。 As described above, the imaging unit 12 of the imaging apparatus 10 illustrated in FIG. 1 includes a plurality of pixel sensors (imaging elements) corresponding to the resolution. The imaging unit 12 projects an integral image composed of optical images (element images) formed by the element lenses L arranged in accordance with the specifications of the lens array 11 on the surface. FIG. 5 shows a state where an integral image is projected on the surface of the imaging unit 12.
図５では、要素レンズＬにより結像した光学像（要素画像）が投影された領域（ドットない領域）を符号１２ａで示し、光学像（要素画像）が投影されない領域（ドット模様の領域）を符号１２ｂで示している。なお、破線の升目は、各々の画素センサ（撮像素子）が要素レンズＬにより結像した光学像（要素画像）を検出する領域を示している。そして、撮像部１２は、表面に投影されたインテグラル画像を撮像し、撮像したインテグラル画像の色情報をインテグラル画像データＧとして付加情報挿入装置２０に出力する。 In FIG. 5, a region (region without dots) on which an optical image (element image) formed by the element lens L is projected is indicated by reference numeral 12a, and a region (dot pattern region) on which the optical image (element image) is not projected is shown. This is indicated by reference numeral 12b. Note that broken lines indicate areas where each pixel sensor (imaging device) detects an optical image (element image) formed by the element lens L. The imaging unit 12 captures an integral image projected on the surface, and outputs color information of the captured integral image to the additional information insertion device 20 as integral image data G.
続いて、図６にインテグラル画像データＧのイメージ図を示す。図６に示す升目は、各々の画素センサが検出した色情報に対応する。
ドットなし（白色）の升目は、要素レンズＬにより結像した光学像（要素画像）を示す色情報である。つまり、図５で光学像（要素画像）が投影された領域１２ａに属する画素センサが検出した色情報がドットなしの升目で表されている。このドットなしの升目（要素画像を示す情報）は、表示装置４０側で立体画像を表示するのに必要な情報である。
Next, FIG. 6 shows an image diagram of the integral image data G. The cells shown in FIG. 6 correspond to the color information detected by each pixel sensor.
A cell without dots (white) is color information indicating an optical image (element image) formed by the element lens L. That is, the color information detected by the pixel sensor belonging to the region 12a on which the optical image (element image) is projected in FIG. 5 is represented by a grid without dots. This dot-free cell (information indicating an element image) is information necessary for displaying a stereoscopic image on the display device 40 side.
一方、ドット模様の升目は、光学像外（要素画像外）を示す色情報である。つまり、図５で光学像（要素画像）が投影されない領域１２ｂに属する画素センサが検出した色情報がドット模様の升目で表されている。このドット模様の升目は、表示装置４０側で立体画像を表示するのに不要な領域である。 On the other hand, the dot pattern grid is color information indicating the outside of the optical image (outside of the element image). That is, the color information detected by the pixel sensor belonging to the region 12b where the optical image (element image) is not projected in FIG. 5 is represented by a dot pattern cell. The dot pattern grid is an area unnecessary for displaying a stereoscopic image on the display device 40 side.
そして、図６のインテグラル画像データＧの概略イメージは、インテグラル画像データＧが表示装置４０により表示される状態を示す図３に対応する。その為、実施形態では付加情報挿入画素特定部２１が、インテグラル画像データＧが表示装置４０により表示される場合における要素画像外に属する画素の位置を特定していたが、撮影装置１０が有するレンズアレイ１１の仕様に従い並んだ各々の要素レンズＬにより光学像（要素画像）が投影されない領域に属する画素センサが検出した色情報をインテグラル画像データＧから特定するようにしてもよい。 The schematic image of the integral image data G in FIG. 6 corresponds to FIG. 3 showing a state in which the integral image data G is displayed on the display device 40. Therefore, in the embodiment, the additional information insertion pixel specifying unit 21 specifies the position of the pixel belonging to the outside of the element image when the integral image data G is displayed by the display device 40. The color information detected by the pixel sensor belonging to the region where the optical image (element image) is not projected by the element lenses L arranged according to the specifications of the lens array 11 may be specified from the integral image data G.
このように、本発明の一態様による付加情報挿入装置は、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データに、立体画像の表示に関連するサービスに用いる付加情報を挿入する付加情報挿入装置であって、付加情報挿入部を備える構成とした。この付加情報挿入装置は、付加情報挿入画素特定部が、要素画像外の領域に属する画素の情報が格納される位置に前記付加情報を挿入する。 As described above, the additional information insertion device according to one aspect of the present invention adds the integral photography data used for displaying a stereoscopic image using a lens array to a service related to the display of a stereoscopic image. An additional information insertion device that inserts information and includes an additional information insertion unit. In this additional information insertion device, the additional information insertion pixel specifying unit inserts the additional information at a position where information on pixels belonging to a region outside the element image is stored.
ここで、インテグラル画像データは、前記レンズアレイの仕様（要素レンズの形状、要素レンズの配列方法等）に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成される。 Here, the integral image data includes information on pixels belonging to the region of the element image corresponding to the specifications of the lens array (element lens shape, element lens arrangement method, etc.), and pixels belonging to the region outside the element image. Information.
また、本発明の一態様による付加情報挿入プログラムは、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データに、立体画像の表示に関連するサービスに用いる付加情報を挿入する付加情報挿入装置としてコンピュータを機能させる付加情報挿入プログラムであって、前記コンピュータを、付加情報挿入手段として機能させる。 The additional information insertion program according to one aspect of the present invention adds additional information used for a service related to display of a stereoscopic image to integral image data of an integral photography system used for displaying a stereoscopic image using a lens array. An additional information insertion program for causing a computer to function as an additional information insertion device to be inserted, wherein the computer functions as additional information insertion means.
この付加情報挿入プログラムは、付加情報挿入手段として機能するコンピュータが、要素画像外の領域に属する画素の情報が格納される位置に付加情報を挿入する。 In this additional information insertion program, a computer functioning as additional information insertion means inserts additional information at a position where information of pixels belonging to an area outside the element image is stored.
本発明の一態様によれば、被写体の立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納される位置に付加情報を挿入するので、この領域（非表示領域）を有効に活用することができる。その為、観察者に対して、被写体の立体画像の表示に関連するサービスを新たな領域を確保することなく提供することができる。 According to one aspect of the present invention, additional information is inserted at a position where information on pixels belonging to a region outside the element image that is not necessary for displaying a stereoscopic image of the subject is stored, so this region (non-display region) is effective. It can be used for. Therefore, it is possible to provide a service related to the display of the stereoscopic image of the subject to the observer without securing a new area.
また、本発明の一態様による付加情報挿入装置は、付加情報挿入画素特定部をさらに備える構成とした。この付加情報挿入装置は、付加情報挿入画素特定部が要素画像の中心画素位置からレンズアレイを構成する要素レンズの半径の距離より遠くにある画素を要素画像外の領域に属する画素であると特定する。そして、この付加情報挿入装置は、付加情報挿入部が、付加情報挿入画素特定部が特定した画素の情報が格納される位置に付加情報を挿入する。 Further, the additional information insertion device according to one aspect of the present invention is configured to further include an additional information insertion pixel specifying unit. In this additional information insertion device, the additional information insertion pixel specifying unit specifies that a pixel far from the radius of the element lens constituting the lens array from the center pixel position of the element image is a pixel belonging to an area outside the element image. To do. In this additional information insertion device, the additional information insertion unit inserts additional information at a position where the information of the pixel specified by the additional information insertion pixel specifying unit is stored.
本発明の一態様によれば、レンズアレイを構成する要素レンズの半径から要素画像外の領域に属する画素を特定するので、立体画像の表示に不要な要素画像外の領域に属する画素を容易に算出することができる。 According to one aspect of the present invention, the pixels belonging to the area outside the element image are specified from the radius of the element lens constituting the lens array. Can be calculated.
また、本発明の一態様による付加情報挿入装置は、付加情報符号化部をさらに備える構成とした。そして、この付加情報挿入装置は、付加情報符号化部が、復号化時に情報の欠落がない可逆な方式を用いて、インテグラル画像データの付加情報が挿入された場所を少なくとも符号化する。 Further, the additional information insertion device according to one aspect of the present invention further includes an additional information encoding unit. In this additional information insertion device, the additional information encoding unit encodes at least a place where the additional information of the integral image data is inserted using a reversible method in which no information is lost during decoding.
本発明の一態様によれば、復号化時に情報の欠落がない可逆な方式を用いて付加情報を符号化するので、ビットレートなどを考慮してインテグラル画像データを符号化しなければならない場合に、情報の欠落が許されない情報を付加情報として挿入することができる。 According to one aspect of the present invention, the additional information is encoded using a reversible method in which no information is lost during decoding. Therefore, when integral image data must be encoded in consideration of a bit rate or the like. Information that cannot be lost can be inserted as additional information.
また、本発明の一態様による付加情報抽出装置は、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データから、立体画像の表示に関連するサービスに用いる付加情報を抽出する付加情報抽出装置であって、付加情報抽出部を備える構成とした。この付加情報抽出装置は、要素画像外の領域に属する画素の情報が格納された位置から前記付加情報を抽出する。 The additional information extraction apparatus according to an aspect of the present invention also provides additional information used for a service related to stereoscopic image display from integral image data of an integral photography system used to display a stereoscopic image using a lens array. The additional information extracting device is configured to include an additional information extracting unit. This additional information extracting device extracts the additional information from a position where information of pixels belonging to a region outside the element image is stored.
また、本発明の一態様による付加情報抽出プログラムは、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データから、立体画像の表示に関連するサービスに用いる付加情報を抽出する付加情報抽出装置としてコンピュータを機能させる付加情報抽出プログラムであって、前記コンピュータを、付加情報抽出手段として機能させる。 Further, the additional information extraction program according to one aspect of the present invention provides additional information used for a service related to stereoscopic image display from integral image data of an integral photography system used to display a stereoscopic image using a lens array. An additional information extracting program for causing a computer to function as an additional information extracting device for extracting, wherein the computer functions as additional information extracting means.
この付加情報抽出プログラムは、付加情報抽出手段として機能するコンピュータが、要素画像外の領域に属する画素の情報が格納された位置から付加情報を抽出する。 In this additional information extraction program, a computer functioning as additional information extraction means extracts additional information from a position where information of pixels belonging to an area outside the element image is stored.
本発明の一態様によれば、立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納された位置から付加情報を抽出するので、この領域（非表示領域）を有効に活用することができる。その為、観察者に対して、被写体の立体画像の表示に関連するサービスを新たな領域を確保することなく提供することができる。 According to one aspect of the present invention, additional information is extracted from a position where information on pixels belonging to a region outside the element image that is not necessary for displaying a stereoscopic image is stored, so this region (non-display region) is effectively used. can do. Therefore, it is possible to provide a service related to the display of the stereoscopic image of the subject to the observer without securing a new area.
１ 付加情報挿入抽出システム
１０ 撮影装置
１１ レンズアレイ
１２ 撮像部
２０ 付加情報挿入装置
２１ 付加情報挿入画素特定部
２２ 付加情報挿入部
２３ 付加情報符号化部
３０ 付加情報抽出装置
３１ 付加情報復号化部
３２ 付加情報抽出部
４０ 表示装置
４１ レンズアレイ
４２ 表示パネル
５０ 付加情報実行装置
DESCRIPTION OF SYMBOLS 1 Additional information insertion extraction system 10 Imaging device 11 Lens array 12 Imaging part 20 Additional information insertion apparatus 21 Additional information insertion pixel specification part 22 Additional information insertion part 23 Additional information encoding part 30 Additional information extraction part 31 Additional information decoding part 32 Additional information extraction unit 40 Display device 41 Lens array 42 Display panel 50 Additional information execution device
Claims (6)
前記インテグラル画像データは、
前記レンズアレイの仕様に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成され、
前記要素画像外の領域に属する画素の情報が格納される位置に、前記付加情報を挿入する付加情報挿入部、
を備えることを特徴とする付加情報挿入装置。 An additional information insertion device that inserts additional information used for a service related to stereoscopic image display into integral image data of an integral photography method used for stereoscopic image display using a lens array,
The integral image data is
Information including pixels belonging to the region of the element image corresponding to the specifications of the lens array, and information regarding pixels belonging to the region outside the element image,
An additional information insertion unit that inserts the additional information at a position where information of pixels belonging to a region outside the element image is stored;
An additional information insertion device comprising:
前記付加情報挿入部は、前記付加情報挿入画素特定部が特定した画素の情報が格納される位置に前記付加情報を挿入する、
ことを特徴とする請求項１に記載の付加情報挿入装置。 An additional information insertion pixel specifying unit that specifies a pixel that is farther than a distance of a radius of an element lens that constitutes the lens array from a center pixel position of the element image as a pixel belonging to a region outside the element image;
The additional information insertion unit inserts the additional information at a position where the information of the pixel specified by the additional information insertion pixel specifying unit is stored;
The additional information insertion device according to claim 1.
ことを特徴とする請求項１又は請求項２に記載の付加情報挿入装置。 Further comprising an additional information encoding unit that encodes at least a place where the additional information of the integral image data is inserted using a reversible method in which no information is lost during decoding.
The additional information insertion device according to claim 1 or 2, characterized in that
前記インテグラル画像データは、
前記レンズアレイの仕様に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成され、
前記要素画像外の領域に属する画素の情報が格納された位置から前記付加情報を抽出する付加情報抽出部、
を備えることを特徴とする付加情報抽出装置。 An additional information extraction device that extracts additional information used for services related to stereoscopic image display from integral image data of an integral photography method used for stereoscopic image display using a lens array,
The integral image data is
Information including pixels belonging to the region of the element image corresponding to the specifications of the lens array, and information regarding pixels belonging to the region outside the element image,
An additional information extraction unit that extracts the additional information from a position where information of pixels belonging to a region outside the element image is stored;
An additional information extraction device comprising:
前記インテグラル画像データは、
前記レンズアレイの仕様に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成され、
前記コンピュータを、
前記要素画像外の領域に属する画素の情報が格納される位置に、前記付加情報を挿入する付加情報挿入手段、
として機能させるための付加情報挿入プログラム。 Additional information insertion that causes the computer to function as an additional information insertion device that inserts additional information used for services related to stereoscopic image display into integral image data of the integral photography system used for stereoscopic image display using a lens array A program,
The integral image data is
Information including pixels belonging to the region of the element image corresponding to the specifications of the lens array, and information regarding pixels belonging to the region outside the element image,
The computer,
Additional information insertion means for inserting the additional information at a position where information of pixels belonging to the area outside the element image is stored;
Additional information insertion program to function as
前記インテグラル画像データは、
前記レンズアレイの仕様に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成され、
前記コンピュータを、
前記要素画像外の領域に属する画素の情報が格納された位置から前記付加情報を抽出する付加情報抽出手段、
として機能させるための付加情報抽出プログラム。 Additional information extraction that causes a computer to function as an additional information extraction device that extracts additional information used for services related to stereoscopic image display from integral image data of an integral photography system used to display a stereoscopic image using a lens array A program,
The integral image data is
Information including pixels belonging to the region of the element image corresponding to the specifications of the lens array, and information regarding pixels belonging to the region outside the element image,
The computer,
Additional information extracting means for extracting the additional information from a position where information of pixels belonging to a region outside the element image is stored;
Additional information extraction program to function as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013137277A JP6108546B2 (en) | 2013-06-28 | 2013-06-28 | Additional information insertion device, additional information extraction device, additional information insertion program, and additional information extraction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013137277A JP6108546B2 (en) | 2013-06-28 | 2013-06-28 | Additional information insertion device, additional information extraction device, additional information insertion program, and additional information extraction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015011226A true JP2015011226A (en) | 2015-01-19 |
| JP6108546B2 JP6108546B2 (en) | 2017-04-05 |
Family
ID=52304422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013137277A Active JP6108546B2 (en) | 2013-06-28 | 2013-06-28 | Additional information insertion device, additional information extraction device, additional information insertion program, and additional information extraction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6108546B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010048507A1 (en) * | 2000-02-07 | 2001-12-06 | Thomas Graham Alexander | Processing of images for 3D display |
| JP2002300600A (en) * | 2001-03-29 | 2002-10-11 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image encoder and stereoscopic image decoder |
| JP2004357156A (en) * | 2003-05-30 | 2004-12-16 | Sharp Corp | Video reception apparatus and video playback apparatus |
| JP2005020472A (en) * | 2003-06-27 | 2005-01-20 | Casio Comput Co Ltd | Individual information setting method of solid image pickup device, solid image pickup device, and image pickup apparatus |
| JP2006128818A (en) * | 2004-10-26 | 2006-05-18 | Victor Co Of Japan Ltd | Recording program and reproducing program corresponding to stereoscopic video and 3d audio, recording apparatus, reproducing apparatus and recording medium |
| JP2006162945A (en) * | 2004-12-07 | 2006-06-22 | Hitachi Displays Ltd | Stereoscopic display apparatus |
| JP2007019694A (en) * | 2005-07-06 | 2007-01-25 | Tide Design Inc | Photographic image processor for digital camera, and computer program for photographic image processing |
| JP2007071922A (en) * | 2005-09-02 | 2007-03-22 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image pickup device and stereoscopic image display device |
-
2013
- 2013-06-28 JP JP2013137277A patent/JP6108546B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010048507A1 (en) * | 2000-02-07 | 2001-12-06 | Thomas Graham Alexander | Processing of images for 3D display |
| JP2002300600A (en) * | 2001-03-29 | 2002-10-11 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image encoder and stereoscopic image decoder |
| JP2004357156A (en) * | 2003-05-30 | 2004-12-16 | Sharp Corp | Video reception apparatus and video playback apparatus |
| JP2005020472A (en) * | 2003-06-27 | 2005-01-20 | Casio Comput Co Ltd | Individual information setting method of solid image pickup device, solid image pickup device, and image pickup apparatus |
| JP2006128818A (en) * | 2004-10-26 | 2006-05-18 | Victor Co Of Japan Ltd | Recording program and reproducing program corresponding to stereoscopic video and 3d audio, recording apparatus, reproducing apparatus and recording medium |
| JP2006162945A (en) * | 2004-12-07 | 2006-06-22 | Hitachi Displays Ltd | Stereoscopic display apparatus |
| US20060132916A1 (en) * | 2004-12-07 | 2006-06-22 | Hitachi Displays, Ltd. | Autostereoscopic display |
| JP2007019694A (en) * | 2005-07-06 | 2007-01-25 | Tide Design Inc | Photographic image processor for digital camera, and computer program for photographic image processing |
| JP2007071922A (en) * | 2005-09-02 | 2007-03-22 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image pickup device and stereoscopic image display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6108546B2 (en) | 2017-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11405643B2 (en) | Sequential encoding and decoding of volumetric video | |
| JP6630891B2 (en) | System and method for encoding and decoding brightfield image files | |
| CN109863754B (en) | Virtual reality 360-degree video camera system for live streaming | |
| US10694102B2 (en) | Method to capture, store, distribute, share, stream and display panoramic image or video | |
| EP3067855B1 (en) | Image processing system and image processing method | |
| KR101057971B1 (en) | Stereoscopic-vision image processing apparatus, stereoscopic-vision image providing method, image display method | |
| EP3457697B1 (en) | Method and apparatus for encoding and decoding video image | |
| US20090268970A1 (en) | Method and Apparatus for Block-Based Compression of Light-field Images | |
| CN101513077A (en) | Method for transferring stereoscopic image data | |
| US20190347760A1 (en) | Generation device, identification information generation method, reproduction device, and image generation method | |
| US10037335B1 (en) | Detection of 3-D videos | |
| CN112991242A (en) | Image processing method, image processing apparatus, storage medium, and terminal device | |
| US11270413B2 (en) | Playback apparatus and method, and generation apparatus and method | |
| JP2019514313A (en) | Method, apparatus and stream for formatting immersive video for legacy and immersive rendering devices | |
| CN105191286A (en) | Post production replication of optical processing for digital cinema cameras using metadata | |
| JP2014086968A (en) | Image processing device, image processing method, and program | |
| JP6016516B2 (en) | Image processing apparatus, control method therefor, image processing program, and imaging apparatus | |
| JP6031260B2 (en) | Image encoding apparatus and image decoding apparatus | |
| CN111510717A (en) | Image splicing method and device | |
| Simone et al. | Omnidirectional video communications: new challenges for the quality assessment community | |
| TW202126036A (en) | Volumetric video with auxiliary patches | |
| JP6108546B2 (en) | Additional information insertion device, additional information extraction device, additional information insertion program, and additional information extraction program | |
| US9832376B2 (en) | Image display apparatus, image capturing apparatus, image display method, and storage medium for distinguishing reconstructable image data from normal image data | |
| EP3091742A1 (en) | Device and method for encoding a first image of a scene using a second image having a lower resolution and captured at the same instant | |
| KR100500152B1 (en) | Method for transferring high resolution video signals and high resolution camera system executing the method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6108546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |