JP2018196112A - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
JP2018196112A
JP2018196112A JP2018076279A JP2018076279A JP2018196112A JP 2018196112 A JP2018196112 A JP 2018196112A JP 2018076279 A JP2018076279 A JP 2018076279A JP 2018076279 A JP2018076279 A JP 2018076279A JP 2018196112 A JP2018196112 A JP 2018196112A
Authority
JP
Japan
Prior art keywords
image
image processing
projected onto
composite
celestial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018076279A
Other languages
Japanese (ja)
Other versions
JP6837211B2 (en
Inventor
親和 王
Chikakazu O
親和 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018076279A priority Critical patent/JP6837211B2/en
Publication of JP2018196112A publication Critical patent/JP2018196112A/en
Application granted granted Critical
Publication of JP6837211B2 publication Critical patent/JP6837211B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

To generate a celestial sphere panoramic image in a manner that makes a seam of connected images less noticeable.SOLUTION: An image processing device 20 comprises: an image receiving section 101 which receives a plurality of images with image regions thereof partially overlapping with each other and stores the images in an input buffer 201; a composite region setting section 103 which sets a composite region so that a width of an overlapping portion of at least two images to be projected near a pole of a celestial sphere panoramic image is wider than the same to be projected near an equator of the celestial sphere panoramic image; an image composition section 105 which generates the celestial sphere panoramic image by connecting the plurality of images through composition processing of the overlapping portion in the composite region and stores the celestial sphere panoramic image in an output buffer 202; and an image transmission section 106 transmits the celestial sphere panoramic image to a display device.SELECTED DRAWING: Figure 2

Description

本発明は、一部が重複する複数の撮影画像を合成する画像処理装置及び画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method for synthesizing a plurality of captured images partially overlapping.

複数のカメラのそれぞれが撮影した撮影画像を連結してパノラマ画像を生成する技術が普及している。しかし、各カメラの撮影条件が異なるため、撮影画像をそのまま連結すると、パノラマ画像の連結部分に繋ぎ目が生じてしまう。そこで、特許文献1では、連結対象の2つの撮影画像の画素の階調を補正して、当該2つの撮影画像の重複部分を合成することにより、パノラマ画像における連結部分の繋ぎ目を目立たなくしている。   A technique for generating a panoramic image by connecting captured images taken by a plurality of cameras has become widespread. However, since the shooting conditions of the cameras are different, if the captured images are connected as they are, a joint will occur at the connected portion of the panoramic image. Therefore, in Patent Document 1, the gradation of the pixels of the two captured images to be connected is corrected, and the overlapping portion of the two captured images is synthesized, thereby making the joint of the connected portions in the panoramic image inconspicuous. Yes.

特開平9−93430号公報Japanese Patent Laid-Open No. 9-93430

しかしながら、視点を任意の方向に向けられる天球パノラマ画像を生成する場合、特許文献1の技術では、視点を特定の方向(特許文献1においては上下)に向けた場合に天球パノラマ画像の連結部分の繋ぎ目が目立ってしまうという問題がある。これは、複数の撮影画像を合成して天球パノラマ画像を生成する場合、天球パノラマ画像において一点に集約されてしまう座標が存在することに起因する。すなわち、このような座標の近傍では、補正の結果も狭い範囲に集約されてしまうため、補正の効果が十分に得られない。   However, when generating a celestial panoramic image in which the viewpoint is directed in an arbitrary direction, in the technique of Patent Document 1, when the viewpoint is directed in a specific direction (up and down in Patent Document 1), There is a problem that the joints become conspicuous. This is because when a celestial sphere panoramic image is generated by synthesizing a plurality of captured images, there are coordinates that are collected at one point in the celestial sphere panoramic image. That is, in the vicinity of such coordinates, the correction results are also collected in a narrow range, so that the correction effect cannot be sufficiently obtained.

本発明は、連結部分の繋ぎ目が目立たない天球パノラマ画像を生成する技術を提供することを目的とする。   An object of this invention is to provide the technique which produces | generates the celestial sphere panoramic image in which the joint of a connection part is not conspicuous.

本発明の一態様に係る画像処理装置は、一部の撮影範囲が重複している複数の撮影画像を連結して天球パノラマ画像を生成する画像処理装置であって、少なくとも2つの撮影画像の重複している撮影範囲における合成領域を、前記天球パノラマ画像の赤道に投影される部分から前記天球パノラマ画像の極点に投影される部分までのうち、前記極点に投影される部分において最も広くなるように設定する合成領域設定部と、前記合成領域内の重複している画像に合成処理を行い、前記複数の撮影画像を連結し、前記天球パノラマ画像を生成する画像合成部と、を備える。   An image processing apparatus according to one aspect of the present invention is an image processing apparatus that generates a celestial panoramic image by connecting a plurality of captured images having overlapping partial imaging ranges, and overlapping at least two captured images. The combined area in the shooting range is widest in the portion projected on the extreme point from the portion projected on the equator of the celestial sphere panoramic image to the portion projected on the extreme point of the celestial sphere panoramic image. A synthesis area setting unit to be set; and an image synthesis unit that performs a synthesis process on overlapping images in the synthesis area, connects the plurality of captured images, and generates the celestial panorama image.

本発明によれば、連結部分の繋ぎ目が目立たない天球パノラマ画像を生成することができる。   According to the present invention, it is possible to generate a celestial sphere panoramic image in which the joints of the connected portions are not conspicuous.

画像処理装置を用いた画像処理システムの一例を示す模式図。1 is a schematic diagram showing an example of an image processing system using an image processing apparatus. 画像処理装置が有する機能の一例を示すブロック図。FIG. 3 is a block diagram illustrating an example of functions of an image processing apparatus. 投影領域を説明するための模式図。The schematic diagram for demonstrating a projection area | region. 天球面の領域と投影領域との関係を説明するための模式図。The schematic diagram for demonstrating the relationship between the area | region of a celestial sphere, and a projection area | region. 合成領域を説明するための模式図。The schematic diagram for demonstrating a synthetic | combination area | region. 拡張投影領域に対する撮影画像の投影を説明するための模式図。The schematic diagram for demonstrating the projection of the picked-up image with respect to an expansion projection area | region. 合成処理を説明するための模式図。The schematic diagram for demonstrating a synthetic | combination process. アルファブレンディングの一例を説明するための模式図。The schematic diagram for demonstrating an example of alpha blending. 視点を極点に向けたときの天球パノラマ画像の一例を示す模式図。The schematic diagram which shows an example of a celestial sphere panoramic image when a viewpoint is turned to the pole. 画像処理装置における全体の処理を示すフローチャート。3 is a flowchart showing overall processing in the image processing apparatus. 投影領域の変形例を説明するための模式図。The schematic diagram for demonstrating the modification of a projection area | region. 投影領域の変形例を説明するための模式図。The schematic diagram for demonstrating the modification of a projection area | region. 合成領域の変形例を説明するための模式図。The schematic diagram for demonstrating the modification of a synthetic | combination area | region. 合成領域の変形例を説明するための模式図。The schematic diagram for demonstrating the modification of a synthetic | combination area | region. 画像処理装置のハードゥエア構成の一例を示すブロック図。FIG. 3 is a block diagram showing an example of a hard air configuration of the image processing apparatus.

以下、図面を参照しながら、実施の形態を説明する。   Hereinafter, embodiments will be described with reference to the drawings.

なお、同種の要素を区別して説明する場合には、「カメラ11F」、「カメラ11R」のように参照符号を使用し、同種の要素を区別しないで説明する場合には、「カメラ11」のように参照符号のうちの共通番号のみを使用することがある。   It should be noted that when the same type of elements are described separately, reference numerals are used such as “camera 11F” and “camera 11R”, and when the same type of elements are not described, “camera 11” is described. Thus, only the common number among the reference signs may be used.

<画像処理システム>
まず、図1を用いて、本実施の形態に係る画像処理システムの構成を説明する。画像処理システムは、撮影装置10と、画像処理装置20と、表示装置30と、を備える。
<Image processing system>
First, the configuration of the image processing system according to the present embodiment will be described with reference to FIG. The image processing system includes a photographing device 10, an image processing device 20, and a display device 30.

撮影装置10は、複数のカメラ11F、11R、11B、11Lを備える。隣接する2つのカメラ11は、撮影範囲が一部重複するように配置されている。例えば、図1において、前方を撮影するカメラ11Fと、右方を撮影するカメラ11Rとは、撮影範囲が一部重複するように配置されている。撮影装置10は、各カメラ11が撮影した撮影画像12を、所定のケーブル(又はネットワーク)を介して、画像処理装置20へ送信する。   The imaging device 10 includes a plurality of cameras 11F, 11R, 11B, and 11L. Two adjacent cameras 11 are arranged such that the shooting ranges partially overlap. For example, in FIG. 1, the camera 11 </ b> F that captures the front and the camera 11 </ b> R that captures the right are arranged so that the imaging ranges partially overlap. The imaging device 10 transmits the captured image 12 captured by each camera 11 to the image processing device 20 via a predetermined cable (or network).

画像処理装置20は、撮影装置10から受信した複数の撮影画像12をスティッチング(パノラマ合成)し、天球パノラマ画像400Aを生成する。天球パノラマ画像400Aは、前後左右の方向に加えて、上下の方向にも視点を移動させることができる画像である。画像処理装置20は、生成した天球パノラマ画像400Aを、所定のケーブル(又はネットワーク)を介して、表示装置30へ送信する。   The image processing device 20 stitches (panoramic synthesis) the plurality of captured images 12 received from the imaging device 10 to generate a celestial sphere panoramic image 400A. The celestial sphere panoramic image 400A is an image in which the viewpoint can be moved in the vertical direction in addition to the vertical and horizontal directions. The image processing device 20 transmits the generated celestial sphere panoramic image 400A to the display device 30 via a predetermined cable (or network).

表示装置30は、画像処理装置20から受信した天球パノラマ画像400Aを表示する。ユーザが視点方向を画像処理装置20に入力すると、画像処理装置20は、その入力された視点方向に見える天球パノラマ画像400Aを生成し、表示装置30に表示する。例えば、ユーザが、上方向の視点を画像処理装置20に入力すると、画像処理装置20は、図1に示すように、撮影装置10の位置から上方に見える天球パノラマ画像400Aを表示する。   The display device 30 displays the celestial sphere panoramic image 400A received from the image processing device 20. When the user inputs the viewpoint direction to the image processing device 20, the image processing device 20 generates a celestial sphere panoramic image 400 </ b> A that appears in the input viewpoint direction and displays it on the display device 30. For example, when the user inputs an upward viewpoint to the image processing device 20, the image processing device 20 displays a celestial panoramic image 400A that can be seen upward from the position of the photographing device 10, as shown in FIG.

なお、本実施の形態では、撮影装置10が4台のカメラを備えているとして説明するが、撮影装置10が備えるカメラの台数はこれに限られない。例えば、撮影装置10は、2台、3台又は5台以上のカメラを備えてもよい。   In the present embodiment, the imaging apparatus 10 is described as including four cameras, but the number of cameras included in the imaging apparatus 10 is not limited to this. For example, the imaging device 10 may include two, three, or five or more cameras.

また、撮影画像12は、静止画であっても良いし、動画であっても良い。動画の場合、本実施の形態における撮影画像12は、動画を構成する1つのフレームであってよい。   The captured image 12 may be a still image or a moving image. In the case of a moving image, the captured image 12 in the present embodiment may be a single frame constituting the moving image.

<画像処理装置>
次に、図2を用いて、画像処理装置20が有する機能について説明する。画像処理装置20は、画像受信部101と、投影領域設定部102と、合成領域設定部103と、画像投影部104と、画像合成部105と、画像送信部106と、を有する。また、画像処理装置20は、撮影装置10から送信された撮影画像のデータを一時的に格納する入力バッファ201と、表示装置30へ送信する天球パノラマ画像400のデータを一時的に格納する出力バッファ202とを備える。
<Image processing device>
Next, functions of the image processing apparatus 20 will be described with reference to FIG. The image processing apparatus 20 includes an image receiving unit 101, a projection region setting unit 102, a synthesis region setting unit 103, an image projection unit 104, an image synthesis unit 105, and an image transmission unit 106. The image processing apparatus 20 also includes an input buffer 201 that temporarily stores captured image data transmitted from the imaging apparatus 10 and an output buffer that temporarily stores data of the celestial panoramic image 400 transmitted to the display apparatus 30. 202.

画像受信部101は、撮影装置10から各カメラ11で撮影された撮影画像を受信し、その受信した撮影画像を入力バッファ201に格納する。   The image receiving unit 101 receives a captured image captured by each camera 11 from the imaging apparatus 10 and stores the received captured image in the input buffer 201.

投影領域設定部102は、カメラ11と、当該カメラ11による撮影画像が投影される投影領域との対応関係を設定する。なお、投影領域設定部102が行う処理の具体例については後述する。   The projection area setting unit 102 sets a correspondence relationship between the camera 11 and a projection area onto which an image captured by the camera 11 is projected. A specific example of processing performed by the projection area setting unit 102 will be described later.

合成領域設定部103は、隣接する投影領域の境界線付近に合成領域を設定し、投影領域と合成領域とを合わせた拡張投影領域を設定する。なお、合成領域設定部103が行う処理の具体例については後述する。   The synthesis area setting unit 103 sets a synthesis area near the boundary line between adjacent projection areas, and sets an extended projection area that combines the projection area and the synthesis area. A specific example of processing performed by the synthesis area setting unit 103 will be described later.

画像投影部104は、撮影画像を拡張投影領域にマッピングする。なお、画像投影部104が行う処理の具体例については後述する。   The image projection unit 104 maps the captured image to the extended projection area. A specific example of processing performed by the image projection unit 104 will be described later.

画像合成部105は、合成領域内の画像に合成処理を行い、隣接する2つの拡張投影領域の画像を連結し、天球パノラマ画像400を生成する。画像合成部105は、その生成した天球パノラマ画像400を、出力バッファ202に格納する。なお、画像合成部105が行う処理の具体例については後述する。   The image composition unit 105 performs composition processing on the images in the composition area and connects the images of the two adjacent extended projection areas to generate the celestial panorama image 400. The image composition unit 105 stores the generated celestial sphere panoramic image 400 in the output buffer 202. A specific example of processing performed by the image composition unit 105 will be described later.

画像送信部106は、出力バッファ202に格納された天球パノラマ画像400を、表示装置30へ送信する。これにより、天球パノラマ画像400が、表示装置30に表示される。   The image transmission unit 106 transmits the celestial sphere panoramic image 400 stored in the output buffer 202 to the display device 30. Thereby, the celestial sphere panoramic image 400 is displayed on the display device 30.

<投影領域設定部の詳細>
次に、図3を用いて、投影領域設定部102が行う処理の具体例を説明する。
<Details of projection area setting unit>
Next, a specific example of processing performed by the projection area setting unit 102 will be described with reference to FIG.

図3に示すように、投影領域設定部102は、右方を撮影するカメラ11Rと、天球パノラマ画像400における右方の投影領域301Rと、を対応付ける。同様に、投影領域設定部102は、前方、後方、及び左方を撮影するカメラ11F、11B、11Lと、天球パノラマ画像400における前方、後方、及び左方の投影領域301F、301B、301Lとを、それぞれ対応付ける。   As illustrated in FIG. 3, the projection area setting unit 102 associates the camera 11 </ b> R that captures the right side with the right projection area 301 </ b> R in the celestial sphere panoramic image 400. Similarly, the projection area setting unit 102 includes cameras 11F, 11B, and 11L that photograph the front, rear, and left sides, and the front, rear, and left projection areas 301F, 301B, and 301L in the celestial panorama image 400. Associate them with each other.

また、投影領域設定部102は、天球パノラマ画像400において、全ての投影領域301がお互いに隣接するように設定し、前方と右方、右方と後方、後方と左方、及び左方と前方の間にはそれぞれ境界線307FR、307RB、307BL、307LFが形成される。ただし、図3は左方と前方において繋がっている天球パノラマ画像400を展開した図であるため、境界線307LFが、天球パノラマ画像400の右端と左端の両方に示されている。境界線307は、例えば、投影領域301の境界に相当する部分に設定される。また、投影領域301のそれぞれの幅は、例えば、天球パノラマ画像400をカメラ11の数に応じて等分した長さである。ただし、カメラ11の画角及び/又は設置の角度などに応じて、各カメラ11が担当する投影領域の幅を不均等なものとしたり、可変なものとしたりしてもよい。   In addition, the projection area setting unit 102 sets all the projection areas 301 in the celestial panorama image 400 so as to be adjacent to each other, and forward and right, right and rear, rear and left, and left and front. Boundary lines 307FR, 307RB, 307BL, and 307LF are formed respectively. However, since FIG. 3 is a developed view of the celestial sphere panoramic image 400 connected to the left and the front, the boundary line 307LF is shown at both the right end and the left end of the celestial sphere panoramic image 400. For example, the boundary line 307 is set at a portion corresponding to the boundary of the projection region 301. Each width of the projection area 301 is, for example, a length obtained by equally dividing the celestial sphere panoramic image 400 according to the number of cameras 11. However, according to the angle of view and / or the installation angle of the camera 11, the width of the projection area in charge of each camera 11 may be made unequal or variable.

なお、図4に示すように、例えば、右方の投影領域301Rは、天球面における右方の領域を平面上に投影した領域に相当する。したがって、投影領域301における水平方向の座標は、天球面における経度で表現し、投影領域301における垂直方向の座標は、天球面における緯度で表現することができる。そこで、本実施の形態では、投影領域301における緯度0度(赤道)に相当する水平線を赤道線360、投影領域301における緯度±90度(上極点、下極点)に相当する水平線を極線361N、361Sと呼ぶ。   As shown in FIG. 4, for example, the right projection area 301R corresponds to an area obtained by projecting the right area of the celestial sphere onto a plane. Therefore, the horizontal coordinate in the projection area 301 can be expressed by longitude on the celestial sphere, and the vertical coordinate in the projection area 301 can be expressed by latitude on the celestial sphere. Therefore, in the present embodiment, the horizontal line corresponding to 0 degree latitude (equator) in the projection area 301 is the equator line 360, and the horizontal line corresponding to latitude ± 90 degrees (upper pole, lower pole) in the projection area 301 is the polar line 361N. , 361S.

<合成領域設定部の詳細>
次に、図5を用いて、合成領域設定部103が行う処理の具体例を説明する。なお、ここでは、投影領域301Rと301Bとの境界付近における処理を代表例として説明するが、他の境界付近についても同様の処理が行われる。
<Details of composition area setting section>
Next, a specific example of processing performed by the synthesis region setting unit 103 will be described with reference to FIG. Here, the processing near the boundary between the projection regions 301R and 301B will be described as a representative example, but the same processing is also performed near the other boundary.

図5に示すように、合成領域設定部103は、隣接する2つの投影領域301R、301Bの境界線307RB付近に、合成領域302Rr(斜線部分)を設定する。また同様に、隣接する2つの投影領域301F、301Rの境界線307FR付近に合成領域302Rl(斜線部分)を設定する。本実施の形態では、投影領域301と合成領域302とを合わせて拡張投影領域303と呼ぶ。合成領域302における境界線307に垂直な方向(すなわち緯線に平行な方向)の幅を、合成幅と呼ぶ。   As shown in FIG. 5, the synthesis region setting unit 103 sets a synthesis region 302Rr (shaded portion) in the vicinity of the boundary line 307RB between two adjacent projection regions 301R and 301B. Similarly, a composite region 302Rl (shaded portion) is set near the boundary line 307FR between two adjacent projection regions 301F and 301R. In the present embodiment, the projection area 301 and the synthesis area 302 are collectively referred to as an extended projection area 303. A width in a direction perpendicular to the boundary line 307 in the composite region 302 (that is, a direction parallel to the parallel) is called a composite width.

後述するように、画像合成部105において、合成領域302内の画像に、画像の繋ぎ目を目立たなくするための画像処理が行われる。一般的に、繋ぎ目を目立たなくするためには、或る程度広い合成幅が必要であり、合成幅が狭すぎると、繋ぎ目が目立ってしまう。従来は、投影領域の境界線付近に一定の合成幅を設定しているため、天球面の座標で見ると、極点近傍における合成幅(緯線に平行な弧長)が、赤道近傍における合成幅と比較して、かなり狭くなる。このため、従来は、極点方向の視点の天球パノラマ画像において、繋ぎ目が目立ってしまうという問題が発生する。   As will be described later, in the image composition unit 105, image processing for making the joints of the images inconspicuous is performed on the images in the composition region 302. In general, in order to make the joint inconspicuous, a certain wide synthesis width is required, and when the synthesis width is too narrow, the joint becomes conspicuous. Conventionally, a fixed composite width is set near the boundary of the projection area, so when looking at the coordinates of the celestial sphere, the composite width in the vicinity of the pole (the arc length parallel to the latitude line) is the same as the composite width in the vicinity of the equator. In comparison, it becomes considerably narrower. For this reason, conventionally, there arises a problem that the joints are conspicuous in the celestial panoramic image of the viewpoint in the pole direction.

そこで、合成領域設定部103は、緯度θを変数とするコサイン関数の逆数に応じて合成幅Wが広くなるような合成領域302を設定する。具体的には、合成領域設定部103は、緯度θにおいて合成幅W=L/cosθとなるような合成領域302を設定する。ここで、Lは定数であり、緯度θ=0度(つまり赤道)における合成幅に相当する。また、緯度θが±90度のときに合成幅Wが∞とならないように、合成幅Wには所定の最大値を設ける。   Therefore, the synthesis area setting unit 103 sets the synthesis area 302 so that the synthesis width W becomes wider according to the inverse of the cosine function with the latitude θ as a variable. Specifically, the composite area setting unit 103 sets a composite area 302 such that the composite width W = L / cos θ at latitude θ. Here, L is a constant and corresponds to the combined width at latitude θ = 0 degrees (that is, the equator). Further, a predetermined maximum value is provided for the composite width W so that the composite width W does not become ∞ when the latitude θ is ± 90 degrees.

上記の合成幅Wは、緯度0度(赤道線360)に近いほど狭く、緯度±90度(極線361N、361S)に近いほど広くなる値である。これにより、極点近傍においても、天球面の座標で見た場合の合成幅が十分に確保されるので、極点方向の視点の天球パノラマ画像400においても、繋ぎ目が目立たなくなる。   The combined width W is a value that becomes narrower as the latitude becomes closer to 0 degrees (equatorial line 360) and becomes wider as the latitude approaches ± 90 degrees (polar lines 361N and 361S). Thereby, even in the vicinity of the extreme point, the combined width when viewed in the coordinates of the celestial sphere is sufficiently secured, so that the joint is not conspicuous even in the celestial sphere panoramic image 400 of the viewpoint in the extreme point direction.

また、コサイン関数を用いることにより、天球面の座標で見た場合の合成幅が概ね一定となる。これにより、繋ぎ目がさらに目立たなくなる。   Further, by using the cosine function, the combined width when viewed in the coordinates of the celestial sphere becomes substantially constant. As a result, the joint becomes less noticeable.

<画像投影部の詳細>
次に、図6を用いて、画像投影部104が行う処理の具体例を説明する。
<Details of image projection unit>
Next, a specific example of processing performed by the image projection unit 104 will be described with reference to FIG.

図6に示すように、画像投影部104は、投影領域設定部102によってカメラ11Rに対応付けられた投影領域301Rを含む拡張投影領域303Rに対して、当該カメラ11Rによる撮影画像12Rを投影する。具体的には、画像投影部104は、撮影画像12Rの各画素を、拡張投影領域303Rの対応する座標にマッピングする。   As illustrated in FIG. 6, the image projection unit 104 projects the captured image 12R from the camera 11R onto the extended projection region 303R including the projection region 301R associated with the camera 11R by the projection region setting unit 102. Specifically, the image projection unit 104 maps each pixel of the captured image 12R to a corresponding coordinate in the extended projection area 303R.

なお、撮影画像12Rの画素と拡張投影領域303Rにおける座標との対応関係は、カメラ11Rの焦点距離及び歪曲係数等の内部パラメータと、カメラ11Rの向き及び姿勢等の外部パラメータとに基づいて算出することができる。   The correspondence relationship between the pixels of the captured image 12R and the coordinates in the extended projection area 303R is calculated based on internal parameters such as the focal length and distortion coefficient of the camera 11R and external parameters such as the orientation and orientation of the camera 11R. be able to.

また、拡張投影領域303Rにマッピングされる画素は、撮影画像12Rにおける画素値とその周辺の画素値とを用いて生成される補完画素であってもよい。   Further, the pixel mapped to the extended projection region 303R may be a complementary pixel generated using the pixel value in the captured image 12R and the surrounding pixel values.

<画像合成部の詳細>
次に、図7を用いて、画像合成部105が行う処理の具体例を説明する。
<Details of image composition unit>
Next, a specific example of processing performed by the image composition unit 105 will be described with reference to FIG.

図7に示すように、画像合成部105は、隣接する拡張投影領域303R、303Bにマッピングされた画像を連結し、天球パノラマ画像400Bを生成する。このとき、画像合成部105は、合成領域302Rr、302Bl内の画像に合成処理を行い、連結部分の繋ぎ目を目立たなくする。例えば、画像合成部105は、合成領域302Rr、302Bl内の画像にアルファブレンディングを行う。以下、アルファブレンディングの処理を説明する。   As shown in FIG. 7, the image composition unit 105 connects the images mapped to the adjacent extended projection areas 303R and 303B to generate a celestial sphere panoramic image 400B. At this time, the image composition unit 105 performs composition processing on the images in the composition regions 302Rr and 302Bl so as to make the joints of the connected portions inconspicuous. For example, the image composition unit 105 performs alpha blending on the images in the composition regions 302Rr and 302Bl. The alpha blending process will be described below.

画像合成部105は、拡張投影領域303Rの合成領域302Rr内の第1の画素値Pと、拡張投影領域303Bの合成領域302Bl内の第2の画素値Pと、を下記の式1に代入し、合成後の画素値Pを算出する。 Image combining unit 105 includes a first pixel value P 1 in the composite region 302Rr the extended projection region 303R, the second pixel value P 2 in the combined area 302Bl the extended projection region 303B, a in Equation 1 below Substituting and calculating the combined pixel value Pr .

=P×α+P×(1−α) …(式1) P r = P 1 × α + P 2 × (1−α) (Formula 1)

ここで、αは第1の画素値の合成比率である。合成比率αは、合成領域302Rr、302Blにおける全ての画素値に対して一定値とする。ただし、合成比率αは、図8に示すように、第1の画素値Pを含む拡張投影領域303Rの中心から離れるに従って小さくなる値であってもよい。 Here, α is a combination ratio of the first pixel values. The composition ratio α is a constant value for all pixel values in the composition regions 302Rr and 302Bl. However, the synthesis ratio alpha, as shown in FIG. 8, may be a smaller value as the distance from the center of the extended projection area 303R including the first pixel value P 1.

画像合成部105は、3つ以上の拡張投影領域303の画像を連結する場合、まず、2つの拡張投影領域の合成領域内の画像にアルファブレンディングを行って連結し、次に、その連結した拡張投影領域の別の合成領域内の画像と、別の1つの拡張投影領域の合成領域内の画像とにアルファブレンディングを行って連結する、という処理を繰り返して、天球パノラマ画像400Cを生成する。   When the images of three or more extended projection areas 303 are connected, the image composition unit 105 first connects the images in the composite area of the two extended projection areas by performing alpha blending, and then connects the connected extensions. The process of alpha blending and connecting an image in another composite area of the projection area and an image in the composite area of another extended projection area is repeated to generate the celestial sphere panoramic image 400C.

このように、極線361近傍において十分な合成幅でアルファブレンディングを行うことにより、例えば図9に示すように、極点361N方向の視点の天球パノラマ画像400Dにおいても、境界線307の繋ぎ目が目立たなくなる。   As described above, by performing alpha blending with a sufficient composite width in the vicinity of the polar line 361, for example, as shown in FIG. 9, the joint of the boundary line 307 is conspicuous even in the celestial panoramic image 400D in the viewpoint of the extreme point 361N. Disappear.

<画像処理装置における処理フロー>
次に、図10のフローチャートを用いて、画像処理装置20における全体処理フローを説明する。
<Processing flow in image processing apparatus>
Next, the overall processing flow in the image processing apparatus 20 will be described using the flowchart of FIG.

まず、画像受信部101は、各カメラ11にて撮影された撮影画像12を撮影装置10から受信し、その受信した各撮影画像12を入力バッファ201に格納する(ST101)。   First, the image receiving unit 101 receives a captured image 12 captured by each camera 11 from the imaging apparatus 10, and stores each received captured image 12 in the input buffer 201 (ST101).

次に、投影領域設定部102は、カメラ11と投影領域301との対応関係を設定する(ST102)。   Next, the projection area setting unit 102 sets the correspondence between the camera 11 and the projection area 301 (ST102).

次に、合成領域設定部103は、投影領域301の境界線307付近に合成領域302を設定し、拡張投影領域303を生成する(ST103)。   Next, the synthesis area setting unit 103 sets a synthesis area 302 near the boundary line 307 of the projection area 301, and generates an extended projection area 303 (ST103).

次に、画像投影部104は、カメラ11と対応関係にある拡張投影領域303に、当該カメラ11による撮影画像12をマッピングする(ST104)。   Next, the image projection unit 104 maps the captured image 12 by the camera 11 onto the extended projection area 303 that has a corresponding relationship with the camera 11 (ST104).

次に、画像合成部105は、拡張投影領域303の合成領域内の画像に合成処理を行って画像を連結することにより天球パノラマ画像400を生成し、その生成した天球パノラマ画像400を出力バッファ202に格納する(ST105)。   Next, the image composition unit 105 performs composition processing on the images in the composition region of the extended projection region 303 and connects the images to generate the celestial sphere panorama image 400, and the generated celestial panorama image 400 is output to the output buffer 202. (ST105).

次に、画像送信部106は、出力バッファ202に格納された天球パノラマ画像400を、表示装置30へ送信する(ST106)。これにより、表示装置30には、天球パノラマ画像400が表示される。   Next, image transmitting section 106 transmits celestial sphere panoramic image 400 stored in output buffer 202 to display device 30 (ST106). Thereby, the celestial sphere panoramic image 400 is displayed on the display device 30.

<投影領域の変形例>
次に、投影領域の変形例を説明する。
<Modification of projection area>
Next, a modification of the projection area will be described.

(A1)投影領域設定部102は、隣接するカメラ11の間隔及び/又はカメラ11の画角が異なる場合、図11に示すように、各投影領域301を異なるサイズに設定する。このとき、投影領域設定部102は、隣接するカメラ11の間隔及び/又はカメラ11の画角に応じて、投影領域301のサイズを決定する。具体的には、隣接するカメラ11の間隔が大きい場合及び/又はカメラ11の画角が大きい場合、投影領域301のサイズを大きく設定する。 (A1) When the interval between adjacent cameras 11 and / or the angle of view of the cameras 11 are different, the projection area setting unit 102 sets the projection areas 301 to different sizes as shown in FIG. At this time, the projection area setting unit 102 determines the size of the projection area 301 according to the interval between adjacent cameras 11 and / or the angle of view of the cameras 11. Specifically, when the interval between adjacent cameras 11 is large and / or when the angle of view of the cameras 11 is large, the size of the projection region 301 is set large.

(A2)撮影装置10がさらに上下を撮影するカメラ11を備える場合、投影領域設定部102は、図12に示すように、前後左右の投影領域301の上部に、上方を撮影するカメラ11に係る投影領域301Uを設け、当該前後左右の投影領域301の下部に、下方を撮影するカメラ11に係る投影領域301Dを設ける。この場合、合成領域設定部103は、図12に示すように、前後左右の投影領域301と上方の投影領域301Uとの境界線付近に合成領域302Uを設け、前後左右の投影領域301と下方の投影領域301Dとの境界線付近に合成領域302Dを設ける。また、図12に示すように、下方の投影領域301Dが、上方の投影領域301Uよりも小さい場合、下方の投影領域301Dの境界線の方が、上方の投影領域301Uの境界線よりも、極線までの距離が近い(つまり赤道線からの距離が遠い)。よって、この場合、下方の投影領域301Dとの境界線付近の合成領域302Dの合成幅Wを、上方の投影領域301Uとの境界線付近の合成領域302Uの合成幅Wよりも、広くする。 (A2) When the imaging apparatus 10 further includes a camera 11 that captures the top and bottom, the projection area setting unit 102 relates to the camera 11 that captures the top of the front, back, left, and right projection areas 301 as shown in FIG. A projection area 301U is provided, and a projection area 301D related to the camera 11 that captures the lower side is provided below the front, rear, left, and right projection areas 301. In this case, as shown in FIG. 12, the synthesis area setting unit 103 provides a synthesis area 302U in the vicinity of the boundary line between the front, rear, left and right projection areas 301 and the upper projection area 301U. A synthesis area 302D is provided near the boundary line with the projection area 301D. As shown in FIG. 12, when the lower projection area 301D is smaller than the upper projection area 301U, the boundary line of the lower projection area 301D is more polar than the boundary line of the upper projection area 301U. The distance to the line is short (that is, the distance from the equator line is far). Thus, this case, the synthetic width W D of the synthesis regions 302D near the boundary line between the lower projection region 301D, than synthetic width W U of combining region 302U in the vicinity of the boundary between the upper projection region 301U, widely .

天球面の座標系において経線に平行な方向における間隔は、極点までの距離と関係なく一定であるため、(A2)で説明したように、上下の撮影画像と前後左右の撮影画像との間の合成幅(例えばW、W)を、極線361までの距離が近いほど広げたとしても、天球パノラマ画像400の経線に平行な方向を滑らかにする効果は薄い。しかし、緯線に平行な方向おける間隔の狭まり方は、極点に近づくほど急になるため、極線までの距離が近いほど、前後左右の撮影画像の合成幅の調整を行っても繋ぎ目が滑らかになりにくくなる。そのため、(A2)で説明したように、上下の撮影画像と前後左右の撮影画像との間の合成幅(例えばW、W)についても、極線361までの距離が近いほど広くすることにより、極線361近傍における緯線に平行な方向の繋ぎ目をより目立たなくすることができる。 Since the interval in the direction parallel to the meridian in the coordinate system of the celestial sphere is constant regardless of the distance to the pole, as described in (A2), the distance between the upper and lower captured images and the front, rear, left and right captured images is Even if the combined width (for example, W U , W B ) is increased as the distance to the polar line 361 becomes shorter, the effect of smoothing the direction parallel to the meridian of the celestial sphere panoramic image 400 is small. However, the way in which the interval in the direction parallel to the latitude line narrows becomes steeper as it gets closer to the pole, so the closer the distance to the pole, the smoother the joint even if you adjust the composite width of the front, back, left, and right shot images It becomes difficult to become. Therefore, as described in (A2), the combined width (for example, W U , W B ) between the upper and lower captured images and the front, rear, left, and right captured images should be increased as the distance to the polar line 361 is closer. Thus, the joint in the direction parallel to the latitude line in the vicinity of the polar line 361 can be made less noticeable.

<合成領域の変形例>
次に、合成領域の変形例を説明する。
<Modification example of composite area>
Next, a modified example of the synthesis area will be described.

(B1)合成領域設定部103は、図13に示すように、合成幅Wが、赤道線上360において最小で、極線361N、361Sへ向かうに連れて段階的に広くなる合成領域302を設定する。 (B1) As shown in FIG. 13, the synthesis area setting unit 103 sets a synthesis area 302 that has a minimum synthesis width W on the equator line 360 and gradually increases toward the polar lines 361N and 361S. .

(B2)合成領域設定部103は、図14に示すように、合成幅Wが、赤道線360において最小で、極線361N、361Sへ向かうに連れて一定の割合で広くなる合成領域302を設定する。 (B2) As shown in FIG. 14, the synthesis area setting unit 103 sets a synthesis area 302 that has a minimum synthesis width W on the equator line 360 and increases at a constant rate toward the polar lines 361N and 361S. To do.

(B3)例えば、三脚に撮影装置10を設置して撮影する場合等、下極点方向の視点の天球パノラマ画像を表示することがない場合、合成領域設定部103は、上極線361N近傍の合成幅のみを広く設定する。また、例えば、吊り棒に撮影装置10を設置して撮影する場合等、上極点方向の視点の天球パノラマ画像を表示することがない場合、合成領域設定部103は、下極線361S近傍の合成幅のみを広く設定する。 (B3) For example, when the photographic device 10 is installed on a tripod and shooting is performed, when the celestial panoramic image of the viewpoint in the lower pole direction is not displayed, the synthesis region setting unit 103 performs synthesis near the upper pole line 361N. Set only the width wide. Further, for example, when the photographic device 10 is installed on a hanging rod and shooting is performed, when the celestial panoramic image of the viewpoint in the upper pole direction is not displayed, the synthesis region setting unit 103 synthesizes the vicinity of the lower pole line 361S. Set only the width wide.

(B4)合成領域設定部103は、隣接するカメラ11で撮影された2つの撮影画像12における、重複する撮影範囲内の画像の差分に応じて、合成幅を設定する。具体的には、合成領域設定部103は、重複する撮影範囲内の画像の差分が大きいほど、繋ぎ目を滑らかにするために、合成幅を広く設定する。 (B4) The composite area setting unit 103 sets the composite width according to the difference between the images in the overlapping shooting ranges in the two shot images 12 shot by the adjacent cameras 11. Specifically, the composition area setting unit 103 sets the composition width wider in order to make the joint smoother as the difference between the images in the overlapping shooting range is larger.

(B5)一般的に、合成幅を広く設定するほど繋ぎ目が滑らかになるが、その分、演算量が増え、画像処理装置20の処理負荷が増大する。したがって、合成領域設定部103は、画像処理装置20の演算能力の高低に応じて、合成幅を決定する。具体的には、合成領域設定部103は、画像処理装置20の演算能力が低いほど、合成幅を狭く設定する。なお、画像処理装置20の演算能力は、例えば、プロセッサの最大動作周波数、及び/又は、プロセッサの現時点における使用率によって算出される。 (B5) Generally, the joint becomes smoother as the composite width is set wider, but the amount of calculation increases correspondingly, and the processing load of the image processing apparatus 20 increases. Therefore, the synthesis area setting unit 103 determines the synthesis width according to the level of the computing capability of the image processing apparatus 20. Specifically, the composition area setting unit 103 sets the composition width narrower as the calculation capability of the image processing apparatus 20 is lower. Note that the computing capability of the image processing device 20 is calculated by, for example, the maximum operating frequency of the processor and / or the current usage rate of the processor.

<本実施の形態の効果>
以上のように、画像処理装置20は、複数のカメラ11にて撮影された複数の撮影画像12を連結して天球パノラマ画像400を生成するにあたり、極線361近傍の合成幅を、赤道線360近傍の合成幅よりも広く設定する。これにより、極点方向の視点の天球パノラマ画像400においても、繋ぎ目が目立たなくなる。また、このように合成幅を設定することにより、合成幅全体を広く設定した場合と比較して、合成処理の演算量を減らすことができる。
<Effects of the present embodiment>
As described above, the image processing apparatus 20 connects the plurality of captured images 12 captured by the plurality of cameras 11 to generate the celestial sphere panoramic image 400, and sets the combined width near the polar line 361 to the equator line 360. Set wider than the neighboring composite width. Thereby, even in the celestial sphere panoramic image 400 of the viewpoint in the extreme point direction, the joint is not conspicuous. Also, by setting the composite width in this way, the amount of computation in the composite processing can be reduced as compared with the case where the entire composite width is set wide.

<ハードウェア構成>
次に、図15を用いて、画像処理装置20のハードウェア構成を説明する。
<Hardware configuration>
Next, the hardware configuration of the image processing apparatus 20 will be described with reference to FIG.

画像処理装置20は、入力バッファ201と、出力バッファ202と、ROM203と、RAM204と、プロセッサ205と、を備える。   The image processing apparatus 20 includes an input buffer 201, an output buffer 202, a ROM 203, a RAM 204, and a processor 205.

入力バッファ201は、上述のとおり、撮影装置10から送信される撮影画像12のデータを記憶する記憶デバイスである。入力バッファ201は、例えば、揮発性半導体メモリによって構成される。   As described above, the input buffer 201 is a storage device that stores data of the captured image 12 transmitted from the imaging apparatus 10. The input buffer 201 is configured by, for example, a volatile semiconductor memory.

ROM203は、プロセッサ205に実行されるプログラム及び各種データを記憶する記憶デバイスである。ROM203は、例えば、不揮発性半導体メモリによって構成される。RAM204は、プロセッサ205が利用する各種データを記憶する記憶デバイスである。RAM204は、例えば、揮発性半導体メモリによって構成される。   The ROM 203 is a storage device that stores programs executed by the processor 205 and various data. The ROM 203 is constituted by, for example, a nonvolatile semiconductor memory. The RAM 204 is a storage device that stores various data used by the processor 205. The RAM 204 is configured by, for example, a volatile semiconductor memory.

プロセッサ205は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又はDSP(Digital Signal Processor)等のプロセッサである。プロセッサ205は、ROM203に記憶されているプログラムに従って、画像処理装置20が有する機能を実現する。図2に示した画像受信部101、投影領域設定部102、合成領域設定部103、画像投影部104、画像合成部105、及び画像送信部106の機能は、例えば、プロセッサ205によって実現される。   The processor 205 is a processor such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or a DSP (Digital Signal Processor). The processor 205 implements the functions of the image processing apparatus 20 according to the program stored in the ROM 203. The functions of the image receiving unit 101, the projection region setting unit 102, the synthesis region setting unit 103, the image projection unit 104, the image synthesis unit 105, and the image transmission unit 106 illustrated in FIG.

出力バッファ202は、プロセッサ205が生成した天球パノラマ画像400のデータを記憶する記憶デバイスである。出力バッファ202は、例えば、揮発性半導体メモリによって構成される。出力バッファ202に記憶された天球パノラマ画像400は、表示装置30に出力される。   The output buffer 202 is a storage device that stores data of the celestial sphere panoramic image 400 generated by the processor 205. The output buffer 202 is configured by, for example, a volatile semiconductor memory. The celestial sphere panoramic image 400 stored in the output buffer 202 is output to the display device 30.

<注記>
なお、上記の実施の形態では、魚眼レンズによる撮影画像12を図面に例示して説明しているが、本実施の形態の適用範囲は、これに限られない。すなわち、本実施の形態は、極点近傍が撮影範囲に含まれる画像であれば、魚眼レンズ以外の撮影画像にも適用可能である。この場合も、図4に示すように、撮影画像を合成した天球パノラマ画像の極点方向の視点では、極点近傍が1点の座標に集約され、天球パノラマ画像に投影された合成幅もこれに伴って狭くなる。この現象は、撮影画像12の撮影に用いられたレンズの種類とは無関係であり、撮影画像を天球面に投影すると発生するものである。すなわち、本実施の形態の内容は、この現象によって繋ぎ目が目立ってしまうことを抑制するものである。したがって、撮影画像を合成して天球パノラマ画像を生成する構成であれば、撮影に用いたレンズの種類を問わず、本実施の形態を適用することで繋ぎ目を滑らかにすることができる。なお、通常のレンズを用いて極点近傍を撮影する構成は、例えば、カメラ11を極点に相当する方向に傾けることによって実現できる。
<Note>
In addition, in said embodiment, although the picked-up image 12 by a fisheye lens is illustrated and demonstrated in drawing, the application range of this embodiment is not restricted to this. In other words, the present embodiment can be applied to a captured image other than the fisheye lens as long as the vicinity of the extreme point is included in the imaging range. Also in this case, as shown in FIG. 4, at the viewpoint of the extreme direction of the celestial sphere panorama image obtained by combining the captured images, the vicinity of the extreme point is aggregated into one coordinate, and the combined width projected on the celestial sphere panoramic image is accordingly accompanied. Narrow. This phenomenon is independent of the type of lens used to capture the captured image 12, and occurs when the captured image is projected onto the celestial sphere. That is, the contents of the present embodiment suppress the conspicuous joints due to this phenomenon. Therefore, if the configuration is such that a captured image is synthesized to generate a celestial panoramic image, the joint can be smoothed by applying the present embodiment regardless of the type of lens used for imaging. In addition, the structure which image | photographs the pole vicinity using a normal lens is realizable by inclining the camera 11 to the direction corresponded to a pole, for example.

また、上記の実施の形態では、境界線307を中心に対称な合成幅を設定しているが、合成幅の設定方法は、これに限られない。例えば、境界線307に対して非対称な合成幅を設定してもよい。すなわち、本実施の形態に係る合成幅は、赤道近傍よりも極点近傍の方が広くなるように設定されていれば、どのような形状であってもよい。   In the above-described embodiment, a symmetric composite width is set around the boundary line 307, but the composite width setting method is not limited to this. For example, a composite width that is asymmetric with respect to the boundary line 307 may be set. That is, the combined width according to the present embodiment may be any shape as long as it is set so that the vicinity of the pole is wider than the vicinity of the equator.

また、上記の実施の形態では、境界線307の位置を基準に合成幅を設定しているが、合成幅の設定方法は、これに限られない。すなわち、カメラ11間で撮影範囲が重複している部分について合成幅を設定すればよく、必ずしも境界線307を基準に合成幅を設定する必要はない。例えば、カメラ11の撮影範囲及び設置位置から各撮影画像12の重複範囲を特定し、その特定した重複範囲の中心位置又は所定割合の位置を基準に、合成幅を設定する。このように、本実施の形態の内容は、境界線307自体を設定せずとも実現可能である。   In the above embodiment, the composite width is set based on the position of the boundary line 307, but the composite width setting method is not limited to this. That is, it is only necessary to set the composite width for the portions where the imaging ranges overlap between the cameras 11, and it is not always necessary to set the composite width based on the boundary line 307. For example, the overlapping range of each captured image 12 is specified from the shooting range and the installation position of the camera 11, and the composite width is set based on the center position of the specified overlapping range or the position of a predetermined ratio. Thus, the contents of the present embodiment can be realized without setting the boundary line 307 itself.

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。   Each functional block used in the description of the above embodiment is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.

また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。   Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.

さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。   Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.

上述した実施の形態は、本発明の説明のための例示であり、本発明の範囲を実施の形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。   The above-described embodiments are examples for explaining the present invention, and are not intended to limit the scope of the present invention only to the embodiments. Those skilled in the art can implement the present invention in various other modes without departing from the gist of the present invention.

本発明に係る画像処理装置及び画像処理方法は、複数のカメラによって撮影された複数の画像データの合成に適用することができる。   The image processing apparatus and the image processing method according to the present invention can be applied to synthesis of a plurality of image data photographed by a plurality of cameras.

10 撮影装置
11 カメラ
20 画像処理装置
30 表示装置
101 画像受信部
102 投影領域設定部
103 合成領域設定部
104 画像投影部
105 画像合成部
106 画像送信部
201 入力バッファ
202 出力バッファ
DESCRIPTION OF SYMBOLS 10 Image | photographing apparatus 11 Camera 20 Image processing apparatus 30 Display apparatus 101 Image receiving part 102 Projection area setting part 103 Composition area setting part 104 Image projection part 105 Image composition part 106 Image transmission part 201 Input buffer 202 Output buffer

Claims (6)

一部の撮影範囲が重複している複数の撮影画像を連結して天球パノラマ画像を生成する画像処理装置であって、
少なくとも2つの撮影画像の重複している撮影範囲における合成領域を、前記天球パノラマ画像の赤道に投影される部分から前記天球パノラマ画像の極点に投影される部分までのうち、前記極点に投影される部分において最も広くなるように設定する合成領域設定部と、
前記合成領域内の重複している画像に合成処理を行い、前記複数の撮影画像を連結し、前記天球パノラマ画像を生成する画像合成部と、
を備える画像処理装置。
An image processing apparatus that generates a celestial panorama image by connecting a plurality of captured images having overlapping shooting ranges,
A composite region in an imaging range where at least two captured images overlap is projected onto the extreme point from a portion projected onto the equator of the celestial panoramic image to a portion projected onto the extreme point of the celestial panoramic image. A composite area setting unit that is set to be the widest in the part;
An image composition unit that performs composition processing on overlapping images in the composition area, connects the plurality of captured images, and generates the celestial panorama image;
An image processing apparatus comprising:
前記複数の撮影画像は、前記赤道に略平行な方向に撮影範囲が重複しており、
前記合成領域設定部は、
前記赤道に略平行な方向における、前記重複している撮影範囲の合成幅が、前記赤道に投影される部分から前記極点に投影される部分までのうち、前記極点に投影される部分において最も広くなるように前記合成領域を設定する、
請求項1に記載の画像処理装置。
The plurality of captured images have overlapping shooting ranges in a direction substantially parallel to the equator,
The composite area setting unit
The combined width of the overlapping photographing ranges in the direction substantially parallel to the equator is the widest in the portion projected onto the pole from the portion projected onto the equator to the portion projected onto the pole. Set the synthesis area to be
The image processing apparatus according to claim 1.
前記合成領域設定部は、
前記赤道に投影される部分から前記極点に投影される部分までの間の一部において、前記合成幅が広がらない部分が存在するように前記合成領域を設定する、
請求項2に記載の画像処理装置。
The composite area setting unit
Setting the composite region so that there is a portion where the composite width does not widen in a part from a portion projected onto the equator to a portion projected onto the extreme point;
The image processing apparatus according to claim 2.
前記合成領域設定部は、
前記赤道に投影される部分から前記極点に投影される部分に向かうにつれて前記合成幅が段階的に広くなるように前記合成領域を設定する、
請求項3に記載の画像処理装置。
The composite area setting unit
Setting the synthesis region so that the synthesis width gradually increases from the portion projected onto the equator toward the portion projected onto the extreme point;
The image processing apparatus according to claim 3.
前記合成領域設定部は、
演算能力の高低に応じて、前記合成幅を決定する、
請求項2から4の何れか1項に記載の画像処理装置。
The composite area setting unit
The composite width is determined according to the level of computing power.
The image processing apparatus according to claim 2.
一部の撮影範囲が重複している複数の撮影画像を連結して天球パノラマ画像を生成する画像処理方法であって、
少なくとも2つの撮影画像の重複している撮影範囲における合成領域を、前記天球パノラマ画像の赤道に投影される部分から前記天球パノラマ画像の極点に投影される部分までのうち、前記極点に投影される部分において最も広くなるように設定し、
前記合成領域内の重複している画像に合成処理を行い、前記複数の撮影画像を連結し、前記天球パノラマ画像を生成する、
画像処理方法。
An image processing method for generating a celestial panoramic image by connecting a plurality of captured images having overlapping shooting ranges,
A composite region in an imaging range where at least two captured images overlap is projected onto the extreme point from a portion projected onto the equator of the celestial panoramic image to a portion projected onto the extreme point of the celestial panoramic image. Set to be the widest in the part,
Performing a composition process on overlapping images in the composition area, connecting the plurality of captured images, and generating the celestial sphere panorama image;
Image processing method.
JP2018076279A 2018-04-11 2018-04-11 Image processing device and image processing method Active JP6837211B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018076279A JP6837211B2 (en) 2018-04-11 2018-04-11 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018076279A JP6837211B2 (en) 2018-04-11 2018-04-11 Image processing device and image processing method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017095426A Division JP6331178B1 (en) 2017-05-12 2017-05-12 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2018196112A true JP2018196112A (en) 2018-12-06
JP6837211B2 JP6837211B2 (en) 2021-03-03

Family

ID=64570726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018076279A Active JP6837211B2 (en) 2018-04-11 2018-04-11 Image processing device and image processing method

Country Status (1)

Country Link
JP (1) JP6837211B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118844A (en) * 1997-04-21 1999-01-12 Sony Corp Image pickup device controller and image pickup system
JP2008086017A (en) * 2006-09-27 2008-04-10 Samsung Electronics Co Ltd Apparatus and method for generating panoramic image
JP2012080433A (en) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc Panoramic image display device and panoramic image display method
WO2013069050A1 (en) * 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント Image generation device and image generation method
JP2017010082A (en) * 2015-06-16 2017-01-12 株式会社パスコ Map creation device, map creation method, and measurement device for mobile mapping

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118844A (en) * 1997-04-21 1999-01-12 Sony Corp Image pickup device controller and image pickup system
JP2008086017A (en) * 2006-09-27 2008-04-10 Samsung Electronics Co Ltd Apparatus and method for generating panoramic image
JP2012080433A (en) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc Panoramic image display device and panoramic image display method
WO2013069050A1 (en) * 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント Image generation device and image generation method
JP2017010082A (en) * 2015-06-16 2017-01-12 株式会社パスコ Map creation device, map creation method, and measurement device for mobile mapping

Also Published As

Publication number Publication date
JP6837211B2 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
TWI622021B (en) Method and apparatus for generating panoramic image with stitching process
JP6468307B2 (en) Imaging apparatus, image processing apparatus and method
TWI524306B (en) Image transformation and multi-view output systems and methods
TWI613106B (en) Method and apparatus for processing surrounding images of vehicle
JP6812862B2 (en) Image processing system, imaging device, image processing method and program
JP6331178B1 (en) Image processing apparatus and image processing method
JP5846172B2 (en) Image processing apparatus, image processing method, program, and imaging system
CN109166076B (en) Multi-camera splicing brightness adjusting method and device and portable terminal
CN113421183B (en) Method, device and equipment for generating vehicle panoramic view and storage medium
JP7383911B2 (en) Imaging system, image processing device, imaging device and program
JP6665917B2 (en) Image processing device
JP6222205B2 (en) Image processing device
JP2018196112A (en) Image processing device and image processing method
JP4818862B2 (en) Composite video display device
JP6992829B2 (en) Image processing system, image processing method and program
JP6825458B2 (en) Image processing device, photographing device, and image processing method
JP6439845B2 (en) Image processing device
WO2024119620A1 (en) Multi-head camera picture splicing method and device and storage medium
TWI768709B (en) Dual image fusion method and device
US11122202B2 (en) Imaging device, image processing system, and image processing method
US20200412928A1 (en) Imaging device, imaging system, and imaging method
JP2022043132A (en) Image processing system, image processing method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210122

R151 Written notification of patent or utility model registration

Ref document number: 6837211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151