JP6416741B2

JP6416741B2 - Image processing apparatus, image processing method, and computer program

Info

Publication number: JP6416741B2
Application number: JP2015232336A
Authority: JP
Inventors: 康輔高橋; 弾三上; 麻理子五十川; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-11-27
Filing date: 2015-11-27
Publication date: 2018-10-31
Anticipated expiration: 2035-11-27
Also published as: JP2017097799A

Description

本発明は、複数の撮影装置によって撮影された画像の処理技術に関する。 The present invention relates to a technique for processing an image photographed by a plurality of photographing devices.

近年、３６０度のパノラマ画像を撮影できるカメラ（以下、「全天球カメラ」という。）が普及し始めている。全天球カメラによって撮影されたパノラマ画像（以下、「全天球画像」という。）は、所望の視点位置に全天球カメラを設置することで撮影することができる。しかしながら、競技中の競技者の邪魔となるためサッカーコートやバスケットコートなどの競技用コートの中には全天球カメラを設置することができない。そのため、競技用コートの中の所望の視点位置における競技中の全天球画像を撮影することができない。 In recent years, cameras capable of capturing 360-degree panoramic images (hereinafter referred to as “global cameras”) have begun to spread. A panoramic image captured by the omnidirectional camera (hereinafter referred to as “spherical image”) can be captured by installing the omnidirectional camera at a desired viewpoint position. However, a spherical camera cannot be installed in a competition court such as a soccer court or a basketball court because it interferes with the competitors during the competition. For this reason, it is not possible to take an omnidirectional image during competition at a desired viewpoint position in the competition court.

そこで、全天球カメラを設置することのできない場所に仮想的な視点である仮想視点を設定して、この仮想視点において全天球カメラで撮影したかのような全天球画像を、コートの外側に設置された複数のカメラによって撮影された画像を合成することによって得る技術が提案されている（例えば、非特許文献１参照）。以下の説明において、仮想視点における全天球画像を、仮想全天球画像と記載する。 Therefore, a virtual viewpoint, which is a virtual viewpoint, is set at a place where the omnidirectional camera cannot be installed, and an omnidirectional image as if taken with the omnidirectional camera at this virtual viewpoint is displayed on the court. There has been proposed a technique obtained by combining images taken by a plurality of cameras installed on the outside (see, for example, Non-Patent Document 1). In the following description, the omnidirectional image at the virtual viewpoint is referred to as a virtual omnidirectional image.

仮想全天球画像を複数のカメラによって撮影された画像の合成によって得るシステムの具体例について説明する。
図９は、従来システムにおいて仮想全天球画像を得るためのシステムを示す図である。図９に示すように、画像処理システム１は、全天球カメラ２と、複数のカメラ３−１、３−２、３−３、・・・、３−Ｎ（以下、「カメラ群３」という。）（Ｎは４以上の整数）と、画像処理装置４と、表示装置５とを備える。画像処理システム１は、競技用コート１０内に仮想視点１１を設定した場合に、競技用コート１０外に設置したカメラ群３によって撮影された画像の合成によって仮想視点１１における仮想全天球画像を得る。 A specific example of a system that obtains a virtual omnidirectional image by combining images captured by a plurality of cameras will be described.
FIG. 9 is a diagram showing a system for obtaining a virtual omnidirectional image in a conventional system. As shown in FIG. 9, the image processing system 1 includes an omnidirectional camera 2 and a plurality of cameras 3-1, 3-2, 3-3,..., 3-N (hereinafter “camera group 3”). (N is an integer of 4 or more), an image processing device 4, and a display device 5. When the virtual viewpoint 11 is set in the competition court 10, the image processing system 1 generates a virtual omnidirectional image at the virtual viewpoint 11 by combining the images photographed by the camera group 3 installed outside the competition court 10. obtain.

全天球カメラ２は、全天球画像を撮影するカメラである。全天球カメラ２は、競技が行われる前のタイミングで競技用コート１０内の仮想視点１１の位置に設置される。全天球カメラ２は、仮想視点１１の位置から、仮想全天球画像の背景となる画像（以下、「背景画像」という。）を撮影する。全天球カメラ２で撮影された背景画像は、画像処理装置４に入力されて蓄積される。このように、画像処理装置４は、予め背景画像を蓄積する。 The omnidirectional camera 2 is a camera that captures an omnidirectional image. The omnidirectional camera 2 is installed at the position of the virtual viewpoint 11 in the competition court 10 at a timing before the competition is performed. The omnidirectional camera 2 captures an image (hereinafter referred to as “background image”) that is the background of the virtual omnidirectional image from the position of the virtual viewpoint 11. The background image captured by the omnidirectional camera 2 is input to the image processing device 4 and accumulated. As described above, the image processing apparatus 4 stores the background image in advance.

競技用コート１０の周囲には、カメラ群３が設置されている。カメラ群３の各カメラ３−１、３−２、３−３、・・・、３−Ｎは、それぞれ仮想視点１１を含む画角となるように競技用コート１０の周囲に設置されている。カメラ群３の各カメラ３−１、３−２、３−３、・・・、３−Ｎは、仮想視点１１を含む領域を撮影する。画像処理装置４は、カメラ群３によって撮影された画像に対して画像処理を施して、背景画像に画像処理後の画像を合成して仮想全天球画像を生成する。表示装置５は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の画像表示装置である。表示装置５は、画像処理装置４で生成した仮想全天球画像を表示する。 A camera group 3 is installed around the competition court 10. Each of the cameras 3-1, 3-2, 3-3,..., 3 -N of the camera group 3 is installed around the competition court 10 so as to have an angle of view including the virtual viewpoint 11. . Each of the cameras 3-1, 3-2, 3-3,..., 3 -N in the camera group 3 captures an area including the virtual viewpoint 11. The image processing device 4 performs image processing on the image photographed by the camera group 3, and generates a virtual omnidirectional image by combining the image after image processing with the background image. The display device 5 is an image display device such as a liquid crystal display, an organic EL (Electro Luminescence) display, or a CRT (Cathode Ray Tube) display. The display device 5 displays the virtual omnidirectional image generated by the image processing device 4.

次に、画像処理システム１における画像処理の具体例について図１０を用いて説明する。
図１０は、画像処理システム１における画像処理の流れを説明するための図である。図１０（ａ）は、背景画像２０の具体例を示す図である。背景画像２０には、仮想視点１１を中心として全方位（３６０度）の被写体が撮影されている。背景画像２０は、競技用コート１０内に人物がいない状態で撮影される画像であるので競技用コート１０内には人物が撮影されない。 Next, a specific example of image processing in the image processing system 1 will be described with reference to FIG.
FIG. 10 is a diagram for explaining the flow of image processing in the image processing system 1. FIG. 10A is a diagram illustrating a specific example of the background image 20. In the background image 20, a subject in all directions (360 degrees) with the virtual viewpoint 11 as the center is photographed. Since the background image 20 is an image shot in a state where no person is present in the competition court 10, no person is photographed in the competition court 10.

図１０（ｂ）は、各カメラ３−１、３−２及び３−３で撮影された画像を示す図である。図１０（ｂ）には、左からカメラ３−１で撮影された画像２１と、カメラ３−２で撮影された画像２２と、カメラ３−３で撮影された画像２３とが示されている。画像処理装置４は、画像２１〜２３のそれぞれから仮想視点１１を含む領域２１１、２２１、２３１を抽出する。画像処理装置４は、抽出した領域２１１、２２１、２３１の画像に対して、画像処理を行うことで背景画像２０に合成可能な部分画像２１１ａ、２２１ａ、２３１ａを生成する。 FIG. 10B is a diagram illustrating images captured by the cameras 3-1, 3-2, and 3-3. FIG. 10B shows an image 21 captured by the camera 3-1, an image 22 captured by the camera 3-2, and an image 23 captured by the camera 3-3 from the left. . The image processing apparatus 4 extracts regions 211, 221, and 231 including the virtual viewpoint 11 from each of the images 21 to 23. The image processing apparatus 4 generates partial images 211a, 221a, and 231a that can be combined with the background image 20 by performing image processing on the extracted images of the regions 211, 221, and 231.

画像処理装置４は、背景画像２０に対して部分画像２１１ａ、２２１ａ、２３１ａを合成することによって仮想全天球画像２４を生成する。図１０（ｃ）は、画像処理装置４が生成する仮想全天球画像２４の例を示す図である。図１０（ｃ）に示すように、仮想全天球画像２４の所定の領域には部分画像２１１ａ、２２１ａ、２３１ａが合成されている。そのため、仮想全天球画像２４として、競技用コート１０上に物体（例えば、人物）が撮影されている画像が生成される。 The image processing device 4 generates the virtual omnidirectional image 24 by combining the partial images 211a, 221a, and 231a with the background image 20. FIG. 10C is a diagram illustrating an example of the virtual omnidirectional image 24 generated by the image processing device 4. As shown in FIG. 10C, partial images 211 a, 221 a, and 231 a are synthesized in a predetermined area of the virtual omnidirectional image 24. Therefore, an image in which an object (for example, a person) is photographed on the competition court 10 is generated as the virtual omnidirectional image 24.

従来の画像処理システム１は、合成に用いているカメラ群３の光学中心及び仮想視点１１において想定する全天球カメラの光学中心はそれぞれ異なる。そのため、合成された仮想全天球画像２４は幾何学的に正しくない画像を含む。これを防ぐためには、画像処理装置４は、部分画像２１１ａ、２２１ａ、２３１ａを、仮想視点１１からの距離を示す奥行きの一点で整合性が保たれるよう画像処理を行い背景画像２０に合成する必要がある。しかしながら、整合性が保たれる奥行きに存在せずに別の奥行に存在している物体（例えば、人物）の部分画像を合成する場合には、画像処理により奥行きの整合性を保つことができない。このような奥行に整合性のない物体は、仮想全天球画像２４において、その画像が分身（多重像）したり、消失したりする現象が発生する。 In the conventional image processing system 1, the optical center of the camera group 3 used for composition and the optical center of the omnidirectional camera assumed in the virtual viewpoint 11 are different. Therefore, the synthesized virtual omnidirectional image 24 includes a geometrically incorrect image. In order to prevent this, the image processing apparatus 4 performs image processing on the partial images 211 a, 221 a, and 231 a so that consistency is maintained at one point indicating the distance from the virtual viewpoint 11, and is synthesized with the background image 20. There is a need. However, when synthesizing a partial image of an object (for example, a person) that does not exist at a depth where consistency is maintained but exists at another depth, the consistency of depth cannot be maintained by image processing. . Such an object whose depth is inconsistent causes a phenomenon that the virtual omnidirectional image 24 becomes a duplicated image (multiple image) or disappears.

以下に、図１１を用いて仮想全天球画像２４において、物体の画像が分身したり、消失したりする現象について説明する。図１１は、画像処理システム１における課題を説明するための図である。図１１において、撮影範囲４１は、カメラ３−１の撮影範囲において図１０（ｂ）に示した領域２１１の撮影範囲を示す。撮影範囲４２は、カメラ３−２の撮影範囲において図１０（ｂ）に示した領域２２１の撮影範囲を示す。撮影範囲４３は、カメラ３−３の撮影範囲において図１０（ｂ）に示した領域２３１の撮影範囲を示す。また、仮想視点１１からの距離（奥行）が異なる３つの物体（例えば、人物）４９〜５１が存在する。 Hereinafter, with reference to FIG. 11, a phenomenon in which an image of an object is altered or disappeared in the virtual omnidirectional image 24 will be described. FIG. 11 is a diagram for explaining a problem in the image processing system 1. In FIG. 11, a shooting range 41 indicates a shooting range of the area 211 shown in FIG. 10B in the shooting range of the camera 3-1. The shooting range 42 indicates the shooting range of the area 221 shown in FIG. 10B in the shooting range of the camera 3-2. The shooting range 43 indicates the shooting range of the area 231 shown in FIG. 10B in the shooting range of the camera 3-3. In addition, there are three objects (for example, persons) 49 to 51 having different distances (depths) from the virtual viewpoint 11.

図１１において破線で示している仮想視点１１からの第１の距離を示す奥行４６は、各撮影範囲４１〜４３が、重なりなく並んでいる。このような奥行４６に位置する被写体４９は、その画像が分身したり消失したりすることがなく、奥行に整合性のある被写体である。仮想視点１１からの第２の距離を示す奥行４７は、各撮影範囲４１〜４３が、横線部分４４に示すように重なっている。このような奥行４７に位置する被写体５０は、その画像が分身してしまうので、奥行に整合性のない被写体となる。仮想視点１１からの第３の距離を示す奥行４８は、各撮影範囲４１〜４３の間が斜線部分４５に示すように空いている。このような奥行４８に位置する被写体５１は、その画像の一部が消失してしまうので、奥行に整合性のない被写体となる。 In the depth 46 which shows the 1st distance from the virtual viewpoint 11 shown with the broken line in FIG. 11, each imaging | photography range 41-43 is located in a line without overlapping. The subject 49 positioned at the depth 46 is a subject that is consistent in the depth without the image being altered or lost. In the depth 47 indicating the second distance from the virtual viewpoint 11, the shooting ranges 41 to 43 overlap as shown by the horizontal line portion 44. The subject 50 positioned at the depth 47 is a subject whose depth is not consistent because the image is duplicated. The depth 48 indicating the third distance from the virtual viewpoint 11 is vacant as indicated by the hatched portion 45 between the imaging ranges 41 to 43. The subject 51 positioned at the depth 48 is a subject whose depth is not consistent because part of the image is lost.

高橋康輔、外３名、「複数カメラ映像を用いた仮想全天球映像合成に関する検討」、社団法人電子情報通信学会、信学技報、2015年6月、vol.115、no.76、p.43-48Kosuke Takahashi, 3 others, “Study on virtual spherical image synthesis using multiple camera images”, The Institute of Electronics, Information and Communication Engineers, IEICE Technical Report, June 2015, vol.115, no.76, p. .43-48

仮想全天球画像において物体が存在する領域は、人が注視する領域（以下、「視聴領域」という。）である可能性が高い。そのため、視聴領域に存在する物体に多重像や消失が発生してしまうと、仮想全天球画像の品質が低下してしまうという問題がある。このような問題は、仮想全天球画像に限らず、複数のカメラで撮影された画像を用いて生成される合成画像全てに共通する課題である。 There is a high possibility that a region where an object is present in the virtual omnidirectional image is a region that is watched by a person (hereinafter referred to as “viewing region”). For this reason, if multiple images or disappearance occurs in an object existing in the viewing area, there is a problem that the quality of the virtual omnidirectional image is degraded. Such a problem is not limited to a virtual omnidirectional image, but is a problem common to all composite images generated using images captured by a plurality of cameras.

上記事情に鑑み、本発明は、複数のカメラで撮影された画像を用いて生成される合成画像の品質低下を抑制する技術の提供を目的としている。 In view of the above circumstances, an object of the present invention is to provide a technique for suppressing deterioration in quality of a composite image generated using images taken by a plurality of cameras.

本発明の一態様は、所定の領域に設定された仮想的な視点を表わす仮想視点を含む画像を撮影する前記仮想視点以外の位置に設けられた撮影方向が異なる複数の撮影装置によって撮影された複数の画像に基づいて、前記複数の撮影装置の間の撮影位置における中間画像を生成する中間画像生成部と、前記複数の画像及び前記中間画像から前記仮想視点を含む部分領域を抽出する部分領域抽出部と、抽出された複数の部分領域を用いて合成画像を生成する合成画像生成部と、を備える画像処理装置である。 According to an aspect of the present invention, images are captured by a plurality of image capturing apparatuses having different image capturing directions provided at positions other than the virtual viewpoint for capturing an image including a virtual viewpoint representing a virtual viewpoint set in a predetermined area. An intermediate image generation unit that generates an intermediate image at a shooting position between the plurality of imaging devices based on a plurality of images, and a partial region that extracts a partial region including the virtual viewpoint from the plurality of images and the intermediate image An image processing apparatus includes: an extraction unit; and a composite image generation unit that generates a composite image using a plurality of extracted partial regions.

本発明の一態様は、上記の画像処理装置であって、前記部分領域抽出部は、短冊形に前記部分領域を抽出し、前記合成画像生成部は、抽出された複数の短冊形の部分領域を並べることによって前記合成画像を生成する。 One aspect of the present invention is the above-described image processing apparatus, wherein the partial region extraction unit extracts the partial region in a strip shape, and the composite image generation unit includes a plurality of the extracted strip partial regions. Are arranged to generate the composite image.

本発明の一態様は、上記の画像処理装置であって、前記部分領域、又は、前記部分領域を変形した画像の輪郭上にあるエッジを含む領域を複数の領域に分割し、分割後の前記複数の領域それぞれに対して、前記中間画像の生成元である入力画像から類似領域を検索し、検索した前記類似領域を前記複数の領域に置き換える画像処理部画像処理部をさらに備える。
本発明の一態様は、上記の画像処理装置であって、前記合成画像生成部は、前記部分領域の複数の画像、又は、前記部分領域を変形した複数の画像間を所定の領域あけて、前記識別情報で特定される順に並べることによって前記合成画像を生成し、前記画像処理部は、前記所定の領域を、前記所定の領域に隣接する前記複数の画像の生成元である入力画像を用いて補完する。
One aspect of the present invention is the image processing apparatus described above, wherein the partial area or an area including an edge on an outline of an image obtained by deforming the partial area is divided into a plurality of areas, For each of a plurality of regions, the image processing unit further includes an image processing unit that searches for a similar region from the input image that is the generation source of the intermediate image, and replaces the searched similar region with the plurality of regions .
One aspect of the present invention is the above-described image processing device, wherein the composite image generation unit opens a predetermined region between a plurality of images of the partial region or a plurality of images obtained by deforming the partial region. The composite image is generated by arranging in the order specified by the identification information, and the image processing unit uses the input image that is the generation source of the plurality of images adjacent to the predetermined region. To complement.

本発明の一態様は、所定の領域に設定された仮想的な視点を表わす仮想視点を含む画像を撮影する前記仮想視点以外の位置に設けられた撮影方向が異なる複数の撮影装置によって撮影された複数の画像に基づいて、前記複数の撮影装置の間の撮影位置における中間画像を生成する中間画像生成ステップと、前記複数の画像及び前記中間画像から前記仮想視点を含む部分領域を抽出する部分領域抽出ステップと、抽出された複数の部分領域を用いて合成画像を生成する合成画像生成ステップと、を有する画像処理方法である。 According to an aspect of the present invention, images are captured by a plurality of image capturing apparatuses having different image capturing directions provided at positions other than the virtual viewpoint for capturing an image including a virtual viewpoint representing a virtual viewpoint set in a predetermined area. An intermediate image generating step for generating an intermediate image at a shooting position between the plurality of imaging devices based on a plurality of images, and a partial area for extracting the partial area including the virtual viewpoint from the plurality of images and the intermediate image An image processing method includes an extraction step and a composite image generation step of generating a composite image using a plurality of extracted partial regions.

本発明の一態様は、所定の領域に設定された仮想的な視点を表わす仮想視点を含む画像を撮影する前記仮想視点以外の位置に設けられた撮影方向が異なる複数の撮影装置によって撮影された複数の画像に基づいて、前記複数の撮影装置の間の撮影位置における中間画像を生成する中間画像生成ステップと、前記複数の画像及び前記中間画像から前記仮想視点を含む部分領域を抽出する部分領域抽出ステップと、抽出された複数の部分領域を用いて合成画像を生成する合成画像生成ステップと、をコンピュータに実行させるためのコンピュータプログラムである。 According to an aspect of the present invention, images are captured by a plurality of image capturing apparatuses having different image capturing directions provided at positions other than the virtual viewpoint for capturing an image including a virtual viewpoint representing a virtual viewpoint set in a predetermined area. An intermediate image generating step for generating an intermediate image at a shooting position between the plurality of imaging devices based on a plurality of images, and a partial area for extracting the partial area including the virtual viewpoint from the plurality of images and the intermediate image A computer program for causing a computer to execute an extraction step and a composite image generation step of generating a composite image using a plurality of extracted partial regions.

本発明により、複数のカメラで撮影された画像を用いて生成される合成画像の品質低下を抑制することが可能となる。 According to the present invention, it is possible to suppress deterioration in quality of a composite image generated using images taken by a plurality of cameras.

本発明における画像処理システム１００のシステム構成を示す図である。1 is a diagram illustrating a system configuration of an image processing system 100 according to the present invention. 中間画像の一例を示す図である。It is a figure which shows an example of an intermediate image. 抽出領域情報テーブルの具体例を示す図である。It is a figure which shows the specific example of an extraction area | region information table. 部分領域抽出部８０４による部分領域の抽出処理を説明するための図である。FIG. 10 is a diagram for explaining partial region extraction processing by a partial region extraction unit 804; 画像合成部８０６の処理を説明するための図である。It is a figure for demonstrating the process of the image synthetic | combination part 806. FIG. 仮想全天球画像の一例を示す図である。It is a figure which shows an example of a virtual omnidirectional image. 画像処理装置８０の処理の流れを示すフローチャートである。4 is a flowchart showing a processing flow of the image processing apparatus 80. １つの入力画像から複数の部分領域を抽出する場合に用いられる抽出領域情報テーブルの具体例を示す図である。It is a figure which shows the specific example of the extraction area | region information table used when extracting a some partial area | region from one input image. 従来システムにおいて仮想全天球画像を得るためのシステムを示す図である。It is a figure which shows the system for obtaining a virtual omnidirectional image in a conventional system. 画像処理システム１における画像処理の流れを説明するための図である。FIG. 3 is a diagram for explaining a flow of image processing in the image processing system 1; 画像処理システム１における課題を説明するための図である。2 is a diagram for explaining a problem in the image processing system 1. FIG.

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明における画像処理システム１００のシステム構成を示す図である。
画像処理システム１００は、全天球カメラ６０、複数のカメラ７０−１〜７０−Ｍ（Ｍは２以上の整数）及び画像処理装置８０を備える。なお、以下の説明では、カメラ７０−１〜７０−Ｍについて特に区別しない場合には、カメラ７０と記載する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a system configuration of an image processing system 100 according to the present invention.
The image processing system 100 includes an omnidirectional camera 60, a plurality of cameras 70-1 to 70-M (M is an integer of 2 or more), and an image processing device 80. In the following description, the cameras 70-1 to 70-M will be referred to as cameras 70 unless otherwise distinguished.

全天球カメラ６０は、撮影対象領域８１内の仮想視点８２の位置に設置される。撮影対象領域８１は、例えばサッカーコートやバスケットコートなどの競技用コートなどである。仮想視点８２は、所定の領域（本実施形態では、撮影対象領域８１）内に仮想的に設定された視点である。全天球カメラ６０は、仮想視点８２の位置における全天球画像を撮影する。本実施形態における全天球画像は、仮想視点８２を中心として撮影対象領域８１全体を含む。全天球カメラ６０による処理は、画像処理装置８０による処理の開始前に行われる。全天球カメラ６０は、撮影した全天球画像を背景画像として画像処理装置８０に出力する。 The omnidirectional camera 60 is installed at the position of the virtual viewpoint 82 in the shooting target area 81. The imaging target area 81 is, for example, a competition court such as a soccer court or a basket court. The virtual viewpoint 82 is a viewpoint virtually set in a predetermined area (in this embodiment, the imaging target area 81). The omnidirectional camera 60 captures an omnidirectional image at the position of the virtual viewpoint 82. The omnidirectional image in the present embodiment includes the entire imaging target region 81 with the virtual viewpoint 82 as the center. The processing by the omnidirectional camera 60 is performed before the processing by the image processing device 80 is started. The omnidirectional camera 60 outputs the captured omnidirectional image to the image processing apparatus 80 as a background image.

Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍは、撮影対象領域８１の外側に設けられ、画像を動画（映像）で撮影するカメラであり、仮想視点８２を含む領域を撮影する。Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍのそれぞれで撮影された動画は、複数フレームの画像により構成される。図１に示すように、カメラ７０−１には仮想視点８２の位置上を通過する光線７１が入力され、カメラ７０−２には仮想視点８２の位置上を通過する光線７２が入力される。以下、カメラ７０に入力される光線を実光線と記載する。図１では示していないが、カメラ７０は撮影対象領域８１の周囲に設置される。つまり、カメラ７０は、それぞれ仮想視点８２を含む画角となるように撮影対象領域８１の周囲を取り囲むように設置される。図１においてＭは、２以上の整数であり、同程度の画質の仮想全天球画像を得ようとするのであれば撮影対象領域８１が大きいほど大きな値となる。また、撮影対象領域８１の大きさが同じであれば、Ｍの値が大きい程、合成領域（仮想全天球画像において、Ｍ台のカメラ７０からの画像を合成した領域）の面積が大きくなり、あるいは合成領域の大きさが同じであれば合成領域における画質が向上す仮想全天球画像の画質を高いものにしようとするほど大きな値となる。 M cameras 70-1, 70-2,..., 70 -M are cameras that are provided outside the shooting target area 81 and shoot an image as a moving image (video), and include a virtual viewpoint 82. Shoot. The moving images shot by each of the M cameras 70-1, 70-2,..., 70-M are composed of a plurality of frames. As shown in FIG. 1, a light beam 71 passing over the position of the virtual viewpoint 82 is input to the camera 70-1, and a light beam 72 passing over the position of the virtual viewpoint 82 is input to the camera 70-2. Hereinafter, the light beam input to the camera 70 is referred to as a real light beam. Although not shown in FIG. 1, the camera 70 is installed around the shooting target area 81. That is, the camera 70 is installed so as to surround the photographing target area 81 so that the angle of view includes the virtual viewpoint 82. In FIG. 1, M is an integer equal to or greater than 2. If a virtual omnidirectional image having the same image quality is to be obtained, the value M increases as the shooting target area 81 increases. Further, if the size of the imaging target area 81 is the same, the larger the value of M, the larger the area of the synthesis area (the area where the images from the M cameras 70 are synthesized in the virtual omnidirectional image). Alternatively, if the size of the composite area is the same, the value becomes larger as the image quality of the virtual omnidirectional image that improves the image quality in the composite area is increased.

画像処理装置８０は、Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍのそれぞれで撮影されたそれぞれの動画から入力画像を事前に取得する。撮影されたそれぞれの動画は複数フレームの画像で構成されており、本実施形態における画像処理装置８０は処理対象となるフレームの画像を入力画像として取得する。画像処理装置８０は、全天球カメラ６０によって撮影された全天球画像と、Ｍ台のカメラ７０−１、７０−２、・・・、７０−Ｍのそれぞれで撮影された動画からそれぞれ取得された入力画像とに基づいて仮想全天球画像を生成する。 The image processing apparatus 80 acquires an input image in advance from each moving image captured by each of the M cameras 70-1, 70-2, ..., 70-M. Each captured moving image is composed of images of a plurality of frames, and the image processing apparatus 80 in this embodiment acquires an image of a frame to be processed as an input image. The image processing device 80 is acquired from the omnidirectional image captured by the omnidirectional camera 60 and the moving images captured by the M cameras 70-1, 70-2,. A virtual omnidirectional image is generated based on the input image.

次に、画像処理装置８０の機能構成について説明する。画像処理装置８０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像処理プログラムを実行する。画像処理プログラムの実行によって、画像処理装置８０は、画像入力部８０１、中間画像生成部８０２、抽出領域情報記憶部８０３、部分領域抽出部８０４、背景画像記憶部８０５、画像合成部８０６、画像処理部８０７を備える装置として機能する。なお、画像処理装置８０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、画像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像処理プログラムは、電気通信回線を介して送受信されてもよい。 Next, the functional configuration of the image processing apparatus 80 will be described. The image processing apparatus 80 includes a CPU (Central Processing Unit), a memory, an auxiliary storage device, and the like connected by a bus, and executes an image processing program. By executing the image processing program, the image processing apparatus 80 includes an image input unit 801, an intermediate image generation unit 802, an extraction region information storage unit 803, a partial region extraction unit 804, a background image storage unit 805, an image composition unit 806, an image processing unit, It functions as a device including the unit 807. Note that all or part of the functions of the image processing apparatus 80 may be realized using hardware such as an application specific integrated circuit (ASIC), a programmable logic device (PLD), or a field programmable gate array (FPGA). . The image processing program may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in the computer system. Further, the image processing program may be transmitted / received via a telecommunication line.

画像入力部８０１は、カメラ７０−１、７０−２、・・・、７０−Ｍそれぞれによって同時刻に撮影された複数の入力画像を入力する。画像入力部８０１は、入力された複数の入力画像を中間画像生成部８０２に出力する。
中間画像生成部８０２は、画像入力部８０１から出力された複数の入力画像を入力とする。中間画像生成部８０２は、入力された複数の入力画像のうち隣接する２台のカメラ７０それぞれによって同時刻に撮影された入力画像に基づいて、２視点（２台のカメラ７０での撮影位置）の間の撮影位置における画像（以下、「中間画像」という。）を生成する。例えば、中間画像生成部８０２は、ＶｉｅｗＭｏｒｐｈｉｎｇを利用することによって中間画像を生成する。中間画像生成部８０２は、生成した中間画像と、中間画像の生成に利用した複数の入力画像を部分領域抽出部８０４に出力する。また、中間画像生成部８０２は、中間画像の生成に利用した複数の入力画像を画像処理部８０７に出力する。ＶｉｅｗＭｏｒｐｈｉｎｇは、２視点で撮影された画像と、各画像の対応点を入力として中間画像を生成する手法である。なお、対応点は手動で与えられてもよいし、ＳＵＲＦ（Speeded Up Robust Features）やＳＩＦＴ（Scale-invariant feature transform）などの技術を適用して与えられてもよい。ＶｉｅｗＭｏｒｐｈｉｎｇの手法は、例えば参考文献１に記載の技術を用いることができる。
［参考文献１］Seitz, S. M., and C. R. Dyer. "View Morphing, 1996.", Siggraph 1996 Conference Proceedings, Annual Conference Series. 1996.
中間画像の生成結果を図２に示す。 The image input unit 801 inputs a plurality of input images photographed at the same time by the cameras 70-1, 70-2,..., 70-M. The image input unit 801 outputs a plurality of input images to the intermediate image generation unit 802.
The intermediate image generation unit 802 receives a plurality of input images output from the image input unit 801 as inputs. The intermediate image generation unit 802 has two viewpoints (capturing positions with the two cameras 70) based on the input images captured at the same time by two adjacent cameras 70 among the plurality of input images input. An image at the shooting position between (hereinafter referred to as “intermediate image”) is generated. For example, the intermediate image generation unit 802 generates an intermediate image by using View Morphing. The intermediate image generation unit 802 outputs the generated intermediate image and a plurality of input images used for generating the intermediate image to the partial region extraction unit 804. Also, the intermediate image generation unit 802 outputs a plurality of input images used for generating the intermediate image to the image processing unit 807. View Morphing is a method of generating an intermediate image by inputting images taken from two viewpoints and corresponding points of each image. The corresponding points may be given manually, or may be given by applying techniques such as SURF (Speeded Up Robust Features) and SIFT (Scale-invariant feature transform). For example, the technique described in Reference 1 can be used as the method of View Morphing.
[Reference 1] Seitz, SM, and CR Dyer. "View Morphing, 1996.", Siggraph 1996 Conference Proceedings, Annual Conference Series. 1996.
The generation result of the intermediate image is shown in FIG.

図２は、中間画像の一例を示す図である。
図２では、以下に示すカメラ配置の下で生成された中間画像を示している。
カメラ配置は、水平方向に２個以上、かつ、仮想視点８２を中心として円周状、かつ、カメラ７０の撮影方向として仮想視点８２を含むように配置されている。なお、ここで示したカメラ配置は一例であり、カメラ７０の撮影方向として仮想視点８２を含むように配置されていれば、その他の配置であってもよい。
図２において、画像８３はカメラ７０−１によって撮影された画像を表し、画像８４はカメラ７０−２によって撮影された画像を表し、画像８５は中間画像を表す。また、光線７１及び７２は実光線を表し、光線７３は仮想光線を表す。ここで、仮想光線とは、仮想的に得られる光線である。実光線が含まれる２視点の各画像を用いて生成される中間画像は、実光線と同様に仮想視点８２の位置上を通過する仮想光線を含む。なお、図２では、中間画像が１つの場合を例に示しているが、中間画像は複数生成されてもよい。中間画像の生成数は、事前に中間画像生成部８０２に入力される。例えば、ユーザが不図示の入力装置を用いて中間画像の生成数を入力してもよい。入力装置は、キーボード、ポインティングデバイス（マウス、タブレット等）、タッチパネル、ボタン等の既存の入力装置を用いて構成される。 FIG. 2 is a diagram illustrating an example of the intermediate image.
FIG. 2 shows an intermediate image generated under the following camera arrangement.
Two or more cameras are arranged in the horizontal direction, are arranged around the virtual viewpoint 82, and are arranged so as to include the virtual viewpoint 82 as the shooting direction of the camera 70. Note that the camera arrangement shown here is an example, and other arrangements may be used as long as the camera 70 is arranged so as to include the virtual viewpoint 82 as the shooting direction.
In FIG. 2, an image 83 represents an image photographed by the camera 70-1, an image 84 represents an image photographed by the camera 70-2, and an image 85 represents an intermediate image. Light rays 71 and 72 represent real light rays, and light ray 73 represents a virtual light ray. Here, the virtual ray is a ray obtained virtually. The intermediate image generated using each image of the two viewpoints including the real light includes a virtual light that passes over the position of the virtual viewpoint 82 in the same manner as the real light. Although FIG. 2 shows an example where there is one intermediate image, a plurality of intermediate images may be generated. The number of intermediate images generated is input to the intermediate image generation unit 802 in advance. For example, the user may input the number of intermediate images generated using an input device (not shown). The input device is configured using an existing input device such as a keyboard, a pointing device (mouse, tablet, etc.), a touch panel, and a button.

図１に戻って、画像処理装置８０の説明を続ける。
抽出領域情報記憶部８０３は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。抽出領域情報記憶部８０３は、抽出領域情報テーブルを記憶する。抽出領域情報テーブルは、全天球画像に合成するために各画像（入力画像及び中間画像）から抽出する領域に関する情報を表すレコード（以下、「抽出領域情報レコード」という。）で構成される。 Returning to FIG. 1, the description of the image processing apparatus 80 will be continued.
The extraction area information storage unit 803 is configured using a storage device such as a magnetic hard disk device or a semiconductor storage device. The extraction area information storage unit 803 stores an extraction area information table. The extraction area information table is composed of records (hereinafter referred to as “extraction area information records”) representing information about areas extracted from each image (input image and intermediate image) to be combined with the omnidirectional image.

図３は、抽出領域情報テーブルの具体例を示す図である。
抽出領域情報テーブルは、抽出領域情報レコードを複数有する。抽出領域情報レコードは、画像ＩＤ及び抽出領域情報の各値を有する。画像ＩＤの値は、領域の抽出対象となる画像を識別するための識別情報を表す。図３において、画像ＩＤ“Ｉ１”及び“Ｉ１０”は、隣り合うカメラ７０のそれぞれで撮影された入力画像の識別情報を表す。図３において、画像ＩＤ“Ｉ２”〜“Ｉ９”は、中間画像の識別情報を表す。抽出領域情報の値は、同じ抽出領域情報レコードの画像ＩＤで識別される画像から抽出する領域（以下、「抽出領域」という。）に関する情報を表す。抽出領域情報の具体例として、左上座標、幅及び高さがある。左上座標は、抽出領域の入力画像中での左上の座標を表す。幅は、抽出領域の入力画像中での幅を表す。高さは、抽出領域の入力画像中での高さを表す。なお、幅及び高さは、抽出領域の左上座標を基準とし、かつ、抽出領域中に仮想視点を含む範囲に設定される。 FIG. 3 is a diagram illustrating a specific example of the extraction area information table.
The extraction area information table has a plurality of extraction area information records. The extraction area information record has each value of image ID and extraction area information. The value of the image ID represents identification information for identifying an image from which an area is to be extracted. In FIG. 3, image IDs “I1” and “I10” represent identification information of input images taken by the adjacent cameras 70. In FIG. 3, image IDs “I2” to “I9” represent identification information of intermediate images. The value of the extraction area information represents information related to an area (hereinafter referred to as “extraction area”) extracted from an image identified by the image ID of the same extraction area information record. Specific examples of the extraction area information include upper left coordinates, width, and height. The upper left coordinate represents the upper left coordinate in the input image of the extraction area. The width represents the width of the extraction area in the input image. The height represents the height of the extraction area in the input image. Note that the width and height are set to a range including the virtual viewpoint in the extraction region with the upper left coordinate of the extraction region as a reference.

図３に示される例では、抽出領域情報テーブルには複数の抽出領域情報レコードが登録されている。図３において、抽出領域情報テーブルの最上段に登録されている抽出領域情報レコードは、画像ＩＤの値が“Ｉ１”、左上座標の値が“（Ａ，Ｂ）”、幅の値が“Ｃ”、高さの値が“Ｄ”である。すなわち、画像ＩＤ“Ｉ１”で識別される画像から、画像の左上座標（Ａ，Ｂ）、幅Ｃ、高さＤで表される領域を抽出することが表されている。
なお、図３では、一つの画像から一つの部分領域を利用する場合の抽出領域情報テーブルを示している。また、後述する図８では、一つの画像から複数の部分領域を利用する場合の抽出領域情報テーブルを示している。図８についての説明は後述するためここでは省略する。 In the example shown in FIG. 3, a plurality of extraction area information records are registered in the extraction area information table. In FIG. 3, the extracted area information record registered at the top of the extracted area information table has an image ID value “I1”, an upper left coordinate value “(A, B)”, and a width value “C”. "The height value is" D ". That is, extracting the area represented by the upper left coordinates (A, B), width C, and height D of the image from the image identified by the image ID “I1” is shown.
Note that FIG. 3 shows an extraction area information table when one partial area is used from one image. Further, FIG. 8 to be described later shows an extraction area information table when a plurality of partial areas are used from one image. The description of FIG. 8 will be omitted here because it will be described later.

図１に戻って、画像処理装置８０の説明を続ける。
部分領域抽出部８０４は、中間画像生成部８０２から出力された中間画像及び入力画像と、抽出領域情報記憶部８０３に記憶されている抽出領域情報テーブルとを入力とする。部分領域抽出部８０４は、入力された抽出領域情報テーブルの抽出領域情報に基づいて、入力された各画像（入力画像及び中間画像）から全天球画像に重畳させる仮想視点８２の位置を含む部分領域を抽出する。以下、部分領域抽出部８０４によって抽出された部分領域を部分領域画像と記載する。部分領域抽出部８０４は、各画像の各部分領域画像を画像合成部８０６に出力する。 Returning to FIG. 1, the description of the image processing apparatus 80 will be continued.
The partial area extraction unit 804 receives the intermediate image and the input image output from the intermediate image generation unit 802 and the extraction area information table stored in the extraction area information storage unit 803. The partial region extraction unit 804 includes a position of the virtual viewpoint 82 to be superimposed on the omnidirectional image from each input image (input image and intermediate image) based on the extraction region information in the input extraction region information table. Extract regions. Hereinafter, the partial area extracted by the partial area extraction unit 804 is referred to as a partial area image. The partial area extraction unit 804 outputs each partial area image of each image to the image synthesis unit 806.

図４は、部分領域抽出部８０４による部分領域の抽出処理を説明するための図である。
図４では、２視点（カメラ７０−１及び７０−２）それぞれで撮影された画像８３及び画像８４と、画像８３及び画像８４から生成された中間画像８５とから部分領域を抽出する処理について説明する。カメラ７０−１及び７０−２は、図４に示すように仮想視点８２の位置を撮影するように設置されている。部分領域抽出部８０４は、抽出領域情報テーブルに基づいて、各画像（入力画像及び中間画像）から部分領域を抽出する。例えば、部分領域抽出部８０４は、画像８３から部分領域８６を抽出する。部分領域抽出部８０４は、部分領域の抽出の一例として、図４に示すように部分領域を短冊形に抽出する。また、部分領域抽出部８０４は、画像８４から部分領域８７を抽出する。そして、部分領域抽出部８０４は、中間画像８５から部分領域８８を抽出する。このように、部分領域抽出部８０４は、抽出領域情報テーブルで予め定められた情報に基づいて部分領域を抽出する。 FIG. 4 is a diagram for explaining a partial region extraction process by the partial region extraction unit 804.
In FIG. 4, a process of extracting a partial region from the image 83 and the image 84 captured by two viewpoints (cameras 70-1 and 70-2) and an intermediate image 85 generated from the image 83 and the image 84 will be described. To do. The cameras 70-1 and 70-2 are installed so as to photograph the position of the virtual viewpoint 82 as shown in FIG. The partial area extraction unit 804 extracts a partial area from each image (input image and intermediate image) based on the extraction area information table. For example, the partial area extraction unit 804 extracts the partial area 86 from the image 83. As an example of partial area extraction, the partial area extraction unit 804 extracts the partial area into a strip shape as shown in FIG. Further, the partial area extraction unit 804 extracts the partial area 87 from the image 84. Then, the partial area extraction unit 804 extracts the partial area 88 from the intermediate image 85. As described above, the partial region extraction unit 804 extracts a partial region based on information predetermined in the extraction region information table.

例えば、部分領域抽出部８０４は、中間画像が３個生成される場合には、画像が５個（入力画像２個＋中間画像３個）の場合の抽出領域情報テーブルを用いて各画像から抽出する領域を決定し、決定した領域を各画像から抽出する。部分領域抽出部８０４が部分領域を抽出する際の理想的なケースとしては、画像中の重畳する対象となる領域の横画素数分の画像から光学中心となるラインの部分領域を抽出することが挙げられる。例えば、画像中の重畳する対象となる領域の横画素の数が１０である場合、１０個の画像それぞれから光学中心となるラインの部分領域を抽出することによって光学的に正しい合成画像を生成することができる。 For example, when three intermediate images are generated, the partial region extraction unit 804 extracts from each image using the extraction region information table in the case of five images (two input images + three intermediate images). A region to be determined is determined, and the determined region is extracted from each image. As an ideal case when the partial region extraction unit 804 extracts a partial region, it is possible to extract a partial region of a line serving as an optical center from an image corresponding to the number of horizontal pixels of the region to be superimposed in the image. Can be mentioned. For example, if the number of horizontal pixels in the region to be superimposed in the image is 10, an optically correct composite image is generated by extracting the partial region of the line serving as the optical center from each of the 10 images. be able to.

背景画像記憶部８０５は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。背景画像記憶部８０５は、全天球カメラ６０によって撮影された全天球画像を背景画像として記憶する。ここで、背景画像は、合成画像の元となる画像を表す。背景画像は、例えば、あらかじめ仮想視点で撮影した画像でも良いし、縦横の画素数が決まっているだけの全画素の輝度値が一定の画像であってもよい。
画像合成部８０６は、部分領域抽出部８０４から出力された部分領域画像と、背景画像記憶部８０５に記憶されている背景画像とを入力とする。画像合成部８０６は、入力された部分領域画像を、背景画像に重畳することによって合成画像である仮想全天球画像を生成する。より具体的には、画像合成部８０６は、部分領域画像の画素値で、全天球画像上の部分領域画像が対応する位置の画素値を置き換えることによって全天球画像に部分領域画像を重畳する。画像合成部８０６は、生成した仮想全天球画像を画像処理部８０７に出力する。
画像処理部８０７は、画像合成部８０６から出力された仮想全天球画像と、中間画像生成部８０２から出力された入力画像とを入力とする。画像処理部８０７は、入力された仮想全天球画像に対して入力画像を用いて画像の品質を向上させるための画像処理を行う。 The background image storage unit 805 is configured using a storage device such as a magnetic hard disk device or a semiconductor storage device. The background image storage unit 805 stores the omnidirectional image captured by the omnidirectional camera 60 as a background image. Here, the background image represents an image that is a source of the composite image. The background image may be, for example, an image captured in advance from a virtual viewpoint, or may be an image in which the luminance values of all the pixels having a fixed number of vertical and horizontal pixels are constant.
The image composition unit 806 receives the partial area image output from the partial area extraction unit 804 and the background image stored in the background image storage unit 805. The image composition unit 806 generates a virtual omnidirectional image that is a composite image by superimposing the input partial region image on the background image. More specifically, the image composition unit 806 superimposes the partial area image on the omnidirectional image by replacing the pixel value at the position corresponding to the partial area image on the omnidirectional image with the pixel value of the partial area image. To do. The image composition unit 806 outputs the generated virtual omnidirectional image to the image processing unit 807.
The image processing unit 807 receives the virtual omnidirectional image output from the image composition unit 806 and the input image output from the intermediate image generation unit 802 as inputs. The image processing unit 807 performs image processing for improving the image quality using the input image with respect to the input virtual omnidirectional image.

画像合成部８０６の処理について図５を用いて具体的に説明する。図５は、画像合成部８０６の処理を説明するための図である。
まず、画像合成部８０６の処理を行う前に以下のような事前処理が行なわれる。
図５において、隣り合うカメラ７０をＣ_ｉ、Ｃ_ｉ＋１とし、それらカメラで撮影した画像をそれぞれＩ_ｉ、Ｉ_ｉ＋１とする。さらに、あるカメラＣ_ｉについて、Ｃ_ｉの光学中心と仮想視点８２とを結んだ直線上に基準物体（チェスボードやボール）を設置する。そして、その基準物体上の点をｐ_ｉとしたとき、ｐ_ｉの全天球画像上への投影点をｑ’_ｉとし、Ｃ_ｉの画像Ｉ_ｉ上の投影点をｑ_ｉとする。この時、ｑ’_ｉとｑ_ｉは対応付いている。そのため、画像合成部８０６は、あるカメラＣ_ｉについて合成時にはｑ’_ｉの画素値としてｑ_ｉの画素値を利用する。例えば、画像合成部８０６は、あるカメラＣ_ｉから抽出した部分領域画像を全天球画像に重畳する場合には、全天球画像上のｑ’_ｉと部分領域画像に含まれるｑ_ｉとが重なるように部分領域画像を全天球画像に重畳する。 The processing of the image composition unit 806 will be specifically described with reference to FIG. FIG. 5 is a diagram for explaining the processing of the image composition unit 806.
First, the following pre-processing is performed before the processing of the image composition unit 806.
In FIG. 5, adjacent cameras 70 are denoted as C _i and C _{i + 1,} and images taken with these cameras are denoted as I _i and I _{i + 1} , respectively. Further, for a certain camera C _i , a reference object (chess board or ball) is installed on a straight line connecting the optical center of C _i and the virtual viewpoint 82. When the point on the reference object is p _i , the projection point of p _{i on} the omnidirectional image is q ′ _i, and the projection point of C _{i on} the image I _i is q _i . At this time, q ′ _i and q _i correspond to each other. Therefore, the image composition unit 806 uses the pixel value of q _i as the pixel value of q ′ _i at the time of composition for a certain camera C _i . For example, when superimposing a partial area image extracted from a certain camera C _{i on the} omnidirectional image, the image composition unit 806 calculates q ′ _i on the omnidirectional image and q _i included in the partial area image. The partial area image is superimposed on the omnidirectional image so as to overlap.

同様に、あるカメラＣ_ｉ＋１について、Ｃ_ｉ＋１の光学中心と仮想視点８２とを結んだ直線上に基準物体（チェスボードやボール）を設置する。そして、その基準物体上の点をｐ_ｉ＋１としたとき、ｐ_ｉ＋１の全天球画像上への投影点をｑ’_ｉ＋１とし、Ｃ_ｉ＋１の画像Ｉ_ｉ＋１上の投影点をｑ_ｉ＋１とする。この時、ｑ’_ｉ＋１とｑ_ｉ＋１は対応付いている。そのため、画像合成部８０６は、あるカメラＣ_ｉ＋１について合成時にはｑ’_ｉ＋１の画素値としてｑ_ｉ＋１の画素値を利用する。例えば、画像合成部８０６は、あるカメラＣ_ｉ＋１から抽出した部分領域画像を全天球画像に重畳する場合には、全天球画像上のｑ’_ｉ＋１と部分領域画像に含まれるｑ_ｉ＋１とが重なるように部分領域画像を全天球画像に重畳する。 Similarly, for a certain camera C _{i + 1} , a reference object (chess board or ball) is installed on a straight line connecting the optical center of C _{i + 1} and the virtual viewpoint 82. When the point on the reference object is p _{i + 1} , the projection point of p _{i + 1 on} the omnidirectional image is q ′ _{i + 1,} and the projection point on the image I _{i + 1} of C _{i + 1} is q _{i + 1} . At this time, q ′ _{i + 1} and q _{i + 1} correspond to each other. Therefore, the image composition unit 806 uses the pixel value q _{i + 1} as the pixel value q ′ _{i + 1} at the time of composition for a certain camera C _{i + 1} . For example, when superimposing the partial area image extracted from a certain camera C _{i + 1 on the} omnidirectional image, the image composition unit 806 calculates q ′ _{i + 1} on the omnidirectional image and q _{i + 1} included in the partial area image. The partial area image is superimposed on the omnidirectional image so as to overlap.

次に、ｑ’_ｉ−ｑ’_ｉ＋１間に存在するピクセルに対し、中間視点における仮想視点８２の位置の画素ｑ^ｊ _{ｉ,ｉ＋１}を対応付ける。この対応付けの方法としては、どのような方法であってもよい。例えば、ｑ’_ｉ−ｑ’_ｉ＋１間に存在するピクセルが２ピクセルであり、ｖｉｅｗｍｏｒｐｈｉｎｇで２視点の中間画像を作成した場合には、それぞれの画像における仮想視点（ｑ^ｊ _{ｉ,ｉ＋１}, ｑ^ｊ＋１ _{ｉ,ｉ＋１}）の位置を２ピクセルに対応づける。
上記のような対応付けを，部分領域画像に含まれる全てのピクセルについて実施する。
画像合成部８０６は、上述した対応付けの結果をテーブルとして記憶しておき、中間画像から抽出された部分領域画像を全天球画像に重畳する。画像合成部８０６は、この処理を部分領域画像全て対して行うことによって仮想全天球画像を生成する。上記の方法によって、生成される仮想全天球画像の具体例を図６に示す。 Next, the pixel q ^j _{i, i + 1} at the position of the virtual viewpoint 82 at the intermediate viewpoint is associated with the pixel existing between q ′ _{i and} q ′ _{i + 1} . Any method may be used for this association. For example, when there are two pixels between q ′ _i −q ′ _{i + 1} and an intermediate image of two viewpoints is created by view morphing, virtual viewpoints (q ^j _{i, i + 1} , q ^{j + 1)} in the respective images are used. The position of _{i, i + 1} ) is associated with 2 pixels.
The above association is performed for all pixels included in the partial area image.
The image composition unit 806 stores the above-described association result as a table, and superimposes the partial area image extracted from the intermediate image on the omnidirectional image. The image composition unit 806 generates a virtual omnidirectional image by performing this process on all the partial area images. A specific example of the virtual omnidirectional image generated by the above method is shown in FIG.

図６は、仮想全天球画像の一例を示す図である。
図６に示されるように、仮想全天球画像９０は、全天球画像に対して各画像から抽出された部分領域画像が合成される。なお、図６では、図４に示す各画像８３、８４及び８５のそれぞれから抽出された部分領域画像８６、８７及び８８が仮想全天球画像９０上のどの部分に含まれるのかを示している。 FIG. 6 is a diagram illustrating an example of a virtual omnidirectional image.
As shown in FIG. 6, in the virtual omnidirectional image 90, partial area images extracted from the respective images are synthesized with the omnidirectional image. FIG. 6 shows in which part on the virtual omnidirectional image 90 the partial area images 86, 87, and 88 extracted from each of the images 83, 84, and 85 shown in FIG. 4 are included. .

次に、画像処理部８０７の具体的な処理について説明する。
まず、画像処理部８０７（決定部）は、全天球画像に重畳された部分領域画像で構成される領域（以下、「処理対象領域」という。）中から処理対象となる小領域（パッチ）を決定する。この方法としては、処理対象画像の輪郭上に存在し、周辺のエッジの強いパッチから選定する方法などが挙げられる。ここで、決定された小領域をｐ（Ｘ，Ｙ）とする。（Ｘ，Ｙ）は、小領域の左上の座標を表す。次に、画像処理部８０７（検索部）は、決定した小領域ｐ（Ｘ，Ｙ）の画素を基に、中間画像の生成元である２視点の入力画像から類似パッチを検索する。類似パッチとは、選択した小領域の画素に最も画素が類似する小領域を表す。画像処理部８０７は、以下の式に基づいて、類似パッチｐ（ａ’，ｂ’）を検索する。 Next, specific processing of the image processing unit 807 will be described.
First, the image processing unit 807 (determination unit) is a small region (patch) to be processed from a region (hereinafter referred to as “processing target region”) composed of partial region images superimposed on the omnidirectional image. To decide. Examples of this method include a method of selecting a patch that exists on the contour of the processing target image and has strong peripheral edges. Here, it is assumed that the determined small region is p (X, Y). (X, Y) represents the upper left coordinates of the small area. Next, the image processing unit 807 (search unit) searches for similar patches from the input images of the two viewpoints that are the generation source of the intermediate image, based on the determined pixels of the small region p (X, Y). The similar patch represents a small area whose pixel is most similar to the pixel of the selected small area. The image processing unit 807 searches for the similar patch p (a ′, b ′) based on the following expression.

ｐ（ａ’，ｂ’）＝ａｒｇｍｉｎ＿｛ａ，ｂ｝Ｓｉｍ（ｐ（ａ，ｂ），ｐ（Ｘ，Ｙ）） p (a ', b') = argmin_ {a, b} Sim (p (a, b), p (X, Y))

ここで、Ｓｉｍ（）は小領域の類似度を表し、ユークリッド距離などが利用可能である。また、（ａ，ｂ）は、入力画像から選択される小領域の左上の座標を表す。類似パッチの検索には、パッチマッチの手法が用いられてもよい。画像処理部８０７（合成部）は、検索した類似パッチｐ（ａ’，ｂ’）を、処理対象領域から検索した小領域ｐ（Ｘ，Ｙ）に重畳する。具体的には、画像処理部８０７は、検索した類似パッチｐ（ａ’，ｂ’）の画素で、処理対象領域から検索した小領域ｐ（Ｘ，Ｙ）の画素を置き換える。画像処理部８０７は、上記の処理を処理対象領域に対して行う。
以上で、画像処理部８０７の処理についての説明を終了する。 Here, Sim () represents the similarity of the small area, and the Euclidean distance or the like can be used. Further, (a, b) represents the upper left coordinates of the small area selected from the input image. A patch matching method may be used for searching for similar patches. The image processing unit 807 (synthesizing unit) superimposes the searched similar patch p (a ′, b ′) on the small region p (X, Y) searched from the processing target region. Specifically, the image processing unit 807 replaces the pixel of the small area p (X, Y) searched from the processing target area with the pixel of the searched similar patch p (a ′, b ′). The image processing unit 807 performs the above processing on the processing target area.
Above, description about the process of the image process part 807 is complete | finished.

図７は、画像処理装置８０の処理の流れを示すフローチャートである。なお、図７の説明では、２視点（例えば、カメラ７０−１及びカメラ７０−２）によって撮影された画像が入力される場合を例に説明する。
画像入力部８０１は、カメラ７０−１及びカメラ７０−２それぞれによって撮影された画像を入力する（ステップＳ１０１）。画像入力部８０１は、入力された各入力画像を画像生成部８０２に出力する。中間画像生成部８０２は、画像入力部８０１から出力された各入力画像を入力とする。中間画像生成部８０２は、入力された各入力画像に基づいて、カメラ７０−１及びカメラ７０−２の２視点の間の中間画像を生成する（ステップＳ１０２）。中間画像生成部８０２が生成する中間画像の生成数は、事前に入力される。中間画像生成部８０２は、生成した中間画像及び各入力画像を部分領域抽出部８０４に出力する。また、中間画像生成部８０２は、各入力画像を画像処理部８０７に出力する。次に、部分領域抽出部８０４は、中間画像生成部８０２から出力された中間画像及び各入力画像と、領域の抽出数と、抽出領域情報記憶部８０３に記憶されている抽出領域情報テーブルとを入力とする。部分領域抽出部８０４は、入力された抽出領域情報テーブルと、領域の抽出数とに基づいて、各入力画像から部分領域を抽出する（ステップＳ１０３）。この処理によって、部分領域抽出部８０４は、各画像から部分領域画像を生成する。部分領域抽出部８０４は、生成した部分領域画像を画像合成部８０６に出力する。画像合成部８０６は、部分領域抽出部８０４から出力された複数の部分領域画像と、背景画像記憶部８０５に記憶されている背景画像とを入力とする。画像合成部８０６は、入力された背景画像に部分領域画像を重畳することによって仮想全天球画像を生成する（ステップＳ１０４）。画像合成部８０６は、生成した仮想全天球画像を画像処理部８０７に出力する。 FIG. 7 is a flowchart showing a process flow of the image processing apparatus 80. In the description of FIG. 7, an example in which images captured from two viewpoints (for example, the camera 70-1 and the camera 70-2) are input will be described.
The image input unit 801 inputs images captured by the camera 70-1 and the camera 70-2 (step S101). The image input unit 801 outputs each input image to the image generation unit 802. The intermediate image generation unit 802 receives each input image output from the image input unit 801 as an input. The intermediate image generation unit 802 generates an intermediate image between the two viewpoints of the camera 70-1 and the camera 70-2 based on each input image (step S102). The number of intermediate images generated by the intermediate image generation unit 802 is input in advance. The intermediate image generation unit 802 outputs the generated intermediate image and each input image to the partial region extraction unit 804. Further, the intermediate image generation unit 802 outputs each input image to the image processing unit 807. Next, the partial region extraction unit 804 includes the intermediate image and each input image output from the intermediate image generation unit 802, the number of extracted regions, and the extraction region information table stored in the extraction region information storage unit 803. As input. The partial area extraction unit 804 extracts a partial area from each input image based on the input extraction area information table and the number of extracted areas (step S103). By this processing, the partial area extraction unit 804 generates a partial area image from each image. The partial area extraction unit 804 outputs the generated partial area image to the image composition unit 806. The image composition unit 806 receives a plurality of partial region images output from the partial region extraction unit 804 and the background image stored in the background image storage unit 805. The image composition unit 806 generates a virtual omnidirectional image by superimposing the partial region image on the input background image (step S104). The image composition unit 806 outputs the generated virtual omnidirectional image to the image processing unit 807.

その後、画像処理部８０７は、中間画像生成部８０２から出力された入力画像と、画像合成部８０６から出力された仮想全天球画像とを入力とする。画像処理部８０７は、入力された仮想全天球画像上から小領域を決定する（ステップＳ１０５）。具体的には、画像処理部８０７は、処理対象領域から小領域を決定する。次に、画像処理部８０７は、決定した小領域の画素を基に、入力された入力画像中から類似パッチを検索する（ステップＳ１０６）。その後、画像処理部８０７は、検索した類似パッチを、ステップＳ１０５の処理で決定した小領域に重畳する（ステップＳ１０７）。画像処理部８０７は、処理対象領域全てに対してステップＳ１０５からステップＳ１０７までの処理を実行したか否か判定する（ステップＳ１０８）。
処理対象領域全てに対してステップＳ１０５からステップＳ１０７までの処理を実行している場合（ステップＳ１０８−ＹＥＳ）、画像処理装置８０は処理を終了する。
一方、処理対象領域全てに対してステップＳ１０５からステップＳ１０７までの処理を実行していない場合（ステップＳ１０８−ＮＯ）、画像処理部８０７はステップＳ１０５以降の処理を繰り返し実行する。 Thereafter, the image processing unit 807 receives the input image output from the intermediate image generation unit 802 and the virtual omnidirectional image output from the image composition unit 806 as inputs. The image processing unit 807 determines a small area from the input virtual omnidirectional image (step S105). Specifically, the image processing unit 807 determines a small area from the processing target area. Next, the image processing unit 807 searches for similar patches from the input image that has been input based on the determined pixels of the small region (step S106). Thereafter, the image processing unit 807 superimposes the searched similar patches on the small area determined in the process of step S105 (step S107). The image processing unit 807 determines whether or not the processing from step S105 to step S107 has been executed for all processing target areas (step S108).
When the processing from step S105 to step S107 is executed for all the processing target regions (step S108—YES), the image processing apparatus 80 ends the processing.
On the other hand, when the processing from step S105 to step S107 is not executed for all the processing target regions (step S108-NO), the image processing unit 807 repeatedly executes the processing after step S105.

以上のように構成された画像処理システム１００によれば、複数のカメラで撮影された画像を背景画像に合成することによって生成される合成画像の品質低下を抑制することが可能になる。以下、この効果について詳細に説明する。
画像処理装置８０は、隣り合うカメラ７０それぞれで撮影された画像に基づいて、隣り合うカメラ７０の間の撮影位置における中間視点の画像を生成する。これにより、画像処理装置８０は、カメラ７０が設置されていない位置からの仮想視点における光線を含む画像を生成する。画像処理装置８０は、生成した画像と、カメラ７０で撮影された画像とからそれぞれ仮想視点を含む領域を抽出する。そして、画像処理装置８０は、抽出した領域を、背景画像に重畳することによって仮想全天球画像を生成する。これにより、多重像や消失の発生を抑制することができる。そのため、複数のカメラで撮影された画像を用いて生成される合成画像の品質低下を抑制することが可能になる。 According to the image processing system 100 configured as described above, it is possible to suppress deterioration in quality of a composite image generated by combining images captured by a plurality of cameras with a background image. Hereinafter, this effect will be described in detail.
The image processing device 80 generates an intermediate viewpoint image at the shooting position between the adjacent cameras 70 based on the images shot by the adjacent cameras 70. As a result, the image processing apparatus 80 generates an image including light rays at the virtual viewpoint from a position where the camera 70 is not installed. The image processing device 80 extracts regions each including a virtual viewpoint from the generated image and the image captured by the camera 70. Then, the image processing device 80 generates a virtual omnidirectional image by superimposing the extracted region on the background image. Thereby, the occurrence of multiple images and disappearance can be suppressed. Therefore, it is possible to suppress deterioration in quality of a composite image generated using images taken by a plurality of cameras.

また、画像処理システム１００では、隣り合うカメラ７０それぞれで撮影された画像に基づいて、隣り合うカメラ７０の間の撮影位置における中間視点の画像を生成する。したがって、隣り合うカメラ７０の間の撮影位置における画像を補間することができる。これにより、カメラ７０の間の撮影位置における中間視点の画像を撮影するためのカメラを備える必要がない。そのため、従来のシステムより少ない台数のカメラ７０を用いて理想的な仮想全天球画像を生成することができる。 Further, the image processing system 100 generates an intermediate viewpoint image at the shooting position between the adjacent cameras 70 based on the images shot by the adjacent cameras 70. Therefore, the image at the shooting position between the adjacent cameras 70 can be interpolated. Thereby, it is not necessary to provide a camera for shooting an intermediate viewpoint image at the shooting position between the cameras 70. Therefore, an ideal virtual omnidirectional image can be generated using a smaller number of cameras 70 than the conventional system.

また、複数の部分領域画像を合成した仮想全天球画像は、各部分領域画像の境界部分において見た目に違和感が生じるおそれがある。これは、仮想全天球画像の品質を低下させる要因となる。そこで、画像処理装置８０は、合成後の部分領域画像に対してより高品質化を目的とした処理を行う。これにより、各部分領域画像の境界部分において見た目の違和感を低減させることができる。 In addition, a virtual omnidirectional image obtained by synthesizing a plurality of partial area images may cause a sense of incongruity in appearance at the boundary between the partial area images. This is a factor that degrades the quality of the virtual omnidirectional image. Therefore, the image processing apparatus 80 performs processing for higher quality on the combined partial area image. Thereby, the uncomfortable appearance can be reduced at the boundary between the partial area images.

＜変形例＞
本実施形態では、背景画像である全天球画像に部分領域画像を重畳する構成を示したが、これは一例であり本発明はこれに限定される必要はない。例えば、本発明は、ＶｉｅｗＭｏｒｐｈｉｎｇを利用して生成した中間画像を少なくとも１枚用いて部分領域画像を生成し、生成した部分領域画像を並べることが出来ればよい。この場合、画像処理装置８０は、背景画像記憶部８０５を備える必要がない。
本実施形態では、仮想視点８２において事前に撮影された全天球画像を合成画像の元となる画像として説明したが、合成画像の元となる画像は何の情報も入っていない黒い画像であってもよい。ここで、何の情報も入っていない黒い画像とは、縦横の画素数が決まっているだけの画像を表す。この場合、画像合成部８０６は、抽出された部分領域画像を黒い画像に重畳することによって合成画像を生成する。なお、このように構成される場合、画像処理装置８０は、背景画像記憶部８０５を備える必要がない。
本実施形態では、中間画像生成部８０２は、画像入力部８０１に入力された入力画像を用いて中間画像を生成する構成を示したが、中間画像生成部８０２は入力画像が記憶されている記憶部から入力画像を読み出して、読み出した入力画像を入力とすることによって中間画像を生成してもよい。なお、このように構成される場合、記憶部にはカメラ７０それぞれによって撮影された入力画像が時系列順に記憶される。 <Modification>
In the present embodiment, the configuration in which the partial region image is superimposed on the omnidirectional image that is the background image is shown as an example, and the present invention is not limited to this. For example, the present invention only needs to generate partial area images using at least one intermediate image generated using View Morphing, and arrange the generated partial area images. In this case, the image processing apparatus 80 does not need to include the background image storage unit 805.
In the present embodiment, the omnidirectional image captured in advance at the virtual viewpoint 82 has been described as the image that is the source of the composite image, but the image that is the source of the composite image is a black image that does not contain any information. May be. Here, a black image that contains no information represents an image in which the number of vertical and horizontal pixels is determined. In this case, the image composition unit 806 generates a composite image by superimposing the extracted partial region image on the black image. In the case of such a configuration, the image processing apparatus 80 does not need to include the background image storage unit 805.
In the present embodiment, the intermediate image generation unit 802 is configured to generate an intermediate image using the input image input to the image input unit 801. However, the intermediate image generation unit 802 stores the input image stored therein. An intermediate image may be generated by reading an input image from the unit and using the read input image as an input. In the case of such a configuration, input images captured by the respective cameras 70 are stored in time series in the storage unit.

画像の重畳の方法として、以下の（１）、（２）のような方法が用いられてもよい。
（１）部分領域画像（例えば、短冊形に抽出された画像）を重複させながら重畳する。そして、重複部分は、いずれかの画像の画素値を優先して利用してもよいし、両方の画像の重複部分の画素値の重みづけ平均を利用してもよい。
このように構成される場合、抽出領域情報テーブルにおける幅の値が、隣接する部分領域画像が重複するような値に設定される。
（２）部分領域画像（例えば、短冊形に抽出された画像）を、所定の領域をあけながら重畳する。そして、所定の領域を補完する。
このように構成される場合、抽出領域情報テーブルにおける幅の値が、隣接する部分領域画像が所定の領域を挟むような値に設定される。所定の領域は、例えば所定の領域に隣接する２つの部分領域画像に基づいて、所定の領域の右側に隣接する部分領域画像の左上座標及び左下座標と、所定の領域の左側に隣接する部分領域画像の右上座標及び右下座標とで囲まれる領域を表す。そして、画像処理部８０７は、所定の領域を、所定の領域に隣接する部分領域画像の生成元である入力画像を用いて補完する。補完には、既存の技術が用いられる。例えば、補完に用いられる処理の一例として、パッチベースの手法が用いられてもよい。また、この方法は、部分領域画像を並べる場合にも適用可能である。 As an image superimposing method, the following methods (1) and (2) may be used.
(1) Superimpose overlapping partial area images (for example, images extracted in a rectangular shape). The overlapping portion may use the pixel value of one of the images with priority, or may use a weighted average of the pixel values of the overlapping portion of both images.
In such a configuration, the width value in the extraction area information table is set to a value such that adjacent partial area images overlap.
(2) A partial region image (for example, an image extracted in a strip shape) is superimposed while leaving a predetermined region. Then, the predetermined area is complemented.
When configured in this way, the width value in the extraction area information table is set to a value such that adjacent partial area images sandwich a predetermined area. The predetermined area is, for example, based on two partial area images adjacent to the predetermined area, the upper left coordinates and the lower left coordinates of the partial area image adjacent to the right side of the predetermined area, and the partial area adjacent to the left side of the predetermined area An area surrounded by upper right coordinates and lower right coordinates of an image is represented. Then, the image processing unit 807 supplements the predetermined area using an input image that is a generation source of the partial area image adjacent to the predetermined area. Existing technology is used for complementation. For example, a patch-based method may be used as an example of processing used for complementation. This method is also applicable to arranging partial area images.

本実施形態では、１つの入力画像から１つの部分領域を抽出する構成を示したが、１つの入力画像から複数の部分領域を抽出するように構成されてもよい。このように構成される場合、部分領域抽出部８０４は図８に示す抽出領域情報テーブルを用いて入力画像から部分領域を抽出する。
図８は、１つの入力画像から複数の部分領域を抽出する場合に用いられる抽出領域情報テーブルの具体例を示す図である。
図８に示す抽出領域情報テーブルは、抽出領域情報レコードを複数有する。抽出領域情報レコードは、部分領域ＩＤ及び抽出領域情報の各値を有する。部分領域ＩＤの値は、抽出する部分領域を識別するための識別情報を表す。抽出領域情報の値は、同じ抽出領域情報レコードの部分領域ＩＤで識別される部分領域に関する情報を表す。抽出領域情報の具体例として、画像ＩＤ、左上座標、幅及び高さがある。画像ＩＤは、部分領域ＩＤで識別される部分領域の抽出対象となる画像を識別するための識別情報を表す。左上座標は、抽出する領域の左上の座標を表す。幅は、抽出する領域の幅を表す。幅は、抽出する領域の左上座標を基準とする。高さは、抽出する領域の高さを表す。 In the present embodiment, a configuration in which one partial region is extracted from one input image is shown, but a plurality of partial regions may be extracted from one input image. When configured in this way, the partial region extraction unit 804 extracts a partial region from the input image using the extraction region information table shown in FIG.
FIG. 8 is a diagram showing a specific example of an extraction area information table used when extracting a plurality of partial areas from one input image.
The extraction area information table shown in FIG. 8 has a plurality of extraction area information records. The extraction area information record has each value of partial area ID and extraction area information. The value of the partial area ID represents identification information for identifying the partial area to be extracted. The value of the extraction area information represents information related to the partial area identified by the partial area ID of the same extraction area information record. Specific examples of the extraction area information include an image ID, an upper left coordinate, a width, and a height. The image ID represents identification information for identifying an image from which a partial area identified by the partial area ID is to be extracted. The upper left coordinate represents the upper left coordinate of the region to be extracted. The width represents the width of the area to be extracted. The width is based on the upper left coordinate of the area to be extracted. The height represents the height of the area to be extracted.

図８に示される例では、抽出領域情報テーブルには複数の抽出領域情報レコードが登録されている。図８において、抽出領域情報テーブルの最上段に登録されている抽出領域情報レコードは、部分領域ＩＤの値が“Ｐ１”、画像ＩＤの値が“Ｉ１”、左上座標の値が“（Ａ，Ｂ）”、幅の値が“Ｃ”、高さの値が“Ｄ”である。すなわち、部分領域ＩＤ“Ｐ１”で識別される部分領域を抽出する対象となる画像が画像ＩＤ“Ｉ１”で識別される画像であり、画像ＩＤ“Ｉ１”の画像の左上座標（Ａ，Ｂ）、幅Ｃ、高さＤで表される領域を抽出することが表されている。
また、図８において、抽出領域情報テーブルの２段目に登録されている抽出領域情報レコードは、部分領域ＩＤの値が“Ｐ２”、画像ＩＤの値が“Ｉ１”、左上座標の値が“（Ａ１，Ｂ１）”、幅の値が“Ｃ”、高さの値が“Ｄ”である。すなわち、部分領域ＩＤ“Ｐ２”で識別される部分領域を抽出する対象となる画像が画像ＩＤ“Ｉ１”で識別される画像であり、画像ＩＤ“Ｉ１”の画像の左上座標（Ａ１，Ｂ１）、幅Ｃ、高さＤで表される領域を抽出することが表されている。
このような抽出領域情報テーブルを用いることによって、部分領域抽出部８０４は１つの画像から複数の部分領域を抽出する。 In the example shown in FIG. 8, a plurality of extraction area information records are registered in the extraction area information table. In FIG. 8, the extraction area information record registered at the top of the extraction area information table has a partial area ID value “P1”, an image ID value “I1”, and an upper left coordinate value “(A, B) ", the width value is" C ", and the height value is" D ". That is, the image from which the partial area identified by the partial area ID “P1” is extracted is the image identified by the image ID “I1”, and the upper left coordinates (A, B) of the image with the image ID “I1”. , A region represented by a width C and a height D is extracted.
In FIG. 8, the extraction area information record registered in the second row of the extraction area information table has a partial area ID value “P2”, an image ID value “I1”, and an upper left coordinate value “ (A1, B1) ”, the width value is“ C ”, and the height value is“ D ”. That is, the image from which the partial area identified by the partial area ID “P2” is extracted is the image identified by the image ID “I1”, and the upper left coordinates (A1, B1) of the image with the image ID “I1” , A region represented by a width C and a height D is extracted.
By using such an extraction area information table, the partial area extraction unit 804 extracts a plurality of partial areas from one image.

本実施形態において、全天球画像に部分領域抽出部８０４によって抽出された部分領域画像を重畳する場合、各部分領域画像の間の境界領域において重複が発生する場合がある。このような場合、画像合成部８０６は、合成処理の後にＰｏｉｓｓｏｎＢｌｅｎｄｉｎｇを利用してもよい。ＰｏｉｓｓｏｎＢｌｅｎｄｉｎｇの手法は、例えば参考文献２に記載の技術を用いることができる。
［参考文献２］Perez, Patrick, Michel Gangnet, and Andrew Blake. "Poisson image editing."ACM Transactions on Graphics (TOG). Vol. 22. No. 3. ACM, 2003. In the present embodiment, when the partial region image extracted by the partial region extraction unit 804 is superimposed on the omnidirectional image, overlap may occur in the boundary region between the partial region images. In such a case, the image composition unit 806 may use Poisson Blending after the composition process. As a Poison Blending technique, for example, the technique described in Reference 2 can be used.
[Reference 2] Perez, Patrick, Michel Gangnet, and Andrew Blake. "Poisson image editing." ACM Transactions on Graphics (TOG). Vol. 22. No. 3. ACM, 2003.

画像処理部８０７は、以下のような処理を行ってもよい。
まず、画像処理部８０７は、処理対象領域から処理対象となる小領域（パッチ）ｐ（Ｘ，Ｙ）を決定する。次に、画像処理部８０７は、決定した小領域ｐ（Ｘ，Ｙ）の画素を基に、中間画像の生成元である２視点の入力画像から小領域ｐ（Ｘ，Ｙ）の変換を許容しながら類似パッチを検索する。変換の例として、拡大・縮小、回転、アフィン変換、ホモグラフィ距離などがある。本実施形態では、どの変換が用いられてもよい。画像処理部８０７は、以下の式に基づいて、類似パッチｐ（ａ’，ｂ’，Ａ’）を検索する。 The image processing unit 807 may perform the following processing.
First, the image processing unit 807 determines a small region (patch) p (X, Y) to be processed from the processing target region. Next, the image processing unit 807 allows conversion of the small region p (X, Y) from the input image of the two viewpoints that is the generation source of the intermediate image, based on the determined pixels of the small region p (X, Y). While searching for similar patches. Examples of transformation include enlargement / reduction, rotation, affine transformation, and homography distance. Any transformation may be used in this embodiment. The image processing unit 807 searches for the similar patch p (a ′, b ′, A ′) based on the following formula.

ｐ（ａ’，ｂ’，Ａ’）＝ａｒｇｍｉｎ＿｛ａ，ｂ，Ａ｝Ｓｉｍ（ｐ（ａ，ｂ），Ａ（ｐ（Ｘ，Ｙ））） p (a ', b', A ') = argmin_ {a, b, A} Sim (p (a, b), A (p (X, Y)))

ここで、Ｓｉｍ（）は小領域の類似度を表し、ユークリッド距離などが利用可能である。また、（ａ，ｂ）は入力画像から検索される小領域の左上の座標を表し、Ａ（Ｉ）は中間画像Ｉの変換を表す。画像処理部８０７は、検索した類似パッチｐ（ａ’，ｂ’，Ａ’）の逆変換Ａ’^−１（ｐ（ａ’，ｂ’））を施した後の小領域を、処理対象領域から検索した小領域ｐ（Ｘ，Ｙ）に重畳する。画像処理部８０７は、上記の処理を処理対象領域全体に対して行う。
このように小領域の変換を許容しながら類似パッチを検索することによって、より高品質な仮想全天球画像を生成することが可能になる。なお、画像処理部８０７は、合成画像の生成元である複数の画像全体を変換して（合成画像側は変換せず）、変換後の画像の中から類似パッチを検索してもよい。この場合、画像処理部８０７は、逆変換しない状態の類似パッチを探索結果として取得し、取得した類似パッチを合成画像の対応する箇所に重畳する。
画像処理部８０７は、複数のカメラ７０によって撮影された複数の画像から生成された合成画像であれば、どのような合成画像に対しても上記の処理を行ってもよい。
本実施形態では、カメラ７０を水平方向に並べた構成を例に説明したが、本発明はカメラ７０を縦方向に並べた場合であっても適用可能である。 Here, Sim () represents the similarity of the small area, and the Euclidean distance or the like can be used. Further, (a, b) represents the upper left coordinates of the small area searched from the input image, and A (I) represents the conversion of the intermediate image I. The image processing unit 807 applies the small area after the inverse transformation A ′ ⁻¹ (p (a ′, b ′)) of the searched similar patch p (a ′, b ′, A ′) to the processing target area. Is superimposed on the small area p (X, Y) retrieved from The image processing unit 807 performs the above processing on the entire processing target area.
By searching for similar patches while allowing small area conversion in this way, it is possible to generate a higher quality virtual omnidirectional image. Note that the image processing unit 807 may convert the entire plurality of images from which the composite image is generated (without converting the composite image side), and search for similar patches from the converted image. In this case, the image processing unit 807 acquires a similar patch that is not reversely converted as a search result, and superimposes the acquired similar patch on a corresponding portion of the composite image.
The image processing unit 807 may perform the above-described processing on any composite image as long as it is a composite image generated from a plurality of images captured by the plurality of cameras 70.
In the present embodiment, the configuration in which the cameras 70 are arranged in the horizontal direction has been described as an example. However, the present invention is applicable even when the cameras 70 are arranged in the vertical direction.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

６０…全天球カメラ，７０（７０−１〜７０−Ｍ）…カメラ，４、８０…画像処理装置，８０１…画像入力部，８０２…中間画像生成部，８０３…抽出領域情報記憶部，８０４…部分領域抽出部，８０５…背景画像記憶部，８０６…画像合成部（合成画像生成部），８０７…画像処理部 DESCRIPTION OF SYMBOLS 60 ... Spherical camera, 70 (70-1 to 70-M) ... Camera, 4, 80 ... Image processing apparatus, 801 ... Image input part, 802 ... Intermediate image generation part, 803 ... Extraction area information storage part, 804 ... Partial area extraction unit, 805 ... Background image storage unit, 806 ... Image composition unit (composite image generation unit), 807 ... Image processing unit

Claims

Based on a plurality of images photographed by a plurality of photographing devices having different photographing directions provided at positions other than the virtual viewpoint for photographing an image including a virtual viewpoint representing a virtual viewpoint set in a predetermined area, An intermediate image generation unit that generates one or more intermediate images at a shooting position between the plurality of imaging devices;
Identification information for identifying each of the plurality of images and the one or more intermediate images for each of the plurality of images and the one or more intermediate images, and the virtual viewpoint from each of the plurality of images and the intermediate images Based on the extracted region information table registered in association with the information for specifying the position, shape and size for extracting the partial region including a partial region extraction section for extracting the pre-SL unit amount region,
A combined image generation unit that generates a combined image by arranging a plurality of extracted partial images or a plurality of images obtained by deforming the plurality of partial regions in the order specified by the identification information ;
An image processing apparatus comprising:

A plurality of images of the partial region or a region including an edge on an outline of a plurality of images obtained by deforming the partial region is divided into a plurality of regions, and the intermediate regions are divided into the plurality of divided regions. The image processing apparatus according to claim 1, further comprising: an image processing unit that searches for a similar area from an input image that is an image generation source and replaces the searched similar area with the plurality of areas .

The composite image generation unit generates the composite image by arranging a predetermined region between a plurality of images of the partial region or a plurality of images obtained by deforming the partial region and arranging them in the order specified by the identification information. And
The image processing apparatus according to claim 2, wherein the image processing unit supplements the predetermined area using an input image that is a generation source of the plurality of images adjacent to the predetermined area.

Based on a plurality of images photographed by a plurality of photographing devices having different photographing directions provided at positions other than the virtual viewpoint for photographing an image including a virtual viewpoint representing a virtual viewpoint set in a predetermined area, An intermediate image generation step of generating one or more intermediate images at a shooting position between the plurality of imaging devices;
Identification information for identifying each of the plurality of images and the one or more intermediate images for each of the plurality of images and the one or more intermediate images, and the virtual viewpoint from each of the plurality of images and the intermediate images Based on the extracted region information table registered in association with the information for specifying the position, shape and size for extracting the partial region including a partial region extraction step of extracting the pre-SL unit amount region,
A combined image generation step of generating a combined image by arranging a plurality of extracted partial region images or a plurality of images obtained by deforming the plurality of partial regions in the order specified by the identification information ;
An image processing method.

A computer program for causing a computer to function as the image processing apparatus according to any one of claims 1 to 3 .