JP2005063141A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2005063141A5 JP2005063141A5 JP2003292349A JP2003292349A JP2005063141A5 JP 2005063141 A5 JP2005063141 A5 JP 2005063141A5 JP 2003292349 A JP2003292349 A JP 2003292349A JP 2003292349 A JP2003292349 A JP 2003292349A JP 2005063141 A5 JP2005063141 A5 JP 2005063141A5
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- image
- angle
- correspondence table
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 claims description 132
- 230000000875 corresponding Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 15
- 238000004519 manufacturing process Methods 0.000 description 14
- 238000001914 filtration Methods 0.000 description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000002093 peripheral Effects 0.000 description 3
- 230000003247 decreasing Effects 0.000 description 1
- 230000001419 dependent Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Description
本発明は、第１の座標系上の射影画像の画素を第２の座標系にマッピングして画像変換する画像変換システム及び画像変換方法に関するものである。 The present invention relates to an image conversion system and an image conversion method for performing image conversion by mapping pixels of a projected image on a first coordinate system to a second coordinate system.
近年、携帯電話やパーソナルコンピュータ等の端末の高機能化やインフラの整備に伴い、周囲最大３６０度を撮像して得られる画像を、端末の表示画面に表示するサービスが広く展開されている。たとえば、魚眼レンズ等を取り付けたカメラで撮像して得られる周囲最大３６０度の円形の動画像や静止画像を、長方形状のパノラマ画像に変換して端末に表示し、防犯用の監視や不動産情報等として利用している。 2. Description of the Related Art In recent years, with the enhancement of functions and terminals of terminals such as mobile phones and personal computers, services for displaying images obtained by imaging 360 degrees at the maximum on the display screen of terminals have been widely deployed. For example, a circular moving image or still image with a maximum 360 degrees surrounding obtained by imaging with a camera equipped with a fisheye lens or the like is converted into a rectangular panoramic image and displayed on the terminal, for surveillance or real estate information, etc. It is used as.
周囲最大３６０度の画像は、全方位や広角の曲面レンズや曲面ミラーを使用してデジタルカメラ等の撮像手段で撮像して得られ、この画像は一般に射影画像と呼ばれている。たとえば、広角レンズの一種である魚眼レンズの場合は、魚眼レンズの置かれた位置から魚眼レンズの曲面を通して見える像を、そのまま曲面に貼り付けたと仮定すると、その曲面に貼り付けた３次元空間の像を、２次元空間の平面上に、該平面に垂直に押し潰して貼り付けるように射影した像が、正射影方式の魚眼レンズの円形の射影画像となり、全方位ミラーを使用した場合はミラーの曲面に映る３次元空間の像を２次元空間の平面上に押しつぶして貼り付けるように射影した像が射影画像となる。全方位や広角の曲面レンズや曲面ミラーを使用して得られる射影画像は歪みのある円形であるため、端末に表示する際には、コンピュータシステムにより歪みを補正して、あたかも撮像手段を水平に回しながら全景を撮像したかのような四角形状のパノラマ画像に変換する処理を行ってから端末に表示することが多い。円形射影画像をパノラマ画像に変換する方法としては、第１の座標系（極座標系）上の円形射影画像の画素を、第２の座標系（直交座標系）にマッピングする方法が用いられる。 An image with a maximum of 360 degrees around is obtained by imaging with an imaging means such as a digital camera using an omnidirectional or wide-angle curved lens or curved mirror, and this image is generally called a projected image. For example, in the case of a fish-eye lens that is a kind of wide-angle lens, assuming that an image seen through the curved surface of the fish-eye lens from the position where the fish-eye lens is placed is pasted on the curved surface as it is, an image of the three-dimensional space pasted on the curved surface is An image projected onto a plane in a two-dimensional space so as to be crushed and pasted perpendicularly to the plane becomes a circular projection image of an orthographic fisheye lens, and is reflected on the curved surface of the mirror when an omnidirectional mirror is used. An image obtained by projecting an image in a three-dimensional space so as to be crushed and pasted on a plane in the two-dimensional space is a projected image. Projection images obtained using omnidirectional and wide-angle curved lenses and curved mirrors are distorted circles, so when displayed on a terminal, the distortion is corrected by a computer system so that the imaging means is leveled. In many cases, the image is displayed on a terminal after being converted into a rectangular panoramic image as if the entire view was captured while rotating. As a method of converting a circular projection image into a panoramic image, a method of mapping the pixels of the circular projection image on the first coordinate system (polar coordinate system) to the second coordinate system (orthogonal coordinate system) is used.
特許文献１には、第１の座標系（極座標系）上の円形射影画像を第２の座標系（直交座標系）上のパノラマ画像に変換する変換原理が開示されている。この変換原理では、第２の座標系上の座標（ｘ，ｙ）に対応する第１の座標系（入力円形画像）上の座標（Ｘ，Ｙ）を所定の座標変換式を用いて演算することにより求め、算出された第１の座標系上の座標（Ｘ，Ｙ）にある円形射影画像の画素を第２の座標系上の座標（ｘ，ｙ）にマッピングすることにより、円形射影画像をパノラマ画像に画像変換している。 Patent Document 1 discloses a conversion principle for converting a circular projection image on a first coordinate system (polar coordinate system) into a panoramic image on a second coordinate system (orthogonal coordinate system). In this conversion principle, the coordinates (X, Y) on the first coordinate system (input circular image) corresponding to the coordinates (x, y) on the second coordinate system are calculated using a predetermined coordinate conversion formula. The circular projection image is obtained by mapping the pixel of the circular projection image at the calculated coordinate (X, Y) on the first coordinate system to the coordinate (x, y) on the second coordinate system. Is converted to a panoramic image.
ところで、近年はコンピュータ処理において画面表示に対する高速化の要望が高まっており、パノラマ画像の表示においても、いかに速く円形射影画像を歪みのないパノラマ画像に変換して表示するかが重要となっている。しかしながら、特許文献１の変換原理では、座標ごとに座標変換式を用いて演算する必要があるため、変換処理に時間がかかり、ユーザによるパノラマ画像の表示指令から表示までの待ち状態の時間は無視できるものではなかった。とくに、第1の座標系上の総ての座標について座標変換式を用いて演算を行う場合はさらに処理時間がかかり、デジタルカメラ等の撮像手段の高解像度化と相俟って、表示までの待ち時間は大きな問題となっていた。 By the way, in recent years, there is an increasing demand for speeding up screen display in computer processing, and in displaying panoramic images, it is important how quickly a circular projection image is converted into a panoramic image without distortion. . However, according to the conversion principle of Patent Document 1, since it is necessary to perform an operation using a coordinate conversion formula for each coordinate, the conversion process takes time, and the waiting time from the panorama image display command to the display by the user is ignored. It wasn't possible. In particular, when calculating using all the coordinates on the first coordinate system using the coordinate conversion formula, it takes more processing time, and in combination with the increase in resolution of the imaging means such as a digital camera, the process until the display is completed. Latency was a big problem.
また、射影画像は、曲面レンズや曲面ミラーの曲面を平面に射影して得られるため画像が歪んだ状態であり、この画像の歪みは曲面レンズや曲面ミラーの曲面の曲率に依存する。このため、円形射影画像をパノラマ画像に変換する場合には、曲率に応じた歪み補正を行う必要がある。しかしながら、従来の画像変換は、特定の曲率にのみ対応して画像変換するものであるため、その特定の曲率以外の曲面レンズや曲面ミラーを使用して撮像した射影画像については、適正な歪み補正を行うことができなかった。 Further, since the projected image is obtained by projecting the curved surface of the curved lens or curved mirror onto a plane, the image is distorted, and the distortion of the image depends on the curvature of the curved surface of the curved lens or curved mirror. For this reason, when converting a circular projection image into a panoramic image, it is necessary to perform distortion correction according to the curvature. However, since the conventional image conversion performs image conversion corresponding to only a specific curvature, an appropriate distortion correction is applied to a projected image captured using a curved lens or a curved mirror other than the specific curvature. Could not do.
この問題は、円形射影画像からパノラマ画像への変換だけでなく、例えば、複数のカメラで周囲を撮像した画像を繋ぎ合わせて全方位又は広角の多面体画像を形成し、その多面体画像を平面に射影して得られる射影画像をパノラマ画像に変換する場合や、三次元座標系上の画像を二次元座標系上の画像に変換する場合など、ある座標系上の射影画像を、他の座標系上にマッピングする画像変換処理において共通して生じていた。 This problem is not only the conversion from a circular projection image to a panoramic image, but also, for example, by connecting images captured around by multiple cameras to form an omnidirectional or wide-angle polyhedral image, and projecting the polyhedral image onto a plane When converting a projected image obtained in this way to a panoramic image, or when converting an image on a three-dimensional coordinate system to an image on a two-dimensional coordinate system, This has occurred in common in the image conversion process for mapping to.
そこで、本発明の目的は、第１の座標から第２の座標への画像変換を従来と比較して高速に処理することが可能であり、さらには種々のレンズやミラーに対応可能な画像変換システム及び画像変換方法を提供することにある。 Accordingly, an object of the present invention is to enable image conversion from the first coordinate to the second coordinate to be performed at a higher speed as compared with the conventional one, and further to image conversion compatible with various lenses and mirrors. A system and an image conversion method are provided.
上述の目的を達成するために、本発明の画像変換システムは、第１の座標系上の射影画像の画素を第２の座標系にマッピングして画像変換する画像変換システムにおいて、第１の座標系と第２の座標系とを対応付ける対応テーブルを参照し、第２の座標系上に、対応テーブルにおいて対応付けられた第１の座標系上の画素をマッピングするマッピング手段を備え、前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、その曲面の外周を円周とする円形平面における中心からの水平方向の角度を角θ、円形平面とその中心からの放射線との成す角を角φ、円形平面の中心からの距離を距離ｒとすると、第１の座標系は、角θ及び距離ｒで表される極座標系であり、第２の座標系は、横軸を角θとし縦軸を角φとする直交座標系であり、前記対応テーブルは、第１の座標系の距離ｒと第２の座標系の角φとを対応付ける対応テーブルであり、前記マッピング手段は、第２の座標系の（θ，φ）に、対応テーブルにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングすることを特徴とする。また、本発明の画像変換方法は、第１の座標系上の射影画像の画素を、第２の座標系にマッピングして画像変換する画像変換方法において、第１の座標系と第２の座標系とを対応付ける対応テーブルを参照し、第２の座標系上に、対応テーブルにおいて対応付けられた第１の座標系上の画素をマッピングするマッピングステップを備え、外周が円形の曲面を平面に射影して得られる円形射影画像であり、その曲面の外周を円周とする円形平面における中心からの水平方向の角度を角θ、円形平面とその中心からの放射線との成す角を角φ、円形平面の中心からの距離を距離ｒとすると、第１の座標系は、角θ及び距離ｒで表される極座標系であり、第２の座標系は、横軸を角θとし縦軸を角φとする直交座標系であり、前記対応テーブルは、第１の座標系の距離ｒと、第２の座標系の角φとを対応付ける対応テーブルであり、前記マッピングステップにおいては、第２の座標系の（θ，φ）に、対応テーブルにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングすることを特徴とする。 In order to achieve the above object, an image conversion system according to the present invention is a first coordinate system in which an image is converted by mapping pixels of a projected image on a first coordinate system to a second coordinate system. It refers to the correspondence table associating the system and the second coordinate system, on the second coordinate system, comprising a mapping means for mapping the pixels on the first coordinate system is associated in the correspondence table, the projection image Is a circular projection image obtained by projecting a curved surface with a circular outer periphery onto the plane, the angle in the horizontal direction from the center of the circular plane with the outer periphery of the curved surface as the circumference is the angle θ, and from the circular plane and its center Is the polar coordinate system represented by the angle θ and the distance r, and the second coordinate system is represented by the angle θ and the distance r from the center of the circular plane. The horizontal axis is the angle θ and the vertical axis is the angle φ. The correspondence table is a correspondence table that associates the distance r of the first coordinate system with the angle φ of the second coordinate system, and the mapping means includes (θ, The pixel of (θ, r) on the first coordinate system associated in the correspondence table is mapped to φ) . The image conversion method of the present invention is the image conversion method in which the pixels of the projected image on the first coordinate system are mapped to the second coordinate system for image conversion, and the first coordinate system and the second coordinate are converted. A mapping step for mapping the pixels on the first coordinate system associated in the correspondence table on the second coordinate system with reference to the correspondence table for associating the system with the projection system, and projecting a curved surface with a circular outer periphery onto a plane Is a circular projection image obtained by using the angle θ as the horizontal angle from the center of the circular plane whose circumference is the circumference of the curved surface, the angle φ as the angle between the circular plane and the radiation from the center, and circular. When the distance from the center of the plane is a distance r, the first coordinate system is a polar coordinate system represented by an angle θ and a distance r, and the second coordinate system is an angle θ on the horizontal axis and the angle on the vertical axis. The orthogonal coordinate system is φ, and the correspondence table is the first Is a correspondence table for associating the distance r of the coordinate system with the angle φ of the second coordinate system, and in the mapping step, is associated with (θ, φ) of the second coordinate system in the correspondence table. The pixel of (θ, r) on the first coordinate system is mapped .
本発明の画像変換システム・画像変換方法によれば、第１の座標系と第２の座標系とを対応付ける対応テーブルを参照して、第２の座標系上に、対応テーブルにおいて対応付けられた第１の座標系上の画素をマッピングする。対応テーブルを参照してマッピングを行うため、従来のように座標ごとに画素のマッピング位置を座標変換式を用いて演算する場合と比較して、変換処理の高速化が図られる。 According to the image conversion system and the image conversion method of the present invention, the correspondence table that associates the first coordinate system with the second coordinate system is associated with the second coordinate system in the correspondence table. Map the pixels on the first coordinate system. Since mapping is performed with reference to the correspondence table, the conversion process can be speeded up as compared with the case of calculating the pixel mapping position for each coordinate using a coordinate conversion formula as in the prior art.
また、全方位又は広角の曲面レンズや曲面ミラーを使用して得られる射影画像は円形であり、この円形射影画像はパノラマ画像に変換されて表示されることが多い。本発明の画像変換システム・画像変換方法によれば、第１の座標系は極座標系であり、第２の座標系は直交座標系であるため、全方位や広角の曲面ミラーや曲面レンズを使用して得られる円形射影画像をパノラマ画像に変換するに際しても、対応テーブルを参照して変換処理の高速化が図られる。 In addition, a projected image obtained using an omnidirectional or wide-angle curved lens or curved mirror is circular, and this circular projected image is often converted into a panoramic image and displayed. According to the image conversion system / image conversion method of the present invention, since the first coordinate system is a polar coordinate system and the second coordinate system is an orthogonal coordinate system, an omnidirectional or wide-angle curved mirror or curved lens is used. Even when the circular projection image obtained in this way is converted into a panoramic image, the conversion process can be speeded up with reference to the correspondence table.
また、全方位や広角の曲面レンズや曲面ミラーの曲面を平面に射影すると円形射影画像が得られ、曲面上の点が円形平面に映される位置は、曲面レンズや曲面ミラーの曲面の曲率に依存する。すなわち、曲面上の座標（θ，φ）と、その座標（θ，φ）の像が射影される円形平面上の座標（θ，ｒ）について、角φと距離ｒとの対応は曲面レンズや曲面ミラーの曲率に依存する。本発明の画像変換システム・画像変換方法によれば、マッピングステップにおいて、角φと距離ｒとを対応付ける対応テーブルを参照し、第２の座標系の（θ，φ）に、対応テーブルにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングするため、曲率に応じた座標位置に画素がマッピングされて歪み補正が行われる。対応テーブルは、第２の座標系上のスキャンされる座標（θ，φ）の順に、角φに対応する距離ｒが配列する距離ｒの配列であることが好ましい。 In addition, when a curved surface of an omnidirectional or wide-angle curved lens or curved mirror is projected onto a plane, a circular projection image is obtained. Dependent. That is, for the coordinates (θ, φ) on the curved surface and the coordinates (θ, r) on the circular plane onto which the image of the coordinates (θ, φ) is projected, the correspondence between the angle φ and the distance r is a curved lens or Depends on the curvature of the curved mirror. According to the image conversion system and the image conversion method of the present invention, in the mapping step, the correspondence table for associating the angle φ with the distance r is referred to, and (θ, φ) in the second coordinate system is associated with the correspondence table. In order to map the pixel of (θ, r) on the first coordinate system, the pixel is mapped to the coordinate position according to the curvature, and distortion correction is performed. The correspondence table is preferably an array of distances r in which the distances r corresponding to the angles φ are arranged in the order of the scanned coordinates (θ, φ) on the second coordinate system.
本発明の画像変換システムは、前記マッピング手段は、第２の座標系上の所定間隔をおいた座標のみに画素をマッピングすることにより、第１の座標系上の総ての画素のうち一部の画素のみについてマッピングを行うことを特徴とする。本発明の画像変換方法は、前記マッピングステップにおいて、第２の座標系上の所定間隔をおいた座標のみに画素をマッピングすることにより、第１の座標上の総ての画素のうち一部の画素のみについてマッピングを行うことを特徴とする。 In the image conversion system of the present invention, the mapping means maps pixels to only coordinates having a predetermined interval on the second coordinate system, so that a part of all the pixels on the first coordinate system. The mapping is performed only for the pixels. In the image conversion method of the present invention, in the mapping step, by mapping pixels only to coordinates having a predetermined interval on the second coordinate system, a part of all pixels on the first coordinate is mapped . Mapping is performed only on pixels.
これによれば、第２の座標系上の所定間隔をおいた座標のみに画素をマッピングすることにより、第１の座標系上の総ての画素のうち一部の画素のみを第２の座標系にマッピングするため、総ての画素をマッピングする場合と比較して、変換処理のさらなる高速化が図られる。なお、一部の画素のみをマッピングすることにより得られる第２の座標系上の画像は不明瞭であるため、第２の座標系上の画像にシャープネスフィルタリング処理を行うフィルタリング手段又はフィルタリングステップを備えることが、画像の鮮明化の観点から好ましい。フィルタリング手段は、画像変換システムが備えても良いし、例えば画像変換システムで変換された画像をインターネットを介してダウンロードして表示する端末が備えても良く、また、フィルタリングステップは画像変換システムの処理で行われても良いし、上記画像を表示する端末で行われても良い。なお、フィルタリング手段は、第１の座標系上の総ての画素をマッピングする場合に使用しても良い。 According to this, by mapping the pixels only to the coordinates at a predetermined interval on the second coordinate system, only some of the pixels on the first coordinate system are changed to the second coordinates. Since the mapping is performed on the system, the conversion process can be further speeded up as compared with the case where all the pixels are mapped. In addition, since the image on the second coordinate system obtained by mapping only a part of the pixels is unclear, a filtering unit or a filtering step for performing a sharpness filtering process on the image on the second coordinate system is provided. It is preferable from the viewpoint of sharpening the image. The filtering means may be provided in the image conversion system, for example, in a terminal that downloads and displays an image converted by the image conversion system via the Internet, and the filtering step is a process of the image conversion system. It may be performed by the terminal which displays the said image. The filtering means may be used when mapping all the pixels on the first coordinate system.
本発明の画像変換システムは、前記マッピング手段は、前記曲面ごとに記憶されている対応テーブルのうち、一の対応テーブルを選択して参照することを特徴とする。本発明の画像変換方法は、前記マッピングステップにおいて、前記曲面ごとに記憶されている対応テーブルのうち、一の対応テーブルを選択して参照することを特徴とする。 The image conversion system of the present invention is characterized in that the mapping means selects and refers to one correspondence table among correspondence tables stored for each curved surface. The image conversion method of the present invention is characterized in that, in the mapping step, one correspondence table is selected and referred to from the correspondence tables stored for each curved surface.
視野角が全方位や広角の曲面レンズや曲面ミラーは、レンズやミラーごとに曲面の曲率が異なる。これによれば、曲面レンズや曲面ミラーの曲面ごとに記憶されている複数の対応テーブルから、一の対応テーブルを選択して参照するため、その射影画像の撮像に使用された曲面レンズや曲面ミラーの曲面の曲率に応じた画像変換が行われる。 Curved lenses and curved mirrors with a viewing angle of omnidirectional or wide angle have different curvatures of curved surfaces for each lens and mirror. According to this, in order to select and refer to one correspondence table from a plurality of correspondence tables stored for each curved surface of the curved lens or curved mirror, the curved lens or curved mirror used to capture the projected image. Image conversion corresponding to the curvature of the curved surface is performed.
本発明の画像変換システムは、第１の座標系と第２の座標系とを対応付ける対応情報の入力を促し、入力された対応情報に基づいて、前記対応テーブルを生成する対応テーブル生成手段を備えることを特徴とする。本発明の画像変換方法は、第１の座標系と第２の座標系とを対応付ける対応情報の入力を促し、入力された対応情報に基づいて、前記対応テーブルを生成する対応テーブル生成ステップを備えることを特徴とする。 The image conversion system of the present invention includes correspondence table generation means that prompts input of correspondence information that associates the first coordinate system with the second coordinate system and generates the correspondence table based on the inputted correspondence information. It is characterized by that. The image conversion method of the present invention includes a correspondence table generation step that prompts input of correspondence information that associates the first coordinate system with the second coordinate system and generates the correspondence table based on the inputted correspondence information. It is characterized by that.
これによれば、ユーザにより入力された第１の座標系と第２の座標系とを対応付ける対応情報に基づいて対応テーブルを生成するため、ユーザの要望に応じた画像変換を行うことが可能である。 According to this, since the correspondence table is generated based on the correspondence information that associates the first coordinate system and the second coordinate system input by the user, it is possible to perform image conversion according to the user's request. is there.
本発明の画像変換システムは、前記対応情報は角φと距離ｒとを対応付ける対応情報であることを特徴とする。本発明の画像変換方法は、前記対応情報は角φと距離ｒとを対応付ける対応情報であることを特徴とする。 The image conversion system according to the present invention is characterized in that the correspondence information is correspondence information associating the angle φ with the distance r. The image conversion method of the present invention is characterized in that the correspondence information is correspondence information that associates the angle φ with the distance r.
これによれば、ユーザにより入力された角φと距離ｒとを対応付ける対応情報に基づいて対応テーブルを生成するため、種々の曲面レンズや曲面ミラーごとに、その曲率に応じた変換処理を行うことが可能である。 According to this, in order to generate the correspondence table based on the correspondence information associating the angle φ and the distance r input by the user, conversion processing corresponding to the curvature is performed for each of various curved lenses and curved mirrors. Is possible.
本発明の画像変換システムは、前記対応テーブル生成手段は、角φと距離ｒと対応付ける対応線を備える第２の座標系を表示し、対応線を移動させることにより対応情報の入力を促すことを特徴とする。本発明の画像変換方法は、前記対応テーブル生成ステップにおいて、角φと距離ｒと対応付ける対応線を備える第２の座標系を表示し、対応線を移動させることにより対応情報の入力を促すことを特徴とする。 In the image conversion system of the present invention, the correspondence table generation means displays a second coordinate system having a correspondence line that associates the angle φ with the distance r, and prompts input of correspondence information by moving the correspondence line. Features. According to the image conversion method of the present invention, in the correspondence table generation step, the second coordinate system including the correspondence line that associates the angle φ with the distance r is displayed, and the correspondence line is moved to prompt the input of correspondence information. Features.
これによれば、ユーザは第２の座標系上の対応線を移動させるだけで、角φと距離ｒとを対応付ける対応情報を簡単に入力することができる。 According to this, the user can easily input the correspondence information that associates the angle φ with the distance r simply by moving the correspondence line on the second coordinate system.
本発明の画像変換システム及び画像変換方法によれば、対応テーブルを参照してマッピングを行うため、座標ごとに座標変換式を用いて演算する従来と比較して変換処理の高速化が図られ、とくに円形射影画像をパノラマ画像に変換する場合に、対応テーブルを参照して円形射影画像を極座標系から直交座標系にマッピングを行うことにより変換処理の高速化が図られる。第1の座標上の総ての画素のうち、一部の画素のみについてマッピングを行うことにより、一層の高速化が図られる。 According to the image conversion system and the image conversion method of the present invention, since mapping is performed with reference to the correspondence table, the conversion process can be speeded up as compared with the conventional calculation using a coordinate conversion formula for each coordinate, In particular, when a circular projection image is converted into a panoramic image, the conversion process can be speeded up by mapping the circular projection image from the polar coordinate system to the orthogonal coordinate system with reference to the correspondence table. By mapping only some of the pixels on the first coordinate, the speed can be further increased.
さらに、全方位レンズ等の曲面ごとに記憶されている複数の対応テーブルから、一の対応テーブルを選択して参照するため、その射影画像の撮像に使用されたレンズやミラーの曲率に応じた画像変換が行われ、種々のレンズやミラーの曲率に対応することが可能である。 Furthermore, in order to select and refer to one correspondence table from a plurality of correspondence tables stored for each curved surface such as an omnidirectional lens, an image corresponding to the curvature of the lens or mirror used to capture the projected image Conversion is performed to accommodate various lens and mirror curvatures.
以下、本発明の画像変換システム及び画像変換方法について、図面を参照しながら説明する。本実施の形態は、曲面レンズや曲面ミラーを利用して得られる全方位の円形射影画像をパノラマ画像に変換する場合を例に説明する。 Hereinafter, an image conversion system and an image conversion method of the present invention will be described with reference to the drawings. In this embodiment, an example in which an omnidirectional circular projection image obtained using a curved lens or a curved mirror is converted into a panoramic image will be described.
本実施形態の画像変換システム１は、例えばパーソナルコンピュータなどのコンピュータシステムによって実現される。図１は、本実施形態の画像変換システム１とその周辺装置の模式図である。画像変換システム１は、全方位カメラや広角カメラ等の撮像装置２と液晶ディスプレイなどの表示装置３と接続される。 The image conversion system 1 according to the present embodiment is realized by a computer system such as a personal computer. FIG. 1 is a schematic diagram of an image conversion system 1 and its peripheral devices according to the present embodiment. The image conversion system 1 is connected to an imaging device 2 such as an omnidirectional camera or a wide angle camera and a display device 3 such as a liquid crystal display.
（撮像装置）
撮像装置２は、周囲最大３６０度の画像を撮像可能なものであり、例えば図２に示すように、全方位レンズや広角レンズなどの曲面レンズ２１及び撮像手段２３を備える撮像装置２Ａや、全方位ミラーや広角ミラーなどの曲面ミラー２２及び撮像手段２３を備える撮像装置２Ｂである。視野角１８０度の魚眼レンズも広角レンズに含まれる。
(Imaging device)
The imaging device 2 is capable of capturing an image of 360 degrees at the maximum. For example, as illustrated in FIG. 2, the imaging device 2 </ b> A including the curved lens 21 such as an omnidirectional lens and a wide-angle lens and the imaging unit 23, This is an imaging apparatus 2B including a curved mirror 22 such as an azimuth mirror or a wide-angle mirror and an imaging means 23. A fish-eye lens with a viewing angle of 180 degrees is also included in the wide-angle lens.
図３は、曲面レンズ２１又は曲面ミラー２２（以下、曲面レンズ／ミラーという）と、その曲面レンズ／ミラーを使用してデジタルカメラ等の撮像手段２３により撮像された画像との関係を示す概念図である。撮像手段２３に曲面レンズ／ミラーを取り付けて、ｘ軸，ｙ軸，ｚ軸の三次元空間の上方に（ｚ軸方向に）向けて置いたとすると、曲面レンズ／ミラーの内側や外側に貼り付けられた像を撮像手段２３により撮影する状態を想定して考えることができ、撮像手段２３により撮像された画像は、曲面レンズ／ミラーの外周円形の曲面を平面に射影して得られる円形射影画像ＣＰとなると想定できる。全方位の曲面レンズ／ミラーを使用して撮像した画像は中央空白のドーナツ状の円形平面画像ＣＰとなり、魚眼レンズなどの広角の曲面レンズ／ミラーを使用して撮像した画像は中央空白のない円形平面画像ＣＰとなる。曲面レンズ／ミラーの曲面の周縁を円周とする円形平面Ｃにおける中心からの水平方向の角度を角θ、円形平面Ｃの中心からの角度（円形平面Ｃとその中心からの放射線との成す角）を角φ、円形平面画像ＣＰにおいて中心からの距離を距離ｒとすると、円形平面画像ＣＰの大きさが一定であることを前提として、曲面上の点（θ，φ）が平面に射影されたときの円形平面画像ＣＰの中心からの距離ｒは曲面の曲率に依存する。 FIG. 3 is a conceptual diagram showing the relationship between the curved lens 21 or the curved mirror 22 (hereinafter referred to as a curved lens / mirror) and an image captured by the imaging means 23 such as a digital camera using the curved lens / mirror. It is. If a curved lens / mirror is attached to the image pickup means 23 and placed above (in the z-axis direction) above the three-dimensional space of the x-axis, y-axis, and z-axis, it is attached to the inside or outside of the curved lens / mirror. The image captured by the image capturing unit 23 can be considered, and the image captured by the image capturing unit 23 is a circular projection image obtained by projecting the outer peripheral circular curved surface of the curved lens / mirror onto a plane. It can be assumed that it becomes CP. An image captured using an omnidirectional curved lens / mirror becomes a circular blank image CP in the center blank, and a circular plane without a central blank is captured using a wide-angle curved lens / mirror such as a fisheye lens. It becomes an image CP. The angle θ in the horizontal direction from the center in the circular plane C having the circumference of the curved surface of the curved lens / mirror as the circumference is the angle θ, and the angle from the center of the circular plane C (the angle formed by the circular plane C and the radiation from the center) ) Is the angle φ and the distance from the center in the circular plane image CP is the distance r, the point (θ, φ) on the curved surface is projected onto the plane, assuming that the size of the circular plane image CP is constant. The distance r from the center of the circular plane image CP at this time depends on the curvature of the curved surface.
（画像変換システム）
図４は画像変換システム１を実現するコンピュータシステムのハード構成を模式的に示した図である。画像変換システム１は、ＣＰＵ、メモリ、入力装置インターフェイス、表示装置インターフェイス、外部機器インターフェイス、ネットワークインターフェイス、ＡＶインターフェイスを備え、それぞれ内部バスを介して接続されている。画像変換システム１には、ＡＶインターフェイスを介して上記撮像装置２が接続され、さらに、表示装置インターフェイスを介して液晶ディスプレイなどの表示装置３が、入力インターフェイスを介してキーボードやマウスなどの入力装置４が、外部機器インターフェイスを介してハードディスクやメディアドライブなどの記憶手段５が、ネットワークインターフェイスを介してインターネットなどのネットワークが接続される。
(Image conversion system)
FIG. 4 is a diagram schematically illustrating a hardware configuration of a computer system that implements the image conversion system 1. The image conversion system 1 includes a CPU, a memory, an input device interface, a display device interface, an external device interface, a network interface, and an AV interface, which are connected via an internal bus. The image conversion system 1 is connected with the imaging device 2 via an AV interface, and further, a display device 3 such as a liquid crystal display is connected via a display device interface, and an input device 4 such as a keyboard and a mouse via an input interface. However, the storage means 5 such as a hard disk or a media drive is connected via an external device interface, and a network such as the Internet is connected via a network interface.
図５は、画像変換システム１の機能構成を模式的に示した図である。画像変換システム１は、第１の座標設定手段１１、直交座標へのマッピング手段１２、対応テーブル生成手段１３を備える。ハードディスクなどの記録装置５には、対応テーブルが記憶されている。図６は、記憶手段５に記憶されている曲面ミラー／レンズの情報を説明する概念図である。記憶手段５には、曲面ミラーや曲面レンズごとにその特性情報が蓄積されており、特性情報には、曲面ミラー／レンズの識別標識（固有名や製品番号）、ミラー／レンズ型（全方位レンズ／ミラー、魚眼レンズ／ミラーの区別、仰角、俯角、鏡面による上下反転の有無、後述する対応テーブルＴなどが含まれている。 FIG. 5 is a diagram schematically illustrating a functional configuration of the image conversion system 1. The image conversion system 1 includes first coordinate setting means 11, mapping means 12 to orthogonal coordinates, and correspondence table generation means 13. A correspondence table is stored in the recording device 5 such as a hard disk. FIG. 6 is a conceptual diagram for explaining information on the curved mirror / lens stored in the storage means 5. The storage unit 5 stores characteristic information for each curved mirror or curved lens. The characteristic information includes a curved mirror / lens identification mark (unique name or product number), a mirror / lens type (omnidirectional lens). / Mirror, fish-eye lens / mirror distinction, elevation angle, depression angle, presence / absence of mirror inversion, correspondence table T described later, and the like.
（第１の座標設定手段）
第１の座標設定手段１１は、撮像手段２から入力された円形射影画像ＣＰを第１の座標系にマッピングして、円形射影画像ＣＰに第１の座標を設定する機能を有する。曲面レンズ／ミラーを利用して得られる射影画像は円形であるため、第１の座標系としては極座標系が好適である（図７（ａ）参照）。円形射影画像ＣＰの中心が極座標系である第１の座標系の極と重なり、且つ、円形射影画像ＣＰ上の方向（例えば北方向）を特定する情報を参照し、円形射影画像ＣＰの所定方向（例えば北方向）が極軸と重なるように、円形射影画像ＣＰを第１の座標系にマッピングすることにより第１の座標系の設定を行う。
(First coordinate setting means)
The first coordinate setting unit 11 has a function of mapping the circular projection image CP input from the imaging unit 2 to the first coordinate system and setting the first coordinate in the circular projection image CP. Since the projected image obtained using the curved lens / mirror is circular, a polar coordinate system is preferable as the first coordinate system (see FIG. 7A). The center of the circular projection image CP overlaps with the pole of the first coordinate system which is the polar coordinate system, and a predetermined direction of the circular projection image CP is referred to by referring to information specifying the direction on the circular projection image CP (for example, the north direction). The first coordinate system is set by mapping the circular projection image CP to the first coordinate system so that (for example, the north direction) overlaps the polar axis.
（マッピング手段）
マッピング手段１２は、極座標系である第１の座標系と直交座標系である第２の座標系とを対応付ける対応テーブルＴを参照し、第２の座標系上に、対応テーブルＴにおいて対応付けられた第１の座標系上の画素をマッピングする機能を有する。図７は、マッピング手段１２の機能を示す概念図である。
(Mapping means)
The mapping unit 12 refers to the correspondence table T that associates the first coordinate system, which is a polar coordinate system, with the second coordinate system, which is an orthogonal coordinate system, and is associated with the second coordinate system in the correspondence table T. And has a function of mapping pixels on the first coordinate system. FIG. 7 is a conceptual diagram showing the function of the mapping means 12.
図７（ａ）は極座標である第１の座標系にマッピングされた円形射影画像ＣＰの概念図であり、（ｃ）は第１の座標系上の画素を直交座標系である第２の座標系にマッピングして得られるパノラマ画像ＰＰの概念図である。第２の座標系は、横軸を角θとし縦軸を角φとする直交座標系である。横軸には角θが０度から３６０度まで等間隔に割り当てられおり、縦軸には角φが０度から９０度まで所定間隔で割り当てられている。 FIG. 7A is a conceptual diagram of a circular projection image CP mapped to a first coordinate system that is a polar coordinate, and FIG. 7C is a diagram illustrating a second coordinate in which a pixel on the first coordinate system is an orthogonal coordinate system. It is a conceptual diagram of the panoramic image PP obtained by mapping to the system. The second coordinate system is an orthogonal coordinate system in which the horizontal axis is an angle θ and the vertical axis is an angle φ. On the horizontal axis, angles θ are assigned at regular intervals from 0 degrees to 360 degrees, and on the vertical axis, angles φ are assigned at predetermined intervals from 0 degrees to 90 degrees.
図７（ｃ）は、対応テーブルＴの概念図である。対応テーブルＴは、ハードディスク等の記憶手段５に各曲面レンズ／ミラーごとに蓄積されており、第１の座標系上の距離ｒと、第２の座標系上の角φとを対応付けている。概念的には、横軸を角φ、縦軸を距離ｒとするグラフ上において、各曲面レンズ／ミラーの曲面の曲率に応じたφ−ｒ曲線となり、実際には角φと距離ｒとが対応した数値配列のテーブルとして記憶されている。本実施の形態では、対応テーブルＴは距離ｒの配列である。図８に対応テーブルＴの具体例を示す。対応テーブルＴは、角φの配列と距離ｒの配列とが対応付けられた表形式（図８（ａ）参照）であるか、又は定められた所定間隔の角φごとに距離ｒが配列する形式（図８（ｂ）参照）である。なお、各テーブルＴの角φの値は、水平から垂直のとり得る範囲を０から１の範囲に換算した値であり、距離ｒは後述する実施例に示すようにユーザにより円形射影画像中に指定された領域での距離ｒを０から１の範囲に換算した値である。 FIG. 7C is a conceptual diagram of the correspondence table T. The correspondence table T is stored for each curved lens / mirror in the storage means 5 such as a hard disk, and associates the distance r on the first coordinate system with the angle φ on the second coordinate system. . Conceptually, on the graph in which the horizontal axis is the angle φ and the vertical axis is the distance r, it becomes a φ-r curve corresponding to the curvature of the curved surface of each curved lens / mirror, and actually the angle φ and the distance r are It is stored as a corresponding numerical array table. In the present embodiment, the correspondence table T is an array of distances r. FIG. 8 shows a specific example of the correspondence table T. The correspondence table T has a table format in which the arrangement of the angle φ and the arrangement of the distance r are associated with each other (see FIG. 8A), or the distance r is arranged for each predetermined angle φ. The format (see FIG. 8B). Note that the value of the angle φ in each table T is a value obtained by converting the range that can be taken from the horizontal to the vertical range from 0 to 1, and the distance r is included in the circular projection image by the user as shown in an embodiment described later. This is a value obtained by converting the distance r in the designated area into a range from 0 to 1.
図９は、マッピング手段１２による処理の一例を説明するフローチャートである。第２の座標系をラスタスキャンしながら、座標（θ，φ）ごとに、対応テーブルＴを参照して角φと距離ｒとを対応付け、座標（θ，φ）の角φを対応する距離ｒに置き換えて座標（θ，ｒ）に変換し、第１の座標系を円形射影画像ＣＰの外周又は内周から順にθ方向でスキャンして座標（θ，ｒ）にある画素を検出し、その座標（θ，ｒ）上にある画素を第２の座標系の座標（θ，φ）にマッピングする。第２の座標系のスキャンが完了するまで上記処理を繰り返し、円形射影画像ＣＰをパノラマ画像ＰＰに変換する。従来のように第１の座標（θ，φ）や第２の座標（θ，ｒ）ごとに画素のマッピング位置の計算を行うことなく、対応テーブルＴを参照してマッピングを行うため、変換処理の高速化が図られる。 FIG. 9 is a flowchart for explaining an example of processing by the mapping unit 12. While raster scanning the second coordinate system, for each coordinate (θ, φ), the correspondence table T is referred to associate the angle φ with the distance r, and the distance corresponding to the angle φ of the coordinate (θ, φ). Replace with r to convert to coordinates (θ, r), scan the first coordinate system in the θ direction sequentially from the outer periphery or inner periphery of the circular projection image CP to detect the pixel at the coordinate (θ, r), The pixel on the coordinate (θ, r) is mapped to the coordinate (θ, φ) of the second coordinate system. The above process is repeated until the scan of the second coordinate system is completed, and the circular projection image CP is converted into a panoramic image PP. Since the mapping is performed with reference to the correspondence table T without calculating the pixel mapping position for each of the first coordinates (θ, φ) and the second coordinates (θ, r) as in the prior art, conversion processing is performed. Speeding up.
本実施の形態では、対応テーブルＴは、第２の座標系上のスキャンされる座標（θ，φ）の順に、角φに対応する距離ｒが配列する距離ｒの配列表（図８（ｂ）参照）である。マッピング手段１２は、所定間隔で第２の座標系をスキャンしながら対応テーブルＴの配列順に角φを距離ｒに変換して画素をマッピングする。 In the present embodiment, the correspondence table T is an array table of distances r in which the distances r corresponding to the angles φ are arranged in the order of the scanned coordinates (θ, φ) on the second coordinate system (FIG. 8B). ))). The mapping unit 12 maps the pixels by converting the angle φ into the distance r in the order of arrangement of the correspondence table T while scanning the second coordinate system at a predetermined interval.
マッピング手段１２により参照される対応テーブルＴは、曲面レンズ／ミラーごとに記憶手段に蓄積記憶されている対応テーブルＴから選択された一の対応テーブルＴである。たとえば、ユーザに対して曲面レンズ／ミラーを指定する情報（識別標識やレンズ／ミラー型）の入力を促し、入力された情報を検索キーとして記憶手段５を検索することにより、その情報を含む一の特性情報を選択し、その中に含まれる対応テーブルＴを参照する。 The correspondence table T referred to by the mapping unit 12 is one correspondence table T selected from the correspondence table T stored and stored in the storage unit for each curved lens / mirror. For example, the user is prompted to input information (identification mark or lens / mirror type) for designating a curved lens / mirror, and the storage means 5 is searched using the input information as a search key. Characteristic information is selected, and the correspondence table T included therein is referred to.
つぎに、マッピング手段１２は、第２の座標系である直交座標系上の座標（θ，φ）に、対応テーブルＴにおいて対応付けられた第１の座標系上の座標（θ，ｒ）の画素をマッピングする。第２の座標系の（θ，φ）に、検出された対応テーブルＴにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングするため、曲率に応じた座標位置に画素がマッピングされて歪み補正が行われ、従来のように各座標ごとに座標変換の演算を行う場合と比較して変換処理の高速化が図られる。 Next, the mapping means 12 uses the coordinates (θ, r) on the first coordinate system associated with the coordinates (θ, φ) on the orthogonal coordinate system, which is the second coordinate system, in the correspondence table T. Map the pixels. In order to map the pixel of (θ, r) on the first coordinate system associated with the detected correspondence table T to (θ, φ) of the second coordinate system, the coordinate position corresponding to the curvature is set at the coordinate position. Pixels are mapped and distortion correction is performed, so that the conversion process can be speeded up as compared with the conventional case where coordinate conversion is performed for each coordinate.
なお、本実施の形態によれば、略半球状の曲面レンズ／ミラーの曲面を平面に射影して得られる円形射影画像ＣＰをパノラマ画像ＰＰに変換するため、例えば天井や地上（半球状の曲面レンズ／ミラーの極付近）の部分に相当する部分の歪みが少なく、また、広く利用されている略球状の三次元コンピュータグラフィックとの合成モデルと連携することも容易である。 According to the present embodiment, a circular projection image CP obtained by projecting a curved surface of a substantially hemispherical curved lens / mirror onto a plane is converted into a panoramic image PP. There is little distortion in the portion corresponding to the portion near the lens / mirror pole, and it is easy to link with a widely used synthetic model with a substantially spherical three-dimensional computer graphic.
上記マッピング手段１２は、第２の座標系の座標（θ，φ）を基準として対応テーブルＴにより第１の座標系の座標（θ，ｒ）を求める機能を有するが、第１の座標系の座標（θ，ｒ）を基準として第２の座標系の座標（θ，φ）を求めるものでも良い。すなわち、第１の座標系をスキャンしながら、座標（θ，ｒ）ごとに、テーブルＴで距離ｒと角φとを対応付け、座標（θ，ｒ）の距離ｒを角φに置き換えて座標（θ，φ）とし、第２の座標系をラスタスキャンして座標（θ，φ）を検出し、極座標系上の座標（θ，ｒ）にある画素を第２の座標系の座標（θ，φ）にマッピングするものでも良い。 The mapping means 12 has a function of obtaining the coordinates (θ, r) of the first coordinate system from the correspondence table T with reference to the coordinates (θ, φ) of the second coordinate system. The coordinates (θ, φ) of the second coordinate system may be obtained using the coordinates (θ, r) as a reference. That is, while scanning the first coordinate system, for each coordinate (θ, r), the table r associates the distance r with the angle φ, and replaces the distance r of the coordinate (θ, r) with the angle φ. (Θ, φ), the second coordinate system is raster scanned to detect the coordinates (θ, φ), and the pixel at the coordinates (θ, r) on the polar coordinate system is detected as the coordinates (θ , Φ) may be used.
ここで、前記マッピング手段１２は、第２の座標系上の総ての座標（θ，φ）に画素をマッピングするのではなく、一部の座標のみにマッピングする機能を備えることが好ましい。たとえば、マッピング手段１２は、第２の座標系をラスタスキャンし、所定間隔をおいた座標（θ，φ）のみについて、対応テーブルＴを参照して第１の座標系の座標（θ，ｒ）を求め、第２の座標系上の所定間隔をおいた座標（θ，φ）のみに画素をマッピングする。これにより、第２の座標系上の総ての座標（θ，φ）のうち、その間隔に合わせて一部の座標のみに画素がマッピングされる。総ての座標に画素をマッピングする場合と比較して、変換処理のさらなる高速化が図られる。第１の座標系の座標を基準として対応付けを行うときは、第１の座標系上にある画素の総てを第１の座標系上にマッピングするのではなく、一部の画素のみを抽出してマッピングを行う機能を備えることが好ましい。これにより、第１の座標系上の総ての画素のうち、その間隔に合わせて一部抽出された画素のみがマッピングされる。総ての画素をマッピングする場合と比較して、変換処理のさらなる高速化が図られる。所定間隔は、第１の座標系上において一定となるようにしても良いが、円形射影画像ＣＰの内周に向かうほど情報量が減少するため、その情報量の減少をカバーするために、所定間隔は円形射影画像ＣＰの外周から内周に向かって除々に短くなるように変動させる方が好ましい。 Here, it is preferable that the mapping means 12 has a function of mapping only a part of the coordinates instead of mapping the pixels to all the coordinates (θ, φ) on the second coordinate system. For example, the mapping unit 12 raster scans the second coordinate system, and refers to the coordinates (θ, r) of the first coordinate system with reference to the correspondence table T only for the coordinates (θ, φ) with a predetermined interval. And the pixel is mapped only to the coordinates (θ, φ) at a predetermined interval on the second coordinate system. As a result, pixels are mapped to only some of the coordinates (θ, φ) on the second coordinate system in accordance with the interval. Compared with the case of mapping pixels to all coordinates, the conversion process can be further speeded up. When associating with the coordinates of the first coordinate system as a reference, not all of the pixels on the first coordinate system are mapped onto the first coordinate system, but only some pixels are extracted. It is preferable to provide a function for performing mapping. As a result, out of all the pixels on the first coordinate system, only a pixel partially extracted in accordance with the interval is mapped. Compared with the case where all the pixels are mapped, the conversion process can be further speeded up. The predetermined interval may be constant on the first coordinate system, but since the information amount decreases toward the inner periphery of the circular projection image CP, a predetermined interval is used to cover the decrease in the information amount. It is preferable to change the interval so that the interval gradually decreases from the outer periphery to the inner periphery of the circular projection image CP.
画像変換システム１は、マッピング手段１２によって画素がマッピングされない座標に対して画素を補間する画素補間手段を備えても良い。画素補間手段は、一般的な画像の線形補間の手法を用いれば良い。 The image conversion system 1 may include pixel interpolation means for interpolating pixels with respect to coordinates where the pixels are not mapped by the mapping means 12. The pixel interpolation means may use a general image linear interpolation method.
第１の座標系上において所定間隔の間に位置する座標には、対応テーブルＴにより対応付けられた画素がマッピングされず、画素が欠落した状態となるため不鮮明となる。そこで、画像変換システム１又は画像変換システム１に接続してパノラマ画像ＰＰを表示する端末は、マッピング手段１２により得られた第２の座標系上の画像にシャープネスフィルタリング処理を行うフィルタリング手段を備えることが、画像の鮮明化の観点から好ましい。シャープネスフィルタリング処理には、一般的に使用されている鮮明化フィルタなどを利用すれば良く、例えば、隣接する画素の濃度値の差を大きくするように数値が配列したフィルタ行列などが挙げられる。フィルタリング手段は、画像変換システムＳにより生成されるパノラマ画像ＰＰを表示する端末がパーソナルコンピュータ等である場合は端末が備え、画像変換システムＳから受信したフィルタリング未処理のパノラマ画像ＰＰを端末側でフィルタリング処理しても良い。また、端末が携帯電話等である場合は、フィルタリング手段は画像変換システム１が備え、画像変換システム１においてフィルタリング処理済みのパノラマ画像ＰＰを端末に送信等して表示しても良い。なお、フィルタリング手段は、第１の座標系上の総ての画素をマッピングする場合に使用しても良い。 Pixels associated with the correspondence table T are not mapped to coordinates positioned within a predetermined interval on the first coordinate system, and the pixel is missing, resulting in a blur. Therefore, the image conversion system 1 or the terminal connected to the image conversion system 1 to display the panoramic image PP includes filtering means for performing sharpness filtering processing on the image on the second coordinate system obtained by the mapping means 12. Is preferable from the viewpoint of sharpening the image. For the sharpness filtering process, a generally used sharpening filter or the like may be used, and examples thereof include a filter matrix in which numerical values are arranged so as to increase the difference in density value between adjacent pixels. The filtering means is provided in the terminal when the terminal that displays the panoramic image PP generated by the image conversion system S is a personal computer or the like, and filters the unprocessed panoramic image PP received from the image conversion system S on the terminal side. It may be processed. When the terminal is a mobile phone or the like, the filtering unit may be provided in the image conversion system 1 and the panorama image PP that has been filtered in the image conversion system 1 may be transmitted to the terminal and displayed. The filtering means may be used when mapping all the pixels on the first coordinate system.
また、マッピング手段１２は、上記のように円形射影画像ＣＰのすべての領域を画像変換しても良いが、処理の負荷軽減の観点から、ユーザに対して円形射影画像ＣＰの一部又は全部の領域の指定を促す領域指定機能を備え、マッピング手段１２は領域指定機能において指定された範囲のみをマッピングして画像変換しても良い。 In addition, the mapping unit 12 may convert all regions of the circular projection image CP as described above. However, from the viewpoint of reducing the processing load, the mapping unit 12 may partially or all of the circular projection image CP to the user. An area designation function that prompts the designation of the area may be provided, and the mapping unit 12 may perform image conversion by mapping only the range designated by the area designation function.
（対応テーブル生成手段）
さらに、本実施の形態の画像変換システム１は、対応テーブル生成手段１３を備える。対応テーブル生成手段１３は、ユーザに対して角φと距離ｒとを対応付ける対応情報の入力を促し、入力された対応情報に基づいて、対応テーブルＴを生成する機能を有する。
(Correspondence table generation means)
Furthermore, the image conversion system 1 according to the present embodiment includes correspondence table generation means 13. The correspondence table generating unit 13 has a function of prompting the user to input correspondence information that associates the angle φ with the distance r, and generates the correspondence table T based on the inputted correspondence information.
図１０は、対応テーブル生成手段１３の機能を説明する説明図である。図１０（ａ）は初期状態の対応テーブルＴと第２の座標系と曲面レンズ／ミラーとの関係を説明する説明図である。初期状態の対応テーブルＴは、曲面が所定の曲率に想定された曲面レンズ／ミラーを使用した場合に設定されている。初期状態の対応テーブルＴは所定の曲率に対応したφ−ｒ曲線（実際には数値配列）となっている。対応テーブル生成手段１３は、初期状態の対応テーブルＴを参照して上記マッピング手段１２により円形射影画像ＣＰをパノラマ画像ＰＰに変換し、第２の座標系上のパノラマ画像ＰＰを表示装置３に表示するとともに、縦軸である角φと距離ｒとの対応関係を示す対応線Ｌを表示する。初期状態において対応線Ｌは第２の座標系上に横軸に平行であり且つ縦軸方向に等間隔で複数本表示され、円形射影画像ＣＰにおいて中心から等間隔に引かれた同心円に対応する。対応線Ｌはユーザの操作により縦軸方向に移動可能となっており（図１０（ｂ）参照）、対応線Ｌの移動に合わせて第２の座標系の縦軸のメモリ幅が広狭し、各対応線Ｌが示す縦軸の角φの値は対応線Ｌの移動によっても変動することがなく一定となるようになっている。対応線Ｌ上の角φに対する距離ｒは、角φの最大値φ(max)からその対応線Ｌまでの間隔の距離に相当する。第２の座標系上において対応線Ｌを下方向に移動させるにしたがい、角φに対する距離ｒは短くなり、上方向に移動させるにしたがい、角φに対する距離ｒは長くなるようになっている。 FIG. 10 is an explanatory diagram for explaining the function of the correspondence table generation means 13. FIG. 10A is an explanatory diagram for explaining the relationship among the correspondence table T, the second coordinate system, and the curved lens / mirror in the initial state. The correspondence table T in the initial state is set when a curved surface lens / mirror whose curved surface is assumed to have a predetermined curvature is used. The correspondence table T in the initial state is a φ-r curve (actually a numerical array) corresponding to a predetermined curvature. The correspondence table generation means 13 refers to the correspondence table T in the initial state, converts the circular projection image CP into the panorama image PP by the mapping means 12, and displays the panorama image PP on the second coordinate system on the display device 3. In addition, a correspondence line L indicating the correspondence between the angle φ as the vertical axis and the distance r is displayed. In the initial state, a plurality of corresponding lines L are displayed on the second coordinate system parallel to the horizontal axis and at equal intervals in the vertical axis direction, and correspond to concentric circles drawn at equal intervals from the center in the circular projection image CP. . The corresponding line L can be moved in the vertical axis direction by the user's operation (see FIG. 10B), and the memory width of the vertical axis of the second coordinate system is increased or decreased in accordance with the movement of the corresponding line L. The value of the angle φ on the vertical axis indicated by each corresponding line L is constant without being changed by the movement of the corresponding line L. The distance r with respect to the angle φ on the corresponding line L corresponds to the distance between the maximum value φ (max) of the angle φ and the corresponding line L. As the corresponding line L is moved downward on the second coordinate system, the distance r with respect to the angle φ becomes shorter, and as the corresponding line L is moved upward, the distance r with respect to the angle φ becomes longer.
対応テーブル生成手段１３は、対応線Ｌが設けられた第２の座標系上に、初期状態の対応テーブルＴを参照して変換したパノラマ画像ＰＰを表示することにより、ユーザに対して、第２の座標系上の対応線Ｌを移動させて望ましいパノラマ画像ＰＰとするように促す。対応線が移動された状態を図１０（ｂ）に示す。対応テーブル生成機能１３は、対応線Ｌの移動に合わせて、縦軸の角φのメモリ幅を広狭させ、対応線Ｌと対応線Ｌとの間にある画素の配置を縦軸方向に分散又は集約させて表示するとともに、対応テーブルＴの曲線（実際には配列する距離ｒの値）を変化させる。対応テーブルの曲線（実際には配列する数値）は、曲面レンズ／ミラーの曲面の曲率を反映した曲線（数値）となる（図１０（ｂ）中の太線参照）。生成された対応テーブルＴは、識別情報や他の特性情報とともに記憶媒体５に蓄積され、次回の画像変換からは、マッピング手段１２が、ユーザによって指定された対応テーブルＴを参照してマッピングを行うことにより、その曲面レンズ／ミラーの曲率に応じた画像変換が行われる。 The correspondence table generating means 13 displays the panoramic image PP converted with reference to the correspondence table T in the initial state on the second coordinate system provided with the correspondence line L, thereby giving the user a second The corresponding line L on the coordinate system is moved so that a desirable panoramic image PP is obtained. FIG. 10B shows a state where the corresponding line has been moved. The correspondence table generation function 13 widens or narrows the memory width of the angle φ on the vertical axis in accordance with the movement of the corresponding line L, and distributes the arrangement of pixels between the corresponding line L and the corresponding line L in the vertical axis direction. In addition to being displayed in a consolidated manner, the curve of the correspondence table T (actually the value of the distance r to be arranged) is changed. The curve of the correspondence table (actually arranged numerical values) is a curved line (numerical value) reflecting the curvature of the curved surface of the curved lens / mirror (see the bold line in FIG. 10B). The generated correspondence table T is accumulated in the storage medium 5 together with the identification information and other characteristic information, and the mapping unit 12 performs mapping with reference to the correspondence table T designated by the user from the next image conversion. Thus, image conversion corresponding to the curvature of the curved lens / mirror is performed.
（画像変換方法）
つぎに、上記実施の形態の画像変換システム１を用いて画像変換方法について説明する。なお、下記の各ステップにおいて行われる処理は、上記画像変換システム１の各手段が行う処理に相当するため、詳細は省略する。
(Image conversion method)
Next, an image conversion method using the image conversion system 1 of the above embodiment will be described. Note that the processing performed in each of the following steps corresponds to the processing performed by each unit of the image conversion system 1, and thus details thereof are omitted.
画像変換システム１は、第１の座標系設定手段１１により、円形射影画像ＣＰを第１の座標系にマッピングして第１の座標を設定する（第１の座標系設定ステップ）。つぎに、画像変換システム１は、マッピング手段により第１の座標から第２の座標への画素のマッピングを行う（マッピングステップ）。その後に、マッピングステップにおいて生成されたパノラマ画像ＰＰを表示装置３に表示する（表示ステップ）。 The image conversion system 1 sets the first coordinates by mapping the circular projected image CP to the first coordinate system by the first coordinate system setting means 11 (first coordinate system setting step). Next, the image conversion system 1 performs mapping of pixels from the first coordinate to the second coordinate by the mapping unit (mapping step). Thereafter, the panoramic image PP generated in the mapping step is displayed on the display device 3 (display step).
また、対応テーブル生成手段１３は、マッピング手段１１により初期状態の対応テーブルＴを参照して変換したパノラマ画像ＰＰを、対応線Ｌが設けられた第２の座標系にマッピングし、表示装置３に表示することによりユーザに対して対応情報（対応線Ｌの移動）の入力を促し、ユーザによって移動された対応線Ｌに合わせて第２の座標上の画素を分散／集約させて表示するとともに、対応テーブルＴの曲線を変化させ、識別情報とともに記憶手段５に蓄積記憶する（対応テーブル生成ステップ）。対応テーブル生成ステップは、記憶手段５に望ましい対応テーブルＴが蓄積記憶されていない場合に行われ、その後に行われるマッピングステップにおいては、対応テーブル生成ステップにおいて生成された対応テーブルＴを選択及び参照してマッピングを行うことが可能となる。 The correspondence table generation unit 13 maps the panoramic image PP converted by referring to the correspondence table T in the initial state by the mapping unit 11 to the second coordinate system provided with the correspondence line L, and displays it on the display device 3. The display prompts the user to input correspondence information (movement of the correspondence line L), displays the pixels on the second coordinates in a distributed / aggregated manner according to the correspondence line L moved by the user, and The curve of the correspondence table T is changed and stored together with the identification information in the storage means 5 (correspondence table generation step). The correspondence table generation step is performed when the desired correspondence table T is not accumulated and stored in the storage unit 5, and in the mapping step performed thereafter, the correspondence table T generated in the correspondence table generation step is selected and referred to. Mapping.
図１１は画像変換システム１及び画像変換方法の実施例を示す概念図であり、図１２は画像変換システム１の処理のフローチャートである。本実施例では、画像変換システム１とクライアント６とサーバ７とがインターネットを介して接続されており、制作ユーザが上記画像変換システム１を使用して上記画像変換方法によりパノラマ画像を制作した後に、パノラマ画像をサーバ７にアップロードし、一般ユーザがクライアント６を使用して、サーバ７にアップロードされたパノラマ画像を閲覧する場合を例に説明する。 FIG. 11 is a conceptual diagram showing an embodiment of the image conversion system 1 and the image conversion method, and FIG. 12 is a flowchart of the processing of the image conversion system 1. In this embodiment, the image conversion system 1, the client 6, and the server 7 are connected via the Internet, and after the production user has created a panoramic image by the image conversion method using the image conversion system 1, A case where a panoramic image is uploaded to the server 7 and a general user views the panoramic image uploaded to the server 7 using the client 6 will be described as an example.
クライアント６としては、表示画面を備える携帯電話やパーソナルコンピュータなどのコンピュータ端末である。パーソナルコンピュータには、ＯＳやＷＷＷブラウザが搭載され、さらに、パノラマ画像を閲覧するための機能（以下、プレーヤー機能という）を有する。プレーヤー機能は、ＷＷＷブラウザのプラグインなどにより実現され、パノラマ画像を指定したり、所定の領域（ウインドウ）に表示する機能など、パノラマ画像の閲覧に必要な機能を備える。携帯電話には、表示部に画像を表示する表示機能を備える。 The client 6 is a computer terminal such as a mobile phone or a personal computer having a display screen. The personal computer is equipped with an OS and a WWW browser, and further has a function for browsing panoramic images (hereinafter referred to as a player function). The player function is realized by a plug-in of a WWW browser or the like, and includes functions necessary for browsing a panoramic image, such as a function of designating a panoramic image and displaying it in a predetermined area (window). The mobile phone has a display function for displaying an image on a display unit.
制作ユーザは、撮像手段２を使用して撮像した円形射影画像を指定すると、画像変換システム１は指定された円形射影画像を読み込んで表示装置３に表示する。図１３は画像変換システム１により表示装置３に表示される表示画面である。画像変換システム１は、表示画面の指定情報入力カラムに、曲面レンズ／ミラーを指定するための指定情報（レンズ種別や固有名や製品番号やレンズ／ミラー型など）が入力されるか、または、表示画面に表示された円形射影画像に画像変換の対象となる領域が指定されるまで待機する。 When the production user designates a circular projection image captured using the imaging means 2, the image conversion system 1 reads the designated circular projection image and displays it on the display device 3. FIG. 13 is a display screen displayed on the display device 3 by the image conversion system 1. In the image conversion system 1, designation information for designating a curved lens / mirror (lens type, unique name, product number, lens / mirror type, etc.) is input to the designation information input column of the display screen, or It waits until the area | region used as the object of image conversion is designated to the circular projection image displayed on the display screen.
制作ユーザが指定情報入力カラムに指定情報（レンズ種別や固有名や製品番号やレンズ／ミラー型など）を入力すると、画像変換システム１は、その指定情報を検索キーとして記憶手段５を検索し、その指定情報と一致する情報を含む一の特性情報を読み込む。 When the production user inputs designation information (lens type, unique name, product number, lens / mirror type, etc.) in the designation information input column, the image conversion system 1 searches the storage means 5 using the designation information as a search key, One characteristic information including information that matches the designation information is read.
また、制作ユーザが表示画面の円形射影画像に画像変換の対象となる領域を指定すると、画像変換システム１は、第１の座標系設定手段１３により、指定された領域を第１の座標系にマッピングして、円形射影画像に第１の座標系を設定する。領域指定は、表示画面に表示された円形射影画像の一部又は全部を制作ユーザがマウスにより指定することで行われる。領域指定に際しては、画像変換システム１は、変換領域とともに所定方向（北方向）の入力を促し、制作ユーザはマウスにより所定方向（北方向）をクリックして所定方向を入力（北方向）する。画像変換システム１は、円形射影画像の中心からクリックポイント方向を所定方向（北方向）として認識し、指定された領域の画素を、円形射影画像の中心が極と重なり、所定方向が極軸と重なるように、第１の座標にマッピングする。 When the production user designates an area to be image-transformed in the circular projection image on the display screen, the image conversion system 1 uses the first coordinate system setting unit 13 to change the designated area to the first coordinate system. Mapping is performed to set a first coordinate system for the circular projection image. The area designation is performed when the production user designates part or all of the circular projection image displayed on the display screen with the mouse. When the area is designated, the image conversion system 1 prompts input in a predetermined direction (north direction) together with the conversion area, and the production user clicks the predetermined direction (north direction) with the mouse to input the predetermined direction (north direction). The image conversion system 1 recognizes the click point direction as the predetermined direction (north direction) from the center of the circular projection image, and the pixels of the designated region overlap the pole at the center of the circular projection image and the predetermined direction is the polar axis. Map to the first coordinate so that they overlap.
領域指定及び曲面レンズ／ミラー指定が完了すると、画像変換システム１は、マッピング手段１２により、図９のフローチャートの処理に従い、第１の座標から第２の座標への画素のマッピングを行う。本実施例ではユーザにより指定された一部の領域のみについてマッピングを行い画像変換するため、上記実施の形態のように円形射影画像の総ての領域についてマッピングを行い画像変換する場合と比較して、処理量が少なく、さらなる高速化が図られる。 When the area designation and the curved lens / mirror designation are completed, the image conversion system 1 performs mapping of pixels from the first coordinate to the second coordinate by the mapping unit 12 according to the processing of the flowchart of FIG. In this embodiment, since only a part of the region designated by the user is mapped and image-converted, as compared with the case of mapping and image-converting all regions of the circular projection image as in the above embodiment. The amount of processing is small, and further speedup can be achieved.
つぎに、画像変換システム１を使用して、対応テーブルＴを生成する場合について説明する。対応テーブルＴの生成は、適当な対応テーブルＴが記憶手段５に存在しない場合、すなわち、円形射影画像の撮像に使用した曲面レンズ／ミラーに相当する対応テーブルＴが存在しない場合に、制作ユーザによって行われる。画像変換システム１は、マッピング手段１２により初期状態の対応テーブルＴを参照して変換したパノラマ画像を、対応線Ｌが設けられた第２の座標系に表示して、制作ユーザに対して対応情報の入力を促す。制作ユーザは、パノラマ画像が所望の状態となるよう、対応線Ｌを縦軸方向に移動させる。対応テーブル生成手段１３は、制作ユーザにより移動された対応線Ｌに合わせて第２の座標系上の画素を分散又は集約させてパノラマ画像を再表示するとともに、対応テーブルＴの曲線（実際には配列する数値）を変化させる。制作ユーザは、パノラマ画像が所望の状態となると、表示画面の識別標識入力カラムに識別標識を入力する。対応テーブル生成手段１３は、対応テーブルＴを識別標識と関連付けて記憶手段５に蓄積記憶する。制作ユーザは、その後に、その曲面レンズ／ミラーを使用して撮像した円形射影画像の画像変換については、識別標識を検索キーとして記憶手段５を検索し、記憶手段５のからその対応テーブルＴを選択することにより、円形射影画像をパノラマ画像に変換することができる。 Next, a case where the correspondence table T is generated using the image conversion system 1 will be described. The correspondence table T is generated by the production user when an appropriate correspondence table T does not exist in the storage unit 5, that is, when there is no correspondence table T corresponding to a curved lens / mirror used for capturing a circular projection image. Done. The image conversion system 1 displays the panoramic image converted by referring to the correspondence table T in the initial state by the mapping means 12 on the second coordinate system provided with the correspondence line L, and provides correspondence information to the production user. Prompt for The production user moves the corresponding line L in the vertical axis direction so that the panoramic image is in a desired state. The correspondence table generating means 13 redistributes or aggregates the pixels on the second coordinate system in accordance with the correspondence line L moved by the production user and redisplays the panoramic image, and also displays the curve (actually, the correspondence table T). Change the numerical value). When the panoramic image is in a desired state, the production user inputs an identification mark in the identification mark input column of the display screen. The correspondence table generation unit 13 accumulates and stores the correspondence table T in the storage unit 5 in association with the identification mark. Thereafter, the production user searches the storage means 5 using the identification mark as a search key for image conversion of the circular projection image captured using the curved lens / mirror, and retrieves the correspondence table T from the storage means 5. By selecting, the circular projection image can be converted into a panoramic image.
制作ユーザが画像変換システム１からインターネットなどのネットワークを介してサーバ７にパノラマ画像をアップロードすると、サーバ７はパノラマ画像を記憶する。一般ユーザは、クライアント６からインターネットを介してサーバ７にアクセスすることで、サーバに記憶されているパノラマ画像をクライアント６の表示画面に表示させることが可能となる。クライアント６は、パノラマ画像のうち一般ユーザにより指定された一部の領域のみを表示することによりパンやチルトを行う機能を備える。クライアント６がパーソナルコンピュータなどである場合は、サーバ７からパノラマ画像のデータ総てを受信してクライアント６の側に記憶した後に、一般ユーザからマウス等により入力されたパンやチルトの指示に応じて、パノラマ画像の一部を液晶表示装置などに表示する。クライアント６が携帯電話などである場合は、クライアント６からサーバ７にパンやチルトの指示が送信され、サーバ７によりパンやチルトの処理が行われ、クライアント６はパンやチルト処理が行われて得られたパノラマ画像の一部をサーバ７から受信して液晶表示部などに表示する。一般ユーザは、パンやチルト機能により、あたかも自己の視線を移動させているかのような状態で、所望する画像を表示させることができる。 When the production user uploads a panoramic image from the image conversion system 1 to the server 7 via a network such as the Internet, the server 7 stores the panoramic image. The general user can display the panoramic image stored in the server on the display screen of the client 6 by accessing the server 7 from the client 6 via the Internet. The client 6 has a function of panning and tilting by displaying only a part of the panoramic image designated by the general user. When the client 6 is a personal computer or the like, all panoramic image data is received from the server 7 and stored on the client 6 side, and then in response to a pan or tilt instruction input from a general user with a mouse or the like. A part of the panoramic image is displayed on a liquid crystal display device or the like. When the client 6 is a mobile phone or the like, a pan / tilt instruction is transmitted from the client 6 to the server 7, pan / tilt processing is performed by the server 7, and the client 6 can perform pan / tilt processing. A part of the panorama image is received from the server 7 and displayed on the liquid crystal display unit or the like. A general user can display a desired image as if the user's line of sight is moved by the pan and tilt functions.
上記実施の形態の画像変換システムは、パーソナルコンピュータ等のコンピュータシステムにより実現する場合を例に説明したが、例えばデジタルカメラや携帯電話などの携帯端末により実現されても良い。また、上記実施の形態では、画像変換システムにより生成されるパノラマ画像が携帯電話等の端末にダウンロードされて表示される例を説明したが、画像変換システムの表示装置に表示されても良い。また、上記各手段や方法は、プログラムにより実現されても良いし、ＩＣチップ等の回路により実現されても良い。 The image conversion system according to the above embodiment has been described by way of example with a computer system such as a personal computer. However, the image conversion system may be realized with a mobile terminal such as a digital camera or a mobile phone. In the above embodiment, an example in which a panoramic image generated by the image conversion system is downloaded and displayed on a terminal such as a mobile phone has been described, but may be displayed on a display device of the image conversion system. Each of the above means and methods may be realized by a program or a circuit such as an IC chip.
上記実施の形態及び実施例では、極座標系上の円形射影画像を直交座標系上の四角形のパノラマ画像に画像変換を行う場合を例に説明したが、請求項１記載の発明や請求項９記載の発明は、複数のカメラで周囲を撮像した画像を繋ぎ合わせて全方位又は広角の多面体画像を形成し、その多面体画像を平面に射影して得られる射影画像をパノラマ画像に変換する場合や、三次元直交座標系内の曲面上の画像を二次元直交座標系に画像変換する場合などのように極座標系から直行座標系以外の組み合わせの変換についても適用可能である。また、静止画像を例に説明したが、ＣＣＤカメラなどの動画像撮像手段により撮像された動画像について、動画像を構成する各フレームに対して同様の処理を行うことで、動画像にも適用可能である。 In the embodiments and examples described above, the case where the circular projection image on the polar coordinate system is converted into the quadrature panoramic image on the orthogonal coordinate system has been described as an example, but the invention according to claim 1 and claim 9 are described. In the invention of the present invention, when images of surroundings captured by a plurality of cameras are connected to form an omnidirectional or wide-angle polyhedral image, and the projected image obtained by projecting the polyhedral image onto a plane is converted into a panoramic image, The present invention can also be applied to conversion of combinations other than the orthogonal coordinate system from the polar coordinate system, such as when converting an image on a curved surface in a three-dimensional orthogonal coordinate system into a two-dimensional orthogonal coordinate system. In addition, although a still image has been described as an example, a moving image captured by moving image capturing means such as a CCD camera can be applied to a moving image by performing similar processing on each frame constituting the moving image. Is possible.
１ 画像変換システム
１１ 第１の座標設定手段
１２ マッピング手段
１３ 対応テーブル生成手段
２ 撮像装置
２１ 曲面レンズ
２２ 曲面ミラー
２３ デジタルカメラ
３ 表示装置
４ 入力装置
５ 記憶手段
６ クライアント
７ サーバ
ＣＰ 円形射影画像
ＰＰ パノラマ画像
Ｃ 円形平面
Ｔ 対応テーブル
Ｌ 対応線
DESCRIPTION OF SYMBOLS 1 Image conversion system 11 1st coordinate setting means 12 Mapping means 13 Correspondence table generation means 2 Imaging device 21 Curved lens 22 Curved mirror 23 Digital camera 3 Display device 4 Input device 5 Storage means 6 Client 7 Server CP Circular projection image PP Panorama Image C Circular plane T Corresponding table L Corresponding line
Claims (12)
第１の座標系と第２の座標系とを対応付ける対応テーブルを参照し、第２の座標系上に、対応テーブルにおいて対応付けられた第１の座標系上の画素をマッピングするマッピング手段を備え、
前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、
その曲面の外周を円周とする円形平面における中心からの水平方向の角度を角θ、円形平面とその中心からの放射線との成す角を角φ、円形平面の中心からの距離を距離ｒとすると、
第１の座標系は、角θ及び距離ｒで表される極座標系であり、
第２の座標系は、横軸を角θとし縦軸を角φとする直交座標系であり、
前記対応テーブルは、第１の座標系の距離ｒと第２の座標系の角φとを対応付ける対応テーブルであり、
前記マッピング手段は、第２の座標系の（θ，φ）に、対応テーブルにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングすることを特徴とする画像変換システム。 In an image conversion system for converting an image by mapping pixels of a projected image on a first coordinate system to a second coordinate system,
Mapping means for mapping a pixel on the first coordinate system associated in the correspondence table on the second coordinate system with reference to a correspondence table associating the first coordinate system with the second coordinate system ,
The projected image is a circular projected image obtained by projecting a curved surface having a circular outer periphery onto a plane,
The angle in the horizontal direction from the center of the circular plane having the circumference of the curved surface as the circumference is the angle θ, the angle formed by the circular plane and the radiation from the center is the angle φ, and the distance from the center of the circular plane is the distance r. Then
The first coordinate system is a polar coordinate system represented by an angle θ and a distance r,
The second coordinate system is an orthogonal coordinate system in which the horizontal axis is an angle θ and the vertical axis is an angle φ,
The correspondence table is a correspondence table that associates the distance r of the first coordinate system with the angle φ of the second coordinate system,
The mapping means maps (θ, r) pixels on the first coordinate system associated in the correspondence table to (θ, φ) of the second coordinate system. .
前記射影画像は、外周が円形の曲面を平面に射影して得られる円形射影画像であり、
その曲面の外周を円周とする円形平面における中心からの水平方向の角度を角θ、円形平面とその中心からの放射線との成す角を角φ、円形平面の中心からの距離を距離ｒとすると、
第１の座標系は、角θ及び距離ｒで表される極座標系であり、
第２の座標系は、横軸を角θとし縦軸を角φとする直交座標系であり、
前記対応テーブルは、第１の座標系の距離ｒと、第２の座標系の角φとを対応付ける対応テーブルであり、
前記マッピングステップにおいては、第２の座標系の（θ，φ）に、対応テーブルにおいて対応付けられた第１の座標系上の（θ，ｒ）の画素をマッピングすることを特徴とする画像変換方法。 In an image conversion method of mapping an image of a projected image pixel on a first coordinate system to a second coordinate system and performing image conversion, a correspondence table that associates the first coordinate system with the second coordinate system is referred to, and A mapping step of mapping pixels on the first coordinate system associated in the correspondence table on the two coordinate systems;
The projected image is a circular projected image obtained by projecting a curved surface having a circular outer periphery onto a plane,
The angle in the horizontal direction from the center of the circular plane having the circumference of the curved surface as the circumference is the angle θ, the angle formed by the circular plane and the radiation from the center is the angle φ, and the distance from the center of the circular plane is the distance r. Then
The first coordinate system is a polar coordinate system represented by an angle θ and a distance r,
The second coordinate system is an orthogonal coordinate system in which the horizontal axis is an angle θ and the vertical axis is an angle φ,
The correspondence table is a correspondence table that associates the distance r of the first coordinate system with the angle φ of the second coordinate system,
In the mapping step, (θ, r) pixels on the first coordinate system associated in the correspondence table are mapped to (θ, φ) of the second coordinate system. Method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003292349A JP2005063141A (en) | 2003-08-12 | 2003-08-12 | Image conversion system and image conversion method |
| PCT/JP2004/011540 WO2005015494A1 (en) | 2003-08-12 | 2004-08-11 | Image conversion system and image conversion method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003292349A JP2005063141A (en) | 2003-08-12 | 2003-08-12 | Image conversion system and image conversion method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005063141A JP2005063141A (en) | 2005-03-10 |
| JP2005063141A5 true JP2005063141A5 (en) | 2005-08-18 |
Family
ID=34131714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003292349A Pending JP2005063141A (en) | 2003-08-12 | 2003-08-12 | Image conversion system and image conversion method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2005063141A (en) |
| WO (1) | WO2005015494A1 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE602006021225D1 (en) | 2005-11-11 | 2011-05-19 | Sony Corp | IMAGE PROCESSING DEVICE, PICTURE PROCESSING METHOD, PROGRAM THEREFOR AND THE RECORDING MEDIUM CONTAINING THE PROGRAM |
| JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
| JP6824143B2 (en) * | 2012-03-09 | 2021-02-03 | 株式会社リコー | Imaging equipment, imaging systems, image processing methods, information processing equipment, and programs |
| JP5843034B1 (en) * | 2014-05-15 | 2016-01-13 | 株式会社リコー | Movie display device and program |
| JP5843033B1 (en) | 2014-05-15 | 2016-01-13 | 株式会社リコー | Imaging system, imaging apparatus, program, and system |
| US9984436B1 (en) * | 2016-03-04 | 2018-05-29 | Scott Zhihao Chen | Method and system for real-time equirectangular projection |
| JP6622686B2 (en) * | 2016-12-01 | 2019-12-18 | 株式会社ミクシィ | Information processing apparatus, information processing apparatus control method, and control program |
| CN109508668A (en) * | 2018-11-09 | 2019-03-22 | 北京奇艺世纪科技有限公司 | A kind of lens type information identifying method and device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3164617B2 (en) * | 1991-11-07 | 2001-05-08 | 株式会社日立製作所 | Apparatus and method for deforming character / graphics |
| JP3227769B2 (en) * | 1992-03-31 | 2001-11-12 | 松下電工株式会社 | TV intercom |
| JPH11243508A (en) * | 1998-02-25 | 1999-09-07 | Matsushita Electric Ind Co Ltd | Image display device |
| JP3025255B1 (en) * | 1999-02-19 | 2000-03-27 | 有限会社フィット | Image data converter |
| JP3594225B2 (en) * | 1999-06-21 | 2004-11-24 | 中央電子株式会社 | Wide-field camera device |
| JP3764953B2 (en) * | 2002-04-17 | 2006-04-12 | 立山マシン株式会社 | Method for recording image conversion parameters in an annular image |
| JP3705592B2 (en) * | 2002-04-17 | 2005-10-12 | 立山マシン株式会社 | Method and apparatus for correcting vertical distortion when annular image is expanded to panoramic image |
-
2003
- 2003-08-12 JP JP2003292349A patent/JP2005063141A/en active Pending
-
2004
- 2004-08-11 WO PCT/JP2004/011540 patent/WO2005015494A1/en active Application Filing
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10122997B1 (en) | Automated matrix photo framing using range camera input | |
| EP4102824B1 (en) | Image processing method and mobile terminal | |
| CN108965742B (en) | Special-shaped screen display method and device, electronic equipment and computer readable storage medium | |
| EP3522105B1 (en) | Method and device for performing mapping on spherical panoramic image | |
| US5739852A (en) | Electronic imaging system and sensor for use therefor with a nonlinear distribution of imaging elements | |
| CN106803884B (en) | Image processing apparatus | |
| US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
| US10244165B2 (en) | Imaging device | |
| JP4247113B2 (en) | Method for capturing a panoramic image using a rectangular image sensor | |
| US10748243B2 (en) | Image distortion transformation method and apparatus | |
| CN106133794B (en) | Information processing method, information processing apparatus, and program | |
| JP5906028B2 (en) | Image processing apparatus and image processing method | |
| CN104917955A (en) | Image Transformation And Multi-View Output Systems And Methods | |
| KR101583646B1 (en) | Method and apparatus for generating omnidirectional plane image | |
| JP6310320B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JPH10145667A (en) | Image pickup device | |
| JP2005063141A5 (en) | ||
| JP2005063141A (en) | Image conversion system and image conversion method | |
| WO2018196854A1 (en) | Photographing method, photographing apparatus and mobile terminal | |
| CN112927163A (en) | Image data enhancement method and device, electronic equipment and storage medium | |
| JP3594225B2 (en) | Wide-field camera device | |
| JPH0896118A (en) | Circumferential state display device for vehicle | |
| JP5847570B2 (en) | Image processing apparatus and control method thereof | |
| JP5521641B2 (en) | Method and apparatus for compressing image processing data, and image pickup apparatus having the same | |
| JP3126157B2 (en) | Image information processing device |