JP2001109881A - System and method for image processing - Google Patents
System and method for image processingInfo
- Publication number
- JP2001109881A JP2001109881A JP28891299A JP28891299A JP2001109881A JP 2001109881 A JP2001109881 A JP 2001109881A JP 28891299 A JP28891299 A JP 28891299A JP 28891299 A JP28891299 A JP 28891299A JP 2001109881 A JP2001109881 A JP 2001109881A
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- omnidirectional
- file
- omnidirectional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 197
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000013500 data storage Methods 0.000 claims description 18
- 238000003672 processing method Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000001131 transforming effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100316860 Autographa californica nuclear polyhedrosis virus DA18 gene Proteins 0.000 description 1
- 102100022005 B-lymphocyte antigen CD20 Human genes 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000897405 Homo sapiens B-lymphocyte antigen CD20 Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000604592 Homo sapiens Keratin-like protein KRT222 Proteins 0.000 description 1
- 102100032704 Keratin, type I cytoskeletal 24 Human genes 0.000 description 1
- 102100038184 Keratin-like protein KRT222 Human genes 0.000 description 1
- 101100434205 Solanum tuberosum AC75 gene Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Storing Facsimile Image Data (AREA)
- Studio Devices (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、任意の視点位置の
周囲の全方向を撮像した全方位画像を記憶再生する画像
処理システムおよび方法に関するものである。[0001] 1. Field of the Invention [0002] The present invention relates to an image processing system and a method for storing and reproducing an omnidirectional image of all directions around an arbitrary viewpoint position.
【０００２】[0002]
【従来の技術】ある視点の周囲の環境を１度に撮像でき
れば、あたかもその場にいるかのように自由に視線方向
を変えることのできる死角のない画像を得ることが出来
る。このような全方向の画像を撮像する装置として、テ
レビカメラの前面に曲面の反射鏡を設置し、反射鏡に映
る像を撮像することにより全方向の像を撮像する手段が
知られている。2. Description of the Related Art If an environment around a certain viewpoint can be imaged at a time, an image without blind spots in which the direction of the line of sight can be freely changed can be obtained. As a device that captures such an omnidirectional image, there is known a device that installs a curved reflecting mirror in front of a television camera and captures an image reflected on the reflecting mirror to capture an omnidirectional image.
【０００３】反射鏡を利用した方法の原理は、１９６６
年にＤｏｎａｌｄｗ．Ｒｅｅにより双曲面形状を有する
反射鏡を用いたパノラマ装置について発表されている
（米国特許３，２２９，５７６）。この従来技術では、
双曲面形状の反射鏡に映る像を撮像した画像（全方位画
像）を、楕円形状のスクリーンに表示させることによ
り、双曲面の焦点位置から回りを見渡したのと同様の画
像を見ることができるよう構成されている。The principle of a method using a reflecting mirror is described in 1966.
Donaldw. Ree discloses a panoramic device using a reflecting mirror having a hyperboloidal shape (US Pat. No. 3,229,576). In this prior art,
By displaying an image (omnidirectional image) obtained by capturing an image reflected on a hyperboloid-shaped reflecting mirror on an elliptical screen, it is possible to see the same image as looking around from the focal position of the hyperboloid. It is configured as follows.
【０００４】また、この従来技術では、特殊スクリーン
を用いて撮像画像のひずみを除去せずとも、双曲面の反
射光線を計算することにより、得られた画像を幾何変換
により中心視野の画像に変換することが可能であるた
め、昨今では、全方位画像を幾何変換して通常のカメラ
で撮像したような画像に変換してディスプレイモニタ等
に表示することが行われている。In this prior art, the obtained image is converted into an image of a central field of view by geometrical transformation by calculating reflected light rays of a hyperboloid without removing distortion of the captured image using a special screen. In recent years, it has been practiced to convert an omnidirectional image into an image captured by a normal camera and display the image on a display monitor or the like.
【０００５】ここで、双曲面形状の反射鏡を用いた全方
位画像の幾何変換について図６〜図８に基づいて簡単に
説明する。図６はテレビカメラ１の前面に双曲面形状の
反射鏡２が取り付けた全方位撮像装置を示す。ここで、
空間座標の原点をＯｐとすると、双曲面の形状は、 （（Ｘ2＋Ｙ2）／ａ2）−（Ｚ2／ｂ2）＝−１ ・・・・（１） と表される。ａ、ｂは双曲面形状を定義するパラメータ
である。Here, the geometric transformation of an omnidirectional image using a hyperboloid-shaped reflecting mirror will be briefly described with reference to FIGS. FIG. 6 shows an omnidirectional imaging apparatus in which a hyperboloid-shaped reflecting mirror 2 is attached to the front of a television camera 1. here,
Assuming that the origin of the space coordinates is Op, the shape of the hyperboloid is expressed as ((X 2 + Y 2 ) / a 2 ) − (Z 2 / b 2 ) = − 1 (1) a and b are parameters that define the hyperboloid shape.
【０００６】テレビカメラ１の撮像面３にはＣＣＤなど
の撮像素子が設置される。４はテレビカメラ１のレンズ
の主点である。したがって、撮像面３と主点４との光軸
方向の距離が焦点距離ｆとなる。ここで空間座標上の対
象物を５とすると、対象物５の像は双曲面形状の反射鏡
２を反射して、テレビカメラ１の主点４を通過し、撮像
面３上のＰ点に結像する。Ｐ点の撮像面３内での座標を
Ｐ（ｘ，ｙ）とする。図７がテレビカメラの撮像面に結
像した全方位画像の一例である。[0006] An image pickup device such as a CCD is provided on an image pickup surface 3 of the television camera 1. Reference numeral 4 denotes a principal point of the lens of the television camera 1. Therefore, the distance in the optical axis direction between the imaging surface 3 and the principal point 4 is the focal length f. Here, assuming that the object on the space coordinates is 5, the image of the object 5 is reflected by the hyperboloid-shaped reflecting mirror 2, passes through the principal point 4 of the television camera 1, and reaches a point P on the imaging surface 3. Form an image. Let P (x, y) be the coordinates of point P within the imaging plane 3. FIG. 7 is an example of an omnidirectional image formed on the imaging surface of the television camera.
【０００７】画像の中心軸回りの角度θが、図６におけ
るテレビカメラの光軸６の回りの空間上の位置に対応
し、画像の半径方向Ｒが、テレビカメラの光軸方向（Ｚ
方向）の高さに対応する。したがって、テレビカメラの
光軸６の回りの広い範囲の対象物を撮像面３に結像する
ことが可能である。ここで、米国特許３，２２９，５７
６に示されているように、テレビカメラの主点４を双曲
面の外側焦点に設置する。すなわち、内側焦点７とテレ
ビカメラの主点４とを、座標原点Ｏｐから上下に等距離
に設定する。The angle θ about the central axis of the image corresponds to a position in space around the optical axis 6 of the television camera in FIG. 6, and the radial direction R of the image corresponds to the optical axis direction (Z
Direction). Therefore, it is possible to form an image of an object in a wide range around the optical axis 6 of the television camera on the imaging surface 3. Here, US Pat. No. 3,229,57
As shown at 6, the principal point 4 of the television camera is located at the outer focal point of the hyperboloid. That is, the inner focal point 7 and the principal point 4 of the television camera are set at equal distances up and down from the coordinate origin Op.
【０００８】このような幾何条件において対象物５の像
は、反射鏡２で反射して、テレビカメラの主点４を通過
するが、対象物５から反射鏡２に向かう光線を延長した
点は、双曲面の内側焦点７に到達する。これは、対象物
５が空間上のどの位置にあっても同様に内側焦点７に到
達するため、撮像面３に結像した像は内側焦点７から対
象物を観測した像を、幾何変換した像となることが知ら
れている。[0008] Under such geometric conditions, the image of the object 5 is reflected by the reflecting mirror 2 and passes through the principal point 4 of the television camera. , Reach the inner focal point 7 of the hyperboloid. This is because the image formed on the imaging surface 3 is obtained by geometrically transforming the image obtained by observing the object from the inner focal point 7 because the object 5 reaches the inner focal point 7 regardless of the position in the space. It is known to be an image.
【０００９】ここで、内側焦点７から視線方向（α,β,
γ）で距離ｆ’の位置に仮想平面８を設置したとする
と、仮想平面上の点Ｐ’の位置に対象物５が観測され
る。ここで点Ｐ’の仮想平面８内での座標を（ｘ’,
ｙ’）とする。撮像面３上の結像点Ｐ（ｘ，ｙ）と、そ
の点に対応する仮想平面上の座標Ｐ’（ｘ’，ｙ’）の
関係は、次式のように示される。 （ｘ，ｙ）＝Ｆ［ａ，ｂ，ｆ，ｆ’，α，β，γ］（ｘ’，ｙ’） ・・（２） このように、撮像面３上の結像点Ｐ（ｘ,ｙ）と、仮想
平面上の点Ｐ’（ｘ’，ｙ’）との関係は、双曲面の形
状に関するパラメータａ，ｂ、テレビカメラの焦点距離
ｆに依存し、双曲面の内側焦点と仮想平面との距離
ｆ’、内側焦点からの視線方向（α，β，γ）により求
めることが可能である。Here, from the inner focal point 7, the line of sight (α, β,
Assuming that the virtual plane 8 is set at the position of the distance f ′ in γ), the object 5 is observed at the position of the point P ′ on the virtual plane. Here, the coordinates of the point P ′ in the virtual plane 8 are represented by (x ′,
y ′). The relationship between the imaging point P (x, y) on the imaging surface 3 and the coordinates P ′ (x ′, y ′) on the virtual plane corresponding to the point is expressed by the following equation. (X, y) = F [a, b, f, f ′, α, β, γ] (x ′, y ′) (2) Thus, the imaging point P (x , y) and the point P ′ (x ′, y ′) on the virtual plane depend on parameters a and b relating to the shape of the hyperboloid and the focal length f of the television camera. It can be obtained from the distance f ′ from the virtual plane and the viewing direction (α, β, γ) from the inner focal point.
【００１０】この仮想平面については、視線方向を変え
るたびに設定を変えることにより、自由な視線方向の移
動を可能にしている。これが全方位画像の特徴の一つで
ある。ここで、双曲面とテレビカメラに依存する装置構
成により決まるパラメータを変換パラメータと呼び、幾
何変換する時に自由に選択できるパラメータを仮想パラ
メータと呼ぶこととすると、変換パラメータは、ａ、
ｂ、ｆとなり、仮想パラメータはｆ’，α，β，γとな
る。The virtual plane can be freely moved in the visual line direction by changing the setting each time the visual line direction is changed. This is one of the features of the omnidirectional image. Here, a parameter determined by a hyperboloid and an apparatus configuration depending on a television camera is called a conversion parameter, and a parameter that can be freely selected at the time of geometric conversion is called a virtual parameter.
b and f, and the virtual parameters are f ′, α, β, and γ.
【００１１】したがって、変換パラメータは撮像装置に
依存する固定的なパラメータであり、一方、仮想パラメ
ータは幾何変換を行う再生時に自由に選択可能なパラメ
ータである。したがって、全方位画像を幾何変換して双
曲面の内側焦点から観測した画像に変換処理された画像
（以下、透視画像と呼ぶ）を生成する画像処理装置にお
いては、テレビカメラにより撮像された全方位画像か
ら、変換パラメータと仮想パラメータを指定することに
より、式（２）の処理アルゴリズムにより、透視画像を
生成できる。Therefore, the conversion parameter is a fixed parameter depending on the imaging device, while the virtual parameter is a parameter that can be freely selected at the time of reproduction for performing geometric conversion. Therefore, in an image processing apparatus that generates an image (hereinafter, referred to as a “perspective image”) converted from an omnidirectional image into an image observed from the inner focal point of the hyperboloid by performing geometric conversion, the omnidirectional image captured by the television camera By specifying a conversion parameter and a virtual parameter from an image, a perspective image can be generated by the processing algorithm of Expression (2).
【００１２】例えば、図７の全方位画像から破線９で示
す領域方向を示す仮想パラメータを指定すると、式
（２）を用いて幾何変換して得られた透視画像（図８）
が得られる。図８に示したように透視画像は、全方位画
像から歪みを除去した、通常のカメラで撮像したような
画像となる。For example, when a virtual parameter indicating a region direction indicated by a broken line 9 is designated from the omnidirectional image of FIG. 7, a perspective image (FIG. 8) obtained by performing a geometric transformation using equation (2)
Is obtained. As shown in FIG. 8, the perspective image is an image obtained by removing a distortion from an omnidirectional image and captured by a normal camera.
【００１３】[0013]
【発明が解決しようとする課題】しかしながら、次のよ
うな問題点が残されている。従来の全方位画像を幾何変
換する画像処理装置においては、特定の双曲面形状の反
射鏡２による画像の変換を行うような機能しか有してい
ない。そのため、異なる撮像装置により撮像された全方
位画像を変換処理して、透視画像を得るためには、異な
る変換装置を起動せねばならない。However, the following problems remain. A conventional image processing apparatus for geometrically converting an omnidirectional image has only a function of converting an image by a reflecting mirror 2 having a specific hyperboloid. Therefore, in order to convert an omnidirectional image captured by a different imaging device and obtain a perspective image, a different conversion device must be activated.
【００１４】特に、インターネットにおいて、いろいろ
な撮像装置により撮像された全方位画像が記憶されてい
る場合においては、それらの画像をダウンロードして変
換処理するごとに撮像装置ごとの別のプログラムを起動
しなければならない。本発明は、異なる撮像装置により
撮像された複数の全方位画像をそれぞれ良好に変換して
透視画像に変換表示できる画像処理システムと画像処理
方法を提供することを目的とする。In particular, in the case where omnidirectional images captured by various image capturing devices are stored on the Internet, a different program for each image capturing device is started every time these images are downloaded and converted. There must be. SUMMARY OF THE INVENTION It is an object of the present invention to provide an image processing system and an image processing method which can convert a plurality of omnidirectional images captured by different image capturing devices, respectively, and convert and display the perspective images.
【００１５】[0015]
【課題を解決するための手段】本発明の請求項１記載の
画像処理システムは、周囲の全方位画像を撮影する撮像
手段と、前記撮像手段により得られた前記全方位画像を
変換処理する制御情報を前記全方位画像に付加する処理
手段と、前記制御情報と前記全方位画像とを１つのファ
イルとして記憶する記憶手段とを有することを特徴とす
る。According to a first aspect of the present invention, there is provided an image processing system, comprising: imaging means for photographing a surrounding omnidirectional image; and control for converting the omnidirectional image obtained by the imaging means. It is characterized by comprising processing means for adding information to the omnidirectional image, and storage means for storing the control information and the omnidirectional image as one file.
【００１６】本発明の請求項２記載の画像処理システム
は、請求項において、制御情報が、全方位画像の座標変
換情報であることを特徴とする。本発明の請求項３記載
の画像処理システムは、請求項１において、制御情報
が、撮像手段の機種情報であることを特徴とする。本発
明の請求項４記載の画像処理システムは、請求項１にお
いて、制御情報が、全方位画像を変換処理するための変
換プログラムであることを特徴とする。According to a second aspect of the present invention, in the claim, the control information is coordinate conversion information of an omnidirectional image. An image processing system according to a third aspect of the present invention is the image processing system according to the first aspect, wherein the control information is model information of an imaging unit. An image processing system according to a fourth aspect of the present invention is characterized in that, in the first aspect, the control information is a conversion program for converting an omnidirectional image.
【００１７】本発明の請求項５記載の画像処理システム
は、全方位画像と制御情報が１つのファイルに記憶され
た全方位画像ファイルを読み出し変換処理を施して出力
する画像処理システムであって、前記全方位画像ファイ
ルの制御情報を読み出し保持する制御情報保持手段と、
前記全方位画像ファイルの全方位画像を読み出し保持す
る画像保持手段と、前記画像保持手段に保持された全方
位画像に対して前記制御情報保持手段に保持された制御
情報により決定される変換処理を行う変換処理手段と、
前記変換処理手段により変換処理された画像を表示する
表示手段とを有することを特徴とする。An image processing system according to a fifth aspect of the present invention is an image processing system for reading an omnidirectional image file in which an omnidirectional image and control information are stored in one file, performing a conversion process, and outputting the file. Control information holding means for reading and holding control information of the omnidirectional image file,
An image holding unit that reads and holds an omnidirectional image of the omnidirectional image file, and a conversion process that is performed on the omnidirectional image held by the image holding unit and is determined by control information held by the control information holding unit. Conversion processing means for performing;
Display means for displaying the image converted by the conversion processing means.
【００１８】本発明の請求項６記載の画像処理システム
は、請求項５において、制御情報が、全方位画像の座標
変換情報であることを特徴とする。本発明の請求項７記
載の画像処理システムは、全方位画像と前記全方位画像
を撮像した機種情報が１つのファイルに記憶された全方
位画像ファイルを読み出し変換処理を施して出力する画
像処理システムであって、全方位画像ファイルの機種情
報を読み出し保持する機種情報保持手段と、前記全方位
画像ファイルの全方位画像を読み出し保持する画像保持
手段と、機種ごとに異なる複数の画像変換データを有す
る変換データ記憶手段と、前記機種情報保持手段に保持
された機種情報により指定される画像変換手段を変換デ
ータ記憶手段から呼び出し前記画像保持手段に保持され
た全方位画像を変換処理する変換処理手段と、変換処理
された画像を表示する表示手段とを有することを特徴と
する。According to a sixth aspect of the present invention, in the fifth aspect, the control information is coordinate conversion information of an omnidirectional image. 8. The image processing system according to claim 7, wherein an omnidirectional image and an omnidirectional image file in which model information of the omnidirectional image is stored in one file are read, converted, and output. A model information holding unit that reads and holds the model information of the omnidirectional image file, an image holding unit that reads and holds the omnidirectional image of the omnidirectional image file, and a plurality of image conversion data different for each model. Conversion data storage means, conversion processing means for calling an image conversion means designated by the model information held in the model information holding means from the conversion data storage means, and converting the omnidirectional image held in the image holding means; And display means for displaying the converted image.
【００１９】本発明の請求項８記載の画像処理システム
は、請求項７において、変換データ記憶手段に記憶され
た画像変換データを書き換えるデータ更新手段を有する
ことを特徴とする。本発明の請求項９記載の画像処理シ
ステムは、請求項８において、データ更新手段を、機種
情報センタと変換データ記憶手段を通信手段を介して接
続し、機種情報センタから画像変換データを取得して書
き換えるように構成したことを特徴とする。An image processing system according to an eighth aspect of the present invention is characterized in that, in the seventh aspect, there is provided a data updating means for rewriting the image conversion data stored in the conversion data storage means. The image processing system according to the ninth aspect of the present invention is the image processing system according to the eighth aspect, wherein the data updating means connects the model information center and the conversion data storage means via the communication means, and acquires the image conversion data from the model information center. It is characterized in that it is configured to be rewritten.
【００２０】本発明の請求項１０記載の画像処理システ
ムは、全方位画像と前記全方位画像を変換処理する変換
プログラムが１つのファイルに記憶された全方位画像フ
ァイルを読み出し変換処理を施して出力する画像処理シ
ステムであって、前記全方位画像ファイルの全方位画像
を読み出し保持する画像保持手段と、前記全方位画像フ
ァイルの変換プログラムを読み出し保持するプログラム
保持手段と、前記プログラム保持手段に保持された変換
プログラムにより前記画像保持手段に保持された全方位
画像を変換処理する変換処理手段と、変換処理された画
像を表示する表示手段とを有することを特徴とする。According to a tenth aspect of the present invention, in the image processing system, an omnidirectional image and a conversion program for converting the omnidirectional image read out an omnidirectional image file stored in one file, perform a conversion process, and output the result. An image processing system for reading and holding an omnidirectional image of the omnidirectional image file, a program holding unit for reading and holding a conversion program of the omnidirectional image file, and held by the program holding unit. A conversion processing means for converting the omnidirectional image held in the image holding means by the conversion program, and a display means for displaying the converted image.
【００２１】本発明の請求項１１記載の画像処理方法
は、全方位画像と制御情報が１つのファイルに記憶され
た全方位画像ファイルを読み出し、前記全方位画像ファ
イルから制御情報を呼び出し、前記全方位画像に対して
前記制御情報により決定される変換処理を行い表示する
ことを特徴とする。本発明の請求項１２記載の画像処理
方法は、請求項１１において、制御情報が、全方位画像
の座標変換情報であることを特徴とする。According to the image processing method of the present invention, the omnidirectional image file in which the omnidirectional image and the control information are stored in one file is read, the control information is called from the omnidirectional image file, and the omnidirectional image file is called. The azimuth image is subjected to conversion processing determined by the control information and displayed. According to a twelfth aspect of the present invention, in the eleventh aspect, the control information is coordinate conversion information of an omnidirectional image.
【００２２】本発明の請求項１３記載の画像処理方法
は、全方位画像と前記全方位画像を撮像した機種情報が
１つのファイルに記憶された全方位画像ファイルを読み
出し変換処理を施して出力する画像処理方法であって、
前記全方位画像ファイルから機種情報を呼び出し、機種
ごとに異なる複数の画像変換手段を有する変換データ記
憶手段から前記機種情報により指定される特定の画像変
換手段を呼び出し、前記特定の画像変換手段により前記
全方位画像を変換処理し表示することを特徴とする。According to a thirteenth aspect of the present invention, in the image processing method, an omnidirectional image file in which an omnidirectional image and model information obtained by capturing the omnidirectional image are stored in one file is read, converted, and output. An image processing method,
The model information is called from the omnidirectional image file, a specific image conversion unit designated by the model information is called from the conversion data storage unit having a plurality of image conversion units different for each model, and the specific image conversion unit The omnidirectional image is converted and displayed.
【００２３】本発明の請求項１４記載の画像処理方法
は、請求項１３において、呼び出した機種情報により指
定される画像変換手段を、機種ごとに異なる複数の画像
変換データを有する変換データ記憶手段から呼び出すに
際し、指定される前記前記画像変換手段が見つからない
時に、機種情報センタと通信して前記画像変換手段を取
得することを特徴とする。According to a fourteenth aspect of the present invention, in the image processing method according to the thirteenth aspect, the image conversion means designated by the called model information is converted from the conversion data storage means having a plurality of different image conversion data for each model. When calling, when the specified image conversion unit is not found, the image conversion unit is communicated with a model information center to acquire the image conversion unit.
【００２４】本発明の請求項１５記載の画像処理方法
は、全方位画像と変換プログラムが１つのファイルに記
憶された全方位画像ファイルを読み出し変換処理を施し
て出力する画像処理方法であって、全方位画像ファイル
から変換プログラムを呼び出し、前記全方位画像に対し
て前記変換プログラムにより変換処理を行い表示するこ
とを特徴とする。An image processing method according to a fifteenth aspect of the present invention is an image processing method in which an omnidirectional image and a conversion program read an omnidirectional image file stored in one file, perform a conversion process, and output the result. A conversion program is called from an omnidirectional image file, and the omnidirectional image is converted by the conversion program and displayed.
【００２５】本発明の請求項１６記載の記録媒体は、周
囲の全方位画像を撮影する撮像手段により撮像された全
方位画像に、全方位画像を変換処理するための制御情報
を付加し、前記制御情報と前記全方位画像を１つのファ
イルとして記憶したことを特徴とする。本発明の請求項
１７記載の記録媒体は、請求項１６において、制御情報
が、全方位画像の座標変換情報であることを特徴とす
る。According to a sixteenth aspect of the present invention, in the recording medium, control information for converting an omnidirectional image is added to an omnidirectional image captured by an image capturing means for capturing a surrounding omnidirectional image, The control information and the omnidirectional image are stored as one file. A recording medium according to a seventeenth aspect of the present invention is characterized in that, in the sixteenth aspect, the control information is coordinate conversion information of an omnidirectional image.
【００２６】本発明の請求項１８記載の記録媒体は、請
求項１６において、制御情報が、全方位画像の撮像手段
の機種情報であることを特徴とする。本発明の請求項１
９記載の記録媒体は、請求項１６において、制御情報
が、全方位画像を変換処理するための変換プログラムで
あることを特徴とする。The recording medium according to the eighteenth aspect of the present invention is the recording medium according to the sixteenth aspect, wherein the control information is model information of an omnidirectional image pickup means. Claim 1 of the present invention
The recording medium according to claim 9 is characterized in that, in claim 16, the control information is a conversion program for converting an omnidirectional image.
【００２７】[0027]
【発明の実施の形態】以下、本発明の各実施の形態を図
１〜図５に基づいて説明する。 （実施の形態１）図１は（実施の形態１）の画像処理シ
ステムを示す。この実施の形態では二つの独立して動作
可能な画像処理装置の動作を連続して説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described below with reference to FIGS. (Embodiment 1) FIG. 1 shows an image processing system according to (Embodiment 1). In this embodiment, operations of two independently operable image processing apparatuses will be described successively.
【００２８】この画像処理システムは、第１の画像処理
装置としての全方位変換ファイル生成装置１１と、第２
の画像処理装置としての全方位変換ファイル再生装置１
２と、全方位変換ファイル１３を記憶した第１記録メデ
ィア１４とで構成されている。全方位変換ファイル生成
装置１１は、全方位変換ファイル１３を生成し、第１記
録メディア１４に記憶させる。全方位変換ファイル再生
装置１２は、第１記録メディア１４に記憶された全方位
変換ファイル１３を再生して透視画像を生成し表示する
機能を有する。This image processing system includes an omnidirectional conversion file generation device 11 as a first image processing device and a second
Omnidirectional file playback device 1 as an image processing device
2 and a first recording medium 14 in which an omnidirectional conversion file 13 is stored. The omnidirectional conversion file generation device 11 generates an omnidirectional conversion file 13 and stores it on the first recording medium 14. The omnidirectional conversion file reproducing device 12 has a function of reproducing the omnidirectional conversion file 13 stored in the first recording medium 14 to generate and display a fluoroscopic image.
【００２９】全方位変換ファイル生成装置１１は、全方
位画像撮像手段１５とデータ合成手段１６と、記憶手段
１７を有する。全方位画像撮像手段１５は、視点位置に
おける全方向の画像を撮影し全方位画像１８と変換パラ
メータ１９を出力する。ここで、全方位画像撮像装置１
５は、前記（従来の技術）で示した双曲面形状の反射鏡
を有するものとする。したがって、全方位画像撮像手段
１５から出力される全方位画像１８は、例えば、図７の
ような画像となり、また、変換パラメータ１９は、全方
位画像撮像手段１５における双曲面の形状に関するパラ
メータ（ａ，ｂ）とテレビカメラの焦点距離ｆのパラメ
ータ列である。The omnidirectional conversion file generating device 11 has an omnidirectional image capturing means 15, a data synthesizing means 16, and a storage means 17. The omnidirectional image capturing unit 15 captures images in all directions at the viewpoint position and outputs an omnidirectional image 18 and conversion parameters 19. Here, the omnidirectional image pickup device 1
Reference numeral 5 has a hyperboloid-shaped reflecting mirror shown in the above (prior art). Therefore, the omnidirectional image 18 output from the omnidirectional image capturing means 15 is, for example, an image as shown in FIG. 7, and the conversion parameter 19 is a parameter (a , B) and a parameter sequence of the focal length f of the television camera.
【００３０】データ合成手段１６は、全方位画像撮像手
段１５から出力された全方位画像１８と変換パラメータ
１６を１つのファイルとして合成し、全方位変換ファイ
ル１３を生成する。記憶手段１７は、データ合成手段１
６から出力された全方位変換ファイル２０にファイル名
を付加して第１記録メディア１４に書き込む。The data synthesizing unit 16 synthesizes the omnidirectional image 18 output from the omnidirectional image capturing unit 15 and the conversion parameter 16 as one file, and generates the omnidirectional conversion file 13. The storage means 17 stores the data
Then, a file name is added to the omnidirectional conversion file 20 output from 6 and written to the first recording medium 14.
【００３１】全方位変換ファイル再生装置１２は、変換
パラメータ保持手段２１と画像保持手段２２と変換処理
手段２３と仮想パラメータ入力手段２４と表示手段２５
とを有する。制御情報保持手段としての変換パラメータ
保持手段２１は、第１記録メディア１４に記憶された全
方位変換ファイル１３から変換パラメータ１９を呼び出
し保持する。画像保持手段２２は、第１記録メディア１
４に記憶された全方位変換ファイル１３から全方位画像
１８を呼び出し保持する。The omnidirectional conversion file reproducing device 12 includes a conversion parameter holding unit 21, an image holding unit 22, a conversion processing unit 23, a virtual parameter input unit 24, and a display unit 25.
And The conversion parameter holding unit 21 as control information holding unit calls and holds the conversion parameter 19 from the omnidirectional conversion file 13 stored in the first recording medium 14. The image holding means 22 includes the first recording medium 1
The omnidirectional image 18 is called from the omnidirectional conversion file 13 stored in the memory 4 and held.
【００３２】仮想パラメータ入力手段２４は、幾何変換
処理に必要な仮想パラメータ２６を入力する手段であ
り、キーボード等の入力装置で構成されている。変換処
理手段２３は、変換パラメータ保持手段２１に保持され
た変換パラメータ１９と、仮想パラメータ入力手段２４
により入力された仮想パラメータ２６とを用いて、画像
保持手段２２に保持された全方位画像１８を透視画像２
７に変換する処理を行う。The virtual parameter input means 24 is a means for inputting virtual parameters 26 required for the geometric transformation process, and is constituted by an input device such as a keyboard. The conversion processing unit 23 includes a conversion parameter 19 stored in the conversion parameter storage unit 21 and a virtual parameter input unit 24.
The omnidirectional image 18 held in the image holding means 22 is transformed into the fluoroscopic image 2 using the virtual parameters 26 input by
7 is performed.
【００３３】表示手段２５は、変換処理手段２３から出
力された透視画像２７をディスプレイ（図示せず）など
に表示する。以下に、本実施の形態における動作ステッ
プを図１を用いて説明する。全方位変換ファイル生成装
置１１は下記のステップ（Ｓ１−１）（Ｓ１−２）（Ｓ
１−３）（Ｓ１−４）（Ｓ１−５）のステップを順に実
行して処理を実行する。The display means 25 displays the perspective image 27 output from the conversion processing means 23 on a display (not shown) or the like. Hereinafter, the operation steps in the present embodiment will be described with reference to FIG. The omnidirectional conversion file generation device 11 performs the following steps (S1-1) (S1-2) (S
Steps 1-3), (S1-4), and (S1-5) are sequentially executed to execute processing.
【００３４】ステップ（Ｓ１−１） 全方位画像撮像手段１５は、全方位画像１８と変換パラ
メータ１９を出力する。 ステップ（Ｓ１−２） データ合成手段１６は、変換パラメータ１９と全方位画
像１８とを一つのファイルに合成した全方位変換ファイ
ル１３を生成し、記憶手段１７に出力する。Step (S1-1) The omnidirectional image pickup means 15 outputs an omnidirectional image 18 and conversion parameters 19. Step (S1-2) The data synthesizing unit 16 generates the omnidirectional conversion file 13 in which the conversion parameter 19 and the omnidirectional image 18 are synthesized into one file, and outputs the file to the storage unit 17.
【００３５】ステップ（Ｓ１−３） 記憶手段１７は、データ合成手段１６から出力された全
方位変換ファイル１３を第１記録メディア１４に記録す
る。ここで（実施の形態１）において、全方位変換ファ
イル生成装置１１は、変換パラメータ１９として、双曲
面の形状を示すパラメータとテレビカメラの焦点距離を
全方位画像１８とともに記憶したが、全方位画像を幾何
変換して透視画像に変換するためのパラメータであれ
ば、これに限定するものではない。また、画像がＲ、
Ｇ、Ｂの３枚の画像によりカラー画像を生成するような
場合には、Ｒ、Ｇ、Ｂごとに異なる変換パラメータを記
憶してもよい。Step (S1-3) The storage means 17 records the omnidirectional conversion file 13 output from the data synthesizing means 16 on the first recording medium 14. Here, in (Embodiment 1), the omnidirectional conversion file generation device 11 stores the parameters indicating the shape of the hyperboloid and the focal length of the television camera together with the omnidirectional image 18 as the conversion parameters 19. The parameter is not limited to this, as long as it is a parameter for geometrically transforming into a perspective image. Also, if the image is R,
When a color image is generated from three G and B images, different conversion parameters may be stored for each of R, G, and B.
【００３６】次に、図１の全方位変換ファイル再生装置
１２について説明する。全方位変換ファイル再生装置１
２は下記のステップ（Ｓ２−１）（Ｓ２−２）（Ｓ２−
３）（Ｓ２−４）（Ｓ２−５）のステップを順に実行し
て処理を実行する。 ステップ（Ｓ２−１） 全方位変換ファイル再生装置１２が起動すると、変換パ
ラメータ保持手段２１が第１記憶メディア１４に記憶さ
れた全方位変換ファイル１３の変換パラメータ１９を全
方位変換ファイル１４から読み出し記憶する。Next, the omnidirectional conversion file reproducing device 12 shown in FIG. 1 will be described. Omnidirectional conversion file playback device 1
2 is the following step (S2-1) (S2-2) (S2-
3) Steps (S2-4) and (S2-5) are sequentially executed to execute the processing. Step (S2-1) When the omnidirectional conversion file reproducing device 12 is started, the conversion parameter holding means 21 reads the conversion parameters 19 of the omnidirectional conversion file 13 stored in the first storage medium 14 from the omnidirectional conversion file 14 and stores them. I do.
【００３７】ステップ（Ｓ２−２） 画像保持手段２２が第１記憶メディア１４に記録された
全方位変換ファイル１３から全方位画像１８を読み出し
保持する。 ステップ（Ｓ２−３） 仮想パラメータ入力手段２４か
ら、幾何変換処理に必要な仮想パラメータ２６を変換処
理手段２３に入力する。Step (S2-2) The image holding means 22 reads and holds the omnidirectional image 18 from the omnidirectional conversion file 13 recorded in the first storage medium 14. Step (S2-3) The virtual parameters 26 required for the geometric conversion processing are input from the virtual parameter input means 24 to the conversion processing means 23.
【００３８】ステップ（Ｓ２−４） 変換処理手段２３は変換パラメータ保持手段２１に保持
された変換パラメータ１９と、仮想パラメータ入力手段
２４により入力された仮想パラメータ２６とを用いて画
像保持手段２２に保持された全方位画像１８を透視画像
２７に変換する幾何変換処理を行う。Step (S2-4) The conversion processing means 23 uses the conversion parameter 19 stored in the conversion parameter storage means 21 and the virtual parameter 26 input from the virtual parameter input means 24 to store it in the image storage means 22. A geometric transformation process for transforming the omnidirectional image 18 into a perspective image 27 is performed.
【００３９】ステップ（Ｓ２−５） 生成された透視画像２７は表示手段２５に送られ、表示
される。このように、色々な互いに異なる幾何構成を有
するため、透視画像への変換パラメータがそれぞれ異な
る全方位画像が多数存在しても、仮想パラメータを指定
するだけで、全て容易に透視画像に変換することが可能
となる。Step (S2-5) The generated perspective image 27 is sent to the display means 25 and displayed. As described above, since there are various geometric configurations different from each other, even if there are a large number of omnidirectional images each having a different conversion parameter to the perspective image, all of them can be easily converted to the perspective image only by specifying the virtual parameters. Becomes possible.
【００４０】なお、この実施の形態では、全方位変換フ
ァイル生成装置１１と全方位変換ファイル再生装置１２
とが、第１記録メディア１４を介して連続して稼動する
ように説明したが、それぞれ独立して稼動しても良いこ
とは言うまでもない。 （実施の形態２）図２と図３は（実施の形態２）を示
し、この実施の形態においては、二つの独立して動作可
能な画像処理装置の動作を連続して説明する。In this embodiment, the omnidirectional conversion file generating device 11 and the omnidirectional conversion file reproducing device 12
Have been described as operating continuously via the first recording medium 14, but it goes without saying that they may operate independently. (Embodiment 2) FIGS. 2 and 3 show (Embodiment 2), in which the operation of two independently operable image processing apparatuses will be described successively.
【００４１】図２は（実施の形態２）の画像処理システ
ムを示す。この画像処理システムは、第１の画像処理装
置としての全方位機種ファイル生成装置２８と、第２の
画像処理装置としての全方位機種ファイル再生装置２９
と、第２記録メディア３０とで構成されている。全方位
機種ファイル生成装置２８は、全方位機種ファイル３１
を生成し、第２記録メディア３０に記憶する。全方位機
種ファイル再生装置２９は、第２記録メディア３１に記
憶された全方位機種ファイル３１を再生して透視画像を
生成し表示する機能を有する。FIG. 2 shows an image processing system according to the second embodiment. This image processing system includes an omnidirectional model file generating device 28 as a first image processing device and an omnidirectional model file reproducing device 29 as a second image processing device.
And a second recording medium 30. The omnidirectional model file generation device 28 includes an omnidirectional model file 31.
Is generated and stored in the second recording medium 30. The omnidirectional model file reproducing device 29 has a function of reproducing the omnidirectional model file 31 stored in the second recording medium 31 to generate and display a fluoroscopic image.
【００４２】全方位機種ファイル生成装置２８は、全方
位画像撮像手段３２とデータ合成手段３３と記憶手段３
４を有する。全方位画像撮像手段３２は、視点位置にお
ける全方向の画像を撮影し、全方位画像１８と、全方位
画像撮像手段３２の機種が特定できる機種情報３５を出
力する。The omnidirectional model file generating device 28 includes an omnidirectional image capturing unit 32, a data synthesizing unit 33, and a storage unit 3.
4 The omnidirectional image capturing unit 32 captures images in all directions at the viewpoint position, and outputs the omnidirectional image 18 and model information 35 that can specify the model of the omnidirectional image capturing unit 32.
【００４３】データ合成手段３３は、全方位画像撮像手
段３２から出力された全方位画像１８と機種情報３５を
１つのファイルとして合成し、全方位機種ファイル３１
を生成する。記憶手段３４は、データ合成手段３３から
出力された全方位機種ファイル３１にファイル名を付加
して第２記録メディア３０に記憶する。The data combining means 33 combines the omnidirectional image 18 output from the omnidirectional image capturing means 32 and the model information 35 into one file,
Generate The storage unit 34 adds a file name to the omnidirectional model file 31 output from the data synthesizing unit 33 and stores the file in the second recording medium 30.
【００４４】全方位機種ファイル再生装置２９は、機種
情報保持手段３６と画像保持手段３７と変換処理手段３
８と仮想パラメータ入力手段２４と、表示手段２５と機
種別変換パラメータ記憶手段３９とを有する。機種情報
保持手段３６は、第２記録メディア３０に記憶された全
方位機種ファイル３１から機種情報３５を呼び出し保持
する。The omnidirectional model file reproducing device 29 includes a model information holding unit 36, an image holding unit 37, and a conversion processing unit 3.
8, virtual parameter input means 24, display means 25, and model-specific conversion parameter storage means 39. The model information holding means 36 calls and holds the model information 35 from the omnidirectional model file 31 stored in the second recording medium 30.
【００４５】画像保持手段２２は、第２記録メディア３
０に記憶された全方位機種ファイル３１から全方位画像
１８を呼び出し保持する。仮想パラメータ入力手段２４
は、幾何変換処理に必要な仮想パラメータ２６を入力す
る手段である。変換データ記憶手段としての機種別変換
パラメータ記憶手段３９は、全方位画像１８を透視画像
２７に変換する時に必要な撮像機種個別の変換パラメー
タ１９を記憶する手段であり、各機種ごとに個別のデー
タを保持している。The image holding means 22 is provided for the second recording medium 3
The omnidirectional image 18 is called from the omnidirectional model file 31 stored at 0 and held. Virtual parameter input means 24
Is a means for inputting virtual parameters 26 required for the geometric transformation process. The model-specific conversion parameter storage means 39 serving as conversion data storage means is a means for storing conversion parameters 19 for each imaging model required when converting the omnidirectional image 18 into the fluoroscopic image 27. Holding.
【００４６】変換処理手段３８は、機種情報保持手段３
６に記憶された機種情報３５によって特定される機種に
一致する変換パラメータ１９を機種別変換パラメータ記
憶手段３９から呼び出し、仮想パラメータ入力手段２４
から入力された仮想パラメータ２６を用いて、画像保持
手段２２に記憶された全方位画像１８を変換処理して透
視画像２７に変換する処理を行う。The conversion processing means 38 includes the model information holding means 3
The conversion parameter 19 corresponding to the model specified by the model information 35 stored in the storage unit 6 is called from the model-specific conversion parameter storage unit 39, and the virtual parameter input unit 24 is called.
The omnidirectional image 18 stored in the image holding unit 22 is converted into a fluoroscopic image 27 by using the virtual parameter 26 input from the image processing unit 22.
【００４７】表示手段２５は、変換処理手段３８から出
力された透視画像２７をディスプレイ（図示せず）など
に表示する。図３は、機種別変換パラメータ記憶手段３
９に記憶された撮像機種個別の変換パラメータ１９の記
録状態を示した具体例である。機種情報として、Ａ機、
Ｂ機、Ｃ機の３種類の機種に対して、双曲面の形状を示
す反射面形状とテレビカメラの焦点距離を有している。The display means 25 displays the perspective image 27 output from the conversion processing means 38 on a display (not shown) or the like. FIG. 3 shows a model-specific conversion parameter storage unit 3.
9 is a specific example showing a recording state of an imaging model-specific conversion parameter 19 stored in an image pickup model 9. As model information, machine A,
Each of the three types of aircraft B and C has a reflecting surface shape indicating a shape of a hyperboloid and a focal length of a television camera.
【００４８】以下に、全方位機種パラメータ生成手段２
８の動作ステップを図２を用いて説明する。全方位機種
ファイル生成装置２８は下記のステップ（Ｓ３−１）
（Ｓ３−２）（Ｓ３−３）のステップを順に実行して処
理を実行する。 ステップ（Ｓ３−１） 全方位画像撮像手段３２は、全方位画像１８と全方位画
像撮像手段３２の機種情報３５を出力する。なお、機種
情報３５は全方位画像１８を透視画像２７に変換する時
に必要な変換パラメータが同一であれば、異なる装置を
用いても同一の機種情報でよい。また、機種名そのもの
でなくても、Ａ機、Ｂ機などの機種を特定できる記号で
あってもよいことは言うまでもない。The omnidirectional model parameter generating means 2 will now be described.
8 will be described with reference to FIG. The omnidirectional model file generation device 28 executes the following steps (S3-1).
(S3-2) Steps (S3-3) are sequentially executed to execute processing. Step (S3-1) The omnidirectional image capturing means 32 outputs the omnidirectional image 18 and the model information 35 of the omnidirectional image capturing means 32. Note that the model information 35 may be the same model information even if different devices are used as long as the conversion parameters required when converting the omnidirectional image 18 to the perspective image 27 are the same. Also, it goes without saying that a symbol that can specify a model such as the machine A and the machine B may be used instead of the model name itself.
【００４９】ステップ（Ｓ３−２） データ合成手段３３は、全方位画像撮像手段３２から出
力された機種情報３５と全方位画像１８とを一つのファ
イルに合成した全方位機種ファイル３１として記憶手段
３４に出力する。 ステップ（Ｓ３−３） 記憶手段３４は、データ合成手段３３から出力された全
方位機種ファイル３１を第２記録メディア３０に記録す
る。Step (S3-2) The data synthesizing unit 33 stores the model information 35 output from the omnidirectional image capturing unit 32 and the omnidirectional image 18 into a single file as the omnidirectional model file 31. Output to Step (S3-3) The storage unit 34 records the omnidirectional model file 31 output from the data combining unit 33 on the second recording medium 30.
【００５０】次に、全方位機種ファイル再生装置２９に
ついて、図２と図３を用いて説明する。全方位機種ファ
イル再生装置２９は下記のステップ（Ｓ４−１）（Ｓ４
−２）（Ｓ４−３）（Ｓ４−４）（Ｓ４−５）（Ｓ４−
６）のステップを順に実行して処理を実行する。Next, the omnidirectional model file reproducing apparatus 29 will be described with reference to FIGS. The omnidirectional model file reproducing device 29 performs the following steps (S4-1) (S4
-2) (S4-3) (S4-4) (S4-5) (S4-
The processing is executed by sequentially executing the steps of 6).
【００５１】ステップ（Ｓ４−１） 全方位機種ファイル再生装置２９を起動すると、機種情
報保持手段３６は、第２記録メディア３０に記憶された
全方位機種ファイル３１から、全方位画像撮像手段３２
の機種を特定できる機種情報３５を読み出し保持する。 ステップ（Ｓ４−２） 画像保持手段２２は、第２記録メディア３０に記憶され
た全方位機種ファイル３１から全方位画像１８を読み出
し保持する。Step (S4-1) When the omnidirectional model file reproducing device 29 is activated, the model information holding means 36 reads the omnidirectional model file 31 stored in the second recording medium 30 from the omnidirectional image capturing means 32.
The model information 35 that can specify the model of the device is read and held. Step (S4-2) The image holding means 22 reads and holds the omnidirectional image 18 from the omnidirectional model file 31 stored in the second recording medium 30.
【００５２】ステップ（Ｓ４−３） 変換処理手段３８は、機種情報保持手段３６に記憶され
た機種情報３５を読み取り、その機種と合致する変換パ
ラメータ１９を機種別変換パラメータ記憶手段３９から
呼び出す。例えば、機種情報保持手段３６に記憶された
機種情報が、”Ａ機 ”の場合には、図３に示した表か
らＡ機の変換パラメータとして、（ａ，ｂ，ｆ）＝（３
０,２０,１３）を変換処理手段３８に読み込む。Step (S4-3) The conversion processing means 38 reads the model information 35 stored in the model information holding means 36, and calls the conversion parameter 19 matching the model from the model-specific conversion parameter storage means 39. For example, when the model information stored in the model information holding means 36 is “A machine”, (a, b, f) = (3
(0, 20, 13) is read into the conversion processing means 38.
【００５３】ステップ（Ｓ４−４） 仮想パラメータ入力手段２４から幾何変換処理に必要な
仮想パラメータ２６を変換処理手段３８に入力する。 ステップ（Ｓ４−５） 変換処理手段３８が仮想パラメータ２６と変換パラメー
タ１９を用いて、画像保持手段２２に保持された全方位
画像１８を透視画像２７に変換する処理を行う。Step (S4-4) The virtual parameters 26 necessary for the geometric conversion processing are input from the virtual parameter input means 24 to the conversion processing means 38. Step (S <b> 4-5) The conversion processing unit 38 performs a process of converting the omnidirectional image 18 stored in the image storage unit 22 into the perspective image 27 using the virtual parameter 26 and the conversion parameter 19.
【００５４】ステップ（Ｓ４−６） 変換処理手段３８が生成した透視画像２７が表示手段２
５に送られ表示される。このように、全方位画像撮像手
段３２の機種情報に応じた変換パラメータを予め全方位
機種ファイル再生装置が保持していることにより、複数
の機種の全方位画像撮像手段３２により作成された全方
位画像ファイルが多数存在する場合でも、全方位画像を
透視画像に変換することが可能である。さらに、全方位
機種ファイルには、全方位画像に加えて機種情報という
容量の小さいデータを付加するだけよいので、データ容
量を最小限にでき、記録メディアへの記憶容量を減らす
ことが出来る。Step (S4-6) The perspective image 27 generated by the conversion processing means 38 is displayed on the display means 2
5 and displayed. As described above, since the omnidirectional model file reproducing apparatus stores the conversion parameters corresponding to the model information of the omnidirectional image capturing means 32 in advance, the omnidirectional image files created by the omnidirectional image capturing means 32 of a plurality of models are used. Even when a large number of image files exist, it is possible to convert an omnidirectional image into a fluoroscopic image. Furthermore, in addition to the omnidirectional image, it is only necessary to add small-sized data called model information to the omnidirectional model file, so that the data capacity can be minimized and the storage capacity on the recording medium can be reduced.
【００５５】（実施の形態３）図４は（実施の形態３）
の画像処理システムを示す。図４において、第２記録メ
ディアは（実施の形態２）の第２記録メディア３０と同
じであり、全方位機種ファイル３１を記憶している。全
方位機種ファイル再生装置４１は、機種情報保持手段３
６、画像保持手段２２、仮想パラメータ入力手段２４、
表示手段２５、変換処理手段３８、機種別パラメータ記
憶手段３９、通信手段４２により構成されている。ここ
で、（実施の形態２）と同じ符号を付したものは、（実
施の形態２）と同じである。(Embodiment 3) FIG. 4 shows (Embodiment 3).
1 shows an image processing system. In FIG. 4, the second recording medium is the same as the second recording medium 30 of the second embodiment, and stores an omnidirectional model file 31. The omnidirectional model file reproducing device 41 includes the model information holding unit 3.
6, image holding means 22, virtual parameter input means 24,
The display unit 25 includes a display unit 25, a conversion processing unit 38, a model-specific parameter storage unit 39, and a communication unit 42. Here, components denoted by the same reference numerals as those of the second embodiment are the same as those of the second embodiment.
【００５６】機種別パラメータ記憶手段３９は、機種ご
との変換パラメータを記憶する手段であり、変換処理手
段３８が指定した機種に一致する変換パラメータ１９を
呼び出して変換処理手段３８に送る。また、この機種別
パラメータ記憶手段３９は通信手段４２を介して情報セ
ンタ４３に接続されており、内部に記憶した変換パラメ
ータを情報センタ４３の情報に書き換え可能な機能を有
する。The model-specific parameter storage means 39 is a means for storing the conversion parameters for each model. The conversion parameter 19 corresponding to the model specified by the conversion processing means 38 is called and sent to the conversion processing means 38. The model-specific parameter storage means 39 is connected to the information center 43 via the communication means 42, and has a function of rewriting conversion parameters stored therein to information of the information center 43.
【００５７】データ更新手段としての通信手段４２は、
情報センタ４３の最新データ記憶手段４４と機種別変換
パラメータ記憶手段３９との間でデータのやり取りを行
うことが出来る装置である。情報センタ４３は、全方位
機種ファイル再生装置４１とは独立して設けられてお
り、常時、最新の機種の変換パラメータを記憶した最新
変換データ記憶手段４４を有している。Communication means 42 as data updating means
This is an apparatus capable of exchanging data between the latest data storage means 44 of the information center 43 and the model-specific conversion parameter storage means 39. The information center 43 is provided independently of the omnidirectional model file reproducing device 41, and always has the latest conversion data storage means 44 which stores the conversion parameters of the latest model.
【００５８】（実施の形態３）の画像処理システムの動
作ステップを図４を用いて説明する。下記のステップ
（Ｓ５−１）（Ｓ５−２）（Ｓ５−３）（Ｓ５−４）
（Ｓ５−５）（Ｓ５−６）（Ｓ５−７）（Ｓ５−８）の
ステップを順に実行して処理を実行する。The operation steps of the image processing system according to the third embodiment will be described with reference to FIG. The following steps (S5-1) (S5-2) (S5-3) (S5-4)
Steps (S5-5), (S5-6), (S5-7), and (S5-8) are sequentially executed to execute the processing.
【００５９】ステップ（Ｓ５−１） 全方位機種ファイル再生装置４１を起動すると、機種情
報保持手段３６は、全方位機種ファイル３１に記憶され
た全方位画像撮像手段の機種を特定できる機種情報３５
を、第２記録メディア３０から読み出し保持する。 ステップ（Ｓ５−２） 画像保持手段２２は第２記録メディア３０に記憶された
全方位機種ファイル３１から全方位画像１８を読み出し
保持する。Step (S5-1) When the omnidirectional model file reproducing device 41 is activated, the model information holding means 36 sets the model information 35 which can specify the model of the omnidirectional image capturing means stored in the omnidirectional model file 31.
Is read from the second recording medium 30 and held. Step (S5-2) The image holding means 22 reads and holds the omnidirectional image 18 from the omnidirectional model file 31 stored in the second recording medium 30.
【００６０】ステップ（Ｓ５−３） 変換処理手段３８は、機種情報保持手段３６に記憶され
た機種情報３５を読み取り、その機種と合致する変換パ
ラメータを機種別変換パラメータ記憶手段３９内で検索
する。機種名に合致する変換パラメータがある場合に
は、後述のステップ（Ｓ５−５）に処理を進める。機種
名に合致する変換パラメータがない場合には、後述のス
テップ（Ｓ５−４）に処理を進める。Step (S5-3) The conversion processing means 38 reads the model information 35 stored in the model information holding means 36, and searches the model-specific conversion parameter storage means 39 for a conversion parameter matching the model. If there is a conversion parameter that matches the model name, the process proceeds to step (S5-5) described below. If there is no conversion parameter that matches the model name, the process proceeds to step (S5-4) described later.
【００６１】ステップ（Ｓ５−４） 通信手段４２を介して情報センタ４３の最新変換データ
記憶手段４４にアクセスし、ステップ（Ｓ５−３）にお
いて読み取られた機種に合致する変換パラメータを検索
する。機種情報に合致する変換パラメータがある場合に
は最新変換データ記憶手段４４から通信手段４２を介し
て機種別変換パラメータ記憶手段３９に変換パラメータ
を呼び出し記憶する。変換パラメータが無い場合には変
換処理手段３８の処理を終了する。Step (S5-4) The latest conversion data storage means 44 of the information center 43 is accessed via the communication means 42, and a conversion parameter matching the model read in step (S5-3) is searched. When there is a conversion parameter that matches the model information, the conversion parameter is called from the latest conversion data storage unit 44 to the model-specific conversion parameter storage unit 39 via the communication unit 42 and stored. If there is no conversion parameter, the processing of the conversion processing unit 38 ends.
【００６２】ステップ（Ｓ５−５） 機種名に合致する変換パラメータ１９を機種別変換パラ
メータ記憶手段３９から変換処理手段３８に読み込む。 ステップ（Ｓ５−６） 仮想パラメータ入力手段２４から幾何変換処理に必要な
仮想パラメータ２６を変換処理手段３８に入力する。Step (S5-5) The conversion parameter 19 corresponding to the model name is read from the model-specific conversion parameter storage unit 39 to the conversion processing unit 38. Step (S5-6) The virtual parameters 26 necessary for the geometric conversion processing are input from the virtual parameter input means 24 to the conversion processing means 38.
【００６３】ステップ（Ｓ５−７） 変換処理手段３８が、仮想パラメータ２６と変換パラメ
ータ１９を用いて、画像保持手段２２に保持された全方
位画像１８を透視画像２７に変換する処理を行う。 ステップ（Ｓ５−８） 変換処理手段３８が生成した透視画像２７は、表示手段
２５に送られ表示される。Step (S5-7) The conversion processing means 38 uses the virtual parameters 26 and the conversion parameters 19 to convert the omnidirectional image 18 held in the image holding means 22 into a perspective image 27. Step (S5-8) The perspective image 27 generated by the conversion processing unit 38 is sent to the display unit 25 and displayed.
【００６４】なお、本実施の形態では、情報センタ４３
から機種別変換パラメータ記憶手段３９に必要な変換パ
ラメータのみを通信するように記したが、機種別変換パ
ラメータ記憶手段３９の内容の全体または一部を書き換
えて、最新のデータにしても良いことは明らかである。
また、本実施の形態では、変換処理手段３８から機種情
報３５の問い合わせ時に、機種別変換パラメータ記憶手
段３９が情報センタ４３との通信を行うとしたが、定期
的に情報センタ４３と通信し最新の変換パラメータを記
憶してもかまわない。In this embodiment, the information center 43
However, it is described that only the necessary conversion parameters are communicated to the model-specific conversion parameter storage means 39. However, the whole or part of the contents of the model-specific conversion parameter storage means 39 may be rewritten to obtain the latest data. it is obvious.
Further, in the present embodiment, when the conversion processing unit 38 inquires the model information 35, the model-specific conversion parameter storage unit 39 communicates with the information center 43. May be stored.
【００６５】このように、全方位機種ファイル再生装置
４１が、最新の機種の変換パラメータを保持していなく
ても、通信手段４２を介して最新の機種の変換パラメー
タを有する情報センタ４３にアクセスして、透視画像を
生成することが出来る。したがって、全方位画像を生成
する装置の機種が増えるたびに、全方位機種ファイル再
生装置を更新する必要がなく継続して使用することが可
能である。As described above, even if the omnidirectional model file reproducing apparatus 41 does not hold the conversion parameters of the latest model, it accesses the information center 43 having the conversion parameters of the latest model via the communication means 42. Thus, a perspective image can be generated. Therefore, every time the number of types of devices that generate omnidirectional images increases, the omnidirectional model file reproducing device does not need to be updated and can be used continuously.
【００６６】（実施の形態４）図５は（実施の形態４）
を示し、この実施の形態においては、二つの独立して動
作可能な画像処理装置の動作を連続して説明する。図５
は（実施の形態４）の画像処理システムを示す。この画
像処理システムは、第１の画像処理装置としての実行フ
ァイル生成装置４５と、第２の画像処理装置としての実
行ファイル再生装置４６と、第３記録メディア４７とで
構成されている。(Embodiment 4) FIG. 5 shows (Embodiment 4)
In this embodiment, the operation of the two independently operable image processing apparatuses will be described successively. FIG.
Indicates an image processing system according to the fourth embodiment. This image processing system includes an execution file generation device 45 as a first image processing device, an execution file reproduction device 46 as a second image processing device, and a third recording medium 47.
【００６７】実行ファイル生成装置４６は実行ファイル
４８を生成し、実行ファイル再生装置４６は実行ファイ
ル４８を再生して透視画像を生成し表示する機能を有す
る。実行ファイル生成装置４５は、全方位画像撮像手段
４９と実行ファイル作成手段５０とプログラム記憶手段
５１と記憶手段３４とを有する。全方位画像撮像手段４
９は、視点位置における全方向の画像を撮影し、全方位
画像１８を出力する。The execution file generator 46 generates an execution file 48, and the execution file reproducer 46 has a function of reproducing the execution file 48 to generate and display a perspective image. The execution file generation device 45 includes an omnidirectional image capturing unit 49, an execution file creation unit 50, a program storage unit 51, and a storage unit 34. Omnidirectional image capturing means 4
9 captures images in all directions at the viewpoint position and outputs an omnidirectional image 18.
【００６８】プログラム記憶手段５１は、全方位画像撮
像手段４９により撮像された全方位画像を透視画像に変
換するための変換処理を実行可能な変換プログラム５１
ａを保存している。実行ファイル作成手段５０は、全方
位画像撮像手段４９から出力された全方位画像１８とプ
ログラム記憶手段５１に記憶された変換プログラム５１
ａを１つのファイルとして合成して実行ファイル４８を
生成する。The program storage means 51 has a conversion program 51 capable of executing a conversion process for converting an omnidirectional image captured by the omnidirectional image capturing means 49 into a perspective image.
a is stored. The execution file creating unit 50 stores the omnidirectional image 18 output from the omnidirectional image capturing unit 49 and the conversion program 51 stored in the program storage unit 51.
The execution file 48 is generated by combining “a” as one file.
【００６９】記憶手段３４は、実行ファイル作成手段５
０から出力された実行ファイル４８にファイル名を付加
して第３記録メディア４７に記憶する。第２の画像処理
装置である実行ファイル再生装置４６は、プログラム保
持手段５３と画像保持手段２２とプログラム実行手段５
４と仮想パラメータ入力手段２４と、表示手段２５とを
有する。The storage means 34 stores the execution file creation means 5
A file name is added to the execution file 48 output from 0 and stored in the third recording medium 47. The executable file reproducing device 46, which is the second image processing device, includes a program holding unit 53, an image holding unit 22, and a program execution unit 5.
4, virtual parameter input means 24, and display means 25.
【００７０】プログラム保持手段５３は、第３記録メデ
ィア４７に記録された実行ファイル４８から変換プログ
ラム５１ａを呼び出し保持する。画像保持手段２２は、
実行ファイル４８から全方位画像１８を呼び出し保持す
る。仮想パラメータ入力手段２４は、幾何変換処理に必
要な仮想パラメータ２６を入力する手段である。The program holding means 53 calls and holds the conversion program 51a from the execution file 48 recorded on the third recording medium 47. The image holding means 22 includes:
The omnidirectional image 18 is called from the execution file 48 and held. The virtual parameter input means 24 is a means for inputting virtual parameters 26 necessary for the geometric transformation processing.
【００７１】プログラム実行手段５４は、プログラム保
持手段５３に記憶された変換プログラム５１ａを呼び出
し実行し、仮想パラメータ入力手段２４から入力された
仮想パラメータ２６を用いて、画像保持手段２２に記憶
された全方位画像１８を変換処理して透視画像２７に変
換する処理を行う。表示手段２５は、プログラム実行手
段５４から出力された透視画像２７をディスプレイ（図
示せず）などに表示する。The program executing means 54 calls and executes the conversion program 51 a stored in the program storing means 53, and uses the virtual parameters 26 inputted from the virtual parameter input means 24 to execute the entire program stored in the image storing means 22. A process of converting the azimuth image 18 into a perspective image 27 is performed. The display unit 25 displays the perspective image 27 output from the program execution unit 54 on a display (not shown) or the like.
【００７２】以下に、実行ファイル生成装置３２の動作
ステップを図５を用いて説明する。全方位変換ファイル
生成装置３２は下記のステップ（Ｓ６−１）（Ｓ６−
２）（Ｓ６−３）のステップを順に実行して処理を実行
する。 ステップ（Ｓ６−１） 全方位画像撮像手段３５が、全方位画像５を撮像し出力
する。The operation steps of the execution file generating device 32 will be described below with reference to FIG. The omnidirectional conversion file generation device 32 executes the following steps (S6-1) (S6-
2) The process is executed by sequentially executing the steps of (S6-3). Step (S6-1) The omnidirectional image capturing means 35 captures and outputs the omnidirectional image 5.
【００７３】ステップ（Ｓ６−２） 実行ファイル作成手段５０は、全方位画像撮像手段４９
から出力された全方位画像１８と、プログラム記憶手段
５１に記憶された変換プログラム５１ａとを一つのファ
イルに合成した実行ファイル４８として記憶手段３４に
出力する。 ステップ（Ｓ６−３） 記憶手段３４は、実行ファイル作成手段５０から出力さ
れた実行ファイル４８を第３記録メディア４７に記録す
る。Step (S 6-2) The execution file creating means 50 includes the omnidirectional image capturing means 49.
And the conversion program 51a stored in the program storage unit 51 is output to the storage unit 34 as an execution file 48 obtained by synthesizing the file into one file. Step (S6-3) The storage means 34 records the execution file 48 output from the execution file creation means 50 on the third recording medium 47.
【００７４】次に、実行ファイル再生装置４６の動作ス
テップを説明する。実行ファイル再生装置４６は下記の
ステップ（Ｓ７−１）（Ｓ７−２）（Ｓ７−３）（Ｓ７
−４）（Ｓ７−５）のステップを順に実行して処理を実
行する。 ステップ（Ｓ７−１） 実行ファイル再生装置４６を起動すると、プログラム保
持手段５３は、第３記録メディア４７に記憶された実行
ファイル４８から変換プログラム５１ａを読み出し保持
する。Next, the operation steps of the execution file reproducing device 46 will be described. The execution file reproducing device 46 executes the following steps (S7-1) (S7-2) (S7-3) (S7
-4) The processing is executed by sequentially executing the steps of (S7-5). Step (S7-1) When the execution file reproducing device 46 is started, the program holding means 53 reads and holds the conversion program 51a from the execution file 48 stored in the third recording medium 47.
【００７５】ステップ（Ｓ７−２） 画像保持手段２２は、第３記録メディア４７に記憶され
た実行ファイル４８から全方位画像１８を読み出し保持
する。 ステップ（Ｓ７−３） 仮想パラメータ入力手段２４から幾何変換処理に必要な
仮想パラメータ２６をプログラム実行手段５４に入力す
る。Step (S 7-2) The image holding means 22 reads and holds the omnidirectional image 18 from the execution file 48 stored in the third recording medium 47. Step (S <b> 7-3) The virtual parameters 26 required for the geometric transformation processing are input from the virtual parameter input unit 24 to the program execution unit 54.
【００７６】ステップ（Ｓ７−４） プログラム実行手段５４は、プログラム保持手段５３に
保持された変換プログラム５１ａを呼び出して実行し、
仮想パラメータ入力手段２４により入力された仮想パラ
メータ２６を用いて、画像保持手段２２に保持された全
方位画像１８を透視画像２７に変換する処理を行う。Step (S7-4) The program executing means 54 calls and executes the conversion program 51a held in the program holding means 53,
Using the virtual parameter 26 input by the virtual parameter input unit 24, a process of converting the omnidirectional image 18 held in the image holding unit 22 into a perspective image 27 is performed.
【００７７】ステップ（７−５） プログラム実行手段５４が生成した透視画像２７は表示
手段２５に送られ、表示される。このように、全方位画
像撮像手段４９の変換プログラム５１ａを、全方位画像
１８とともに一つの実行ファイル４８として保持してい
るため、多くの機種により記録された全方位画像が混在
していても、実行ファイルに含まれる実行プログラムを
稼動することにより変換処理を行うことができる。Step (7-5) The perspective image 27 generated by the program execution means 54 is sent to the display means 25 and displayed. As described above, since the conversion program 51a of the omnidirectional image capturing means 49 is held together with the omnidirectional image 18 as one execution file 48, even if omnidirectional images recorded by many models are mixed, The conversion process can be performed by running the execution program included in the execution file.
【００７８】また、実行ファイル自体が、変換プログラ
ムを有しているため、再生側に変換のための処理プログ
ラムを保持していなくても、透視画像の生成が可能であ
る。なお、この（実施の形態４）では、プログラム記憶
手段５１を全方位画像撮像手段４９と別に設けたが、全
方位画像撮像手段４９がプログラム記憶手段５１を内蔵
していてもよい。Further, since the execution file itself has the conversion program, it is possible to generate a fluoroscopic image even if the reproduction side does not hold a processing program for conversion. In this (Embodiment 4), the program storage unit 51 is provided separately from the omnidirectional image capturing unit 49, but the omnidirectional image capturing unit 49 may include the program storage unit 51.
【００７９】また、この（実施の形態４）では、仮想パ
ラメータ入力手段２４を、独立した手段として示した
が、プログラム保持手段５３に記憶された変換プログラ
ム５１ａ自身が、仮想パラメータ入力の入力機能を有し
ており、変換プログラム５１ａの起動時に仮想パラメー
タの入力を促す機能を有していてもかまわない。上記の
（実施の形態１）（実施の形態２）（実施の形態４）に
おける記録メディアは、フロッピー（登録商標）ディス
クやＨＤＤなどの磁気記録メディアや、光記録メディア
など、電子情報を記録することが可能であればその種別
は問わない。したがって、記録メディア単体で流通する
ことも可能である。In this (Embodiment 4), the virtual parameter input means 24 is shown as an independent means. However, the conversion program 51a stored in the program holding means 53 itself has an input function of virtual parameter input. It may have a function to prompt the input of virtual parameters when the conversion program 51a is started. The recording media in the above (Embodiment 1), (Embodiment 2) and (Embodiment 4) record electronic information such as magnetic recording media such as floppy (registered trademark) disks and HDDs and optical recording media. The type does not matter as long as it is possible. Therefore, it is also possible to distribute the recording medium alone.
【００８０】また、記憶手段３４おいては、記録するフ
ァイルのファイル名をつけて記憶するが、ファイル名に
ついては、全方位画像特有の拡張子をつけて、他の種類
の画像と判別できることが望ましい。例えば、（ファイ
ル名．ｏｍｉ）のようなファイル名とするとよい。さら
に、記憶するファイルが、（実施の形態１）の全方位変
換ファイルか、（実施の形態２）の全方位機種ファイル
か、（実施の形態４）の実行ファイルかによって、異な
る拡張子をつけたファイルにすることが望ましい。In the storage means 34, the file to be recorded is given a file name and stored. However, the file name may be distinguished from other types of images by adding an extension specific to an omnidirectional image. desirable. For example, a file name such as (file name.omi) may be used. A different extension is added depending on whether the file to be stored is the omnidirectional conversion file of (Embodiment 1), the omnidirectional model file of (Embodiment 2), or the execution file of (Embodiment 4). File.
【００８１】また、（実施の形態１）（実施の形態２）
（実施の形態４）において、全方位画像撮像手段が双曲
面の反射鏡を有する場合について示したが、任意視点回
りの全方向の画像を撮像する撮像装置であれば、双曲面
の反射鏡を必ずしも有する必要は無く、例えば円錐系の
反射鏡を有したり、二つの曲率を有する反射鏡を有して
もよく、それらの変換パラメータを双曲面の変換パラメ
ータと置き換えれば同様の効果が得られることは明らか
である。(Embodiment 1) (Embodiment 2)
Fourth Embodiment In the fourth embodiment, the case where the omnidirectional image capturing means has a hyperboloidal reflecting mirror has been described. However, if the imaging apparatus captures images in all directions around an arbitrary viewpoint, a hyperboloidal reflecting mirror can be used. It is not necessary to have it, and for example, it may have a conical reflecting mirror or a reflecting mirror having two curvatures, and the same effect can be obtained by replacing those conversion parameters with hyperboloid conversion parameters. It is clear.
【００８２】また、（実施の形態１）（実施の形態２）
（実施の形態４）において、全方位画像を仮想視点から
の平面状の透視画像に変換する場合について示したが、
必ずしも平面状の画像である必要はなく、例えば円筒状
の表示装置などに表示する場合には、仮想パラメータを
円筒状の透視画像に適するものに変えても同様の効果が
得られることは明らかである。(Embodiment 1) (Embodiment 2)
Fourth Embodiment In the fourth embodiment, a case has been described in which an omnidirectional image is converted into a planar perspective image from a virtual viewpoint.
It is not necessarily required that the image is a planar image.For example, when the image is displayed on a cylindrical display device or the like, it is apparent that the same effect can be obtained even if the virtual parameters are changed to those suitable for a cylindrical perspective image. is there.
【００８３】[0083]
【発明の効果】以上のように本発明によれば、異なる撮
像装置により撮像された複数の全方位画像をそれぞれ良
好に変換して透視画像に変換表示することが可能であ
る。As described above, according to the present invention, it is possible to satisfactorily convert a plurality of omnidirectional images picked up by different image pickup devices, and to convert and display the omnidirectional images into fluoroscopic images.
【図１】本発明の（実施の形態１）の画像処理システム
の構成図FIG. 1 is a configuration diagram of an image processing system according to a first embodiment of the present invention;
【図２】本発明の（実施の形態２）の画像処理システム
の構成図FIG. 2 is a configuration diagram of an image processing system according to a second embodiment of the present invention;
【図３】同実施の形態における機種別パラメータ記憶手
段に記憶されたデータの説明図FIG. 3 is an explanatory diagram of data stored in a model-specific parameter storage unit according to the embodiment;
【図４】本発明の（実施の形態３）の画像処理システム
の構成図FIG. 4 is a configuration diagram of an image processing system according to a third embodiment of the present invention;
【図５】本発明の（実施の形態４）の画像処理システム
の構成図FIG. 5 is a configuration diagram of an image processing system according to a fourth embodiment of the present invention.
【図６】従来の全方位撮像装置の幾何構成を示す説明図FIG. 6 is an explanatory diagram showing a geometric configuration of a conventional omnidirectional imaging device.
【図７】同従来例の全方位画像を示す説明図FIG. 7 is an explanatory diagram showing an omnidirectional image of the conventional example.
【図８】同従来例の透視画像を示す説明図FIG. 8 is an explanatory view showing a perspective image of the conventional example.
１１ 全方位変換ファイル生成装置 １２ 全方位変換ファイル再生装置 １３ 全方位変換ファイル １４ 第１記録メディア １５ 全方位画像撮像手段 １６ データ合成手段 １７ 記憶手段 １８ 全方位画像 １９ 変換パラメータ ２１ 変換パラメータ保持手段 ２２ 画像保持手段 ２４ 仮想パラメータ入力手段 ２３ 変換処理手段 ２５ 表示手段 ２６ 仮想パラメータ ２７ 透視画像 ２８ 全方位機種ファイル生成装置 ２９ 全方位機種ファイル再生装置 ３０ 第２記録メディア ３１ 全方位機種ファイル ３２ 全方位画像撮像手段 ３３ データ合成手段 ３４ 記憶手段 ３５ 機種情報 ３６ 機種情報保持手段 ３８ 変換処理手段 ３９ 機種別変換パラメータ記憶手段 ４１ 全方位機種ファイル再生装置 ４２ 通信手段 ４３ 情報センタ ４４ 最新データ記憶手段 ４５ 実行ファイル生成装置 ４６ 実行ファイル再生装置 ４７ 第３記録メディア ４９ 全方位画像撮像手段 ５０ 実行ファイル作成手段 ５１ プログラム記憶手段 ５１ａ 変換プログラム ５２ 実行ファイル ５３ プログラム保持手段 ５４ プログラム実行手段 Reference Signs List 11 omnidirectional conversion file generating device 12 omnidirectional conversion file reproducing device 13 omnidirectional conversion file 14 first recording medium 15 omnidirectional image capturing means 16 data synthesizing means 17 storage means 18 omnidirectional image 19 conversion parameters 21 conversion parameter holding means 22 Image holding means 24 Virtual parameter input means 23 Conversion processing means 25 Display means 26 Virtual parameters 27 Perspective image 28 Omnidirectional model file generating device 29 Omnidirectional model file reproducing device 30 Second recording medium 31 Omnidirectional model file 32 Omnidirectional image capturing Means 33 Data synthesis means 34 Storage means 35 Model information 36 Model information holding means 38 Conversion processing means 39 Model-specific conversion parameter storage means 41 Omnidirectional model file reproducing device 42 Communication means 43 Information center 44 Latest data storage means 5 executes file generation device 46 executes the file reproducing apparatus 47 third recording medium 49 the omnidirectional image pickup means 50 executes file creating means 51 program storage unit 51a conversion program 52 executable file 53 program holding means 54 program executing means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 5/91 Ｚ Ｆターム(参考） 5B057 BA02 BA11 CA12 CA19 CB12 CC01 CD20 CH11 DA16 5C022 AA01 AB62 AC01 AC69 AC75 CA00 5C053 FA08 FA14 FA21 FA23 GB05 HA21 JA24 KA04 KA19 KA21 KA24 LA01 LA06 LA14 5C054 AA05 CA04 CC05 CH02 EA05 FD03 FE02 FE21 FF03 GB02 GD09 HA17 5C073 AA06 AB04 AB05 AB17 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 7/18 H04N 5/91 Z F term (Reference) 5B057 BA02 BA11 CA12 CA19 CB12 CC01 CD20 CH11 DA16 5C022 AA01 AB62 AC01 AC69 AC75 CA00 5C053 FA08 FA14 FA21 FA23 GB05 HA21 JA24 KA04 KA19 KA21 KA24 LA01 LA06 LA14 5C054 AA05 CA04 CC05 CH02 EA05 FD03 FE02 FE21 FF03 GB02 GD09 HA17 5C073 AA06 AB04 AB05 AB17 AB17
Claims (19)
する制御情報を前記全方位画像に付加する処理手段と、 前記制御情報と前記全方位画像とを１つのファイルとし
て記憶する記憶手段とを有する画像処理システム。An imaging unit that captures a surrounding omnidirectional image; a processing unit that adds control information for converting the omnidirectional image obtained by the imaging unit to the omnidirectional image; Storage means for storing the omnidirectional image as one file.
あることを特徴とする請求項１記載の画像処理システ
ム。2. The image processing system according to claim 1, wherein the control information is coordinate conversion information of an omnidirectional image.
とを特徴とする請求項１記載の画像処理システム。3. The image processing system according to claim 1, wherein the control information is model information of an imaging unit.
めの変換プログラムであることを特徴とする請求項１記
載の画像処理システム。4. The image processing system according to claim 1, wherein the control information is a conversion program for converting an omnidirectional image.
記憶された全方位画像ファイルを読み出し変換処理を施
して出力する画像処理システムであって、 前記全方位画像ファイルの制御情報を読み出し保持する
制御情報保持手段と、 前記全方位画像ファイルの全方位画像を読み出し保持す
る画像保持手段と、 前記画像保持手段に保持された全方位画像に対して前記
制御情報保持手段に保持された制御情報により決定され
る変換処理を行う変換処理手段と、 前記変換処理手段により変換処理された画像を表示する
表示手段とを有する画像処理システム。5. An image processing system which reads an omnidirectional image file in which an omnidirectional image and control information are stored in one file, performs a conversion process, and outputs the readout, and reads and holds the control information of the omnidirectional image file. Control information holding means, image holding means for reading and holding an omnidirectional image of the omnidirectional image file, control information held by the control information holding means for the omnidirectional image held by the image holding means An image processing system comprising: a conversion processing unit that performs a conversion process determined by the following; and a display unit that displays an image converted by the conversion processing unit.
あることを特徴とする請求項５記載の画像処理システ
ム。6. The image processing system according to claim 5, wherein the control information is coordinate conversion information of an omnidirectional image.
種情報が１つのファイルに記憶された全方位画像ファイ
ルを読み出し変換処理を施して出力する画像処理システ
ムであって、 全方位画像ファイルの機種情報を読み出し保持する機種
情報保持手段と、 前記全方位画像ファイルの全方位画像を読み出し保持す
る画像保持手段と、 機種ごとに異なる複数の画像変換データを有する変換デ
ータ記憶手段と、 前記機種情報保持手段に保持された機種情報により指定
される画像変換手段を変換データ記憶手段から呼び出し
前記画像保持手段に保持された全方位画像を変換処理す
る変換処理手段と、 変換処理された画像を表示する表示手段とを有する画像
処理システム。7. An image processing system for reading an omnidirectional image file in which an omnidirectional image and model information obtained by capturing the omnidirectional image are stored in a single file, performing a conversion process, and outputting the read out omnidirectional image file. A model information holding unit that reads and holds the model information of the device; an image holding unit that reads and holds the omnidirectional image of the omnidirectional image file; a conversion data storage unit having a plurality of image conversion data different for each model; A conversion processing unit for calling an image conversion unit designated by the model information stored in the information storage unit from the conversion data storage unit and converting the omnidirectional image stored in the image storage unit; and displaying the converted image. An image processing system having a display unit that performs the processing.
データを書き換えるデータ更新手段を有することを特徴
とする請求項７記載の画像処理システム。8. The image processing system according to claim 7, further comprising data updating means for rewriting the image conversion data stored in the conversion data storage means.
データ記憶手段を通信手段を介して接続し、機種情報セ
ンタから画像変換データを取得して書き換えるように構
成した請求項８記載の画像処理システム。9. The image processing apparatus according to claim 8, wherein the data updating means is configured to connect the model information center and the conversion data storage means via communication means, and to acquire and rewrite image conversion data from the model information center. system.
する変換プログラムが１つのファイルに記憶された全方
位画像ファイルを読み出し変換処理を施して出力する画
像処理システムであって、 前記全方位画像ファイルの全方位画像を読み出し保持す
る画像保持手段と、 前記全方位画像ファイルの変換プログラムを読み出し保
持するプログラム保持手段と、 前記プログラム保持手段に保持された変換プログラムに
より前記画像保持手段に保持された全方位画像を変換処
理する変換処理手段と、変換処理された画像を表示する
表示手段とを有する画像処理システム。10. An image processing system, wherein an omnidirectional image and a conversion program for converting the omnidirectional image read out an omnidirectional image file stored in one file, perform conversion processing, and output the omnidirectional image file. Image holding means for reading and holding an omnidirectional image of an image file; program holding means for reading and holding a conversion program for the omnidirectional image file; held in the image holding means by a conversion program held in the program holding means. An image processing system comprising: conversion processing means for converting an omnidirectional image; and display means for displaying the converted image.
に記憶された全方位画像ファイルを読み出し、前記全方
位画像ファイルから制御情報を呼び出し、前記全方位画
像に対して前記制御情報により決定される変換処理を行
い表示する画像処理方法。11. An omnidirectional image file in which an omnidirectional image and control information are stored in one file is read, control information is called from the omnidirectional image file, and the omnidirectional image is determined by the control information. An image processing method for performing conversion processing and displaying.
であることを特徴とする請求項１１記載の画像処理方
法。12. The image processing method according to claim 11, wherein the control information is coordinate conversion information of an omnidirectional image.
機種情報が１つのファイルに記憶された全方位画像ファ
イルを読み出し変換処理を施して出力する画像処理方法
であって、 前記全方位画像ファイルから機種情報を呼び出し、 機種ごとに異なる複数の画像変換手段を有する変換デー
タ記憶手段から前記機種情報により指定される特定の画
像変換手段を呼び出し、 前記特定の画像変換手段により前記全方位画像を変換処
理し表示する画像処理方法。13. An image processing method for reading an omnidirectional image file in which an omnidirectional image and model information obtained by capturing the omnidirectional image are stored in one file, performing a conversion process, and outputting the read out file. Calls model information from a file, calls a specific image conversion means designated by the model information from conversion data storage means having a plurality of image conversion means different for each model, and calls the omnidirectional image by the specific image conversion means. An image processing method for converting and displaying.
像変換手段を、機種ごとに異なる複数の画像変換データ
を有する変換データ記憶手段から呼び出すに際し、指定
される前記前記画像変換手段が見つからない時に、機種
情報センタと通信して前記画像変換手段を取得する請求
項１３記載の画像処理方法。14. The method according to claim 1, wherein when the image conversion means specified by the called model information is called from conversion data storage means having a plurality of image conversion data different for each model, the specified image conversion means is not found. 14. The image processing method according to claim 13, wherein the image conversion unit is obtained by communicating with a model information center.
ァイルに記憶された全方位画像ファイルを読み出し変換
処理を施して出力する画像処理方法であって、 全方位画像ファイルから変換プログラムを呼び出し、 前記全方位画像に対して前記変換プログラムにより変換
処理を行い表示する画像処理方法。15. An image processing method in which an omnidirectional image and a conversion program read an omnidirectional image file stored in one file, perform conversion processing, and output the converted omnidirectional image file. An image processing method for performing conversion processing on the omnidirectional image by the conversion program and displaying the converted image.
より撮像された全方位画像に、全方位画像を変換処理す
るための制御情報を付加し、前記制御情報と前記全方位
画像を１つのファイルとして記憶した記憶媒体。16. Control information for converting an omnidirectional image is added to an omnidirectional image captured by an image capturing means for capturing a surrounding omnidirectional image, and the control information and the omnidirectional image are combined into one. A storage medium stored as a file.
であることを特徴とする請求項１６記載の記憶媒体。17. The storage medium according to claim 16, wherein the control information is coordinate conversion information of an omnidirectional image.
種情報であることを特徴とする請求項１６記載の記憶媒
体。18. The storage medium according to claim 16, wherein the control information is model information of an omnidirectional image capturing unit.
ための変換プログラムであることを特徴とする請求項１
６記載の記憶媒体。19. The control information according to claim 1, wherein the control information is a conversion program for converting an omnidirectional image.
6. The storage medium according to 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28891299A JP2001109881A (en) | 1999-10-12 | 1999-10-12 | System and method for image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28891299A JP2001109881A (en) | 1999-10-12 | 1999-10-12 | System and method for image processing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001109881A true JP2001109881A (en) | 2001-04-20 |
Family
ID=17736413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28891299A Pending JP2001109881A (en) | 1999-10-12 | 1999-10-12 | System and method for image processing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001109881A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002097730A1 (en) * | 2001-05-25 | 2002-12-05 | Matsushita Electric Industrial Co., Ltd. | Wide-angle image generating device |
| JP5299547B1 (en) * | 2012-08-27 | 2013-09-25 | 富士ゼロックス株式会社 | Imaging device and mirror |
| WO2013183347A1 (en) * | 2012-06-06 | 2013-12-12 | ソニー株式会社 | Image processing device, image processing method, and program |
| WO2013183346A1 (en) * | 2012-06-06 | 2013-12-12 | ソニー株式会社 | Image processing device, image processing method, and program |
| JP2015053573A (en) * | 2013-09-06 | 2015-03-19 | キヤノン株式会社 | Image recording apparatus and imaging apparatus |
-
1999
- 1999-10-12 JP JP28891299A patent/JP2001109881A/en active Pending
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002097730A1 (en) * | 2001-05-25 | 2002-12-05 | Matsushita Electric Industrial Co., Ltd. | Wide-angle image generating device |
| CN1315098C (en) * | 2001-05-25 | 2007-05-09 | 松下电器产业株式会社 | Wide-angle image generating device |
| US7312810B2 (en) | 2001-05-25 | 2007-12-25 | Matsushita Electric Industrial Co., Ltd. | Wide-angle image generating device |
| US9398216B2 (en) | 2012-06-06 | 2016-07-19 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US10986268B2 (en) | 2012-06-06 | 2021-04-20 | Sony Corporation | Image processing apparatus, image processing method, and program |
| WO2013183346A1 (en) * | 2012-06-06 | 2013-12-12 | ソニー株式会社 | Image processing device, image processing method, and program |
| US11711618B2 (en) | 2012-06-06 | 2023-07-25 | Sony Group Corporation | Image processing apparatus, image processing method, and program |
| CN104321803A (en) * | 2012-06-06 | 2015-01-28 | 索尼公司 | Image processing device, image processing method, and program |
| CN104365083A (en) * | 2012-06-06 | 2015-02-18 | 索尼公司 | Image processing device, image processing method, and program |
| US11102402B2 (en) | 2012-06-06 | 2021-08-24 | Sony Corporation | Image processing apparatus, image processing method, and program |
| CN110177211B (en) * | 2012-06-06 | 2021-07-16 | 索尼公司 | Image processing apparatus, image processing method, and computer-readable storage medium |
| US9762796B2 (en) | 2012-06-06 | 2017-09-12 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US11039068B2 (en) | 2012-06-06 | 2021-06-15 | Sony Group Corporation | Image processing apparatus, image processing method, and program |
| US10999502B2 (en) | 2012-06-06 | 2021-05-04 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US10091417B2 (en) | 2012-06-06 | 2018-10-02 | Sony Corporation | Image processing apparatus, image processing method, and program |
| CN110177211A (en) * | 2012-06-06 | 2019-08-27 | 索尼公司 | Image processing apparatus, image processing method and program |
| WO2013183347A1 (en) * | 2012-06-06 | 2013-12-12 | ソニー株式会社 | Image processing device, image processing method, and program |
| CN103634510B (en) * | 2012-08-27 | 2018-04-06 | 富士施乐株式会社 | Photographic means and mirror |
| JP5299547B1 (en) * | 2012-08-27 | 2013-09-25 | 富士ゼロックス株式会社 | Imaging device and mirror |
| CN103634510A (en) * | 2012-08-27 | 2014-03-12 | 富士施乐株式会社 | Photographing device and mirror |
| US9866751B2 (en) | 2013-09-06 | 2018-01-09 | Canon Kabushiki Kaisha | Image recording apparatus and imaging apparatus |
| JP2015053573A (en) * | 2013-09-06 | 2015-03-19 | キヤノン株式会社 | Image recording apparatus and imaging apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5508734A (en) | Method and apparatus for hemispheric imaging which emphasizes peripheral content | |
| US6760026B2 (en) | Image-based virtual reality player with integrated 3D graphics objects | |
| US5768447A (en) | Method for indexing image information using a reference model | |
| KR100924411B1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US20020118890A1 (en) | Method and apparatus for processing photographic images | |
| US8717504B2 (en) | Picture processing apparatus, processing method for use therewith, and program | |
| KR940017747A (en) | Image processing device | |
| JP2002269591A (en) | Image reproducing device, and image processing device and method | |
| CN101778217A (en) | Image processing apparatus, image processing method and program | |
| JP3278623B2 (en) | Map three-dimensionalization system, map three-dimensionalization method, and storage medium storing map three-dimensionalization program | |
| JP4406824B2 (en) | Image display device, pixel data acquisition method, and program for executing the method | |
| JP2001109881A (en) | System and method for image processing | |
| WO2024125409A1 (en) | User behavior recording method based on ar device, and ar device | |
| CN104412304A (en) | Information processing apparatus, information processing method, and information processing program | |
| JP2001036840A (en) | Photographed image managing method, photographed image reproducing method using electronic map and device for the same | |
| JP2000067227A (en) | Image display device method and recording medium | |
| JP2002092625A (en) | Image processor, its method, and storage medium | |
| JP4184690B2 (en) | Image forming method, image forming program, and image forming apparatus | |
| JP2005063141A (en) | Image conversion system and image conversion method | |
| JPH1188910A (en) | Three-dimension model generating device, three-dimension model generating method, medium recording three-dimension model generating program three-dimension model reproduction device, three-dimension model reproduction method and medium recording three-dimension model reproduction program | |
| JP3224850B2 (en) | Data recording method and data reproducing device | |
| JP2009259254A (en) | Content expression control device, content expression control system, reference object for content expression control and content expression control program | |
| JP2000188746A (en) | Image display system, image display method and served medium | |
| JP2007180719A (en) | Vehicle drive support apparatus | |
| CN109978761A (en) | A kind of method, apparatus and electronic equipment generating panoramic pictures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050524 |