JP2019024206A - Image display system, image display device, image display method, and program - Google Patents
Image display system, image display device, image display method, and program Download PDFInfo
- Publication number
- JP2019024206A JP2019024206A JP2018166919A JP2018166919A JP2019024206A JP 2019024206 A JP2019024206 A JP 2019024206A JP 2018166919 A JP2018166919 A JP 2018166919A JP 2018166919 A JP2018166919 A JP 2018166919A JP 2019024206 A JP2019024206 A JP 2019024206A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- point
- panoramic image
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000003384 imaging method Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 21
- 230000001133 acceleration Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Abstract
Description
本発明は、画像表示システム、画像表示装置、画像表示方法、およびプログラムに関する。 The present invention relates to an image display system, an image display device, an image display method, and a program.
現在、超広角レンズや複数カメラや複数回撮影などを用いてパノラマ写真またはパノラマ動画（以下、静止画と動画とを区別せず、パノラマ画像と呼ぶ）を撮影する方法が普及している。また、パノラマ画像の画角を上下左右に３６０度の全天球まで広げた全天球画像を撮影する方法も知られている。 Currently, a method of photographing a panoramic picture or a panoramic video (hereinafter, referred to as a panoramic image without distinguishing between a still picture and a moving picture) using an ultra-wide-angle lens, a plurality of cameras, a plurality of times of photographing, and the like is widespread. There is also known a method of shooting a omnidirectional image in which the angle of view of a panoramic image is expanded to 360 celestial spheres in the vertical and horizontal directions.
これらの機器で撮影されたパノラマ画像は、例えばパーソナルコンピュータやスマートフォン、タブレット型コンピュータなどで表示され、閲覧者が視点を自由に変えながら閲覧し得る表示技術が知られている。 A panoramic image taken with these devices is displayed on, for example, a personal computer, a smartphone, a tablet computer, or the like, and a display technology that allows a viewer to browse while freely changing the viewpoint is known.
しかしながら、従来のパノラマ画像の表示技術では、最初の表示時における注目点の位置や、表示中における注目点の変化は、撮影時の機器の都合で決まってしまい、撮影者の意図を反映させることは困難であるという問題があった。 However, with the conventional panoramic image display technology, the position of the point of interest at the time of initial display and the change of the point of interest during display are determined by the convenience of the device at the time of shooting, and reflect the photographer's intention Had the problem of being difficult.
また、撮影者（編集者を含む。以下同じ）が意図する注目点を撮影後に編集するには、膨大な時間および手間がかかってしまい、特別な機材や技能を持たない撮影者には、撮影後に注目点を編集することは事実上不可能であった。 In addition, it takes a lot of time and effort to edit the point of interest intended by the photographer (including the editor; the same shall apply hereinafter) after shooting, and for photographers who do not have special equipment or skills, It was virtually impossible to edit the point of interest later.
例えば特許文献１には、パノラマ画像の表示領域を指定する目的で、表示画像の領域制御情報に従ってパノラマ画像の表示画像領域を表示する表示画像制御装置が開示されている。この表示画像制御装置は、表示画像領域制御情報を予め準備し、表示するパノラマ画像とともに提供して、表示画像制御装置にて画表示画像領域を表示させている。 For example, Patent Document 1 discloses a display image control apparatus that displays a display image area of a panoramic image according to area control information of the display image for the purpose of designating a display area of the panoramic image. This display image control apparatus prepares display image area control information in advance and provides it together with a panoramic image to be displayed, and the display image control apparatus displays the image display image area.
確かに特許文献１に記載の方法でも撮影者など画像提供者側で意図した表示画像領域を表示することができる。しかし、特許文献１の方法では表示画像領域を制御するための情報を作成する必要があり、撮影者が意図する注目点をパノラマ画像の表示に反映させることが困難であるという問題は依然として解消できていない。 Certainly, even the method described in Patent Document 1 can display a display image region intended on the image provider side such as a photographer. However, in the method of Patent Document 1, it is necessary to create information for controlling the display image area, and the problem that it is difficult to reflect the attention point intended by the photographer on the display of the panoramic image can still be solved. Not.
本発明は、上記に鑑みてなされたものであって、その目的は、撮影者が意図する注目点を簡単にパノラマ画像の表示に反映させることができる画像表示システム、画像表示装置、画像表示方法、およびプログラムを提供することにある。 The present invention has been made in view of the above, and an object of the present invention is to provide an image display system, an image display apparatus, and an image display method capable of easily reflecting a point of interest intended by a photographer in displaying a panoramic image. , And to provide a program.
上述した課題を解決し、目的を達成するために、本発明は、パノラマ画像、並びに、装置自身の傾き、方位、及び位置を取得する画像撮影装置と、撮影者が意図する注目すべき撮影対象の位置を注目点位置として指示する注目点指示装置と、前記パノラマ画像、並びに、前記画像撮影装置の傾き、方位、及び位置と、に基づいて、天頂方向に対して前記パノラマ画像を補正し、天頂方向に対して補正された前記パノラマ画像を前記注目点位置に基づいて水平方向及び垂直方向に回転することで前記注目点位置が中心に表示される表示画像に変換し、当該表示画像を表示する画像表示装置と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention provides a panoramic image, an image photographing device that acquires the inclination, orientation, and position of the device itself, and a notable photographing target intended by the photographer. Based on the point-of-interest indicating device that instructs the position of the point of interest as the point of interest position, the panoramic image, and the tilt, orientation, and position of the image capturing device, The panoramic image corrected with respect to the zenith direction is converted into a display image in which the focus point position is displayed at the center by rotating in the horizontal and vertical directions based on the focus point position, and the display image is displayed. And an image display device.
本発明によれば、撮影者が意図する注目点を簡単にパノラマ画像の表示に反映させることができるという効果を奏する。 According to the present invention, it is possible to easily reflect the attention point intended by the photographer on the display of the panoramic image.
以下、添付図面を参照して、本発明の実施形態に係る画像表示システム、画像表示装置、画像表示方法、およびプログラムを詳細に説明する。なお、以下では、静止画を用いた実施形態について説明を行うが、動画であっても各フレームを静止画とみなして本発明を適用した実施形態を構成することができる。したがって、以下で説明では、単に「画像」と云った場合、静止画と動画を含むものと理解されるべきである。 Hereinafter, an image display system, an image display device, an image display method, and a program according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following, an embodiment using a still image will be described, but an embodiment to which the present invention is applied can be configured by regarding each frame as a still image even for a moving image. Therefore, in the following description, it should be understood that the term “image” includes still images and moving images.
（第１実施形態）
図１は、第１実施形態に係る画像表示システムの概略構成を示す概念図である。図１に示されるように、第１実施形態の画像表示システム１０００は、パノラマ画像撮影装置１００と、画像表示装置２００と、注目点指示装置３００とを備える。
(First embodiment)
FIG. 1 is a conceptual diagram showing a schematic configuration of an image display system according to the first embodiment. As shown in FIG. 1, the image display system 1000 according to the first embodiment includes a panoramic image photographing device 100, an image display device 200, and an attention point instruction device 300.
パノラマ画像撮影装置１００は、パノラマ画像を撮影するための機器である。さらに、パノラマ画像撮影装置１００は、装置自身の傾き、装置が向いている方位、および装置の位置に関する情報を取得する手段を備えている。パノラマ画像撮影装置１００が取得した画像、傾き、方位、および位置は、画像表示装置２００へ送信される。 The panoramic image photographing apparatus 100 is a device for photographing a panoramic image. Further, the panoramic image photographing apparatus 100 includes means for acquiring information related to the tilt of the apparatus itself, the direction in which the apparatus is directed, and the position of the apparatus. The image, tilt, azimuth, and position acquired by the panoramic image photographing apparatus 100 are transmitted to the image display apparatus 200.
なお、パノラマ画像撮影装置１００から画像表示装置２００への情報送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦パノラマ画像撮影装置１００内に保存した後に画像表示装置２００へ送信してもよい。 Note that information transmission from the panorama image photographing apparatus 100 to the image display apparatus 200 may be performed by a wireless method or a wired method. You may transmit to the image display apparatus 200 after preserve | saving.
注目点指示装置３００は、撮影者が意図する注目すべき撮影対象Ｏ１の位置を注目点位置として指示するための機器である。なお、ここで云う注目点位置とは、撮影対象Ｏ１が存在する３次元空間上の位置である。図１に示されるように、撮影者が意図する注目すべき撮影対象Ｏ１が例えば自動車である場合、注目点の位置は撮影中に移動しまう。そこで、注目点指示装置３００は、注目点の位置を画像表示装置２００で表示する画像に反映させるために、パノラマ画像撮影装置１００との相対的な位置を取得する。 The point-of-interest instruction device 300 is a device for instructing the position of the subject of photographing O 1 to be noticed intended by the photographer as the point of interest position. Note that the point-of-interest position mentioned here is a position in the three-dimensional space where the imaging target O 1 exists. As shown in FIG. 1, when the imaging target O 1 that the photographer intends to focus on is a car, for example, the position of the target point moves during imaging. Therefore, the attention point instruction device 300 acquires a relative position with respect to the panoramic image photographing device 100 in order to reflect the position of the attention point on the image displayed on the image display device 200.
本実施形態では、注目点指示装置３００は、ＧＰＳ（Global Positioning System）受信器を備える位置取得手段を、撮影者が意図する注目すべき撮影対象Ｏ１に備え付けることで構成されている。なお、移動し得る注目点は自動車に限らず、人や動物などあらゆる移動体とすることができ、ＧＰＳ受信器を備える位置取得手段の例としては、スマートフォンやパーソナルコンピュータやカーナビゲーションなど一般的なＧＰＳを備える装置を流用することができる。また、パノラマ画像撮影装置１００を２つ用意し、一方を注目点指示装置３００として撮影対象Ｏ１に備え付ける構成とすることも可能である。 In the present embodiment, the point-of-interest instruction device 300 is configured by providing position acquisition means including a GPS (Global Positioning System) receiver to the imaging target O 1 that should be noted by the photographer. Note that the attention point that can be moved is not limited to automobiles, but can be any moving object such as a person or an animal. Examples of position acquisition means that include a GPS receiver include smartphones, personal computers, and car navigation systems. Devices equipped with GPS can be used. Alternatively, two panoramic image photographing devices 100 may be prepared, and one of them may be provided on the photographing target O 1 as the attention point instruction device 300.
なお、注目点指示装置３００から画像表示装置２００への送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦注目点指示装置３００内に保存した後に画像表示装置２００へ送信してもよい。 Note that transmission from the point-of-interest instruction device 300 to the image display device 200 may be wireless or wired, and may be temporarily stored in the point-of-interest instruction device 300 even if transmitted in real time. Then, it may be transmitted to the image display apparatus 200.
図１に示されるように、画像表示装置２００は、画像処理部２０１と画像表示部２０２とを備えている。画像処理部２０１は、パノラマ画像撮影装置１００が取得した画像、傾き、方位、および位置と、注目点指示装置３００が取得した位置とに基づいて、画像表示部２０２へ表示すべき画像を構成する。画像表示部２０２は、画像処理部２０１が構成した画像を表示するためのディスプレイである。 As shown in FIG. 1, the image display device 200 includes an image processing unit 201 and an image display unit 202. The image processing unit 201 configures an image to be displayed on the image display unit 202 based on the image, tilt, orientation, and position acquired by the panoramic image photographing apparatus 100 and the position acquired by the attention point instruction device 300. . The image display unit 202 is a display for displaying the image configured by the image processing unit 201.
例えば、画像表示装置２００は、一般的なパーソナルコンピュータを用いて構成することも、スマートフォンなどのデバイスを用いて構成することも、専用デバイスとして構成することもできる。画像処理部２０１は、別個の独立した１つの装置として構成される必要はなく、画像処理部２０１の機能をネットワーク上のサーバに実装することも可能である。また、画像処理部２０１をパノラマ画像撮影装置１００に付属させる構成とすることも可能である。 For example, the image display apparatus 200 can be configured using a general personal computer, configured using a device such as a smartphone, or configured as a dedicated device. The image processing unit 201 does not need to be configured as a separate and independent device, and the function of the image processing unit 201 can be implemented in a server on the network. Further, the image processing unit 201 can be attached to the panoramic image photographing apparatus 100.
次に、図２〜図４を参照しながら、パノラマ画像撮影装置１００の構成について説明する。図２は、パノラマ画像撮影装置の側面図であり、図３は、パノラマ画像撮影装置の正面図であり、図４は、パノラマ画像撮影装置のハードウェア構成図である。 Next, the configuration of the panoramic image photographing apparatus 100 will be described with reference to FIGS. 2 is a side view of the panoramic image photographing apparatus, FIG. 3 is a front view of the panoramic image photographing apparatus, and FIG. 4 is a hardware configuration diagram of the panoramic image photographing apparatus.
図２および図３に示されるように、パノラマ画像撮影装置１００の上部には、レンズ１０２ａ，１０２ｂが設けられている。パノラマ画像撮影装置１００の正面に設けられたレンズ１０２ａは、パノラマ画像撮影装置１００の前側半分を撮像するための広角レンズであり、パノラマ画像撮影装置１００の背面に設けられたレンズ１０２ｂは、パノラマ画像撮影装置１００の後ろ側半分を撮像するための広角レンズである。すなわち、パノラマ画像撮影装置１００は、２つのレンズ１０２ａ，１０２ｂを用いて全天球を撮影することができるように構成されている。また、パノラマ画像撮影装置１００の正面には、撮像の開始などを行うための操作ボタン１１４ａが設けられている。 As shown in FIGS. 2 and 3, lenses 102 a and 102 b are provided on the top of the panoramic image photographing apparatus 100. The lens 102a provided in front of the panoramic image photographing apparatus 100 is a wide-angle lens for imaging the front half of the panoramic image photographing apparatus 100, and the lens 102b provided on the back of the panoramic image photographing apparatus 100 is a panoramic image. This is a wide-angle lens for imaging the rear half of the imaging apparatus 100. That is, the panoramic image photographing apparatus 100 is configured to photograph the omnidirectional sphere using the two lenses 102a and 102b. In addition, an operation button 114a for starting imaging or the like is provided in front of the panoramic image photographing apparatus 100.
なお、図に示されたパノラマ画像撮影装置１００は、２つのレンズ１０２ａ，１０２ｂを用いて全天球を撮影する構成例であるが、本実施形態の適用は設けられたレンズの個数に限定されない。例えば、４つのレンズを用いて全天球を４分割して撮影する撮影装置や、さらに多くのレンズを用いた撮影装置であってもよい。また、全天球を撮影しなくとも、撮影した画像に対して注目点を変更することにメリットが現れる程度に高画角の撮影装置であれば、本実施形態の効果を享受し得る。 The panoramic image capturing apparatus 100 shown in the figure is a configuration example that captures the entire celestial sphere using the two lenses 102a and 102b, but the application of this embodiment is not limited to the number of lenses provided. . For example, it may be an imaging device that divides the celestial sphere into four parts using four lenses and an imaging device that uses more lenses. Even if the omnidirectional sphere is not photographed, the effect of the present embodiment can be enjoyed as long as the photographing apparatus has a high angle of view to the extent that a merit appears in changing the point of interest for the photographed image.
図４に示されているように、パノラマ画像撮影装置１００は、撮像ユニット１０１、画像処理ユニット１０４、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＲＡＭ(Random Access Memory)１１３、操作部１１４、ネットワークＩ／Ｆ１１５、通信部１１６、アンテナ１１６ａ、加速度センサ１１７、電子コンパス１１８、およびＧＰＳ受信器１１９を備えている。 As shown in FIG. 4, the panoramic image photographing apparatus 100 includes an imaging unit 101, an image processing unit 104, a CPU (Central Processing Unit) 111, a ROM (Read Only Memory) 112, a RAM (Random Access Memory) 113, An operation unit 114, a network I / F 115, a communication unit 116, an antenna 116a, an acceleration sensor 117, an electronic compass 118, and a GPS receiver 119 are provided.
撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角（好適には１８５°から１９０°）を有するレンズ１０２ａ，１０２ｂと、各レンズ１０２ａ，１０２ｂに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂとを備えている。撮像素子１０３ａ，１０３ｂは、レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサである。 The imaging unit 101 is provided so as to correspond to the lenses 102a and 102b each having an angle of view of 180 ° or more (preferably 185 ° to 190 °) for forming a hemispherical image, and the lenses 102a and 102b. Two image pickup devices 103a and 103b. The image pickup devices 103a and 103b are image sensors such as a CMOS (Complementary Metal Oxide Semiconductor) sensor and a CCD (Charge Coupled Device) sensor that convert an optical image obtained by the lenses 102a and 102b into image data of an electric signal and output it.
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４に接続されている。画像処理ユニット１０４は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＲＡＭ１１３、操作部１１４、ネットワークＩ／Ｆ１１５、通信部１１６、加速度センサ１１７、電子コンパス１１８、およびＧＰＳ受信器１１９なども接続されている。 The imaging elements 103 a and 103 b of the imaging unit 101 are each connected to the image processing unit 104. The image processing unit 104 is connected to the CPU 111 via the bus 110. Further, ROM 112, RAM 113, operation unit 114, network I / F 115, communication unit 116, acceleration sensor 117, electronic compass 118, GPS receiver 119 and the like are also connected to the bus 110.
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データを通して取り込み、それぞれの画像データをメルカトル図法で展開したパノラマ画像に変換することに用いられる。 The image processing unit 104 is used to capture through the image data output from the image sensors 103a and 103b and convert each image data into a panoramic image developed by the Mercator projection.
ＣＰＵ１１１は、パノラマ画像撮影装置１００の全体の動作を制御すると共に画像処理を実行することに用いられる。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶するために用いられる。ＲＡＭ１１３はワークメモリであり、ＣＰＵ１１１で実行するプログラムや画像処理途中のデータ等を記憶するために用いられる。パノラマ画像撮影装置１００が撮影した画像データは、ＲＡＭ１１３のなかで、加速度センサ１１７、電子コンパス１１８、およびＧＰＳ受信器１１９が取得する関連情報と対応付けられて記憶されている。 The CPU 111 is used to control the overall operation of the panoramic image photographing apparatus 100 and execute image processing. The ROM 112 is used for storing various programs for the CPU 111. A RAM 113 is a work memory, and is used to store programs executed by the CPU 111, data during image processing, and the like. Image data captured by the panoramic image capturing apparatus 100 is stored in the RAM 113 in association with related information acquired by the acceleration sensor 117, the electronic compass 118, and the GPS receiver 119.
操作部１１４は、例えば図３に示された操作ボタン１１４ａなどから入力された操作を制御信号に変換することに用いられる。 The operation unit 114 is used, for example, to convert an operation input from the operation button 114a shown in FIG. 3 into a control signal.
ネットワークＩ／Ｆ１１５は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路である。ＲＡＭ１１３に記憶された画像のデータは、このネットワークＩ／Ｆ１１５を介して外付けのメディアに記録されたり、外部装置に送信されたりする。 The network I / F 115 is an interface circuit with an external medium such as an SD card or a personal computer. The image data stored in the RAM 113 is recorded on an external medium or transmitted to an external device via the network I / F 115.
通信部１１６は、アンテナ１１６ａを介して、例えば画像表示装置２００や注目点指示装置３００など外部装置と通信を行うことに用いられる。この通信部１１６によっても、画像のデータを外部装置に送信することができる。 The communication unit 116 is used to communicate with an external device such as the image display device 200 and the attention point indicating device 300 via the antenna 116a. The communication unit 116 can also transmit image data to an external device.
加速度センサ１１７は、パノラマ画像撮影装置１００の上下方向、左右方向、および前後方向の、互いに直交する３方向に関する加速度を検出する３軸加速度センサである。したがって、加速度センサ１１７は、重力加速度の方向を検出することによって、パノラマ画像撮影装置１００の傾きを検出することが可能である。 The acceleration sensor 117 is a three-axis acceleration sensor that detects accelerations in three directions orthogonal to each other in the vertical direction, the horizontal direction, and the front-rear direction of the panoramic image photographing apparatus 100. Therefore, the acceleration sensor 117 can detect the tilt of the panoramic image capturing apparatus 100 by detecting the direction of gravity acceleration.
電子コンパス１１８は、地球の磁気からパノラマ画像撮影装置１００の正面が向いている方位および傾きを算出し、方位および傾き情報を出力する。すなわち、電子コンパス１１８は、パノラマ画像撮影装置１００の上下方向、左右方向、および前後方向の、互いに直交する３方向に関する地磁気方向を検出し、パノラマ画像撮影装置１００の正面が向いている方位および傾きを算出する。 The electronic compass 118 calculates the azimuth and inclination of the panoramic image photographing apparatus 100 facing from the earth's magnetism, and outputs the azimuth and inclination information. That is, the electronic compass 118 detects the geomagnetic directions related to the three directions orthogonal to each other in the up-down direction, the left-right direction, and the front-rear direction of the panoramic image photographing apparatus 100, and the orientation and inclination in which the front of the panoramic image photographing apparatus 100 faces. Is calculated.
ＧＰＳ受信器１１９は、人工衛星からの電波を受信し、パノラマ画像撮影装置１００の位置および高さを測定することに用いられる。なお、パノラマ画像撮影装置１００の位置および高さの測定における原点は任意に定めることができるが、注目点指示装置３００の位置および高さの測定における原点と一致させておく必要がある。なぜならば、本実施形態で必要となるのは、パノラマ画像撮影装置１００と注目点指示装置３００との間の相対的位置関係であるからである。 The GPS receiver 119 is used to receive radio waves from an artificial satellite and measure the position and height of the panoramic image capturing apparatus 100. The origin of the panoramic image photographing apparatus 100 in the position and height measurement can be arbitrarily determined, but it is necessary to match the origin of the attention point indicating apparatus 300 in the position and height measurement. This is because the relative positional relationship between the panoramic image photographing apparatus 100 and the attention point indicating apparatus 300 is necessary in the present embodiment.
次に、図５〜図８を参照しながら、パノラマ画像撮影装置１００によるパノラマ画像の撮影の例を説明する。図５は、パノラマ画像撮影装置の使用イメージ図であり、図６は、パノラマ画像撮影装置で撮影された前側半球画像であり、図７は、パノラマ画像撮影装置で撮影された後側半球画像であり、図８は、図６および図７の半球画像を変換および合成したパノラマ画像である。 Next, an example of panorama image shooting by the panorama image shooting apparatus 100 will be described with reference to FIGS. FIG. 5 is a usage image diagram of the panoramic image photographing apparatus, FIG. 6 is a front hemispheric image photographed by the panoramic image photographing apparatus, and FIG. 7 is a rear hemispheric image photographed by the panoramic image photographing apparatus. 8 is a panoramic image obtained by converting and synthesizing the hemispherical images of FIGS. 6 and 7.
図５に示されるように、パノラマ画像撮影装置１００は、撮影者Ｍが手に持って撮影者の周りの撮影対象物を撮影することが可能である。先述のように、パノラマ画像撮影装置１００は、２つのレンズ１０２ａ，１０２ｂによって全球を２つの半球に分割する。 As shown in FIG. 5, the panoramic image photographing apparatus 100 can photograph a subject to be photographed around the photographer M with the hand of the photographer M. As described above, the panoramic image photographing apparatus 100 divides the entire sphere into two hemispheres by the two lenses 102a and 102b.
図６および図７は、それぞれ２つのレンズ１０２ａ，１０２ｂによって分割撮影された前側半球画像および後側半球画像である。この２つの前側半球画像および後側半球画像をメルカトル図法を用いて変換した後に、２つの画像を合成したものが図８に示されたパノラマ画像である。 6 and 7 are a front hemisphere image and a rear hemisphere image that are separately captured by two lenses 102a and 102b, respectively. The panoramic image shown in FIG. 8 is obtained by combining the two front hemisphere images and the rear hemisphere image using the Mercator projection and then combining the two images.
しかしながら、図８に示されたパノラマ画像は、撮影者Ｍの意図する注目点を中心とした適切な変換がなされてなく、パノラマ画像撮影装置１００の装置自体の傾きによる影響を補正していない。つまり、撮影者Ｍの意図する注目点を中心として最適化された変換がされていないので、撮影者Ｍの意図する注目点の付近で画像歪み等が残ってしまうことがある。 However, the panoramic image shown in FIG. 8 has not been appropriately converted around the point of interest intended by the photographer M, and the influence of the tilt of the panoramic image photographing apparatus 100 itself is not corrected. In other words, since the conversion optimized around the attention point intended by the photographer M is not performed, image distortion or the like may remain in the vicinity of the attention point intended by the photographer M.
そこで、本実施形態に係る画像表示システム１０００、画像表示装置２００、および画像表示方法では、以下に示すように、パノラマ画像撮影装置１００が取得したパノラマ画像を、パノラマ画像撮影装置１００自身の傾き、方位、及び位置と、撮影者Ｍが意図する注目すべき撮影対象の注目点位置とに基づいて、注目点位置を中心とした画像にパノラマ画像を変換する。以下で説明する画像変換方法は、画像処理部２０１にて実行されるものである。 Therefore, in the image display system 1000, the image display apparatus 200, and the image display method according to the present embodiment, as shown below, the panorama image acquired by the panorama image capturing apparatus 100 is converted into the tilt of the panorama image capturing apparatus 100 itself, A panoramic image is converted into an image centered on the position of the point of interest on the basis of the azimuth and position and the position of the point of interest of the imaging target that the photographer M intends to pay attention to. The image conversion method described below is executed by the image processing unit 201.
以下、図９〜図２１を参照しながら、注目点位置を中心とした画像にパノラマ画像を変換する方法について説明する。以下の説明は３部にて構成されており、図９〜図１２を参照したパノラマ画像の生成方法、図１３〜図１４を参照した天頂補正、および図１５〜図２１を参照した注目点方向の変換の説明で構成されている。 Hereinafter, a method for converting a panoramic image into an image centered on the position of the attention point will be described with reference to FIGS. The following description is composed of three parts, a panoramic image generation method with reference to FIGS. 9 to 12, a zenith correction with reference to FIGS. 13 to 14, and an attention point direction with reference to FIGS. It consists of a description of the conversion.
［パノラマ画像の生成方法］
図９は、パノラマ画像撮影装置のレンズおよび撮像素子における射影関係を示す図であり、図１０は、撮影像が撮像素子上に射影される位置を示す図である。
[Panorama image generation method]
FIG. 9 is a diagram illustrating a projection relationship between the lens and the image sensor of the panoramic image photographing apparatus, and FIG. 10 is a diagram illustrating a position where the photographed image is projected onto the image sensor.
パノラマ画像撮影装置１００のレンズ１０２ａおよび撮像素子１０３ａで構成される光学系は、１８０度の画角を有している。図９に示されるように、レンズ１０２ａの光軸からの角度である入射角度γの光線は、撮像素子１０３ａ上にて中心から距離である像高ｈの位置に投影される。この関係は、０度から１８０度の範囲の入射角度γに対して像高ｈが定まる関係であり、これを射影関数ｆと定める。図１０に示されるように、入射角度γの光線は、撮像素子１０３ａ上にて中心から距離である像高ｈ（＝ｆ（γ））の位置に投影されるので、同一の入射角γの光線は、撮像素子１０３ａ上にて同心円状に投影される。 The optical system including the lens 102a and the image sensor 103a of the panoramic image photographing apparatus 100 has a field angle of 180 degrees. As shown in FIG. 9, a light beam having an incident angle γ that is an angle from the optical axis of the lens 102a is projected onto the image sensor 103a at a position of an image height h that is a distance from the center. This relationship is a relationship in which the image height h is determined with respect to an incident angle γ in the range of 0 to 180 degrees, and this is defined as a projection function f. As shown in FIG. 10, since the light beam having the incident angle γ is projected on the image sensor 103a at the position of the image height h (= f (γ)) that is the distance from the center, The light rays are projected concentrically on the image sensor 103a.
この射影関数ｆは、レンズ１０２ａの設計によって自由に設計し得るものであるが、例えば中心射影方式、立体射影方式、等距離射影方式、等立体角射影方式、正射影方式などの例を挙げることができる。一般に、中心射影方式は、通常の画角を有するレンズを備えるデジタルカメラで撮影する際に用いられる方式であり、その他４つの方式は、魚眼レンズなどの超広角な画角を持つ広角レンズを用いたデジタルカメラで利用される方式である。 This projection function f can be freely designed according to the design of the lens 102a. Examples thereof include a central projection method, a stereoscopic projection method, an equidistant projection method, an equisolid angle projection method, and an orthographic projection method. Can do. In general, the central projection method is a method used when photographing with a digital camera having a lens having a normal angle of view, and the other four methods use a wide-angle lens having an ultra-wide angle of view such as a fish-eye lens. This method is used in digital cameras.
次に、図１１および図１２を参照しながら、撮像素子上の画素とパノラマ画像上の画素との対応関係について説明する。 Next, a correspondence relationship between pixels on the image sensor and pixels on the panoramic image will be described with reference to FIGS. 11 and 12.
図１１は、撮像素子上の画素をパノラマ画像上の画素へ変換する変換方法を説明する図である。図１１（ａ）は、変換前後の画像座標値のマトリクスを示した変換テーブルの例を示す図であり、図１１（ｂ）および（ｃ）は、それぞれ変換後であるパノラマ画像上の画素の座標値および変換前である撮像素子上の画素の座標値を示す図である。 FIG. 11 is a diagram illustrating a conversion method for converting pixels on the image sensor into pixels on a panoramic image. FIG. 11A is a diagram showing an example of a conversion table showing a matrix of image coordinate values before and after conversion, and FIGS. 11B and 11C show the pixels on the panoramic image after conversion, respectively. It is a figure which shows the coordinate value and the coordinate value of the pixel on the image pick-up element before conversion.
図１１（ａ）に示されるように、撮像素子上の画素をパノラマ画像上の画素へ変換する変換テーブルは、パノラマ画像上の座標値（θ、φ）と、それに対応する撮像素子上の座標値（ｘ、ｙ）とのデータセットを、パノラマ画像上のすべての画像の座標値（３６００×１８００）に対して有する。 As shown in FIG. 11A, the conversion table for converting pixels on the image sensor into pixels on the panoramic image includes coordinate values (θ, φ) on the panorama image and corresponding coordinates on the image sensor. A data set with values (x, y) is provided for the coordinate values (3600 × 1800) of all images on the panoramic image.
図１１（ａ）に示した変換テーブルにしたがって、撮像された画像（変換前画像）から変換後画像を生成する。具体的には、図１１（ｂ）、（ｃ）に示すように、変換前と変換後の変換テーブル（図１１（ａ））の対応関係から、変換後画像の各画素を、座標値（θ、φ）に対応する変換前画像の座標値（ｘ、ｙ）の画素値を参照することによって生成する。 A post-conversion image is generated from the captured image (pre-conversion image) according to the conversion table shown in FIG. Specifically, as shown in FIGS. 11B and 11C, each pixel of the post-conversion image is represented by a coordinate value (from the correspondence relationship between the pre-conversion and post-conversion conversion table (FIG. 11A). It is generated by referring to the pixel value of the coordinate value (x, y) of the pre-conversion image corresponding to (θ, φ).
なお、上記説明した変換は、パノラマ画像撮影装置１００が備える２つの撮像素子１０３ａ，１０３ｂのそれぞれについて行なわれ、最終的に一つのパノラマ画像が生成される。 The above-described conversion is performed for each of the two image pickup devices 103a and 103b included in the panoramic image photographing apparatus 100, and finally one panoramic image is generated.
図１２は、上記説明した方法で生成されたパノラマ画像の座標系について説明する図である。図１２（ａ）に示されるように、変換後のパノラマ画像は、（θ、φ）の２次元平面座標を有する。これら座標（θ、φ）は、それぞれ経度および緯度に相当し、図１２（ｂ）に示されるように、半球画像では、地球儀上における緯度経度座標のような座標系に対応している。 FIG. 12 is a diagram illustrating a coordinate system of a panoramic image generated by the method described above. As shown in FIG. 12A, the panoramic image after conversion has a two-dimensional plane coordinate of (θ, φ). These coordinates (θ, φ) correspond to longitude and latitude, respectively. As shown in FIG. 12B, the hemisphere image corresponds to a coordinate system such as latitude and longitude coordinates on the globe.
［天頂補正］
ここで、図１３および図１４を参照しながら、以下で説明する天頂補正の概要を説明する。図１３は、パノラマ画像撮影装置が傾いていない場合における、半球画像からパノラマ画像への変換を示す図であり、図１４は、パノラマ画像撮影装置が傾いている場合における、半球画像からパノラマ画像への変換を示す図である。図１３（ａ）（ｂ）は、それぞれパノラマ画像撮影装置が傾いていない場合における前側半球画像および後側半球画像を示し、図１３（ｃ）は、パノラマ画像撮影装置が傾いていない場合における変換後のパノラマ画像上の水平線位置を示す図である。同様に、図１４（ａ）（ｂ）は、それぞれパノラマ画像撮影装置が傾いている場合における前側半球画像および後側半球画像を示し、図１３（ｃ）は、パノラマ画像撮影装置が傾いている場合における変換後のパノラマ画像上の水平線位置を示す図である。
[Zenith correction]
Here, an outline of zenith correction described below will be described with reference to FIGS. 13 and 14. FIG. 13 is a diagram illustrating conversion from a hemispherical image to a panoramic image when the panoramic image photographing device is not tilted. FIG. 14 is a diagram from a hemispherical image to a panoramic image when the panoramic image photographing device is tilted. FIG. FIGS. 13A and 13B show a front hemisphere image and a rear hemisphere image when the panoramic image photographing apparatus is not tilted, and FIG. 13C is a conversion when the panoramic image photographing apparatus is not tilted. It is a figure which shows the horizontal line position on a subsequent panoramic image. Similarly, FIGS. 14A and 14B show a front hemisphere image and a rear hemisphere image when the panoramic image photographing device is tilted, and FIG. 13C is a tilted panoramic image photographing device. It is a figure which shows the horizontal line position on the panoramic image after conversion in the case.
図１３（ａ）（ｂ）に示されるように、パノラマ画像撮影装置１００が傾いていない場合における半球画像は、天頂Ｖが半球画像の上端に位置し、水平線Ｈが半球画像の中央に直線状に位置している。この２つの半球画像を上記説明した変換方法でパノラマ画像へ変換すると、図１３（ｃ）に示されるように、水平線Ｈはパノラマ画像上の中央に直線状に変換される。 As shown in FIGS. 13 (a) and 13 (b), when the panoramic image photographing apparatus 100 is not tilted, the hemispherical image is such that the zenith V is located at the upper end of the hemispherical image, and the horizontal line H is linear at the center of the hemispherical image. Is located. When these two hemispherical images are converted into a panoramic image by the conversion method described above, the horizontal line H is converted into a straight line at the center of the panoramic image as shown in FIG.
一方、図１４（ａ）（ｂ）に示されるように、パノラマ画像撮影装置１００が傾いている場合における半球画像は、天頂Ｖが半球画像の上端からずれた場所に位置し、水平線Ｈが半球画像の中央に円弧状に曲がって位置している。この２つの半球画像を上記説明した変換方法でパノラマ画像へ変換すると、図１４（ｃ）に示されるように、水平線Ｈはパノラマ画像上の中央に円弧状に曲がって変換されてしまう。 On the other hand, as shown in FIGS. 14A and 14B, when the panoramic image photographing apparatus 100 is tilted, the hemispherical image is located where the zenith V is shifted from the upper end of the hemispherical image, and the horizontal line H is hemispherical. It is located in a circular arc at the center of the image. When these two hemispherical images are converted into a panoramic image by the conversion method described above, the horizontal line H is bent and converted into an arc shape at the center on the panoramic image as shown in FIG.
そこで、パノラマ画像撮影装置が傾いていることに起因して図１４（ｃ）に示される画像のように歪みが発生してしまったパノラマ画像を、図１３（ｃ）に示される画像のように補正する。この補正を天頂補正と呼び、以下ではこの天頂補正についての詳細を説明する。 Therefore, a panoramic image in which distortion has occurred as in the image shown in FIG. 14C due to the tilt of the panoramic image photographing device is converted into an image shown in FIG. 13C. to correct. This correction is called zenith correction, and the details of this zenith correction will be described below.
まず、図１５を参照しながら、座標系の定義を行う。図１５は、カメラ座標系とグローバル座標系の関係を示す図である。カメラ座標系とは、パノラマ画像撮影装置１００に固定された座標系であり、グローバル座標系とは、天頂補正後にカメラ座標系が変換される座標系である。 First, the coordinate system is defined with reference to FIG. FIG. 15 is a diagram illustrating the relationship between the camera coordinate system and the global coordinate system. The camera coordinate system is a coordinate system fixed to the panoramic image photographing apparatus 100, and the global coordinate system is a coordinate system in which the camera coordinate system is converted after zenith correction.
図１５に示されるように、カメラ座標系（ｘ０，ｙ０，ｚ０）は、パノラマ画像撮影装置１００に固定された３次元直交座標系である。座標ｚ０は、パノラマ画像撮影装置１００にとっての上方向に一致し、座標平面ｘ０−ｙ０は、パノラマ画像撮影装置１００にとっての水平方向に一致している。なお、注目点方向の初期値を座標ｙ０の正方向に定める。つまり、初期設定においては、座標ｙ０の正方向に存在する撮影対象がパノラマ画像の中央に配置されるものとする。 As shown in FIG. 15, the camera coordinate system (x 0 , y 0 , z 0 ) is a three-dimensional orthogonal coordinate system fixed to the panoramic image photographing apparatus 100. The coordinate z 0 coincides with the upward direction for the panoramic image photographing apparatus 100, and the coordinate plane x 0 -y 0 coincides with the horizontal direction for the panoramic image photographing apparatus 100. Incidentally, determining the initial value of the target point direction in the positive direction of the coordinate y 0. That is, in the initial setting, it is assumed that the imaging target that is present in the positive direction of the coordinate y 0 is placed in the center of the panoramic image.
一方、グローバル座標系（ｘ１，ｙ１，ｚ１）は、天頂補正後にカメラ座標系が変換される座標系であり、以下の条件を満たす座標系である。
・座標平面ｘ１−ｙ１が水平である。
・座標軸ｚ１が天頂方向である。
・パノラマ画像撮影装置１００の座標平面ｘ０−ｙ０の中に、グローバル座標系の座標軸ｘ１が存在する。
On the other hand, the global coordinate system (x 1 , y 1 , z 1 ) is a coordinate system to which the camera coordinate system is converted after zenith correction, and is a coordinate system that satisfies the following conditions.
The coordinate plane x 1 -y 1 is horizontal.
The coordinate axis z 1 is the zenith direction.
The coordinate axis x 1 of the global coordinate system exists in the coordinate plane x 0 -y 0 of the panoramic image photographing apparatus 100.
上記要件を満たす座標系は、天頂補正後にカメラ座標系が変換される座標系として１つに定まる。天頂補正では、カメラ座標系からグローバル座標系への変換を２つの回転で実現する。このために、カメラ座標系とグローバル座標系との間の関係をパノラマ画像撮影装置１００が検出する重力方向を用いて演算する。 A coordinate system that satisfies the above requirements is determined as one coordinate system to which the camera coordinate system is converted after zenith correction. In zenith correction, the transformation from the camera coordinate system to the global coordinate system is realized by two rotations. For this purpose, the relationship between the camera coordinate system and the global coordinate system is calculated using the gravity direction detected by the panoramic image photographing apparatus 100.
図１６は、パノラマ画像撮影装置が検出する重力方向を示す図である。先述した図４に記載のように、パノラマ画像撮影装置１００は加速度センサ１１７を備えている。加速度センサ１１７は、カメラ座標系（ｘ０，ｙ０，ｚ０）の各座標方向に関する加速度を検出する３軸加速度センサであるので、図１６に示されるように、重力加速度Ｇは、カメラ座標（ｘ０，ｙ０，ｚ０）の各成分（Ａｘ，Ａｙ、Ａｚ）に分解され検出される。 FIG. 16 is a diagram illustrating the gravity direction detected by the panoramic image photographing apparatus. As described above with reference to FIG. 4, the panoramic image photographing apparatus 100 includes the acceleration sensor 117. Since the acceleration sensor 117 is a three-axis acceleration sensor that detects acceleration in each coordinate direction of the camera coordinate system (x 0 , y 0 , z 0 ), as shown in FIG. Each component (A x , A y , A z ) of (x 0 , y 0 , z 0 ) is decomposed and detected.
加速度センサ１１７が検出した重力加速度Ｇの各成分（Ａｘ，Ａｙ，Ａｚ）を用いると、カメラ座標系からグローバル座標系への変換を導く２つの回転の回転角α，βは以下のように求められる。 When each component (A x , A y , A z ) of the gravitational acceleration G detected by the acceleration sensor 117 is used, the rotation angles α and β of the two rotations leading to the conversion from the camera coordinate system to the global coordinate system are as follows: Asking.
図１７は、上記算出した２つの回転の回転角α，βを示した図である。図１７に示されるように、回転角αはｘ０−原点−ｘ１の角度であり、回転角βはｚ０−原点−ｚ１の角度である。 FIG. 17 is a diagram showing the rotation angles α and β of the two rotations calculated above. As shown in FIG. 17, the rotation angle α is an angle of x 0 -origin-x 1 , and the rotation angle β is an angle of z 0 -origin-z 1 .
以上に算出した２つの回転の回転角α，βを用いると、天頂補正後のパノラマ画像の座標（θ１，φ１）から天頂補正前のパノラマ画像の座標（θ０，φ０）への変換は、以下の変換式（２）で記述される。なお、パノラマ画像の座標とは、図１２によって説明した座標である。 Using the two rotation angles α and β calculated above, the coordinates (θ 1 , φ 1 ) of the panoramic image after zenith correction to the coordinates (θ 0 , φ 0 ) of the panoramic image before zenith correction are used. The conversion is described by the following conversion formula (2). Note that the coordinates of the panoramic image are the coordinates described with reference to FIG.
天頂補正前のパノラマ画像から天頂補正後のパノラマ画像への変換は、天頂補正後の画素の座標（θ１，φ１）に対応する天頂補正前の画素の座標（θ０，φ０）を上記変換式（２）を用いて算出し、座標（θ０，φ０）における画素情報（ＲＧＢデータ等）を座標（θ１，φ１）へ写像すればよい。 The conversion from the panoramic image before zenith correction to the panoramic image after zenith correction is performed by using the coordinates (θ 0 , φ 0 ) of the pixel before zenith correction corresponding to the coordinates (θ 1 , φ 1 ) of the pixel after zenith correction. The pixel information (RGB data or the like) at the coordinates (θ 0 , φ 0 ) may be mapped to the coordinates (θ 1 , φ 1 ) by using the conversion formula (2).
［注目点方向の変換］
以上により、パノラマ画像撮影装置１００が傾いていることに起因するパノラマ画像の不具合を補正することができた。この後、撮影者が意図する注目すべき撮影対象の位置をパノラマ画像の中央に移動する変換を行う。この変換のために、地表の座標系を定義する。
[Convert attention point direction]
As described above, the malfunction of the panorama image due to the panorama image photographing apparatus 100 being tilted can be corrected. Thereafter, conversion is performed in which the position of the imaging target to be noticed intended by the photographer is moved to the center of the panoramic image. For this transformation, we will define the ground coordinate system.
図１８は、地表の座標系の定義を説明する図である。先述した図４に記載のように、パノラマ画像撮影装置１００は電子コンパス１１８とＧＰＳ受信器１１９とを備えている。地表の座標系は、電子コンパス１１８で得られた情報とＧＰＳ受信器１１９で得られた情報とを対応付けるための座標系である。 FIG. 18 is a diagram for explaining the definition of the coordinate system of the ground surface. As described above with reference to FIG. 4, the panoramic image photographing apparatus 100 includes an electronic compass 118 and a GPS receiver 119. The coordinate system of the ground surface is a coordinate system for associating information obtained by the electronic compass 118 with information obtained by the GPS receiver 119.
図１８に示されるように、地表の座標系（ｘ２，ｙ２，ｚ２）は、地表に固定された３次元直交座標系である。図１８に示されるように、地表の座標系（ｘ２，ｙ２，ｚ２）は、座標軸ｘ２の正方向を東Ｅとし、座標軸ｘ２の負方向を西Ｗとし、座標軸ｙ２の正方向を北Ｎとし、座標軸ｙ２の負方向を南Ｓとし、座標軸ｚ２の正方向を天頂Ｖとする。なお、電子コンパス１１８が検出する地軸と実際の地軸とは誤差があるが、日本付近では６°程度と微小であるため無視してもよく、必要に応じて補正してもよい。 As shown in FIG. 18, the coordinate system (x 2 , y 2 , z 2 ) of the ground surface is a three-dimensional orthogonal coordinate system fixed to the ground surface. As shown in FIG. 18, in the coordinate system (x 2 , y 2 , z 2 ) of the ground surface, the positive direction of the coordinate axis x 2 is east E, the negative direction of the coordinate axis x 2 is west W, and the coordinate axis y 2 The positive direction is north N, the negative direction of the coordinate axis y 2 is south S, and the positive direction of the coordinate axis z 2 is zenith V. Although there is an error between the earth axis detected by the electronic compass 118 and the actual earth axis, it is negligible at around 6 ° in the vicinity of Japan, and may be ignored, and may be corrected as necessary.
ここで、天頂補正後の注目点方向について検討する。すなわち、天頂補正前の注目点方向はカメラ座標系におけるｙ０軸方向であり、パノラマ画像ではこの方向の撮影対象物が中心となっていた。しかしながら、天頂補正をしたことにより、この注目点方向がｙ１軸方向になっている。そこで、ｙ０軸方向とｙ１軸方向との関係を検討する。 Here, the direction of the point of interest after zenith correction is examined. That is, target point direction before zenith correction is y 0 axially in the camera coordinate system, the object to be shot in the direction in the panoramic image has been a center. However, it has the zenith correction, the target point direction is the y 1 axially. Therefore, considering the relationship between y 0 axial and y 1 axially.
ところで、天頂補正時の処理では、ｘ０軸をｘ１軸に合わせるためにｚ０軸を中心にα度回転させ、その後、ｘ１軸を中心としてβ度回転させている。このことから、グローバル座標系の水平平面に限った場合、天頂補正後の注目点方向（ｙ１軸方向）と初期値の注目点方向（ｙ０軸方向）は、α度だけずれていることが解る。 Incidentally, in the processing at the zenith correction, the x 0 axis is rotated α degrees about the z 0 axis to match the x 1 axis, then, it is rotated β degrees around the x 1 axis. Therefore, when limited to the horizontal plane of the global coordinate system, the attention point direction (y 1 axis direction) after the zenith correction and the initial attention point direction (y 0 axis direction) are shifted by α degrees. I understand.
図１９は、ｙ１軸方向とｙ０軸方向との関係を示す図である。天頂補正は、α度の回転とβ度の回転の合成によって実現されるが、図１９に示されるように、座標平面ｘ１−ｙ１に限定して考えると、α度の回転となっている。なお、図１９に示されるｙ０’軸は、ｙ０軸を座標平面ｘ１−ｙ１に射影したものである。 Figure 19 is a diagram showing the relationship between y 1 axial and y 0 axially. The zenith correction is realized by the combination of the rotation of α degrees and the rotation of β degrees. However, as shown in FIG. 19, when limited to the coordinate plane x 1 -y 1 , the rotation is α degrees. Yes. Note that the y 0 ′ axis shown in FIG. 19 is obtained by projecting the y 0 axis onto the coordinate plane x 1 -y 1 .
さらに、天頂補正の注目点方向であるｙ１軸の正方向は、地表の座標系で考えた場合にどの方向であるかを検討する。図２０は、ｙ１軸方向とｙ２軸方向とｙ０’軸方向との関係を示す図である。図２０は、記載を見やすくするため、座標平面ｘ１−ｙ１上に、地表の座標系で北方向を示すｙ２軸と、カメラ座標系で注目点方向を示すｙ０軸方向の射影であるｙ０’軸とを記載している。 Further, the positive direction of the y 1 axis, which is the direction of the target point for zenith correction, is examined as to which direction is considered in the surface coordinate system. FIG. 20 is a diagram illustrating a relationship among the y 1 axis direction, the y 2 axis direction, and the y 0 ′ axis direction. In FIG. 20, in order to make the description easy to see, projections in the y 2 axis indicating the north direction in the coordinate system of the ground surface and the y 0 axis direction indicating the direction of the point of interest in the camera coordinate system on the coordinate plane x 1 -y 1. A certain y 0 'axis is described.
ところで、先述した図４に記載のように、パノラマ画像撮影装置１００は電子コンパス１１８を備えている。電子コンパス１１８は、カメラ座標系（ｘ０，ｙ０，ｚ０）における北方向Ｈ０の各成分（Ｈｘ，Ｈｙ）を検出するものである。よって、図２０に示されるように、電子コンパス１１８の検出値ＨｘとＨｙとをもちいて、下式のように、ｙ０’軸とｙ２軸との成す角αｈを算出できる。 Incidentally, as described above with reference to FIG. 4, the panoramic image photographing apparatus 100 includes the electronic compass 118. The electronic compass 118 detects each component (H x , H y ) in the north direction H 0 in the camera coordinate system (x 0 , y 0 , z 0 ). Therefore, as shown in FIG. 20, using the detected values H x and H y of the electronic compass 118, the angle α h formed by the y 0 ′ axis and the y 2 axis can be calculated as in the following equation.
一方、ｙ１軸とｙ０’軸との成す角はα度であったので、ｙ１軸とｙ２軸との成す角は（α―αｈ）度であることが解る。なお、ｙ１軸およびｙ２軸は、共に座標平面ｘ１−ｙ１上に存在しているので、グローバル座標系（ｘ１，ｙ１，ｚ１）と地表の座標系（ｘ２，ｙ２，ｚ２）との間の変換では、仰角の変換をする必要がない。 On the other hand, since the angle formed between the y 1 axis and the y 0 ′ axis is α degrees, it is understood that the angle formed between the y 1 axis and the y 2 axis is (α−α h ) degrees. Since both the y 1 axis and the y 2 axis exist on the coordinate plane x 1 -y 1 , the global coordinate system (x 1 , y 1 , z 1 ) and the ground surface coordinate system (x 2 , y 1 ) 2 , z 2 ) does not require elevation angle conversion.
次に、注目点指示装置３００の検出結果を反映させる。すなわち、パノラマ画像撮影装置１００が備えるＧＰＳ受信器との測定値と注目点指示装置３００が備えるＧＰＳ受信器とから、パノラマ画像撮影装置１００と注目点指示装置３００との相対的位置関係を求め、注目点指示装置３００が示す位置がパノラマ画像の中心となるように画像を変換する。 Next, the detection result of the attention point indicating device 300 is reflected. That is, the relative positional relationship between the panoramic image photographing device 100 and the attention point indicating device 300 is obtained from the measurement value of the GPS receiver included in the panoramic image photographing device 100 and the GPS receiver included in the attention point indicating device 300. The image is converted so that the position indicated by the point of interest indicating device 300 is the center of the panoramic image.
図２１は、パノラマ画像撮影装置と注目点指示装置との相対的位置関係を示す図である。図２１では、パノラマ画像撮影装置１００および注目点指示装置３００の位置が、地表の座標系（ｘ２，ｙ２，ｚ２）を用いて、それぞれ座標（Ｇｘ０，Ｇｙ０，Ｇｚ０）および座標（Ｇｘ１，Ｇｙ１，Ｇｚ１）に記載されている。 FIG. 21 is a diagram illustrating a relative positional relationship between the panoramic image photographing device and the target point indicating device. In FIG. 21, the positions of the panoramic image photographing apparatus 100 and the point-of-interest indicating apparatus 300 are set to the coordinates (G x0 , G y0 , G z0 ) and the coordinate system (x 2 , y 2 , z 2 ) of the ground surface, respectively. Coordinates (G x1 , G y1 , G z1 ) are described.
図２１に示されるように、北方向（ｙ２軸）と注目点方向（注目点指示装置３００の方向）との水平方向の成す角θｈおよび仰角θｖは、下記式で計算できる。
以上の検討から、天頂補正後のパノラマ画像に対して、水平方向に対して（α−αｈ−θｈ）度の回転をし、その後、垂直方向に対して（θｖ）度の回転をすることで、注目点方向を中心としたパノラマ画像を得ることができることが解る。なお、実際の回転に係る変換は、先述の変換式（２）のパラメータを適切に変更したものを用いればよい。 From the above examination, the panoramic image after zenith correction is rotated by (α−α h −θ h ) degrees with respect to the horizontal direction, and then rotated by (θ v ) degrees with respect to the vertical direction. Thus, it can be seen that a panoramic image centered on the direction of the point of interest can be obtained. In addition, what is necessary is just to use what changed the parameter of the above-mentioned conversion formula (2) suitably for the conversion which concerns on actual rotation.
以上、撮影者が意図する注目方向をパノラマ画像の中心に移動させる変換を説明したが、当該変換は、動画の各フレームに適用すれば、静止画のみならず、動画に対しても適用可能である。 As described above, the conversion in which the direction of interest intended by the photographer is moved to the center of the panoramic image has been described. However, if the conversion is applied to each frame of the moving image, it can be applied not only to the still image but also to the moving image. is there.
（第２実施形態）
次に、第２実施形態に係る画像表示システムについての説明を行う。第１実施形態に係る画像表示システムは移動可能な撮影対象を注目点とするのに好適なものであったが、第２実施形態に係る画像表示システムは移動しない撮影対象を注目点とするのに好適である。第２実施形態は、例えば大きな目標物（山、木、建造物など）を周遊しながらの撮影や橋やビルなどをラジコンヘリで空撮して欠陥検査する場合などに好適である。
(Second Embodiment)
Next, an image display system according to the second embodiment will be described. The image display system according to the first embodiment is suitable for making a movable shooting target as a point of interest, but the image display system according to the second embodiment sets a moving shooting target as a point of interest. It is suitable for. The second embodiment is suitable, for example, when photographing a large target (such as a mountain, a tree, or a building) while taking an aerial photograph of a bridge or a building with a radio controlled helicopter to inspect the defect.
図２２は、第２実施形態に係る画像表示システムの概略構成を示す概念図である。図２２に示されるように、第２実施形態の画像表示システム２０００は、パノラマ画像撮影装置１００と、画像表示装置２１０とを備える。 FIG. 22 is a conceptual diagram showing a schematic configuration of an image display system according to the second embodiment. As shown in FIG. 22, the image display system 2000 according to the second embodiment includes a panoramic image photographing device 100 and an image display device 210.
パノラマ画像撮影装置１００は、パノラマ画像を撮影するためのものであり、第１実施形態と同一の構成とすることができる。すなわち、パノラマ画像撮影装置１００は、装置自身の傾き、装置が向いている方位、および位置の情報を取得する手段を備えている。パノラマ画像撮影装置１００が取得した画像、傾き、方位、および位置は、画像表示装置２１０へ送信される。 The panoramic image photographing apparatus 100 is for photographing a panoramic image and can have the same configuration as that of the first embodiment. That is, the panoramic image photographing apparatus 100 includes means for acquiring information on the tilt of the apparatus itself, the orientation in which the apparatus is facing, and the position. The image, tilt, azimuth, and position acquired by the panorama image photographing apparatus 100 are transmitted to the image display apparatus 210.
なお、パノラマ画像撮影装置１００から画像表示装置２１０への送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦パノラマ画像撮影装置１００内に保存した後に画像表示装置２１０へ送信してもよい。 The transmission from the panoramic image photographing apparatus 100 to the image display apparatus 210 may be wireless or wired, and even if it is transmitted in real time, it is once stored in the panoramic image photographing apparatus 100. Then, it may be transmitted to the image display device 210.
画像表示装置２１０は、画像処理部２１１と画像表示部２１２と入力手段２１３とを備えている。画像処理部２１１は、パノラマ画像撮影装置１００が取得した画像、傾き、方位、および位置と、入力手段２１３により入力された注目点位置とに基づいて、画像表示部２１２へ表示すべき画像を構成する。画像表示部２１２は、画像処理部２１１が生成した画像を表示するためのディスプレイである。 The image display device 210 includes an image processing unit 211, an image display unit 212, and an input unit 213. The image processing unit 211 configures an image to be displayed on the image display unit 212 based on the image, the tilt, the azimuth, and the position acquired by the panoramic image capturing apparatus 100 and the point of interest position input by the input unit 213. To do. The image display unit 212 is a display for displaying the image generated by the image processing unit 211.
入力手段２１３は、撮影者が意図する注目すべき撮影対象Ｏ２の位置を注目点位置として指示するための手段である。入力手段２１３は、例えばタッチパネルやキーボードなどの一般的な入力機器を用いて構成されている。撮影者は意図する注目すべき撮影対象Ｏ２の位置を入力手段２１３を用いて入力する。 The input unit 213 is a unit for instructing the position of the imaging target O 2 to be noticed intended by the photographer as the point of interest position. The input unit 213 is configured using a general input device such as a touch panel or a keyboard. The photographer uses the input unit 213 to input the intended position of the imaging target O 2 to be noted.
上記の構成から解るように、第２実施形態に係る画像表示システム２０００は、第１実施形態における注目点指示装置３００の代わりに入力手段２１３を用いて撮影者が意図する注目すべき撮影対象Ｏ２の位置を注目点位置として指示する構成である。言い換えると、第２実施形態に係る画像表示システム２０００では、入力手段２１３は、撮影者が意図する注目すべき撮影対象Ｏ２の位置を注目点位置として指示する注目点指示装置として機能している。 As can be seen from the above configuration, the image display system 2000 according to the second embodiment uses the input unit 213 instead of the attention point instruction device 300 in the first embodiment, and the imaging object O to be noted that the photographer intends to focus on. In this configuration, the position 2 is designated as the position of interest. In other words, in the image display system 2000 according to the second embodiment, the input unit 213 functions as an attention point indicating device that indicates the position of the imaging target O 2 that should be noted by the photographer as the attention point position. .
本実施形態の画像処理部２１１も、パノラマ画像撮影装置１００が取得したパノラマ画像を、パノラマ画像撮影装置１００自身の傾き、方位、及び位置と、撮影者が意図する注目すべき撮影対象の注目点位置とに基づいて、注目点位置を中心とした表示画像にパノラマ画像を変換するが、その変換方法は第１実施形態と同一である。したがって、本実施形態の説明では、変換方法の説明は省略するものとする。 The image processing unit 211 of the present embodiment also converts the panoramic image acquired by the panoramic image photographing apparatus 100 into the panoramic image photographing apparatus 100 itself, the tilt, orientation, and position of the panoramic image photographing apparatus 100 and the attention point of the photographing target intended by the photographer. Based on the position, the panorama image is converted into a display image centered on the position of the attention point, and the conversion method is the same as in the first embodiment. Therefore, in the description of the present embodiment, the description of the conversion method is omitted.
１０００、２０００ 画像表示システム
１００ パノラマ画像撮影装置
１０１ 撮像ユニット
１０２ａ，１０２ｂ レンズ
１０３ａ，１０３ｂ 撮像素子
１０４ 画像処理ユニット
１１０ バス
１１１ ＣＰＵ
１１２ ＲＯＭ
１１３ ＲＡＭ
１１４ 操作部
１１４ａ 操作ボタン
１１５ ネットワークＩ／Ｆ
１１６ 通信部
１１６ａ アンテナ
１１７ 加速度センサ
１１８ 電子コンパス
１１９ ＧＰＳ受信器
２００，２１０ 画像表示装置
２０１，２１１ 画像処理部
２０２，２１２ 画像表示部
２１３ 入力手段
３００ 注目点指示装置
1000, 2000 Image display system 100 Panorama image photographing apparatus 101 Imaging unit 102a, 102b Lens 103a, 103b Imaging element 104 Image processing unit 110 Bus 111 CPU
112 ROM
113 RAM
114 Operation unit 114a Operation button 115 Network I / F
DESCRIPTION OF SYMBOLS 116 Communication part 116a Antenna 117 Acceleration sensor 118 Electronic compass 119 GPS receiver 200,210 Image display apparatus 201,211 Image processing part 202,212 Image display part 213 Input means 300 Attention point instruction | indication apparatus
上述した課題を解決し、目的を達成するために、本発明は、パノラマ画像を取得する画像撮影装置と、前記画像撮影装置の傾きを取得する傾きセンサと、前記画像撮影装置の方位を取得する方位センサと、前記画像撮影装置の位置を取得する第１の位置取得手段と、注目すべき撮影対象の位置を注目点位置として指示する注目点指示装置と、前記画像撮影装置により取得されたパノラマ画像を、前記画像撮影装置の傾き、前記画像撮影装置の方位、及び前記画像撮影装置の位置と、前記注目点指示装置により指示された前記注目点位置に基づき表示される表示画像に変換し、当該表示画像を表示する画像表示装置と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention acquires an image capturing device that acquires a panoramic image , a tilt sensor that acquires a tilt of the image capturing device, and an orientation of the image capturing device. an azimuth sensor, a first position acquiring means for acquiring a position of the image capturing apparatus, a target point indicating device for indicating a target point position a position of the imaging target to be attention, acquired by the imaging apparatus The panorama image is converted into a display image displayed based on the tilt of the image capturing device, the orientation of the image capturing device, the position of the image capturing device, and the position of the target point indicated by the target point indicating device. And an image display device for displaying the display image.
Claims (9)
撮影者が意図する注目すべき撮影対象の位置を注目点位置として指示する注目点指示装置と、
前記パノラマ画像、並びに、前記画像撮影装置の傾き、方位、及び位置と、に基づいて、天頂方向に対して前記パノラマ画像を補正し、天頂方向に対して補正された前記パノラマ画像を前記注目点位置に基づいて水平方向及び垂直方向に回転することで前記注目点位置が中心に表示される表示画像に変換し、当該表示画像を表示する画像表示装置と、
を備えることを特徴とする画像表示システム。 A panoramic image, and an image capturing device that acquires the tilt, orientation, and position of the device itself;
A point-of-interest indicating device that indicates the position of a target to be photographed intended by the photographer as a point of interest position;
Based on the panoramic image and the tilt, orientation, and position of the image capturing device, the panoramic image is corrected with respect to the zenith direction, and the panoramic image corrected with respect to the zenith direction is determined as the attention point. An image display device for converting the display position to the display image in which the position of the target point is displayed by rotating in the horizontal direction and the vertical direction based on the position, and displaying the display image;
An image display system comprising:
前記装置自身の傾きに基づいて前記パノラマ画像の天頂補正をする天頂補正手段と、
前記装置自身の方位と、前記装置自身の位置および前記注目点位置とに基づいて、天頂補正後のパノラマ画像を前記注目点位置が中心に表示される表示画像へ変換する回転補正手段とを備える、
ことを特徴とする請求項１〜５のいずれか１つに記載の画像表示システム。 The image display device includes:
Zenith correction means for correcting the zenith of the panoramic image based on the tilt of the device itself;
Rotation correction means for converting a panoramic image after zenith correction into a display image centered on the point of interest position based on the orientation of the device itself, the position of the device itself and the position of the point of interest. ,
The image display system according to any one of claims 1 to 5, wherein
ことを特徴とする画像表示装置。 The panorama image corrected by the zenith direction is corrected based on the panorama image acquired by the image capturing device and the tilt, orientation, and position of the image capturing device. The image is converted into a display image in which the point of interest position is displayed at the center by rotating in the horizontal and vertical directions based on the position of the point of interest that is the position of the imaging target to be noticed, and the display image is displayed. ,
An image display device characterized by that.
ことを特徴とする画像表示方法。 The panorama image corrected by the zenith direction is corrected based on the panorama image acquired by the image capturing device and the tilt, orientation, and position of the image capturing device. The image is converted into a display image in which the point of interest position is displayed at the center by rotating in the horizontal and vertical directions based on the position of the point of interest that is the position of the imaging target to be noticed, and the display image is displayed. ,
An image display method characterized by the above.
当該変換された表示画像を画像表示装置に表示する機能と、
をコンピュータに実現させるためのプログラム。 The panorama image corrected by the zenith direction is corrected based on the panorama image acquired by the image capturing device and the tilt, orientation, and position of the image capturing device. A function of converting an image into a display image in which the position of the target point is displayed at the center by rotating the image in the horizontal direction and the vertical direction based on the position of the target point that is the position of the imaging target to be noted;
A function of displaying the converted display image on an image display device;
A program to make a computer realize.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018166919A JP6610741B2 (en) | 2018-09-06 | 2018-09-06 | Image display system, image display apparatus, image display method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018166919A JP6610741B2 (en) | 2018-09-06 | 2018-09-06 | Image display system, image display apparatus, image display method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014173261A Division JP6398472B2 (en) | 2014-08-27 | 2014-08-27 | Image display system, image display apparatus, image display method, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019198810A Division JP6879350B2 (en) | 2019-10-31 | 2019-10-31 | Image display systems, image display devices, image display methods, and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019024206A true JP2019024206A (en) | 2019-02-14 |
| JP6610741B2 JP6610741B2 (en) | 2019-11-27 |
Family
ID=65369023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018166919A Active JP6610741B2 (en) | 2018-09-06 | 2018-09-06 | Image display system, image display apparatus, image display method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6610741B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020149635A (en) * | 2019-03-15 | 2020-09-17 | 株式会社リコー | Imaging apparatus, image communication system, image processing method, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002314851A (en) * | 2001-04-10 | 2002-10-25 | Nikon Corp | Photographing apparatus |
| WO2013069048A1 (en) * | 2011-11-07 | 2013-05-16 | 株式会社ソニー・コンピュータエンタテインメント | Image generating device and image generating method |
| JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
-
2018
- 2018-09-06 JP JP2018166919A patent/JP6610741B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002314851A (en) * | 2001-04-10 | 2002-10-25 | Nikon Corp | Photographing apparatus |
| WO2013069048A1 (en) * | 2011-11-07 | 2013-05-16 | 株式会社ソニー・コンピュータエンタテインメント | Image generating device and image generating method |
| JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020149635A (en) * | 2019-03-15 | 2020-09-17 | 株式会社リコー | Imaging apparatus, image communication system, image processing method, and program |
| JP7192592B2 (en) | 2019-03-15 | 2022-12-20 | 株式会社リコー | Imaging device, image communication system, image processing method, program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6610741B2 (en) | 2019-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6398472B2 (en) | Image display system, image display apparatus, image display method, and program | |
| JP6919334B2 (en) | Image processing device, image processing method, program | |
| JP5920507B1 (en) | Image processing system, image processing method, and program | |
| JP6627935B2 (en) | Information processing apparatus, information processing method, and information processing program | |
| US10437545B2 (en) | Apparatus, system, and method for controlling display, and recording medium | |
| JP7192592B2 (en) | Imaging device, image communication system, image processing method, program | |
| JP2013214947A (en) | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program | |
| JP2019057903A (en) | Image processing apparatus, photographing system, image processing method, and program | |
| JP2017017689A (en) | Imaging system and program of entire-celestial-sphere moving image | |
| US9215340B2 (en) | Display apparatus, display method, and computer-readable recording medium | |
| JP2019164782A (en) | Image processing apparatus, image capturing system, image processing method, and program | |
| CN111226255A (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
| JP2019110434A (en) | Image processing apparatus, image processing system, and program | |
| JP6824143B2 (en) | Imaging equipment, imaging systems, image processing methods, information processing equipment, and programs | |
| JP6610741B2 (en) | Image display system, image display apparatus, image display method, and program | |
| JP6256513B2 (en) | Imaging system, imaging apparatus, method, and program | |
| JP5514062B2 (en) | Electronic device, imaging screen display method with information, and program | |
| JP6879350B2 (en) | Image display systems, image display devices, image display methods, and programs | |
| JP2019185757A (en) | Image processing device, imaging system, image processing method, and program | |
| JP2016025620A (en) | Image processing system, client system, image processing method, and storage medium | |
| JP6826215B2 (en) | Mobile device | |
| JP2012227717A (en) | Display device, display program, and display method | |
| US20200007761A1 (en) | Horizontal calibration method and system for panoramic image or video, and portable terminal | |
| US20240087157A1 (en) | Image processing method, recording medium, image processing apparatus, and image processing system | |
| JP6816403B2 (en) | Image management system, image communication system, image management method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181005 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181005 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190917 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191014 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6610741 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |