JP2016048856A - Image display system, image display device, image display method, and program - Google Patents
Image display system, image display device, image display method, and program Download PDFInfo
- Publication number
- JP2016048856A JP2016048856A JP2014173261A JP2014173261A JP2016048856A JP 2016048856 A JP2016048856 A JP 2016048856A JP 2014173261 A JP2014173261 A JP 2014173261A JP 2014173261 A JP2014173261 A JP 2014173261A JP 2016048856 A JP2016048856 A JP 2016048856A
- Authority
- JP
- Japan
- Prior art keywords
- image
- panoramic image
- panoramic
- image display
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000012937 correction Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 21
- 230000001133 acceleration Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
本発明は、画像表示システム、画像表示装置、画像表示方法、およびプログラムに関する。 The present invention relates to an image display system, an image display device, an image display method, and a program.
現在、超広角レンズや複数カメラや複数回撮影などを用いてパノラマ写真またはパノラマ動画(以下、静止画と動画とを区別せず、パノラマ画像と呼ぶ)を撮影する方法が普及している。また、パノラマ画像の画角を上下左右に360度の全天球まで広げた全天球画像を撮影する方法も知られている。 Currently, a method of photographing a panoramic picture or a panoramic video (hereinafter, referred to as a panoramic image without distinguishing between a still picture and a moving picture) using an ultra-wide-angle lens, a plurality of cameras, a plurality of times of photographing, and the like is widespread. There is also known a method of shooting a omnidirectional image in which the angle of view of a panoramic image is expanded to 360 celestial spheres in the vertical and horizontal directions.
これらの機器で撮影されたパノラマ画像は、例えばパーソナルコンピュータやスマートフォン、タブレット型コンピュータなどで表示され、閲覧者が視点を自由に変えながら閲覧し得る表示技術が知られている。 A panoramic image taken with these devices is displayed on, for example, a personal computer, a smartphone, a tablet computer, or the like, and a display technology that allows a viewer to browse while freely changing the viewpoint is known.
しかしながら、従来のパノラマ画像の表示技術では、最初の表示時における注目点の位置や、表示中における注目点の変化は、撮影時の機器の都合で決まってしまい、撮影者の意図を反映させることは困難であるという問題があった。 However, with the conventional panoramic image display technology, the position of the point of interest at the time of initial display and the change of the point of interest during display are determined by the convenience of the device at the time of shooting, and reflect the photographer's intention Had the problem of being difficult.
また、撮影者(編集者を含む。以下同じ)が意図する注目点を撮影後に編集するには、膨大な時間および手間がかかってしまい、特別な機材や技能を持たない撮影者には、撮影後に注目点を編集することは事実上不可能であった。 In addition, it takes a lot of time and effort to edit the point of interest intended by the photographer (including the editor; the same shall apply hereinafter) after shooting, and for photographers who do not have special equipment or skills, It was virtually impossible to edit the point of interest later.
例えば特許文献1には、パノラマ画像の表示領域を指定する目的で、表示画像の領域制御情報に従ってパノラマ画像の表示画像領域を表示する表示画像制御装置が開示されている。この表示画像制御装置は、表示画像領域制御情報を予め準備し、表示するパノラマ画像とともに提供して、表示画像制御装置にて画表示画像領域を表示させている。
For example,
確かに特許文献1に記載の方法でも撮影者など画像提供者側で意図した表示画像領域を表示することができる。しかし、特許文献1の方法では表示画像領域を制御するための情報を作成する必要があり、撮影者が意図する注目点をパノラマ画像の表示に反映させることが困難であるという問題は依然として解消できていない。
Certainly, even the method described in
本発明は、上記に鑑みてなされたものであって、その目的は、撮影者が意図する注目点を簡単にパノラマ画像の表示に反映させることができる画像表示システム、画像表示装置、画像表示方法、およびプログラムを提供することにある。 The present invention has been made in view of the above, and an object of the present invention is to provide an image display system, an image display apparatus, and an image display method capable of easily reflecting a point of interest intended by a photographer in displaying a panoramic image. , And to provide a program.
上述した課題を解決し、目的を達成するために、本発明は、パノラマ画像、並びに、装置自身の傾き、方位、及び位置を取得する画像撮影装置と、撮影者が意図する注目すべき撮影対象の位置を注目点位置として指示する注目点指示装置と、前記パノラマ画像、並びに、前記画像撮影装置の傾き、方位、及び位置と、前記注目点位置と、に基づいて、前記注目点位置が中心に表示される画像に前記パノラマ画像を変換し、当該表示画像を表示する画像表示装置とを備えることを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention provides a panoramic image, an image photographing device that acquires the inclination, orientation, and position of the device itself, and a notable photographing target intended by the photographer. The attention point position is centered on the basis of the attention point indicating device for indicating the position of the attention point as the attention point position, the panorama image, and the inclination, orientation, and position of the image capturing device, and the attention point position. And an image display device for converting the panoramic image into an image displayed on the screen and displaying the display image.
本発明によれば、撮影者が意図する注目点を簡単にパノラマ画像の表示に反映させることができるという効果を奏する。 According to the present invention, it is possible to easily reflect the attention point intended by the photographer on the display of the panoramic image.
以下、添付図面を参照して、本発明の実施形態に係る画像表示システム、画像表示装置、画像表示方法、およびプログラムを詳細に説明する。なお、以下では、静止画を用いた実施形態について説明を行うが、動画であっても各フレームを静止画とみなして本発明を適用した実施形態を構成することができる。したがって、以下で説明では、単に「画像」と云った場合、静止画と動画を含むものと理解されるべきである。 Hereinafter, an image display system, an image display device, an image display method, and a program according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following, an embodiment using a still image will be described, but an embodiment to which the present invention is applied can be configured by regarding each frame as a still image even for a moving image. Therefore, in the following description, it should be understood that the term “image” includes still images and moving images.
(第1実施形態)
図1は、第1実施形態に係る画像表示システムの概略構成を示す概念図である。図1に示されるように、第1実施形態の画像表示システム1000は、パノラマ画像撮影装置100と、画像表示装置200と、注目点指示装置300とを備える。
(First embodiment)
FIG. 1 is a conceptual diagram showing a schematic configuration of an image display system according to the first embodiment. As shown in FIG. 1, the
パノラマ画像撮影装置100は、パノラマ画像を撮影するための機器である。さらに、パノラマ画像撮影装置100は、装置自身の傾き、装置が向いている方位、および装置の位置に関する情報を取得する手段を備えている。パノラマ画像撮影装置100が取得した画像、傾き、方位、および位置は、画像表示装置200へ送信される。
The panoramic
なお、パノラマ画像撮影装置100から画像表示装置200への情報送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦パノラマ画像撮影装置100内に保存した後に画像表示装置200へ送信してもよい。
Note that information transmission from the panorama
注目点指示装置300は、撮影者が意図する注目すべき撮影対象O1の位置を注目点位置として指示するための機器である。なお、ここで云う注目点位置とは、撮影対象O1が存在する3次元空間上の位置である。図1に示されるように、撮影者が意図する注目すべき撮影対象O1が例えば自動車である場合、注目点の位置は撮影中に移動しまう。そこで、注目点指示装置300は、注目点の位置を画像表示装置200で表示する画像に反映させるために、パノラマ画像撮影装置100との相対的な位置を取得する。
The point-of-
本実施形態では、注目点指示装置300は、GPS(Global Positioning System)受信器を備える位置取得手段を、撮影者が意図する注目すべき撮影対象O1に備え付けることで構成されている。なお、移動し得る注目点は自動車に限らず、人や動物などあらゆる移動体とすることができ、GPS受信器を備える位置取得手段の例としては、スマートフォンやパーソナルコンピュータやカーナビゲーションなど一般的なGPSを備える装置を流用することができる。また、パノラマ画像撮影装置100を2つ用意し、一方を注目点指示装置300として撮影対象O1に備え付ける構成とすることも可能である。
In the present embodiment, the point-of-
なお、注目点指示装置300から画像表示装置200への送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦注目点指示装置300内に保存した後に画像表示装置200へ送信してもよい。
Note that transmission from the point-of-
図1に示されるように、画像表示装置200は、画像処理部201と画像表示部202とを備えている。画像処理部201は、パノラマ画像撮影装置100が取得した画像、傾き、方位、および位置と、注目点指示装置300が取得した位置とに基づいて、画像表示部202へ表示すべき画像を構成する。画像表示部202は、画像処理部201が構成した画像を表示するためのディスプレイである。
As shown in FIG. 1, the
例えば、画像表示装置200は、一般的なパーソナルコンピュータを用いて構成することも、スマートフォンなどのデバイスを用いて構成することも、専用デバイスとして構成することもできる。画像処理部201は、別個の独立した1つの装置として構成される必要はなく、画像処理部201の機能をネットワーク上のサーバに実装することも可能である。また、画像処理部201をパノラマ画像撮影装置100に付属させる構成とすることも可能である。
For example, the
次に、図2〜図4を参照しながら、パノラマ画像撮影装置100の構成について説明する。図2は、パノラマ画像撮影装置の側面図であり、図3は、パノラマ画像撮影装置の正面図であり、図4は、パノラマ画像撮影装置のハードウェア構成図である。
Next, the configuration of the panoramic
図2および図3に示されるように、パノラマ画像撮影装置100の上部には、レンズ102a,102bが設けられている。パノラマ画像撮影装置100の正面に設けられたレンズ102aは、パノラマ画像撮影装置100の前側半分を撮像するための広角レンズであり、パノラマ画像撮影装置100の背面に設けられたレンズ102bは、パノラマ画像撮影装置100の後ろ側半分を撮像するための広角レンズである。すなわち、パノラマ画像撮影装置100は、2つのレンズ102a,102bを用いて全天球を撮影することができるように構成されている。また、パノラマ画像撮影装置100の正面には、撮像の開始などを行うための操作ボタン114aが設けられている。
As shown in FIGS. 2 and 3,
なお、図に示されたパノラマ画像撮影装置100は、2つのレンズ102a,102bを用いて全天球を撮影する構成例であるが、本実施形態の適用は設けられたレンズの個数に限定されない。例えば、4つのレンズを用いて全天球を4分割して撮影する撮影装置や、さらに多くのレンズを用いた撮影装置であってもよい。また、全天球を撮影しなくとも、撮影した画像に対して注目点を変更することにメリットが現れる程度に高画角の撮影装置であれば、本実施形態の効果を享受し得る。
The panoramic
図4に示されているように、パノラマ画像撮影装置100は、撮像ユニット101、画像処理ユニット104、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、RAM(Random Access Memory)113、操作部114、ネットワークI/F115、通信部116、アンテナ116a、加速度センサ117、電子コンパス118、およびGPS受信器119を備えている。
As shown in FIG. 4, the panoramic
撮像ユニット101は、各々半球画像を結像するための180°以上の画角(好適には185°から190°)を有するレンズ102a,102bと、各レンズ102a,102bに対応させて設けられている2つの撮像素子103a,103bとを備えている。撮像素子103a,103bは、レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサである。
The
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104に接続されている。画像処理ユニット104は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、RAM113、操作部114、ネットワークI/F115、通信部116、加速度センサ117、電子コンパス118、およびGPS受信器119なども接続されている。
The
画像処理ユニット104は、撮像素子103a,103bから出力される画像データを通して取り込み、それぞれの画像データをメルカトル図法で展開したパノラマ画像に変換することに用いられる。
The
CPU111は、パノラマ画像撮影装置100の全体の動作を制御すると共に画像処理を実行することに用いられる。ROM112は、CPU111のための種々のプログラムを記憶するために用いられる。RAM113はワークメモリであり、CPU111で実行するプログラムや画像処理途中のデータ等を記憶するために用いられる。パノラマ画像撮影装置100が撮影した画像データは、RAM113のなかで、加速度センサ117、電子コンパス118、およびGPS受信器119が取得する関連情報と対応付けられて記憶されている。
The
操作部114は、例えば図3に示された操作ボタン114aなどから入力された操作を制御信号に変換することに用いられる。
The
ネットワークI/F115は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路である。RAM113に記憶された画像のデータは、このネットワークI/F115を介して外付けのメディアに記録されたり、外部装置に送信されたりする。
The network I /
通信部116は、アンテナ116aを介して、例えば画像表示装置200や注目点指示装置300など外部装置と通信を行うことに用いられる。この通信部116によっても、画像のデータを外部装置に送信することができる。
The
加速度センサ117は、パノラマ画像撮影装置100の上下方向、左右方向、および前後方向の、互いに直交する3方向に関する加速度を検出する3軸加速度センサである。したがって、加速度センサ117は、重力加速度の方向を検出することによって、パノラマ画像撮影装置100の傾きを検出することが可能である。
The
電子コンパス118は、地球の磁気からパノラマ画像撮影装置100の正面が向いている方位および傾きを算出し、方位および傾き情報を出力する。すなわち、電子コンパス118は、パノラマ画像撮影装置100の上下方向、左右方向、および前後方向の、互いに直交する3方向に関する地磁気方向を検出し、パノラマ画像撮影装置100の正面が向いている方位および傾きを算出する。
The
GPS受信器119は、人工衛星からの電波を受信し、パノラマ画像撮影装置100の位置および高さを測定することに用いられる。なお、パノラマ画像撮影装置100の位置および高さの測定における原点は任意に定めることができるが、注目点指示装置300の位置および高さの測定における原点と一致させておく必要がある。なぜならば、本実施形態で必要となるのは、パノラマ画像撮影装置100と注目点指示装置300との間の相対的位置関係であるからである。
The
次に、図5〜図8を参照しながら、パノラマ画像撮影装置100によるパノラマ画像の撮影の例を説明する。図5は、パノラマ画像撮影装置の使用イメージ図であり、図6は、パノラマ画像撮影装置で撮影された前側半球画像であり、図7は、パノラマ画像撮影装置で撮影された後側半球画像であり、図8は、図6および図7の半球画像を変換および合成したパノラマ画像である。
Next, an example of panorama image shooting by the panorama
図5に示されるように、パノラマ画像撮影装置100は、撮影者Mが手に持って撮影者の周りの撮影対象物を撮影することが可能である。先述のように、パノラマ画像撮影装置100は、2つのレンズ102a,102bによって全球を2つの半球に分割する。
As shown in FIG. 5, the panoramic
図6および図7は、それぞれ2つのレンズ102a,102bによって分割撮影された前側半球画像および後側半球画像である。この2つの前側半球画像および後側半球画像をメルカトル図法を用いて変換した後に、2つの画像を合成したものが図8に示されたパノラマ画像である。
6 and 7 are a front hemisphere image and a rear hemisphere image that are separately captured by two
しかしながら、図8に示されたパノラマ画像は、撮影者Mの意図する注目点を中心とした適切な変換がなされてなく、パノラマ画像撮影装置100の装置自体の傾きによる影響を補正していない。つまり、撮影者Mの意図する注目点を中心として最適化された変換がされていないので、撮影者Mの意図する注目点の付近で画像歪み等が残ってしまうことがある。
However, the panoramic image shown in FIG. 8 has not been appropriately converted around the point of interest intended by the photographer M, and the influence of the tilt of the panoramic
そこで、本実施形態に係る画像表示システム1000、画像表示装置200、および画像表示方法では、以下に示すように、パノラマ画像撮影装置100が取得したパノラマ画像を、パノラマ画像撮影装置100自身の傾き、方位、及び位置と、撮影者Mが意図する注目すべき撮影対象の注目点位置とに基づいて、注目点位置を中心とした画像にパノラマ画像を変換する。以下で説明する画像変換方法は、画像処理部201にて実行されるものである。
Therefore, in the
以下、図9〜図21を参照しながら、注目点位置を中心とした画像にパノラマ画像を変換する方法について説明する。以下の説明は3部にて構成されており、図9〜図12を参照したパノラマ画像の生成方法、図13〜図14を参照した天頂補正、および図15〜図21を参照した注目点方向の変換の説明で構成されている。 Hereinafter, a method for converting a panoramic image into an image centered on the position of the attention point will be described with reference to FIGS. The following description is composed of three parts, a panoramic image generation method with reference to FIGS. 9 to 12, a zenith correction with reference to FIGS. 13 to 14, and an attention point direction with reference to FIGS. It consists of a description of the conversion.
[パノラマ画像の生成方法]
図9は、パノラマ画像撮影装置のレンズおよび撮像素子における射影関係を示す図であり、図10は、撮影像が撮像素子上に射影される位置を示す図である。
[Panorama image generation method]
FIG. 9 is a diagram illustrating a projection relationship between the lens and the image sensor of the panoramic image photographing apparatus, and FIG. 10 is a diagram illustrating a position where the photographed image is projected onto the image sensor.
パノラマ画像撮影装置100のレンズ102aおよび撮像素子103aで構成される光学系は、180度の画角を有している。図9に示されるように、レンズ102aの光軸からの角度である入射角度γの光線は、撮像素子103a上にて中心から距離である像高hの位置に投影される。この関係は、0度から180度の範囲の入射角度γに対して像高hが定まる関係であり、これを射影関数fと定める。図10に示されるように、入射角度γの光線は、撮像素子103a上にて中心から距離である像高h(=f(γ))の位置に投影されるので、同一の入射角γの光線は、撮像素子103a上にて同心円状に投影される。
The optical system including the
この射影関数fは、レンズ102aの設計によって自由に設計し得るものであるが、例えば中心射影方式、立体射影方式、等距離射影方式、等立体角射影方式、正射影方式などの例を挙げることができる。一般に、中心射影方式は、通常の画角を有するレンズを備えるデジタルカメラで撮影する際に用いられる方式であり、その他4つの方式は、魚眼レンズなどの超広角な画角を持つ広角レンズを用いたデジタルカメラで利用される方式である。
This projection function f can be freely designed according to the design of the
次に、図11および図12を参照しながら、撮像素子上の画素とパノラマ画像上の画素との対応関係について説明する。 Next, a correspondence relationship between pixels on the image sensor and pixels on the panoramic image will be described with reference to FIGS. 11 and 12.
図11は、撮像素子上の画素をパノラマ画像上の画素へ変換する変換方法を説明する図である。図11(a)は、変換前後の画像座標値のマトリクスを示した変換テーブルの例を示す図であり、図11(b)および(c)は、それぞれ変換後であるパノラマ画像上の画素の座標値および変換前である撮像素子上の画素の座標値を示す図である。 FIG. 11 is a diagram illustrating a conversion method for converting pixels on the image sensor into pixels on a panoramic image. FIG. 11A is a diagram showing an example of a conversion table showing a matrix of image coordinate values before and after conversion, and FIGS. 11B and 11C show the pixels on the panoramic image after conversion, respectively. It is a figure which shows the coordinate value and the coordinate value of the pixel on the image pick-up element before conversion.
図11(a)に示されるように、撮像素子上の画素をパノラマ画像上の画素へ変換する変換テーブルは、パノラマ画像上の座標値(θ、φ)と、それに対応する撮像素子上の座標値(x、y)とのデータセットを、パノラマ画像上のすべての画像の座標値(3600×1800)に対して有する。 As shown in FIG. 11A, the conversion table for converting pixels on the image sensor into pixels on the panoramic image includes coordinate values (θ, φ) on the panorama image and corresponding coordinates on the image sensor. A data set with values (x, y) is provided for the coordinate values (3600 × 1800) of all images on the panoramic image.
図11(a)に示した変換テーブルにしたがって、撮像された画像(変換前画像)から変換後画像を生成する。具体的には、図11(b)、(c)に示すように、変換前と変換後の変換テーブル(図11(a))の対応関係から、変換後画像の各画素を、座標値(θ、φ)に対応する変換前画像の座標値(x、y)の画素値を参照することによって生成する。 A post-conversion image is generated from the captured image (pre-conversion image) according to the conversion table shown in FIG. Specifically, as shown in FIGS. 11B and 11C, each pixel of the post-conversion image is represented by a coordinate value (from the correspondence relationship between the pre-conversion and post-conversion conversion table (FIG. 11A). It is generated by referring to the pixel value of the coordinate value (x, y) of the pre-conversion image corresponding to (θ, φ).
なお、上記説明した変換は、パノラマ画像撮影装置100が備える2つの撮像素子103a,103bのそれぞれについて行なわれ、最終的に一つのパノラマ画像が生成される。
The above-described conversion is performed for each of the two
図12は、上記説明した方法で生成されたパノラマ画像の座標系について説明する図である。図12(a)に示されるように、変換後のパノラマ画像は、(θ、φ)の2次元平面座標を有する。これら座標(θ、φ)は、それぞれ経度および緯度に相当し、図12(b)に示されるように、半球画像では、地球儀上における緯度経度座標のような座標系に対応している。 FIG. 12 is a diagram illustrating a coordinate system of a panoramic image generated by the method described above. As shown in FIG. 12A, the panoramic image after conversion has a two-dimensional plane coordinate of (θ, φ). These coordinates (θ, φ) correspond to longitude and latitude, respectively. As shown in FIG. 12B, the hemisphere image corresponds to a coordinate system such as latitude and longitude coordinates on the globe.
[天頂補正]
ここで、図13および図14を参照しながら、以下で説明する天頂補正の概要を説明する。図13は、パノラマ画像撮影装置が傾いていない場合における、半球画像からパノラマ画像への変換を示す図であり、図14は、パノラマ画像撮影装置が傾いている場合における、半球画像からパノラマ画像への変換を示す図である。図13(a)(b)は、それぞれパノラマ画像撮影装置が傾いていない場合における前側半球画像および後側半球画像を示し、図13(c)は、パノラマ画像撮影装置が傾いていない場合における変換後のパノラマ画像上の水平線位置を示す図である。同様に、図14(a)(b)は、それぞれパノラマ画像撮影装置が傾いている場合における前側半球画像および後側半球画像を示し、図13(c)は、パノラマ画像撮影装置が傾いている場合における変換後のパノラマ画像上の水平線位置を示す図である。
[Zenith correction]
Here, an outline of zenith correction described below will be described with reference to FIGS. 13 and 14. FIG. 13 is a diagram illustrating conversion from a hemispherical image to a panoramic image when the panoramic image photographing apparatus is not tilted. FIG. 14 is a diagram illustrating conversion from a hemispherical image to a panoramic image when the panoramic image photographing apparatus is tilted. FIG. FIGS. 13A and 13B show a front hemisphere image and a rear hemisphere image when the panoramic image photographing apparatus is not tilted, and FIG. 13C is a conversion when the panoramic image photographing apparatus is not tilted. It is a figure which shows the horizontal line position on a subsequent panoramic image. Similarly, FIGS. 14A and 14B show a front hemisphere image and a rear hemisphere image when the panoramic image photographing device is tilted, and FIG. 13C is a tilted panoramic image photographing device. It is a figure which shows the horizontal line position on the panoramic image after conversion in the case.
図13(a)(b)に示されるように、パノラマ画像撮影装置100が傾いていない場合における半球画像は、天頂Vが半球画像の上端に位置し、水平線Hが半球画像の中央に直線状に位置している。この2つの半球画像を上記説明した変換方法でパノラマ画像へ変換すると、図13(c)に示されるように、水平線Hはパノラマ画像上の中央に直線状に変換される。
As shown in FIGS. 13 (a) and 13 (b), when the panoramic
一方、図14(a)(b)に示されるように、パノラマ画像撮影装置100が傾いている場合における半球画像は、天頂Vが半球画像の上端からずれた場所に位置し、水平線Hが半球画像の中央に円弧状に曲がって位置している。この2つの半球画像を上記説明した変換方法でパノラマ画像へ変換すると、図14(c)に示されるように、水平線Hはパノラマ画像上の中央に円弧状に曲がって変換されてしまう。
On the other hand, as shown in FIGS. 14A and 14B, when the panoramic
そこで、パノラマ画像撮影装置が傾いていることに起因して図14(c)に示される画像のように歪みが発生してしまったパノラマ画像を、図13(c)に示される画像のように補正する。この補正を天頂補正と呼び、以下ではこの天頂補正についての詳細を説明する。 Therefore, a panoramic image in which distortion has occurred as in the image shown in FIG. 14C due to the tilt of the panoramic image photographing device is converted into an image shown in FIG. 13C. to correct. This correction is called zenith correction, and the details of this zenith correction will be described below.
まず、図15を参照しながら、座標系の定義を行う。図15は、カメラ座標系とグローバル座標系の関係を示す図である。カメラ座標系とは、パノラマ画像撮影装置100に固定された座標系であり、グローバル座標系とは、天頂補正後にカメラ座標系が変換される座標系である。
First, the coordinate system is defined with reference to FIG. FIG. 15 is a diagram illustrating the relationship between the camera coordinate system and the global coordinate system. The camera coordinate system is a coordinate system fixed to the panoramic
図15に示されるように、カメラ座標系(x0,y0,z0)は、パノラマ画像撮影装置100に固定された3次元直交座標系である。座標z0は、パノラマ画像撮影装置100にとっての上方向に一致し、座標平面x0−y0は、パノラマ画像撮影装置100にとっての水平方向に一致している。なお、注目点方向の初期値を座標y0の正方向に定める。つまり、初期設定においては、座標y0の正方向に存在する撮影対象がパノラマ画像の中央に配置されるものとする。
As shown in FIG. 15, the camera coordinate system (x 0 , y 0 , z 0 ) is a three-dimensional orthogonal coordinate system fixed to the panoramic
一方、グローバル座標系(x1,y1,z1)は、天頂補正後にカメラ座標系が変換される座標系であり、以下の条件を満たす座標系である。
・座標平面x1−y1が水平である。
・座標軸z1が天頂方向である。
・パノラマ画像撮影装置100の座標平面x0−y0の中に、グローバル座標系の座標軸x1が存在する。
On the other hand, the global coordinate system (x 1 , y 1 , z 1 ) is a coordinate system to which the camera coordinate system is converted after zenith correction, and is a coordinate system that satisfies the following conditions.
The coordinate plane x 1 -y 1 is horizontal.
The coordinate axis z 1 is the zenith direction.
The coordinate axis x 1 of the global coordinate system exists in the coordinate plane x 0 -y 0 of the panoramic
上記要件を満たす座標系は、天頂補正後にカメラ座標系が変換される座標系として1つに定まる。天頂補正では、カメラ座標系からグローバル座標系への変換を2つの回転で実現する。このために、カメラ座標系とグローバル座標系との間の関係をパノラマ画像撮影装置100が検出する重力方向を用いて演算する。
A coordinate system that satisfies the above requirements is determined as one coordinate system to which the camera coordinate system is converted after zenith correction. In zenith correction, the transformation from the camera coordinate system to the global coordinate system is realized by two rotations. For this purpose, the relationship between the camera coordinate system and the global coordinate system is calculated using the gravity direction detected by the panoramic
図16は、パノラマ画像撮影装置が検出する重力方向を示す図である。先述した図4に記載のように、パノラマ画像撮影装置100は加速度センサ117を備えている。加速度センサ117は、カメラ座標系(x0,y0,z0)の各座標方向に関する加速度を検出する3軸加速度センサであるので、図16に示されるように、重力加速度Gは、カメラ座標(x0,y0,z0)の各成分(Ax,Ay、Az)に分解され検出される。
FIG. 16 is a diagram illustrating the gravity direction detected by the panoramic image photographing apparatus. As described above with reference to FIG. 4, the panoramic
加速度センサ117が検出した重力加速度Gの各成分(Ax,Ay,Az)を用いると、カメラ座標系からグローバル座標系への変換を導く2つの回転の回転角α,βは以下のように求められる。
When each component (A x , A y , A z ) of the gravitational acceleration G detected by the
図17は、上記算出した2つの回転の回転角α,βを示した図である。図17に示されるように、回転角αはx0−原点−x1の角度であり、回転角βはz0−原点−z1の角度である。 FIG. 17 is a diagram showing the rotation angles α and β of the two rotations calculated above. As shown in FIG. 17, the rotation angle α is an angle of x 0 -origin-x 1 , and the rotation angle β is an angle of z 0 -origin-z 1 .
以上に算出した2つの回転の回転角α,βを用いると、天頂補正後のパノラマ画像の座標(θ1,φ1)から天頂補正前のパノラマ画像の座標(θ0,φ0)への変換は、以下の変換式(2)で記述される。なお、パノラマ画像の座標とは、図12によって説明した座標である。 Using the two rotation angles α and β calculated above, the coordinates (θ 1 , φ 1 ) of the panoramic image after zenith correction to the coordinates (θ 0 , φ 0 ) of the panoramic image before zenith correction are used. The conversion is described by the following conversion formula (2). Note that the coordinates of the panoramic image are the coordinates described with reference to FIG.
天頂補正前のパノラマ画像から天頂補正後のパノラマ画像への変換は、天頂補正後の画素の座標(θ1,φ1)に対応する天頂補正前の画素の座標(θ0,φ0)を上記変換式(2)を用いて算出し、座標(θ0,φ0)における画素情報(RGBデータ等)を座標(θ1,φ1)へ写像すればよい。 The conversion from the panoramic image before zenith correction to the panoramic image after zenith correction is performed by using the coordinates (θ 0 , φ 0 ) of the pixel before zenith correction corresponding to the coordinates (θ 1 , φ 1 ) of the pixel after zenith correction. The pixel information (RGB data or the like) at the coordinates (θ 0 , φ 0 ) may be mapped to the coordinates (θ 1 , φ 1 ) by using the conversion formula (2).
[注目点方向の変換]
以上により、パノラマ画像撮影装置100が傾いていることに起因するパノラマ画像の不具合を補正することができた。この後、撮影者が意図する注目すべき撮影対象の位置をパノラマ画像の中央に移動する変換を行う。この変換のために、地表の座標系を定義する。
[Convert attention point direction]
As described above, the malfunction of the panorama image due to the panorama
図18は、地表の座標系の定義を説明する図である。先述した図4に記載のように、パノラマ画像撮影装置100は電子コンパス118とGPS受信器119とを備えている。地表の座標系は、電子コンパス118で得られた情報とGPS受信器119で得られた情報とを対応付けるための座標系である。
FIG. 18 is a diagram for explaining the definition of the coordinate system of the ground surface. As described above with reference to FIG. 4, the panoramic
図18に示されるように、地表の座標系(x2,y2,z2)は、地表に固定された3次元直交座標系である。図18に示されるように、地表の座標系(x2,y2,z2)は、座標軸x2の正方向を東Eとし、座標軸x2の負方向を西Wとし、座標軸y2の正方向を北Nとし、座標軸y2の負方向を南Sとし、座標軸z2の正方向を天頂Vとする。なお、電子コンパス118が検出する地軸と実際の地軸とは誤差があるが、日本付近では6°程度と微小であるため無視してもよく、必要に応じて補正してもよい。
As shown in FIG. 18, the coordinate system (x 2 , y 2 , z 2 ) of the ground surface is a three-dimensional orthogonal coordinate system fixed to the ground surface. As shown in FIG. 18, in the coordinate system (x 2 , y 2 , z 2 ) of the ground surface, the positive direction of the coordinate axis x 2 is east E, the negative direction of the coordinate axis x 2 is west W, and the coordinate axis y 2 The positive direction is north N, the negative direction of the coordinate axis y 2 is south S, and the positive direction of the coordinate axis z 2 is zenith V. Although there is an error between the earth axis detected by the
ここで、天頂補正後の注目点方向について検討する。すなわち、天頂補正前の注目点方向はカメラ座標系におけるy0軸方向であり、パノラマ画像ではこの方向の撮影対象物が中心となっていた。しかしながら、天頂補正をしたことにより、この注目点方向がy1軸方向になっている。そこで、y0軸方向とy1軸方向との関係を検討する。 Here, the direction of the point of interest after zenith correction is examined. That is, target point direction before zenith correction is y 0 axially in the camera coordinate system, the object to be shot in the direction in the panoramic image has been a center. However, it has the zenith correction, the target point direction is the y 1 axially. Therefore, considering the relationship between y 0 axial and y 1 axially.
ところで、天頂補正時の処理では、x0軸をx1軸に合わせるためにz0軸を中心にα度回転させ、その後、x1軸を中心としてβ度回転させている。このことから、グローバル座標系の水平平面に限った場合、天頂補正後の注目点方向(y1軸方向)と初期値の注目点方向(y0軸方向)は、α度だけずれていることが解る。 Incidentally, in the processing at the zenith correction, the x 0 axis is rotated α degrees about the z 0 axis to match the x 1 axis, then, it is rotated β degrees around the x 1 axis. Therefore, when limited to the horizontal plane of the global coordinate system, the attention point direction (y 1 axis direction) after the zenith correction and the initial attention point direction (y 0 axis direction) are shifted by α degrees. I understand.
図19は、y1軸方向とy0軸方向との関係を示す図である。天頂補正は、α度の回転とβ度の回転の合成によって実現されるが、図19に示されるように、座標平面x1−y1に限定して考えると、α度の回転となっている。なお、図19に示されるy0’軸は、y0軸を座標平面x1−y1に射影したものである。 Figure 19 is a diagram showing the relationship between y 1 axial and y 0 axially. The zenith correction is realized by the combination of the rotation of α degrees and the rotation of β degrees. However, as shown in FIG. 19, when limited to the coordinate plane x 1 -y 1 , the rotation is α degrees. Yes. Note that the y 0 ′ axis shown in FIG. 19 is obtained by projecting the y 0 axis onto the coordinate plane x 1 -y 1 .
さらに、天頂補正の注目点方向であるy1軸の正方向は、地表の座標系で考えた場合にどの方向であるかを検討する。図20は、y1軸方向とy2軸方向とy0’軸方向との関係を示す図である。図20は、記載を見やすくするため、座標平面x1−y1上に、地表の座標系で北方向を示すy2軸と、カメラ座標系で注目点方向を示すy0軸方向の射影であるy0’軸とを記載している。 Further, the positive direction of the y 1 axis, which is the direction of the target point for zenith correction, is examined as to which direction is considered in the surface coordinate system. FIG. 20 is a diagram illustrating a relationship among the y 1 axis direction, the y 2 axis direction, and the y 0 ′ axis direction. In FIG. 20, in order to make the description easy to see, projections in the y 2 axis indicating the north direction in the coordinate system of the ground surface and the y 0 axis direction indicating the direction of the point of interest in the camera coordinate system on the coordinate plane x 1 -y 1. A certain y 0 'axis is described.
ところで、先述した図4に記載のように、パノラマ画像撮影装置100は電子コンパス118を備えている。電子コンパス118は、カメラ座標系(x0,y0,z0)における北方向H0の各成分(Hx,Hy)を検出するものである。よって、図20に示されるように、電子コンパス118の検出値HxとHyとをもちいて、下式のように、y0’軸とy2軸との成す角αhを算出できる。
Incidentally, as described above with reference to FIG. 4, the panoramic
一方、y1軸とy0’軸との成す角はα度であったので、y1軸とy2軸との成す角は(α―αh)度であることが解る。なお、y1軸およびy2軸は、共に座標平面x1−y1上に存在しているので、グローバル座標系(x1,y1,z1)と地表の座標系(x2,y2,z2)との間の変換では、仰角の変換をする必要がない。 On the other hand, since the angle formed between the y 1 axis and the y 0 ′ axis is α degrees, it is understood that the angle formed between the y 1 axis and the y 2 axis is (α−α h ) degrees. Since both the y 1 axis and the y 2 axis exist on the coordinate plane x 1 -y 1 , the global coordinate system (x 1 , y 1 , z 1 ) and the ground surface coordinate system (x 2 , y 1 ) 2 , z 2 ) does not require elevation angle conversion.
次に、注目点指示装置300の検出結果を反映させる。すなわち、パノラマ画像撮影装置100が備えるGPS受信器との測定値と注目点指示装置300が備えるGPS受信器とから、パノラマ画像撮影装置100と注目点指示装置300との相対的位置関係を求め、注目点指示装置300が示す位置がパノラマ画像の中心となるように画像を変換する。
Next, the detection result of the attention
図21は、パノラマ画像撮影装置と注目点指示装置との相対的位置関係を示す図である。図21では、パノラマ画像撮影装置100および注目点指示装置300の位置が、地表の座標系(x2,y2,z2)を用いて、それぞれ座標(Gx0,Gy0,Gz0)および座標(Gx1,Gy1,Gz1)に記載されている。
FIG. 21 is a diagram illustrating a relative positional relationship between the panoramic image photographing device and the target point indicating device. In FIG. 21, the positions of the panoramic
図21に示されるように、北方向(y2軸)と注目点方向(注目点指示装置300の方向)との水平方向の成す角θhおよび仰角θvは、下記式で計算できる。
以上の検討から、天頂補正後のパノラマ画像に対して、水平方向に対して(α−αh−θh)度の回転をし、その後、垂直方向に対して(θv)度の回転をすることで、注目点方向を中心としたパノラマ画像を得ることができることが解る。なお、実際の回転に係る変換は、先述の変換式(2)のパラメータを適切に変更したものを用いればよい。 From the above examination, the panoramic image after zenith correction is rotated by (α−α h −θ h ) degrees with respect to the horizontal direction, and then rotated by (θ v ) degrees with respect to the vertical direction. Thus, it can be seen that a panoramic image centered on the direction of the point of interest can be obtained. In addition, what is necessary is just to use what changed the parameter of the above-mentioned conversion formula (2) suitably for the conversion which concerns on actual rotation.
以上、撮影者が意図する注目方向をパノラマ画像の中心に移動させる変換を説明したが、当該変換は、動画の各フレームに適用すれば、静止画のみならず、動画に対しても適用可能である。 As described above, the conversion in which the direction of interest intended by the photographer is moved to the center of the panoramic image has been described. However, if the conversion is applied to each frame of the moving image, it can be applied not only to the still image but also to the moving image. is there.
(第2実施形態)
次に、第2実施形態に係る画像表示システムについての説明を行う。第1実施形態に係る画像表示システムは移動可能な撮影対象を注目点とするのに好適なものであったが、第2実施形態に係る画像表示システムは移動しない撮影対象を注目点とするのに好適である。第2実施形態は、例えば大きな目標物(山、木、建造物など)を周遊しながらの撮影や橋やビルなどをラジコンヘリで空撮して欠陥検査する場合などに好適である。
(Second Embodiment)
Next, an image display system according to the second embodiment will be described. The image display system according to the first embodiment is suitable for making a movable shooting target as a point of interest, but the image display system according to the second embodiment sets a moving shooting target as a point of interest. It is suitable for. The second embodiment is suitable, for example, when photographing a large target (such as a mountain, a tree, or a building) while taking an aerial photograph of a bridge or a building with a radio controlled helicopter to inspect the defect.
図22は、第2実施形態に係る画像表示システムの概略構成を示す概念図である。図22に示されるように、第2実施形態の画像表示システム2000は、パノラマ画像撮影装置100と、画像表示装置210とを備える。
FIG. 22 is a conceptual diagram showing a schematic configuration of an image display system according to the second embodiment. As shown in FIG. 22, the
パノラマ画像撮影装置100は、パノラマ画像を撮影するためのものであり、第1実施形態と同一の構成とすることができる。すなわち、パノラマ画像撮影装置100は、装置自身の傾き、装置が向いている方位、および位置の情報を取得する手段を備えている。パノラマ画像撮影装置100が取得した画像、傾き、方位、および位置は、画像表示装置210へ送信される。
The panoramic
なお、パノラマ画像撮影装置100から画像表示装置210への送信は、無線方式であっても、有線方式であってもよく、また、リアルタイムで送信しても、一旦パノラマ画像撮影装置100内に保存した後に画像表示装置210へ送信してもよい。
The transmission from the panoramic
画像表示装置210は、画像処理部211と画像表示部212と入力手段213とを備えている。画像処理部211は、パノラマ画像撮影装置100が取得した画像、傾き、方位、および位置と、入力手段213により入力された注目点位置とに基づいて、画像表示部212へ表示すべき画像を構成する。画像表示部212は、画像処理部211が生成した画像を表示するためのディスプレイである。
The
入力手段213は、撮影者が意図する注目すべき撮影対象O2の位置を注目点位置として指示するための手段である。入力手段213は、例えばタッチパネルやキーボードなどの一般的な入力機器を用いて構成されている。撮影者は意図する注目すべき撮影対象O2の位置を入力手段213を用いて入力する。
The
上記の構成から解るように、第2実施形態に係る画像表示システム2000は、第1実施形態における注目点指示装置300の代わりに入力手段213を用いて撮影者が意図する注目すべき撮影対象O2の位置を注目点位置として指示する構成である。言い換えると、第2実施形態に係る画像表示システム2000では、入力手段213は、撮影者が意図する注目すべき撮影対象O2の位置を注目点位置として指示する注目点指示装置として機能している。
As can be seen from the above configuration, the
本実施形態の画像処理部211も、パノラマ画像撮影装置100が取得したパノラマ画像を、パノラマ画像撮影装置100自身の傾き、方位、及び位置と、撮影者が意図する注目すべき撮影対象の注目点位置とに基づいて、注目点位置を中心とした表示画像にパノラマ画像を変換するが、その変換方法は第1実施形態と同一である。したがって、本実施形態の説明では、変換方法の説明は省略するものとする。
The
1000、2000 画像表示システム
100 パノラマ画像撮影装置
101 撮像ユニット
102a,102b レンズ
103a,103b 撮像素子
104 画像処理ユニット
110 バス
111 CPU
112 ROM
113 RAM
114 操作部
114a 操作ボタン
115 ネットワークI/F
116 通信部
116a アンテナ
117 加速度センサ
118 電子コンパス
119 GPS受信器
200,210 画像表示装置
201,211 画像処理部
202,212 画像表示部
213 入力手段
300 注目点指示装置
1000, 2000
112 ROM
113 RAM
114
DESCRIPTION OF
Claims (9)
撮影者が意図する注目すべき撮影対象の位置を注目点位置として指示する注目点指示装置と、
前記パノラマ画像、並びに、前記画像撮影装置の傾き、方位、及び位置と、前記注目点位置と、に基づいて、前記注目点位置が中心に表示される画像に前記パノラマ画像を変換し、当該表示画像を表示する画像表示装置と、
を備えることを特徴とする画像表示システム。 A panoramic image, and an image capturing device that acquires the tilt, orientation, and position of the device itself;
A point-of-interest indicating device that indicates the position of a target to be photographed intended by the photographer as a point of interest position;
Based on the panorama image and the tilt, orientation, and position of the image capturing device, and the point of interest position, the panorama image is converted into an image displayed around the point of interest position, and the display An image display device for displaying an image;
An image display system comprising:
前記装置自身の傾きに基づいて前記パノラマ画像の天頂補正をする天頂補正手段と、
前記装置自身の方位と、前記装置自身の位置および前記注目点位置とに基づいて、前記天頂補正後のパノラマ画像を前記注目点位置が中心に表示される画像へ変換する回転補正手段とを備える、
ことを特徴とする請求項1〜5のいずれか1つに記載の画像表示システム。 The image display device includes:
Zenith correction means for correcting the zenith of the panoramic image based on the tilt of the device itself;
Rotation correcting means for converting the panoramic image after the zenith correction into an image displayed around the position of the attention point based on the orientation of the apparatus itself, the position of the apparatus itself, and the position of the attention point. ,
The image display system according to any one of claims 1 to 5, wherein
ことを特徴とする画像表示装置。 Based on the panoramic image acquired by the image capturing device and the tilt, orientation, and position of the image capturing device and the target point position of the target subject to be photographed intended by the photographer, the target point position is centered. Converting the panoramic image into an image displayed on the screen and displaying the display image;
An image display device characterized by that.
ことを特徴とする画像表示方法。 Based on the panoramic image acquired by the image capturing device and the tilt, orientation, and position of the image capturing device and the target point position of the target subject to be photographed intended by the photographer, the target point position is centered. Converting the panoramic image into an image displayed on the screen and displaying the display image;
An image display method characterized by the above.
当該変換された画像を画像表示装置に表示する機能と、
をコンピュータに実現させるためのプログラム。 Based on the panoramic image acquired by the image capturing device and the tilt, orientation, and position of the image capturing device and the target point position of the target subject to be photographed intended by the photographer, the target point position is centered. A function of converting the panoramic image into an image displayed on the screen;
A function of displaying the converted image on an image display device;
A program to make a computer realize.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014173261A JP6398472B2 (en) | 2014-08-27 | 2014-08-27 | Image display system, image display apparatus, image display method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014173261A JP6398472B2 (en) | 2014-08-27 | 2014-08-27 | Image display system, image display apparatus, image display method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018166919A Division JP6610741B2 (en) | 2018-09-06 | 2018-09-06 | Image display system, image display apparatus, image display method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016048856A true JP2016048856A (en) | 2016-04-07 |
JP6398472B2 JP6398472B2 (en) | 2018-10-03 |
Family
ID=55649545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014173261A Active JP6398472B2 (en) | 2014-08-27 | 2014-08-27 | Image display system, image display apparatus, image display method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6398472B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017179135A1 (en) * | 2016-04-12 | 2017-10-19 | 株式会社オプティム | Entire celestial sphere camera display image changing system, entire celestial sphere camera display image changing method and program |
JP2017211535A (en) * | 2016-05-26 | 2017-11-30 | 株式会社リコー | Information processing device, information processing method, program and display system |
JP2018009957A (en) * | 2016-07-04 | 2018-01-18 | 株式会社トプコン | Three-dimensional position measurement system, three-dimensional position measurement method, and measurement module |
JP2019016962A (en) * | 2017-07-10 | 2019-01-31 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
JP2020071854A (en) * | 2018-10-31 | 2020-05-07 | 大日本印刷株式会社 | Image processing apparatus, image processing method, and program |
JP2020514883A (en) * | 2017-03-02 | 2020-05-21 | 深▲せん▼嵐鋒創視網絡科技有限公司Shenzhen Arashi Vision Company Limited | Horizontal calibration method for panoramic image or video, system and mobile terminal |
JP2020088843A (en) * | 2018-11-21 | 2020-06-04 | 株式会社リコー | Imaging system, terminal, and program |
CN111480176A (en) * | 2017-12-18 | 2020-07-31 | 株式会社理光 | Image processing apparatus, image processing system, image processing method, and recording medium |
JP2020136850A (en) * | 2019-02-18 | 2020-08-31 | 株式会社リコー | Imaging apparatus, imaging method, program, and imaging system |
US10937134B2 (en) | 2016-12-28 | 2021-03-02 | Ricoh Company, Ltd. | Image processing apparatus, image capturing system, image processing method, and recording medium |
JP7434797B2 (en) | 2018-11-30 | 2024-02-21 | 株式会社リコー | Image processing device, imaging device, video playback system, method and program |
JP7487464B2 (en) | 2018-11-30 | 2024-05-21 | 株式会社リコー | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, VIDEO PLAYBACK SYSTEM, METHOD, AND PROGRAM |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002314851A (en) * | 2001-04-10 | 2002-10-25 | Nikon Corp | Photographing apparatus |
JP2008165331A (en) * | 2006-12-27 | 2008-07-17 | Kazuo Iwane | Cv tag video display unit having layer generation and selection function |
JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
JP2014120878A (en) * | 2012-12-14 | 2014-06-30 | Ricoh Co Ltd | Predetermined-zone management system, predetermined-zone management method, and program |
-
2014
- 2014-08-27 JP JP2014173261A patent/JP6398472B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002314851A (en) * | 2001-04-10 | 2002-10-25 | Nikon Corp | Photographing apparatus |
JP2008165331A (en) * | 2006-12-27 | 2008-07-17 | Kazuo Iwane | Cv tag video display unit having layer generation and selection function |
JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
JP2014120878A (en) * | 2012-12-14 | 2014-06-30 | Ricoh Co Ltd | Predetermined-zone management system, predetermined-zone management method, and program |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10389947B2 (en) | 2016-04-12 | 2019-08-20 | Optim Corporation | Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program |
JP6393854B2 (en) * | 2016-04-12 | 2018-09-19 | 株式会社オプティム | Spherical camera display image change system, omnidirectional camera display image change method and program |
JPWO2017179135A1 (en) * | 2016-04-12 | 2018-11-22 | 株式会社オプティム | Spherical camera display image change system, omnidirectional camera display image change method and program |
WO2017179135A1 (en) * | 2016-04-12 | 2017-10-19 | 株式会社オプティム | Entire celestial sphere camera display image changing system, entire celestial sphere camera display image changing method and program |
JP2017211535A (en) * | 2016-05-26 | 2017-11-30 | 株式会社リコー | Information processing device, information processing method, program and display system |
JP2018009957A (en) * | 2016-07-04 | 2018-01-18 | 株式会社トプコン | Three-dimensional position measurement system, three-dimensional position measurement method, and measurement module |
US10937134B2 (en) | 2016-12-28 | 2021-03-02 | Ricoh Company, Ltd. | Image processing apparatus, image capturing system, image processing method, and recording medium |
JP2020514883A (en) * | 2017-03-02 | 2020-05-21 | 深▲せん▼嵐鋒創視網絡科技有限公司Shenzhen Arashi Vision Company Limited | Horizontal calibration method for panoramic image or video, system and mobile terminal |
JP2019016962A (en) * | 2017-07-10 | 2019-01-31 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
CN111480176A (en) * | 2017-12-18 | 2020-07-31 | 株式会社理光 | Image processing apparatus, image processing system, image processing method, and recording medium |
CN111480176B (en) * | 2017-12-18 | 2023-08-18 | 株式会社理光 | Image processing apparatus, image processing system, image processing method, and recording medium |
JP2020071854A (en) * | 2018-10-31 | 2020-05-07 | 大日本印刷株式会社 | Image processing apparatus, image processing method, and program |
JP7192526B2 (en) | 2018-10-31 | 2022-12-20 | 大日本印刷株式会社 | Image processing device, image processing method and program |
JP2020088843A (en) * | 2018-11-21 | 2020-06-04 | 株式会社リコー | Imaging system, terminal, and program |
JP7234802B2 (en) | 2018-11-21 | 2023-03-08 | 株式会社リコー | Imaging system, terminal and program |
JP7434797B2 (en) | 2018-11-30 | 2024-02-21 | 株式会社リコー | Image processing device, imaging device, video playback system, method and program |
JP7487464B2 (en) | 2018-11-30 | 2024-05-21 | 株式会社リコー | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, VIDEO PLAYBACK SYSTEM, METHOD, AND PROGRAM |
JP2020136850A (en) * | 2019-02-18 | 2020-08-31 | 株式会社リコー | Imaging apparatus, imaging method, program, and imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP6398472B2 (en) | 2018-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6398472B2 (en) | Image display system, image display apparatus, image display method, and program | |
JP6627935B2 (en) | Information processing apparatus, information processing method, and information processing program | |
JP6919334B2 (en) | Image processing device, image processing method, program | |
US10437545B2 (en) | Apparatus, system, and method for controlling display, and recording medium | |
KR102046032B1 (en) | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium | |
JP7192592B2 (en) | Imaging device, image communication system, image processing method, program | |
JP2016167739A (en) | Image processing system, image processing method, and program | |
JP2017017689A (en) | Imaging system and program of entire-celestial-sphere moving image | |
US9215340B2 (en) | Display apparatus, display method, and computer-readable recording medium | |
CN111226255A (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
JP2019110434A (en) | Image processing apparatus, image processing system, and program | |
JP6824143B2 (en) | Imaging equipment, imaging systems, image processing methods, information processing equipment, and programs | |
JP6610741B2 (en) | Image display system, image display apparatus, image display method, and program | |
JP5514062B2 (en) | Electronic device, imaging screen display method with information, and program | |
JP2018109946A (en) | Display device, program, and method for display | |
JP2016171577A (en) | Imaging apparatus and imaging system | |
JP6879350B2 (en) | Image display systems, image display devices, image display methods, and programs | |
JP2016025620A (en) | Image processing system, client system, image processing method, and storage medium | |
JP6826215B2 (en) | Mobile device | |
JP2012227717A (en) | Display device, display program, and display method | |
US20200007761A1 (en) | Horizontal calibration method and system for panoramic image or video, and portable terminal | |
JP2020088571A (en) | Management system, information processing system, information processing method and program | |
US20240087157A1 (en) | Image processing method, recording medium, image processing apparatus, and image processing system | |
JP2017041881A (en) | Protective appliance, image communication system, radiation method, and program | |
JP6816403B2 (en) | Image management system, image communication system, image management method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180820 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6398472 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |