JP2018128804A

JP2018128804A - Image processor, image processing program and image processing method

Info

Publication number: JP2018128804A
Application number: JP2017020692A
Authority: JP
Inventors: 小林　誠; Makoto Kobayashi; 誠小林
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-02-07
Filing date: 2017-02-07
Publication date: 2018-08-16
Anticipated expiration: 2037-02-07
Also published as: JP6852878B2

Abstract

PROBLEM TO BE SOLVED: To provide a thumbnail image of high recognizability.SOLUTION: An image processor includes an acquisition part and an output part. The acquisition part acquires a plurality of wide-angle images around an imaging position of a camera picked up by the camera by imaging a plurality of times at preset time. The output part associates an object included in each of the plurality of wide-angle images acquired by the acquisition part, and outputs an image regarding which a position corresponding to the travel direction of the camera is set as the display center among the wide-angle images acquired by the acquisition part on the basis of the size of the associated object and change of the position of the object.SELECTED DRAWING: Figure 1

Description

本発明の実施形態は、画像処理装置、画像処理プログラムおよび画像処理方法に関する。 Embodiments described herein relate generally to an image processing apparatus, an image processing program, and an image processing method.

近年、大容量記憶装置などの普及によりデジタルカメラなどで撮影した画像を大量に保有することから、多くの画像を一つの画面上で効率的かつ直感的に閲覧できることが重要となっている。一つの画面上で多くの画像を閲覧する技術として、撮影された画像のサムネイル画像を生成し、生成したサムネイル画像を一覧表示するものがある。 In recent years, since a large amount of images taken with a digital camera or the like are held due to the widespread use of mass storage devices and the like, it is important that many images can be browsed efficiently and intuitively on one screen. As a technique for browsing many images on one screen, there is a technique for generating thumbnail images of captured images and displaying the generated thumbnail images as a list.

国際公開第２０１４／１７８２３３号International Publication No. 2014/178233 特開２０１５−５３５７３号公報Japanese Patent Laying-Open No. 2015-53573 特開２０１４−６８８０号公報JP 2014-6880 A

ほぼ全方位（３６０度）にわたる全天球を撮影した画像（以下、全天球画像と呼ぶ）などの広角画像からサムネイル画像を生成する場合、サムネイル画像に表示される範囲が広範囲にわたる。したがって、上記の従来技術では、広角画像から生成されるサイズの小さいサムネイル画像から人間が直感的に理解することは困難である。 When a thumbnail image is generated from a wide-angle image such as an image obtained by photographing an omnidirectional sphere in almost all directions (360 degrees) (hereinafter referred to as an omnidirectional image), the range displayed on the thumbnail image is wide. Therefore, in the above-described conventional technology, it is difficult for a human to intuitively understand from a small thumbnail image generated from a wide-angle image.

１つの側面では、認識性の高いサムネイル画像を提供できる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。 An object of one aspect is to provide an image processing apparatus, an image processing program, and an image processing method that can provide a highly recognizable thumbnail image.

第１の案では、画像処理装置は、取得部と、出力部とを有する。取得部は、カメラが予め設定された時間で複数回撮影した、カメラの撮影位置を中心とした複数の広角画像を取得する。出力部は、取得部が取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、取得部が取得した広角画像のうちのカメラの進行方向に対応する位置を表示中心とした画像を出力する。 In the first plan, the image processing apparatus includes an acquisition unit and an output unit. The acquisition unit acquires a plurality of wide-angle images centered on a shooting position of the camera, which is shot a plurality of times at a preset time. The output unit associates the objects included in each of the plurality of wide-angle images acquired by the acquisition unit and, based on the size of the associated object and the change in the position of the object, the wide-angle image acquired by the acquisition unit An image centered at the position corresponding to the moving direction of the camera is output.

本発明の１実施態様によれば、認識性の高いサムネイル画像を提供できる。 According to one embodiment of the present invention, a highly recognizable thumbnail image can be provided.

図１は、第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus according to the first embodiment. 図２は、第１の実施形態にかかる画像処理装置の動作例を示すフローチャートである。FIG. 2 is a flowchart illustrating an operation example of the image processing apparatus according to the first embodiment. 図３は、進行方向の判定を説明する説明図である。FIG. 3 is an explanatory diagram illustrating determination of the traveling direction. 図４は、サムネイルの生成を説明する説明図である。FIG. 4 is an explanatory diagram for explaining generation of thumbnails. 図５は、全天球画像とサムネイル画像との比較を説明する説明図である。FIG. 5 is an explanatory diagram illustrating a comparison between an omnidirectional image and a thumbnail image. 図６は、第２の実施形態にかかる画像処理装置の構成例を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration example of an image processing apparatus according to the second embodiment. 図７は、第２の実施形態にかかる画像処理装置の動作例を示すフローチャートである。FIG. 7 is a flowchart illustrating an operation example of the image processing apparatus according to the second embodiment. 図８は、進行方向を判定する時間間隔の違いを説明する説明図である。FIG. 8 is an explanatory diagram illustrating a difference in time intervals for determining the traveling direction. 図９は、第３の実施形態にかかる画像処理装置の構成例を示すブロック図である。FIG. 9 is a block diagram illustrating a configuration example of an image processing apparatus according to the third embodiment. 図１０は、第３の実施形態にかかる画像処理装置の動作例を示すフローチャートである。FIG. 10 is a flowchart illustrating an operation example of the image processing apparatus according to the third embodiment. 図１１は、プログラムを実行するコンピュータの一例を示すブロック図である。FIG. 11 is a block diagram illustrating an example of a computer that executes a program.

以下、図面を参照して、実施形態にかかる画像処理装置、画像処理プログラムおよび画像処理方法を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する画像処理装置、画像処理プログラムおよび画像処理方法は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。 Hereinafter, an image processing apparatus, an image processing program, and an image processing method according to embodiments will be described with reference to the drawings. In the embodiment, configurations having the same functions are denoted by the same reference numerals, and redundant description is omitted. Note that the image processing apparatus, the image processing program, and the image processing method described in the following embodiments are merely examples, and do not limit the embodiments. In addition, the following embodiments may be appropriately combined within a consistent range.

（第１の実施形態）
図１は、第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。図１に示すように、画像処理装置１は、カメラセンサー２が撮影した画像の画像処理を行う装置である。画像処理装置１には、カメラセンサー２による撮影を行うデジタルカメラに内蔵されたコンピュータや、カメラセンサー２が撮影した画像を通信ケーブルや記憶媒体などを介して受け付けるＰＣ（Personal Computer）や、スマートフォンなどの携帯端末や、ドローンなどの無人航空機や、水中探査艇などの船や、フォーミュラーカーなどの自動車や、かつらなどの人の頭部にかぶせる装着具、などを適用できる。 (First embodiment)
FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus according to the first embodiment. As shown in FIG. 1, the image processing apparatus 1 is an apparatus that performs image processing of an image captured by the camera sensor 2. The image processing apparatus 1 includes a computer built in a digital camera that performs shooting by the camera sensor 2, a PC (Personal Computer) that receives an image captured by the camera sensor 2 via a communication cable or a storage medium, a smartphone, and the like. Mobile terminals, unmanned aircraft such as drones, ships such as underwater exploration boats, automobiles such as formula cars, and wearing devices that are placed on human heads such as wigs.

カメラセンサー２は、光学レンズおよびＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有し、全天球画像などのカメラセンサー２の撮影位置を中心とした広角画像を撮影する。例えば、カメラセンサー２は、スマートフォンなどの携帯端末や、ドローンなどの無人航空機や、水中探査艇などの船や、フォーミュラーカーなどの自動車や、かつらなどの人の頭部にかぶせる装着具などに搭載され、飛行・移動・走行時における周りの風景を広角撮影する。 The camera sensor 2 includes an optical lens and a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and captures a wide-angle image centered on the imaging position of the camera sensor 2 such as an omnidirectional image. For example, the camera sensor 2 is attached to a portable terminal such as a smartphone, an unmanned aircraft such as a drone, a ship such as an underwater exploration boat, a car such as a formula car, or a wearing device that is put on a human head such as a wig. It is equipped with a wide-angle shot of the surrounding landscape during flight, movement, and running.

カメラセンサー２は、撮影した画像を画像処理装置１に出力する。具体的には、カメラセンサー２は、予め設定された時間で複数回撮影した広角画像（例えば１５ｆｐｓ程度のフレームレートで撮影した動画像または１秒間隔で撮影した静止画像など）を逐次画像処理装置１に出力する。 The camera sensor 2 outputs the captured image to the image processing apparatus 1. Specifically, the camera sensor 2 sequentially captures a wide-angle image (for example, a moving image captured at a frame rate of about 15 fps or a still image captured at 1 second intervals) captured a plurality of times at a preset time. Output to 1.

カメラセンサー２が撮影する広角画像は、ほぼ全方位（３６０度）にわたる全天球を魚眼レンズなどで撮影した全天球画像の他、横にぐるりと見渡せるような３６０度の全周画像（パノラマ）、視野の上半分を覆うような半球型の全天周画像などであってもよい。以下の実施形態では、カメラセンサー２が撮影する画像は全天球画像である場合を例示する。 The wide-angle image captured by the camera sensor 2 includes a 360-degree omnidirectional image (panorama) that can be looked around horizontally, in addition to a omnidirectional image obtained by photographing a omnidirectional sphere covering almost all directions (360 degrees) with a fisheye lens or the like. Alternatively, it may be a hemispherical all-round image that covers the upper half of the field of view. In the following embodiment, the case where the image which the camera sensor 2 image | photographs is a celestial sphere image is illustrated.

画像処理装置１は、画像生成部１１、画像圧縮部１２、データ保存部１３、進行方向判定部１４、画像方向判定部１５およびサムネイル生成部１６を有する。 The image processing apparatus 1 includes an image generation unit 11, an image compression unit 12, a data storage unit 13, a traveling direction determination unit 14, an image direction determination unit 15, and a thumbnail generation unit 16.

画像生成部１１は、カメラセンサー２が逐次撮影した全天球画像を取得し、取得した画像（ＲＡＷ画像）の画像データを生成する。画像生成部１１は、生成した画像データを画像圧縮部１２および進行方向判定部１４へ出力する。 The image generation unit 11 acquires omnidirectional images sequentially captured by the camera sensor 2 and generates image data of the acquired image (RAW image). The image generation unit 11 outputs the generated image data to the image compression unit 12 and the traveling direction determination unit 14.

画像圧縮部１２は、画像生成部１１が生成した画像データを所定の圧縮形式で圧縮するなどして、ＪＰＥＧ（Joint Photographic Experts Group）等の画像形式の画像データに変換する。画像圧縮部１２は、変換後の画像データをデータ保存部１３に出力する。 The image compression unit 12 converts the image data generated by the image generation unit 11 into image data of an image format such as JPEG (Joint Photographic Experts Group) by compressing the image data in a predetermined compression format. The image compression unit 12 outputs the converted image data to the data storage unit 13.

データ保存部１３は、画像圧縮部１２より出力された画像データと、サムネイル生成部１６により生成されたサムネイル画像とを半導体メモリやＨＤＤ（Hard Disk Drive）等の記憶装置（図示しない）に保存する。 The data storage unit 13 stores the image data output from the image compression unit 12 and the thumbnail image generated by the thumbnail generation unit 16 in a storage device (not shown) such as a semiconductor memory or an HDD (Hard Disk Drive). .

進行方向判定部１４は、画像生成部１１により生成された画像データ、すなわちカメラセンサー２により予め設定された時間で複数回撮影した全天球画像の画像データをもとに、時間的に前後する複数の画像を比較してカメラセンサー２の進行方向を判定する。進行方向判定部１４は、カメラセンサー２の進行方向についての判定結果と、画像生成部１１により生成された画像データとを画像方向判定部１５に出力する。 The traveling direction determination unit 14 moves back and forth in time based on the image data generated by the image generation unit 11, that is, image data of an omnidirectional image captured a plurality of times at a preset time by the camera sensor 2. The traveling direction of the camera sensor 2 is determined by comparing a plurality of images. The traveling direction determination unit 14 outputs the determination result regarding the traveling direction of the camera sensor 2 and the image data generated by the image generation unit 11 to the image direction determination unit 15.

具体的には、進行方向判定部１４は、カメラセンサー２が撮影した全天球画像の各々に含まれるオブジェクト（被写体）を公知の画像認識技術を用いて特定する。次いで、進行方向判定部１４は、時間的に前後する複数の全天球画像におけるオブジェクトの位置、形状の比較を行い、時間的に前後して撮影された同一のオブジェクトを対応付ける。 Specifically, the traveling direction determination unit 14 specifies an object (subject) included in each of the omnidirectional images captured by the camera sensor 2 using a known image recognition technique. Next, the traveling direction determination unit 14 compares the positions and shapes of the objects in a plurality of omnidirectional images moving back and forth in time, and associates the same objects that have been taken back and forth in time.

次いで、進行方向判定部１４は、時間的に前後する複数の全天球画像において対応付けられた同一のオブジェクトの位置、大きさの変化をもとに、全天球画像におけるカメラセンサー２の進行方向を判定する。具体的には、進行方向判定部１４は、同一のオブジェクトで時間的に前後する全天球画像において位置の変化やサイズが大きくなっているものを探し、位置の変化方向およびサイズが大きくなる比率により進行方向を判定する。 Next, the advancing direction determination unit 14 advances the camera sensor 2 in the omnidirectional image based on changes in the position and size of the same object associated with each other in a plurality of omnidirectional images moving back and forth in time. Determine the direction. Specifically, the advancing direction determination unit 14 searches for an omnidirectional image of the same object that changes in time and size in time, and a ratio in which the change direction and size of the position increase. To determine the direction of travel.

画像方向判定部１５は、進行方向判定部１４の判定結果をもとに、カメラセンサー２の進行方向に対応する全天球画像中の方向、すなわちカメラセンサー２の進行方向に対応する全天球画像における位置を判定する。画像方向判定部１５は、判定した全天球画像における位置、すなわち画像生成部１１により生成された画像データ中の画素位置と、当該画像データとをサムネイル生成部１６に出力する。 Based on the determination result of the traveling direction determining unit 14, the image direction determining unit 15 is a celestial sphere corresponding to the direction in the omnidirectional image corresponding to the traveling direction of the camera sensor 2, that is, the traveling direction of the camera sensor 2. The position in the image is determined. The image direction determination unit 15 outputs the determined position in the omnidirectional image, that is, the pixel position in the image data generated by the image generation unit 11 and the image data to the thumbnail generation unit 16.

サムネイル生成部１６は、画像方向判定部１５が判定したカメラセンサー２の進行方向に対応する全天球画像における位置をもとに、画像生成部１１により生成された画像データからサムネイル画像を生成する。具体的には、サムネイル生成部１６は、画像生成部１１により生成された画像データをもとに、画像方向判定部１５が判定した全天球画像における位置を表示中心とする所定領域の画像を切り出す。 The thumbnail generation unit 16 generates a thumbnail image from the image data generated by the image generation unit 11 based on the position in the omnidirectional image corresponding to the traveling direction of the camera sensor 2 determined by the image direction determination unit 15. . Specifically, the thumbnail generation unit 16 generates an image of a predetermined area centered on the position in the omnidirectional image determined by the image direction determination unit 15 based on the image data generated by the image generation unit 11. cut.

全天球画像は、魚眼レンズなどで撮影していることから歪曲した画像となっている。そこで、サムネイル生成部１６は、歪曲補正を行う公知の補正技術を用いて、全天球画像より切り出した所定領域の画像の歪曲補正を行う。また、サムネイル生成部１６は、判定したカメラセンサー２の進行方向に向かって正面となる向きに歪曲補正後の画像を回転させるとともに、サムネイル画像の画像サイズとなるように拡大・縮小を行う。 The omnidirectional image is a distorted image because it is taken with a fisheye lens or the like. Therefore, the thumbnail generation unit 16 performs distortion correction on an image of a predetermined area cut out from the omnidirectional image using a known correction technique that performs distortion correction. In addition, the thumbnail generation unit 16 rotates the image after distortion correction in a front direction toward the determined moving direction of the camera sensor 2 and enlarges / reduces the thumbnail image to the image size.

サムネイル生成部１６は、生成したサムネイル画像をデータ保存部１３へ出力する。すなわち、サムネイル生成部１６は、出力部の一例である。データ保存部１３では、サムネイル生成部１６が生成したサムネイル画像を、画像圧縮部１２より出力された画像データとともに記憶装置に保存する。 The thumbnail generation unit 16 outputs the generated thumbnail image to the data storage unit 13. That is, the thumbnail generation unit 16 is an example of an output unit. The data storage unit 13 stores the thumbnail image generated by the thumbnail generation unit 16 in the storage device together with the image data output from the image compression unit 12.

図２は、第１の実施形態にかかる画像処理装置１の動作例を示すフローチャートである。図２に示すように、処理が開始されると、カメラセンサー２が起動され（Ｓ１）、全天球画像の逐次撮影が行われる（Ｓ２）。 FIG. 2 is a flowchart illustrating an operation example of the image processing apparatus 1 according to the first embodiment. As shown in FIG. 2, when the process is started, the camera sensor 2 is activated (S1), and omnidirectional images are sequentially captured (S2).

次いで、画像生成部１１は、カメラセンサー２が逐次撮影した全天球画像を取得し、前画像と現画像との画像データを生成する（Ｓ３、Ｓ４）。ここで、前画像は、現画像よりも時間的に前に撮影した全天球画像である。画像生成部１１が生成した前画像と現画像との画像データは、画像圧縮部１２および進行方向判定部１４に出力される。 Next, the image generation unit 11 acquires omnidirectional images sequentially captured by the camera sensor 2, and generates image data of the previous image and the current image (S3, S4). Here, the previous image is an omnidirectional image taken before the current image in time. Image data of the previous image and the current image generated by the image generation unit 11 is output to the image compression unit 12 and the traveling direction determination unit 14.

画像圧縮部１２は、画像生成部１１が生成した現画像を所定の画像形式の画像データに変換する。次いで、データ保存部１３は、変換後の現画像の画像データを記憶装置に保存する（Ｓ５）。 The image compression unit 12 converts the current image generated by the image generation unit 11 into image data in a predetermined image format. Next, the data storage unit 13 stores the image data of the converted current image in the storage device (S5).

次いで、進行方向判定部１４は、前画像と、現画像とを比較してカメラセンサー２の進行方向を判定する（Ｓ６）。図３は、進行方向の判定を説明する説明図である。 Next, the traveling direction determination unit 14 compares the previous image with the current image to determine the traveling direction of the camera sensor 2 (S6). FIG. 3 is an explanatory diagram illustrating determination of the traveling direction.

図３に示すように、進行方向判定部１４は、前画像Ｇａおよび現画像Ｇｂに含まれる同一のオブジェクトＯ１、Ｏ２を対応付ける。次いで、進行方向判定部１４は、前画像Ｇａに含まれるオブジェクトＯ１、Ｏ２と、現画像Ｇｂに含まれるオブジェクトＯ１、Ｏ２との比較による位置の変化方向およびサイズが大きくなる比率をもとに、カメラセンサー２の進行方向を判定する。図示例では、オブジェクトＯ１、Ｏ２ともに同様に大きくなっていることから、全天球画像Ｇの下方向に向かってカメラセンサー２が進んでいるものと判定できる。 As illustrated in FIG. 3, the traveling direction determination unit 14 associates the same objects O1 and O2 included in the previous image Ga and the current image Gb. Next, the traveling direction determination unit 14 based on the ratio of the change direction and size of the position by comparison between the objects O1 and O2 included in the previous image Ga and the objects O1 and O2 included in the current image Gb. The traveling direction of the camera sensor 2 is determined. In the illustrated example, since both the objects O1 and O2 are similarly large, it can be determined that the camera sensor 2 is moving downward in the omnidirectional image G.

次いで、画像方向判定部１５は、進行方向判定部１４の判定結果をもとに、カメラセンサー２の進行方向に対応する全天球画像Ｇにおける位置Ｄ１を確定する（Ｓ７）。この位置Ｄ１は、オブジェクトＯ１、Ｏ２ごとに求められたカメラセンサー２の進行方向が収束する点として求めることができる。具体的には、前画像Ｇａに含まれるオブジェクトＯ１と、現画像Ｇｂに含まれるオブジェクトＯ１との比較により得られるカメラセンサー２の進行方向と、同様にしてオブジェクトＯ２より得られるカメラセンサー２の進行方向とが交わる点が全天球画像Ｇにおけるカメラセンサー２の進行方向となる。 Next, the image direction determination unit 15 determines the position D1 in the omnidirectional image G corresponding to the traveling direction of the camera sensor 2 based on the determination result of the traveling direction determination unit 14 (S7). The position D1 can be obtained as a point where the traveling direction of the camera sensor 2 obtained for each of the objects O1 and O2 converges. Specifically, the traveling direction of the camera sensor 2 obtained by comparing the object O1 included in the previous image Ga and the object O1 included in the current image Gb, and the traveling of the camera sensor 2 obtained similarly from the object O2. The point where the direction intersects becomes the traveling direction of the camera sensor 2 in the omnidirectional image G.

次いで、サムネイル生成部１６は、画像方向判定部１５が確定した全天球画像Ｇにおける位置Ｄ１をもとに、カメラセンサー２の進行方向の画像（位置Ｄ１を中心とした所定の画像領域）を抽出する（Ｓ８）。次いで、サムネイル生成部１６は、抽出した画像に対して、歪曲補正や回転・拡大または縮小の画像処理を行い、サムネイル画像を生成する（Ｓ９）。次いで、データ保存部１３は、サムネイル生成部１６が生成したサムネイル画像を記憶装置に保存する（Ｓ１０）。 Next, the thumbnail generation unit 16 generates an image in the traveling direction of the camera sensor 2 (a predetermined image region centered on the position D1) based on the position D1 in the omnidirectional image G determined by the image direction determination unit 15. Extract (S8). Next, the thumbnail generation unit 16 performs distortion correction, rotation / enlargement or reduction image processing on the extracted image, and generates a thumbnail image (S9). Next, the data storage unit 13 stores the thumbnail image generated by the thumbnail generation unit 16 in the storage device (S10).

図４は、サムネイルの生成を説明する説明図である。図４に示すように、Ｓ６では、前画像Ｇａと、現画像Ｇｂとを比較してカメラセンサー２の進行方向を判定する。このＳ６の判定結果をもとに、全天球画像Ｇのうちのカメラセンサー２の進行方向に対応する位置Ｄ１を求める。得られた位置Ｄ１をもとに、Ｓ９では、位置Ｄ１を中心としたサムネイル画像ＳＭを生成する。 FIG. 4 is an explanatory diagram for explaining generation of thumbnails. As shown in FIG. 4, in S6, the advancing direction of the camera sensor 2 is determined by comparing the previous image Ga and the current image Gb. Based on the determination result of S6, a position D1 corresponding to the traveling direction of the camera sensor 2 in the omnidirectional image G is obtained. Based on the obtained position D1, in S9, a thumbnail image SM centered on the position D1 is generated.

したがって、サムネイル画像ＳＭは、全天球画像Ｇの中からカメラセンサー２の進行方向に対応する位置Ｄ１を中心として抽出した画像となることから、カメラセンサー２の進行方向の風景を人間が直感的に判り易い画像となる。また、サムネイル画像ＳＭは、歪曲補正が行われていることから、人間が直感的にオブジェクト（被写体）を識別しやすい画像となる。 Therefore, since the thumbnail image SM is an image extracted from the omnidirectional image G around the position D1 corresponding to the traveling direction of the camera sensor 2, a human intuitively views the landscape in the traveling direction of the camera sensor 2. The image becomes easy to understand. In addition, since the thumbnail image SM has been subjected to distortion correction, the thumbnail image SM is an image in which humans can easily identify objects (subjects) intuitively.

図５は、全天球画像Ｇとサムネイル画像ＳＭとの比較を説明する説明図である。図５の例では、車両２０やドローン３０にカメラセンサー２を設置し、車両２０の走行時やドローン３０の飛行時にカメラセンサー２で撮影した全天球画像Ｇを得るものとする。ケースＣ１では、全天球画像Ｇをそのままサムネイル画像としている。したがって、ケースＣ１では、全天球画像Ｇがそのままサイズの小さいサムネイル画像となることから、カメラセンサー２の進行方向にどのようなオブジェクト（被写体）が有るかを識別しづらい画像となる。これに対し、本実施形態のケースＣ２では、全天球画像Ｇのうちのカメラセンサー２の進行方向に対応する位置を中心としたサムネイル画像ＳＭを生成する。したがって、ケースＣ２のサムネイル画像ＳＭでは、カメラセンサー２の進行方向にあるオブジェクト（被写体）を識別しやすい画像となる。 FIG. 5 is an explanatory diagram illustrating a comparison between the omnidirectional image G and the thumbnail image SM. In the example of FIG. 5, it is assumed that the camera sensor 2 is installed in the vehicle 20 or the drone 30 and the omnidirectional image G photographed by the camera sensor 2 when the vehicle 20 travels or the drone 30 flies is obtained. In case C1, the omnidirectional image G is directly used as a thumbnail image. Therefore, in the case C1, since the omnidirectional image G becomes a small thumbnail image as it is, it is difficult to identify what kind of object (subject) exists in the traveling direction of the camera sensor 2. On the other hand, in case C2 of the present embodiment, a thumbnail image SM centered on a position corresponding to the traveling direction of the camera sensor 2 in the omnidirectional image G is generated. Therefore, the thumbnail image SM of the case C2 is an image that makes it easy to identify an object (subject) in the traveling direction of the camera sensor 2.

以上のように、画像処理装置１は、カメラセンサー２が予め設定された時間で複数回撮影した、カメラセンサー２の撮影位置を中心とした複数の全天球画像Ｇを取得する。画像処理装置１は、取得した複数の全天球画像Ｇのそれぞれに含まれるオブジェクトＯ１、Ｏ２を対応づける。そして、画像処理装置１は、対応付けられたオブジェクトＯ１、Ｏ２のサイズおよびオブジェクトＯ１、Ｏ２の位置の変化に基づいて、全天球画像Ｇのうちのカメラセンサー２の進行方向に対応する位置Ｄ１を表示中心としたサムネイル画像ＳＭを出力する。したがって、画像処理装置１は、例えばカメラセンサー２の進行方向にあるオブジェクトＯ１、Ｏ２等を識別しやすい、認識性の高いサムネイル画像ＳＭを提供できる。 As described above, the image processing apparatus 1 acquires a plurality of omnidirectional images G centered on the shooting position of the camera sensor 2 captured by the camera sensor 2 a plurality of times at a preset time. The image processing apparatus 1 associates the objects O1 and O2 included in each of the acquired plurality of omnidirectional images G. Then, the image processing apparatus 1 determines the position D1 corresponding to the traveling direction of the camera sensor 2 in the omnidirectional image G based on the size of the associated objects O1 and O2 and the change in the position of the objects O1 and O2. A thumbnail image SM centering on the display is output. Therefore, the image processing apparatus 1 can provide a highly recognizable thumbnail image SM that can easily identify, for example, the objects O1, O2 and the like in the traveling direction of the camera sensor 2.

（第２の実施形態）
図６は、第２の実施形態にかかる画像処理装置の構成例を示すブロック図である。図６に示すように、画像処理装置１ａは、ＧＰＳセンサー３（GPS:Global Positioning System）、ジャイロセンサー４および方位センサー５の検出結果をもとに、カメラセンサー２の進行方向を判定する進行方向判定部１４ａを有する点が、第１の実施形態にかかる画像処理装置１とは異なる。 (Second Embodiment)
FIG. 6 is a block diagram illustrating a configuration example of an image processing apparatus according to the second embodiment. As shown in FIG. 6, the image processing apparatus 1 a determines the traveling direction of the camera sensor 2 based on the detection results of the GPS sensor 3 (GPS: Global Positioning System), the gyro sensor 4, and the azimuth sensor 5. The point which has the determination part 14a differs from the image processing apparatus 1 concerning 1st Embodiment.

ＧＰＳセンサー３、ジャイロセンサー４および方位センサー５は、カメラセンサー２とともに設置されるセンサー群であり、カメラセンサー２における位置、加速度、方位など、カメラセンサー２の進行方向にかかる情報を検出する。 The GPS sensor 3, the gyro sensor 4, and the orientation sensor 5 are a sensor group installed together with the camera sensor 2, and detect information related to the traveling direction of the camera sensor 2, such as the position, acceleration, and orientation in the camera sensor 2.

進行方向判定部１４ａは、ＧＰＳセンサー３、ジャイロセンサー４および方位センサー５の検出結果を所定の時間間隔で取得し、各時間間隔におけるカメラセンサー２の進行方向と、その進行方向に対するカメラセンサー２の傾きを求める。画像方向判定部１５は、進行方向判定部１４ａが求めたカメラセンサー２の進行方向と、進行方向に対するカメラセンサー２の傾きとをもとに、全天球画像Ｇ内での進行方向に対応する位置Ｄ１を確定する。 The traveling direction determination unit 14a acquires the detection results of the GPS sensor 3, the gyro sensor 4, and the azimuth sensor 5 at predetermined time intervals, the traveling direction of the camera sensor 2 at each time interval, and the camera sensor 2 with respect to the traveling direction. Find the slope. The image direction determining unit 15 corresponds to the traveling direction in the omnidirectional image G based on the traveling direction of the camera sensor 2 obtained by the traveling direction determining unit 14a and the inclination of the camera sensor 2 with respect to the traveling direction. The position D1 is determined.

図７は、第２の実施形態にかかる画像処理装置１ａの動作例を示すフローチャートである。図７に示すように、処理が開始されると、カメラセンサー２が起動され（Ｓ２０）、全天球画像の逐次撮影が行われる（Ｓ２１）。 FIG. 7 is a flowchart illustrating an operation example of the image processing apparatus 1a according to the second embodiment. As shown in FIG. 7, when the process is started, the camera sensor 2 is activated (S20), and the omnidirectional image is sequentially captured (S21).

次いで、進行方向判定部１４ａは、ＧＰＳセンサー３、ジャイロセンサー４および方位センサー５の検出結果を所定の時間間隔で取得し、各時間間隔におけるカメラセンサー２の進行方向と、その進行方向に対するカメラセンサー２の向きを取得する（Ｓ２２）。 Next, the traveling direction determination unit 14a acquires the detection results of the GPS sensor 3, the gyro sensor 4, and the azimuth sensor 5 at predetermined time intervals, and the traveling direction of the camera sensor 2 at each time interval and the camera sensor with respect to the traveling direction. The direction of 2 is acquired (S22).

図８は、進行方向を判定する時間間隔の違いを説明する説明図である。図８では、カメラセンサー２の移動軌跡ＲをＸ−Ｙの２次元（上から俯瞰した状態）で示している。また、図８のケースＣ３は、カメラセンサー２の進行方向の判定にかかる時間間隔を時間間隔Ｔ１としている。また、図８のケースＣ４は、カメラセンサー２の進行方向の判定にかかる時間間隔を時間間隔Ｔ２（Ｔ２＞Ｔ１）としている。 FIG. 8 is an explanatory diagram illustrating a difference in time intervals for determining the traveling direction. In FIG. 8, the movement trajectory R of the camera sensor 2 is shown in two-dimensional X-Y (a state seen from above). Further, in the case C3 of FIG. 8, the time interval for determining the traveling direction of the camera sensor 2 is set as a time interval T1. Further, in the case C4 of FIG. 8, the time interval for determining the traveling direction of the camera sensor 2 is set as a time interval T2 (T2> T1).

図８のケースＣ３、Ｃ４の比較からも明らかなように、同一の移動軌跡Ｒとなる場合であっても、進行方向の判定にかかる時間間隔Ｔ１、Ｔ２の違いにより、判定結果の進行方向Ｒ１、Ｒ２が異なる。したがって、カメラセンサー２の進行方向の判定にかかる時間間隔Ｔ１、Ｔ２は、任意の時間長として変更可能に設定してもよい。例えば、カメラセンサー２が細かい振動を受けやすい場合には、時間間隔Ｔ１よりも比較的に長い時間間隔Ｔ２を設定する。このように、時間間隔Ｔ２を設定することで、時間間隔Ｔ１の場合と較べて、カメラセンサー２の進行方向を判定する際の振動による影響を抑えることができる。 As is clear from the comparison between cases C3 and C4 in FIG. 8, even in the case of the same movement locus R, the traveling direction R1 of the determination result due to the difference in the time intervals T1 and T2 for determining the traveling direction. , R2 is different. Therefore, the time intervals T1 and T2 for determining the traveling direction of the camera sensor 2 may be set to be changeable as an arbitrary time length. For example, when the camera sensor 2 is susceptible to fine vibration, a time interval T2 that is relatively longer than the time interval T1 is set. Thus, by setting the time interval T2, it is possible to suppress the influence of vibration when determining the traveling direction of the camera sensor 2 compared to the case of the time interval T1.

次いで、画像生成部１１は、カメラセンサー２が逐次撮影した全天球画像Ｇを取得し、現画像の画像データを生成する（Ｓ２３）。次いで、画像圧縮部１２は、画像生成部１１が生成した現画像を所定の画像形式の画像データに変換する。次いで、データ保存部１３は、変換後の現画像の画像データを記憶装置に保存する（Ｓ２４）。 Next, the image generation unit 11 acquires the omnidirectional image G sequentially captured by the camera sensor 2, and generates image data of the current image (S23). Next, the image compression unit 12 converts the current image generated by the image generation unit 11 into image data in a predetermined image format. Next, the data storage unit 13 stores the image data of the converted current image in the storage device (S24).

次いで、画像方向判定部１５は、進行方向判定部１４ａが判定したカメラセンサー２の進行方向と、その進行方向に対するカメラセンサー２の向きをもとに、カメラセンサー２の進行方向に対応する全天球画像Ｇにおける位置Ｄ１を確定する（Ｓ２５）。 Next, the image direction determination unit 15 determines the whole sky corresponding to the traveling direction of the camera sensor 2 based on the traveling direction of the camera sensor 2 determined by the traveling direction determination unit 14a and the direction of the camera sensor 2 with respect to the traveling direction. A position D1 in the spherical image G is determined (S25).

以上のように、画像処理装置１ａは、カメラセンサー２が撮影した、カメラセンサー２の撮影位置を中心とした全天球画像Ｇを取得する。画像処理装置１ａは、全天球画像Ｇの撮影時にカメラセンサー２の進行方向を検知するセンサー（ＧＰＳセンサー３、ジャイロセンサー４および方位センサー５）の検知結果に基づいて、全天球画像Ｇのうちのカメラセンサー２の進行方向に対応する位置Ｄ１を表示中心としたサムネイル画像を出力する。したがって、画像処理装置１ａは、例えばカメラセンサー２の進行方向を識別しやすい、認識性の高いサムネイル画像を提供できる。 As described above, the image processing apparatus 1a acquires the omnidirectional image G captured by the camera sensor 2 and centered on the shooting position of the camera sensor 2. The image processing device 1a detects the omnidirectional image G based on the detection results of the sensors (GPS sensor 3, gyro sensor 4, and azimuth sensor 5) that detect the traveling direction of the camera sensor 2 when the omnidirectional image G is captured. A thumbnail image with the display center at the position D1 corresponding to the traveling direction of the camera sensor 2 is output. Therefore, the image processing apparatus 1a can provide a highly recognizable thumbnail image that easily identifies the traveling direction of the camera sensor 2, for example.

（第３の実施形態）
図９は、第３の実施形態にかかる画像処理装置の構成例を示すブロック図である。なお、図９の画像処理装置１ｂでは、データ保存部１３は、カメラセンサー２が撮影した、カメラセンサー２の撮影位置を中心とした全天球画像Ｇの画像データを記憶装置に記憶しているものとする。 (Third embodiment)
FIG. 9 is a block diagram illustrating a configuration example of an image processing apparatus according to the third embodiment. In the image processing apparatus 1b of FIG. 9, the data storage unit 13 stores image data of the omnidirectional image G captured by the camera sensor 2 and centered on the shooting position of the camera sensor 2 in a storage device. Shall.

図９に示すように、画像処理装置１ｂは、カメラセンサー２が撮影した全天球画像Ｇをデータ保存部１３より読み出して表示装置（図示しない）に表示する画像表示部１７を有する。すなわち、画像表示部１７は、表示部の一例である。 As shown in FIG. 9, the image processing apparatus 1 b includes an image display unit 17 that reads out the omnidirectional image G taken by the camera sensor 2 from the data storage unit 13 and displays it on a display device (not shown). That is, the image display unit 17 is an example of a display unit.

また、画像処理装置１ｂは、画像表示部１７が全天球画像Ｇを表示する際（全天球画像Ｇの閲覧時）にユーザより受け付けた全天球画像Ｇに対する各種操作を判定する操作判定部１８を有する。具体的には、操作判定部１８は、全天球画像Ｇの閲覧時においてユーザがタッチパネル等（図示しない）を介して行うズーム、回転等の操作内容を判定する。操作判定部１８は、判定結果をサムネイル生成部１６へ出力する。 In addition, the image processing device 1b determines whether various operations are performed on the omnidirectional image G received from the user when the image display unit 17 displays the omnidirectional image G (when viewing the omnidirectional image G). Part 18. Specifically, the operation determination unit 18 determines operation details such as zoom and rotation performed by the user via a touch panel or the like (not shown) when viewing the omnidirectional image G. The operation determination unit 18 outputs the determination result to the thumbnail generation unit 16.

サムネイル生成部１６は、操作判定部１８の判定結果に基づいて、画像表示部１７が表示した全天球画像Ｇのうちの操作対象の領域を特定する。具体的には、サムネイル生成部１６は、全天球画像Ｇの中からズーム、回転等の操作の中心となった領域を操作対象の領域として特定する。すなわち、サムネイル生成部１６は、全天球画像Ｇの閲覧時においてユーザが興味を持って操作が行われた操作対象の領域を全天球画像Ｇの中から特定する。 Based on the determination result of the operation determination unit 18, the thumbnail generation unit 16 specifies an operation target area in the omnidirectional image G displayed by the image display unit 17. Specifically, the thumbnail generation unit 16 specifies an area that is the center of an operation such as zooming and rotation from the omnidirectional image G as an operation target area. That is, the thumbnail generation unit 16 specifies an operation target area in the omnidirectional image G that has been operated with the user's interest when browsing the omnidirectional image G.

次いで、サムネイル生成部１６は、全天球画像Ｇの中から特定した操作対象の領域に対応する位置を中心とする所定領域の画像を切り出し、サムネイル画像を生成する。これにより、全天球画像Ｇの中から操作対象の領域を表示中心とするサムネイル画像が生成されることとなる。 Next, the thumbnail generation unit 16 cuts out an image of a predetermined area centering on a position corresponding to the specified operation target area from the omnidirectional image G, and generates a thumbnail image. As a result, a thumbnail image having the operation target region as the display center is generated from the omnidirectional image G.

図１０は、第３の実施形態にかかる画像処理装置１ｂの動作例を示すフローチャートである。図１０に示すように、処理が開始されると、画像表示部１７は、カメラセンサー２が撮影した全天球画像Ｇをデータ保存部１３より読み出して表示装置に表示する（Ｓ３０）。 FIG. 10 is a flowchart illustrating an operation example of the image processing apparatus 1b according to the third embodiment. As shown in FIG. 10, when the process is started, the image display unit 17 reads the omnidirectional image G captured by the camera sensor 2 from the data storage unit 13 and displays it on the display device (S30).

次いで、操作判定部１８は、画像表示部１７が全天球画像Ｇを表示する際にユーザより受け付けた全天球画像Ｇに対する各種操作を判定する（Ｓ３１）。次いで、サムネイル生成部１６は、操作判定部１８の判定結果に基づいて、画像表示部１７が表示した全天球画像Ｇのうちの操作対象の領域を特定する。次いで、サムネイル生成部１６は、特定した操作対象の領域に対応する操作方向画像を全天球画像Ｇより抽出する（Ｓ３２）。 Next, the operation determination unit 18 determines various operations on the omnidirectional image G received from the user when the image display unit 17 displays the omnidirectional image G (S31). Next, the thumbnail generation unit 16 specifies an operation target region in the omnidirectional image G displayed by the image display unit 17 based on the determination result of the operation determination unit 18. Next, the thumbnail generation unit 16 extracts an operation direction image corresponding to the specified operation target area from the omnidirectional image G (S32).

次いで、サムネイル生成部１６は、抽出した操作方向画像に対して、歪曲補正や回転・拡大または縮小の画像処理を行い、サムネイル画像を生成する（Ｓ３３）。次いで、データ保存部１３は、サムネイル生成部１６が生成したサムネイル画像を記憶装置に追加保存（既にサムネイル画像がある場合は更新）する（Ｓ３４）。 Next, the thumbnail generation unit 16 performs distortion correction, rotation / enlargement or reduction image processing on the extracted operation direction image, and generates a thumbnail image (S33). Next, the data storage unit 13 additionally stores the thumbnail image generated by the thumbnail generation unit 16 in the storage device (updates if there is already a thumbnail image) (S34).

以上のように、画像処理装置１ｂは、カメラセンサー２が撮影した、カメラセンサー２の撮影位置を中心とした全天球画像Ｇを表示する。画像処理装置１ｂは、表示した全天球画像Ｇに対する操作指示に基づいて、全天球画像Ｇのうちの操作対象の領域に対応する位置を表示中心としたサムネイル画像を出力する。したがって、画像処理装置１ｂは、例えば全天球画像Ｇの閲覧時においてユーザが興味を持って操作が行われた操作対象の領域を識別しやすい、認識性の高いサムネイル画像を提供できる。 As described above, the image processing apparatus 1b displays the omnidirectional image G captured by the camera sensor 2 and centered on the shooting position of the camera sensor 2. Based on the operation instruction for the displayed omnidirectional image G, the image processing device 1b outputs a thumbnail image centered on the position corresponding to the operation target region in the omnidirectional image G. Therefore, the image processing apparatus 1b can provide a highly recognizable thumbnail image that is easy to identify an operation target area that is operated with the user's interest when browsing the omnidirectional image G, for example.

なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 It should be noted that each component of each illustrated apparatus does not necessarily have to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.

また、画像処理装置１、１ａ、１ｂで行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、画像処理装置１、１ａ、１ｂで行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。 The various processing functions performed in the image processing apparatuses 1, 1a, and 1b are executed entirely or arbitrarily on a CPU (or a microcomputer such as an MPU or MCU (Micro Controller Unit)). May be. In addition, various processing functions may be executed in whole or in any part on a program that is analyzed and executed by a CPU (or a microcomputer such as an MPU or MCU) or hardware based on wired logic. Needless to say, it is good. The various processing functions performed by the image processing apparatuses 1, 1a, and 1b may be executed by a plurality of computers in cooperation with cloud computing.

ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施形態と同様の機能を有するプログラムを実行するコンピュータ（ハードウエア）の一例を説明する。図１１は、プログラムを実行するコンピュータの一例を示すブロック図である。 By the way, the various processes described in the above embodiments can be realized by executing a program prepared in advance by a computer. Therefore, in the following, an example of a computer (hardware) that executes a program having the same function as the above embodiment will be described. FIG. 11 is a block diagram illustrating an example of a computer that executes a program.

図１１に示すように、コンピュータ１００は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３と、スピーカ１０４とを有する。また、画像処理装置１、１ａ、１ｂは、記憶媒体からプログラム等を読み取る媒体読取装置１０５と、各種装置と接続するためのインタフェース装置１０６と、有線または無線により外部機器と通信接続するための通信装置１０７とを有する。また、コンピュータ１００は、各種情報を一時記憶するＲＡＭ１０８と、ハードディスク装置１０９とを有する。また、コンピュータ１００内の各部（１０１〜１０９）は、バス１１０に接続される。 As illustrated in FIG. 11, the computer 100 includes a CPU 101 that executes various arithmetic processes, an input device 102 that receives data input, a monitor 103, and a speaker 104. The image processing apparatuses 1, 1 a, and 1 b include a medium reading device 105 that reads a program and the like from a storage medium, an interface device 106 for connecting to various devices, and a communication for connecting to an external device by wired or wireless communication. Device 107. The computer 100 also includes a RAM 108 that temporarily stores various types of information and a hard disk device 109. Each unit (101 to 109) in the computer 100 is connected to the bus 110.

ハードディスク装置１０９には、上記の実施形態で説明した各種の処理を実行するためのプログラム１１１が記憶される。また、ハードディスク装置１０９には、プログラム１１１が参照する各種データ１１２が記憶される。入力装置１０２は、例えば、コンピュータ１００の操作者から操作情報の入力を受け付ける。モニタ１０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置１０６は、例えば印刷装置等が接続される。通信装置１０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。 The hard disk device 109 stores a program 111 for executing various processes described in the above embodiment. The hard disk device 109 stores various data 112 referred to by the program 111. For example, the input device 102 receives input of operation information from an operator of the computer 100. The monitor 103 displays various screens operated by the operator, for example. The interface device 106 is connected to, for example, a printing device. The communication device 107 is connected to a communication network such as a LAN (Local Area Network), and exchanges various types of information with an external device via the communication network.

ＣＰＵ１０１は、ハードディスク装置１０９に記憶されたプログラム１１１を読み出して、ＲＡＭ１０８に展開して実行することで、各種の処理を行う。なお、プログラム１１１は、ハードディスク装置１０９に記憶されていなくてもよい。例えば、コンピュータ１００が読み取り可能な記憶媒体に記憶されたプログラム１１１を、コンピュータ１００が読み出して実行するようにしてもよい。コンピュータ１００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラムを記憶させておき、コンピュータ１００がこれらからプログラムを読み出して実行するようにしてもよい。 The CPU 101 reads out the program 111 stored in the hard disk device 109, develops it in the RAM 108, and executes it to perform various processes. Note that the program 111 may not be stored in the hard disk device 109. For example, the program 111 stored in a storage medium readable by the computer 100 may be read and executed by the computer 100. As the storage medium readable by the computer 100, for example, a portable recording medium such as a CD-ROM, a DVD disk, a USB (Universal Serial Bus) memory, a semiconductor memory such as a flash memory, a hard disk drive, and the like are supported. Alternatively, the program may be stored in a device connected to a public line, the Internet, a LAN, or the like, and the computer 100 may read and execute the program from these.

以上の実施形態に関し、さらに以下の付記を開示する。 Regarding the above embodiment, the following additional notes are disclosed.

（付記１）カメラが予め設定された時間で複数回撮影した、前記カメラの撮影位置を中心とした複数の広角画像を取得する取得部と、
前記取得部が取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、前記取得部が取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する出力部と、
を有することを特徴とする画像処理装置。 (Supplementary Note 1) An acquisition unit that acquires a plurality of wide-angle images centered on a shooting position of the camera, the camera having shot a plurality of times at a preset time;
The objects included in each of the plurality of wide-angle images acquired by the acquisition unit are associated with each other, and based on the size of the associated object and the change in the position of the object, An output unit that outputs an image with a display center at a position corresponding to the traveling direction of the camera;
An image processing apparatus comprising:

（付記２）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を取得する取得部と、
前記広角画像の撮影時に前記カメラの進行方向を検知するセンサの検知結果に基づいて、前記取得部が取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する出力部と、
を有することを特徴とする画像処理装置。 (Additional remark 2) The acquisition part which acquires the wide angle image centering on the imaging position of the said camera image | photographed with the camera,
Based on the detection result of the sensor that detects the traveling direction of the camera at the time of capturing the wide-angle image, an image centered on the position corresponding to the traveling direction of the camera in the wide-angle image acquired by the acquisition unit is output. An output unit to
An image processing apparatus comprising:

（付記３）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を表示する表示部と、
前記表示部が表示した広角画像に対する操作指示に基づいて、前記表示部が表示した広角画像のうちの操作対象の領域に対応する位置を表示中心としたサムネイル画像を出力する出力部と、
を有することを特徴とする画像処理装置。 (Appendix 3) A display unit that displays a wide-angle image captured by the camera and centered on the shooting position of the camera;
An output unit that outputs a thumbnail image with a display center at a position corresponding to an operation target region in the wide-angle image displayed by the display unit based on an operation instruction for the wide-angle image displayed by the display unit;
An image processing apparatus comprising:

（付記４）前記広角画像は、全天球を撮影した全天球画像である、
ことを特徴とする付記１乃至３のいずれか一に記載の画像処理装置。 (Appendix 4) The wide-angle image is an omnidirectional image obtained by photographing the omnidirectional sphere.
The image processing apparatus according to any one of appendices 1 to 3, characterized in that:

（付記５）前記出力部は、前記全天球画像から前記表示中心とした位置を含む所定領域の画像を歪曲補正して出力する、
ことを特徴とする付記４に記載の画像処理装置。 (Supplementary Note 5) The output unit corrects and outputs an image of a predetermined region including the position as the display center from the omnidirectional image,
The image processing apparatus according to appendix 4, wherein

（付記６）スマートフォン、ドローン、水中探査艇、フォーミュラーカー、かつら、の何れかであることを特徴とする付記１乃至５のいずれか一に記載の画像処理装置。 (Supplementary note 6) The image processing apparatus according to any one of supplementary notes 1 to 5, wherein the image processing apparatus is any one of a smartphone, a drone, an underwater exploration boat, a formula car, and a wig.

（付記７）カメラが予め設定された時間で複数回撮影した、前記カメラの撮影位置を中心とした複数の広角画像を取得し、
前記取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、前記取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。 (Appendix 7) Acquire a plurality of wide-angle images centered on the shooting position of the camera, which the camera has taken a plurality of times at a preset time,
The objects included in each of the acquired plurality of wide-angle images are associated with each other, and the direction of the camera in the acquired wide-angle image is changed based on the size of the associated object and the change in the position of the object. Output an image centered on the corresponding position,
An image processing program for causing a computer to execute processing.

（付記８）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を取得し、
前記広角画像の撮影時に前記カメラの進行方向を検知するセンサーの検知結果に基づいて、前記取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。 (Appendix 8) Obtaining a wide-angle image taken by the camera and centered on the shooting position of the camera,
Based on the detection result of the sensor that detects the traveling direction of the camera at the time of capturing the wide-angle image, an image having a display center at a position corresponding to the traveling direction of the camera in the acquired wide-angle image is output.
An image processing program for causing a computer to execute processing.

（付記９）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を表示し、
前記表示した広角画像に対する操作指示に基づいて、前記表示した広角画像のうちの操作対象の領域に対応する位置を表示中心としたサムネイル画像を出力する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。 (Supplementary Note 9) A wide-angle image captured by the camera and centered on the shooting position of the camera is displayed.
Based on an operation instruction for the displayed wide-angle image, a thumbnail image with a display center at a position corresponding to an operation target region in the displayed wide-angle image is output.
An image processing program for causing a computer to execute processing.

（付記１０）前記広角画像は、全天球を撮影した全天球画像である、
ことを特徴とする付記７乃至９のいずれか一に記載の画像処理プログラム。 (Supplementary Note 10) The wide-angle image is an omnidirectional image obtained by photographing the omnidirectional sphere.
The image processing program according to any one of appendices 7 to 9, characterized in that:

（付記１１）前記出力する処理は、前記全天球画像から前記表示中心とした位置を含む所定領域の画像を歪曲補正して出力する、
ことを特徴とする付記１０に記載の画像処理プログラム。 (Supplementary Note 11) In the output process, the image of a predetermined area including the position of the display center from the omnidirectional image is corrected and output.
The image processing program according to supplementary note 10, wherein

（付記１２）カメラが予め設定された時間で複数回撮影した、前記カメラの撮影位置を中心とした複数の広角画像を取得し、
前記取得した複数の広角画像のそれぞれに含まれるオブジェクトを対応づけると共に、対応付けられたオブジェクトのサイズおよび該オブジェクトの位置の変化に基づいて、前記取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。 (Supplementary Note 12) Acquire a plurality of wide-angle images centered on the shooting position of the camera, which the camera has taken a plurality of times at a preset time,
The objects included in each of the acquired plurality of wide-angle images are associated with each other, and the direction of the camera in the acquired wide-angle image is changed based on the size of the associated object and the change in the position of the object. Output an image centered on the corresponding position,
An image processing method, wherein the computer executes the processing.

（付記１３）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を取得し、
前記広角画像の撮影時に前記カメラの進行方向を検知するセンサーの検知結果に基づいて、前記取得した広角画像のうちの前記カメラの進行方向に対応する位置を表示中心とした画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。 (Supplementary Note 13) A wide-angle image centered on the shooting position of the camera is acquired by the camera,
Based on the detection result of the sensor that detects the traveling direction of the camera at the time of capturing the wide-angle image, an image having a display center at a position corresponding to the traveling direction of the camera in the acquired wide-angle image is output.
An image processing method, wherein the computer executes the processing.

（付記１４）カメラが撮影した、前記カメラの撮影位置を中心とした広角画像を表示し、
前記表示した広角画像に対する操作指示に基づいて、前記表示した広角画像のうちの操作対象の領域に対応する位置を表示中心としたサムネイル画像を出力する、
処理をコンピュータが実行することを特徴とする画像処理方法。 (Appendix 14) A wide-angle image captured by the camera and centered on the shooting position of the camera is displayed.
Based on an operation instruction for the displayed wide-angle image, a thumbnail image with a display center at a position corresponding to an operation target region in the displayed wide-angle image is output.
An image processing method, wherein the computer executes the processing.

（付記１５）前記広角画像は、全天球を撮影した全天球画像である、
ことを特徴とする付記１２乃至１４のいずれか一に記載の画像処理方法。 (Supplementary Note 15) The wide-angle image is an omnidirectional image obtained by photographing the omnidirectional sphere.
The image processing method according to any one of appendices 12 to 14, characterized in that:

（付記１６）前記出力する処理は、前記全天球画像から前記表示中心とした位置を含む所定領域の画像を歪曲補正して出力する、
ことを特徴とする付記１５に記載の画像処理方法。 (Supplementary Note 16) In the output process, the image of a predetermined area including the position with the display center is corrected from the omnidirectional image and output.
The image processing method according to appendix 15, characterized in that:

１、１ａ、１ｂ…画像処理装置
２…カメラセンサー
３…ＧＰＳセンサー
４…ジャイロセンサー
５…方位センサー
１１…画像生成部
１２…画像圧縮部
１３…データ保存部
１４、１４ａ…進行方向判定部
１５…画像方向判定部
１６…サムネイル生成部
１７…画像表示部
１８…操作判定部
２０…車両
３０…ドローン
１００…コンピュータ
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…スピーカ
１０５…媒体読取装置
１０６…インタフェース装置
１０７…通信装置
１０８…ＲＡＭ
１０９…ハードディスク装置
１１０…バス
１１１…プログラム
１１２…各種データ
Ｃ１〜Ｃ４…ケース
Ｄ１…位置
Ｇ…全天球画像
Ｇａ…前画像
Ｇｂ…現画像
Ｏ１、Ｏ２…オブジェクト
Ｒ…移動軌跡
Ｒ１、Ｒ２…進行方向
ＳＭ…サムネイル画像
Ｔ１、Ｔ２…時間間隔 DESCRIPTION OF SYMBOLS 1, 1a, 1b ... Image processing apparatus 2 ... Camera sensor 3 ... GPS sensor 4 ... Gyro sensor 5 ... Direction sensor 11 ... Image generation part 12 ... Image compression part 13 ... Data storage part 14, 14a ... Travel direction determination part 15 ... Image direction determination unit 16 ... thumbnail generation unit 17 ... image display unit 18 ... operation determination unit 20 ... vehicle 30 ... drone 100 ... computer 101 ... CPU
102 ... Input device 103 ... Monitor 104 ... Speaker 105 ... Media reader 106 ... Interface device 107 ... Communication device 108 ... RAM
109 ... Hard disk device 110 ... Bus 111 ... Program 112 ... Various data C1 to C4 ... Case D1 ... Position G ... Global image Ga ... Previous image Gb ... Current image O1, O2 ... Object R ... Movement trajectory R1, R2 ... Progress Direction SM ... Thumbnail image T1, T2 ... Time interval

Claims

An acquisition unit that acquires a plurality of wide-angle images centered on a shooting position of the camera, the camera having shot a plurality of times at a preset time;
The objects included in each of the plurality of wide-angle images acquired by the acquisition unit are associated with each other, and based on the size of the associated object and the change in the position of the object, An output unit that outputs an image with a display center at a position corresponding to the traveling direction of the camera;
An image processing apparatus comprising:

An acquisition unit that acquires a wide-angle image centered on the shooting position of the camera taken by the camera;
Based on the detection result of the sensor that detects the traveling direction of the camera at the time of capturing the wide-angle image, an image centered on the position corresponding to the traveling direction of the camera in the wide-angle image acquired by the acquisition unit is output. An output unit to
An image processing apparatus comprising:

A display unit that displays a wide-angle image centered on the shooting position of the camera taken by the camera;
An output unit that outputs a thumbnail image with a display center at a position corresponding to an operation target region in the wide-angle image displayed by the display unit based on an operation instruction for the wide-angle image displayed by the display unit;
An image processing apparatus comprising:

The wide-angle image is an omnidirectional image obtained by photographing the omnidirectional sphere,
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.

The output unit outputs distortion corrected images of a predetermined region including the position of the display center from the omnidirectional image;
The image processing apparatus according to claim 4.

The image processing apparatus according to claim 1, wherein the image processing apparatus is any one of a smartphone, a drone, an underwater exploration boat, a formula car, and a wig.

Acquire a plurality of wide-angle images centered on the shooting position of the camera, which the camera has taken a plurality of times at a preset time,
The objects included in each of the acquired plurality of wide-angle images are associated with each other, and the direction of the camera in the acquired wide-angle image is changed based on the size of the associated object and the change in the position of the object. Output an image centered on the corresponding position,
An image processing program for causing a computer to execute processing.

Obtain a wide-angle image taken by the camera, centered on the shooting position of the camera,
Based on the detection result of the sensor that detects the traveling direction of the camera at the time of capturing the wide-angle image, an image having a display center at a position corresponding to the traveling direction of the camera in the acquired wide-angle image is output.
An image processing program for causing a computer to execute processing.

Display a wide-angle image taken by the camera, centered on the shooting position of the camera,
Based on an operation instruction for the displayed wide-angle image, a thumbnail image with a display center at a position corresponding to an operation target region in the displayed wide-angle image is output.
An image processing program for causing a computer to execute processing.

Acquire a plurality of wide-angle images centered on the shooting position of the camera, which the camera has taken a plurality of times at a preset time,
The objects included in each of the acquired plurality of wide-angle images are associated with each other, and the direction of the camera in the acquired wide-angle image is changed based on the size of the associated object and the change in the position of the object. Output an image centered on the corresponding position,
An image processing method, wherein the computer executes the processing.

Obtain a wide-angle image taken by the camera, centered on the shooting position of the camera,
Based on the detection result of the sensor that detects the traveling direction of the camera at the time of capturing the wide-angle image, an image having a display center at a position corresponding to the traveling direction of the camera in the acquired wide-angle image is output.
An image processing method, wherein the computer executes the processing.

Display a wide-angle image taken by the camera, centered on the shooting position of the camera,
Based on an operation instruction for the displayed wide-angle image, a thumbnail image with a display center at a position corresponding to an operation target region in the displayed wide-angle image is output.
An image processing method, wherein the computer executes the processing.