JP2023177525A - image processing system - Google Patents
image processing system Download PDFInfo
- Publication number
- JP2023177525A JP2023177525A JP2022090251A JP2022090251A JP2023177525A JP 2023177525 A JP2023177525 A JP 2023177525A JP 2022090251 A JP2022090251 A JP 2022090251A JP 2022090251 A JP2022090251 A JP 2022090251A JP 2023177525 A JP2023177525 A JP 2023177525A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- time
- processing system
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 87
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 abstract description 45
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 8
- 238000003672 processing method Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本開示は、カメラにて撮影した画像に関する処理を行う画像処理システムの技術に関する。 The present disclosure relates to a technology for an image processing system that performs processing on images captured by a camera.
従来、カメラによって構造物を撮影し、その撮影された画像に基づいて構造物を点検する技術が知られている（例えば、特許文献１参照）。
この従来技術では、構造物の各所に、位置情報を示す信号を発信する発信機を設置しておき、カメラに前記信号の受信機と撮影方向や仰角を検出する構成とを設け、撮影した画像を、撮影位置や撮影方向等や撮影時刻とともに記録している。
2. Description of the Related Art Conventionally, a technique is known in which a structure is photographed using a camera and the structure is inspected based on the photographed image (for example, see Patent Document 1).
In this conventional technology, transmitters that emit signals indicating position information are installed at various locations on the structure, and the camera is equipped with a receiver for the signals and a configuration for detecting the shooting direction and elevation angle, and the captured images are The images are recorded along with the photographing position, photographing direction, and photographing time.
また、近年では、ＵＡＶのような移動体を用いて、橋脚等の構造物を撮影して点検を行う技術が開発されている。なお、ＵＡＶは、unmanned aerial vehicle（即ち、無人航空機）の略であり、いわゆるドローンのことである。 Furthermore, in recent years, a technology has been developed that uses a moving object such as a UAV to photograph and inspect structures such as bridge piers. Note that UAV is an abbreviation for unmanned aerial vehicle (namely, unmanned aerial vehicle), and is a so-called drone.
このＵＡＶによる撮影（即ち、ＵＡＶ空撮）を用いた構造物の点検では、通常では、構造物を面ごとに画像化する工程（即ち、オルソ化）が必要である。
特に、橋脚の点検においては、数ｍｍレベルの非常に細かなひびなども余さず計測する必要があるため、非常に高精度なオルソ化した画像（即ち、オルソ画像）が要求される。このような高精度のオルソ画像を作成するためには、前処理が必要になる。
Inspection of a structure using UAV photography (that is, UAV aerial photography) usually requires a step of imaging the structure side by side (that is, orthogonization).
In particular, when inspecting bridge piers, it is necessary to measure every minute crack on the order of a few millimeters, so a very highly accurate orthorectified image (that is, an orthoimage) is required. Preprocessing is required to create such highly accurate orthoimages.
この前処理としては、例えば、橋脚のある面のオルソ画像を作成するために、目的とする面ごとに画像（即ち、写真）をグルーピングする作業、即ち、画像化したい面だけが撮影された画像以外を除外する作業が行われていた。また、写りの悪い画像を除外したり、重複の多い画像を除外する作業が行われていた。つまり、前処理として、上述した各種の手間のかかる作業（即ち、仕分け）が行われていた。 This preprocessing includes, for example, the work of grouping images (i.e., photographs) for each target surface in order to create an orthogonal image of a surface of a pier, i.e., an image in which only the surface to be imaged is photographed. Efforts were being made to exclude others. In addition, work was done to exclude images that did not look good or images that had a lot of overlap. In other words, as pre-processing, the various labor-intensive operations described above (ie, sorting) have been performed.
また、従来は、ＵＡＶの点検飛行時に、撮影部位や日時に関する情報をメモしておき、オルソ化の前処理として、このメモを参照して、上述した仕分けを行っていた。 Furthermore, conventionally, during an inspection flight of the UAV, information regarding the photographed region and date and time was memorized, and as pre-processing for orthographic conversion, the above-mentioned sorting was performed with reference to this memo.
しかしながら、発明者の詳細な検討の結果、従来の技術について、下記のような課題が見出された。
具体的には、橋脚等の撮影対象に発振器を取り付けることは、その作業に手間がかかり、あまり現実的ではない。また、従来のメモを用いた方法では、オルソ化の前処理に非常に手間がかかるという問題があった。しかも、メモを紛失した場合には、撮影部位を特定することが困難であるという問題もあった。
However, as a result of detailed study by the inventor, the following problems were discovered with respect to the conventional technology.
Specifically, attaching an oscillator to an object to be photographed, such as a bridge pier, takes time and effort, and is not very practical. Furthermore, the conventional method using notes has the problem that the preprocessing for orthorectification is extremely time-consuming. Moreover, if the memo is lost, there is a problem in that it is difficult to identify the part to be photographed.
本開示の一局面は、移動体を用いて撮影対象を撮影する場合に、撮影対象の画像に関する作業を効率よく行うことができる技術を提供することを目的としている。 One aspect of the present disclosure aims to provide a technique that can efficiently perform work related to images of a photographic target when photographing the photographic target using a moving object.
本開示の一態様の画像処理システム（１）は、移動体（３）に搭載されたカメラ（２１）によって撮影された撮影対象の画像に関する処理を行う画像処理システムである。
この画像処理システムは、画像記憶部（２５）と条件記憶部（１７）と情報付与部（３３）とを備える。
An image processing system (1) according to an aspect of the present disclosure is an image processing system that performs processing regarding an image of a photographic target photographed by a camera (21) mounted on a moving object (3).
This image processing system includes an image storage section (25), a condition storage section (17), and an information provision section (33).
画像記憶部は、カメラによって撮影された画像を記憶するように構成されている。
条件記憶部は、撮影の状態を規定する撮影条件（例えば、撮影に関する時刻、カメラの位置、カメラの姿勢、カメラの移動経路、のうち、少なくとも１種）を記憶するように構成されている。なお、撮影の状態を規定する撮影条件とは、どのような状態で撮影が行われたかを示す条件である。
The image storage unit is configured to store images taken by the camera.
The condition storage unit is configured to store photographing conditions (for example, at least one of the photographing time, the position of the camera, the attitude of the camera, and the moving route of the camera) that define the state of photographing. Note that the photographing conditions that define the photographing state are conditions that indicate under what conditions photographing is performed.
情報付与部は、条件記憶部から得られる撮影条件に基づいて、撮影部位を特定することが可能な識別情報を設定し、その識別情報を画像記憶部から得られる画像に付与するように構成されている。 The information adding section is configured to set identification information that allows identification of a region to be imaged based on the imaging conditions obtained from the condition storage section, and to add the identification information to the image obtained from the image storage section. ing.
このような構成により、本開示の一態様の画像処理出システムでは、移動体を用いて撮影対象を撮影する場合に、撮影対象の画像に関する作業（例えば、仕分け作業）を効率よく行うことができるという顕著な効果を奏する。 With such a configuration, in the image processing output system of one aspect of the present disclosure, when a moving object is used to photograph a photographic subject, work related to images of the photographic subject (for example, sorting work) can be efficiently performed. This has a remarkable effect.
つまり、この画像処理システムでは、上述した撮影条件を参照することにより、カメラによって撮影された画像に、撮影対象のどの位置を撮影したかを特定できる識別情報（例えば、識別子）を付与することができる。 In other words, in this image processing system, by referring to the above-mentioned photographing conditions, identification information (for example, an identifier) that can specify which position of the photographic subject was photographed can be added to the image photographed by the camera. can.
従って、撮影後に、この画像に付与された識別情報に基づいて、画像が撮影対象どこの撮影部位を撮影した画像であるかを容易に判別することができる。そのため、オルソ化の前処理（例えば、仕分けの作業）を効率良く行うことができる。また、従来のように、撮影の際にメモをつける作業が不要になり、しかも、メモを紛失することもないという利点がある。また、撮影対象に発振器を取り付ける作業も不要である。 Therefore, after photographing, it is possible to easily determine which part of the photographed object the image is taken from based on the identification information given to this image. Therefore, pre-processing for orthorectification (for example, sorting work) can be performed efficiently. Further, there is an advantage that there is no need to take notes when taking pictures as in the past, and there is no chance of losing notes. Further, there is no need to attach an oscillator to the object to be photographed.
また、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。 Further, the symbols in parentheses described in this column and the claims indicate correspondence with specific means described in the embodiment described later as one aspect, and do not define the technical scope of the present disclosure. It is not limited.
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．第１実施形態］
本第１実施形態では、移動体に搭載されたカメラを用いて撮影対象を撮影し、その撮影した画像に関する処理（例えば、画像にメタデータを付与する処理）を行う画像処理システムについて説明する。
Hereinafter, exemplary embodiments of the present disclosure will be described with reference to the drawings.
[1. First embodiment]
In the first embodiment, an image processing system that photographs an object using a camera mounted on a moving object and performs processing on the photographed image (for example, processing that adds metadata to the image) will be described.
［１－１．全体構成］
まず、本第１実施形態の画像処理システム１の全体構成を、図１に基づいて説明する。
図１に示すように、画像処理システム１は、移動体３とカメラユニット５とを備えたカメラ付き移動体（即ち、移動体装置）７と、移動体装置７から取得した画像（即ち、撮影画像）に関する処理を行うパソコン９と、を備える。なお、移動体装置７は、周知のように、無線を利用した移動体操作装置１１により操作することが可能である。
[1-1. overall structure]
First, the overall configuration of an
As shown in FIG. 1, the
以下、各構成について詳細に説明する。
［１－２．移動体装置の構成］
まず、移動体装置７の構成を、図１に基づいて説明する。
Each configuration will be explained in detail below.
[1-2. Mobile device configuration]
First, the configuration of the
図１に示すように、移動体装置７は、周知のＵＡＶ（即ち、無人航空機）である移動体３と、静止画や動画の撮影が可能なカメラユニット５と、を備える。つまり、移動体装置７は、移動体３にカメラユニット５が搭載された装置である。
As shown in FIG. 1, the
＜移動体＞
移動体３（従って、移動体装置７）は、空中での移動、所定の位置での静止、自身の姿勢の制御などが可能である。なお、姿勢としては、移動体３の３次元における姿勢、例えば、移動体３の所定の前向き方向に対して、上下の方向や左右の方向（即ち、方位）が挙げられる。また、移動体３は、人によるマニュアルでの操作による飛行等の動作や、予め設定された飛行経路（即ち、目標経路）に沿った自律飛行が可能である。
<Mobile object>
The movable body 3 (therefore, the movable body device 7) is capable of moving in the air, standing still at a predetermined position, and controlling its own posture. Note that the posture includes a three-dimensional posture of the moving
移動体３は、移動体３の状態や周囲の状況等を検出するセンサ１３と、移動体３の動作等を制御する移動体制御部（即ち、コントローラ）１５と、移動体３の飛行等に関するデータや撮影に関するデータなどを記憶する移動体記憶部１７と、を備えている。
The moving
なお、図示しないが、移動体３は、周知のように、複数のプロペラや、プロペラを駆動するモータや、モータに電力を供給する電池等を備えている。
センサ１３としては、図示しないが、周知のように、ＧＰＳ装置、３軸の加速度センサ、ジャイロ、気圧センサ、超音波センサ、磁気方位センサ等を備えている。なお、ＧＰＳ装置は、衛星からの信号を利用して自身の位置を検出する周知の装置、即ち、全地球測位衛星システム（ＧＮＳＳ）を利用した測位装置である。
Although not shown, as is well known, the moving
Although not shown, the
移動体制御部１５は、図示しないが、周知のように、ＣＰＵと、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリとする）と、を備える。移動体制御部１５は、例えば、マイクロコンピュータ等により構成されている。また、移動体制御部１５は、移動体３の動作等における時刻（即ち、移動体側時刻）を検出する移動体用のタイマも備えている。
Although not shown, the mobile
移動体制御部１５の機能は、非遷移的実体的記録媒体（即ち、メモリ）に格納されたプログラムをＣＰＵが実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
The functions of the mobile
なお、移動体制御部１５の各種機能を実現する手法はソフトウェイアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェイアを用いて実現してもよい。例えば、上記機能がハードウェイアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
Note that the method for realizing the various functions of the mobile
移動体記憶部１７は各種の情報を記憶することができるストレージである。この移動体記憶部１７には、例えば、撮影対象の撮影を開始する撮影開始時刻や、撮影対象の撮影を終了する撮影終了時刻等が記憶される。なお、撮影の開始や撮影の終了は、移動体操作装置１１からの指示によって実行してもよいし、予め設定されたプログラムに従って自動的に実施されてもよい。なお、移動体記憶部１７としては、例えば、ソリッドディスクドライブ（即ち、ＳＳＤ）などが挙げられる。
The
また、移動体記憶部１７には、上述した撮影の時刻（例えば、ある面に対する撮影開始時刻及び撮影終了時刻など）以外に、後述するように、カメラ２１の位置（例えば、緯度や経度や高さ）、カメラ２１の姿勢、カメラ２１の移動経路（例えば、予め設定された目標経路）などの撮影条件を記憶することができる。なお、カメラ２１の姿勢としては、カメラ２１の３次元における姿勢、例えば、水平方向に沿ったある基準の向きに対して、カメラ２１の光軸の向き（即ち、撮影方向）の上下方向の向きや左右方向の向き（即ち、方位）が挙げられる。
In addition to the above-mentioned time of photographing (for example, the photographing start time and photographing end time for a certain surface), the moving
なお、カメラ２１は移動体３に搭載されているので、例えば、カメラ２１が移動体３に固定されている場合には、カメラ２１の位置や姿勢や移動経路は、実質的に、移動体３（従って、移動体装置７）の位置や姿勢や移動経路とみなすことができる。
Note that since the
＜カメラユニット＞
カメラユニット５は、周囲を撮影するカメラ２１と、カメラ２１の動作を制御するカメラ制御部２３と、カメラ２１で撮影した画像等のデータを記憶するカメラ記憶部２５と、を備えている。
<Camera unit>
The
カメラ２１としては、静止画や動画を撮影できるＣＣＤカメラ等のデジタルカメラを採用できる。撮影される画像としては、カラー画像を採用できる。カメラ２１の台数としては、１台又は複数台を採用できる。なお、図示しないが、撮影の際に撮影対象を照らすライト（即ち、ストロボ）を備えていてもよい。
As the
カメラ制御部２３は、図示しないが、周知のように、ＣＰＵと、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、非遷移的実体的記録媒体であるメモリとする）とを備える。カメラ制御部２３の構成や機能は、前記移動体制御部１５と基本的に同様であり、メモリに格納されたプログラムをＣＰＵが実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、カメラ制御部２３は、カメラ２１の動作における時刻（即ち、カメラ側時刻）を検出するカメラ用のタイマも備えている。
Although not shown, as is well known, the
カメラ記憶部２５は、移動体記憶部１７と同様な情報を記憶するストレージであり、カメラ２１で撮影した撮影画像の画像データ等を、撮影時刻などのメタデータともに記憶することができる。
The
なお、ここでは、移動体制御部１５とカメラ制御部２３とを別々に記載したが、例えば単一の制御部として、マイクロコンピュータ等で実現してもよい。同様に、移動体記憶部１７とカメラ記憶部２５とを別々に記載したが、例えば単一のストレージで実現してもよい。
Note that although the mobile
＜パソコン＞
パソコン（例えば、ノートパソコン）９は、画像等を表示するディスプレイ３１と、パソコン９の動作を制御するパソコン制御部３３と、画像等のデータを記憶するパソコン記憶部３５と、を備えている。
<PC>
The personal computer (for example, a notebook computer) 9 includes a
ディスプレイ３１は、例えば、ＬＥＤ等により画像や文字や記号等を表示する周知の表示装置である。
パソコン制御部３３は、図示しないが、周知のように、ＣＰＵと、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、非遷移的実体的記録媒体であるメモリとする）とを備える。パソコン制御部３３の構成や機能は、前記移動体制御部１５と基本的に同様であり、メモリに格納されたプログラムをＣＰＵが実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。
The
Although not shown, as is well known, the personal
パソコン記憶部３５は、移動体記憶部１７と同様な情報を記憶するストレージである。このパソコン記憶部３５には、後述するように、画像データに付与する識別子や、画像データに識別子を付与したデータを記憶することができる。
The personal
［１－３．全体の処理の概略の手順］
次に、画像処理システム１における全体の処理の概略の手順について、図２に基づいて説明する。
[1-3. Outline of overall process]
Next, a general procedure for the overall processing in the
図２に示すように、移動体３からパソコン９に対して、移動体記憶部１７に記憶された各種の情報（例えば、移動体装置７の動作などに関する移動体情報）として、Ａ面の撮影開始時刻やＡ面の撮影終了時刻などの撮影条件を示す情報を送る。
As shown in FIG. 2, the
なお、パソコン９に送信される移動体情報が、撮影開始時刻のような時刻に関するデータでない場合には、移動体情報に時刻に関するデータも付与される。なお、移動体情報の時刻に関するデータは、移動体用のタイマを用いて付与される。
Note that if the moving object information sent to the
また、これとは別に、カメラユニット５からパソコン９に対して、カメラ記憶部２５に記憶された撮影時刻の情報が付与された撮影画像のデータ（即ち、タイムスタンプ付きの画像データ）を送る。なお、画像データの時刻に関するデータは、カメラ用のタイマを用いて付与される。
Separately from this, the
パソコン９では、Ａ面の撮影開始時刻やＡ面の撮影終了時刻などの情報に基づいて、当該情報に対応する識別子を取得する。なお、識別子としては、例えば、１、２等の数字などが挙げられる。さらに、タイムスタンプ付きの画像データに対して、識別子を付与する。なお、識別子の取得や付与の方法については、後に詳述する。
The
従って、パソコン９では、タイムスタンプ付きの画像データに識別子を付与した画像データを出力することができる。
［１－４．具体的な処理の方法］
次に、画像処理システム１における具体的な処理の方法について、図３に基づいて詳細に説明する。
Therefore, the
[1-4. Specific processing method]
Next, a specific processing method in the
ここでは、人が移動体操作装置１１を用いて、マニュアルにて移動体装置７を操作する例を挙げて説明する。なお、移動体装置７を、予め設定されたプログラムに従って自律飛行させるようにしてもよい。
Here, an example in which a person manually operates the
図３に示すように、四角柱状の橋脚４１を例に挙げると、橋脚４１には、鉛直方向から見た平面視で、周囲に、例えば、Ａ面、Ｂ面、Ｃ面、Ｄ面の４面がある。
そこで、まず、移動体３（即ち、移動体装置７）を操縦して、橋脚４１のＡ面の撮影を開始する位置に移動させる。
As shown in FIG. 3, taking a quadrangular prism-shaped
Therefore, first, the moving body 3 (that is, the moving body device 7) is operated to move to a position where photographing of the A side of the
次に、移動体操作装置１１を操作して、Ａ面の撮影を開始する。つまり、Ａ面を撮影するとともに、その撮影した画像（即ち、撮影画像）の録画を開始する。このとき、Ａ面の撮影開始の時刻のデータが、移動体記憶部１７に記憶される。なお、この時刻のデータは、移動体用のタイマによるデータである。
Next, the mobile
それとともに、撮影された撮影画像の画像データが、カメラ記憶部２５に記憶される。この画像データには、メタデータとして、カメラ２１で撮影された時刻のデータが記憶される。なお、この時刻のデータは、カメラ用のタイマによるデータである。
At the same time, image data of the photographed image is stored in the
次に、移動体操作装置１１を操作して、Ａ面の撮影を行う経路に従って、移動体装置７を移動させ、その移動とともに、Ａ面の撮影を継続する。つまり、Ａ面の撮影が開始されると、自動的に一定時間毎に撮影が実施される。この撮影の間隔等の撮影条件は、予め設定することができる。
Next, the user operates the mobile
このようにして撮影を継続した後に、移動体装置７を橋脚４１のＡ面の撮影を終了する位置に移動させる。そして、移動体操作装置１１を操作して、Ａ面の撮影を終了する。このとき、Ａ面の撮影終了の時刻のデータが、移動体記憶部１７に記憶される。
After continuing the photographing in this manner, the
なお、この時点で（即ち、各面での撮影が終了するごとに）、一旦、移動体３を回収してもよい。そして、後述するように、パソコン９にて撮影した画像に識別子を付与する処理を行ってもよい。
次に、移動体操作装置１１を操作して、移動体装置７を、橋脚４１のＢ面の撮影を開始する位置に移動させる。そして、前記Ａ面の撮影と同様にして、移動体操作装置１１を操作して、Ｂ面の撮影を開始する。このとき、Ｂ面の撮影開始の時刻のデータが、移動体記憶部１７に記憶される。
Note that, at this point (that is, each time photographing on each surface is completed), the moving
Next, the moving
それとともに、撮影された撮影画像の画像データが、カメラ記憶部２５に記憶される。この画像データには、メタデータとして、カメラ２１で撮影された時刻のデータが記憶される。なお、Ｂ面の撮影が開始されると、Ａ面と同様に、自動的に一定時間毎に撮影が実施される。
At the same time, image data of the photographed image is stored in the
このようにして撮影を継続した後に、移動体装置７をＢ面の撮影を終了する位置に移動させて、Ｂ面の撮影を終了する。このとき、Ｂ面の撮影終了の時刻のデータが、移動体記憶部１７に記憶される。
After continuing the photographing in this manner, the
以下、同様にして、Ｃ面及びＤ面の撮影を行うことができる。
上述したような、操作及び処理によって、図３に示すような内容の撮影区間リストが作成され、移動体記憶部１７に記憶される。この撮影区間リストとは、Ａ面での撮影開示時刻、Ａ面での撮影終了時刻、Ｂ面での撮影開始時刻等が、時間の経過に沿って記録されたタイムライン情報である。
Thereafter, the C-plane and D-plane can be photographed in the same manner.
Through the operations and processing described above, a photographing section list having the contents shown in FIG. 3 is created and stored in the mobile
ここでは、最も早い撮影開始時刻から撮影終了時刻までが、Ａ面を撮影した期間であり、次の撮影開始時刻から撮影終了時刻までが、Ｂ面を撮影した期間である。Ｃ面やＤ面も、同様にて、撮影した期間が分かる。なお、各時刻のデータに加えて、撮影の開始か終了かを区別するデータも記憶されている。 Here, the period from the earliest photographing start time to the photographing end time is the period during which side A was photographed, and the period from the next photographing start time to the photographing end time is the period during which side B was photographed. In the same way, you can also see the period during which images were taken for side C and side D. In addition to the data for each time, data for distinguishing whether shooting starts or ends is also stored.
一方、カメラ２１によって撮影された画像は、それぞれ、撮影された時刻を示す時刻情報とともに、カメラ記憶部２５に記憶される。つまり、カメラ記憶部２５には、タイムスタンプ付の撮影画像の画像データが記憶される。
On the other hand, each image taken by the
そして、橋脚４１の撮影が終了して、移動体装置７が回収された後に、移動体装置７からパソコン９に、所定のデータが抽出されて、以下のようにして、アノテーション処理が実施される。
まず、移動体装置７とパソコン９とを、例えば接続コードで接続する。パソコン９では、移動体３から、移動体記憶部１７に記憶されているデータ（即ち、撮影区間リストのデータ）と、カメラ記憶部２５に記憶されているデータ（即ち、タイムスタンプ付の画像データ）と、を受信する。つまり、それらのデータをパソコン記憶部３５に記憶する。
After the photographing of the
First, the
なお、接続コードを用いる方法以外に、例えばＳＤカード（登録商標）等の記録媒体を用いてデータをコピーする方法や、無線を使ってデータをコピーする方法を採用できる。
パソコン９では、パソコン記憶部３５に記憶された各データを関連付ける処理を行う。
In addition to the method of using a connection code, a method of copying data using a recording medium such as an SD card (registered trademark) or a method of copying data using wireless communication can be adopted, for example.
The
具体的には、撮影区間リストには、例えば、Ａ面の撮影開始時刻とＡ面の撮影終了時刻が記載されている。一方、画像データには画像を撮影した時刻情報が記憶されている。よって、画像データの時刻情報に基づいて、Ａ面の撮影開始時刻とＡ面の撮影終了時刻との間の時刻に撮影された画像データは、Ａ面の画像データと判断することができる。つまり、Ａ面の撮影開始時刻とＡ面の撮影終了時刻との間に撮影された画像データは、Ａ面を示す識別子に対応した画像データと判断することができる。 Specifically, the shooting section list includes, for example, the shooting start time of the A side and the shooting end time of the A side. On the other hand, the image data stores time information at which the image was photographed. Therefore, based on the time information of the image data, image data photographed at a time between the A-side photographing start time and the A-side photographing end time can be determined to be the A-side image data. In other words, image data photographed between the A-side photographing start time and the A-side photographing end time can be determined to be image data corresponding to the identifier indicating the A-side.
従って、本第１実施形態では、Ａ面の撮影開始時刻とＡ面の撮影終了時刻との間に撮影された各画像データに対して、それぞれＡ面の画像データであることを示す識別子を付与する。
そして、そのＡ面の識別子を付与した画像データを、パソコン記憶部３５に記憶する。従って、パソコン記憶部３５においては、各撮影時刻毎の画像データには、メタデータとして、それぞれ時刻情報と識別子とが付された画像データが記憶されることになる。
Therefore, in the first embodiment, an identifier is assigned to each piece of image data photographed between the A-side photographing start time and the A-side photographing end time, indicating that it is the A-side image data. do.
Then, the image data to which the identifier of side A is assigned is stored in the personal
同様に、Ｂ面の撮影開始時刻とＢ面の撮影開始時刻とに基づいて、各撮影時刻毎の画像データと時刻情報とＢ面の識別子とを付与した画像データが記憶される。
なお、Ｃ面とＤ面も同様である。
Similarly, based on the shooting start time of side B and the shooting start time of side B, image data to which image data for each shooting time, time information, and identifier of side B are added is stored.
Note that the same applies to the C-plane and the D-plane.
従って、後日、画像の仕分けを行う際には、画像データに付与された識別子を用いて、どの画像データがどの面の画像データかを容易に認識することができる。
［１－５．制御処理］
次に、画像処理システム１の処理のうち、パソコン９にて実施される制御処理について、図４に基づいて説明する。
Therefore, when sorting images later, it is possible to easily recognize which image data corresponds to which side by using the identifier given to the image data.
[1-5. Control processing]
Next, among the processes of the
この制御処理には、移動体装置７が撮影対象を撮影して帰還した場合に、移動体装置７から得られるデータに基づいてパソコン９にて実施される処理である。つまり、画像データにメタデータとして識別子を付与するアノテーション処理である。
This control process is a process executed by the
まず、図４のステップ（以下、Ｓ）１００にて、画像のリストを順番に読み込む。つまり、パソコン記憶部３５に記憶された画像データ（即ち、カメラ記憶部２５から読み込まれた画像データ）を、時刻の順番に、パソコン制御部３３の処理領域に読み込む。なお、この処理は、読む込む画像がなければ終了（即ち、ループ終了）となる。
First, in step (hereinafter referred to as S) 100 in FIG. 4, a list of images is read in order. That is, the image data stored in the personal computer storage section 35 (that is, the image data read from the camera storage section 25) is read into the processing area of the personal
続くＳ１１０では、撮影区間リストを参照して、各画像を撮影した時刻の撮影対象の識別子を取得する。つまり、撮影区間リストと各画像を撮影した時刻とを比べて、各画像がどの面を撮影したかを示す識別子を決定する。 In subsequent S110, the photographing section list is referred to to acquire the identifier of the photographing target at the time when each image was photographed. That is, by comparing the photographing section list with the time at which each image was photographed, an identifier indicating which side each image was photographed is determined.
続くＳ１２０では、画像のメタデータ（例えば、ＥＸＩＦ）に識別子を登録する。つまり、各画像の画像データに、Ａ面やＢ面等を区別する識別子を付与し、パソコン記憶部３５に記憶する。
続くＳ１３０では、上述したＳ１００～Ｓ１２０の処理が完了するまで繰り返して実施し、読み込む画像がなければ、一旦本処理を終了する。
In subsequent S120, the identifier is registered in the image metadata (for example, EXIF). That is, the image data of each image is given an identifier that distinguishes side A, side B, etc., and is stored in the personal
In the following S130, the processes of S100 to S120 described above are repeated until they are completed, and if there is no image to be read, the process is temporarily ended.
これによって、各撮影時刻毎の画像データに、それぞれ識別子を付与することができる。
［１－６．効果］
本第１実施形態によれば、以下の効果が得られる。
Thereby, an identifier can be assigned to each image data for each shooting time.
[1-6. effect]
According to the first embodiment, the following effects can be obtained.
本第１実施形態の画像処理システムでは、カメラ２１によって撮影された画像のデータをカメラ記憶部２５に記憶し、撮影条件として、撮影に関する時刻（例えば、撮影の開始及び終了の時刻）を移動体記憶部１７に記憶する。そして、パソコン９では、撮影に関する時刻に基づいて、撮影部位を特定することが可能な識別子を設定し、その識別子をカメラ記憶部２５から得られた画像のデータに付与している。
In the image processing system of the first embodiment, the data of the image photographed by the
このような構成により、本第１実施形態では、移動体３を用いて撮影対象（例えば、橋脚４１）を撮影した画像に対する作業（例えば、前処理）を効率良く行うことができるという顕著な効果を奏する。
With such a configuration, the first embodiment has the remarkable effect that work (for example, pre-processing) can be efficiently performed on the image taken of the object to be photographed (for example, the pier 41) using the moving
つまり、この画像処理システム１では、上述した撮影条件を参照することにより、カメラ２１によって撮影された画像に、撮影対象のどの位置を撮影したかを特定できる識別子を付与することができる。
That is, in this
従って、撮影後に、この画像に付与された識別子に基づいて、画像が撮影対象どこの撮影部位を撮影した画像であるかを容易に判別することができる。そのため、オルソ化の前処理（即ち、仕分けの作業）を効率良く行うことができる。また、従来のように、撮影の際にメモをつける作業が不要になり、しかも、メモを紛失することもないという利点がある。 Therefore, after imaging, it is possible to easily determine which region of the imaging object the image is from, based on the identifier given to this image. Therefore, pre-processing for orthorectification (ie, sorting work) can be performed efficiently. Further, there is an advantage that there is no need to take notes when taking pictures as in the past, and there is no chance of losing notes.
［１－７．対応関係］
次に、本第１実施形態と本開示との関係について説明する。
画像処理システム１は画像処理システムに対応し、移動体３は移動体に対応し、移動体記憶部１７は条件記憶部に対応し、カメラ２１はカメラに対応し、カメラ記憶部２５は画像記憶部に対応し、パソコン制御部３３は情報付与部に対応する。
[1-7. Correspondence]
Next, the relationship between the first embodiment and the present disclosure will be described.
The
［１－８．変形例］
（１）前記識別子を付与するアノテーション処理は、パソコン９にて実施しても良いが、移動体装置７にて実施してもよい。
[1-8. Modified example]
(1) The annotation process for adding the identifier may be performed by the
（２）カメラ２１の動作に関する時刻（例えば、撮影時刻）を示す時刻情報（即ち、カメラ側時刻）と、移動体３の動作に関する時刻（例えば、Ａ面等における撮影の開始の時刻）を示す時刻情報（即ち、移動体側時刻）と、が別個に設定されている場合には、それぞれの時刻がずれることがある。 (2) Time information (i.e., camera-side time) indicating the time related to the operation of the camera 21 (e.g., the shooting time) and the time related to the operation of the moving object 3 (for example, the time of start of shooting on side A, etc.) If the time information (that is, the time on the mobile body side) and the time information are set separately, the respective times may deviate from each other.
例えば、画像の撮影時刻（即ち、カメラ側時刻）と、Ａ面等での撮影を開始した時刻（移動体側時刻）と、が異なることがある。
そのような場合には、例えば、移動体側時刻に最も近いカメラ側時刻の画像に、前記識別子を付与するようにしてもよい。
For example, the time when the image was taken (that is, the time on the camera side) and the time when photographing on side A, etc. was started (time on the moving body side) may be different.
In such a case, for example, the identifier may be added to an image whose time on the camera side is closest to the time on the mobile object side.
［２．第２実施形態］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
[2. Second embodiment]
Since the basic configuration of the second embodiment is the same as that of the first embodiment, the differences from the first embodiment will be mainly described below. Note that the same reference numerals as those in the first embodiment indicate the same configurations, and refer to the preceding description.
本第２実施形態のハード構成は、第１実施形態と同じであるので、その説明は省略し、第１実施形態と異なる点を中心にして説明する。
［２－１．具体的な処理の方法］
まず、本第２実施形態の画像処理システム１における具体的な処理の方法について、図５に基づいて詳細に説明する。
Since the hardware configuration of the second embodiment is the same as that of the first embodiment, a description thereof will be omitted, and the explanation will focus on the points that are different from the first embodiment.
[2-1. Specific processing method]
First, a specific processing method in the
図５に示すように、移動体装置７は、予め設定されたウェイポイントに沿って（即ち、目的経路に沿って）自律飛行し、所定時間間隔で自動的に撮影対象を撮影する。なお、ウェイポイントを規定する情報としては、周知のように、緯度、経度、高さの情報が挙げられる。
As shown in FIG. 5, the
具体的には、移動体装置７は、まず、Ａ面の最初のウェイポイント［１］の位置に移動し、撮影を開始する。このとき、Ａ面の最初のウェイポイント［１］の到達時刻のデータが、最初のウェイポイント［１］のデータとともに移動体記憶部１７に記憶される。なお、この時刻のデータは、移動体用のタイマによるデータである。
Specifically, the
それとともに、撮影された撮影画像の画像データが、カメラ記憶部２５に記憶される。この画像データには、メタデータとして、カメラ２１で撮影された時刻のデータが記憶される。なお、この時刻のデータは、カメラ用のタイマによるデータである。
At the same time, image data of the photographed image is stored in the
その後、移動体装置７は、目的経路に沿って移動する（即ち、順次、ウェイポイントの順番に従って移動する）。なお、隣り合うウェイポイントの間を分割区間と称する。
そして、目的経路に沿って定期的に撮影が行われ、その画像データと時刻のデータとがカメラ記憶部２５に記憶される。
Thereafter, the
Photographs are then periodically taken along the target route, and the image data and time data are stored in the
また、各ウェイポイントでは、各ウェイポイントとそのウェイポイントの到達時間とが関連付けて移動体記憶部１７に記憶される。
そして、移動体装置７が、Ａ面の最後のウェイポイント［Ｎ］に到達すると、Ａ面での撮影を終了する。
Furthermore, each waypoint and the arrival time of that waypoint are stored in association with each other in the moving
Then, when the
次に、移動体装置７は、Ｂ面の最初のウェイポイント［Ｎ＋１］の位置に移動し、前記Ａ面での処理と同様な処理を行い、Ｂ面の最後のウェイポイントに到達すると、Ｂ面での撮影を終了する。
Next, the
以下、同様にして、Ｃ面及びＤ面の撮影を行うことができる。
上述した処理によって、図５に示すような内容のウェイポイントの到達時刻を示すウェイポイントリストが作成され、移動体記憶部１７に記憶される。このウェイポイントリストとは、各面のウェイポイントの順番及び到達時刻が、時間の経過に沿って記憶されたウェイポイント情報（即ち、タイムライン情報）である。
Thereafter, the C-plane and D-plane can be photographed in the same manner.
Through the above-described processing, a waypoint list showing the arrival times of waypoints as shown in FIG. 5 is created and stored in the moving
なお、Ａ面かＢ面かなどの区別は、ウェイポイントの情報（即ち、順番を示す番号を示す情報）から判別することが可能である。
一方、カメラ２１によって撮影された画像は、第１実施形態と同様に、それぞれ、撮影された時刻を示す時刻情報とともに、カメラ記憶部２５に記憶される。つまり、カメラ記憶部２５には、タイムスタンプ付の撮影画像の画像データが記憶されている。
Note that whether it is side A or side B can be determined from waypoint information (that is, information indicating a number indicating the order).
On the other hand, the images taken by the
そして、橋脚４１の撮影が終了して回収された後に、移動体装置７からパソコン９に、所定のデータが送られて、以下のようにして、アノテーション処理が実施される。
まず、パソコン９は、移動体３から、移動体記憶部１７に記憶されているデータ（即ち、ウェイポイント情報）と、カメラ記憶部２５に記憶されているデータ（即ち、タイムスタンプ付の画像データ）と、を受信する。つまり、それらのデータをパソコン記憶部３５に記憶する。
Then, after the photographing of the
First, the
パソコン９では、パソコン記憶部３５に記憶された各データを関連付ける処理を行う。
具体的には、ウェイポイント情報には、例えば、Ａ面におけるウェイポイントの到達時刻が記載されている。一方、画像データには時刻情報が記憶されている。よって、画像データの時刻情報に基づいて、Ａ面における最初と最後とのウェイポイントの到達時刻の間に撮影された画像データは、Ａ面の画像データと判断することができる。つまり、Ａ面の最初と最後とのウェイポイントの到達時刻の間に撮影された画像データは、Ａ面を示す識別子に対応した画像データと判断することができる。
The
Specifically, the waypoint information includes, for example, the arrival time of the waypoint on the A side. On the other hand, time information is stored in the image data. Therefore, based on the time information of the image data, the image data photographed between the arrival times of the first and last waypoints on the A-plane can be determined to be the image data of the A-plane. In other words, image data photographed between the arrival times of the first and last waypoints on side A can be determined to be image data corresponding to the identifier indicating side A.
従って、本第２実施形態では、Ａ面における最初と最後とのウェイポイントの到達時刻の間に撮影された各画像データに対して、それぞれＡ面の画像データであることを示す識別子を付与する。 Therefore, in the second embodiment, each image data taken between the arrival times of the first and last waypoints on side A is given an identifier indicating that it is image data of side A. .
なお、Ａ面における最初のウェイポイント［１］の到達時刻から最後のウェイポイント［Ｎ］の到達時刻までの間に撮影された各画像データに対して、それぞれＡ面の画像データであることを示す同じ識別子を付与してもよいが、各分割区間毎に、異なる識別子を付与してもよい。 In addition, for each image data taken between the arrival time of the first waypoint [1] on the A side and the arrival time of the last waypoint [N], it is confirmed that it is the image data of the A side. Although the same identifier may be assigned to each divided section, a different identifier may be assigned to each divided section.
そして、そのＡ面の識別子を付与した画像データを、パソコン記憶部３５に記憶する。従って、パソコン記憶部３５においては、各撮影時刻毎の画像データには、メタデータとして、それぞれ時刻情報と識別子とが付された画像データが記憶されることになる。
Then, the image data to which the identifier of side A is assigned is stored in the personal
なお、Ｂ面とＣ面とＤ面も同様である。
従って、後日、画像の仕分けを行う際には、画像データに付与された識別子を用いて、どの画像データがどの面の画像データかを容易に認識することができる。
Note that the same applies to the B side, the C side, and the D side.
Therefore, when sorting images later, it is possible to easily recognize which image data corresponds to which side by using the identifier given to the image data.
［２－２．制御処理］
次に、画像処理システム１のうち、パソコン９にて実施される制御処理について、図６に基づいて説明する。
[2-2. Control processing]
Next, control processing performed by the
まず、図６のＳ２００にて、画像のリストを順番に読み込む。つまり、パソコン記憶部３５に記憶された画像データ（即ち、カメラ記憶部２５から読み込まれた画像データ）を、時刻の順番に、パソコン制御部３３の処理領域に読み込む。なお、この処理は、読む込む画像がなければ終了（即ち、ループ終了）となる。
First, in S200 of FIG. 6, a list of images is read in order. That is, the image data stored in the personal computer storage section 35 (that is, the image data read from the camera storage section 25) is read into the processing area of the personal
続くＳ２１０では、ウェイポイントリストを参照して、各画像を撮影した時刻の撮影対象の識別子を取得する。つまり、ウェイポイントと各画像を撮影した時刻とを比べて、各画像がどの面を撮影したかを示す識別子を決定する。 In the following S210, the waypoint list is referred to to obtain the identifier of the photographing target at the time when each image was photographed. That is, by comparing the waypoint with the time when each image was photographed, an identifier indicating which surface each image was photographed is determined.
続くＳ２２０では、画像のメタデータ（例えば、ＥＸＩＦ）に識別子を登録する。つまり、各画像の画像データに、Ａ面やＢ面等を区別する識別子を付与し、パソコン記憶部３５に記憶する。
続くＳ２３０では、上述したＳ２００～Ｓ２２０の処理が完了するまで繰り返して実施し、読み込む画像がなければ、一旦本処理を終了する。
In subsequent S220, the identifier is registered in the image metadata (for example, EXIF). That is, the image data of each image is given an identifier that distinguishes side A, side B, etc., and is stored in the personal
In the subsequent S230, the processes of S200 to S220 described above are repeated until they are completed, and if there is no image to be read, the process is temporarily ended.
これによって、各撮影時刻毎の画像データに、それぞれ識別子を付与することができる。
本第２実施形態は、第１実施形態と同様な効果を奏する。
［３．第３実施形態］
第３実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
Thereby, an identifier can be assigned to each image data for each shooting time.
The second embodiment has the same effects as the first embodiment.
[3. Third embodiment]
Since the basic configuration of the third embodiment is the same as that of the first embodiment, the differences from the first embodiment will be mainly described below. Note that the same reference numerals as those in the first embodiment indicate the same configurations, and refer to the preceding description.
本第３実施形態のハード構成は、第１実施形態と同じであるので、その説明は省略し、第１実施形態と異なる点を中心にして説明する。
本第３実施形態では、ｋ－ｍｅａｎｓ法等のクラスタリングの手法を利用して各面を撮影した画像のデータを分類する。
The hardware configuration of the third embodiment is the same as that of the first embodiment, so a description thereof will be omitted, and the explanation will focus on the points that are different from the first embodiment.
In the third embodiment, data of images captured on each surface is classified using a clustering method such as the k-means method.
［３－１．具体的な処理の方法］
まず、本第３実施形態の画像処理システム１における具体的な処理の方法について、図７に基づいて詳細に説明する。
[3-1. Specific processing method]
First, a specific processing method in the
図７に示すように、移動体装置７を、例えば、橋脚４１の周囲に沿って環状に移動させて、定期的に撮影を行う。詳しくは、移動体装置７を、橋脚４１のＡ面、Ｂ面、Ｃ面、Ｄ面の表面に沿って移動させるとともに、移動体装置７のカメラ２１の向き（即ち、撮影する方向：方位）を、橋脚４１の各面に向かうように移動体装置７の姿勢を調節して、定期的に撮影する。
As shown in FIG. 7, the
なお、図７の右上図は、橋脚４１を上方から見た平面視であり、同図の三角形の最も鋭角の頂点の方向がカメラ２１の撮影方向である。
そして、例えば、Ａ面の最初の撮影位置（即ち、ｐｏｓｅ［１］の位置）にて、カメラ２１で撮影を開始し、さらに、移動体装置７をＡ面の表面に沿って例えば図７の右方向に沿って移動させて、定期的に撮影を行う。なお、ｐｏｓｅの位置は、撮影された位置（例えば、定期的に撮影される位置）を示す。また、ｐｏｓｅの位置は、予め設定されていてもよい。
The upper right figure in FIG. 7 is a plan view of the
Then, for example, the
このとき、ｐｏｓｅの情報として、ｐｏｓｅの順番と、カメラ２１の位置のデータと、カメラ２１の姿勢のデータとが、時刻のデータとともに、移動体記憶部１７に記憶される。なお、この時刻のデータは、移動体用のタイマによるデータである。
At this time, as pose information, the order of poses, data on the position of the
ここで、カメラ２１の位置のデータとしては、例えばＧＰＳ装置による緯度や経度のデータが挙げられる。また、カメラ２１の姿勢（即ち、移動体装置７の姿勢）のデータとしては、北や南等の方位のデータが挙げられる。
Here, the data on the position of the
それとともに、撮影された画像の画像データが、カメラ記憶部２５に記憶される。この画像データには、メタデータとして、カメラ２１で撮影された時刻のデータが記憶される。なお、この時刻のデータは、カメラ用のタイマによるデータである。
At the same time, image data of the photographed image is stored in the
そして、例えば、目的とする回数分の撮影が実施され場合に、撮影を終了する。
その後、得られた多数の画像データに対して、周知のｋ－ｍｅａｎｓ法を利用してクラスタリングを実施して、画像データの分類を行う。
Then, for example, when the desired number of images have been taken, the photographing ends.
Thereafter, clustering is performed on the obtained large amount of image data using the well-known k-means method, and the image data is classified.
なお、クラスタリングは、以下のように移動体３側に実施してもよいが、パソコン９にて実施してもよい。
具体的には、カメラ２１の位置とカメラ２１の姿勢とを特徴量として、画像データをＡ面～Ｄ面の４つの面に対応した４つのクラスに分類するクラスタリングを実施する。つまり、画像データを、Ａ面を撮影した画像データ、Ｂ面を撮影した画像データ、Ｃ面を撮影した画像データ、Ｄ面を撮影した画像データに分類する。なお、ｋ－ｍｅａｎｓ法を利用してクラスタリングについては周知であるので、その説明は省略する。
Note that clustering may be performed on the
Specifically, using the position of the
上述したクラスタリングの処理によって、図７に左図に示すような内容のグルーピングリストが作成され、移動体記憶部１７に記憶される。このグルーピングリストとは、各ｐｏｓｅにおける情報（例えば、ｐｏｓｅの順番を示す番号や撮影時刻を示す情報）が、時間の経過に沿って記憶されるとともに、各面毎に分類された情報である。
Through the above-described clustering process, a grouping list with contents as shown in the left diagram of FIG. 7 is created and stored in the mobile
例えば、Ａ面から、Ｂ面、Ｃ面、Ｄ面の順番で撮影された場合を考えると、カメラ２１の向きが図７の右上図の上向きで且つ撮影時刻が最も早いグループが、Ａ面を撮影したグループとなる。また、カメラ２１の向きが図７の右上図の左向きで、撮影時刻が次に早いグループが、Ｂ面を撮影したグループとなる。なお、Ｃ面やＤ面も、同様に、各向きが設定され、各撮影時刻のグループが設定される。
For example, if we consider the case where images are taken in the order of A side, B side, C side, and D side, the group whose
一方、カメラ２１によって撮影された画像は、第１実施形態と同様に、それぞれ撮影された時刻を示す時刻情報とともに、カメラ記憶部２５に記憶される。つまり、カメラ記憶部２５には、タイムスタンプ付の撮影画像の画像データが記憶されている。
On the other hand, the images taken by the
そして、橋脚４１の撮影が終了して回収された後に、移動体装置７からパソコン９に、所定のデータが送られて、以下のようにして、アノテーション処理が実施される。
まず、パソコン９は、移動体記憶部１７に記憶されているデータ（即ち、各ｐｏｓｅの情報を含むグルーピングリスト）と、カメラ記憶部２５に記憶されているデータ（即ち、タイムスタンプ付の画像データ）と、を受信する。つまり、それらのデータをパソコン記憶部３５に記憶する。
Then, after the photographing of the
First, the
パソコン９では、パソコン記憶部３５に記憶された各データを関連付ける処理を行う。
具体的には、グルーピングリストには、各ｐｏｓｅの撮影時刻と各ｐｏｓｅがどの面を撮影した情報（即ち、Ａ面～Ｄ面のどのグループに属する情報）かが記載されている。一方、画像データには時刻情報が記憶されている。よって、画像データの時刻情報に基づいて、各画像データがどのグループに属するかを判断することができる。つまり、各画像データが、各面に対応したどの識別子に対応した画像データかを判断することができる。
The
Specifically, the grouping list includes the photographing time of each pose and information about which side each pose photographed (that is, information to which group of sides A to D it belongs). On the other hand, time information is stored in the image data. Therefore, it is possible to determine which group each image data belongs to based on the time information of the image data. In other words, it is possible to determine which identifier each image data corresponds to for each surface.
従って、本第３実施形態では、各画像データに対して、それぞれ各面の画像データであることを示す識別子を付与する。
そして、その各面の識別子を付与した画像データを、パソコン記憶部３５に記憶する。従って、パソコン記憶部３５においては、各撮影時刻毎の画像データには、メタデータとして、それぞれ時刻情報と識別子とが付された画像データが記憶されることになる。
Therefore, in the third embodiment, each image data is given an identifier indicating that it is image data of each side.
Then, the image data to which the identifier of each side is assigned is stored in the personal
従って、後日、画像の仕分けを行う際には、画像データに付与された識別子を用いて、どの画像データがどの面の画像データかを容易に認識することができる。
［３－２．制御処理］
次に、画像処理システム１のうち、パソコン９にて実施される制御処理について、図８に基づいて説明する。
Therefore, when sorting images later, it is possible to easily recognize which image data corresponds to which side by using the identifier given to the image data.
[3-2. Control processing]
Next, control processing performed by the
まず、図８のＳ３００にて、画像のリストを順番に読み込む。つまり、パソコン記憶部３５に記憶された画像データ（即ち、カメラ記憶部２５から読み込まれた画像データ）を、時刻の順番に、パソコン制御部３３の処理領域に読み込む。なお、この処理は、読む込む画像がなければ終了（即ち、ループ終了）となる。
First, in S300 of FIG. 8, a list of images is read in order. That is, the image data stored in the personal computer storage section 35 (that is, the image data read from the camera storage section 25) is read into the processing area of the personal
続くＳ３１０では、グルーピングリストを参照して、各画像を撮影した時刻の撮影対象の識別子を取得する。つまり、各グループに付与する識別子を決定する。
続くＳ３２０では、画像のメタデータ（例えば、ＥＸＩＦ）に識別子を登録する。つまり、各画像の画像データに、Ａ面やＢ面等を区別する識別子を付与し、パソコン記憶部３５に記憶する。
In subsequent S310, the grouping list is referred to to obtain the identifier of the photographing target at the time when each image was photographed. In other words, an identifier to be given to each group is determined.
In the following S320, the identifier is registered in the image metadata (for example, EXIF). That is, the image data of each image is given an identifier that distinguishes side A, side B, etc., and is stored in the personal
続くＳ３３０では、上述したＳ３００～Ｓ３２０の処理が完了するまで繰り返して実施し、読み込む画像がなければ、一旦本処理を終了する。
これによって、各撮影時刻毎の画像データに、それぞれ識別子を付与することができる。
In the following S330, the processes of S300 to S320 described above are repeated until they are completed, and if there is no image to be read, this process is temporarily ended.
Thereby, an identifier can be assigned to each image data for each shooting time.
本第３実施形態は、第１実施形態と同様な効果を奏する。
なお、本第３実施形態は、マニュアルでの操作や自律飛行による処理に適用することができる。
［４．第４～第７実施形態］
第４～第７実施形態は、基本的な構成は第１実施形態と同様であるため、以下では主として第１実施形態との相違点について説明する。なお、第１実施形態と同じ符号は、同一構成を示すものであって、先行する説明を参照する。
The third embodiment has the same effects as the first embodiment.
Note that the third embodiment can be applied to processing by manual operation or autonomous flight.
[4. Fourth to Seventh Embodiments]
The basic configurations of the fourth to seventh embodiments are the same as the first embodiment, so the differences from the first embodiment will be mainly explained below. Note that the same reference numerals as those in the first embodiment indicate the same configurations, and refer to the preceding description.
第４～第７実施形態では、第１実施形態と異なる点を中心にして説明する。
例えば、市販のカメラ２１を移動体３に後付して利用する場合、カメラ２１（従って、カメラユニット５）と移動体３は、それぞれ独立した内部時計（即ち、タイマ）を持つ。このとき、カメラユニット５における時刻と移動体３における時刻とのズレが大きい場合には、画像データに正しい識別子を付与できない恐れがある。
The fourth to seventh embodiments will be explained focusing on the points that are different from the first embodiment.
For example, when a commercially
従って、以下の第４～第７実施形態では、このような問題の発生を抑制できる例を挙げている。
＜第４実施形態＞
本第４実施形態では、図９に示すように、タイムコード等の時刻同期信号を用いて、カメラ２１（従って、カメラユニット５）と移動体３との各タイマを同期させる。なお、時刻同期信号は、カメラユニット５側から移動体３側に出力しても、移動体３側からカメラユニット５側に出力してもよい。
Therefore, in the following fourth to seventh embodiments, examples are given in which the occurrence of such problems can be suppressed.
<Fourth embodiment>
In the fourth embodiment, as shown in FIG. 9, the timers of the camera 21 (therefore, the camera unit 5) and the moving
本第４実施形態では、第１～第３実施形態と同様な効果を奏するとともに、カメラユニット５における時刻（即ち、カメラ側時刻）と移動体３における時刻（即ち、移動体側時刻）とのズレを抑制できるので、画像データに正しい識別子を付与することができる。 In the fourth embodiment, the same effects as in the first to third embodiments are achieved, and the time difference between the time in the camera unit 5 (i.e., camera-side time) and the time in the moving object 3 (i.e., moving object-side time) is Since the image data can be suppressed, a correct identifier can be assigned to the image data.
＜第５実施形態＞
本第５実施形態では、図１０に示すように、世界標準時に準じた絶対的な時刻が必要な場合には、移動体３にセンサ１３としてＧＮＳＳレシーバを接続して、絶対時刻による補正を行うことができる。
<Fifth embodiment>
In the fifth embodiment, as shown in FIG. 10, when an absolute time based on the universal standard time is required, a GNSS receiver is connected to the moving
例えば、移動体３は、ＧＮＳＳ（即ち、全地球測位衛星システム）から絶対時刻を取得することにより、この絶対時刻の時刻情報を、ウェイポイントの情報や位置・姿勢の情報に付与することができる。
For example, by acquiring absolute time from GNSS (i.e., Global Positioning Satellite System), the
また、移動体３からカメラユニット５に、絶対時刻を示す時刻同期信号を送信することにより、カメラユニット５のタイマを移動体３のタイマと同期させることができる。よって、カメラユニット５では、この絶対時刻の時刻情報を、画像データに付与することができる。
Further, by transmitting a time synchronization signal indicating absolute time from the
本第５実施形態では、第４実施形態と同様な効果を奏する。
＜第６実施形態＞
本第６実施形態では、図１１に示すように、カメラ２１の動作を指示するトリガー信号を用いる。
The fifth embodiment provides the same effects as the fourth embodiment.
<Sixth embodiment>
In the sixth embodiment, as shown in FIG. 11, a trigger signal for instructing the operation of the
例えば、撮影開始を指示する撮影開始トリガーを、撮影開始トリガー生成装置５１にて生成し、その撮影開始トリガーを、移動体３とカメラユニット５に供給するようにしてもよい。これにより、移動体３での処理（例えば、撮影開始のタイミングの記録等）とカメラユニット５での処理（例えば、撮影開始等）とを同じタイミングとすることができる。
For example, a photography start trigger for instructing the start of photography may be generated by the photography start
なお、撮影開始トリガー生成装置５１は、例えば、カメラユニット５などに設けることができる。
本第６実施形態では、第４実施形態と同様な効果を奏する。つまり、移動体３での所定の動作（例えば、撮影開始）の時刻とカメラユニット５での所定の動作の時刻とを同期させることができる。また、例えば、移動体３では、撮影開始トリガーのタイミングを記憶することができるとともに、センサ情報等に上述した同じタイミングの時刻情報を付与することができる。
Note that the shooting start
The sixth embodiment provides the same effects as the fourth embodiment. In other words, it is possible to synchronize the time of a predetermined operation (for example, start of photographing) of the moving
＜第７実施形態＞
本第７実施形態では、図１２に示すように、トリガー信号として、ストロボの動作を指示するフラッシュトリガーを用いる。
<Seventh embodiment>
In the seventh embodiment, as shown in FIG. 12, a flash trigger that instructs the operation of a strobe is used as a trigger signal.
例えば、カメラユニット５から移動体３に、ストロボの点灯を指示するフラッシュトリガーを送信する。これにより、移動体３での処理（例えば、撮影と同じ時刻のストロボの点灯のタイミングの記録）とカメラユニット５での処理（例えば撮影開始）とを同じタイミングとすることができる。
For example, the
本第７実施形態では、第４実施形態と同様な効果を奏する。例えば、移動体３では、フラッシュトリガーのタイミングを記憶することができるとともに、センサ情報等に上述した同じタイミングの時刻情報を付与することができる。
The seventh embodiment provides the same effects as the fourth embodiment. For example, in the
［５．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
[5. Other embodiments]
Although the embodiments of the present disclosure have been described above, it goes without saying that the present disclosure is not limited to the above embodiments and can take various forms.
（５ａ）移動体に搭載されるカメラとしては、１台又は複数台を採用できる。複数台のカメラの場合には、各カメラで撮影された画像に対して、それぞれ上述した本開示の画像処理を適用できる。 (5a) As the camera mounted on the moving object, one or more cameras can be employed. In the case of multiple cameras, the above-described image processing of the present disclosure can be applied to each image captured by each camera.
（５ｂ）上述したアノテーション処理は、移動体装置以外の装置（例えば、パソコン）にて実施してもよいが、移動体装置において実施してもよい。
（５ｃ）カメラは、予め移動体と一体に組み込まれていてもよいが、移動体に対して市販等のカメラを後付けで組み付けてもよい。
(5b) The above-described annotation process may be performed by a device other than the mobile device (for example, a personal computer), or may be performed by the mobile device.
(5c) The camera may be integrated with the movable body in advance, or a commercially available camera may be attached to the movable body afterward.
（５ｄ）識別子としては、例えば橋脚のＡ面やＢ面等のように撮影する部位を区別できればよく、数字や記号などをデジタル化したものなど、特に限定はない。
（５ｅ）撮影に関する時刻としては、撮影対象に対する（例えば、橋脚のＡ面の）撮影の開始の時刻や撮影の終了の時刻が挙げられる。また、それ以外に、撮影に関する各種の動作のタイミングが挙げられる。
(5d) The identifier is not particularly limited as long as it can distinguish the part to be imaged, such as side A and side B of a pier, and may be a digitalized number or symbol.
(5e) The time related to photography includes the start time and end time of photography for the subject (for example, side A of a pier). In addition, there are other timings for various operations related to photographing.
（５ｆ）本開示に記載の画像処理システムは、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。 (5f) The image processing system described in the present disclosure is provided by a dedicated computer provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. May be realized.
あるいは、本開示に記載の画像処理システムは、一つ以上の専用ハードウェイア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。
もしくは、本開示に記載の画像処理システムは、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェイア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。
Alternatively, the image processing system described in this disclosure may be implemented by a dedicated computer provided by a processor configured with one or more dedicated hardware logic circuits.
Alternatively, the image processing system described in the present disclosure is configured by a combination of a processor and memory configured to perform one or more functions and a processor configured by one or more hardware logic circuits. It may also be implemented by one or more dedicated computers.
また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像処理システムに含まれる各部の機能を実現する手法には、必ずしもソフトウェイアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェイアを用いて実現されてもよい。 The computer program may also be stored as instructions executed by a computer on a computer-readable non-transitory tangible storage medium. The method for realizing the functions of each part included in the image processing system does not necessarily include software, and all functions may be realized using one or more hardware. .
（５ｇ）上述した画像処理システムの他、当該画像処理システムのコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移有形記録媒体、画像処理方法など、種々の形態で本開示を実現することもできる。 (5g) In addition to the above-mentioned image processing system, the present disclosure can be made in various forms, such as a program for making the computer of the image processing system function, a non-transitional tangible recording medium such as a semiconductor memory in which this program is recorded, and an image processing method. It is also possible to realize
（５ｈ）上記各実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の実施形態の構成に対して付加または置換してもよい。 (5h) Even if multiple functions of one component in each of the above embodiments are realized by multiple components, or one function of one component is realized by multiple components. good. Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Further, a part of the configuration of each of the above embodiments may be omitted. Furthermore, at least a part of the configuration of each of the above embodiments may be added to or replaced with the configuration of other embodiments.
１…画像処理システム、３…移動体、５…カメラユニット、７…移動体装置、９…パソコン、１７…移動体記憶部、２１…カメラ、２５…カメラ記憶部、３３…パソコン制御部
DESCRIPTION OF
Claims (9)
前記カメラによって撮影された前記画像を記憶するように構成された画像記憶部（２５）と、
前記撮影の状態を規定する撮影条件を記憶するように構成された条件記憶部（１７）と、
前記条件記憶部から得られる前記撮影条件に基づいて、撮影部位を特定することが可能な識別情報を設定し、当該識別情報を前記画像記憶部から得られる前記画像に付与するように構成された情報付与部（３３）と、
を備えた、画像処理システム。 An image processing system (1) that performs processing on an image of a photographic subject photographed by a camera (21) mounted on a moving object (3),
an image storage unit (25) configured to store the image taken by the camera;
a condition storage unit (17) configured to store photographing conditions that define the photographing state;
Based on the imaging conditions obtained from the condition storage section, identification information that allows identification of the region to be imaged is set, and the identification information is added to the image obtained from the image storage section. an information provision section (33);
An image processing system equipped with
前記撮影条件は、前記撮影に関する時刻、前記カメラの位置、前記カメラの姿勢、前記カメラの移動経路、のうち、少なくとも１種である、
画像処理システム。 The image processing system according to claim 1,
The photographing condition is at least one of the time related to the photographing, the position of the camera, the posture of the camera, and the moving route of the camera.
Image processing system.
前記撮影条件として、前記撮影の開始及び前記撮影の終了の時刻を記憶し、前記撮影の開始から前記撮影の終了までの期間に撮影された画像に対して、当該画像であることを示す前記識別情報を付与するように構成された、
画像処理システム。 The image processing system according to claim 2,
As the photographing conditions, the time of the start of the photographing and the end of the photographing is stored, and for an image photographed during a period from the start of the photographing to the end of the photographing, the identification indicating that the image is the relevant image. configured to provide information,
Image processing system.
前記移動体は、１以上の目標点座標によって構成される目標経路に沿って移動する機能を有しており、
前記移動体の前記目標点座標への到達時間と前記カメラの撮影時刻とに基づいて、前記目標経路に沿った前記撮影部位に対応した前記識別情報を付与するように構成された、
画像処理システム。 The image processing system according to any one of claims 1 to 3,
The moving body has a function of moving along a target route configured by one or more target point coordinates,
configured to give the identification information corresponding to the photographed region along the target route based on the arrival time of the moving body to the target point coordinates and the photographing time of the camera;
Image processing system.
前記撮影条件に基づいて、前記カメラによって撮影された画像を任意の個数のグループに分類する機能を有し、
各前記グループに分類された前記画像に対して、当該分類された各グループの前記画像であることを示す前記識別情報を付与するように構成された、
画像処理システム。 The image processing system according to any one of claims 1 to 3,
having a function of classifying images photographed by the camera into an arbitrary number of groups based on the photographing conditions;
The image classified into each group is configured to be given the identification information indicating that the image belongs to each classified group;
Image processing system.
前記カメラの動作に関する時刻を示すカメラ側時刻と前記移動体の動作に関する時刻を示す移動体側時刻とが別個に設定されている場合に、前記カメラ側時刻と前記移動体側時刻が異なるときには、前記移動体側時刻に最も近い前記カメラ側時刻に対応した前記画像に、前記識別情報を付与するように構成された、
画像処理システム。 The image processing system according to any one of claims 1 to 3,
When the camera side time indicating the time related to the operation of the camera and the moving body side time indicating the time related to the operation of the moving body are set separately, if the camera side time and the moving body side time are different, the movement configured to add the identification information to the image corresponding to the camera-side time closest to the body-side time;
Image processing system.
前記カメラの動作に関する時刻を示すカメラ側時刻と前記移動体の動作に関する時刻を示す移動体側時刻とを同期させるように構成された、
画像処理システム。 The image processing system according to any one of claims 1 to 3,
configured to synchronize a camera-side time indicating a time related to the operation of the camera and a moving body-side time indicating a time related to the operation of the moving body;
Image processing system.
前記情報付与部によって前記識別情報が付与された画像を、外部に出力可能に構成された、
画像処理システム。 The image processing system according to any one of claims 1 to 3,
configured to be able to output the image to which the identification information has been added by the information adding unit to the outside;
Image processing system.
前記情報付与部は前記移動体に設けられた、又は、前記移動体とは別体の装置（９）に設けられた、
画像処理システム。 The image processing system according to any one of claims 1 to 3,
The information provision unit is provided in the moving body, or is provided in a device (9) separate from the moving body.
Image processing system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022090251A JP2023177525A (en) | 2022-06-02 | 2022-06-02 | image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022090251A JP2023177525A (en) | 2022-06-02 | 2022-06-02 | image processing system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023177525A true JP2023177525A (en) | 2023-12-14 |
Family
ID=89123942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022090251A Pending JP2023177525A (en) | 2022-06-02 | 2022-06-02 | image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023177525A (en) |
-
2022
- 2022-06-02 JP JP2022090251A patent/JP2023177525A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11073389B2 (en) | Hover control | |
| US11042997B2 (en) | Panoramic photographing method for unmanned aerial vehicle and unmanned aerial vehicle using the same | |
| CN108235815B (en) | Imaging control device, imaging system, moving object, imaging control method, and medium | |
| WO2018120350A1 (en) | Method and device for positioning unmanned aerial vehicle | |
| CN111567032B (en) | Specifying device, moving body, specifying method, and computer-readable recording medium | |
| WO2019230604A1 (en) | Inspection system | |
| JP2023100642A (en) | inspection system | |
| JP2020012878A (en) | Controller, moving object, control method, and program | |
| CN110383810A (en) | Information processing equipment, information processing method and message handling program | |
| JP6681101B2 (en) | Inspection system | |
| JP2023177525A (en) | image processing system | |
| JP7042911B2 (en) | UAV control device and UAV control method | |
| WO2019174343A1 (en) | Active body detection device, control device, moving body, active body detection method and procedure | |
| JP6501091B1 (en) | CONTROL DEVICE, IMAGING DEVICE, MOBILE OBJECT, CONTROL METHOD, AND PROGRAM | |
| JP6495562B1 (en) | Aerial imaging system, method and program using unmanned air vehicle | |
| JP2019220834A (en) | Unmanned aircraft, control method, and program | |
| JP2019096965A (en) | Determination device, control arrangement, imaging system, flying object, determination method, program | |
| JP6651693B2 (en) | Control device, moving object, control method, and program | |
| JP2022102366A (en) | Data recording method, data processing method, and reference point | |
| JP6681102B2 (en) | Inspection system | |
| CN111357271A (en) | Control device, mobile body, control method, and program | |
| WO2023195401A1 (en) | Imaging control device, imaging control method, and program | |
| JP2012124554A (en) | Imaging apparatus | |
| JP6569157B1 (en) | Control device, imaging device, moving object, control method, and program | |
| JP2023184050A (en) | Imaging apparatus and imaging method for unmanned aircraft |