JP2023134182A - 情報処理装置、制御方法、プログラム及びシステム - Google Patents

Abstract

【課題】撮像装置を自動で移動させながら検査対象を連続で撮影した複数の画像について、失敗画像の撮影位置を判定し、自動で撮影位置を再現して再撮影できるシステムを実現する。
【解決手段】情報処理装置は、撮像装置の撮影位置を移動させながら検査対象を複数の領域に分割して撮影を行うように制御する制御手段と、前記撮像装置の撮影位置を移動させながら前記撮像装置により撮影された複数の画像を、画像ごとに撮影位置と関連付けて保存する保存手段と、を有し、前記制御手段は、前記保存手段に保存されている前記複数の画像の中に、撮影に失敗している画像が含まれている場合、前記撮影に失敗している画像に関連付けて保存されている撮影位置に前記撮像装置を移動させて再撮影を行うように制御する。
【選択図】図６

Description

本発明は、構造物の外壁などの点検において、ひび割れなどの変状の有無を検出するために検査対象の画像を撮影するシステムに関する。

構造物の外壁などの点検において、ひび割れなどの変状の有無は、検査対象を撮影した高精細な画像について画像解析を行うことにより判定される。このような画像解析に用いられる画像は、カメラをパンまたはチルトさせながら検査対象を複数の領域に分割して撮影される。この場合、検査対象全体を網羅する大量の画像を全ての領域について漏れなく撮影するために、カメラを雲台に取り付け、雲台が自動でカメラをパンまたはチルトさせながら順次撮影を行うシステムが用いられる。加えて、検査対象全体が漏れなく撮影されていることを確認するために、撮影画像と撮影位置が関連付けて保存されている必要がある。

特許文献１には、検査対象の図面中の撮影位置と撮影画像と点検結果とを関連付けたレポートを出力することが記載されている。特許文献２には、撮影位置情報と撮影範囲情報を図面情報に合成して表示することが記載されている。

特開２０１１－００８７６４号公報 国際公開第２０１７／１３０７００号

しかしながら、検査対象全体を漏れなく撮影したとしても、検査対象の撮影条件やフォーカス対象が異なるなどの要因により、一部の画像について適切な画質での撮影ができていない場合がある。このように撮影に失敗した画像は適切な解析結果が得られないため再撮影を行う必要があるが、ユーザが手動で雲台を操作してカメラを撮影位置に移動させるには手間がかかる。さらに、手動操作では失敗画像と同一の位置や画角を再現することが難しいため、検査対象全体について再撮影が必要な場合もある。

特許文献１では、撮影するごとに図面上の撮影位置を手動で入力する必要があり、再撮影時には手動で撮影位置までカメラを移動させる必要がある。特許文献２では、図面上にマッピングした画像のうち、失敗画像を再撮影する場合は手動でカメラを移動させる必要があり、また、撮影画像をマッピングするための図面情報が必要である。

本発明は、上記課題に鑑みてなされ、その目的は、撮像装置を自動で移動させながら検査対象を連続で撮影した複数の画像について、失敗画像の撮影位置を判定し、自動で撮影位置を再現して再撮影できるシステムを実現することである。

上記課題を解決し、目的を達成するために、本発明の情報処理装置は、撮像装置の撮影位置を移動させながら検査対象を複数の領域に分割して撮影を行うように制御する制御手段と、前記撮像装置の撮影位置を移動させながら前記撮像装置により撮影された複数の画像を、画像ごとに撮影位置と関連付けて保存する保存手段と、を有し、前記制御手段は、前記保存手段に保存されている前記複数の画像の中に、撮影に失敗している画像が含まれている場合、前記撮影に失敗している画像に関連付けて保存されている撮影位置に基づいて前記撮像装置の撮影位置を移動させて再撮影を行うように制御する。

本発明によれば、撮像装置を自動で移動させながら検査対象を連続で撮影した複数の画像について、失敗画像の撮影位置を判定し、自動で撮影位置を再現して再撮影できるようになる。

本実施形態のシステム構成図。 本実施形態のシステムの機能ブロック図。 本実施形態の撮像装置の構成を示すブロック図。 本実施形態の雲台装置の構成を示すブロック図。 本実施形態の情報処理装置の構成を示すブロック図。 本実施形態のシステムにより検査対象を撮影する方法を説明する図。 本実施形態のシステムにより検査対象を撮影する方法を説明する図。 本実施形態のシステムにより検査対象を撮影する方法を説明する図。 本実施形態のシステムにより撮影される画像を説明する図。 本実施形態のシステムの動作を示すフローチャート。 図６の雲台制御／撮影処理を示すフローチャート。 図６の雲台制御／再撮影処理を示すフローチャート。 本実施形態のシステムにより提供される失敗画像の選択画面を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜システム構成＞まず、図１および図２を参照して、本実施形態のシステムの構成および機能について説明する。

図１は、本実施形態のシステム構成図である。

本実施形態のシステム１００は、撮像装置１０１、撮像装置１０１が取り付けられる雲台装置１０２、撮像装置１０１および雲台装置１０２を制御する情報処理装置１０３、並びに、雲台装置１０２を支持する三脚１０４を含む。

撮像装置１０１は、レンズ装置が着脱可能なデジタルカメラである。雲台装置１０２は、撮像装置１０１が取り付け可能なアクセサリ装置である。雲台装置１０２は、撮像装置１００の姿勢を可変に制御する姿勢制御装置として、撮像装置１０１をパン方向、チルト方向およびズーム方向の少なくともいずれかに駆動して撮像装置１００の撮影位置を移動させる電動雲台である。情報処理装置１０３は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣまたはスマートフォンである。

撮像装置１０１は、ズームレンズ、フォーカスレンズ、絞り、シャッターなどを含むレンズ装置を有する。

雲台装置１０２は、撮像装置１０１をパン方向に駆動するパン機構１０５、撮像装置１０１をチルト方向に駆動するチルト機構１０６、撮像装置１０１のレンズ装置のズームレンズ位置を制御するズーム機構１０７を含む。撮像装置１０１と雲台装置１０２はケーブル１０８により通信可能に接続される。雲台装置１０２と情報処理装置１０３はケーブル１０９により通信可能に接続される。撮像装置１０１と情報処理装置１０３は雲台装置１０２を介して通信可能である。なお、撮像装置１０１と情報処理装置１０３とをケーブルにより通信可能に接続してもよい。また、撮像装置１０１および雲台装置１０２と情報処理装置１０３とを無線通信可能に接続してもよい。

図２は、本実施形態のシステムの機能ブロック図である。

撮像装置１０１は、画像の撮影を行う撮像ユニット２０２、撮像装置１０１の制御を行う撮像制御ユニット２０３、撮像した画像を記憶する画像記憶ユニット２０４を含む。
また、撮像装置１０１は、レンズ装置のフォーカスレンズを駆動するフォーカス駆動ユニット２０５、ＡＦ（オートフォーカス）のための被写体距離を測定する測距ユニット２０６を含む。また、撮像装置１０１は、雲台装置１０２および情報処理装置１０３との通信を行う通信ユニット２０７を含む。

雲台装置１０２は、雲台装置１０２を制御する雲台制御ユニット２０９、パン機構１０５を駆動するパン駆動ユニット２１０、チルト機構１０６を駆動するチルト駆動ユニット２１１、ズーム機構１０７を駆動するズーム駆動ユニット２１９を含む。また、雲台装置１０２は、撮像装置１０１および情報処理装置１０３と通信を行うための通信ユニット２１２を含む。

情報処理装置１０３は、雲台装置１０２のパン機構１０５、チルト機構１０６およびズーム機構１０７を制御して、所定のＰＴＺ位置への駆動を行うと共に、現在のＰＴＺ位置を取得する雲台装置制御ユニット２１４を含む。また、情報処理装置１０３は、撮像装置１０１が撮像した画像を付加情報と共に保存する画像保存ユニット２１５、画像保存ユニット２１５が保存する画像を付加情報に基づいて表示する画像表示ユニット２１６を含む。また、情報処理装置１０３は、撮像装置１０１による画像の撮影を制御する撮像装置制御ユニット２１７、雲台装置１０２および撮像装置１０１との通信を行う通信ユニット２１８を含む。

なお、ＰＴＺはパン（Ｐａｎｏｒａｍｉｃ）、チルト（Ｔｉｌｔ）、ズーム（Ｚｏｏｍ）のそれぞれの頭文字の略である。パン（Ｐａｎｏｒａｍｉｃ）は水平方向への動きである。チルト（Ｔｉｌｔ）は垂直方方向への動きである。ズーム（Ｚｏｏｍ）はズームアップ（望遠）とズームアウト（広角）である。ＰＴＺ位置は、パン角度、チルト角度およびズーム位置に対応する。

図３Ａ～３Ｃは、本実施形態のシステムを構成する撮像装置１０１、雲台装置１０２および情報処理装置１０３の内部構成を示すブロック図である。

図３Ａは撮像装置１０１の内部構成を示している。

コントローラ３０１は、撮像装置１０１を統括して制御するＣＰＵやＭＰＵなどの演算処理プロセッサを有する。コントローラ３０１は、後述する不揮発性メモリ３０２に格納されているプログラムを実行して、撮像装置の１０１の各モジュールを制御することにより後述するフローチャートの処理を実現する。

不揮発性メモリ３０２は、コントローラ３０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）やプログラム、プログラムを実行するために必要な動作用の定数などを記憶しているＲＯＭである。ここで、プログラムとは、本実施形態にて後述するフローチャート処理を実行するためのプログラムのことである。

揮発性メモリ３０３は、コントローラ３０１の動作用の定数、変数、不揮発性メモリ３０２から読み出したプログラムなどをロードするワークメモリとして使用されるＲＡＭである。

撮像モジュール３０４は、レンズ装置を介して入射した被写体光を受光してアナログ画像信号に変換して出力するイメージセンサ、イメージセンサから出力されたアナログ画像信号をデジタル信号に変換して出力するＡＤコンバータを有する。さらに、撮影モジュール３０４は、ＡＤコンバータから出力されたデジタル画像信号に各種画像処理を施して画像データを生成し、直接または間接的に後述する記憶モジュール３１１に書き込む。

測距モジュール３０５は、レンズ装置のフォーカス位置を算出するために、撮像モジュール３０４のレンズ装置を介して被写体距離を測定するセンサモジュールである。

レンズ制御モジュール３０６は、レンズ装置の制御を行う。フォーカス駆動モジュール３０７は、レンズ制御モジュール３０６の制御によりレンズ装置のフォーカスレンズを駆動するアクチュエータを含む。絞り駆動モジュール３０８は、レンズ制御モジュール３０６の制御により絞りを駆動するアクチュエータを含む。

入出力モジュール３０９は、ユーザが撮像装置１０１に関する各種の設定を行うために撮像装置１０１に対する操作指示を受け付けるインターフェース（Ｉ／Ｆ）である。

通信モジュール３１０は、撮像装置１０１が、雲台装置１０２および雲台装置１０２を介して情報処理装置１０３と通信を行うためのインターフェースである。

記憶モジュール３１１は、撮像モジュール３０４で撮像された画像を記憶するメモリカードやハードディスクなどの記憶デバイスを有する。

バス３１２は、上述した各モジュール間を接続するためのアドレスバス、データバスおよび制御バスを含む。

図３Ｂは雲台装置１０２の内部構成を示している。なお、図３Ｂにおいて、コントローラ３０３、不揮発性メモリ３１４、揮発性メモリ３１５、入出力モジュール３１９およびバス３２１の構成や機能は、撮像装置１０１のコントローラ３０１、不揮発性メモリ３０２、揮発性メモリ３０３、入出力モジュール３０９およびバス３１２と同様であるので説明を省略する。

第１の通信モジュール３１６は、雲台装置１０２が撮像装置１０１と通信を行うためのインターフェースである。

パン駆動モジュール３１７は、雲台装置１０２のパン機構１０５を駆動するパン駆動ユニット２１０のアクチュエータを制御するドライバ回路などを有する。

チルト駆動モジュール３１８は、雲台装置１０２のチルト機構１０６を駆動するチルト駆動ユニット２１１のアクチュエータを制御するドライバ回路などを有する。

第２の通信モジュール３２０は、雲台装置１０２が情報処理装置１０３と通信を行うためのインターフェースである。

ズーム駆動モジュール３２１は、雲台装置１０２のズーム機構１０７を駆動するズーム駆動ユニット２１９を制御するアクチュエータを制御するドライバ回路などを有する。

図３Ｃは情報処理装置１０３の内部構成を示している。図３Ｃにおいて、図３Ｂにおいて、コントローラ３２２、不揮発性メモリ３２３、揮発性メモリ３２４およびバス３２９の構成や機能は、撮像装置１０１のコントローラ３０１、不揮発性メモリ３０２、揮発性メモリ３０３およびバス３１２と同様であるので説明を省略する。

表示装置３２５は、情報処理装置１０３の各種情報をユーザに提示するための液晶パネルや有機ＥＬなどのディスプレイデバイスを有する。

入力装置３２６は、ユーザが情報処理装置１０３に関する各種の情報を入力するためのマウスやキーボード、タッチパネルなどの操作部材を含む。

通信モジュール３２７は、情報処理装置１０３が雲台装置１０２と通信を行うためのインターフェースである。

記憶装置３２８は、メモリカードやハードディスクなどの補助記憶装置である。

図４Ａ～４Ｃは、本実施形態のシステムにより検査対象を撮影する場合の撮像装置１０１、雲台装置１０２および情報処理装置１０３の動作を説明する図である。

図４Ａは、雲台装置１０２により撮像装置１０１をパン方向に連続駆動しながら撮影を行う場合の最初の領域を撮影する状態を簡略化して示した上面図である。

符号４０１は、雲台装置１０２に対する撮像装置１０１の取付位置を示している。符号４０２は、検査対象の構造物を示している。符号４０３は、検査対象である構造物４０２の壁面を示している。なお、撮像装置１０１の取付位置４０１は、検査対象の構造物４０２の壁面４０３の水平方向の中央位置の垂線（中心線）上に設置されることが望ましいが、実際の撮影現場では他の構造物が存在するなど障害物の影響により中心線上からずれて配置される場合がある。また、符号４０４は、雲台装置１０２により撮像装置１０１をパン方向に連続駆動する場合に撮像装置１０１が最初の領域を撮影する範囲である画角４１９の中心方向を示している。

符号４１０は、画角４１９の中心方向４０４と検査対象の構造物４０２の壁面４０３との交点を示している。撮像装置１０１は、壁面４０３における画角４１９の中心方向４０４との交点４１０をＡＦ位置とする。符号４１６は、交点４１０をＡＦ位置とした場合にイメージセンサの撮像面に被写体像が最小の円に集束し得る合焦面を示している。実際には、被写体距離が合焦面４１６までの距離からずれており、被写体像が集束する円のサイズが最小ではない場合であっても、円のサイズがイメージセンサの画素サイズ以下に収まる場合にはフォーカスのずれは識別できない。このフォーカスのずれが識別できない距離の範囲は被写界深度と呼ばれ、イメージセンサの画素サイズ、レンズ装置の焦点距離と絞り値、被写体距離を用いて演算可能である。図４Ａの例では、合焦面４１６に対して前方の被写界深度は平面４１７、後方の被写界深度は平面４１８となり、平面４１７と平面４１８の間の距離範囲にある壁面４０３も合焦していると見なしてよい。したがって、図４Ａに示す壁面４０３を撮影する場合には、被写界深度を考慮して撮像装置１０１の取付位置４０１と、レンズ装置の焦点距離および絞り値について事前に準備する必要がある。

図４Ｂは、撮像装置１０１が最初の領域を撮影した後に、雲台装置１０２により撮像装置１０１をパン方向に連続駆動しながら所定のパン位置ごとに撮影を行う状態を簡略化して示す上面図である。

符号４０５から４０９は、図４Ａの画角４１９および中心方向４０４と同様に、雲台装置１０２を所定のパン角度で連続駆動しながら撮像装置１０１が撮影する範囲である画角４２０から４２４の中心方向を示している。ここで、検査対象である壁面４０３が正面に向かって図中右側にさらに続いている場合には、壁面４０３に対する撮影する角度がさらに鋭角となり、点検に適した高精細な画像が撮影できない。この場合は、撮像装置１０１を右側に移動して、必要に応じて複数の取付位置で同様の撮影を行うことになる。本実施形態では説明の簡略化のため、構造物４０２の高さ方向、すなわち雲台装置１０２により撮像装置１０１をチルト方向には駆動せず、パン方向にのみ駆動して検査対象の構造物４０２の壁面４０３を６領域に分割して６回の撮影を行うものとする。

符号４１１から４１５は、図４Ａの交点４１０と同様に、画角４２０から４２４の中心方向４０５から４０９と検査対象の構造物４０２の壁面４０３との交点を示している。撮像装置１０１は、壁面４０３における画角４２０から４２４の中心方向４０５から４０９との交点４１１から４１５をＡＦ位置とする。なお、本実施形態では、図４Ａの合焦面４１６、前方の被写界深度４１７、後方の被写界深度４１８と同様に、壁面４０３との交点４１１から４１５においてＡＦを実施した場合の合焦面、前方の被写界深度、後方の被写界深度をそれぞれ、太い実線、細かい点線、粗い点線で示している。この場合、被写界深度の範囲は、前方の被写界深度より後方の被写界深度の範囲の方が広くなることが知られている。同様に、図４Ｂに示すように、被写体距離が遠くなることで、被写界深度の範囲が広くなることが知られている。さらに、図４Ｂに示すように、検査対象の構造物４０２の壁面４０３を複数の領域に分割して撮影を行う場合には、それぞれの画角４１９から４２４での撮影画像同士が部分的に重なるようにしている。これは、検査対象の被写体、すなわち構造物４０２の壁面４０３の全体を確実に網羅するためであると同時に、レンズ装置により撮影された画像の中央部分を利用することで、点検に適したより高品位の画像を得るためである。なお、図４Ｂの例では、前のコマの撮影の画角端を次のコマの撮影の画角中心としているが、画像同士を重ねる割合（重なり率）はこれに限らず、異なる割合にしてもよい。

図４Ｃは、撮像装置１０１により撮像されるライブビュー画像を表示するファインダ画面を例示しており、符号４２５はファインダ画面、符号４２６はＡＦのための測距点を示している。測距点４２６はファインダ画面４２５のほぼ全面に存在しているが、図４Ａ，４Ｂに示した検査対象の撮影では、中央部分のより高精度の測距点４２６を使用する。なお、図４Ａ～４Ｃは、雲台装置１０２により撮像装置１０１をパン方向に連続駆動しながら検査対象の構造物４０２の壁面４０３の撮影する方法を説明している。このため、交点４１０から４１５におけるＡＦのための被写体距離の測定は全て成功したものとしている。

図５（ａ）および（ｂ）は、本実施形態のシステムにより撮影された複数の画像の処理を説明する図である。

図５（ａ）は、雲台装置１０２により撮像装置１０１をパン方向に連続駆動しながら所定のパン位置ごとに撮影された検査対象の画像５０１から５０６を例示している。図５（ａ）では、画像５０１から５０６は、説明の簡略化のために上下方向にずれて配置されているが、実際は上下方向にずれていない。また、図５（ｂ）は、雲台装置１０２により撮像装置１０１をパン方向に連続駆動しながら所定のパン位置ごとに撮影された検査対象の画像５０１から５０６を例示している。さらに、図５（ｂ）は、雲台装置１０２により撮像装置１０１をチルト方向に連続駆動しながら所定のチルト位置ごとに撮影された検査対象の画像５０７および５０８の一部を含む複数の画像を例示している。

図５（ｂ）に示す全ての画像は、画像の中央部分を利用して一枚の画像に合成されて、あたかも検査対象の構造物４０２の壁面４０３の全体を高精細に撮影した画像として利用される。構造物４０２の壁面４０３の点検時には、このように合成された画像を用いて、検査者が壁面４０３の微細な変状の有無を確認する。なお、検査方法の詳細については、既知であるため説明を省略する。

次に、図６から図８に示すフローチャートを参照して、本実施形態のシステムの動作について説明する。

図６から図８は、本実施形態のシステムの動作を説明するフローチャートである。

なお、以下では、撮像装置１０１、雲台装置１０２および情報処理装置１０３を処理の主体として説明するが、実際には撮像装置１０１、雲台装置１０２および情報処理装置１０３の各コントローラ３０１、３１３、３２２が不揮発性メモリ３０２、３１４、３２３に格納されているプログラムを実行して各モジュールを制御することで実現される。なお、図６の処理が開始される前に、図４Ａ，４Ｂで説明した、撮像装置１０１の取付位置、撮影に使用するレンズ装置、レンズ装置の焦点距離および被写界深度、絞り値などの選定は完了しているものとする。

ステップＳ６０１では、情報処理装置１０３は、検査対象に対する撮影範囲および画像のなり率を雲台装置１０２に入力する。なお、雲台装置１０２への撮影範囲および画像の重なり率は、ユーザが雲台装置１０２の入出力モジュール３１９から直接入力してもよい。また、情報処理装置１０３の入力装置３２６から入力し、入力した情報を通信モジュール３２７を介して雲台装置１０２に送信してもよい。さらに、撮影範囲は、図５（ｂ）に示した合成画像の左上の画角５０１および右下の画角５０８が含まれるようなパン位置およびチルト位置を記憶しておき、記憶した情報を入力情報としてもよい。

ステップＳ６０２では、情報処理装置１０３は、撮像装置１０１をパン方向、チルト方向およびズーム方向に駆動して検査対象の撮影を行うために雲台装置１０２のパン機構１０５、チルト機構１０６およびズーム機構１０７を駆動するための制御パラメータを設定する。制御パラメータは、雲台装置１０２のパン機構１０５およびチルト機構１０６を駆動するためのＰＴＺ位置に関する情報を含む。なお、雲台装置１０２の制御パラメータは、ユーザが雲台装置１０２の入出力モジュール３１９から直接設定してもよいし、情報処理装置１０３の入力装置３２６から入力し、入力した情報を通信モジュール３２７を介して雲台装置１０２に送信してもよい。さらに、雲台装置１０２の制御パラメータは、ステップＳ６０１で入力した撮影範囲や画像の重なり率、レンズ装置の焦点距離および被写界深度、絞り値に基づいて算出して設定してもよい。

ステップＳ６０３では、情報処理装置１０３は、撮像装置１０１のシャッター速度、ＩＳＯ感度、ホワイトバランスなどの撮影パラメータの設定を行う。なお、撮像装置１０１の撮影パラメータは、ユーザが入出力モジュール３０９から直接設定してもよいし、情報処理装置１０３の入力装置３２６から入力し、入力した情報を通信モジュール３２７を介して撮像装置１０１へ送信してもよい。

ステップＳ６０４では、ユーザが情報処理装置１０３に対して撮影開始指示を入力したことに応じて、情報処理装置１０３は、通信モジュール３２７を介して雲台装置１０２および撮像装置１０１に撮影開始指示を送信する。

ステップＳ６０５では、情報処理装置１０３は、ステップＳ６０４で入力された撮影開始指示に応じて、雲台装置１０２の撮像装置１０１の制御を行う。情報処理装置１０３は、ステップＳ６０２で設定された制御パラメータに基づいて雲台装置１０２のパン機構１０５およびチルト機構１０６を駆動する雲台制御を行う。また、情報処理装置１０３は、ステップＳ６０３で設定された撮影パラメータに基づいて撮像装置１０１の撮影動作の制御を行う。また、情報処理装置１０３は、撮像装置１０１により撮影された画像に撮影情報を関連付けて保存する処理を行う。ここで、撮影情報は、画像のファイル名、画像の撮影位置におけるＰＴＺ位置に関する情報を含む。

ステップＳ６０６では、情報処理装置１０３は、ステップＳ６０１で入力された検査対象の全ての撮影範囲の撮影が完了したか否かを判定する。情報処理装置１０３は、図５（ｂ）に示した合成画像の左上の画角５０１および右下の画角５０８が含まれる撮影範囲の撮影が完了すると、検査対象の全ての撮影が完了したと判定する。情報処理装置１０３は、検査対象の全ての撮影が完了していないと判定した場合は処理をステップＳ６０５に戻し、再度撮影処理を行い、完了していると判定した場合は処理をステップＳ６０７に進める。

ステップＳ６０７では、情報処理装置１０３は、ステップＳ６０５またはＳ６０９で撮影された画像を表示装置３２５に表示する。情報処理装置１０３は、図９（ａ）に示す画像一覧画面のように、ステップＳ６０５またはＳ６０９で撮影情報と関連付けて保存した複数の画像を、撮影情報に基づいて情報処理装置１０３の表示装置３２５に並べて表示する。図９（ａ）の画像９０１から９０６は、図５の画像５０１から５０６に対応する。図９（ａ）の例では、説明の簡略化のため、画像９０１から９０６のそれぞれについて撮影情報が記述されているが、これらの情報は実際には選択されている画像９０７のみについてアイコン９０８に表示される。そして、未選択の画像９０１から９０６については画像本体が表示される。なお、選択されている画像９０７に対応するアイコン９０８に表示される撮影情報はファイル名や撮影位置に限らず、撮影パラメータなどが同時に表示されもよい。図９（ａ）の画像一覧画面において、画像の表示位置は画像に関連付けて保存されている雲台装置１０２のＰＴＺ位置に基づいて決定される。すなわち、パン位置が大きいものから順に右から順に表示され、チルト位置が大きいものから順に上から順に表示される。また、表示されている画像のうち、いずれの画像を選択するかはユーザが入力装置３２６を操作することにより変更可能である。図９（ａ）の例では、画像９０７が選択中であり、太枠で強調表示される。なお、強調表示の方法は太枠に限らず、対象画像の色や大きさを変更して強調表示してもよい。また、図９（ａ）の画像一覧画面において、「重ねて表示」という文字列が記載されたアイコン９１０を操作すると、図９（ｂ）に示す合成画像画面に移行する。合成画像９１１は、ステップＳ６０１で入力された画像の重なり率に基づいて画像の一部を重ねて合成されたものである。合成画像９１１は、隣接する画像と重なり率の割合だけ重ねて表示することで、検査対象の構造物４０２の壁面４０３にマッピングしているように表示されている。表示されている画像のうち、いずれの画像を選択するかはユーザが入力装置３２６を操作することにより変更可能である。マウスのクリック操作であれば、画像の中心の座標がクリックされた座標に最も近い画像が選択される。図９（ｂ）の例では、画像９１２が選択中であり、選択されている画像の撮影情報は、図９（ａ）の画像９０８と同様にアイコン９１３に表示される。選択中の画像９１２は太枠で強調表示される。なお、強調表示の方法は太枠に限らず、選択中の画像の色や大きさを変更して強調表示してもよい。また、「重ねず表示」という文字列が記載されたアイコン９１５が操作された場合は、図９（ａ）の画像一覧画面に移行する。

ステップＳ６０８では、情報処理装置１０３は、ステップＳ６０７で表示された複数の画像中に、ユーザにより選択された失敗画像があるか否かを判定する。例えば、ユーザは、図９（ａ）または図９（ｂ）の画面において、表示画像中に撮影に失敗した画像があると判定した場合は、失敗画像を選択した状態で「再撮影」という文字列が記載されたアイコン９０９または９１４を操作する。情報処理装置１０３は、図９（ａ）または図９（ｂ）の画面の「再撮影」アイコン９０９または９１４が操作されたか否かを判定し、「再撮影」アイコン９０９または９１４が操作されたと判定した場合に失敗画像があると判定する。なお、失敗画像の選択はユーザ操作に限らず、情報処理装置１０３が、撮影画像中において他の画像の撮影パラメータとの差異が判定閾値を超えている画像を失敗画像と判定してもよいし、撮影画像の画質に基づいて判定してもよい。情報処理装置１０３は、ユーザにより選択された失敗画像があると判定した場合は処理をステップＳ６０９に進め、ユーザにより選択された失敗画像がないと判定した場合は処理をステップＳ６１０に進める。

ステップＳ６０９では、情報処理装置１０３は、ステップＳ６０８で入力された再撮影指示に応じて、雲台装置１０２の撮像装置１０１の制御を行う。情報処理装置１０３は、図９（ａ）または図９（ｂ）の画面で「再撮影」アイコン９０９または９１４が操作された時点で選択されている失敗画像に関連付けて保存されている撮影情報を読み出す。そして、情報処理装置１０３は、失敗画像の撮影情報に含まれるＰＴＺ位置に対応する制御パラメータに基づいて雲台装置１０２のパン機構１０５およびチルト機構１０６を駆動する雲台制御を行う。また、情報処理装置１０３は、ステップＳ６０３で設定された撮影パラメータに基づいて撮像装置１０１の撮影動作の制御を行う。また、情報処理装置１０３は、失敗画像および失敗画像に関連付けて保存された撮影情報を削除し、撮像装置１０１により再撮影された画像に撮影情報を関連付けて保存する処理を行う。

ステップＳ６１０では、情報処理装置１０３は、ステップＳ６０５で撮影した画像およびステップＳ６０９で再撮影した画像に対してパノラマスティッチ処理を行って合成画像を生成する処理を行う。情報処理装置１０３は、ステップＳ６０５で撮影した画像およびステップＳ６０９で再撮影した画像を図９（ｂ）のように画像ごとに関連付けて保存されている撮影情報に応じて並べる。そして、情報処理装置１０３は、画像ごとに関連付けて保存されている重なり率に応じて画像間の重複部分を画像処理によりつなぎ合わせた合成画像を生成する。

図７は、図６のステップＳ６０５の雲台制御／撮影処理における撮像装置１０１、雲台装置１０２および情報処理装置１０３の動作を説明するフローチャートである。

ステップＳ７０１では、情報処理装置１０３は、通信ユニット２１８により、雲台装置１０２のパン機構１０５およびチルト機構１０６を駆動するための制御目標値を雲台装置１０２に送信する。制御目標値は、図６のステップＳ６０２で設定された制御パラメータのＰＴＺ位置に関する情報に基づいて決定される。

ステップＳ７０２では、雲台装置１０２は、通信ユニット２１２により、ステップＳ７０１で情報処理装置１０３から送信された制御目標値を受信する。

ステップＳ７０３では、雲台装置１０２は、ステップＳ７０２で受信した制御目標値に基づいてパン駆動ユニット２１０、チルト駆動ユニット２１１およびズーム駆動ユニット２１９を制御して、所定のＰＴＺ位置にパン機構１０５、チルト機構１０６およびズーム機構１０７を駆動する。

ステップＳ７０４では、雲台装置１０２は、通信ユニット２１２により、ステップＳ７０３で駆動された雲台装置１０２のＰＴＺ位置を情報処理装置１０３に送信する。

ステップＳ７０５では、情報処理装置１０３は、ステップＳ７０４で雲台装置１０２から送信されたＰＴＺ位置を受信する。

ステップＳ７０６では、情報処理装置１０３は、通信ユニット２１８により、撮像装置１０１に撮影指示を送信する。

ステップＳ７０７では、撮像装置１０１は、通信ユニット２０７により、ステップＳ７０６で情報処理装置１０３から送信された撮影指示を受信する。

ステップＳ７０８では、撮像装置１０１は、撮像制御ユニット２０３により撮影処理を行い生成された画像をＪＰＥＧなどのファイル形式で画像記憶ユニット２０４に記憶する。

ステップＳ７０９では、撮像装置１０１は、通信ユニット２０７により、ステップＳ７０８で撮影された画像を情報処理装置１０３に送信する。

ステップＳ７１０では、情報処理装置１０３は、通信ユニット２１８により、ステップＳ７０９で撮像装置１０１から送信された画像を受信する。

ステップＳ７１１では、情報処理装置１０３は、ステップＳ７１０で受信した画像に撮影情報を関連付けて画像保存ユニット２１５に保存する。ここで、撮影情報は、ステップＳ７０５で雲台装置１０２から受信した雲台装置１０２のＰＴＺ位置に関する情報を含む。情報処理装置１０３は、ステップＳ７１０で受信した画像がＪＰＥＧ画像の場合には、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）規格にしたがって画像ファイルに影情報をメタデータとして保存する。なお、撮影情報の保存先は画像ファイルに限らない。例えば、記憶装置３２８にファイル名と関連付けてＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅ）などの規格にしたがって保存してもよいし、画像のファイル名として保存してもよい。また、画像と関連付けて保存される撮影情報はＰＴＺ位置に限らず、撮影パラメータなどを関連付けて保存してもよい。

図８は、図６のステップＳ６０９の雲台制御／再撮影処理における撮像装置１０１、雲台装置１０２および情報処理装置１０３の動作を説明するフローチャートである。

ステップＳ８０１では、情報処理装置１０３は、通信ユニット２１８により、雲台装置１０２のパン機構１０５およびチルト機構１０６を駆動するための制御目標値を雲台装置１０２に送信する。制御目標値は、図６のステップＳ６０８で判定された失敗画像に関連付けて保存されている撮影情報に含まれるＰＴＺ位置に関する情報に基づいて決定される。

ステップＳ８０２からＳ８０５では、図７のステップＳ７０２からＳ７０５と同様の処理を行う。

ステップＳ８０６では、情報処理装置１０３は、通信ユニット２１８により、再撮影時の撮影パラメータを撮像装置１０１に送信する。ここで、再撮影時の撮影パラメータはユーザが入力装置３２６を操作することにより入力である。ユーザは、例えば、図６のテップＳ６０７で表示された撮影画像に基づいて、再撮影時に失敗しない撮影パラメータを設定する。例えば、撮影画像中の壁面にボケが生じていて撮影に失敗していた場合は、ボケが発生しないようなＡＦ位置に変更するような影パラメータを設定する。なお、撮影パラメータは、ユーザが設定する場合に限らず、所定の撮影パラメータを一定の値だけ変化させるように設定してもよい。

ステップＳ８０７では、撮像装置１０１は、通信ユニット２０７により、ステップＳ８０６で情報処理装置１０３から送信された撮影パラメータを受信する。

ステップＳ８０８では、撮像装置１０１は、撮像制御ユニット２０３の撮影パラメータを、ステップＳ８０７で受信した撮影パラメータに変更する。

ステップＳ８０９では、撮像装置１０１は、通信ユニット２０７により、ステップＳ８０８で撮影パラメータの変更が完了したことを通知する変更通知を情報処理装置１０３に送信する。

ステップＳ８１０では、情報処理装置１０３は、通信ユニット２１８により、ステップＳ８０９で撮像装置１０１から送信された変更通知を受信する。

ステップＳ８１１からＳ８１５では、図７のステップＳ７０６からＳ７１０と同様の処理を行う。

ステップＳ８１６では、情報処理装置１０３は、ステップＳ８１５で受信した画像に撮影情報を関連付けて画像保存ユニット２１５に保存する。ここで、撮影情報は、ステップＳ８０５で雲台装置１０２から受信した雲台装置１０２のＰＴＺ位置に関する情報を含む。情報処理装置１０３は、ステップＳ８１５で受信した画像がＪＰＥＧ画像の場合には、Ｅｘｉｆ規格にしたがって画像ファイルに影情報をメタデータとして保存する。なお、撮影情報の保存先は画像ファイルに限らず、記憶装置３２８にファイル名と関連付けてＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅ）などの規格にしたがって保存してもよいし、画像のファイル名として保存してもよい。また、画像と関連付けて保存される撮影情報はＰＴＺ位置に限らず、再撮影時の撮影パラメータなどを関連付けて保存してもよい。また、情報処理装置１０３は、図６のステップＳ６０８で判定された失敗画像を画像保存ユニット２１５から削除し、ステップＳ８１５で受信した再撮影された画像を保存する。

以上説明したように、本実施形態によれば、撮像装置１０１のＰＴＺ位置を自動で移動させながら検査対象を連続で撮影した複数の画像について、失敗画像の撮影位置を判定し、自動で撮影位置を再現して再撮影できるシステムを実現できる。

また、撮影情報と関連付けて保存した複数の画像を、撮影情報に基づいて並べて表示することで、失敗画像の撮影位置を容易に判別することができる。

なお、本実施形態では、複数の装置から構成されるシステムの例を説明したが、いずれかの装置が他の装置を包含する構成としてもよいし、単一の装置で構成としてもよい。また、本実施形態では、情報処理装置１０３で設定されたＰＴＺ位置に関する制御目標値を雲台装置１０２に送信しているが、ズーム位置について相対的な数値による制御のみが可能なシステムの場合には、以下のように構成してもよい。

雲台装置１０２または情報処理装置１０３がズーム位置を変更するための全ての情報を取得および管理し、現在のズーム位置の目標値を把握するように構成する。このような構成にすることで、ズーム位置に関して相対的な数値による制御示のみが可能なシステムにも対応することが可能となる。さらに、レンズ装置に後付けのズーム駆動装置を付加することでズーム制御を実現するシステムにも対応することが可能となる。

［他の実施形態］
本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…撮像装置、１０２…雲台装置、１０３…情報処理装置、３１７…パン駆動モジュール、３１８…チルト駆動モジュール、３２１…ズーム駆動モジュール、３２５…表示装置、３２６…入力装置、３２８…記憶装置

Claims (16)

1. 検査対象の撮影を行う撮像装置と、前記撮像装置の撮影位置を移動させる雲台装置とを制御して、前記撮像装置の撮影位置を移動させながら前記検査対象を複数の領域に分割して撮影を行うように制御する制御手段と、
   前記撮像装置の撮影位置を移動させながら前記撮像装置により撮影された複数の画像を、画像ごとに撮影位置と関連付けて保存する保存手段と、を有し、
   前記制御手段は、前記保存手段に保存されている前記複数の画像の中に、撮影に失敗している画像が含まれている場合、前記撮影に失敗している画像に関連付けて保存されている撮影位置に前記撮像装置を移動させて再撮影を行うように制御することを特徴とする情報処理装置。
2. 前記保存手段に保存されている前記複数の画像を、画像ごとに関連付けて保存されている撮影位置に基づいて並べて表示する表示手段を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示手段は、前記保存手段に保存されている前記複数の画像について、画像同士を重ねずに表示する状態と、画像同士を部分的に重ねて表示する状態とを切り替えることが可能であることを特徴とする請求項２に記載の情報処理装置。
4. 前記保存手段に保存されている前記複数の画像を、画像ごとに関連付けて保存されている撮影位置に基づいて画像同士を部分的に重ねて合成する合成手段を有することを特徴とする請求項３に記載の情報処理装置。
5. 前記表示手段によって表示された前記複数の画像から、撮影に失敗している画像を選択するためのユーザ操作を受け付ける入力手段を有し、
   前記制御手段は、前記入力手段により選択された画像を前記撮影に失敗している画像と判定することを特徴とする請求項２から４のいずれか１項に記載の情報処理装置。
6. 前記表示手段は、前記入力手段により選択された前記撮影に失敗している画像の撮影位置を表示し、
   前記入力手段は、前記入力手段により選択された前記撮影に失敗している画像の再撮影を指示するためのユーザ操作を受け付け、
   前記制御手段は、前記入力手段により入力された再撮影の指示に応じて前記撮影に失敗している画像の再撮影を行うことを特徴とする請求項５に記載の情報処理装置。
7. 前記保存手段は、前記撮像装置により撮影された前記複数の画像について、画像ごとに撮影位置と共に、画質または撮影パラメータを関連付けて保存し、
   前記制御手段は、前記画像ごとの画質または撮影パラメータに基づいて、前記撮影に失敗している画像を判定することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
8. 前記制御手段は、前記撮影に失敗している画像を再撮影する場合に、撮影に失敗している画像を撮影したときの撮影パラメータを、撮影に失敗しないような撮影パラメータに変更して再撮影を行うことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記保存手段は、前記撮像装置により撮影された前記複数の画像について、画像ごとの撮影位置を画像ファイルに付加して保存することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記保存手段は、前記撮像装置により撮影された前記複数の画像について、画像ごとの撮影位置を画像ファイルとは別に保存することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
11. 前記保存手段は、撮影に失敗している画像を削除し、再撮影された画像を保存することを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記撮影位置は、前記撮像装置のパン位置、チルト位置およびズーム位置の少なくともいずれかを含むことを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
13. 前記撮像装置は、前記撮像装置をパン方向、チルト方向、ズーム方向の少なくともいずれかに駆動する雲台装置に取り付けられ、
    前記制御手段は、前記撮像装置と前記雲台装置とを制御して、前記撮像装置の撮影位置を移動させながら前記検査対象の撮影を行うように制御することを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
14. 情報処理装置の制御方法であって、
    撮像装置の撮影位置を移動させながら検査対象を複数の領域に分割して撮影を行うように制御するステップと、
    前記撮像装置の撮影位置を移動させながら前記撮像装置により撮影された複数の画像を、画像ごとに撮影位置と関連付けて保存手段に保存するステップと、を有し、
    前記制御するステップでは、前記保存手段に保存されている前記複数の画像の中に、撮影に失敗している画像が含まれている場合、前記撮影に失敗している画像に関連付けて保存されている撮影位置に基づいて前記撮像装置の撮影位置を移動させて再撮影を行うように制御することを特徴とする情報処理装置の制御方法。
15. コンピュータを、請求項１から１３のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。
16. 検査対象の撮影を行う撮像装置と、
    前記撮像装置が取り付けられ、前記撮像装置の撮影位置を移動させる雲台装置と、
    請求項１から１３のいずれか１項に記載された情報処理装置と、を含むシステム。

Images