JP2022075510A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2022075510A
JP2022075510A JP2021154360A JP2021154360A JP2022075510A JP 2022075510 A JP2022075510 A JP 2022075510A JP 2021154360 A JP2021154360 A JP 2021154360A JP 2021154360 A JP2021154360 A JP 2021154360A JP 2022075510 A JP2022075510 A JP 2022075510A
Authority
JP
Japan
Prior art keywords
information
image
shooting
determination
predetermined condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021154360A
Other languages
English (en)
Inventor
信一 三ツ元
Shinichi Mitsumoto
悟 間宮
Satoru Mamiya
智行 繁田
Satoyuki Shigeta
信夫 押本
Nobuo Oshimoto
友美子 久野
Yumiko Hisano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP21205703.8A priority Critical patent/EP3996038A1/en
Priority to US17/518,066 priority patent/US20220148149A1/en
Priority to CN202111298799.3A priority patent/CN114449160A/zh
Publication of JP2022075510A publication Critical patent/JP2022075510A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】撮影された画像の画質に基づいて、当該画像を所定の画像処理に用いるべきかを判定する情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】方法は、撮影された画像に対して合焦度、周波数解析結果、撮影解像度に基づく画質判定S205を実施し、当該画質判定の結果に基づいて、合成処理又は撮影対象に生じた変状の検知処理に不適である画像であるか否かを判定する。そして、画像処理として合成処理または撮影対象に生じた変状の検知処理に不適である画像は再撮影が必要な画像として特定S208する。【選択図】図2

Description

本発明は、撮影画像の品質を判断する技術に関する。
建造物の点検において、撮影した画像からひび割れなどの変状を検出する手法では、撮影画像のピントが合っており、鮮明である必要がある。また、点検の対象範囲から細かい変状を検出するには、高解像度な画像が必要であるため、大規模な構造物の点検に用いられる画像の場合には、複数の高解像度画像を合成して、一枚の合成画像を生成することがある。
特許文献1には、合成に使用される画像の欠損などの異常を判定し、異常の有無に応じて再撮影が必要な画像の特定を行う技術が開示されている。
特許第6619761号公報
上述したように、建造物の点検に用いる撮影画像は、適切に合焦されていたり、高解像度であったり、所定の画像品質を満たす必要がある。撮影画像がこのような品質を満たしていない場合、変状の検知や合成など点検に必要な画像処理が正しく実施できず、再撮影が必要になる恐れがある。建造物が遠方にあったり、撮影を行うための機材の用意が必要になったり、特に日を跨ぐと再撮影にも多大な労力が掛かる。したがって、現場で撮影後に速やかに撮影画像が所定の画像品質を満たすか否か、即ち、再撮影が必要か否かを判断するための技術が求められている。また、このような画像の品質の判断を、人による目視で適切に行うことが難しかった。
特許文献1に示される技術は、撮影画像の通信時における画像データの欠損などのデータの異常を検出することにより、再撮影対象の画像を特定している。しかしながら、この時、画像のデータが正常であった場合には、記録されている画像が適切に合焦されていなかったり、低解像度であったりする場合など画質が良くなくても再撮影が必要とは判断されなかった。したがって、従来技術における再撮影判定では、画像の品質が考慮されておらず、この点で改善の余地がある。
本発明は上記課題に鑑みてなされたものであり、本発明に係る目的の一つは、撮影された画像の画質に基づいて、当該画像を所定の画像処理に用いるべきかを判定することである。
本発明に係る情報処理装置は、以下の構成を備える。即ち、画像の所定の領域ごとの合焦の度合いを示す合焦度情報、前記画像の周波数解析結果を示す周波数解析情報、撮影解像度を示す撮影解像度情報のうち少なくとも一つを取得する取得手段と、前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能と、前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能と、前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定する機能のうち少なくとも一つを有する判定手段と、前記判定手段による判定結果に基づいて、前記画像を所定の画像処理に用いるべきではないことを特定するための情報を出力する出力手段と、を有することを特徴とする情報処理装置。
本発明によれば、撮影された画像の画質に基づいて、当該画像を所定の画像処理に用いるべきかを判定することができる。
情報処理装置のハードウェア構成の一例を示す図である。 実施形態1の情報処理装置の処理の流れを示すフローチャートの一例を示す図である。 実施形態1の撮影処理のフローチャートの一例を示す図である。 撮影画像と合成画像の一例を示す図である。 撮影画像リストの一例を示す図である。 撮影条件判定処理のフローチャートの一例を示す図である。 画質判定処理のフローチャートの一例を示す図である。 デフォーカスマップの一例を示す図である。 再撮影対象画像の一例を示す図である。 実施形態1の変形例1の撮影処理のフローチャートの一例を示す図である。 実施形態1の変形例1の画質判定処理のフローチャートの一例を示す図である。 実施形態1の変形例3の再撮影処理のフローチャートの一例を示す図である。 実施形態1の変形例3の再撮影実行確認の画面の一例を示す図である。 実施形態1の変形例4の画質判定処理のフローチャートの一例を示す図である。 実施形態1の変形例4の画質判定結果を重畳表示したデフォーカスマップの一例を示す図である。 実施形態1の変形例4の画質判定モード選択の画面の一例を示す図である。 実施形態1の変形例4の画質判定結果を重畳表示したデフォーカスマップの一例を示す図である。(別の重畳表示の例)
<実施形態1>
図1は、本実施形態に係る情報処理装置を含む情報処理システム図である。図1に示すように、情報処理システムは、情報処理装置100と撮影補助装置150と撮影装置180で構成されている。情報処理システムは、撮影画像の品質を判断し、その画像の再撮影の必要性を判断する情報処理方法を実施する。また、情報処理システムは、構造物を撮影した画像に基づいて、当該構造物の点検を行うためのシステムである。構造物の例としては、橋、トンネル、道路、ビル、ダム、堤防、電気設備などが含まれる。
情報処理装置100は、本実施形態の撮影処理の全体を制御するための装置である。CPU101と、ROM102と、RAM103と、HDD104と、表示部105と、操作部106と、通信部107とを有している。CPU101は、中央演算装置(Central Processing Unit)であり、各種処理のための演算や論理判断等を行い、システムバス110に接続された各構成要素を制御する。ROM(Read-Only Memory)102は、プログラムメモリであって、後述する各種処理手順を含むCPU101による制御のためのプログラムを格納する。RAM(Random Access Memory)103は、CPU101の主メモリ、ワークエリア等の一時記憶領域として用いられる。尚、情報処理装置100に接続された外部記憶装置等からRAM103にプログラムをロードすることで、プログラムメモリを実現しても構わない。
HDD104は、本実施形態に係る画像データ等の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア(記録媒体)と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク(FD)、CD-ROM、DVD、USBメモリ、MO、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置等であってもよい。
表示部105は、例えば液晶ディスプレイ(LCD)や有機ELディスプレイ(OLED)等であって、表示画面に画像を出力するデバイスである。なお表示部105は、情報処理装置100と有線あるいは無線で接続された外部デバイスでも構わない。操作部106は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部107は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。通信部107は、例えば、公衆無線を行うためのチップやアンテナにより構成され得る。なお、通信部107は、無線LAN、Bluetooth(登録商標)などの他の無線通信方式により通信を行う構成としてもよい。
撮影補助装置150は、本実施形態では情報処理装置100からの制御に基づき撮影位置や撮影方向を変更可能な雲台装置であり、後述する撮影装置180を搭載する。また、撮影補助装置150は通信部151と撮影位置・方向制御部152と撮影指示部153で構成されている。通信部151は情報処理装置100と無線または有線により通信を行い、情報処理装置からの指示に従い、撮影方向・位置の制御や撮影指示を行う。通信部151は、例えば、公衆無線を行うためのチップやアンテナにより構成され得る。なお、通信部151は、無線LAN、Bluetooth(登録商標)などの他の無線通信方式により通信を行う構成としてもよい。
撮影位置・方向制御部152は、検査対象被写体の撮影領域を撮影できるように、雲台装置の撮影位置・方向を変更する。撮影指示部153は撮影位置・方向制御部152で変更した撮影位置・方向に設定された撮影装置180に対し、撮影を行うように制御する。
撮影装置180は、情報処理装置100から撮影補助装置150を経由して受信する撮影指示情報を元に撮影を行う装置である。撮影装置180は、全像面位相差撮像センサーを有しており、撮影した画像の合焦度情報(デフォーカス値)も記録する。合焦度情報については、図8を用いて詳細を後述する。デフォーカス値は、撮影範囲における空間的な(2次元的な)デフォーカス量分布を表すデータである。以降の説明では空間的なデフォーカス量分布を表すデータをデフォーカスマップとも呼ぶ。デフォーカス量は撮影装置180の光学系が合焦している距離からのピントのずれ量である。デフォーカス値(デフォーカスマップ)は、画像の画素ごとにこのデフォーカス量を空間的な分布として示したものである。
撮影装置180の全像面位相差撮像センサーの各画素は、二つの光電変換部を有しており、これらを分割画素A、分割画素Bとする。全像面位相差撮像センサーにおいて、二次元的に規則的に配列された分割画素A、Bから視差画像としてそれぞれA像、B像が出力されるものとする。また、A像とB像を加算したA+B像が記録静止画として記録される。これらの視差画像の位相差に基づいてデフォーカス量は算出される。なお、画素単位でデフォーカス量を導出する構成を例に説明を行うが、例えば複数の画素を有するブロック単位(例えば、5画素×5画素)など所定の領域ごとにデフォーカス量を導出してもよい。
続いて、本実施形態に係る撮影処理について説明する。図2は、本実施形態における情報処理装置100の処理の流れを示すフローチャートである。図2に示すフローチャートは、情報処理装置100は、撮影処理制御アプリケーションを実行することで開始される。以下、各工程(ステップ)は、それら符号の先頭にはSを付与して説明することとする。
S201では、情報処理装置100のCPU101は、撮影処理を行う。S201に示す撮影処理は、情報処理装置100の制御に基づいて、撮影補助装置150と撮影装置180を動作させ、撮影を行うための処理である。S201に示す撮影処理は、図3のフローチャートを用いて後述する。S201では図4(a)のような順番で撮影範囲と撮影位置とを指定し、撮影補助装置150の制御及び撮影装置180に撮影を実施させる。S201では情報処理装置100は、ユーザから構造物における検査範囲(撮影範囲)の指定を受け付けると、それぞれのレコードに対応する画像の撮影範囲または撮影位置・方向を示す情報を含む撮影画像リストである図5(a)に示すテーブル501を作成する。さらにS201では、情報処理装置100は当該テーブル501に基づいて順番に撮影を行わせる。情報処理装置100は、撮影画像リストであるテーブル501に基づき、撮影補助装置150を駆動させ、撮影装置180の撮影範囲を制御する。情報処理装置100は、撮影補助装置150を駆動により撮影範囲顎堤すると、撮影が実施されるよう撮影指示を、撮影補助装置150を介して撮影装置180に送信する。撮影装置180は、撮影指示の受信に応じて、撮影を行う。情報処理装置100は、撮影補助装置150または撮影装置180から1枚の画像の撮影が終わると、撮影完了通知を受信する。情報処理装置100は、撮影完了通知を受信すると、その撮影に対応する撮影画像リストのレコードに撮影画像ファイル名などの情報を書き込む。そして、次の撮影を行うために、撮影補助装置150により撮影方向を変更させるための情報及び撮影指示を撮影補助装置150及び撮影装置180に送信し、リストにおいて次のレコードに対応する撮影を行う。このように作成した撮影画像リストに対応する画像の撮影が完了するまで、撮影を繰り返す。撮影画像リストに対応する画像の撮影がすべて終わると、撮影処理を終了する。撮影処理終了後には、撮影画像ファイル名が記録された図5(b)で示すテーブル501に更新される。なお、情報処理装置100は、撮影補助装置150の駆動させるための情報及び撮影指示を1画像ごとに送信する構成を説明したがこれに限られない。例えば、情報処理装置100は、撮影画像リストであるテーブル501に含まれるレコードに対応する全ての画像を撮影させるための情報を一括で撮影補助装置150または/および撮影装置180に送信する構成としてもよい。また、情報処理装置100は、撮影画像リストであるテーブル501に含まれるレコードに対応する複数枚の画像を撮影させるための情報を撮影補助装置150または/および撮影装置180に送信する構成としてもよい。また、撮影補助装置150または/および撮影装置180は、撮影画像リストであるテーブル501に入力される情報を、すべての撮影が終了した場合に一括して情報処理装置100に送信する構成としてもよい。
図4(a)は、検査対象となる構造物の検査対象面の撮影領域400を表している。撮影領域400に対し、矢印411で示す方向で、検査対象面の対応する箇所を、ダイヤ形状の四角形で示す撮影位置421を中心として順に撮影していくことを表している。図4(b)は、図4(a)で順に撮影した画像で構成された合成画像450を表している。合成画像450は、検査対象面である撮影領域400における点検を行うため用いられる。
S202では、CPU101がS201で作成したテーブル501および撮影画像ファイルを取得する。以後のS203の処理からS205までは、テーブル501に記載の撮影画像ID順に、取得した各撮影画像ファイルに対し、繰り返しの処理を行う。
S203では、CPU101は、撮影画像が撮影された際の撮影条件を判定する撮影条件判定処理を行う。撮影条件判定処理は、図6のフローチャートを用いて後述する。撮影条件判定処理において、判定された撮影画像の撮影条件が、所定の撮影条件に合致していない場合は、テーブル501の該当の撮影画像IDの判定情報の項目に所定の撮影条件を満たさないことを示す情報である撮影条件外と記録する。なお、この撮影条件判定処理の結果は後述する再撮影判定処理に用いられる。即ち、本実施形態によれば、撮影画像の撮影条件に応じて再撮影が必要か否かを判定することができる。また、撮影条件を用いたS203の判定処理を行うことより、後述するS205の画質判定処理を行うことなく、再撮影が必要な撮影画像を判定することができる。また、後述するS205の画質判定処理に比べて、負荷の低いS203の撮影条件判定処理を前段で行うことで、処理時間の短縮化が図れる。
S203において判定される撮影条件の例として、絞り値(F値)を用いることができる。絞り値(F値)に関しては、被写界深度を深くしつつ且つ回折によるボケの影響を少ない画像を点検に用いるため、点検に用いる画像が撮影された際の絞り値の値に条件の範囲を設ける。即ち、本実施形態では、所定の範囲または所定の値の以外の絞り値で撮影された撮影範囲に関しては、点検のための変状検知や合成処理などの所定の画像処理に用いるべきではないとし、再撮影が必要であると判定される。
S203において判定される撮影条件の例として、光をとらえる能力を表すISO値(感度)を用いることができる。ISO値に関しては、ISO値が高くノイズの影響が多く出る可能性がある場合に、点検用途としては不向きな画像となるため、点検に用いる画像が撮影された際のISO値に条件値を設ける。即ち、本実施形態では、所定の範囲または所定の値以外のISO値で撮影された撮影範囲に関しては、点検のための変状検知や合成処理などの所定の画像処理に用いるべきではないとし、再撮影が必要であると判定される。
S203において判定される撮影条件の例として、被写体距離を用いることができる。撮影時の被写体への距離に関して、距離が遠すぎて、画像解像度が低くなり、細かい変状が検出できない可能があるため、点検に用いる画像が撮影された際の被写体までの距離に条件を設ける。即ち、本実施形態では、所定の範囲または所定の値以外の被写体距離で撮影された撮影範囲に関しては、点検のための変状検知や合成処理などの所定の画像処理に用いるべきではないとし、再撮影が必要であると判定される。なお、S203において判定される撮影条件は、複数の属性に対してそれぞれ条件を設定してよい。
S204では、CPU101がS203の判定結果を用いて、処理対象の画像についてS205の処理へ移行するかどうかを判定する。S203において、撮影画像が所定の撮影条件に合致していると判定された場合(Yes)はS205に移行し、合致していない場合(No)はS203に移行し、次の撮影画像IDに対し処理を行う。
S205では、CPU101が撮影画像の画質を判定する画質判定処理を実施する。画質判定処理は、図7のフローチャートを用いて後述する。情報処理装置100は、S205における画質判定処理の判定結果を図5(c)で示すテーブル501の判定情報の項目に記録する。S205における画質判定処理では例えば撮影画像の所定の領域ごとに合焦の度合いを示す合焦情報を用いて画質を判定する。合焦情報を用いる理由としては、撮影処理中に例えば突風が発生し撮影補助装置150と撮影装置180が動くことで合焦位置にズレが発生し得る。また、撮影装置と検査対象面との間に他の作業者や鳥などの遮蔽物が撮影装置の測距点に入り込むことにより本来の対象物の焦点距離と異なる焦点距離で撮影することで画像の品質に劣化が発生し得る。このように点検面に対して正しく合焦していない画像は、変状の検知や合成など点検に必要な画像処理が正しく実施できない恐れがあるため、点検に用いるべきではないとし、再撮影が必要であると判定される。なお、S205における画質判定処理は、合焦情報を用いて画質を判定する例を示したが点検面の単位長さ当たりの画素数で示す解像度等に基づいて実施されてもよい。
続いて、S206では、CPU101がS202で入力された全ての撮影画像に対して、S203の撮影条件判定処理もしくはS205の画質判定処理が終わっているかどうかを判定する。全画像に対して処理が終わっている場合(Yes)はS207に移行し、終わっていない場合(No)はS203に移行し、次の撮影画像IDの撮影画像を処理する。
S207では、CPU101がテーブル501の判定情報の中に画質判定結果がNGもしくは撮影条件外があるかどうかを判定する。判定情報に画質判定結果がNGもしくは撮影条件外が含まれている場合(Yes)はS208に移行し、含まれていない場合(No)は処理を終了する。
S208では、CPU101が再撮影画像を特定する。実施形態1では、情報処理装置100は、各撮影画像の撮影位置、撮影範囲を基にして合成画像を作成し、合成画像において、再撮影の必要な撮影位置を作業者に提示する。テーブル501の判定情報がOKでない画像を特定し、その撮影位置の情報から合成画像において、再撮影が必要な撮影位置、撮影範囲を提示する。図9で示すように合成画像450における再撮影対象画像921と再撮影対象画像922を表示部105に表示する。なお、図9の例では、再撮影の必要な撮影位置または撮影範囲を合成画像上で強調表示することでユーザに提示する例を示したが、他の形態であってもよい。例えば、撮影が必要な撮影位置・方向を文字情報として出力する構成としてもよい。また、再撮影が必要な撮影画像を識別可能な情報を出力する構成としてもよい。例えば、再撮影が必要な撮影画像を所定のフォルダに格納する構成としてもよい。また、変状検知や合成などの画像処理に用いるべきではない画像が存在することを特定するための情報を表示または音として出力する構成としてもよい。また、再撮影が必要である画像が存在することを示す情報を表示または音として出力する構成としてもよい。また、判定対象となった画像のそれぞれにS205における判定結果を示す情報を関連付けて出力する構成としてもよい。例えば、判定対象となった画像のそれぞれに、変状検知や合成などの画像処理に用いことができる/できない、もしくは、再撮影が必要である/必要ではないことを表す情報を関連づけて出力する構成としてもよい。また、例えば、判定対象となった画像のそれぞれに、画質が条件を満たすことを示す「OK」という情報、または、画質が条件を満たさないことを示す「NG」という情報を関連付けて出力する構成としてもよい。このように、画像を所定の画像処理に用いるべきか否かの情報を、種々の態様により出力する構成としてよい。
続いて、図2のS201で示した撮影処理の詳細について図3に示すフローチャートを用いて説明する。図3のS301において、情報処理装置100は、構造物における検査範囲(撮影範囲)のユーザからの指定を受付ける。情報処理装置100は、指定された検査範囲(撮影範囲)の領域に基づいて撮影画像数とそれぞれの撮影位置を判定する。例えば、情報処理装置100は、図4(a)の撮影対象領域400を検査範囲(撮影範囲)とする指定をユーザから受付ける。情報処理装置100は、撮影対象領域400の対角の2点を元に、撮影対象画像数とそれぞれの撮影位置を算出する。例えば、構造物の検査対象が横7m×縦3mであり、1枚の撮影画像で撮影できる範囲が横1m×縦1mである場合、図4(b)で示すように7列×3行の21枚の撮影画像が必要であると判定される。
ユーザからの検査範囲(撮影範囲)の指定が完了した場合、S302では、CPU101がS301で算出した撮影画像数と撮影位置を元に、図5のテーブル501で示す撮影画像リストを作成する。図5において、テーブル501は、撮影画像リストを表すテーブルである。テーブル501は、撮影画像IDと撮影位置、撮影画像ファイル名、判定情報で構成される。なお、テーブル501に含まれる属性は、例示であり、これらの全てが必須である必要もなく、また、他の属性を含む構成としてもよい。撮影画像IDは撮影画像ファイルを識別するためのIDである。撮影位置は、雲台装置で使用される撮影位置を表し、例えば左上は「1行,1列」といった座標の形式で値が格納される。判定情報は、S205の画質判定処理において、判定した結果が格納される。S302でテーブル501が作成された段階では、図5(a)で示すように撮影枚数から算出された撮影IDと撮影位置の情報が記載され、撮影画像ファイル名と判定情報の項目は空欄となっている。
S303では、CPU101が撮影補助装置150である雲台装置及び撮影装置180を制御し、S302で作成したテーブル501の撮影画像ID順に、撮影画像IDに対応した撮影位置情報に基づいて、撮影を行うよう制御する。
情報処理装置100は、各撮影画像IDに対して、テーブル501の撮影位置情報に記載された座標情報に基づいて、撮影補助装置150の撮影方向・撮影位置に変更させる。そして、情報処理装置100は、例えば、画面中央部分を測距点とするオートフォーカス機能によってフォーカスを合わせるよう、撮影装置180を制御する。情報処理装置100は、オートフォーカスが完了に伴って撮影が実施されるよう撮影指示を撮影装置180に送信する。情報処理装置100は、撮影補助装置150の制御または撮影装置180から送信される撮影完了通知に応じて、撮影画像リストのレコードに撮影画像ファイル名などの情報を図5(b)で示すようにテーブル501の撮影画像ファイル名の欄に記載する。情報処理装置100は、このような処理を撮影画像リストに対応する画像の撮影が完了するまで繰り返す。作成した撮影画像リストに対応する画像の撮影がすべて終わると、撮影処理を終了する。
続いて、図2のS203で示した撮影条件判定処理の詳細について図6に示すフローチャートを用いて説明する。図6のS601において、CPU101が処理対象の撮影画像に含まれる撮影情報を取得する。撮影情報とは、画像の撮影時に使用された撮影パラメータとして記録されるメタデータであり、具体的には撮影時刻や絞り値(F値)やISO感度などが含まれる。
S602では、CPU101がS601で取得した撮影情報の値が所定の撮影条件に合っているか判定する。条件外と判定した場合(Yes)はS603に移行し、条件内と判定した場合(No)は終了処理に移行する。撮影条件とは、予め閾値や範囲が設定されており、撮影情報に含まれる値が閾値範囲内であるかでどうかの条件である。例えば、S203の処理説明で記載した絞り値や、ISOや被写体までの距離を撮影条件としても良い。
S603では、CPU101がS602の判定結果が撮影条件外である時に判定結果を撮影条件外とし、テーブル501の判定情報の項目に記録する。なお、取得した撮影情報の値が所定の撮影条件を満たす場合に、その旨をテーブル501の判定情報の項目に記録する構成としてもよい。
続いて、図2のS205で示した画質判定処理の詳細について図7に示すフローチャートを用いて説明する。図7のS701では、CPU101が処理対象の画像に含まれる合焦度情報を取得する。合焦度情報は、全像面位相差撮像センサーを有する撮影装置で撮影した画像と共に取得される情報であり、画像の領域毎のデフォーカス量が記録されている情報である。
S702では、CPU101がS701で取得した合焦度情報を用いて、合焦している領域の割合を算出する。S702における割合を算出する処理を図8(a)および図8(b)を用いて説明する。図8(a)および図8(b)は、合焦度情報であるデフォーカスマップの一例である。外枠801および外枠821は、入力画像の画像サイズに対応する枠である。数値802および数値822は、それぞれの領域における合焦度を示すデフォーカス量である。線803および線823は、デフォーカス量が異なる領域間の境界線を示す。ここでデフォーカス値は、画像の画素毎の対象物に対するピントの前後のズレ量を絶対値として数値化したものである。なお、奥行き方向において、ピントが前にずれている場合と後ずれている場合のデフォーカス量の符号を変えてもよい。即ち、例えば、ピントが前にずれている場合のデフォーカス量を正とし、ピントが後にずれている場合のデフォーカス量を負とする構成としてもよい。
撮影を行う際に、撮影装置180のセンサーの全面の像面位相差撮像センサーが配置されている場合には、取得可能な画素の位置におけるデフォーカス量の情報として取得する事が可能である。なお、デフォーカス値の情報の取得方法に関しては、公知の技術を利用可能である。例えば、撮像センサーから検出したピントの前後のズレ量を用いたオートフォーカス技術が既に広く実用化されている。なお、ステレオカメラなどで撮影した視差画像を用いてデフォーカス値を取得する構成としてもよい。
図8のデフォーカスマップにおいてデフォーカス値「0」が付けられた領域は、撮像装置150の合焦単位においてピント/フォーカスが合っている領域(合焦している領域)である。また、デフォーカス量「0」より大きい値がある領域は、値が大きくなるたびに、光学系が合焦している距離からのピントのずれ量が大きくなる(合焦度が悪くなる)ことを表している。図8(a)の例では、デフォーカス量が「0」「1」の2段階、図8(b)の例では「0」「1」「2」の3段階で表現しているが、段階数はこれに限らず、他の値であってもよい。
合焦している領域の割合の算出に関して、図8(a)を用いて説明すると、外枠801で囲まれる画素数を分母とし、デフォーカス値が「0」である画素数を分子として算出を行う。即ち、画像において、合焦している領域の割合が算出される。図8(a)に示す例では、デフォーカス量が「0」の割合が約9割となっており、図8(b)は、デフォーカス量が「0」の割合が約6割となっている。
S703では、CPU101がS702で算出した割合を所定の閾値以上であるかどうかを判定する。割合が所定の閾値以上の場合(Yes)はS704に移行し、閾値未満の場合(No)は、S705に移行する。割合の閾値が8割である場合、図8(a)では閾値(8割)以上となり、図8(b)では閾値(8割)未満となる。なお、閾値は、8割を例として説明したが、ユーザによる入力に基づいて任意に設定されてもよい。また、閾値は、合焦している領域の割合と、変状を検出する検出精度との関係に基づいて決定されてもよい。例えば、平均して変状を検出する精度が95%以上となる割合を閾値として事前に設定するなど種々の方法を採用してよい。
なお、S702において、デフォーカス量が「0」である領域の割合を求める構成としたが、これに限られない、例えば、デフォーカス量が「0」または「1」である領域の割合を求める構成としてもよい。即ち、合焦度が閾値以上である領域を求める構成としてもよい。また、S702において、デフォーカス量が「3」領域の割合を求め、S703において、その割合が閾値未満である場合に、S704に処理を進め、その割合が閾値を超える場合に、S705に処理を進める構成としてもよい。また、S702において、デフォーカス量が「0」である領域の第1の割合と、デフォーカス量が「3」領域の第2の割合を求める構成としてもよい。そして、この場合において、第1の割合が、第1の閾値を超え、かつ、第2の割合が、第1の閾値と異なる第2の閾値未満である場合にS704に処理を進め、それ以外の場合にS705に処理を進める構成としてもよい。このように、画像の合焦の度合いが種々の所定の条件を満たすか否かを合焦度情報に基づいて判定し、この合焦状態の判定結果に応じて、当該画像を変状検知や合成などの画像処理に用いるべきか否かの判定を行うことができる。また、画像の合焦の度合いが種々の所定の条件を満たすか否かを合焦度情報に基づいて判定し、この合焦状態の判定結果に応じて、当該再撮影が必要か否かの判定に用いる構成としてよい。
続いて、S704では、CPU101が処理対象の撮影画像ファイルを変状検知や合成などの画像処理に用いてもよい、または、再撮影が必要ない(OK)と判定し、テーブル501の判定情報の項目に判定結果を記録し、画質判定処理を終了する。
S705では、CPU101が処理対象の撮影画像ファイルを変状検知や合成などの画像処理に用いるべきではない、または、再撮影が必要である(NG)と判定し、テーブル501の判定情報の項目にその結果を記録し、画質判定処理を終了する。
なお、S205の画質判定処理は、合焦度の情報つまりピント/フォーカスの合い度合を用いる例であったが、他の画像処理の結果を用いて画質を判定しても良い。例えば、周波数解析処理を用いて高周波数成分と低周波成分の配分量からボケ度合を算出し、ボケの強度の所定の閾値により、画質を判定してもよい。即ち、画像の所定の領域ごとにボケの度合いを示すボケ情報を画像の周波数解析処理を用いて生成し、当該生成したボケ情報に基づいて、ボケの度合いが所定の条件を満たす領域の画像における割合を判定する。そして、ボケの度合いが所定の条件を満たすかの判定結果に基づいて、画像を所定の画像処理に用いるべきか否かを示す判定情報を出力する構成としてもよい。
さらにボケ度合いを示す情報と合焦度の情報を組み合わせてもよい。即ち、合焦度の情報を用いた画質の判定結果と、周波数解析処理に基づくボケ度合を用いた画質の判定結果とを用いて撮影画像の撮影範囲で再撮影が必要か否かを判定する構成としてもよい。
また、S201の撮影処理を情報処理装置100が制御して実施する例を示したが、これに限られない。即ち、情報処理装置100は、S201の処理を省略し、S202において撮影画像を取得する際に撮影画像リストなどその後の処理に必要な情報を併せて取得する構成としてもよい。
以上、本実施形態では、情報処理装置100は、構造物を撮影した複数の撮影画像を合成や変状の検知など当該構造物の点検に用いる際に予め撮影画像の画質を判定する。これにより、画質が良好でない画像を特定し、作業者に対し再撮影が必要な候補として提示することができる。また、合成画像における再撮影が必要な撮影画像の場所(位置)が特定されることにより、作業者は特定された撮影位置での撮影を行うことができるため、再撮影における労力が低減される。これにより、合成画像に低画質な画像を含まれることを防ぐことができ、より確実なひび割れなどの変状の検出処理を行うことが可能となる。また、全部の画像に対して再撮影を行うのではなく、問題のある画像のみを対象とするため、短手番ですむ。
なお、S205で画質判定を行った撮影画像ファイルに対して、図8で示すようなデフォーカス値を可視化する可視化情報を生成する構成としてもよい。デフォーカス値を可視化する可視化情報として、例えば、デフォーカス量の大きさに連動した情報を撮影画像に重畳した画像を生成してもよい。また、このように生成した重畳画像を画質判定結果と関連付けて出力する構成としてもよい。重畳する情報については、デフォーカス量が大きくなるに応じて、色の濃度が濃くなったり、彩度の強い色を選択したりしてもよい。例えば、デフォーカス量が「0」の画素に対しては情報を重畳せず、デフォーカス量が「1」の画素に対しては緑色を重畳し、デフォーカス量が「2」の画素に対しては黄色を重畳し、デフォーカス量が「3」の画素に対しては赤色を重畳する構成としてもよい。このように生成した重畳画像を確認し、重畳された情報により、合焦の度合いが可視化されることにより、画質判定がNGとなった理由が分かり、再撮影時へのフィードバックが可能となる。例えば、重畳画像を確認し、撮影面との間に人や鳥などの遮蔽物があった場合や、突風で撮影装置180の合焦距離が撮影時にズレた場合や向きが変わった場合などには、同じ条件で再撮影すれば良い。しかし、そうでない場合、例えば、検査面に段差があり、それにより、ピントが合っていない場合は、撮影装置180の撮影設定の絞り値を変更し、段差の領域も被写体深度内に収まるようにし、再撮影を行う。このように、合焦の度合いが可視化された画像を生成することで、ピントが合っていない理由が容易に判断でき、再撮影を適切に実施することが可能となる。
また、本実施形態では、撮影制御装置150が雲台装置の例であったが、自律飛行が可能なドローン(無人飛行機)に撮影装置180を搭載した例であっても良く、撮影位置を変更しながら撮影を行ってもよい。ドローン装置を使用する場合は、搭載されたGNSS(Global Navigation Satellite System)装置や高度計、電子コンパスなどを用いて、作業者が指定した撮影位置と方向を計測して指定された位置での撮影を行う。また、橋梁などの床板部など、GNSS装置が使用できない場所で撮影を行う場合には、地面に設置された基地局と通信し、ドローン装置との方向と距離を相対的に計測することで、撮影位置を計測する。なお、撮影位置の計測に関する技術に関しては、本発明の主眼でないため、ここでは説明を省略する。
また、本実施形態に係るシステムを、情報処理装置100と撮影制御装置150と撮影装置180は異なる独立した装置として構成した例であるが、それぞれの装置の機能を有する単一の装置であってもよい。例えば、撮影機能を有する一体型のドローン装置であってもよい。また、さらに多くの装置により分散処理する構成としてもよい。
<実施形態1の変形例1>
実施形態1では、特定された再撮影対象の画像が、図9に示すように合成画像上に表示され、作業者が表示された情報を基に再撮影が可能な構成を説明した。実施形態1の変形例1では、再撮影対象の画像の位置を画面上で表示する代わりに、画質判定の結果に基づいて、撮影画像を異なるディレクトリに移動することより、再撮影となる画像をユーザに提示する処理の例を説明する。
図10は、実施形態1の変形例1における撮影処理の流れを表すフローであり、実施形態1のメインフローのS201である図3のフローを置き換えたものであり、同じステップ番号を付けた処理については図3と同様の処理の為に説明を省略する。
図10において、情報処理装置100は、撮影処理として、まず、上述したS301~S303の処理を実施する。続いて、S1001において、CPU101が撮影された撮影画像ファイルのあるディレクトリにおいて、OKという名称のディレクトリとNGという名称のディレクトリを作成する。
続いて、変形例1における画質判定処理について説明する。図11は、実施形態1の変形例1における画質判定処理の流れを表すフローチャートである。上述した図7のフローチャートにおいて示した処理と同様の処理については、同じステップ番号を付しており、その詳細については省略する。
図10において、S701~S705の処理は上述の説明と同様であり、S704の処理の後にS1101、S705の処理の後にS1102が付加された点が図7のフローチャートと異なる。
S704の処理の後に実施するS1101において、CPU101がS704でOKと判定された撮影画像ファイルを、S1001で作成したOKディレクトリへ移動する。
S705の処理の後に実施するS1102において、CPU101がS705でNGと判定された撮影画像ファイルを、S1001で作成したNGディレクトリへ移動する。
以上が、実施形態1の変形例1における画質判定処理(S205)のフローチャートである。変形例1によれば、NGディレクトリにおける撮影画像ファイルの有無により、再撮影対象ファイルを把握することができる。また、S203の撮影条件判定処理において、撮影条件を満たさないと判定された撮影画像ファイルはディレクトリを移動しないため、再撮影対象と判断することができる。なお、撮影条件を満たさないと判定された撮影画像ファイルに対しても、再撮影対象ファイルとしてNGディレクトリに移動する構成としてもよい。また、S1001で、撮影条件NGディレクトリを別途作成し、撮影条件を満たさないと判定された撮影画像ファイルをそのディレクトリに移動する構成としてもよい。
また、ディレクトリに分類することにより、撮影画像ファイルが全てOKディレクリに移動していた場合には、全ての撮影画像の画質が良好であるために、直ちに合成画像を利用した点検作業を開始することができる。
また、実施形態1の変形例1のディレクトリへ分類する構成にすることにより、画質判定の判定結果ごとに、画像をまとめて確認することが可能になる。作業者が直ちに、再撮影が必要となったと判定され画像の確認や、実施形態1で記載した合焦度情報を可視化した重畳画像ファイルを視認することで、画質不良の確認を行うことができる。
なお、撮影画像ファイルをディレクトリに移動、分類することで、NGと判断された撮影画像フィルが分別され、OKと判断されたファイルだけで構成されるため、作業者の画像分類作業が不要になる。また、再撮影を行った場合も、合成に必要な画像が全てOKディレクトリにそろっており、再撮影でOKと判定された画像を追加することで、即座に後段の合成画像生成や、合成画像を用いた点検を行えることができる。
このように変形例1によれば、情報処理装置100は、画質判定処理の結果に基づいて、画像を示すファイルを所定のディレクトリに格納するための情報を出力する。そして、画像を示すファイルの格納先により、再撮影の必要性を示すことが可能となる。
<実施形態1の変形例2>
実施形態1では、再撮影対象の画像のリストの管理をRAM103上もしくはHDD104上で行っていた。実施形態1の変形例2では、テーブル501の撮影画像リストをメモリ上で伝送する方法でなく、ファイル形式で出力する処理の例を説明する。
変形例2においては、実施形態1における図2のメインフローのS201の撮影処理である、図3のS302において、撮影画像リストであるテーブル501を作成する際の処理が変更になる。テーブル501を作成した際に、項目をカンマで区切るCSV形式でリストファイルを作成し、入力対象の撮影画像群のあるディレクトリに保存する構成とする。なお、作成するリストファイルの撮影画像(ファイル名)と判定情報の項目は空欄で生成され、S303で撮影画像ファイルが生成された時に追記され、S203の撮影条件判定やS205の画質判定の結果が出た時に追記される構成とする。
このような構成とすることで、再撮影対象となる撮影画像ファイルの一覧をリストファイルとして扱うことにより、撮影画像ファイルの判定結果を一覧することが可能となる。また、リストファイルとすることにより、他の装置や他のシステム、他のアプリケーションで利用することが可能となる。
<実施形態1の変形例3>
実施形態1および実施形態1の変形例1、実施形態1の変形例2では、作業者が再撮影対象かどうかの判定結果を確認(視認)することにより、再撮影を行っていた。実施形態1の変形例3では、判定結果と再撮影が必要な必要が撮影位置の情報を用いて、撮影補助装置150を制御し、再撮影を実行する例を説明する。
図12は再撮影処理の流れを表すフローである。図12の再撮影処理は、図2のS208の再撮影特定処理が置き変わったものである。また、図2のS208の後に再撮影処理を実施する構成としてもよい。
S1201では、CPU101がテーブル501から判定情報がOKではない、即ち、再撮影が必要であることを表すNGである撮影画像IDを抽出する。
S1202では、CPU101がS1201で抽出した撮影画像IDの撮影位置の情報を取得する。
S1203では、図3のS303と同様に、CPU101がS1202で取得した撮影位置の情報を用いて、指定された撮影補助装置150を制御し、撮影を実施する処理である。以上が図12を用いた再撮影処理のフローチャートである。
実施形態1の変形例3では、再撮影対象となった撮影画像IDから撮影位置を特定し、特定した撮影位置の情報を用いて雲台装置である撮影補助装置150を制御し、再撮影を行う。これにより、作業者が再撮影のための操作を行うことなく、再撮影を実施することが可能になる。
なお、図12の再撮影処理で撮影した撮影画像ファイルを、図2のS202の入力対象として入力し、図2のフローチャートを順に実行することにより、再撮影した撮影画像ファイルに対して、再々撮影が必要かどうかがを判断してもよい。
また、S208において、直ちに再撮影を実行するのではなく、S1203において図13で示す再撮影を実行するかどうかを確認する画面を表示し、作業者の選択指示に基づき、再撮影処理を実行する構成としてもよい。これにより自動的に再撮影を実行するだけでなく、再撮影の原因となった撮影画像ファイルを確認し、画質判定でNGとなった撮影画像について、その原因を確認することで、再撮影時における再度のNG判定を回避することができる。
<実施形態1の変形例4>
実施形態1および実施形態1の変形例1、変形例2、変形例3では、画質判定処理において合焦度情報を用いて判定する例であった。また、前述の通り、合焦度情報の代わりに周波数解析処理に基づくボケ度合を用いた画質判定を行ってもよく、合焦度の情報を用いた画質の判定結果と、周波数解析処理に基づくボケ度合を用いた画質の判定結果を組み合わせてもよい。本変形例においては、合焦度情報による判定に加え、撮影解像度を示す撮影解像度情報を用いた判定と周波数解析結果を示す周波数解析情報を用いた判定を行う例などを説明する。
撮影解像度は、撮影画像における1画素あたりの撮影面の大きさであり、単位はmm/画素で表す。撮影解像度は、撮像センサーの大きさと撮影面の画像サイズと撮影面との距離情報から算出することができる。撮影解像度の値が大きくなると、解像度が粗くなり、ひび割れなどの変状が確認しにくくなる。
周波数解析情報は、画像に対し周波数解析処理を行い、得られる周波数成分の平均値を算出したものである。算出した平均値が小さい場合は、高周波成分つまりエッジが立っている部分が少ないため、ボケ・ブレが多い(ボケ・ブレの度合いが強い)ということになる。合焦度判定のボケ判定に加え、周波数解析により、ブレの判定が行うことができ、ブレの影響により、ひび割れなどの変状が確認しにくい画像を除外することができる。
図14は画質判定処理の流れを表すフローである。図14の画質判定処理は、図7の画質判定処理が置き換わったものである。
S1401では、CPU101が撮影画像に含まれる撮影解像度情報を取得する。より具体的には、CPU101が撮影画像の画像サイズ、撮像センサーの大きさ、撮影面との距離から撮影解像度を算出する。撮影面との距離は、被写体の測距点の位置でフォーカスを合わせる際に、被写体までの距離を取得することで得られる。
S1402では、CPU101がS1401で取得した撮影解像度が所定の閾値以下かどうかを判定する。閾値以下の場合(Yes)はS1403に移行し、閾値より大の場合(No)はS705に移行する。これにより、点検画像の品質として、求められている撮影解像度かどうかを判定することができる。ここで撮影解像度が閾値より大、つまり被写体が荒く撮影されている場合には、この後の判定処理を行うまでもなく、NGと判断する。また、撮影解像度判定の閾値の設定に関しては、後述する図16の設定画面1601で説明する。
S701、S702、S703の処理は、図7で説明した処理と同様の処理であるため、説明を省略する。
S1403では、CPU101が撮影解像度判定以後の処理を継続するかどうかを判定する。継続する場合(Yes)はS701に移行し、終了する場合はS704に移行する。撮影解像度判定以後の処理を継続するかどうかの設定は後述する図16の設定画面1601で説明する。
S1404では、CPU101が合焦度判定処理以後の処理を継続するかどうかを判定する。継続する場合(Yes)はS1405に移行し、終了する場合は、S1704に移行する。S1403と同様に継続するかどうかの設定は後述する図16の設定画面1601で説明する。
S1405では、CPU101が撮影画像に対し、周波数解析処理を行い、周波数成分値を取得する。周波数解析処理の一例としてウェーブレット変換を用いて、水平方向の周波数成分および垂直方向の周波数成分を算出する。得られた周波数成分の平均値を算出し、この算出値を周波数成分値とする。
S1406では、CPU101がS1403で算出した周波数成分値が、所定の閾値未満かどうかを判定する。閾値未満の場合(Yes)はS704に移行し、閾値以上の場合(No)はS705に移行する。これにより周波数成分値が閾値よりも大きい場合には高周波成分が多く、エッジを含む領域が多いと判断する。周波数成分値が閾値よりも小さい場合は低周波成分が多くなり、ボケやブレの影響が大きいと判断する。合焦度判定後にブレ判定処理を行うことで、ピントが合っていると判定されても、ブレが生じている撮影状況においても、点検画像として適しているかを判定することができる。ピントが合っているが、ブレが発生する一例として、ドローンのような飛行体に搭載して撮影する状況があり、撮影時に風の影響などによりドローンが揺れることが想定される。ブレ判定の閾値に関しては、後述する図16の設定画面1601で説明する。
S1407では、CPU101がS704もしくはS705において判定した結果の情報を用いて、判定結果を重畳した画像を生成する。生成する画像について、図15を用いて説明する。
結果画像1500は、デフォーカス領域1501、デフォーカス領域1502とデフォーカス領域1503、額縁領域1511で構成されている。額縁領域1511は、撮影解像度判定結果領域1512、合焦度判定結果領域1513、ブレ判定結果領域1514で構成されている。デフォーカス領域1501、1502、1503は、図8(b)で示すデフォーカスマップをデフォーカス量毎に分けた領域であり、デフォーカス量が0の領域をデフォーカス領域1501として表している。同様にデフォーカス量が1の領域をデフォーカス領域1502、デフォーカス量が2の領域をデフォーカス領域1503とし、同じデフォーカス量の領域は同じデフォーカス領域として扱う。デフォーカス領域毎に着色したレイヤーを生成し、撮影画像に着色レイヤーを重畳する。レイヤーに着色する色は、例えば、警告色を採用し、デフォーカス量が所定値よりも小さい場合には安全性が高い色として青や緑、デフォーカス量が所定値よりも大きい場合には警戒性の高い色として黄色や赤を採用しても良い。これにより、デフォーカス量が大きく、再撮影が必要な領域を視認しやすくなる。
額縁領域1511には、各判定結果を表す印として、撮影解像度判定領域(撮影解像度判定アイコン)1512および合焦度判定領域(合焦度判定アイコン)1513、ブレ判定領域(ブレ判定アイコン)1514が表示されている。結果画像1500では、撮影解像度判定および合焦度判定でOKとなり、ブレ判定でNGとなった例を示しており、結果により表現を変えている。アイコン表現の例としては、OKと判定された撮影解像度判定領域1512と合焦度判定領域1513は白抜き黒文字で表現し、NGと判定されたブレ判定領域1514は黒抜き白文字で表現している。これにより、判定の結果を視認することができるだけでなく、どの段階でエラーになったか確認しやすくなる。また、アイコンの有無により、どの判定方法が実行されなかったかも確認することができるようにしてもよい。例えば、図14の画質判定フローのS1402でCPU101がS1401で取得した撮影解像度が所定の閾値以下と判断した場合について説明する。この場合、結果画像1500の額縁領域1511には撮影解像度判定領域1512のみ表示し、合焦度判定領域1513とブレ判定領域1514は表示しないようにしてもよい。
また、額縁領域1511においても判定結果に基づき、各アイコンの色を変更しても良い。例えば、撮影解像度判定には赤、合焦度判定には青、ブレ判定には黄を割り当てておき、ある画像が合焦度判定でNGとなった場合には、額縁領域を青色で塗りつぶした画像を作成する。これにより、サムネイル画像のような小さい画像サイズにおいても、判定領域のアイコンでは判別しにくい判定結果を額縁領域の着色により判別することができる。以上が図14に示す画質判定処理のフローチャートに関する説明である。
図16は、本変形例におけるパラメータを設定するUI画面の一例である設定画面1601を示す図である。設定画面1601は、判定パターン選択部1611と、重畳画像保存条件選択部1630で構成されている。判定パターン選択部1611は、撮影解像度判定部1612、合焦度判定部1613、ブレ判定部1614の3つに区分けされている。各々の判定部は、判定名称ラベル1615、1616、1617、判定シンボル1618、1619、1620をそれぞれ持つ。また、図14の画質判定フローで用いる判定閾値等の数値の入力領域1621~1626が、それらを使用する判定処理に対応して、1612~1614内にそれぞれ配置されている。より詳細には、撮影解像度判定部1612には、撮影解像度判定名称ラベル1615、撮影解像度判定シンボル1618、撮影解像度判定閾値入力領域1621が配置されている。合焦度判定部1613には、合焦度判定名称ラベル1616、合焦度判定シンボル1619、合焦度判定閾値入力領域1622、合焦度判定割合入力領域1623、合焦度判定領域入力領域1624が配置されている。ブレ判定部1614には、ブレ判定名称ラベル1617、ブレ判定シンボル1620、ブレ判定閾値入力領域1625、ブレ判定領域入力領域1626が配置されている。この配置により、各数値がどの判定処理に関するかを、ユーザは直観的に把握することが可能となる。
さらに、図15のアイコン1512、1513、1514の形状を、判定シンボル1618、1619、1620とそれぞれ一致させることにより、ユーザが、この画面で行った判定の設定と結果の関係を結果重畳画像上で直観的に把握することが可能となる。もちろんこれらアイコンと判定シンボルは別々のデザインであってもよい。設定画面1601はPCやスマートフォン、タブレット端末等に表示される画面であり、ユーザはマウス操作やタッチ操作、キーボード操作等によって(操作部106によって)、後述のチェックボックスやラジオボタンのON/OFF操作や数値入力を行うことができる。
判定名称ラベルのうち、合焦度判定名称ラベル1616は合焦度判定チェックボックス1616aと合焦度判定名称部1616bからなる。ブレ判定名称ラベル1617はブレ判定チェックボックス1617aとブレ判定名称部1617bからなる。これらのチェックボックスのON/OFF操作によって、常に実施する撮影解像度判定の結果がOKとなった場合に、対応する判定処理をさらに実施するかを指定することができる。例えば、図16では、合焦度判定チェックボックス1616aがON、ブレ判定チェックボックス1617aがOFFになっており、撮影解像度判定の結果がOKの場合に、引き続き合焦度判定が実施され、ブレ判定は実施されないことを示している。
また、図16では、合焦度判定チェックボックス1616aがONとなっているため、入力領域1622~1624は入力可能な状態となっている。加えて、ブレ判定チェックボックス1617aがOFFとなっているため、入力領域1625、1626はグレーアウトして入力不可の状態になっていることを示している。これにより、ユーザは実行される判定に関わる数値の入力だけに注力することができる。
CPU101は、合焦度判定チェックボックス1616aおよびブレ判定チェックボックス1617aの状態に基づいて、S1403およびS1404で処理を継続するかどうかを判断する。これにより、前段となる判定がOKと判定された場合であっても、後段の処理が必要でない状況において、後段の処理を省くことができる。例えば、ブレが生じやすいドローンを用いた撮影形態の時にはブレ判定チェックボックス1617aをONにしてブレ判定を行い、ブレが生じにくい三脚を用いた撮影形態の場合にはブレ判定チェックボックス1617aをOFFにしてブレ判定を行わないようにすることができる。また、撮影解像度判定のみを行う場合は、合焦度判定チェックボックス1616aおよびブレ判定チェックボックス1617aをOFFにすることで、撮影解像度を知り、点検画像として合致した画像を撮影できているかの確認ができる。大量の画像に対し判定処理を行う場合に、用途や目的に応じて処理を打ち切ることができ、上述のような処理時間の短縮といった効果が期待できる。
撮影解像度判定閾値入力領域(第1の設定手段)1621に入力される値は、S1402における閾値を表している。合焦度判定閾値入力領域1622に入力される値は、S702における所定の値を表している。合焦度判定割合入力領域(第2の設定手段)1623に入力される値は、S703における割合の閾値を表している。合焦度判定領域入力領域(第2の設定手段)1624に入力される値は、S702において割合を算出する領域を設定するための項目であり、判定処理対象画像の画像全体の面積を100%とした時の判定対象とする中心領域の面積のパーセントを表している。判定対象とする中心領域を小さくする(面積を狭くする)ことで、算出処理する量が減り、速度向上が見込まれる。さらに合焦度判定領域入力領域(第2の設定手段)1624に入力される値で判定対象とする領域を100%未満(例えば50%等)に設定することで、スティッチ合成画像を作成する場合に、合成画像に適用される画像中央部のみが判定対象となる。中央部のみ判定対象となることで、のりしろとなる画像の外周部は判定の対象から外れることになる。これにより外周部のピントが外れていてもスティッチ合成に使用できるということが判断できる。
ブレ判定閾値入力領域(第3の設定手段)1625に入力される値は、S1406における閾値を表している。ブレ判定領域入力領域(第3の設定手段)1626に入力される値は、S1405において周波数成分値を算出する領域を設定するための項目であり、算出処理対象画像の画像全体の面積を100%とした時の算出対象とする中心領域の面積のパーセントを表している。合焦度判定領域との同様の効果の他に、ブレ判定においては、点検対象の構造物が橋脚のような場合に、構造物の裏側に植物などが映り込みことで生じる高周波成分の混入の抑制効果も得られる。
本変形例では、S205の画質判定処理を図14で示すフローチャートに置き換え、合焦度判定の前に撮影解像度判定、合焦度判定の後にブレ判定処理を行う。撮影解像度判定により、点検画像の撮影として適しているかどうかを判定することができ、処理時間の短縮が可能となり、多量の画像の判定を短時間で行うことができる。また、ブレ判定を行うことで、ピントは合っていると判定されてもブレが生じるような、ドローンを用いた撮影の場合にそのブレの影響を判定することができる。また、各判定処理でNGとなった場合や、判定処理の実行の有無を選択することにより、撮影環境に応じて、処理時間の短縮を図ることができる。
なお、本変形例では、図14で示すように撮影解像度判定、合焦度判定、ブレ判定の順で処理を行う例であったが、どのような順序で行っても良い。ただし、図14の順序で行うことにより、次のような効果が得られる。撮影解像度判定を先頭で行うことで、その画像の撮影解像度が点検に向いているかどうかで処理を継続するか終了するかを判断できる。また、ブレ判定処理を最後に行うことにより、ピントが合っていてもブレがある画像の判定が可能である。また、最後段に処理時間のかかる周波数解析処理があることで、前段の判定結果により周波数解析処理の実行回数を減らすことができ、全体の処理時間を短縮することができる。
図16の画面においては、撮影解像度判定部1612、合焦度判定部1613、ブレ判定部1614の並び順により、ユーザはこれら3つの判定処理が設定画面1601上での並び順の通りに行われることを直観的に把握することが可能になる。
また、撮影解像度判定部1612には、合焦度判定チェックボックス1616aやブレ判定チェックボックス1617aのようなチェックボックスは設けられていない。これは、点検画像の品質として求められている撮影解像度でない場合、つまり被写体が荒く撮影されている場合には、この後の判定処理を行うまでもないためである。
また、合焦度判定チェックボックス(第1の選択手段)1616aとブレ判定チェックボックス(第2の選択手段)1617aは、両者がOFFの状態でブレ判定チェックボックス1617aをONにすると合焦度判定チェックボックス1616aもONとなり、両方がONの状態で合焦度判定チェックボックス1616aをOFFにするとブレ判定チェックボックス1617aもOFFになるように連動しても良い。
これにより、ピントが合っていることを判定してから、ブレの判定をおこなうということを保証することが可能となる。このような設定を採用している理由は、前述のように、合焦度判定後にブレ判定処理を行うことで、ピントが合っていると判定されても、ブレが生じている撮影状況においても、点検画像として適しているかを判定することができるようにするためである。
判定結果重畳画像の生成に関して、判定結果がOK・NG問わず作成する例となっているが、NGと判定された対象のみ重畳画像を生成しても良く、判定結果のリストを作成することで、重畳画像を生成せずに、処理時間の短縮を図っても良い。図16の重畳画像保存条件選択部1630は、ラジオボタンによるそれらの選択の一例である。図16では「NG」のみが選択されているが、ユーザの操作に応じて「保存しない」あるいは「全部保存」が選択される場合もある。
重畳画像保存条件選択部1630のうち「保存しない」が選択されると、図14に示す判定処理が行われ、OKと判定された画像は所定のフォルダに格納され、NGと判定された画像は別のフォルダに格納されるが、図15に示すような画質判定結果を重畳した画像は作成されない。「NG」のみが選択されると、図14に示す判定処理が行われ、OKと判定された画像は所定のフォルダに格納され、NGと判定された画像は別のフォルダに格納される。加えて、NGと判定された画像が格納されたフォルダには図15に示すような画質判定結果を重畳した画像も格納される。「全部保存」が選択されると、図14に示す判定処理が行われ、OKと判定された画像は所定のフォルダに格納され、NGと判定された画像は別のフォルダに格納される。加えて、OKと判定された画像が格納されたフォルダには図15に示すような画質判定結果を重畳した画像も格納され、NGと判定された画像が格納されたフォルダには図15に示すような画質判定結果を重畳した画像も格納される。このような設定を採用することで、ユーザの要望に合わせた必要な画像のみを生成しつつ、処理時間の短縮も図ることができるようになる。
また、S1407において、判定結果重畳画像の生成に関して、判定結果を示すアイコンを結果画像に重畳することで、どの処理において、判定がNGとなったのかが分かる。さらに、判定処理を行わなかった処理にはアイコンが表示されないため、どこまでの処理を実行したのかを分かることができる。
また、図17を用いて、結果重畳画像の別の表示形態の例を説明する。ただし、図15と同じ附番については説明を省略し、差分のあるところを説明する。
図17(a)の結果画像1700は、撮影解像度判定、合焦度判定、ブレ判定を行った結果、ブレ判定処理においてNGと判定された例である。左側額縁領域1711には、撮影解像度情報領域1721、撮影解像度判定領域1731、合焦度判定領域1732、ブレ判定領域1733が表示され、右側額縁領域1712にはNG判定領域1741が表示されている。撮影解像度情報領域1721は、S1401で取得した撮影解像度情報の値(図17(a)においては0.5)が表示されている。
図17(a)では前述のように3つの判定が行われたので、撮影解像度判定領域1731、合焦度判定領域1732、ブレ判定領域1733が表示されている。撮影解像度判定領域1731、合焦度判定領域1732、ブレ判定領域1733はそれぞれ別の色で表示されており、本変形例では、撮影解像度判定領域1731には赤、合焦度判定領域1732には青、ブレ判定領域1733には黄を割り当てている。
右側額縁領域1712のNG判定領域1741には、NGとなった判定処理に対応する判定領域と同じ色が表示される。図17(a)ではブレ判定処理がNGであるため、NG判定領域1741にはブレ判定領域1733と同じ色が表示される。
図17(b)の結果画像1750は、撮影解像度判定、合焦度判定を行った結果、合焦度判定処理においてNGとなり、ブレ判定は行われなかった場合の例である。図17(b)において、左側額縁領域1711には、撮影解像度判定領域1731と合焦度判定領域1732が表示され、ブレ判定領域1733は表示されていない。これは前述のように撮影解像度判定、合焦度判定を行った結果、合焦度判定処理においてNGとなり、ブレ判定は行われなかったためである。右側額縁領域1712のNG判定領域1741には、NG判定となった合焦度判定に対応する合焦度判定領域1732と同じ色が表示される。
図17(c)の結果画像1770は、撮影解像度判定、合焦度判定、ブレ判定を行った結果、いずれの判定でもNGが出なかった場合の例である。図17(c)において、左側額縁領域1711には、撮影解像度判定領域1731、合焦度判定領域1732、ブレ判定領域1732が表示され、右側額縁領域1712には、NG判定領域1741が表示されていない。
撮影解像度判定でNGとなった場合には、左側額縁領域1711には撮影解像度判定領域1731のみ表示され、右側額縁領域1712のNG判定領域1741には撮影解像度判定領域1731と同じ色が表示される。また、判定パターン選択部1611で合焦度判定チェックボックス1616aのみがONになり、撮影解像度判定も合焦度判定もNGにならなかった場合、左側額縁領域1711には、撮影解像度判定領域1731と合焦度判定領域1732が表示され、右側額縁領域1712のNG判定領域1741の領域には何も表示されない。
このようなUIにより、撮影解像度情報を結果画像で確認することができる。また、撮影解像度判定、合焦度判定、ブレ判定の3つの判定処理の内、実際に実行した処理を確認でき、NGとなった処理がどれであるかを直感的に確認することができる。言い換えれば、撮影解像度判定、合焦度判定、ブレ判定のうち実行した判定がいずれかなのかと、実行した判定のうち所定の条件を満たさないと判定されたものを可視化する可視化情報を生成することができる。
なお、撮影解像度判定領域1731、合焦度判定領域1732、ブレ判定領域1733の色を、図16の撮影解像度判定シンボル1618、合焦度判定シンボル1619、ブレ判定シンボル1620の判定シンボルの色と対応させることにより、ユーザが設定した判定と結果の関係をこの結果重畳画像上でも直観的に把握することも可能となる。
また、本変形例では、合焦度判定、ブレ判定、撮影解像度判定の機能を有する判定手段を備え、判定モードを選択可能な情報処理装置の例を説明した。しかしながら、判定手段はこれら機能のうちいずれかのみあるいは2つ機能のみを備える構成であってもよい。例えば、判定手段は上記機能のうち撮影解像度判定のみを行える構成であってもいいし、合焦度判定と撮影解像度判定のみを行える構成であってもいい。取得手段の構成は判定手段の構成に合わせればよい。このような構成であっても情報処理装置は、撮影された画像の画質に基づいて、当該画像を所定の画像処理に用いるべきかを判定することができる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 情報処理装置
150 撮影制御装置
180 撮影装置
400 撮影領域
411 矢印
450 合成画像
801 外枠
802 数値
803 線
821 外枠
822 数値
823 線
921~922 再撮影対象画像

Claims (33)

  1. 画像の所定の領域ごとの合焦の度合いを示す合焦度情報、前記画像の周波数解析結果を示す周波数解析情報、撮影解像度を示す撮影解像度情報のうち少なくとも一つを取得することが可能な取得手段と、
    前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能と、前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能と、前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定する機能のうち少なくとも一つを有する判定手段と、
    前記判定手段による判定結果に基づいて、前記画像を所定の画像処理に用いるべきではないことを特定するための情報を出力する出力手段と、
    を有することを特徴とする情報処理装置。
  2. 前記取得手段は、前記合焦度情報を取得することが可能であり、
    前記判定手段は、前記合焦度情報に基づいて、合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能を有することを特徴とする請求項1に記載の情報処理装置。
  3. 前記判定手段は、合焦の度合いが第1の閾値を超える領域の割合を判定することを特徴とする請求項2に記載の情報処理装置。
  4. 前記判定手段は、前記画像における合焦している領域の割合を判定することを特徴とする請求項2または3に記載の情報処理装置。
  5. 前記合焦度情報は、前記画像の画素ごとのデフォーカス量を示す情報であることを特徴とする請求項2から4のいずれか1項に記載の情報処理装置。
  6. 前記出力手段は、前記判定手段により判定された割合が第2の閾値未満である場合、前記画像を所定の画像処理に用いるべきではないことを示す情報を出力することを特徴とする請求項2から5のいずれか1項に記載の情報処理装置。
  7. 前記出力手段は、前記判定手段により判定された割合が第2の閾値を超える場合、前記画像を所定の画像処理に用いるべきであることを示す情報を出力することを特徴とする請求項2から6のいずれか1項に記載の情報処理装置。
  8. 前記合焦度情報に基づいて、前記画像の合焦の度合いを可視化する可視化情報を生成する手段を更に有することを特徴とする請求項2から7のいずれか1項に記載の情報処理装置。
  9. 前記出力手段は、前記画像を前記所定の画像処理に用いるべきではないことを特定するための情報を前記可視化情報と関連付けて出力することを特徴とする請求項8に記載の情報処理装置。
  10. 前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能と、前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能と、前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定する機能のうち実行した機能がいずれかなのかと、前記実行した機能のうち所定の条件を満たさないと判定された機能を可視化する可視化情報を生成する手段を更に有することを特徴とする請求項8または9に記載の情報処理装置。
  11. 前記取得手段は、前記周波数解析情報を取得することが可能であり、
    前記判定手段は、前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能を有することを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。
  12. 前記取得手段は、前記撮影解像度情報を取得することが可能であり、
    前記判定手段は、前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定する機能を有することを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。
  13. 前記取得手段は、前記合焦度情報と前記周波数解析情報と前記撮影解像度情報を取得することが可能であり、
    前記判定手段は、前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能と、前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能と、前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定する機能を有することを特徴とする請求項1から12のいずれか1項に記載の情報処理装置。
  14. 前記判定手段は、
    前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定した結果、前記撮影解像度が所定の条件を満たす場合に、前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定し、
    前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定した後で、前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定した結果、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合が所定の条件を満たす場合に、前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定することを特徴とする請求項13に記載の情報処理装置。
  15. 前記判定手段による判定の結果を示す画像を表示するための情報を生成する手段を更に有することを特徴とする請求項13または14に記載の情報処理装置。
  16. 前記画像を表示するための情報を生成する手段は、
    前記判定手段が前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定した場合に、前記判定手段が前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定したことを示す画像を表示するための情報を生成し、
    前記判定手段が前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定した場合に、前記判定手段が前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定したことを示す画像を表示するための情報を生成し、
    前記判定手段が前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定した場合に、前記判定手段が前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定したことを示す画像を表示するための情報を生成することを特徴とする請求項15に記載の情報処理装置。
  17. 前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能と、前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能と、前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定する機能のうち、前記判定手段が実行する機能を選択する選択手段を更に有し、
    前記判定手段は、前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能と、前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能と、前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定する機能のうち、前記選択手段によって選択された機能を実行することを特徴とする請求項13から16のいずれか1項に記載の情報処理装置。
  18. 前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定する機能における前記所定の条件を設定するための第1の設定手段を更に有することを特徴とする請求項13から17のいずれか1項に記載の情報処理装置。
  19. 前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能における前記所定の条件を設定するための第2の設定手段を更に有することを特徴とする請求項13から18のいずれか1項に記載の情報処理装置。
  20. 前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能における前記所定の条件を設定するための第3の設定手段を更に有することを特徴とする請求項13から19のいずれか1項に記載の情報処理装置。
  21. 前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能を実行するかを選択するための第1の選択手段を更に有することを特徴とする請求項13から20のいずれか1項に記載の情報処理装置。
  22. 前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能を実行するかを選択するための第2の選択手段を更に有することを特徴とする請求項21に記載の情報処理装置。
  23. 前記第2の選択手段によって前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能を実行することが選択された場合、前記第1の選択手段は前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能を実行することを選択することを特徴とする請求項22に記載の情報処理装置。
  24. 前記出力手段は、前記判定手段による判定結果に基づいて、前記画像を前記所定の画像処理に用いるべきか否かの判定結果を示す情報を出力することを特徴とする請求項1から23のいずれか1項に記載の情報処理装置。
  25. 前記出力手段は、前記判定手段による判定結果に基づいて、再撮影が必要であることを示す情報を出力することを特徴とする請求項1から24のいずれか1項に記載の情報処理装置。
  26. 前記出力手段は、再撮影が必要であることを示す情報として、前記画像の撮影位置または撮影範囲を示す情報を出力することを特徴とする請求項25に記載の情報処理装置。
  27. 前記画像は、構造物を撮影した複数の画像のうちのいずれかであり、
    前記出力手段は、前記判定手段による判定結果に基づいて、前記複数の画像を合成した合成画像において、前記画像の撮影範囲を強調表示するための情報を出力することを特徴とする請求項1から26のいずれか1項に記載の情報処理装置。
  28. 前記出力手段は、前記判定手段による判定結果に基づいて、前記画像を示すファイルを所定のディレクトリに格納するための情報を出力することを特徴とする請求項1から27のいずれか1項に記載の情報処理装置。
  29. 前記所定のディレクトリの名称は、前記画像を前記所定の画像処理に用いるべきではないことを特定するための名称であることを特徴とする請求項28に記載の情報処理装置。
  30. 前記判定手段による判定結果に基づいて、前記画像の撮影範囲を撮影装置に撮影させるための制御を行う制御手段をさらに有することを特徴とする請求項1から29のいずれか1項に記載の情報処理装置。
  31. 前記所定の画像処理は、合成処理または撮影対象に生じた変状を検出する処理であることを特徴とする請求項1から30のいずれか1項に記載の情報処理装置。
  32. 画像の所定の領域ごとの合焦の度合いを示す合焦度情報、前記画像の周波数解析結果を示す周波数解析情報、撮影解像度を示す撮影解像度情報のうち少なくとも一つを取得し、
    前記合焦度情報に基づいて、前記合焦の度合いが所定の条件を満たす領域の前記画像における割合を判定する機能と、前記周波数解析情報に基づいて、前記周波数解析結果が所定の条件を満たすかどうかを判定する機能と、前記撮影解像度情報に基づいて、前記撮影解像度が所定の条件を満たすかどうかを判定する機能のうち少なくとも一つを実行し、
    当該判定の結果に基づいて、前記画像を所定の画像処理に用いるべきではないことを特定するための情報を出力する
    ことを特徴とする情報処理方法。
  33. 請求項1から31のいずれか1項に記載の情報処理装置としてコンピュータを機能させるためのプログラム。
JP2021154360A 2020-11-06 2021-09-22 情報処理装置、情報処理方法及びプログラム Pending JP2022075510A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21205703.8A EP3996038A1 (en) 2020-11-06 2021-10-29 Information processing apparatus, information processing method, and program
US17/518,066 US20220148149A1 (en) 2020-11-06 2021-11-03 Information processing apparatus, information processing method, and non-transitory computer readable storage medium
CN202111298799.3A CN114449160A (zh) 2020-11-06 2021-11-04 信息处理装置、信息处理方法及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020186062 2020-11-06
JP2020186062 2020-11-06

Publications (1)

Publication Number Publication Date
JP2022075510A true JP2022075510A (ja) 2022-05-18

Family

ID=81605531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021154360A Pending JP2022075510A (ja) 2020-11-06 2021-09-22 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2022075510A (ja)

Similar Documents

Publication Publication Date Title
JP6510247B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
WO2018008370A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6574845B2 (ja) 図面作成装置及び図面作成方法
EP3668077B1 (en) Image processing system, server device, image processing method, and image processing program
JP2011239361A (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
JP2017130146A (ja) 画像管理装置、画像管理方法及びプログラム
JP2010219825A (ja) 三次元計測用画像撮影装置
KR101954684B1 (ko) 수집 영상이미지 비교를 통한 최적의 영상정보 자동 생성시스템
JP2007243509A (ja) 画像処理装置
JP2018205264A (ja) 画像処理装置、画像処理方法および画像処理用プログラム
CN114175019A (zh) 图像显示装置、方法及程序
KR101574636B1 (ko) 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템
JP2011169658A (ja) 撮影位置特定装置および撮影位置特定方法
US11729494B2 (en) Information processing apparatus, control method therefor, and storage medium
JP2007188117A (ja) 崩壊地抽出方法、装置及びプログラム
EP3996038A1 (en) Information processing apparatus, information processing method, and program
JP2005310044A (ja) データ処理装置、データ処理方法、及びデータ処理プログラム
JP2022075510A (ja) 情報処理装置、情報処理方法及びプログラム
JP2020096254A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020010166A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
US11551339B2 (en) Information processing apparatus, information processing method, and storage medium
KR101954711B1 (ko) 라이다 자료와 정사영상을 이용한 건축물의 촬영영상 수정방법
US11915356B2 (en) Semi-automatic 3D scene optimization with user-provided constraints
JP6670918B2 (ja) 生成装置、生成方法及び生成プログラム
US20210390717A1 (en) Object amount calculation apparatus and object amount calculation method

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240909