JP2020096325A - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

情報処理装置、情報処理装置の制御方法及びプログラム Download PDF

Info

Publication number
JP2020096325A
JP2020096325A JP2018234704A JP2018234704A JP2020096325A JP 2020096325 A JP2020096325 A JP 2020096325A JP 2018234704 A JP2018234704 A JP 2018234704A JP 2018234704 A JP2018234704 A JP 2018234704A JP 2020096325 A JP2020096325 A JP 2020096325A
Authority
JP
Japan
Prior art keywords
shooting
image
evaluation value
past
past data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018234704A
Other languages
English (en)
Other versions
JP7311963B2 (ja
Inventor
敦史 野上
Atsushi Nogami
敦史 野上
裕輔 御手洗
Hirosuke Mitarai
裕輔 御手洗
優和 真継
Masakazu Matsugi
優和 真継
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018234704A priority Critical patent/JP7311963B2/ja
Priority to PCT/JP2019/042487 priority patent/WO2020110576A1/ja
Publication of JP2020096325A publication Critical patent/JP2020096325A/ja
Priority to US17/327,892 priority patent/US20210281748A1/en
Application granted granted Critical
Publication of JP7311963B2 publication Critical patent/JP7311963B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ユーザが撮影画像を確認することなく、過去の結果との比較に適した画像の撮影方法を推定するための技術を提供する。【解決手段】撮影範囲におけるターゲットの過去の情報を過去データとして格納する格納手段と、撮影手段により所定の撮影パラメータで撮影された前記撮影範囲の画像から前記ターゲットを検知する検知手段と、前記検知手段による検知結果と前記過去データとに基づいて評価値を取得し、当該評価値に基づいて前記ターゲットの撮影に適した撮影方法を推定する推定手段とを備える。【選択図】 図3

Description

本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関する。
橋梁、ダム、トンネルなどの構造物のコンクリート壁面の点検では、調査技術者がコンクリート壁面に接近し、ひび割れなどの変状を目視で確認することが行われている。このような近接目視と呼ばれる点検作業は作業コストが高いため、近年、コンクリート壁面を撮影した画像から変状を自動的に検出する方法による点検が提案されている。特許文献1では、ウェーブレット変換を用いて、コンクリート壁面画像からひび割れを検知する技術が開示されている。
また、ひび割れの伸展などの経年変化を確認するためには、数年ごとに点検を実施し、過去の点検結果との比較を行う必要がある。ここで、細いひび割れなどの見えづらいひび割れを確認できる画像を撮影するためには、フォーカスや露出などの撮影パラメータを適切に設定する必要がある。しかし、細いひび割れなどは、微妙な撮影パラメータの違いで、自動検知により検知できたり、できなかったりする。従って、微妙な撮影パラメータの調整が必要となり、撮影パラメータ調整が難しい。
これに対して、特許文献2は、撮影パラメータを調整する方法を開示している。特許文献2では、まず、複数の異なる撮影パラメータで複数の画像を撮影し、撮影した複数の画像をディスプレイに表示する。ユーザは、複数の画像の中から、最も好ましいと判断する画像を選択する。この結果、選択された画像を撮影した撮影パラメータが設定される。
特開2014−228357号公報 特許第4534816号公報
しかし、構造物点検では微妙な撮影パラメータ調整が行われるため、構造物点検に特許文献2の方法を適用すると、画像間の変化が小さな複数の画像が表示されることになる。ユーザにとって、変化が小さな画像を比較して、最適な画像を選択することは難しい。さらに、画像は屋外で撮影するため、外光の影響や、利用可能なディスプレイサイズ等の影響で、画像の微妙な差を判断することが難しい。そのため、過去の結果との比較に適した画像の撮影を行うことが難しいという課題がある。
本発明は、上記の課題に鑑みてなされたものであり、ユーザが撮影画像を確認することなく、過去の結果との比較に適した画像の撮影方法を推定するための技術を提供することを目的とする。
上記の目的を達成する本発明に係る情報処理装置は、
撮影範囲におけるターゲットの過去の情報を過去データとして格納する格納手段と、
撮影手段により所定の撮影パラメータで撮影された前記撮影範囲の画像から前記ターゲットを検知する検知手段と、
前記検知手段による検知結果と前記過去データとに基づいて評価値を取得し、当該評価値に基づいて前記ターゲットの撮影に適した撮影方法を推定する推定手段と、
を備えることを特徴とする。
本発明は、上記の課題に鑑みてなされたものであり、ユーザが撮影画像を確認することなく、過去の結果との比較に適した画像の撮影方法を推定するための技術を提供することを目的とする。
一実施形態に係る情報処理装置の構成を示す図である。 点検対象構造物と、その図面、及び撮影範囲について説明する図である。 実施形態1に係る情報処理装置が実施する処理の手順を示すフローチャートである。 複数の撮影パラメータを説明する図である。 過去データ及びターゲットの検知結果について説明する図である。 評価値の概念について説明する図である。 評価値の具体的な算出方法の例を説明する図である。 過去の点検から変化したひび割れを用いた評価値算出について説明する図である。 撮影パラメータの選択、及び撮影パラメータの改善方法の推定を説明する図である。 操作部の表示内容の例を示す図である。 実施形態3に係る複数の撮影範囲を説明する図である。 実施形態5に係る外観検査の一例を説明するための図である。
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
(実施形態1)
実施形態1では、インフラ構造物の画像点検における撮影パラメータ調整を例にして説明を行う。インフラ構造物は、例えば、橋梁、ダム、トンネルなどであり、これらの構造物のコンクリート壁面を撮影して、画像点検のための画像を作成する。実施形態が対象とする画像はこれに限らず、他の構造物や、コンクリート以外の材質表面を対象とした画像であっても良い。例えば、点検対象を道路として、アスファルト表面の画像を撮影して点検画像を作成しても良い。
実施形態1においては、点検対象はコンクリート壁面の変状であるとする。コンクリート壁面の変状には、例えば、ひび割れ、エフロレッセンス、ジャンカ、コールドジョイント、鉄筋露出などがあるが、実施形態1では特にひび割れを点検対象とする例を説明する。
まず、本実施形態の概要について説明する。前提として、コンクリート壁面のひび割れは補修を行わない限り自然に回復することはない。従って、過去の点検結果に記録されているひび割れは、現在のコンクリート壁面でも観測できるはずである。本実施形態では、この前提に基づいて、過去の点検結果のひび割れが観測できるように撮影パラメータを調整する。このようにすることで、点検対象コンクリート壁面を適切に撮影する撮影パラメータを設定することができるようになる。より具体的には、複数の撮影パラメータで撮影した画像のそれぞれにひび割れ検知処理を実施し、各検知結果と過去の点検結果から、各撮影パラメータの評価値を算出する。そして、評価値に基づいて、撮影パラメータの選択や改善方法の推定を行う。以下、この処理の具体的な実施形態について説明する。
<情報処理装置の構成>
図1は本発明の一実施形態に係る情報処理装置100の構成例を示す図である。情報処理装置100は、ネットワークまたは各種記録媒体を介して取得したソフトウェア(プログラム)を、CPU、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機によって実行することで実現できる。なお、計算機については、汎用の計算機を用いても良いし、本発明のソフトウェアに最適に設計されたハードウェアを用いても良い。また、情報処理装置100は、図1のように撮影部101と一体化して、カメラの筐体内に含まれる構成としても良い。或いは、情報処理装置100は、無線または有線により送信された撮影部101で撮影した画像を受信する、撮影部101を含むカメラとは異なる筐体(例えば、ノートPCやタブレット)として構成しても良い。
情報処理装置100は、撮影部101、撮影パラメータ設定部102、ターゲット検知部103、推定部104、操作部105、過去データ格納部106を含んで構成される。撮影部101は、点検対象物を撮影する。撮影パラメータ設定部102は、撮影部101が撮影する際の撮影パラメータを設定する。ターゲット検知部103は、ひび割れ等を点検ターゲットとして検知する。推定部104は、撮影パラメータを改善する方法を推定する。操作部105は、必要な情報をユーザに提示するとともに、さらにユーザからの操作入力を受け付ける。過去データ格納部106は、過去の点検結果を格納するストレージである。
まず、過去データ格納部106についてより詳細に説明する。過去データ格納部106は、図1のように情報処理装置の中に含む構成であっても良いし、遠隔のサーバを過去データ格納部106とする構成であっても良い。過去データ格納部106をサーバで構成する場合には、過去データ格納部106に保存された過去データを、情報処理装置100がネットワークを介して取得できるようにする。
図2は、過去データ格納部106に格納されたデータを説明する図である。図2は、点検対象物である橋梁200の過去データを格納している様子を示している。過去データ格納部106には、橋梁200の図面と関連付けて過去の点検結果が記録されている。例えば、橋梁200のある橋脚201について、その図面202に過去の点検結果としてひび割れ210などの位置と形状が記録されている。実施形態1では、この点検結果は、過去の点検作業時に橋脚201の画像を撮影し、後述するターゲット検知部103の自動検知処理により検知された結果であるものとする。
過去の点検結果は、この実施形態に限らず、例えば、自動検知処理により得られた結果を人間が修正したものであっても良いし、自動検知処理を介さずに人間が近接目視検査により記録した結果であっても良い。情報処理装置100は、点検対象構造物の任意の部分の点検結果を、過去データ記録部106に記録された過去の点検結果から呼び出すことができる。以下、過去の点検結果(実施形態1では、画像中のひび割れの位置、形状)を過去データと呼ぶ。
図2は、さらに、撮影部101で撮影する範囲と呼び出す過去データとの関係を示す。画像による点検では、幅が1mm以下のひび割れを確認するために、コンクリート壁面を高精細に撮影する必要がある。そのため、多くの場合、橋脚の壁面などを一度の撮影で全て撮影することはできず、撮影位置をずらしながら複数回の撮影を行い、画像をつなげて壁面全体の高精細画像を作成する。
図2には、橋脚の図面202において、一度の撮影で撮影できる範囲の例として、撮影範囲220を示している。このように橋脚壁面の部分的な撮影を繰り返し、橋脚201の全体を撮影する。本実施形態では、ある撮影範囲(例えば図2の撮影範囲220)に含まれる過去データを用いて、撮影パラメータの調整を行う。なお、橋脚201の撮影では、図2の撮影範囲220を用いて調整した撮影パラメータで、橋脚201の全体を撮影すればよい。
次に、過去データ格納部106から呼び出す過去データについて説明する。実施形態1では、撮影範囲の過去データは、画像として呼び出すものとする。図2には、撮影範囲220を撮影するときに呼び出す過去データ230を示している。過去データ230は、ひび割れ211を含む画像であり、撮影部101が撮影する画像サイズと同じサイズの画像である。より具体的には、ひび割れが存在する画素に1が記録され、それ以外の画素に0が記録された画像である。過去データ格納部106は、任意の撮影範囲が指定されたときに、このような過去データの画像を生成するものとする。実施形態1の説明では、このように撮影範囲に対応した画像中に、過去の点検結果のひび割れが描画された画像データを、過去データと呼ぶ。
<処理>
続いて、図3のフローチャートを参照して、本実施形態に係る情報処理装置100が実施する処理の手順を説明する。
[ステップS301]
まず、ステップS301では、情報処理装置100は、点検対象構造物の撮影範囲を決定する。撮影範囲の決定方法は、例えば以下のようにして実施する。まず、1つ目の方法は、ユーザが図面から撮影する範囲を指定する方法である。例えば、図2の橋脚201を点検する場合、図面202を操作部105が備える表示部に表示し、ユーザが図面の撮影範囲220を指定する。ここで、ユーザは過去の点検結果のひび割れが含まれる領域を撮影範囲として選択するものとする。もし、ユーザが指定した撮影範囲の過去の点検結果にひび割れが含まれない場合、情報処理装置100は警告をユーザに通知し、撮影範囲の再設定を促すものとする。
ユーザは撮影範囲の指定を行った後に、実際の橋脚201に対する撮影部101の位置・姿勢を調整して、指定した撮影範囲が撮影できるようにする。ここで、ユーザが撮影範囲を選択する操作を補助するために、撮影範囲を決定するために表示した図面に、過去の点検結果のひび割れの位置を示す表示を行うようにしても良い。また、過去データ格納部106に記録されたひび割れにIDなどの情報を付与しておき、ユーザが任意のひび割れを含む領域を容易に検索や選択できるようにしても良い。
例えば、ユーザが撮影範囲に含めたいひび割れのIDを操作部105に入力すると、過去データ格納部106から該当するIDのひび割れが選択される。そして、そのひび割れが含まれる領域が撮影範囲として自動的に設定される。この例では、ひび割れの検索のためにIDを用いる例を示したが、ひび割れの検索方法はこれに限らず、ひび割れの座標などの情報を用いてひび割れを検索するようにしても良い。このようにすることで、ユーザは特定のひび割れを含む撮影範囲を容易に設定できるようになる。
撮影範囲の決定方法の2つ目の方法としては、情報処理装置100が撮影範囲をユーザに推奨する実施形態である。過去の点検結果を用いて撮影パラメータを調整するため、撮影範囲に過去の点検結果が含まれている必要がある。従って、情報処理装置100は、点検対象構造物の過去の点検結果が含まれる撮影範囲を選択し、ユーザに撮影範囲として推奨する。撮影範囲の推奨の表示は、図2のように図面中に撮影範囲220を表示するようにすれば良い。ユーザは、推奨された撮影範囲を確認し、実際の橋脚201に対して撮影部101の位置・姿勢を調整して、推奨された撮影範囲が撮影できるようにする。情報処理装置100が推奨する撮影範囲は、1つの撮影範囲だけでなく、複数の撮影範囲をユーザに示し、ユーザが実際に撮影する撮影範囲を選択できるようにしても良い。
また、過去の点検結果のひび割れに応じて、優先的に推奨する撮影範囲を決定するようにしても良い。例えば、過去の点検結果で、太く重要なひび割れや、構造上、重要な位置に発生しているひび割れを含む領域が、撮影範囲として優先的に推奨されるようにしても良い。一方、過去の点検以降に補修を行ったひび割れは、ひび割れが観測できなくなるため、補修を行ったひび割れを含む範囲を撮影範囲とすることは好ましくない。従って、過去の点検結果とともに補修の実施の情報が記録されている場合、その部分が撮影範囲として選択されないようにする。
また、上記の実施形態では、実際の構造物に対する撮影部101の位置・姿勢をユーザが調整する実施形態を説明したが、撮影部101の位置・姿勢を計測するセンサを用いて、ユーザの調整をサポートするようにしても良い。例えば、ユーザが選択した撮影範囲または情報処理装置100が推奨した撮影範囲に向けて撮影部101の位置・姿勢を合わせる時に、センサで計測した撮影部101の位置・姿勢に基づいて目標撮影範囲を撮影できる位置・姿勢への調整方法をユーザに知らせる。
撮影部101の位置・姿勢を計測するセンサとしては、加速度センサ、ジャイロセンサ、GPSなど様々な手法があるが、どのような手法を用いても良い。また、センサではなく、撮影部101が撮影している画像から、対象構造物のどの部分を撮影しているかを判定することで、撮影部101の位置・姿勢を判定するようにしても良い。これらの撮影部101の位置・姿勢を求める方法は、既存の手法を用いれば良いので、詳細な説明は省略する。
さらに、撮影部101の位置・姿勢を計測する構成を備える場合、撮影部101の位置・姿勢から撮影範囲を決定するようにしても良い。この場合、まず、ユーザが、実際の点検対象構造物に対して撮影部101を向ける。そして、撮影部101の位置・姿勢を計測して、撮影されている点検対象構造物の部分を撮影範囲とする。
さらに、上記の実施形態では、ユーザが撮影部101を操作して、撮影部101の位置・姿勢を決定する構成について説明した。しかし、撮影部101を含む情報処理装置100を自動雲台に設置し、所定の撮影範囲を撮影する姿勢をとるように自動的に雲台が動作するようにしても良い。また、例えば、ドローンのような移動体に情報処理装置100を設置し、所定の撮影範囲を撮影する位置・姿勢をとるように制御しても良い。
以上のステップS301により、点検対象構造物の撮影範囲が決定し、撮影部101は撮影範囲を撮影する位置・姿勢をとる状態となる。
[ステップS302]
図3のステップS302では、情報処理装置100は、撮影範囲に対応する過去データを過去データ格納部106から呼び出す。この過去データは、図2を用いて説明したように、撮影範囲に含まれるひび割れを描画した画像データである。
[ステップS303]
次のステップS303では、情報処理装置100は、撮影パラメータの初期値(以下、初期撮影パラメータ)を決定する。初期撮影パラメータの設定は、例えば、過去データ格納部106に、過去に同一箇所を撮影したときの撮影パラメータを記録しておき、その撮影パラメータを呼び出して初期撮影パラメータとして設定すれば良い。あるいは、撮影装置の通常の撮影パラメータ調整方法(オートパラメータ調整)で決定した撮影パラメータを初期パラメータとして設定しても良い。
[ステップS304]
次のステップS304では、情報処理装置100は、初期撮影パラメータに基づいて、撮影パラメータ設定部102を用いて複数の撮影パラメータを設定する。図4には、初期撮影パラメータに基づいて、複数の撮影パラメータを設定する様子を示している。まず、図4(A)は、調整する撮影パラメータの例として、露出(EV)を調整する実施形態について説明する図である。図4(A)では、初期パラメータとしてEV0が設定されている様子を白三角401で示している。撮影パラメータ設定部102では、この初期パラメータを中心に、複数の撮影パラメータを設定する。
図4(A)では、EV0を中心にそれぞれ露出を1段変化させて、EV−1(図4の黒三角402)とEV+1(図4の黒三角403)を複数パラメータとして設定している。この例では、初期撮影パラメータと合わせて3つの撮影パラメータを設定している様子を示しているが、設定する撮影パラメータの数はこれに限らない。例えば、さらに2段異なる露出を設定して、合計5つの撮影パラメータを設定するようにしても良い。また、この例では、露出を1段変更するルールにより、複数の撮影パラメータを設定しているが、撮影パラメータの変更の刻みは、これ以外の設定方法としても良い。例えば、露出を1/2段刻みで設定するようにしても良いし、初期撮影パラメータ周辺でランダムに設定するようにしても良い。
上記は、撮影パラメータを露出(EV)とした場合についての実施形態を説明したが、設定する撮影パラメータは露出に限定されない。撮影部101を制御するパラメータであれば、撮影パラメータはどのようなものを用いても良く、例えば、フォーカス、ホワイトバランス(色温度)、シャッタースピード、絞り、ISO感度、画像の彩度や色合いなどを撮影パラメータとしても良い。
また、図4(A)では、露出のみを、調整する撮影パラメータとする実施形態について説明したが、複数の撮影パラメータを同時に調整するようにしても良い。例えば、図4(B)は、露出とフォーカスとの組み合わせを、調整する撮影パラメータとした場合の実施形態について説明する図である。図4(B)では、ある露出とフォーカスのパラメータの組み合わせが初期パラメータとして設定されており、白丸411として示されている。この初期パラメータを中心に、例えば黒丸412のような撮影パラメータの組み合わせが、複数の撮影パラメータとして設定されている。
なお、調整する対象となる撮影パラメータの組み合わせは、図4(B)の露出とフォーカスとの組み合わせに限らず、他の撮影パラメータの組み合わせでも良い。また、上記の説明では、2つのパラメータの組み合わせを調整する実施形態について説明したが、撮影パラメータの組み合わせ数もこれに限らず、3つ以上の撮影パラメータの組み合わせを同時に調整するようにしても良い。
以上のようにして、撮影パラメータ設定部102で複数の撮影パラメータを設定する。以下では、図4(A)のように、調整する撮影パラメータを露出とした場合の実施形態について説明する。
[ステップS305]
続いて、次のステップS305では、情報処理装置100は、ステップS304で設定した複数の撮影パラメータを用いて、撮影部101を用いて点検対象物の撮影範囲を撮影する。具体的には、図4(A)のように3つの露出を設定した場合には、露出を変更しながら3枚の画像を撮影する。
[ステップS306]
次のステップS306では、情報処理装置100は、ステップS305で撮影した複数の画像に対して、ターゲット検知部103を用いてターゲットの検知処理を実行する。本実施形態では、ターゲットはひび割れなので、各画像に対してひび割れ検知処理を実行する。画像からのひび割れの検知方法は、例えば、特許文献1のような方法を用いれば良い。ひび割れ検知の方法は特許文献1の方法に限らず、例えば、予めひび割れの位置、形状が既知の画像から、ひび割れの画像特徴を学習しておき、この学習結果に基づいて入力画像のひび割れの位置、形状を検知する方法を用いても良い。以下、ステップS306で検知したひび割れを検知結果と呼ぶ。
図3のステップS307以降の処理は主に推定部104で実行する処理で、最適な撮影パラメータを選択する処理、または、最適な撮影パラメータをさらに探索するための処理である。
[ステップS307]
まず、ステップS307では、情報処理装置100は、推定部104を用いて複数の撮影パラメータそれぞれについて評価値を算出する。評価値は、撮影パラメータが点検画像を撮影するために適切であるほど高い値を示すものである。この評価値は、複数の撮影パラメータで撮影した画像それぞれについてのひび割れの検知結果と、過去データのひび割れとを比較することで算出する。
ステップS307の説明のため、まず、図5に過去データ及び検知結果の例を示す。図5(A)は、撮影範囲の過去データであり、過去の点検結果であるひび割れ501が含まれている。図5(B)は、ある撮影パラメータで撮影した画像に対してひび割れ検知を実施した検知結果であり、ひび割れ502が検知されている。図5(C)は、図5(A)の過去データと、図5(B)の検知結果とを重畳表示したものであり、過去データのひび割れを破線511、検知結果のひび割れを実線512で表している。理想的には、過去データのひび割れ511と検知結果のひび割れ512とは完全に重複するが、図面の都合上、ずらして表示している。
次に、図6を参照して評価値の概念を説明する。図6(A)〜図6(C)は、同じ過去データのひび割れ511に対して、異なる撮影画像の検知結果のひび割れ601、602、603をそれぞれ重畳表示した図である。
まず、図6(A)は、過去データのひび割れ511と検知結果のひび割れ601とが一致しているケースである。このケースでは、過去の点検結果が完全に自動検知できる画像が撮影できていることを示している。従って、この撮影パラメータは適切なものであり、図6(A)のケースの評価値sは高い値となる。
次に図6(B)は、過去データのひび割れ511よりも、検知結果のひび割れ602が長いケースである。ひび割れは経年変化により伸展するため、過去の点検結果よりも現在のひび割れの方が長い現象は起こりえるケースである。従って、図6(B)のケースも、過去のひび割れが確認できる画像を撮影できているので、点検画像を撮影する撮影パラメータとして適切なものであると考えられるため、図6(B)のケースの評価値sも高い値となる。むしろ、ひび割れが経年により、ほぼ確実に伸展すると仮定すると、図6(A)のように、検知結果が過去データと完全に一致するよりも、図6(B)のように伸展したひび割れが検知できている方が適切と考えることができる。従って、評価値sとsは、両方とも高い評価値であるが、sの方をさらに高い評価値とするようにしても良い。
このように、評価値は、検知結果であるひび割れと、過去データのひび割れとが一致するか、或いは、検知結果であるひび割れが過去データのひび割れを包含するより大きな領域に渡る場合に、高い値を示すようにする。
一方、図6(C)では、過去データのひび割れ511に対して、検知結果のひび割れ603が部分的にしか得られていないケースである。補修などを行わない限り、過去に記録されたひび割れが消失することはない。従って、過去データのひび割れ511の全体が検知できない画像を撮影した撮影パラメータは、点検画像の撮影パラメータとして適切でないため、図6(C)のケースの評価値sは低い値となる。図6(C)のケースでは、撮影パラメータをさらに調整して、評価値が高く、点検画像撮影に適した撮影パラメータを得るために、さらに調整を行う必要がある。以上をまとめると、図6の各ケースでの評価値は、
Figure 2020096325
という関係となる。
次に、図7を用いて、評価値sを算出する具体的な方法について説明する。図7は、図6(C)を拡大した図である過去データのひび割れを破線511で表しており、検知結果721〜723を実線で表している。ここでの評価値sの算出方法では、過去データのひび割れ511上の各画素と、検知結果721〜723の対応付けを行い、対応画素数に基づいて評価値sを算出する。過去データのひび割れと検知結果のひび割れの対応付けは、例えば、以下のようにして実施する。
まず、図7の画素701は過去データのひび割れ511上のある画素である。この画素701の所定の周辺範囲702を探索し、検知結果のひび割れが存在する場合は、画素701を検知結果と対応付けができた画素と判定する。なお、所定の周辺範囲702は、例えば画素701を中心とした5画素範囲などとして定義される。図7の例では、画素701の周辺702に検知結果のひび割れが含まれていないので、画素701は検知結果と対応付けができなかった画素となる。一方、別の過去データのひび割れ511上の画素711は、その周辺範囲712の範囲に検知結果のひび割れ721が存在するため、画素711は検知結果と対応付けができた画素となる。このような判定を、過去データの1本のひび割れ上の画素で繰り返し、1本のひび割れに基づく評価値sを算出する。このとき、評価値sは以下の式で表される。
Figure 2020096325
ここで、Cはある過去データのひび割れを示し、p(C)はひび割れCの画素数を示す。iはひび割れC上の画素を示し、fは画素iで検知結果と対応付けができた場合に1、対応付けができなかった場合に0となる。
なお、式(2)では、ある1本の過去データのひび割れに基づく評価値sの算出方法を示したが、撮影範囲中に複数の過去データひび割れがある場合、評価値sは、各ひび割れについて式(2)で評価値を算出し、その和や平均を最終的な評価値とすればよい。
また、式(2)の方法で、図6(A)と図6(B)の評価値s、sを算出すると、
Figure 2020096325
となり、それぞれ最大の評価値を出力することになる。ここで、過去のひび割れからの経年劣化を考慮して、図6(A)のように、検知結果が過去データと完全に一致するよりも、図6(B)のように伸展部分も検知できている方がよいとする場合、s>sとなるような評価値の算出方法が必要になる。このためには、例えば、過去データのひび割れ端点を伸展が予想される方向に所定の画素数を伸展させた上で、上記の評価値を算出するようにすればよい。
なお、ひび割れの経年変化が、ひび割れの伸展だけと見なせる場合は、以上のように評価値を算出すればよいが、ひび割れは経年変化により、見た目が大きく変化する場合がある。例えば、ひび割れからコンクリートの石灰成分が析出する場合に、ひび割れを覆うようにコンクリート表面で石灰成分が固まることがある。このような石灰成分の析出(以下、エフロレッセンス)が生じると、外観からではひび割れは完全に確認できず、エフロレッセンスの領域のみが確認される状態となる。このように、過去の点検結果から大きく変化したひび割れを撮影した画像からは、過去データと同様のひび割れを検知することは不可能である。従って、上記のように、過去データのひび割れとの対応付けを実施する方法では、撮影パラメータ選択のための評価値を正しく算出することができない。
そこで、このような問題に対処するために、ターゲット検知部103で、ひび割れだけでなくエフロレッセンスの検出も行い、過去データのひび割れに基づく評価値算出領域を限定するようにしても良い。図8は、この処理を説明する図である。まず、図8(A)は過去データである。図8(B)は、過去データと同一のコンクリート壁面の現在の実際の状態を示しており、経年劣化により、ひび割れ801からエフロレッセンス802が発生した状態を示している。このエフロレッセンス802は、過去データでは観測できていたひび割れの一部を覆い隠すように発生している。図8(C)は、図8(B)のコンクリート壁面をある撮影パラメータで撮影した画像に対して、ターゲット検知部103でひび割れ検知を実施した検知結果である。図8(B)のコンクリート壁面では、エフロレッセンス802が出現している領域のひび割れが見えなくなっているため、図8(C)の検知結果では、過去データのひび割れの一部のみが検知されている状態である。
図8(D)は、破線で示す過去データのひび割れ811及び812と、実線で示す検知結果のひび割れ803とを重畳表示した図である。図8(D)には、さらに、ターゲット検知部103で検知したエフロレッセンスの領域802を示している。また、過去データのひび割れを示す破線の内、破線811はエフロレッセンスの領域802と重なる部分で、破線812はエフロレッセンスと重ならない部分である。このような状況では、過去データのひび割れの内、エフロレッセンスと重ならない部分であるひび割れ812と、検知結果のひび割れ803とに基づいて評価値を算出する。すなわち、所定の経年変化(エフロレッセンス)が検知された領域を除いて評価値を算出する。
評価値の算出方法は、過去データのひび割れ812と検知結果のひび割れ803とを用いて前述した画素間の対応付け方法で算出することができる。このようにすることで、過去の点検からエフロレッセンスが発生して見た目が変化したひび割れを用いて、撮影パラメータの評価値を算出することができる。
なお、この実施形態では、ひび割れの見た目が変化する要因をエフロレッセンスとしたが、ひび割れの見た目が変化する要因はこれ以外も考えられる。例えば、ひび割れの劣化が進むと、ひび割れ表面の剥離や剥落が発生する。このようになると、過去の点検時のひび割れとは、見た目が大きく変化する場合がある。従って、エフロレッセンスのケースと同様に、剥離や剥落などの所定の経年変化が発生した領域を検知して、当該領域を、過去データのひび割れに基づく評価値算出領域から除外するようにしても良い。
また、過去の点検時のひび割れの見た目が完全に変化してしまう場合もある。例えば、経年変化により、ひび割れ全体がエフロレッセンスで覆われてしまうことがあり得る。このような見た目が完全に変化してしまったひび割れを含む撮影領域では、過去のひび割れとの比較ができないので、撮影パラメータ調整を実施することができない。従って、過去データのひび割れを消失させてしまうエフロレッセンスを検知したなど、ひび割れの見た目が完全に変化したと判断される場合には、現在の撮影範囲での撮影パラメータ調整を中止するようにしても良い。この場合、情報処理装置100は、他の過去データが含まれるコンクリート壁面の領域を撮影範囲とすることを推奨する。
ステップS307では、以上のようにして、複数の撮影パラメータそれぞれについて評価値を算出する。
[ステップS308〜S311]
次に、ステップS308では、情報処理装置100は、ステップS307で算出した評価値に基づいて撮影パラメータの評価を行う。ステップS309では、情報処理装置100は、評価結果に基づいて、撮影パラメータを再調整するか否かを判定する。再調整する場合、ステップS310へ進む。一方、再調整しない場合、ステップS311へ進む。ステップS310において、情報処理装置100は、撮影パラメータを改善する方法を推定する。その後、ステップS305に戻る。ステップS311において、情報処理装置100は、撮影パラメータを設定する。そして、撮影パラメータ調整の一連の処理を終了する。以下、これらの処理の詳細について説明する。
まず、ステップS308での撮影パラメータ評価では、複数の撮影パラメータの評価値から最大の評価値を選択し、所定の閾値と比較する。図9(A)は、各撮影パラメータの評価について説明する図である。本実施形態では、複数の撮影パラメータとして、露出(EV)を3つ設定した。図9(A)には、複数の撮影パラメータとして、露出−1、0、+1を設定している様子を、図4(A)と同様に、三角401、402、403で表している。また、図9(A)の下部には、各撮影パラメータで撮影した画像の検知結果から得られる評価値s−1、s、s+1を示している。図9(A)では、+1の露出403の評価値s+1が最も高い評価値となっており、且つ、所定の閾値sthを超える値を示している。所定の閾値sthを超える評価値を示す撮影パラメータが存在する場合、その撮影パラメータが点検画像の撮影パラメータとして適した撮影パラメータであると判定する。
図9(A)の場合、+1の露出403が最適パラメータとして選択され、ステップS309では、撮影パラメータの再調整は不要と判定し、撮影パラメータ設定のステップS311へ進む。ステップS311では、撮影パラメータ設定部102を介して、撮影部101に+1の露出を設定して処理を終了する。
一方、図9(B)は、図9(A)と同様に、露出−1、0、+1を複数の撮影パラメータとして設定し、評価値を算出した例であるが、図9(A)とは異なる評価値が得られている状況を示す。図9(B)において、最大の評価値を示しているのは、評価値s+1であるがs+1でも所定の閾値sthを超えていない。これらの撮影パラメータで撮影した画像では、過去データのひび割れと十分一致する検知結果が得られておらず、これらの撮影パラメータは点検画像の撮影パラメータとして適していない。この場合、ステップS309では、撮影パラメータの再調整が必要と判定して、ステップS310で撮影パラメータの改善方法を推定する。
続いて、撮影パラメータの改善方法の推定について、図9(B)を用いて説明する。図9(B)では、+1の露出の評価値s+1は閾値sth未満ではあるが、評価値s−1〜s+1の中では、最大の評価値を示している。従って、撮影パラメータの再調整では、この撮影パラメータ(+1の露出)の周辺の撮影パラメータから、複数の撮影パラメータを設定する。例えば、次の撮影パラメータ調整でも3つの撮影パラメータを設定する場合、図9(B)のように、+1の露出403の周辺の露出921、922、923を複数パラメータとして設定する。そして、ステップS305に戻り、これらの撮影パラメータを、撮影パラメータ設定部102を介して撮影部101に設定し、再び複数画像を撮影する。そして、図3のステップS306以降の処理(ターゲット検知処理、評価値算出処理)を再び実行し、最適な撮影パラメータを探索する。この撮影パラメータセットの評価でも、閾値sth以上となる評価値が得られなかった場合は、再び、最大評価値を示す撮影パラメータ周辺で、新しい複数の撮影パラメータを決定し、再度、撮影処理を実行する。このループは、閾値sthを超える評価値が得られる撮影パラメータが決定するまで繰り返し実行する。
なお、最大の繰り返し回数を予め決めておき、それまでに最適な撮影パラメータ(閾値sth以上の評価値が得られる撮影パラメータ)が得られない場合は、処理を打ち切るようにしても良い。撮影パラメータの調整処理を打ち切った場合には、操作部105の表示部に警告を表示してユーザに撮影パラメータが十分に調整されなかったことを通知する。また、処理の打ち切りまでに得られた最大の評価値を算出した画像を撮影した撮影パラメータを、撮影パラメータ設定部102を介して撮影部101に設定しても良い。
以上の説明では、ステップS308で閾値sth以上の評価値が得られない場合に、改善撮影パラメータの推定と、繰り返し調整を行う実施形態について説明した。しかし、仮に閾値sth以上の評価値を示す撮影パラメータが見つかった場合でも、さらに高い評価値を示す撮影パラメータを探索するようにしても良い。この場合、最大評価値を示した撮影パラメータ周辺の撮影パラメータを改善撮影パラメータとして設定した上で、再び複数画像を撮影し、ひび割れの検知処理や評価値算出処理を繰り返し実行する。この繰り返し処理の終了条件は、予め決められた繰り返し回数に到達した場合や、最大評価値付近で撮影パラメータを変更しても評価値に変化が生じなくなった場合とする。
以上のようにループして撮影パラメータを調整する処理は、複数画像の撮影と評価、次のパラメータ推定を自動で繰り返しても良い。この場合、撮影部101を三脚などに固定して、撮影パラメータの調整が完了するまでユーザは待機すればよい。
一方、ユーザが撮影パラメータや検知結果を確認し、撮影パラメータ調整のための繰り返し処理の終了を判断するようにしても良い。その場合、図3のステップS309において、評価値の閾値sthを用いた最適な撮影パラメータ判定は実施せずに、撮影パラメータの再調整の実行の判定をユーザが行うことになる。このために、操作部105では、ユーザに必要な情報を提示し、さらにユーザからの入力を受け付ける。ここで、図10は、ユーザ判定により撮影パラメータ調整を行う場合の操作部105の一例としての表示部1000について説明する図である。以下、図10を用いて、ユーザに提示する情報、及び、ユーザの操作について説明する。
まず、図10の表示部1000は、情報を表示するためのディスプレイである。例えば、情報処理装置100が撮影部101を含む撮影装置である場合、当該撮影装置の背面に設けられたタッチパネルディスプレイである。表示部1000に表示されている画像1001は、露出+1の撮影パラメータで撮影した画像上に、点線で表示した過去データのひび割れと、実線で表示した検知結果のひび割れとを重畳表示した画像である。この例では、点線と実線で、それぞれのひび割れを表示する例を示しているが、過去データと検知結果のひび割れとの表示方法は、異なる色で区別して表示しても良い。
また、画像1001に隠れている画像1002は、露出0の撮影パラメータで撮影した画像上に、過去データのひび割れと、検知結果のひび割れとを重畳表示した画像である。ユーザは、これらの画像を切り替えて表示することで、撮影パラメータの変化に伴う、ひび割れの検知結果の変化を確認することができる。また、重畳表示されたひび割れの表示、非表示をユーザが任意に実施できるようにしてもよい。ひび割れを非表示にすることで、ひび割れの表示に隠れた撮影画像の部分を確認できるようになる。
また、画像1001の下部には、撮影パラメータの調整のために複数設定した撮影パラメータを示している。図10には、複数の撮影パラメータの例として、3段階の露出(EV)を黒三角で示している。この内、最大の評価値を示した露出+1を示す黒三角1011は強調表示(大きく表示)されている。また、白抜きの三角1012などは、露出+1の撮影パラメータ1011に基づいてして設定した、撮影パラメータをさらに調整するときの複数の撮影パラメータ候補を示す。
この実施形態では、ユーザは、操作部105としての表示部1000に表示されたこれらの情報を確認して、現在の撮影パラメータを採択するか、さらに撮影パラメータ調整の処理を実行するか、を判定する。具体的には、ユーザは、最大の評価値が得られた画像1001において、過去データのひび割れと検知結果のひび割れとを対比して、満足する一致度合いであれば、最大の評価値を示した撮影パラメータを採択すると判定することができる。ユーザは、最大の評価値を示す撮影パラメータを採択する場合、「set」と表示されているアイコン1021を押す。この操作により、最大の評価値を示す撮影パラメータを、撮影部101に設定し(図3のステップS311)、撮影パラメータ調整の処理が終了する。
一方、画像1001を確認するなどして、現在の最適撮影パラメータに不満があると判定した場合、ユーザは「再調整」と表示されたアイコン1022を押す。この指示により、次の複数の撮影パラメータ(例えば白抜きの三角1012で示される露出など)を用いて、図3のステップS306以降の処理(ターゲット検知処理、評価値算出処理)を再び実行する。その後、再び、各種の情報を図10の例ようにユーザに提示する。ユーザは提示された情報に基づいて、再び撮影パラメータを採択するか、さらに撮影パラメータを調整するかの判定を行う。
もし、撮影パラメータの調整を途中で辞める場合には、「終了」と表示されたアイコン1023を押す。この操作により、撮影パラメータを調整する処理(図3のフローチャートのループ)を終了させることができる。この時、それまでに撮影、評価した撮影パラメータの内、評価値が最大となる撮影パラメータを撮影部101に設定するようにしても良い。
このように、複数の撮影パラメータで撮影した画像、その画像から得られるひび割れ検知結果、過去データ、各撮影パラメータの評価結果、を表示することで、ユーザは点検に適した撮影パラメータを設定しやすくなる。
なお、この場合においても、予め評価値の閾値sthを設定しておき、閾値sthを超える評価値を得た撮影パラメータが存在することを表示するようにしても良い。例えば、図10において、黒三角1011により示される撮影パラメータで撮影した画像の評価値s1011が閾値sthを超える場合には、撮影パラメータを示す黒三角1011を点滅表示するようにしても良い。ユーザは、評価値に関わらず撮影パラメータを採択することができるが、このように評価値を超えた撮影パラメータの存在を視認可能に表示することで、撮影パラメータ採択の判定を補助することができるようになる。
また、図10には不図示であるが、過去の点検結果を作成した時のコンクリート壁面画像を、図10の表示部1000の表示内容に加えて表示するようにしても良い。この場合、過去の点検時に撮影した画像を過去データ格納部106に格納しておき、図3のステップS302で、過去データ格納部106から過去データ(ひび割れ情報)を呼び出すと同時に、過去に撮影した画像も呼び出す。
[変形例]
以下では、実施形態1の変形例について説明する。図3のステップS305の複数回撮影において、手持ちで撮影していたり、ドローンに搭載して撮影していたりすると、同じ撮影領域を狙って撮影しても複数の画像の撮影位置が微妙にずれることがある。実施形態1の説明では、この画像ずれについて特に言及しなかったが、過去データ、及び画像間で位置合わせを実行するようにしても良い。この処理は、ステップS305で複数画像を撮影した直後に実行する。
複数画像間の位置合わせは、既存の方法を利用すればよいので、詳細な説明は省略するが、画像間の特徴点のマッチングや画像のアフィン変換(並進、回転に限定しても良い)などの処理で実施できる。さらに、評価値を算出するために、過去データのひび割れとも位置合わせを行う必要がある。このためには、ステップS306で各画像から検知したひび割れの検知結果と、過去データのひび割れの位置と形状とが最も類似するように位置合わせを行う。この処理での位置合わせは、撮影画像そのものを変換するようにしても良いし、ひび割れ検知結果の画像を変換することで位置合わせをするようにしても良い。
また、実施形態1では、撮影パラメータを改善する方法を推定する例を説明したが、推定するひび割れの撮影に適した撮影方法は、撮影パラメータに限らず、他の撮影方法を推定しても良い。撮影パラメータ以外の撮影方法を推定する実施形態では、図3の処理フローのループを複数回実行しても、所定閾値以上の評価値が得られない場合に、さらに画像や撮影状況を分析して、適切な撮影方法を推奨する。
例えば、画像の明るさが不足していると判定される場合や、ホワイトバランスの調整が撮影パラメータでは調整不可能と判定される場合には、ユーザに照明を利用することや、撮影時刻を変更してより明るい時刻での撮影を推奨する通知を行うようにしても良い。また別の例としては、撮影部101の位置・姿勢が取得できる場合、点検対象構造物との位置関係を分析し、撮影を改善する位置・姿勢を提案する。より具体的には、例えば、点検対象構造物の壁面に対するあおり角度が大きな位置・姿勢で撮影している場合、あおりを減少させる位置・姿勢で撮影することをユーザに推奨する。
また、実施形態1では、点検のターゲットとしてひび割れを例に説明したが、点検のターゲットはひび割れに限らず、他の変状としても良い。この場合、撮影パラメータ調整に用いる点検のターゲットは、経年変化で過去に点検した結果の見え方の変化が少ない変状を用いることが好ましい。例えば、コンクリート打設時の不連続面であるコールドジョイントなどは、ひび割れと同様、過去に記録された部分の見え方は大きく変化しないため、好適なターゲットの例である。また、変状ではないが、コンクリート目地や打ちつなぎ目を点検のターゲットとすることができる。この場合、過去の点検時に観測したコンクリート目地や打ちつなぎ目の位置・形状と、現在撮影している画像から検知される目地や打ちつなぎ目の位置・形状とを比較することで、撮影パラメータの調整を行うようにしても良い。
以上説明したように、本実施形態では、過去の点検結果が記録されている点検対象構造物を、複数の撮影パラメータで撮影して複数の画像を作成する。複数の画像それぞれに対して、点検ターゲットの検知処理を実施する。各画像の検知結果と、過去の点検結果とから、各撮影パラメータの評価値を算出する。そして、最大の評価値が閾値以上である場合、最大の評価値を示した撮影パラメータを、使用する撮影パラメータとして設定する。一方、最大の評価値が閾値以下である場合、評価値を改善する撮影パラメータを推定する。
本実施形態によれば、ユーザが撮影画像を確認することなく、過去の結果との比較に適した画像の撮影方法(例えば撮影パラメータ)を推定することが可能となる。
(実施形態2)
実施形態1では、過去データ(過去のひび割れ点検結果)と撮影した画像のひび割れ検知結果とを比較して、撮影パラメータの調整を行った。これに加えて、過去に撮影した画像(以下、過去画像)と、現在、撮影パラメータ調整のために撮影した画像(以下、現在画像)とをさらに比較して、撮影パラメータの調整を行うようにしても良い。
実施形態2では、過去画像と現在画像とを比較して撮影パラメータを調整する例を説明する。
過去の点検結果との比較を行うために、現在の点検で撮影する画像でも、少なくとも過去の点検結果に記録されているひび割れが観測できる画像を撮影する必要がある。この目的のために、実施形態1では、過去データと検知結果とを用いて撮影パラメータの調整を行った。ここで、過去の点検で撮影した画像が存在する場合、この過去画像と現在画像とを目視で比較して、変状の伸展などの経年変化を確認したい。この時、過去画像と現在画像との比較のためには、現在画像が過去の点検結果に記録されているひび割れが観測できる画像であるだけでなく、明るさやホワイトバランスなどの画像の見た目も過去画像に似ている方がよい。
従って、実施形態2では、過去画像と現在画像との類似度を算出し、この類似度も考慮した評価値を算出して撮影パラメータを調整する。これにより、過去画像と現在画像との見た目が類似した撮影を行うための撮影パラメータを設定することができるようになる。以下では、主に実施形態1との差分について説明する。それ以外の構成や処理は実施形態1と同様であるため説明を省略する。
まず、過去データ格納部106には、過去の点検結果だけでなく、過去に点検対象構造物を撮影した画像も格納しておく。そして、図3のステップS301において、点検対象構造物の任意の撮影範囲が設定されると、ステップS302で過去データと共に、撮影範囲に関する過去画像が呼び出される。ステップS305で複数パラメータによる撮影、ステップS306で各現在画像に対してひび割れ検知を実行した後に、ステップS307で評価値を算出する。実施形態2では、ある撮影パラメータで撮影した1枚の撮影画像(現在画像)と、過去画像と、過去データとに基づいて、評価値s'を以下のようにして算出する。
Figure 2020096325
式(4)の第一項は実施形態1の式(2)のひび割れに基づく評価値である。第二項のr(I、I)は、過去画像Iと現在画像Iとの類似度を示す。画像間の類似度はどのように求めても良いが、例えば輝度分布や色分布の類似性を示す値である。これ以外にも、何らかの画像特徴量空間での距離などを類似度とすればよいが、明るさ、色味、ホワイトバランスなど、画像の幾何的な特徴の類似性よりも人間の感性的に合った類似度を算出するべきである。なお、式(4)のα、βは第一項(ひび割れの評価値)と第二項(過去画像と現在画像の類似度)とのそれぞれに対する重み係数であり、いずれに重み付けて評価値s'を算出するかを決めるパラメータである。ここで、α≧0、β≧0である。
以上のようにして算出する評価値s'を使って、実施形態1の処理を実行することで、過去画像と現在画像が類似するような撮影パラメータを調整することができるようになる。
(実施形態3)
実施形態1では、図2の橋脚201の、ある1つの撮影範囲220の過去データを用いて撮影パラメータを調整し、その撮影パラメータで橋脚201を撮影する例を説明した。橋脚201の撮影では、橋脚201の部分的な撮影を繰り返して複数の画像を撮影し、その複数画像を接続することで、高精細なコンクリート壁面画像を作成する。しかし、同一の橋脚201においても、部分によって適切な撮影パラメータで撮影した方がよい。
実施形態3では、点検対象構造物のある1つの広い壁面において、複数部分(複数の撮影範囲)で撮影パラメータの調整を行う例を説明する。
図11は、図2の橋脚251(実施形態1の説明で用いた橋脚201とは別の橋脚)の図面252を示す。撮影範囲1101、1102、1103、1104は、ひび割れを含む撮影範囲である。これらの撮影範囲について実施形態1の方法を用いて、各撮影範囲を撮影するために適した撮影パラメータを設定する。撮影範囲1101、1102、1103、1104は、実施形態1と同様に、ユーザが選択することや、情報処理装置100が過去データにひび割れを含む領域を推奨することで決定する。
そして、実施形態3では、さらに、ある壁面の範囲(本実施形態では図11の図面252の範囲)で、できるだけ疎に分布、あるいは均等に分布するような位置から選択する。図11に示すように、これらの撮影範囲は隣接せず、図面252の全域に分布する位置に設定されている。情報処理装置100は、このように複数の撮影範囲が設定されるようにユーザに撮影範囲を推奨する。
なお、図11の例では、4つの撮影範囲を設定する例を説明しているが、ある壁面に対して設定する撮影範囲の数はこれに限定されない。撮影範囲の数が多い場合、壁面の各部位に適した撮影パラメータを設定することができるが、撮影パラメータ調整に時間を要することになる。これらはトレードオフの関係にあるので、設定する撮影範囲の数は、要求に合わせて設定すればよい。
次に、実施形態1で説明した方法により、各撮影範囲の過去データを用いて、各撮影範囲を撮影するために適した撮影パラメータを決定する。これらの撮影範囲以外の部分の撮影パラメータについては、各撮影範囲で設定した撮影パラメータに基づいて、内挿や外挿で求める。例えば、範囲1120を撮影するための撮影パラメータは、周辺の撮影範囲の撮影パラメータ(例えば、撮影範囲1101と1102の撮影パラメータ)に基づいて、線形補間で求めた撮影パラメータとする。このようにすることで、壁面の各部位の撮影パラメータを設定することができる。
さらに、実施形態3では、同一の撮影対象において撮影パラメータが大きく変化しないように、拘束条件を付けて撮影パラメータを調整するようにしても良い。例えば、図11の図面252に対応する図2の橋脚251を撮影するときに、橋脚251の部分によって撮影パラメータが大きく異なると、撮影した画像を接続した高精細画像に統一感がなくなる。従って、橋脚251のような連続した固まりの部分の撮影では、できるだけ類似した撮影パラメータで撮影を行った方がよい。このために、撮影パラメータを調整する評価値に対して、現在撮影中の撮影領域に隣接する撮影領域、または撮影中の壁面に含まれる他の撮影領域で決定した撮影パラメータとの差が大きいほどペナルティを与える構成にする。これにより、橋脚251のような連続した固まりの部分の撮影において、撮影パラメータの大きな変化を抑制することができるようになる。
本実施形態によれば、撮影範囲ごとに、過去の結果との比較に適した画像の撮影方法を推定することが可能となる。
(実施形態4)
上述の各実施形態では、評価値が所定の閾値未満の場合に、複数の評価値を用いて撮影パラメータの改善方法を推定する方法について説明した(例えば、図9(B))。しかし、撮影パラメータの改善方法を推定する方法は、複数の評価値を用いた処理に限らず、ある1つの評価値とその評価値に関わる撮影パラメータとに基づいて推定する方法でも良い。実施形態4では、この方法について、実施形態1との差を図3のフローチャートを用いて説明する。
まず、実施形態4では、複数の評価値を算出しないので、複数の撮影パラメータで撮影を行う必要がない。従って、実施形態1の図3のフローチャートでは、複数の撮影パラメータを設定するステップS304と、複数回撮影のステップS305とを実行しない。よって、実施形態4では、ある初期パラメータで、撮影範囲の画像を1枚撮影することになる。この1枚の画像に対して、ターゲット(ひび割れ)を検知する処理S306と、検知結果を過去データと比較して評価値を算出する処理S307とを実行する。これらは実施形態1と同様の処理である。さらに、算出した評価値が閾値以上の場合、パラメータ設定を終了する処理(図3のS308、S309、S311)も実施形態1と同様に実行すればよい。
実施形態1と異なる処理は、評価値が閾値以下であった場合に、撮影パラメータの改善方法を推定するステップS310の処理である。実施形態4では、ある1つの評価値、及びその時の撮影パラメータとから、統計的な手法により改善撮影パラメータを推定する。このために実施形態4では、予め、評価値と改善撮影パラメータとの関係を学習しておく。この関係は、例えば、以下のようなデータを用いて学習することができる。
Figure 2020096325
Figure 2020096325
ここで、式(5)のpは撮影パラメータであり、sはpで撮影した画像から得られた評価値である。sは閾値以下の評価値とする。式(6)のpdst_nは、(s、p)の状態から撮影パラメータを調整し、最終的に評価値が閾値以上となったときの撮影パラメータである。これらのデータの組をn個収集し、学習データ(X、Y)を作成する。この学習データを用いて、ある閾値未満の評価値sと撮影パラメータpとが入力された時に、改善パラメータpdstを出力するモデルMを学習する。
Figure 2020096325
このモデルの学習には、どのようなアルゴリズムを用いても良く、例えば、撮影パラメータを連続値であるとすると、線形回帰などの回帰モデルを適用することができる。
以上のようにして予め準備したモデルMを、ステップS310の改善撮影パラメータ推定処理で用いることにより、実施形態4では、1枚の画像から改善撮影パラメータを推定することができるようになる。
なお、改善撮影パラメータを求める手法として、学習したモデルを用いる構成は、実施形態1の複数の撮影パラメータで画像を撮影する方法で用いても良い。すなわち、モデルMは、1枚の画像から撮影パラメータを推定する構成に限定されず、複数の画像から撮影パラメータを推定する方法で用いても良い。この場合、実施形態1のように複数の撮影パラメータで撮影した複数の画像からそれぞれ評価値を算出し、複数の撮影パラメータと複数の評価値とを入力して改善撮影パラメータを求めるモデルMを学習する。このモデルMを学習するための学習データXは、撮影パラメータ調整で撮影する複数画像の枚数をm枚とすると、式(5)から以下の式(8)のように書き換えられる。なお、目的変数(あるいは教師データ)Yは、式(6)と同様である。
Figure 2020096325
本実施形態によれば、1枚の画像から改善撮影パラメータを推定することができるようになる。
(実施形態5)
上述の各実施形態では、コンクリート壁面を有する構造物の点検を例に説明を行った。しかし、本発明の適用例はこれに限定されず、他の目的で用いても良い。実施形態5では、工場等で製品の画像を撮影し、キズなどの欠陥を検知する装置(外観検査装置)を例に説明を行う。
図12は、外観検査を説明するための図である。まず、物体1200は、部品や製品などの外観検査の対象である。外観検査では、これらを撮影部101で撮影し、物体1200の欠陥1201を検知する。撮影した画像から欠陥を検知するためには、欠陥を強調するための所定の画像処理のパラメータを予め調整しておく必要がある。また、機械学習を用いた外観検査では、正常な物体の画像や欠陥を含む物体の画像から欠陥の画像特徴を識別するモデルを学習しておく必要がある。
ここで、撮影部101(撮影部101には、照明装置を含んでも良い)をリプレイスにより交換するケースについて考える。もし、新しい撮影部101の仕様が古い撮影部1001の仕様と異なる場合、同一の撮影パラメータを設定したとしても撮影画像に微妙な変化が生じる。ここで、画像処理パラメータや欠陥識別モデルは、古い撮影部101で撮影した画像に基づいて決定しているので、再調整や再学習が要求される。再調整や再学習のためには、新しい撮影部101で大量の物体1200の画像を撮影する必要がある。このため、外観検査装置を用いた生産ラインを再稼働させるために時間を要することになる。
従って、本発明の撮影パラメータ調整方法を適用し、過去の撮影部101と同様の画像を撮影することができる撮影パラメータを、新しい撮影部101に設定する。このために、まず、欠陥を含む物体を準備しておく。以下、これをリファレンス物体と呼ぶ。リファレンス物体は、過去に古い撮影部101で検査されており、その欠陥の検知結果が過去データ格納部106に格納されているとする。そして、新しい撮影部101でリファレンス物体を異なる複数の撮影パラメータで撮影する。
図12では、物体1200をリファレンス物体としたときに、新しい撮影部101のn個の撮影パラメータで撮影した画像1211〜121nを示している。これらのn枚の画像に欠陥検知処理を行い、その検知結果と、過去データ格納部106に格納された古い撮影部での検知結果とを比較して、それぞれの撮影パラメータに関する評価値を算出する。そして、これらの評価値に基づいて、新しい撮影部101の撮影パラメータを調整する。以上の処理は、撮影対象が異なるだけで、処理内容は実施形態1と同様であるので、詳細な説明は省略する。
これにより、古い撮影部で検知された欠陥を検知することができる撮影パラメータを、新しい撮影部に対して容易に設定することができるようになる。
なお、上記では、外観検査装置の撮影部のリプレイス時に本発明を適用する例を説明したが、外観検査装置への適用方法はこれに限らない。例えば、工場の同一製品を製造する複数の製造ラインに外観検査装置を新規導入するケースについて考える。製造ラインが異なると、外光の影響が異なるなどの理由により、それぞれの製造ラインで最適な撮影パラメータを調整する必要がある。
この場合、まず、第一の製造ラインの外観検査装置の撮影部のパラメータを手動で調整する。そして、第一の製造ラインの外観検査装置で、物体の画像を撮影し、欠陥検知の画像処理パラメータ調整や欠陥識別モデル学習を行う。そして、欠陥を含む少なくとも一つの物体をリファレンス物体として、第一の製造ラインの外観検査装置でリファレンス物体の欠陥検知を実行する。この検知結果は、過去データとして過去データ格納部106に格納しておく。
次に、第一の製造ラインとは異なる第二の製造ラインでは、第一の製造ラインで設定した画像処理パラメータや欠陥識別モデルを流用する。そして、第一の製造ラインでの検知結果と同様の検知結果が得られるように、本発明の方法で第二の製造ラインの撮影部の撮影パラメータを調整する。この撮影パラメータ調整では、第二の製造ラインの撮影部でリファレンス物体を撮影し、それを、過去データ格納部106に格納した第一の製造ラインでのリファレンス物体の検知結果と比較することで、撮影パラメータの評価値を算出する。そして、評価値に基づいて、第二の製造ラインの撮影パラメータを調整する。
本実施形態によれば、外観検査装置において撮影部を交換する場合に、古い撮影部で検知された欠陥を検知することができる撮影パラメータを、新しい撮影部に対して容易に設定することができるようになる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:情報処理装置、101:撮影部、102:撮影パラメータ設定部、103:ターゲット検知部、104:推定部、105:操作部、106:過去データ格納部

Claims (14)

  1. 撮影範囲におけるターゲットの過去の情報を過去データとして格納する格納手段と、
    撮影手段により所定の撮影パラメータで撮影された前記撮影範囲の画像から前記ターゲットを検知する検知手段と、
    前記検知手段による検知結果と前記過去データとに基づいて評価値を取得し、当該評価値に基づいて前記ターゲットの撮影に適した撮影方法を推定する推定手段と、
    を備えることを特徴とする情報処理装置。
  2. 前記撮影手段に対して複数の撮影パラメータを設定する設定手段をさらに備え、
    前記検知手段は、前記撮影手段により複数の撮影パラメータで撮影された前記撮影範囲の複数の画像から前記ターゲットを検知し、
    前記推定手段は、前記検知手段による複数の検知結果と前記過去データとに基づいて複数の評価値を取得し、当該複数の評価値に基づいて前記撮影方法を推定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記設定手段は、過去の撮影パラメータを初期パラメータとして、当該初期パラメータに基づいて前記複数の撮影パラメータを設定することを特徴とする請求項2に記載の情報処理装置。
  4. 前記評価値は、前記検知結果と前記過去データとが一致する場合、或いは、前記検知結果が前記過去データを包含するより大きな領域である場合に、そうでない場合よりも高い値を示すことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. 前記推定手段は、前記撮影範囲の経年変化と、前記検知手段による検知結果と、前記過去データとに基づいて前記評価値を取得することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
  6. 前記推定手段は、前記経年変化が大きい領域を除外した上で、前記検知手段による検知結果と、前記過去データとに基づいて前記評価値を取得することを特徴とする請求項5に記載の情報処理装置。
  7. 前記撮影方法は、前記撮影手段の撮影パラメータであることを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
  8. 前記検知結果と、前記過去データと、前記推定手段により推定された前記撮影方法とを表示するとともに、前記撮影方法の選択又は前記撮影方法の再調整を実行するユーザの操作を受け付ける操作部をさらに備えることを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
  9. 前記ターゲットは、点検対象構造物の壁面の変状であることを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
  10. 前記変状は、コンクリート壁面のひび割れであることを特徴とする請求項9に記載の情報処理装置。
  11. 前記推定手段は、前記撮影範囲の過去画像と前記撮影範囲の現在画像との類似度と、前記検知手段による検知結果と、前記過去データとに基づいて前記評価値を取得することを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。
  12. 前記撮影手段をさらに備えることを特徴とする請求項1乃至11の何れか1項に記載の情報処理装置。
  13. 撮影範囲におけるターゲットの過去の情報を過去データとして格納する格納手段を備える情報処理装置の制御方法であって、
    撮影手段により所定の撮影パラメータで撮影された前記撮影範囲の画像から前記ターゲットを検知する検知工程と、
    前記検知工程による検知結果と前記過去データとに基づいて評価値を取得し、当該評価値に基づいて前記ターゲットの撮影に適した撮影方法を推定する推定工程と、
    を有することを特徴とする情報処理装置の制御方法。
  14. コンピュータを、請求項1乃至12の何れか1項に記載の情報処理装置として機能させるためのプログラム。
JP2018234704A 2018-11-27 2018-12-14 情報処理装置、情報処理装置の制御方法及びプログラム Active JP7311963B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018234704A JP7311963B2 (ja) 2018-12-14 2018-12-14 情報処理装置、情報処理装置の制御方法及びプログラム
PCT/JP2019/042487 WO2020110576A1 (ja) 2018-11-27 2019-10-30 情報処理装置
US17/327,892 US20210281748A1 (en) 2018-11-27 2021-05-24 Information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018234704A JP7311963B2 (ja) 2018-12-14 2018-12-14 情報処理装置、情報処理装置の制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020096325A true JP2020096325A (ja) 2020-06-18
JP7311963B2 JP7311963B2 (ja) 2023-07-20

Family

ID=71085143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018234704A Active JP7311963B2 (ja) 2018-11-27 2018-12-14 情報処理装置、情報処理装置の制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7311963B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022085185A1 (ja) * 2020-10-23 2022-04-28 日本電気株式会社 個体識別装置
WO2022114006A1 (ja) 2020-11-27 2022-06-02 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006108915A (ja) * 2004-10-01 2006-04-20 Canon Inc 画像撮影装置及び画像撮影方法
JP2010026661A (ja) * 2008-07-16 2010-02-04 Noritsu Koki Co Ltd 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム
JP2015082830A (ja) * 2013-10-24 2015-04-27 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム
JP2015231101A (ja) * 2014-06-04 2015-12-21 パイオニア株式会社 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006108915A (ja) * 2004-10-01 2006-04-20 Canon Inc 画像撮影装置及び画像撮影方法
JP2010026661A (ja) * 2008-07-16 2010-02-04 Noritsu Koki Co Ltd 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム
JP2015082830A (ja) * 2013-10-24 2015-04-27 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム
JP2015231101A (ja) * 2014-06-04 2015-12-21 パイオニア株式会社 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022085185A1 (ja) * 2020-10-23 2022-04-28 日本電気株式会社 個体識別装置
WO2022114006A1 (ja) 2020-11-27 2022-06-02 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JP7311963B2 (ja) 2023-07-20

Similar Documents

Publication Publication Date Title
WO2020110576A1 (ja) 情報処理装置
US8451335B2 (en) Imaging device
EP2721383B1 (en) System and method for color and intensity calibrating of a display system for practical usage
JP4813517B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
US8508587B2 (en) Imaging device
JP2004260785A (ja) 画像歪み補正機能を備えたプロジェクタ装置
JP5181970B2 (ja) 画像処理装置および画像処理方法
CN108810423B (zh) 一种基于图像亮度梯度的光照角度调节方法及系统
JP2005318652A (ja) 画像歪み補正機能を備えたプロジェクタ装置
JP7311963B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2006246502A (ja) 画像歪み補正機能を備えたプロジェクタ装置
JP7387261B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6718253B2 (ja) 画像処理装置及び画像処理方法
US20120057747A1 (en) Image processing system and image processing method
JP5633733B2 (ja) 暗領域ノイズ補正装置
JP4780338B2 (ja) 撮像装置の評価方法
JP5321939B2 (ja) 画質検査装置および画質検査方法
JP6921606B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6025400B2 (ja) ワーク位置検出装置、及びワーク位置検出方法
JP5371135B2 (ja) 輝度補正装置、輝度補正システムおよび輝度補正方法
JP7305509B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP4936222B2 (ja) 動きベクトル照合装置、画像合成装置及びプログラム
JP2009152725A (ja) 自動追跡装置及び方法
JP2805897B2 (ja) 画質検査装置
JP2004134861A (ja) 解像度評価方法、解像度評価プログラム、および光学機器

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230707

R151 Written notification of patent or utility model registration

Ref document number: 7311963

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151