JP2021064201A - 画像検査方法、画像検査装置、及び画像検査プログラム - Google Patents

画像検査方法、画像検査装置、及び画像検査プログラム Download PDF

Info

Publication number
JP2021064201A
JP2021064201A JP2019188777A JP2019188777A JP2021064201A JP 2021064201 A JP2021064201 A JP 2021064201A JP 2019188777 A JP2019188777 A JP 2019188777A JP 2019188777 A JP2019188777 A JP 2019188777A JP 2021064201 A JP2021064201 A JP 2021064201A
Authority
JP
Japan
Prior art keywords
kurtosis
value
gradient direction
histogram
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019188777A
Other languages
English (en)
Other versions
JP6716769B1 (ja
Inventor
▲高▼橋 洋二
洋二 ▲高▼橋
Yoji Takahashi
千賀子 久原
Chikako Kuhara
千賀子 久原
近津 博文
Hirobumi Chikatsu
博文 近津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aero Asahi Corp
Original Assignee
Aero Asahi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aero Asahi Corp filed Critical Aero Asahi Corp
Priority to JP2019188777A priority Critical patent/JP6716769B1/ja
Application granted granted Critical
Publication of JP6716769B1 publication Critical patent/JP6716769B1/ja
Publication of JP2021064201A publication Critical patent/JP2021064201A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮像画像の状態を適切に検査することのできる画像検査方法、画像検査装置、及び画像検査プログラムを提供する。【解決手段】画像検査方法は、撮像画像CIを取得するステップS101と、撮像画像CIにおいて複数の特徴点Pを抽出するステップS104と、複数の特徴点Pのそれぞれについて、勾配方向の平均値である勾配方向平均値を含む勾配特徴量を算出するステップS105と、勾配方向平均値の出現数の分布を示すヒストグラムHを生成するステップS106と、勾配方向平均値の第1範囲におけるヒストグラムHの尖度である第1尖度と、第1範囲と異なる勾配方向平均値の第2範囲におけるヒストグラムHの尖度である第2尖度と、を算出するステップS107と、第1尖度と第2尖度との和と、第1尖度と第2尖度との差の絶対値と、の差の絶対値である第1評価値に基づいて定量値を算出するステップS108と、を備える。【選択図】図3

Description

本発明は、画像検査方法、画像検査装置、及び画像検査プログラムに関する。
ヘリコプタを対象地域の上空で飛行させながら、当該ヘリコプタに搭載されたデジタルカメラによって上空から地上の建物等を連続撮像することにより、航空写真を取得する技術が知られている(例えば、特許文献1参照)。
特開2011−2892号公報
上述したような航空写真等の撮像画像について、地上の建物等が明瞭に撮像されたかを確認するために、ブレの有無等、撮像画像の状態を検査する必要がある。しかしながら、撮像画像の検査作業は、検査員による目視検査に頼らざるを得ず、検査員によって判定結果が異なったり、ブレのある撮像写真の検出漏れが発生したりするおそれがあった。
本発明は、撮像画像の状態を適切に検査することのできる画像検査方法、画像検査装置、及び画像検査プログラムを提供することを目的とする。
上記課題を解決するために、本発明者は、鋭意研究を重ねた結果、撮像画像の特徴点の勾配方向に基づいた評価値を算出することにより、撮像画像の状態を定量的に評価できることを見出した。すなわち、例えば撮像画像の画素の輝度値に着目した場合、ブレのない撮像画像においては、エッジ付近の画素間の輝度値の差が大きく、ブレのある撮像画像においては、エッジ付近の画素間の輝度値の差が小さいという特徴がある。そのため、撮像画像のブレの有無及び程度に応じて、撮像画像ごとに画像勾配の傾向が異なる。
さらに、一の特徴点に対して、当該一の特徴点を含む所定の範囲に存在する特徴点の勾配方向の平均値(局所的な勾配方向の特徴量)を算出し、これを繰り返し実施することにより、ブレのある撮像画像における複数の特徴点のそれぞれについて勾配方向の平均値を算出し、勾配方向の平均値の出現数の分布を示すヒストグラムを生成した場合、当該ヒストグラムは、2つの山部を有する特徴がある。さらに、当該ヒストグラムのうち最少の出現数に対応する勾配方向の平均値が原点となるように当該ヒストグラムを並べ替えることにより、並び替え後のヒストグラムの分布は、正規分布に類似した形状の2つの範囲に分けることができる。
これに対し、ブレのない撮像画像に基づいて当該ヒストグラムを生成した場合、当該ヒストグラムの分布は一様となる特徴がある。発明者は、撮像画像に基づいて生成された当該ヒストグラムが有する特徴を用いて評価値を算出することにより、撮像画像の状態を定量的に評価することができることを見出した。本発明は、これらの知見に基づいてなされたものである。
すなわち、本発明に係る画像検査方法は、撮像画像を取得する第1工程と、撮像画像において複数の特徴点を抽出する第2工程と、複数の特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第3工程と、勾配方向平均値の出現数の分布を示すヒストグラムを生成する第4工程と、勾配方向平均値の第1範囲におけるヒストグラムの尖度である第1尖度と、第1範囲と異なる勾配方向平均値の第2範囲におけるヒストグラムの尖度である第2尖度と、を算出する第5工程と、第1尖度と第2尖度との和と、第1尖度と第2尖度との差の絶対値と、の差の絶対値である第1評価値を算出する第6工程と、を備え、第3工程は、一の特徴点に対して、当該一の特徴点を含む所定の範囲を設定する第7工程と、所定の範囲に含まれる特徴点の勾配方向平均値を算出する第8工程と、第8工程で算出した勾配方向平均値を当該一の特徴点の勾配方向平均値として設定する第9工程と、を含み、第7工程、第8工程、及び、第9工程を複数の特徴点に対して繰り返し実施することにより、複数の特徴点のそれぞれについて勾配方向平均値を算出し、第5工程は、ヒストグラムのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムを並べ替えることにより、規格化ヒストグラムを生成する第10工程と、規格化ヒストグラムを、二値化処理によって勾配方向平均値の第1範囲及び第2範囲に分割する第11工程と、を含む。
また、本発明に係る画像検査装置は、撮像画像を取得する取得部と、撮像画像において複数の特徴点を抽出する抽出部と、複数の特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第1算出部と、勾配方向平均値の出現数の分布を示すヒストグラムを生成する生成部と、勾配方向平均値の第1範囲におけるヒストグラムの尖度である第1尖度と、第1範囲と異なる勾配方向平均値の第2範囲におけるヒストグラムの尖度である第2尖度と、を算出する第2算出部と、第1尖度と第2尖度との和と、第1尖度と第2尖度との差の絶対値と、の差の絶対値である第1評価値を算出する第3算出部と、を備え、第1算出部は、一の特徴点に対して、当該一の特徴点を含む所定の範囲を設定し、所定の範囲に含まれる特徴点の勾配方向平均値を算出し、算出した勾配方向平均値を当該一の特徴点の勾配方向平均値として設定する処理を、複数の特徴点に対して繰り返し実施することにより、複数の特徴点のそれぞれについて勾配方向平均値を算出し、第2算出部は、ヒストグラムのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムを並べ替えることにより、規格化ヒストグラムを生成し、規格化ヒストグラムを、二値化処理によって勾配方向平均値の第1範囲及び第2範囲に分割する。
さらに、本発明に係る画像検査プログラムは、コンピュータを、撮像画像を取得する取得部、撮像画像において複数の特徴点を抽出する抽出部、複数の特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第1算出部、勾配方向平均値の出現数の分布を示すヒストグラムを生成する生成部、勾配方向平均値の第1範囲におけるヒストグラムの尖度である第1尖度と、第1範囲と異なる勾配方向平均値の第2範囲におけるヒストグラムの尖度である第2尖度と、を算出する第2算出部、及び第1尖度と第2尖度との和と、第1尖度と第2尖度との差の絶対値と、の差の絶対値である第1評価値を算出する第3算出部として機能させ、第1算出部は、一の特徴点に対して、当該一の特徴点を含む所定の範囲を設定し、所定の範囲に含まれる特徴点の勾配方向平均値を算出し、算出した勾配方向平均値を当該一の特徴点の勾配方向平均値として設定する処理を、複数の特徴点に対して繰り返し実施することにより、複数の特徴点のそれぞれについて勾配方向平均値を算出し、第2算出部は、ヒストグラムのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムを並べ替えることにより、規格化ヒストグラムを生成し、規格化ヒストグラムを、二値化処理によって勾配方向平均値の第1範囲及び第2範囲に分割する。
これらの方法、装置、及びプログラムにおいては、一の特徴点を含む所定の範囲に存在する特徴点の勾配方向の平均値である勾配方向平均値を設定する処理が、複数の特徴点に対して繰り返し実施されることにより、複数の特徴点のそれぞれについて、勾配方向平均値が算出される。そして、勾配方向平均値の出現数の分布を示すヒストグラムが生成される。そして、勾配方向平均値の第1範囲におけるヒストグラムの尖度である第1尖度と、第1範囲と異なる勾配方向平均値の第2範囲におけるヒストグラムの尖度である第2尖度と、が算出され、第1尖度と第2尖度との和と、第1尖度と第2尖度との差の絶対値と、の差の絶対値である第1評価値が算出される。ヒストグラムの生成から第1尖度及び第2尖度の算出までの過程には、ヒストグラムのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムを並べ替えることにより、規格化ヒストグラムが生成され、規格化ヒストグラムが、二値化処理によって分割されることにより、勾配方向平均値の第1範囲及び第2範囲が定められる。
例えば、ブレのある撮像画像を検査する場合、二値化処理によって規格化ヒストグラムを第1範囲と第2範囲とに分割すると、上述したように、第1範囲及び第2範囲のそれぞれが正規分布に類似した形状となる。したがって、ブレのある撮像画像について算出された第1範囲についての第1尖度及び第2範囲についての第2尖度は、ブレのない撮像画像に基づいて算出された第1尖度及び第2尖度と比較して高くなる。その結果、第1尖度及び第2尖度に基づいて算出される第1評価値は、撮像画像のブレの有無及び程度に応じた値となる。これにより、撮像画像の状態を定量的に評価することができる。よって、本発明における画像検査方法、画像検査装置、及び画像検査プログラムによれば、撮像画像の状態を適切に検査することができる。
本発明に係る画像検査方法においては、第6工程は、規格化ヒストグラムの歪度の絶対値である第2評価値を算出する第12工程と、第1評価値と第2評価値との差である第3評価値を算出する第13工程とを含んでもよい。これにより、規格化ヒストグラムの尖度に加え、規格化ヒストグラムの歪度も用いて撮像画像の状態を評価するため、撮像画像の状態を高精度に検査することができる。
本発明に係る画像検査方法においては、第3工程は、複数の特徴点のそれぞれについて勾配の大きさを算出すると共に、勾配の大きさの平均値を算出する第14工程を含み、第6工程は、第3評価値を勾配の大きさの平均値で除算した値である第4評価値を算出する第15工程を含んでもよい。これにより、勾配の方向に加え、勾配の大きさも用いて撮像画像の状態を評価するため、撮像画像の状態を高精度に検査することができる。
本発明に係る画像検査方法においては、第3工程は、複数の特徴点のそれぞれについて勾配の分散値を算出する第16工程を含み、第6工程は、第4評価値を勾配の分散値で乗算した値である第5評価値を算出する第17工程を含んでもよい。これにより、勾配の方向及び勾配の大きさに加え、勾配の分散値も用いて撮像画像の状態を評価するため、撮像画像の状態を高精度に検査することができる。
本発明によれば、撮像画像の状態を適切に検査することのできる画像検査方法、画像検査装置、及び画像検査プログラムを提供することができる。
本実施形態に係る画像検査装置の機能ブロック図である。 図1の画像検査装置に係るコンピュータシステムのハードウェア構成を示す図である。 図1の画像検査装置の画像検査処理における動作手順を示すフローチャートである。 図3の画像検査処理を説明するための図である。 図3の画像検査処理を説明するための図である。 図3の画像検査処理を説明するための図である。 図3の画像検査処理を説明するための図である。 図3の勾配特徴量の算出処理の動作を示すフローチャートである。 図8の勾配特徴量の算出処理を説明するための図である。 図3のヒストグラム生成の処理を説明するための図である。 図3の第1尖度及び第2尖度の算出処理の動作を示すフローチャートである。 図11の第1尖度及び第2尖度の算出処理を説明するための図である。 図11の第1尖度及び第2尖度の算出処理を説明するための図である。 図11の第1尖度及び第2尖度の算出処理を説明するための図である。 図3の定量値の算出処理の動作を示すフローチャートである。 本実施形態に係る画像検査プログラムの機能ブロック図である。 ブレのない画像とブレのある画像との画像検査の比較例のグラフである。 ブレのない画像とブレのある画像との画像検査の比較例のグラフである。 ブレのない画像とブレのある画像との画像検査の比較例のグラフである。 ブレのない画像とブレのある画像との画像検査の比較例のグラフである。 ブレのない画像とブレのある画像との画像検査の比較例のグラフである。 ブレのない画像とブレのある画像との画像検査の比較例のグラフである。
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する部分を省略する。
図1は、本実施形態に係る画像検査装置1の機能ブロック図である。図2は、画像検査装置1のハードウェア構成を示すブロック図である。図1,2に示される画像検査装置1は、画像検査装置1とは異なる撮像装置(図示省略)から撮像画像を取得し、当該撮像画像の状態を検査するように構成されている。
撮像装置は、撮像機能を有するカメラを内蔵する装置であって、例えば、ヘリコプタ等の航空機(図示省略)に設けられている。当該航空機は、撮像の対象地域の上空を飛行する。本実施形態では、撮像画像は、撮像装置によって上空から対象地域が撮像された画像であって、例えば測量等に用いられる。対象地域の例としては、都市部、山間部等が挙げられる。つまり、本実施形態では、画像検査装置1は、上空から地上が撮像された撮像画像の状態を検査する。ここで、「撮像画像の状態」とは、撮像画像のブレの有無及び程度である。撮像画像のブレが発生する一例としては、上空を飛行する航空機の揺れ等に起因して、撮像装置のカメラのシャッターが開いている間にカメラが動くことによって発生するモーションブラーが挙げられる。
画像検査装置1は、物理的には、CPU(Central Processing Unit)101、主記憶装置であるRAM(Random Access Memory)102、ROM(Read Only Memory)103、データ送受信デバイスである通信モジュール104、タッチパネルディスプレイ、液晶ディスプレイ等の出力装置105、及び、入力キー、タッチセンサ等の入力デバイスである入力装置106等を含むコンピュータシステム(情報処理プロセッサ)として構成されている。図1に示される画像検査装置1の各機能は、図2に示されるCPU101、RAM102等のハードウェア上に、本実施形態に係る画像検査プログラムを読み込ませることにより、CPU101の制御のもとで、通信モジュール104、出力装置105、及び入力装置106を動作させるとともに、RAM102等におけるデータの読み出し及び書き込みを行うことで実現される。
画像検査装置1は、機能的な構成要素として、取得部2と、切出部3と、選択部4と、抽出部5と、第1算出部6と、ヒストグラム生成部(生成部)7と、第2算出部8と、第3算出部9と、検査結果生成部10と、出力部11と、を含んでいる。各構成要素については、ここでは簡単に説明し、後述する各構成要素の処理で詳細に説明する。
取得部2は、撮像装置から撮像画像を取得する。撮像画像は、例えば、航空機による地上の撮像が完了した後に、撮像装置から直接的に又は他の機器を介して取得され、画像検査装置1の記憶装置に格納される。撮像装置は、例えばデジタルカメラであり、撮像画像は複数の画素から構成されるデジタル画像である。
切出部3は、取得部2によって取得された撮像画像のうち、予め定められた範囲を切り出す(抜き取る)。以下、切り出された撮像画像の各範囲を、部分画像と称する。本実施形態では、切出部3は、複数の部分画像を切り出す。
選択部4は、切出部3によって切り出された複数の部分画像のうち1つを選択する。選択部4は、全ての部分画像が選択されるまで、後述する第3算出部9による定量値の算出の後、部分画像の選択を繰り返す。
抽出部5は、取得部2が取得した撮像画像のうち、選択部4が選択した部分画像において、複数の特徴点を抽出する。本実施形態では、抽出部5は、選択部4が選択した部分画像に含まれる全ての特徴点を抽出する(後述する勾配特徴量の算出、ヒストグラムの生成等に影響を及ぼさない範囲で、全ての特徴点を抽出しなくてもよい場合もあり得る)。なお、それぞれの特徴点は、部分画像に含まれる1つの画素である。
第1算出部6は、抽出部5によって抽出された複数の特徴点のそれぞれについて、勾配特徴量を算出する。勾配特徴量は、特徴点それぞれにおける、勾配方向の平均値である勾配方向平均値、勾配の大きさの平均値、及び勾配方向の分散値である。勾配特徴量の算出の概略について説明する。まず、第1算出部6は、一の特徴点に対して、当該一の特徴点を含む所定の範囲(画素で指定される範囲)を設定する。続いて、第1算出部6は、所定の範囲に含まれる特徴点の勾配方向平均値、勾配の大きさの平均値、及び勾配の分散値を算出する。
そして、第1算出部6は、算出した勾配方向平均値、勾配の大きさの平均値、及び勾配の分散値を、それぞれ、当該一の特徴点の勾配方向平均値、勾配の大きさの平均値、及び勾配の分散値として設定する(すなわち、当該一の特徴点の固有の値として設定する)。第1算出部6は、以上の一連の処理を、部分画像に含まれる複数の特徴点(本実施形態では、全ての特徴点)に対して繰り返し実施することにより、複数の特徴点のそれぞれについて勾配特徴量(勾配方向平均値等)を算出する。
ヒストグラム生成部7は、第1算出部6によって算出された複数の特徴点についての勾配方向平均値に基づいて、勾配方向平均値の出現数の分布を示すヒストグラムを生成する。
第2算出部8は、ヒストグラム生成部7によって算出されたヒストグラムに基づいて、第1尖度と、第2尖度と、を算出する。第1尖度及び第2尖度の算出の概略について説明する。まず、第2算出部8は、ヒストグラムのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムを並べ替えることにより、規格化ヒストグラムを生成する。続いて、第2算出部8は、規格化ヒストグラムを、二値化処理によって勾配方向平均値の第1範囲及び第2範囲に分割する。続いて、第2算出部8は、勾配方向平均値の第1範囲におけるヒストグラムの尖度である第1尖度と、第1範囲と異なる勾配方向平均値の第2範囲におけるヒストグラムの尖度である第2尖度と、を算出する。
第3算出部9は、第2算出部8によって算出された第1尖度及び第2尖度等に基づいて、撮像画像の状態の評価値となる定量値(第5評価値)を算出する。
検査結果生成部10は、選択部4により全ての部分画像の選択が行われた場合に、第3算出部9により算出された少なくとも一部(一例として全て)の部分画像の定量値に基づいて、当該定量値の平均値を算出したり、当該平均値に基づいて撮像画像の状態(ブレの有無及び程度)の結果を生成したりする。
出力部11は、検査結果生成部10によって生成された検査結果を出力装置105に出力する。なお、出力部11は、定量値を、出力装置105に代えて、外部に出力してもよいし、内部の記憶装置に出力してもよい。
次に、画像検査装置1の機能的な構成要素の動作(処理)、及び本実施形態に係る画像検査方法について詳細に説明する。図3は、本実施形態に係る画像検査方法を含む方法のフローチャートである。まず、取得部2により、撮像装置から撮像画像CI(図4参照)が取得される(ステップS101:第1工程)。上述した様に、撮像画像CIは複数の画素により構成されるデジタル画像である。
続いて、切出部3によって、撮像画像CIのうち、予め定められた範囲が切り出される(ステップS102)。本実施形態では、図4に示されるように、撮像画像CIのうち、縦及び横の画素数が512×512の大きさの範囲である部分画像Iが、等間隔に、縦方向に3か所、且つ横方向に3か所並ぶように、合計9箇所切り出される。すなわち、本実施形態では、1枚の撮像画像CIから9枚の部分画像Iが抽出される。
続いて、選択部4によって、9枚の部分画像Iのうち1枚が選択される(ステップS103)。本実施形態では、例えば、9枚の部分画像Iのうち、一番上段列の左の部分画像Iが最初に選択され、他の部分画像Iは、後述するステップS109の処理の後に順次選択される。図5の(a)及び図5の(b)に示される部分画像I1,I2はそれぞれ、選択部4によって選択された部分画像Iの一例である。部分画像I1,I2には、複数の建物の像が含まれている。部分画像I1は、ブレがない状態、すなわち、被写体である建物の屋根の縁(エッジ)が明瞭に認識することができる状態の画像である。これに対し、部分画像I2は、ブレがある状態、すなわち、一定の方向にずれて流れたように被写体が写るモーションブラーが発生しており、被写体である建物の屋根の縁(エッジ)が、明瞭に認識することができない状態の画像である。
続いて、抽出部5によって、選択された部分画像(撮像画像)Iにおいて複数の特徴点が抽出される(ステップS104:第2工程)。複数の特徴点は、部分画像Iを構成する全ての画素を対象とした抽出処理を行うことにより抽出される。より具体的には、図6に示されるように、まず、抽出処理を行う1つの画素(中心画素Pi)を設定すると共に、この中心画素Piを中心とする5×5の画素数の抽出範囲Bを設定する。そして、中心画素Piの輝度値と、中心画素Piを除く抽出範囲B内の他の画素の輝度値とを比較し、所定の条件が満たされる場合、中心画素Piが特徴点Pとして抽出される。所定の条件とは、当該他の画素の輝度値に対して中心画素Piの輝度値が最も高い場合である。
図6の各画素(各枠内)に記載された数値は、各画素の輝度値を表している。この例では、中心画素Piの輝度値は、抽出範囲B内の他の全ての画素の輝度値よりも高い。そのため、中心画素Piは、抽出部5により、特徴点Pとして抽出される。このステップS104では、以上の処理が、部分画像Iを構成する全ての画素が中心画素Piに設定されるように繰り返し行われる。なお、中心画素Piが部分画像Iの縁部に位置する場合には、抽出範囲Bの画素数が5×5等の中心画素Piに対して対称的な範囲でない場合もあり得る。このように、部分画像Iに含まれる複数の特徴点P(本実施形態では、全ての特徴点P)が抽出される。図7の(a)は、抽出された複数の特徴点Pが示された部分画像I1である。図7の(b)は、抽出された複数の特徴点Pが示された部分画像I2である。なお、図7の(a)及び図7の(b)に表された白いドット状の点が、特徴点Pである。
続いて、第1算出部6により、複数の特徴点Pのそれぞれについて、勾配特徴量が算出される(S105:第3工程)。ステップS105の処理については、図8のフローチャートを参照して詳細に説明する。
まず、第1算出部6により、ステップS104で抽出部5により抽出された複数の特徴点Pのうち一の特徴点P(以下、「選択特徴点」という)が選択される(ステップS201)。続いて、第1算出部6により、選択特徴点に対して、選択特徴点を中心とした対象範囲(一の特徴点を含む所定の範囲)が設定される(ステップS202:第7工程)。図9は、選択特徴点を中心とした対象範囲の一例である。本実施形態では、選択特徴点Psを中心とした範囲として、縦及び横の画素数が25×25の大きさの対象範囲Tが設定される。
続いて、第1算出部6により、対象範囲Tに対して微分フィルタを適用することにより、対象範囲T内の各画素に対して勾配の大きさ及び勾配方向が算出される(ステップS203:第14工程 )。図9では、勾配の大きさがベクトルVで表されており、勾配方向が破線からベクトルVまでの角度Aで表されている。微分フィルタとしては、例えばソーベルフィルタが用いられる。本実施形態では、各画素の勾配の大きさは、下記式(1)が用いられることにより算出された∇Iの各成分である。
Figure 2021064201
上記式(1)中、∇Iは勾配の大きさの画像(本実施形態では、対象範囲T)を示し、gHはソーベルフィルタを水平方向に適用した場合の画像(本実施形態では、対象範囲T)を示し、gVはソーベルフィルタを垂直方向に適用した場合の画像(本実施形態では、対象範囲T)を示す。なお、∇Iの各成分が勾配方向の大きさである。また、以下に説明する各式に共通して用いられる符号は、同一の要素を示すものとし、以下説明を省略する。
また、本実施形態では、勾配方向は、下記式(2)が用いられることにより算出された∇θの各成分である。
Figure 2021064201
上記式(2)中、∇θは勾配方向の画像(本実施形態では、対象範囲T)を示す。なお、勾配方向は、例えば、図9に示される破線に示されるようにある位置を起点とした場合の勾配の角度である。また、∇θの各成分が勾配方向である。
続いて、第1算出部6により、勾配方向平均値が算出されるとともに(ステップS204:第3工程及び第8工程)、勾配の大きさの平均値が算出され(ステップS204:第14工程)、勾配方向の分散値が算出される(ステップS204:第16工程)。勾配方向平均値は、ステップS203で算出された勾配方向のうち対象範囲内の全ての特徴点Pの勾配方向の平均値である。勾配方向の大きさの平均値は、ステップS203で算出された勾配の大きさのうち対象範囲に含まれる全ての特徴点Pの勾配の大きさの平均値である。
本実施形態では、勾配方向の分散値は、下記式(3)が用いられることにより算出される。
Figure 2021064201
上記式(3)中、pは対象範囲を示し、σθ (p)は勾配方向の分散値を示し、cθ(p)は勾配方向のcos成分の平均値を示し、sθ(p)は勾配方向のsin成分の平均値を示し、N(p)は対象範囲内に含まれる全ての特徴点を示す。
勾配方向のcos成分の平均値であるcθ(p)及び勾配方向のsin成分の平均値であるsθ(p)は、下記式(4)及び式(5)が用いられることにより算出される。
Figure 2021064201
Figure 2021064201
上記式(4)及び式(5)中、qは対象範囲内の一の特徴点を示す。
続いて、第1算出部6により、ステップS204で算出された勾配方向平均値、勾配の大きさの平均値、及び勾配方向の分散値が、選択特徴点Psの勾配方向平均値、勾配の大きさの平均値、及び勾配方向の分散値として設定される(ステップS205:第9工程)。
続いて、第1算出部6により、部分画像Iに含まれる全ての特徴点Pに対してステップS201〜S205の処理が実施されたか否かが判定される(ステップS206)。部分画像Iに含まれる全ての特徴点Pに対してステップS201〜S205の処理が実施された場合(ステップS206:YES)、ステップS105の処理が終了される。一方、部分画像Iに含まれる全ての特徴点Pに対してステップS201〜S205の処理が実施されていない場合(ステップS206:NO)、第1算出部6により、ステップS201に処理が戻り、新たな特徴点Pが選択される。つまり、ステップS202(第7工程)、ステップS203,ステップS204(第8工程)、及びステップS205(第9工程)の処理が、部分画像Iに含まれる全ての特徴点P(複数の特徴点P)に対して繰り返し実施されることにより、部分画像Iに含まれる全ての特徴点Pのそれぞれについて、勾配特徴量(勾配方向平均値、勾配の大きさの平均値、及び勾配方向の分散値)が設定される。
図3に示される画像検査処理のフローチャートの説明に戻る。続く工程では、ヒストグラム生成部7により、勾配方向平均値の出現数の分布を示すヒストグラムが生成される(ステップS106:第4工程)。当該ヒストグラムは、ステップS103で選択された部分画像Iに含まれる特徴点Pの勾配方向平均値に基づいて生成される。勾配方向平均値は、ステップS105で算出されたものである。図10の(a)及び図10の(b)に示されるように、ヒストグラムHの横軸は、勾配方向平均値を示し、ヒストグラムHの縦軸は、勾配方向平均値の出現数を示している。
図10の(a)に示されるヒストグラムH1は、部分画像I1(すなわち、ブレがない状態の画像)に基づいて生成されたヒストグラムHの一例である。図10の(b)に示されるヒストグラムH2は、部分画像I2(すなわち、ブレがある状態の画像)に基づいて生成されたヒストグラムHの一例である。ヒストグラムH1の分布は、偏りが少なく略一様である。これに対し、ヒストグラムH2の分布は、2つの山部を有している。換言すれば、ヒストグラムH2では、勾配方向平均値の分布に偏りが発生している。これは、ブレがある状態の部分画像I2においては、エッジ付近の画素間の輝度値の差が小さいことに起因する。
続いて、第2算出部8により、第1尖度と、第2尖度と、が算出される(ステップS107:第5工程)。第1尖度は、勾配方向平均値の第1範囲におけるヒストグラムHの尖度である。第2尖度は、第1範囲と異なる勾配方向平均値の第2範囲におけるヒストグラムHの尖度である。ステップS107の処理については、図11のフローチャートを参照して詳細に説明する。
まず、第2算出部8により、ヒストグラムHのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムHが並べ替えられることにより、規格化ヒストグラムが生成される(ステップS301:第10工程)。続いて、第2算出部8により、規格化ヒストグラムが、二値化処理によって勾配方向平均値の第1範囲及び第2範囲に分割される(ステップS302:第11工程)。本実施形態では、二値化処理として、大津の二値化が用いられる。具体的には、第2算出部8により、規格化ヒストグラムに対して大津の二値化の処理が実施されることにより、しきい値が算出され、0°から当該しきい値までの範囲が第1範囲とされ、当該しきい値から360°までの範囲が第2範囲とされる。これにより、規格化ヒストグラムが第1範囲と第2範囲とに分割される。
続いて、上述したように、第2算出部8により、第1尖度と、第2尖度と、が算出される(ステップS303(S107))。本実施形態では、第1尖度及び第2尖度は、下記式(6)が用いられることにより算出される。
Figure 2021064201
上記式(6)中、αは尖度を示し,Xは各勾配方向平均値(本実施形態では、0°〜360°の範囲の値であって、10°間隔の値)を示し、μは確率分布(勾配方向平均値の分布)の平均値を示し、σは確率分布(勾配方向平均値の分布)の分散値を示す。第1尖度は、規格化ヒストグラムのうち第1範囲におけるヒストグラムに対して上記式(6)が用いられることにより算出される。同様に、第2尖度は、規格化ヒストグラムのうち第2範囲におけるヒストグラムに対して上記式(6)が用いられることにより算出される。
図12の(a)に示される規格化ヒストグラムS1は、ヒストグラムH1に基づいて生成された規格化ヒストグラムSの一例である。具体的には、規格化ヒストグラムS1は、ヒストグラムH1のうち最小の出現数に対応する330°〜340°の勾配方向平均値X1(図10の(a)参照)が原点となるように、ヒストグラムH1が並べ替えられることにより生成される。図12の(a)に示されるしきい値T1は、二値化処理(大津の二値化の処理)によって算出されたしきい値であって、180°である。したがって、図12の(a)に示される例では、第1範囲W1は、0°〜180°の範囲であって、第2範囲W2は、180°〜360°の範囲である。
図12の(b)に示される規格化ヒストグラムS2は、ヒストグラムH2に基づいて生成された規格化ヒストグラムSの一例である。具体的には、規格化ヒストグラムS2は、ヒストグラムH2のうち最小の出現数に対応する120°〜130°の勾配方向平均値X2(図10の(b)参照)が原点となるように、ヒストグラムH2が並べ替えられることにより生成される。図12の(b)に示されるしきい値T2は、二値化処理(大津の二値化の処理)によって算出されたしきい値であって、160°である。したがって、図12の(b)に示される例では、第1範囲W1は、0°〜160°の範囲であって、第2範囲W2は、160°〜360°の範囲である。規格化ヒストグラムS1の分布は、偏りが少なく略一様であるのに対し、規格化ヒストグラムS2の分布は、しきい値T2を境界として、正規分布に類似した形状の2つの範囲(すなわち、第1範囲W1及び第2範囲W2)に分かれている。
ここで、部分画像I1に基づいた第1尖度は、図13の(a)に示されるように、規格化ヒストグラムS1のうち第1範囲W1における部分ヒストグラム(ヒストグラム)S11に対して上記式(6)を用いることにより算出される。部分画像I2に基づいた第1尖度は、図13の(b)に示されるように、規格化ヒストグラムS2のうち第1範囲W1における部分ヒストグラム(ヒストグラム)S21に対して上記式(6)を用いることにより算出される。
この例における部分ヒストグラムS11の第1尖度は、−1.16である。一方、この例における部分ヒストグラムS21の第1尖度は、−0.37である。つまり、ブレのない状態の部分画像I1に基づいて算出された第1尖度よりも、ブレのある状態の部分画像I2に基づいて算出された第1尖度の方がゼロに近い。換言すれば、ブレのない状態の部分画像I1に基づいて生成された第1範囲W1における部分ヒストグラムS11よりも、ブレのある状態の部分画像I2に基づいて生成された第1範囲W1における部分ヒストグラムS21の方が、正規分布に近い形で分布している。
また、部分画像I1に基づいた第2尖度は、図14の(a)に示されるように、規格化ヒストグラムS1のうち第2範囲W2における部分ヒストグラム(ヒストグラム)S12に対して上記式(6)を用いることにより算出される。部分画像I2に基づいた第2尖度は、図14の(b)に示されるように、規格化ヒストグラムS2のうち第2範囲W2における部分ヒストグラム(ヒストグラム)S22に対して上記式(6)を用いることにより算出される。
この例における部分ヒストグラムS12の第2尖度は、−1.17である。一方、この例における部分ヒストグラムS22の第2尖度は、−0.53である。つまり、上述した第1尖度と同様に、ブレのない状態の部分画像I1に基づいて算出された第2尖度よりも、ブレのある状態の部分画像I2に基づいて算出された第2尖度の方がゼロに近い。換言すれば、ブレのない状態の部分画像I1に基づいて生成された第2範囲W2における部分ヒストグラムS12よりも、ブレのある状態の部分画像I2に基づいて生成された第2範囲W2における部分ヒストグラムS22の方が、正規分布に近い形で分布している。
図3に示される画像検査処理のフローチャートの説明に戻る。続く工程では、第3算出部9により、ステップS107で算出された第1尖度及び第2尖度等に基づいて、定量値(第5評価値)が算出される(ステップS108)。ステップS108の処理については、図15のフローチャートを参照して詳細に説明する。
まず、第3算出部9により、第1評価値が算出される(ステップS401:第6工程)。第1評価値は、第1尖度と第2尖度との和と、第1尖度と第2尖度との差の絶対値と、の差の絶対値である。ここでは、第1尖度及び第2尖度は、計算の効率化のため、規格化ヒストグラムSが一様分布であった場合の尖度で減算された値である。ただし、第1尖度及び第2尖度は、規格化ヒストグラムSが一様分布であった場合の尖度で減算されていない値であってもよい。
続いて、第3算出部9により、第2評価値が算出される(ステップS402:第12工程)。第2評価値は、規格化ヒストグラムSの歪度の絶対値である。
本実施形態では、規格化ヒストグラムSの歪度は、下記式(7)が用いられることにより算出される。
Figure 2021064201
上記式(7)中、αは歪度を示す。なお、規格化ヒストグラムSの歪度は、第1尖度及び第2尖度とは異なり、規格化ヒストグラムS全体に対して算出される。
ここで、図12の(a)に示される規格化ヒストグラムS1に基づいた歪度は、−0.02である。一方、図12の(b)に示される規格化ヒストグラムS2に基づいた歪度は、0.21である。つまり、ブレのない状態の部分画像I1に基づいて算出された歪度よりも、ブレのある状態の部分画像I2に基づいて算出された歪度の方が大きい。換言すれば、ブレのない状態の部分画像I1に基づいて生成された規格化ヒストグラムS1よりも、ブレのある状態の部分画像I2に基づいて生成された規格化ヒストグラムS2の方が、分布に偏りがある。
続いて、第3算出部9により、第3評価値が算出される(ステップS403:第13工程)。第3評価値は、ステップS401で算出された第1評価値と、ステップS402で算出された第2評価値との差である。続いて、第3算出部9により、第4評価値が算出される(ステップS404:第15工程)。第4評価値は、ステップS105で算出された勾配の大きさの平均値で、ステップS403で算出された第3評価値を除算した値である。続いて、第3算出部9により、定量値(第5評価値)が算出される(ステップS405:第17工程)。定量値は、ステップS105で算出された勾配の分散値で、ステップS404で算出された第4評価値を乗算した値である。
図3に示される画像検査処理のフローチャートの説明に戻る。続く工程では、選択部4により、撮像画像CIのうち、全ての部分画像Iが選択されたか否かが判定される(ステップS109)。図4に示される例では、9枚の部分画像Iの全てが選択されたか否かが判定される。選択部4により、全ての部分画像Iが選択されていないと判定された場合(ステップS109:NO)、ステップS103に処理が戻される。
一方、選択部4により、全ての部分画像Iが選択されたと判定された場合(ステップS109:YES)、検査結果生成部10により、全ての部分画像Iの定量値に基づいた検査結果が生成される(ステップS110)。検査結果は、例えば、全ての部分画像Iの定量値の平均値である。ただし、検査結果は、これに限定されるものではなく、例えば、一部の部分画像Iの平均値であってもよい。一例として、検査結果は、全ての部分画像Iのうち最大の定量値を有する部分画像I及び最小の定量値を有する部分画像Iを除いた部分画像Iの平均値であってもよい。また、検査結果は、例えば、全ての部分画像Iの定量値の平均値と、予め定められたしきい値とを比較し、当該平均値がしきい値よりも高い場合に、撮像画像CIにブレがあると判定するようにしてもよい。続いて、出力部11により、ステップS110で生成された検査結果が出力装置105に出力される(ステップS111)。以上により、画像検査処理の動作が終了される。
次に、図16を参照して、コンピュータを画像検査装置1として機能させるための画像検査プログラムを説明する。
画像検査プログラムPR1は、メインモジュールPR11と、取得モジュールPR12と、切出モジュールPR13と、選択モジュールPR14と、抽出モジュールPR15と、第1算出モジュールPR16と、ヒストグラム生成モジュールPR17と、第2算出モジュールPR18と、第3算出モジュールPR19と、検査結果生成モジュールPR20と、出力モジュールPR21と、を含んでいる。
メインモジュールPR11は、画像検査装置1の動作を統括的に制御する部分である。メインモジュールPR11、取得モジュールPR12、切出モジュールPR13、選択モジュールPR14、抽出モジュールPR15、第1算出モジュールPR16、ヒストグラム生成モジュールPR17、第2算出モジュールPR18、第3算出モジュールPR19、検査結果生成モジュールPR20、及び出力モジュールPR21を実行することにより実現される機能は、それぞれ、取得部2、切出部3、選択部4、抽出部5、第1算出部6、ヒストグラム生成部7、第2算出部8、第3算出部9、検査結果生成部10、及び出力部11の機能と同様である。
画像検査プログラムPR1は、例えば、CD−ROM、DVD若しくはROM等のコンピュータが読み取り可能な記憶媒体又は半導体メモリによって提供される。また、画像検査プログラムPR1は、搬送波に重畳されたコンピュータデータ信号として、ネットワークを介して提供されてもよい。
以上説明したように、本実施形態に係る画像検査方法、画像検査装置1、及び画像検査プログラムPR1においては、選択特徴点Psを含む対象範囲Tに存在する特徴点Pの勾配方向の平均値である勾配方向平均値を設定する処理が、対象範囲Tに含まれる全ての特徴点Pに対して繰り返し実施されることにより、全ての特徴点Pのそれぞれについて、勾配方向平均値が算出される。また、勾配方向平均値の出現数の分布を示すヒストグラムHが生成される。さらに、勾配方向平均値の第1範囲W1におけるヒストグラムH(より詳細には、ヒストグラムHが並び替えられた規格化ヒストグラムS)の尖度である第1尖度と、第1範囲W1と異なる勾配方向平均値の第2範囲W2におけるヒストグラムH(より詳細には、ヒストグラムHが並び替えられた規格化ヒストグラムS)の尖度である第2尖度と、が算出される。また、第1尖度と第2尖度との和と、第1尖度と第2尖度との差の絶対値と、の差の絶対値である第1評価値が算出され、第1評価値に基づいた更なる第2評価値〜第4評価値の算出を経て、定量値が算出される。ヒストグラムHの生成から第1尖度及び第2尖度の算出までの過程では、ヒストグラムHのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムHを並べ替えることにより、規格化ヒストグラムSが生成される。そして、規格化ヒストグラムSが、二値化処理によって分割されることにより、勾配方向平均値の第1範囲W1及び第2範囲W2が定められる。
例えば、ブレのある部分画像I2(図5の(b)参照)を検査する場合、二値化処理によって規格化ヒストグラムSを第1範囲W1と第2範囲W2とに分割すると、第1範囲W1及び第2範囲W2のそれぞれが正規分布に類似した形状となる(図12の(b)参照)。したがって、ブレのある部分画像I2について算出された第1範囲W1についての第1尖度及び第2範囲W2についての第2尖度は、ブレのない部分画像I1に基づいて算出された第1尖度及び第2尖度と比較して高くなる。その結果、第1尖度及び第2尖度に基づいて算出される定量値は、部分画像Iのブレの有無及び程度に応じた値となる。これにより、撮像画像CIの状態(撮像画像CIのブレの有無及び程度)を定量的に評価することができる。よって、本実施形態に係る画像検査方法、画像検査装置1及び画像検査プログラムPR1によれば、撮像画像CIの状態を適切に検査することができる。
上述した効果は、例えば、画像の画素数及び撮像枚数の増加の傾向にある空中写真測量の分野において、特に有用である。これは、近年の空中写真測量の分野において、航空機に搭載されるカメラの高性能化、及び撮像対象地域の拡大化の背景による。すなわち、空中写真測量のために、画素数が非常に多い撮像画像CIを大量に画像検査しなければならない場合であっても、本実施形態に係る画像検査方法、画像検査装置1及び画像検査プログラムPR1によれば、撮像画像CIの輝度値に基づいて撮像画像CIの状態の評価値(定量値)を定量的に求めることができるため、画像検査処理の速度を向上させるとともに、撮像画像CIの状態を精度良く検査することができる。
また、本実施形態に係る画像検査方法においては、ヒストグラムHのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムHが並べ替えられることにより、規格化ヒストグラムSが生成され、規格化ヒストグラムSに対して二値化処理が実施される。これにより、ヒストグラムHの分布の態様にかかわらず、ヒストグラムHを第1範囲W1と第2範囲W2とに適切に分割することができる。
本実施形態に係る画像検査方法においては、切出部3によって、撮像画像CIのうち、予め定められた複数の範囲が等間隔に切り出される(ステップS102参照)。これにより、撮像画像CIのうち画像検査処理を実施する範囲を限定しつつ、撮像画像CIに含まれる建物、山間部等の様々な対象物が検査対象とすることができるため、画像検査処理の精度を保ちつつ、画像検査処理の処理速度の更なる向上を図ることができる。
本実施形態に係る画像検査方法においては、ステップS108は、規格化ヒストグラムSの歪度の絶対値である第2評価値を算出する工程(ステップS402)と、第1評価値と第2評価値との差である第3評価値を算出する工程(ステップS403)とを含んでいる。これにより、規格化ヒストグラムSの尖度に加え、規格化ヒストグラムSの歪度も用いて撮像画像CIの状態を評価するため、撮像画像CIの状態を高精度に検査することができる。
本実施形態に係る画像検査方法においては、ステップS105は、部分画像Iに含まれる全ての特徴点Pのそれぞれについて勾配の大きさを算出すると共に、勾配の大きさの平均値を算出する工程(ステップS203,S204)を含んでいる。また、ステップS108は、第3評価値を勾配の大きさの平均値で除算した値である第4評価値を算出する工程(ステップS404)を含んでいる。これにより、勾配の方向に加え、勾配の大きさも用いて撮像画像CIの状態を評価するため、撮像画像CIの状態を高精度に検査することができる。
上述した効果について補足する。ブレのある撮像画像CIは、一定の方向にずれて流れたように被写体が写っていることから、ブレのない撮像画像CIと比較して、勾配の大きさが小さい傾向にある。本実施形態に係る画像検査方法においては、勾配の大きさの平均値が用いられることにより第4評価値が算出されるため、撮像画像CIの状態をより高精度に検査することができる。
本実施形態に係る画像検査方法においては、ステップS105は、複数の特徴点Pのそれぞれについて勾配の分散値を算出する工程(ステップS204)を含んでいる。また、ステップS108は、第4評価値を勾配の分散値で乗算した値である第5評価値を算出する工程(ステップS405)を含んでいる。これにより、勾配の方向及び勾配の大きさに加え、勾配の分散値も用いて撮像画像CIの状態を評価するため、撮像画像CIの状態を高精度に検査することができる。
上述した効果について補足する。ブレのある撮像画像CIは、一定の方向にずれて流れたように被写体が写っていることから、勾配の大きさと同様に、ブレのない撮像画像CIと比較して、勾配の分散値が小さい傾向にある。本実施形態に係る画像検査方法においては、勾配の大きさが用いられることにより算出された第4評価値に対して、更に勾配の分散値が用いられることにより定量値が算出されるため、撮像画像CIの状態をより高精度に検査することができる。
ここで、図17〜図22に示されるグラフを用いて、第1評価値〜第5評価値の算出について説明する。図17〜図22に示されるグラフは、ブレのない部分画像I1及びブレのある部分画像I2を5枚ずつ本実施形態に係る画像検査方法で検査した結果を示している。図17に示されるグラフは、ステップS401の処理(図15参照)により算出された第1尖度と第2尖度との和と、勾配の大きさの平均値との関係が示されたグラフである。図18に示されるグラフは、ステップS401の処理(図15参照)により算出された第1尖度と第2尖度との差の絶対値と、勾配の大きさの平均値との関係が示されたグラフである。
図19に示されるグラフは、ステップS401の処理(図15参照)により算出された第1評価値(第1尖度と第2尖度との和と、第1尖度と第2尖度との差の絶対値と、の差の絶対値)と、勾配の大きさの平均値との関係が示されたグラフである。図17及び図18を参照すると、図17の横軸に示された値(第1尖度と第2尖度との和)及び図18のグラフの横軸に示された値(第1尖度と第2尖度との差の絶対値)では、ブレのない部分画像I1とブレのある部分画像I2との差別化が困難である。一方、図19を参照すると、ブレのない部分画像I1の第1評価値と比較して、ブレのある部分画像I2の第1評価値が高く、当該第1評価値がブレの有無及び程度の評価に有効であることがわかる。
図20に示されるグラフは、ステップS403の処理(図15参照)により算出された第3評価値(第1評価値と、第2評価値との差)と、勾配の大きさの平均値との関係が示されたグラフである。図20を参照すると、図19と同様に、ブレのない部分画像I1の第3評価値と比較して、ブレのある部分画像I2の第3評価値が高く、当該第3評価値がブレの有無及び程度の評価に有効であることがわかる。
図21に示されるグラフは、ステップS404の処理(図15参照)により算出された第4評価値(勾配の大きさの平均値で、第3評価値を除算した値)と、勾配の大きさの平均値との関係が示されたグラフである。図21を参照すると、図19及び図20と同様に、ブレのない部分画像I1の第4評価値と比較して、ブレのある部分画像I2の第4評価値が高く、当該第4評価値がブレの有無及び程度の評価に有効であることがわかる。
図22に示されるグラフは、ステップS405の処理(図15参照)により算出された定量値(勾配の分散値で、第4評価値を乗算した値(第5評価値))と、勾配の大きさの平均値との関係が示されたグラフである。図22を参照すると、図19〜図21と同様に、ブレのない部分画像I1の定量値と比較して、ブレのある部分画像I2の定量値が高く、当該定量値がブレの有無及び程度の評価に有効であることがわかる。以上のように、本実施形態に係る画像検査方法によれば、撮像画像(本実施形態では、部分画像I)の状態の評価値である定量値を算出することにより、撮像画像の状態を定量的に評価することができるといえる。
以上の実施形態は、本発明の一形態を説明したものである。したがって、本発明は上述した形態に限定されることなく、任意に変更され得る。
例えば、上述した実施形態の画像検査処理では、第1評価値から第4評価値までの算出を経て、定量値が更に算出され、定量値に基づいて検査結果が生成された。しかし、画像検査処理では、例えば、第1評価値を撮像画像CIの評価値としてもよい。これによっても、図19に参照されるように、第1尖度及び第2尖度に基づいて算出される第1評価値が、撮像画像CIのブレの有無及び程度に応じた値となるため、撮像画像CIの状態を定量的に評価することができる。また、画像検査処理では、図20に参照されるように第3評価値を撮像画像CIの評価値としてもよく、また、図21に参照されるように第4評価値を撮像画像CIの評価値としてもよい。
上述した実施形態では、抽出範囲B内の画素の輝度値に基づいて特徴点Pを抽出する抽出処理を例示した。しかし、特徴点Pの抽出処理は、上述した実施形態に限定されるものではない。一例として、特徴点Pは、輝度値以外の画素値に基づいて抽出されてもよい。例えば、特徴点Pは、画素の明度に基づいて抽出されてもよい。
上述した実施形態の画像検査処理では、1枚の撮像画像CIから9枚の部分画像Iが切り出されたが、切り出される範囲及び切り出される箇所については、いずれも本実施形態の態様に限定されるものではない。また、画像検査処理では、撮像画像CIから部分画像Iを切り出す処理を実施せず、撮像画像CI全体に対して特徴点Pを抽出してもよい。また、画像検査処理では、部分画像I内の各画素に対して勾配の大きさ及び勾配方向を算出してから、選択特徴点Psを中心とした対象範囲Tに対して勾配の大きさ及び勾配方向を抽出するようにしてもよい。
1…画像検査装置、2…取得部、5…抽出部、6…第1算出部、7…ヒストグラム生成部(生成部)、8…第2算出部、9…第3算出部、CI…撮像画像、H,H1,H2…ヒストグラム、I,I1,I2…部分画像(撮像画像)、P…特徴点、PR1…画像検査プログラム、PR12…取得モジュール、PR15…抽出モジュール、PR16…第1算出モジュール、PR17…ヒストグラム生成モジュール、PR18…第2算出モジュール、PR19…第3算出モジュール、S,S1,S2…規格化ヒストグラム、S11,S12,S21,S22…部分ヒストグラム(ヒストグラム)、T…対象範囲(所定の範囲)、W1…第1範囲、W2…第2範囲、X1,X2…勾配方向平均値。

Claims (6)

  1. 撮像画像を取得する第1工程と、
    前記撮像画像において複数の特徴点を抽出する第2工程と、
    複数の前記特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第3工程と、
    前記勾配方向平均値の出現数の分布を示すヒストグラムを生成する第4工程と、
    前記勾配方向平均値の第1範囲における前記ヒストグラムの尖度である第1尖度と、前記第1範囲と異なる前記勾配方向平均値の第2範囲における前記ヒストグラムの尖度である第2尖度と、を算出する第5工程と、
    前記第1尖度と前記第2尖度との和と、前記第1尖度と前記第2尖度との差の絶対値と、の差の絶対値である第1評価値を算出する第6工程と、
    を備え、
    前記第3工程は、
    一の前記特徴点に対して、当該一の特徴点を含む所定の範囲を設定する第7工程と、
    前記所定の範囲に含まれる前記特徴点の前記勾配方向平均値を算出する第8工程と、
    前記第8工程で算出した前記勾配方向平均値を当該一の特徴点の前記勾配方向平均値として設定する第9工程と、
    を含み、前記第7工程、前記第8工程、及び、前記第9工程を複数の前記特徴点に対して繰り返し実施することにより、複数の前記特徴点のそれぞれについて前記勾配方向平均値を算出し、
    前記第5工程は、
    前記ヒストグラムのうち最少の前記出現数に対応する前記勾配方向平均値が原点となるように前記ヒストグラムを並べ替えることにより、規格化ヒストグラムを生成する第10工程と、
    前記規格化ヒストグラムを、二値化処理によって前記勾配方向平均値の前記第1範囲及び前記第2範囲に分割する第11工程と、
    を含む、
    画像検査方法。
  2. 前記第6工程は、前記規格化ヒストグラムの歪度の絶対値である第2評価値を算出する第12工程と、前記第1評価値と前記第2評価値との差である第3評価値を算出する第13工程とを含む、
    請求項1に記載の画像検査方法。
  3. 前記第3工程は、複数の前記特徴点のそれぞれについて勾配の大きさを算出すると共に、前記勾配の大きさの平均値を算出する第14工程を含み、
    前記第6工程は、前記第3評価値を前記勾配の大きさの平均値で除算した値である第4評価値を算出する第15工程を含む、
    請求項2に記載の画像検査方法。
  4. 前記第3工程は、複数の前記特徴点のそれぞれについて勾配の分散値を算出する第16工程を含み、
    前記第6工程は、前記第4評価値を前記勾配の分散値で乗算した値である第5評価値を算出する第17工程を含む、
    請求項3に記載の画像検査方法。
  5. 撮像画像を取得する取得部と、
    前記撮像画像において複数の特徴点を抽出する抽出部と、
    複数の前記特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第1算出部と、
    前記勾配方向平均値の出現数の分布を示すヒストグラムを生成する生成部と、
    前記勾配方向平均値の第1範囲における前記ヒストグラムの尖度である第1尖度と、前記第1範囲と異なる前記勾配方向平均値の第2範囲における前記ヒストグラムの尖度である第2尖度と、を算出する第2算出部と、
    前記第1尖度と前記第2尖度との和と、前記第1尖度と前記第2尖度との差の絶対値と、の差の絶対値である第1評価値を算出する第3算出部と、
    を備え、
    前記第1算出部は、
    一の前記特徴点に対して、当該一の特徴点を含む所定の範囲を設定し、前記所定の範囲に含まれる前記特徴点の前記勾配方向平均値を算出し、算出した前記勾配方向平均値を当該一の特徴点の前記勾配方向平均値として設定する処理を、複数の前記特徴点に対して繰り返し実施することにより、複数の前記特徴点のそれぞれについて前記勾配方向平均値を算出し、
    前記第2算出部は、
    前記ヒストグラムのうち最少の前記出現数に対応する前記勾配方向平均値が原点となるように前記ヒストグラムを並べ替えることにより、規格化ヒストグラムを生成し、前記規格化ヒストグラムを、二値化処理によって前記勾配方向平均値の前記第1範囲及び前記第2範囲に分割する、
    画像検査装置。
  6. コンピュータを、
    撮像画像を取得する取得部、
    前記撮像画像において複数の特徴点を抽出する抽出部、
    複数の前記特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第1算出部、
    前記勾配方向平均値の出現数の分布を示すヒストグラムを生成する生成部、
    前記勾配方向平均値の第1範囲における前記ヒストグラムの尖度である第1尖度と、前記第1範囲と異なる前記勾配方向平均値の第2範囲における前記ヒストグラムの尖度である第2尖度と、を算出する第2算出部、及び、
    前記第1尖度と前記第2尖度との和と、前記第1尖度と前記第2尖度との差の絶対値と、の差の絶対値である第1評価値を算出する第3算出部として機能させ、
    前記第1算出部は、
    一の前記特徴点に対して、当該一の特徴点を含む所定の範囲を設定し、前記所定の範囲に含まれる前記特徴点の前記勾配方向平均値を算出し、算出した前記勾配方向平均値を当該一の特徴点の前記勾配方向平均値として設定する処理を、複数の前記特徴点に対して繰り返し実施することにより、複数の前記特徴点のそれぞれについて前記勾配方向平均値を算出し、
    前記第2算出部は、
    前記ヒストグラムのうち最少の前記出現数に対応する前記勾配方向平均値が原点となるように前記ヒストグラムを並べ替えることにより、規格化ヒストグラムを生成し、前記規格化ヒストグラムを、二値化処理によって前記勾配方向平均値の前記第1範囲及び前記第2範囲に分割する、
    画像検査プログラム。

JP2019188777A 2019-10-15 2019-10-15 画像検査方法、画像検査装置、及び画像検査プログラム Active JP6716769B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019188777A JP6716769B1 (ja) 2019-10-15 2019-10-15 画像検査方法、画像検査装置、及び画像検査プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019188777A JP6716769B1 (ja) 2019-10-15 2019-10-15 画像検査方法、画像検査装置、及び画像検査プログラム

Publications (2)

Publication Number Publication Date
JP6716769B1 JP6716769B1 (ja) 2020-07-01
JP2021064201A true JP2021064201A (ja) 2021-04-22

Family

ID=71131602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019188777A Active JP6716769B1 (ja) 2019-10-15 2019-10-15 画像検査方法、画像検査装置、及び画像検査プログラム

Country Status (1)

Country Link
JP (1) JP6716769B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034481A (zh) * 2021-04-02 2021-06-25 广州绿怡信息科技有限公司 设备图像模糊检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296706A (ja) * 2002-04-05 2003-10-17 Asahi Koyo Kk 建物抽出方法及び装置並びにサンプルデータのベクトル化方法及び装置
JP2011203827A (ja) * 2010-03-24 2011-10-13 Canon Inc 画像処理装置および方法
JP2011248525A (ja) * 2010-05-25 2011-12-08 Kyushu Institute Of Technology 物体の検出装置及びその検出方法
WO2017104713A1 (ja) * 2015-12-14 2017-06-22 ヤマハ発動機株式会社 ヴィークル用ロール角推定システム、ヴィークル、ヴィークル用ロール角推定方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296706A (ja) * 2002-04-05 2003-10-17 Asahi Koyo Kk 建物抽出方法及び装置並びにサンプルデータのベクトル化方法及び装置
JP2011203827A (ja) * 2010-03-24 2011-10-13 Canon Inc 画像処理装置および方法
JP2011248525A (ja) * 2010-05-25 2011-12-08 Kyushu Institute Of Technology 物体の検出装置及びその検出方法
WO2017104713A1 (ja) * 2015-12-14 2017-06-22 ヤマハ発動機株式会社 ヴィークル用ロール角推定システム、ヴィークル、ヴィークル用ロール角推定方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
篠原 靖典 ほか: "ウェーブレット変換とニューラルネットワークを用いたテクスチャ画像の領域分割", 電気学会論文誌C, vol. 119, no. 11, JPN6019049599, 1 December 1999 (1999-12-01), JP, pages 1554 - 1560, ISSN: 0004271882 *

Also Published As

Publication number Publication date
JP6716769B1 (ja) 2020-07-01

Similar Documents

Publication Publication Date Title
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN112001902A (zh) 缺陷检测方法和相关装置、设备、存储介质
CN111815707B (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN111222395A (zh) 目标检测方法、装置与电子设备
US8422827B2 (en) Image correction apparatus and image correction method
EP3668077B1 (en) Image processing system, server device, image processing method, and image processing program
US8942509B2 (en) Apparatus and method creating ghost-free high dynamic range image using filtering
CN109102026B (zh) 一种车辆图像检测方法、装置及系统
EP3998582A1 (en) Three-dimensional model generation method and three-dimensional model generation device
Lee et al. A new image-quality evaluating and enhancing methodology for bridge inspection using an unmanned aerial vehicle
Shostko et al. Optical-electronic system of automatic detection and higt-precise tracking of aerial objects in real-time.
JP2020088647A (ja) 情報処理装置、情報処理方法及びプログラム
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
JP6716769B1 (ja) 画像検査方法、画像検査装置、及び画像検査プログラム
US20190172226A1 (en) System and method for generating training images
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
WO2020158726A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5754931B2 (ja) 画像解析装置、画像解析方法及びプログラム
JP4452793B2 (ja) 不法投棄箇所検知装置、方法、およびプログラム
EP4124015A1 (en) Information processing device, information processing method, and information processing program
KR102263029B1 (ko) 화재 피해를 입은 구조물의 위험도 추정 방법
JP2004240909A (ja) 画像処理装置及び画像処理方法
JP6301202B2 (ja) 撮影条件設定装置および撮影条件設定方法
JP2018049396A (ja) 形状推定方法、形状推定装置および形状推定プログラム
JP2007241418A (ja) テンプレートマッチング装置

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20191029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191209

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200610

R150 Certificate of patent or registration of utility model

Ref document number: 6716769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250