JP2019148921A - 異常判定装置、異常判定方法及び異常判定プログラム - Google Patents

異常判定装置、異常判定方法及び異常判定プログラム Download PDF

Info

Publication number
JP2019148921A
JP2019148921A JP2018032432A JP2018032432A JP2019148921A JP 2019148921 A JP2019148921 A JP 2019148921A JP 2018032432 A JP2018032432 A JP 2018032432A JP 2018032432 A JP2018032432 A JP 2018032432A JP 2019148921 A JP2019148921 A JP 2019148921A
Authority
JP
Japan
Prior art keywords
code amount
image
manhole cover
determination
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018032432A
Other languages
English (en)
Other versions
JP7092989B2 (ja
Inventor
基宏 高木
Motohiro Takagi
基宏 高木
和也 早瀬
Kazuya Hayase
和也 早瀬
暁経 三反崎
Akinori Misorizaki
暁経 三反崎
清水 淳
Atsushi Shimizu
淳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018032432A priority Critical patent/JP7092989B2/ja
Priority to US16/971,762 priority patent/US11436740B2/en
Priority to PCT/JP2019/006105 priority patent/WO2019163776A1/ja
Publication of JP2019148921A publication Critical patent/JP2019148921A/ja
Application granted granted Critical
Publication of JP7092989B2 publication Critical patent/JP7092989B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02DFOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D29/00Independent underground or underwater structures; Retaining walls
    • E02D29/12Manhole shafts; Other inspection or access chambers; Accessories therefor
    • E02D29/14Covers for manholes or the like; Frames for covers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Structural Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Paleontology (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Underground Structures, Protecting, Testing And Restoring Foundations (AREA)
  • Image Analysis (AREA)

Abstract

【課題】マンホールの蓋が撮影された画像を対象とした演算処理に要する時間的なコストを減少させること。【解決手段】少なくともマンホールの蓋が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析する解析部と、前記解析部の解析結果に基づき前記マンホールの蓋の異常の有無を判定する判定部と、を備える異常判定装置。【選択図】図1

Description

本発明は、異常判定装置、異常判定方法及び異常判定プログラムに関する。
近年、社会インフラの点検や保守の自動化の必要性が高まっている。例えば、通信土木設備である電信柱やマンホールの点検などにおいても自動化の動きがある。例えば、マンホールの蓋は、道路上にあることが多いため、車両の通行に影響がないよう定期的に点検や保守を行う必要がある。
従来は、作業員が対象のマンホールに近づき、例えば、ノギス等を用いて、蓋の摩耗状態等の測定や確認をしていた。これに対して、近年、少し離れたところから、設置されているマンホールの蓋をデジタルカメラで撮影した画像を用いて、蓋の摩耗、蓋のがたつきといった異常を判定することが行われている(例えば、非特許文献1参照)。
「段サーチ2」、[online]、アイレック技建、[平成30年2月2日検索]、インターネット(URL:http://www.airec.co.jp/products/renovation/StepSearch2.html)
非特許文献1に示される技術では、設置されたマンホールの蓋が撮影された画像の画像情報を符号化して保存していることが想定される。そして、画像の解析を行う際には、符号化された情報から画像を復号し、画像の個々の領域に含まれる特徴の抽出を行う特徴抽出や判別といった一般的な画像を対象とした演算処理を行っていると想定される。そのため、対象とするマンホールの数が増大した場合、それに伴い、演算処理に要する時間的なコストが膨大になるという問題があった。
上記事情に鑑み、本発明は、マンホールの蓋が撮影された画像を対象とした演算処理に要する時間的なコストを減少させることができる技術の提供を目的としている。
本発明の一態様は、少なくともマンホールの蓋が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析する解析部と、前記解析部の解析結果に基づき前記マンホールの蓋の異常の有無を判定する判定部と、を備える異常判定装置である。
本発明の一態様は、上記の異常判定装置であって、前記特徴量は、前記画像を分割した分割画像ごとの符号量である。
本発明の一態様は、上記の異常判定装置であって、前記解析部は、前記符号量の分布に基づいて前記特徴量の解析を行う。
本発明の一態様は、上記の異常判定装置であって、前記符号量の分布とは、前記符号量を変量とし、変量の値を予め定められる一定間隔で区切った区間の各々に属する前記分割画像を含む情報である分割画像情報の個数を示すヒストグラムであり、前記解析部は、前記符号量の分布に基づいて、最小の符号量が含まれる前記区間の前記分割画像情報の個数と、前記符号量が、予め定められる一定量以上となる前記分割画像情報の個数の割合とを判定用のスコアとして算出し、前記判定部は、予め定められる閾値と、前記判定用のスコアとに基づいて、前記マンホールの蓋が異常を有するか否かを判定する。
本発明の一態様は、上記の異常判定装置であって、前記異常は、前記マンホールの蓋が摩耗していること、水漏れがあること、ひび割れがあること、前記マンホールの蓋が外れていることのいずれか1つ又は複数である。
本発明の一態様は、上記の異常判定装置であって、前記画像は、前記マンホールの蓋が、所望の被写体に置き換えられた画像である。
本発明の一態様は、少なくともマンホールの蓋が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析するステップと、解析した解析結果に基づき前記マンホールの蓋の異常の有無を判定するステップと、を含む異常判定方法である。
本発明の一態様は、コンピュータを、上記に記載の異常判定装置として機能させるための異常判定プログラムである。
本発明により、マンホールの蓋が撮影された画像を対象とした演算処理に要する時間的なコストを減少させることが可能となる。
本発明の実施形態による異常判定装置の構成を示すブロック図である。 同実施形態の異常判定装置が適用される異常検出システムの構成を示すブロック図である。 同実施形態において撮像装置により撮影されるマンホールの蓋の画像を含んだ撮影画像情報の例である。 同実施形態において撮像装置により撮影される撮影画像情報に含まれる矩形画像情報を示す図である。 同実施形態における撮影画像情報の分割と、分割画像情報ごとの符号量を含む二次元行列とを示す図である。 同実施形態における異常判定装置による処理の流れを示すフローチャートである。 同実施形態における符号量分布生成処理の流れを示すフローチャートである。 同実施形態における矩形画像情報の領域と二次元行列の範囲との対応関係を説明する図である。 同実施形態の符号量分布生成処理において生成される符号量ヒストグラムの例を示す図である。 同実施形態における判定用スコア算出処理の流れを示すフローチャートである。 同実施形態におけるスコア判定処理の流れを示すフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。図1は、本発明の一実施形態による異常判定装置1の構成を示すブロック図である。異常判定装置1は、位置情報入力部10、符号化情報入力部11、スコア閾値入力部12、解析部13及び判定部14を備える。
異常判定装置1は、例えば、図2に示すようなマンホールの蓋100の異常を検出する異常検出システムAに用いられる装置である。異常検出システムAは、撮像装置3、画像処理装置2及び異常判定装置1を備える。異常検出システムAは、以下のようにして用いられる。
まず、異常検出システムAを利用する作業者1000が、デジタルカメラ等の撮像装置3を用いて、少し離れた位置から道路上に設置されているマンホールの蓋100を静止画像で撮影する。作業者1000は、撮影後に撮像装置3を画像処理装置2に接続する。画像処理装置2は、接続される撮像装置3から撮影されたマンホールの蓋100の画像を含んだ撮影画像情報200を取り込む。取り込んだ撮影画像情報200に含まれるマンホールの蓋100の画像は、例えば、図3(a),(b)に示すように、少し離れた位置から撮影しているために、楕円の形状になる。なお、図3(a),(b)の画像は一例にすぎず、撮影する位置により、マンホールの蓋100の画像は、長径と短径が等しい円を含む様々な楕円の形状となる。
画像処理装置2は、取り込んだ撮影画像情報200に対して画像処理を適用し、例えば、図4に示すように、撮影画像情報200からマンホールの蓋100の画像を含む矩形領域の矩形画像情報300を検出する。矩形領域は、図4に示すように、楕円形状のマンホールの蓋100の画像の円周に接する線分で囲まれる領域であり、矩形の縦横の長さが、楕円の短径と長径の長さに一致する。
画像処理装置2は、抽出した矩形画像情報300から4つの頂点v1,v2,v3,v4の座標情報を検出し、検出した4つの座標情報をマンホールの蓋100の画像の撮影画像情報200における位置情報として検出する。なお、画像処理装置2は、矩形画像情報300から4つの頂点v1,v2,v3,v4の座標情報の検出を行う前に、矩形画像情報300の縦方向の辺が、Y軸と平行になり、横方向の辺が、X軸と平行になるように撮影画像情報200を回転させて位置の補正を行うものとする。これにより、図4に示すような関係を有する4つの頂点v1,v2,v3,v4の座標情報が得られることになる。
また、画像処理装置2は、位置を補正した後の撮影画像情報200に対して、例えば、H.265/HVEC(High Efficiency Video Coding)に基づく符号化処理を行い、符号化処理によって得られる符号化情報を出力する。符号化情報には、例えば、CU(Coding Unit)ごとの符号量、CUの大きさを示すCUサイズ、符号化処理に適用したイントラ予測モード、有意係数の個数、有意係数のビン等の情報が含まれる。
ここで、CUとは、例えば、図5(a)に示すように、撮影画像情報200を、予め定められるサイズのブロックに分割した分割画像情報200−1−1,200−1−2,200−1−3,…のことである。例えば、撮影画像情報200が、480×320の画素数を有する場合、CUサイズを16×16の固定サイズとすると、CUの数は、30×20=600になる。この場合、画像処理装置2は、符号化処理の結果として、600個の符号量の情報を出力する。
画像処理装置2は、符号量の情報を出力する際、符号量の情報を図5(b)に示すように、二次元行列の形式で出力する。分割画像情報200−1−1,200−1−2,200−1−3,…と、二次元行列の各要素との関係は、例えば、図5に示す例では、図5(b)の1行1列の要素「2」が、分割画像情報200−1−1の符号量に対応し、1行2列の要素「3」が、分割画像情報200−1−2の符号量に対応し、1行3列の要素「4」が、分割画像情報200−1−3の符号量に対応し、2行1列の要素「1」が、分割画像情報200−2−1の符号量に対応する。以下の説明において、CUごとの符号量を要素とする二次元行列情報を符号量行列という。
図1に戻り、異常判定装置1の位置情報入力部10は、画像処理装置2が出力するマンホールの蓋100の撮影画像情報200における位置を示す位置情報、すなわち矩形画像情報300の4つの頂点の座標情報を取り込む。位置情報入力部10は、取り込んだ矩形画像情報300の4つの頂点の座標情報を解析部13の符号量分布生成部20に出力する。
符号化情報入力部11は、画像処理装置2が出力する符号化情報を取り込み、取り込んだ符号化情報に含まれるCUサイズの情報及び符号量行列を解析部13の符号量分布生成部20に出力する。
スコア閾値入力部12は、外部から与えられるスコアの判定に用いられる閾値情報を取り込み、取り込んだ閾値情報を判定部14に出力する。
解析部13は、符号量分布生成部20と判定用スコア算出部21を備えており、撮影画像情報200に含まれる画像の模様に係る特徴量を解析する。なお、本実施形態では、特徴量として符号量を用いる場合について記載するが、画像の模様を示す特徴量であれば他の特徴量でもよい。符号量分布生成部20は、位置情報入力部10が出力する矩形画像情報300の4つの頂点の座標情報と、符号化情報入力部11が出力するCUサイズ及び符号量行列とに基づいて、符号量の分布を示す情報を生成する。判定用スコア算出部21は、符号量分布生成部20が生成した符号量の分布を示す情報に基づいて、マンホールの蓋100の摩耗状態の判定に用いられる判定用のスコアを算出する。
判定部14は、スコア閾値入力部12が出力する閾値情報を用いて、判定用スコア算出部21が算出したスコアの判定を行い、マンホールの蓋100の異常の有無を判定する。具体的には、判定部14は、マンホールの蓋100が摩耗しているか否かを判定する。
(異常判定装置による処理)
次に、図6から図11を参照して、異常判定装置1による処理の流れについて説明する。図6は、異常判定装置1による処理の全体的な流れを示すフローチャートである。異常判定装置1の位置情報入力部10は、画像処理装置2が出力する撮影画像情報200におけるマンホールの蓋100の画像の位置情報、すなわち矩形画像情報300の4つの頂点の座標情報を取り込む。位置情報入力部10は、取り込んだ矩形画像情報300の4つの頂点の座標情報を解析部13の符号量分布生成部20に出力する。
符号化情報入力部11は、画像処理装置2が出力する符号化情報を取り込む。符号化情報入力部11は、取り込んだ符号化情報に含まれるCUサイズの情報と符号量行列を解析部13の符号量分布生成部20に出力する(ステップS1)。
解析部13の符号量分布生成部20が、図7に示すサブルーチンを呼び出し、符号量分布を生成する処理を開始する(ステップS2)。符号量分布生成部20は、位置情報入力部10が出力する矩形画像情報300の4つの頂点の座標情報と、符号化情報入力部11が出力するCUサイズの情報及び符号量行列とを取り込む(ステップSa1)。
符号量分布生成部20は、矩形画像情報300の4つの頂点の座標情報と、CUサイズとに基づいて、矩形画像情報300の領域に対応する符号量行列の範囲を検出する。例えば、図8(a)に示すように撮影画像情報200が、480×320の画素数を有しており、矩形画像情報300の4つの頂点v1、v2、v3、v4の座標情報が、それぞれ(48,32),(304,32),(304,176),(48,176)であるとする。
ここで、CUサイズが16×16であるとすると、図8(b)に示す符号量行列の全体の大きさは、撮影画像情報200のサイズが、480×320であるため、30行×20列になる。符号量分布生成部20は、矩形画像情報300の4つの頂点v1、v2、v3、v4の座標情報の各々に含まれるX座標の値とY座標の値を、CUサイズで除算して商の値を算出する。図8(a)の例では、符号量分布生成部20は、頂点v1、v2、v3、v4の各々について、(3,2),(19,2),(19,11),(3,11)の4つの座標情報を算出する。
除算により得られる商の値に基づいて定められる座標情報は、矩形画像情報300の領域に対応する符号量行列の範囲を示すことになる。ただし、矩形画像情報300の座標系は、原点が(0,0)となっているため、以下のような数値の補正が必要になる。例えば、矩形画像情報300の左上のCUの符号量を要素とする符号量行列の位置は、頂点v1に対応する(3,2)の各々の座標値に「1」を加えた(4,3)、すなわち符号量行列の4行3列の位置になる。残りの(19,2),(19,11),(3,11)は、それぞれ(19,3),(19,11),(4,11)に補正されることになる。
したがって、符号量分布生成部20は、符号量行列の4行3列、19行3列、19行11列、4行11列の範囲400を、矩形画像情報300に対応する符号量行列の範囲として検出する(ステップSa2)。
符号量分布生成部20は、検出した符号量行列の範囲からCUごとの符号量を読み出す(ステップSa3)。符号量分布生成部20は、符号量をヒストグラムの変量とし、符号量の値の範囲を予め定められる一定間隔で区切り、各区間に含まれるCUの数をカウントして符号量ヒストグラムを生成する(ステップSa4)。以下の説明において、区間のことをビンという。
例えば、図9は、予め定められる一定間隔の大きさを「20」として、ビンごとに含まれるCUの数をカウントして生成した符号量ヒストグラムをグラフ形式で示した図である。符号量分布生成部20は、生成した符号量ヒストグラムを判定用スコア算出部21に出力して、符号量分布の生成処理のサブルーチンを終了する(ステップSa5)。
図6に戻り、解析部13の判定用スコア算出部21が、図10に示すサブルーチンを呼び出し、マンホールの蓋100の摩耗状態の判定に用いられる判定用スコアを算出する処理を開始する(ステップS3)。
判定用スコア算出部21は、符号量分布生成部20が出力した符号量ヒストグラムを取り込む(ステップSb1)。判定用スコア算出部21は、取り込んだ符号量ヒストグラムにおいて、最小のビンのCUの数を判定用スコアbとして検出する(ステップSb2)。例えば、図9の例の場合、最小のビンの範囲は、「0」から「20」であり、当該ビンのCUの数を判定用スコアbとして検出する。
判定用スコア算出部21は、符号量ヒストグラムにおいて、符号量が予め定められる一定量以上のCUの数の割合を判定用スコアbとして算出する(ステップSb3)。例えば、図9の例において、予め定められる一定量以上が「100」である場合、判定用スコア算出部21は、符号量が「100」以上のビンの各々に含まれる全てのCUの数をカウントして算出する。判定用スコア算出部21は、算出した符号量が「100」以上のCUの数を、符号量ヒストグラムに含まれるCUの全数で除算して、符号量が「100」以上のCUの数の割合を算出し、算出した割合の値を判定用スコアbとする。
判定用スコア算出部21は、判定用スコアb,bと、符号量ヒストグラムとを判定部14に出力して、判定用スコア算出処理のサブルーチンを終了する(ステップSb4)。
図6に戻り、判定部14が、図11に示すサブルーチンを呼び出し、スコア閾値入力部12が出力する閾値情報を用いて、判定用スコア算出部21が算出した判定用スコアb,bの判定を行うスコア判定処理を開始する(ステップS4)。判定部14は、判定用スコア算出部21が出力する判定用スコアb,b及び符号量ヒストグラムを取り込む(ステップSc1)。
判定部14は、スコア閾値入力部12が出力する閾値情報を取り込み、取り込んだ閾値情報に含まれる3つの閾値th、閾値th、閾値thを読み出す(ステップSc2)。なお、ステップSc1とステップSc2の処理は、処理の順番が入れ替わってもよい。
閾値th、閾値thは、判定用スコアbの判定に用いられるため、符号量の取り得る値の最小値から最大値までの間の値であって、閾値th>閾値thの関係を有するように予め定められる。また、閾値thは、判定用スコアbの判定に用いられるため、百分率等の割合を示す値が予め定められる。
判定部14は、判定用スコアbの値が、閾値thを超えているか否かを判定する(ステップSc3)。判定部14は、判定用スコアbの値が閾値thを超えていると判定した場合(ステップSc3−YES)、マンホールの蓋100が「摩耗している」として判定結果を出力する(ステップSc6)。
一方、判定部14は、判定用スコアbの値が閾値thを超えていないと判定した場合(ステップSc3−NO)、次に、判定用スコアbの値が、符号量ヒストグラムの各ビンのCUの数の中の最大値であって、かつ判定用スコアbが閾値thを超えているか否かを判定する(ステップSc4)。判定部14は、判定用スコアbの値が、符号量ヒストグラムの各ビンのCUの数の中の最大値であって、かつ判定用スコアb1が閾値thを超えていると判定した場合(ステップSc4−YES)、マンホールの蓋100が「摩耗している」として判定結果を出力する(ステップSc6)。
一方、判定部14は、判定用スコアbの値が、符号量ヒストグラムの各ビンのCUの数の中の最大値でないか、または判定用スコアb1が閾値thを超えていないと判定した場合(ステップSc4−NO)、次に、判定用スコアbの値が、閾値thを超えているか否かを判定する(ステップSc5)。
判定部14は、判定用スコアbの値が、閾値thを超えていると判定した場合(ステップSc5−YES)、マンホールの蓋100が「摩耗している」として判定結果を出力する(ステップSc6)。一方、判定部14は、判定用スコアbの値が、閾値thを超えていないと判定した場合(ステップSc5−NO)、マンホールの蓋100が「摩耗していない」として判定結果を出力する(ステップSc7)。
ここで、閾値情報に含まれる3つの閾値th、閾値th、閾値thについて説明する。判定用スコアbは、符号量ヒストグラムにおける最小のビンに含まれるCUの数であり、当該ビンのCUの数が多いということは、符号量の少ないCUが多いということになる。符号量の少ないCUが多いということは、矩形画像情報300に含まれる模様に係る特徴量のうちのコントラストが低くなっており、平坦な感じを示すテクスチャが多く含まれている状態になっていることを意味する。
例えば、図3(b)に示すように、マンホールの蓋100の表面が削られて摩耗している場合には、模様のコントラストが低くなっており平坦な感じを示すテクスチャが多く含まれることになる。したがって、判定用スコアbに基づいて、平坦な感じを示すテクスチャが多く含まれているか否かを判定することにより、マンホールの蓋100が摩耗しているか否かを判定することができることになる。
閾値thは、以下のようにして定めることができる。例えば、明らかに摩耗しているマンホールの蓋100の画像を含む矩形画像情報300から得られる最小のビンのCUの数のサンプルと、明らかに摩耗していないマンホールの蓋100の画像を含む矩形画像情報300から得られる最小のビンのCUの数のサンプルとを取得する。取得したサンプル間の境界値を検出し、この境界値、または境界値の付近の値を閾値thとして定める。このようにして閾値thを定めて、上記のステップSc3の判定処理を行うことにより、摩耗しているマンホールの蓋100を抽出することが可能となる。
また、判定用スコアbが、符号量ヒストグラムの各ビンのCUの数の中で最大値となっている場合、全体の符号量の分布として、符号量が小さい方に集中している分布となり、この場合も全体的に平坦な感じを示すテクスチャが多い状態であると推測することができる。したがって、ステップSc3では抽出できなかった摩耗しているマンホールの蓋100を抽出するために、上記の通り閾値th>閾値thの関係を有する閾値thを定めて、ステップSc4の判定処理を行うことにより、摩耗しているマンホールの蓋100を抽出することができる。
換言すると、ステップSc3の判定処理は、摩耗している度合いの高いマンホールの蓋100を抽出することができるのに対して、ステップSc4の判定処理は、ステップSc3よりも摩耗している度合いが低いものの、明らかに摩耗していないマンホールの蓋100と比べると摩耗が進んでいるマンホールの蓋100を抽出することができる。
判定用スコアbは、符号量が予め定められる一定量以上のCUの数の割合を示しており、判定用スコアbの値が小さい場合、矩形画像情報300に符号量の大きいCUが多く含まれていないことを意味する。そのため、この場合も符号量が小さい方が多い分布となっているため、全体的に平坦な感じを示すテクスチャが多い状態であると推測することができる。したがって、閾値thを適切な値に定めることで、ステップSc3やステップSc4において抽出できなかった、摩耗しているマンホールの蓋100を抽出することができることになる。
上記の実施形態の構成では、異常判定装置1の解析部13が、少なくともマンホールの蓋100が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析する。判定部14は、解析部13の解析結果に基づきマンホールの蓋100が異常を有するか否かを判定する。これにより、一般的な画像の特徴抽出処理等を用いることなく、マンホールの蓋を撮影した画像の符号化情報から蓋の異常状態、すなわち摩耗状態を判定することで、時間的なコストを減少させることが可能となる。
なお、上記の実施形態の構成では、符号化情報は、CU(Coding Unit)ごとの符号量、CUのサイズ、イントラ予測モード、有意係数の個数、有意係数のビン等としているが、本発明は、当該実施の形態の構成に限られない。符号化情報は、撮影画像情報200を符号化したデータから直接得ることができる情報、または、撮影画像情報200を符号化したデータを複数の段階の処理を経て撮影画像情報200に復号する処理過程において、少なくとも最後の一段階の処理を行うことなく得ることができる情報、のいずれか一方、または両方を含む情報であってもよい。
上記の実施形態では、判定部14がマンホールの蓋100の異常の有無の判定として、マンホールの蓋100が摩耗しているか否かを判定する構成を示したが、判定部14は、マンホールの蓋100の異常の有無の判定として水漏れの有無、ひび割れの有無、マンホールの蓋100が外れているか否かを判定するように構成されてもよい。マンホールの蓋100の異常の有無の判定として水漏れの有無が用いられる場合、判定部14は、水漏れがある場合にマンホールの蓋100の異常ありと判定し、水漏れがない場合にマンホールの蓋100の異常なしと判定する。マンホールの蓋100の異常の有無の判定としてひび割れの有無が用いられる場合、判定部14は、マンホールの蓋100にひび割れがある場合にマンホールの蓋100の異常ありと判定し、マンホールの蓋100にひび割れがない場合にマンホールの蓋100の異常なしと判定する。なお、ひび割れの検出は、既存の技術が用いられてもよい。マンホールの蓋100の異常の有無の判定としてマンホールの蓋100が外れているか否かが用いられる場合、判定部14は、マンホールの蓋100が外れている場合にマンホールの蓋100の異常ありと判定し、マンホールの蓋100が外れていない場合にマンホールの蓋100の異常なしと判定する。なお、マンホールの蓋100が外れているか否かの判定は、マンホールの蓋100が外れていない状態の画像と、撮影された画像とをマッチングすることによって判定してもよい。判定部14は、マンホールの蓋100の異常の有無の判定として、上記例を組み合わせて判定してもよい。例えば、判定部14は、マンホールの蓋100が摩耗しているか否か、水漏れの有無、ひび割れの有無、マンホールの蓋100が外れているか否かの判定のうち、いずれか複数の状態について判定を行い、判定した全て又は予め定められたものに対して異常がないと判定した場合に、マンホールの蓋100の異常なしと判定してもよい。
また、上記の実施形態では、位置情報入力部10に対して、矩形画像情報300の4つの頂点の座標情報を位置情報として与えているが、本発明の構成は、当該実施の形態に限られない。例えば、画像処理装置2が、撮影画像情報200から矩形画像情報300を抽出し、抽出した矩形画像情報300に対して符号化処理を適用して符号化行列を生成し、生成した符号化行列を符号化情報に含めて異常判定装置1に出力するようにしてもよい。このようにした場合、位置情報は不要になるため、位置情報入力部10を備える必要がなくなり、符号量分布生成部20は、図7に示すステップSa1において、符号量行列のみを取り込み、ステップSa2の処理を行わず、ステップSa3以降の処理を行うことで符号量ヒストグラムを生成することができる。
また、上記の実施形態では、図4に示すように、撮影画像情報200からマンホールの蓋100の画像を含む矩形の矩形画像情報300を抽出し、抽出した矩形画像情報300に含まれるCUごとの符号量を用いて摩耗状態の判定を行っているが、本発明の構成は、当該実施の形態に限られない。マンホールの蓋100の画像の位置を特定できる手法であれば、矩形の形状を用いる手法以外の手法を適用するようにしてもよい。また、マンホールの形状は、円形以外に四辺形の形状等も存在し、画像処理装置2において、マンホールの形状に応じて、マンホールの蓋100の画像のみを抽出するようにしてもよい。その場合、異常判定装置1においては、抽出したマンホールの蓋100の画像のみを含む画像情報に係る符号化情報を用いることになる。この場合も、画像処理装置2において矩形画像情報300を抽出する場合と同様の構成となる。すなわち、位置情報は不要になるため、位置情報入力部10を備える必要がなくなり、符号量分布生成部20は、図7に示すステップSa1において、符号量行列のみを取り込み、ステップSa2の処理を行わず、ステップSa3以降の処理を行うことで符号量ヒストグラムを生成できることになる。
また、上記の実施形態では、撮像装置3によって撮影する撮影画像情報200は、1枚の静止画像であることを前提としているが、マンホールの蓋100の位置がほぼ一致している構図の複数枚の静止画像や動画像であってもよい。この場合、1つのCUについて、複数枚の静止画像の場合、静止画像の各々に対応する複数の符号量の情報を得ることができ、動画像の場合、動画像に含まれる複数のフレームの各々に対応する複数の符号量を得ることができることになる。そのため、1つのCUについて、複数の符号量が得られることになり、摩耗の判定の精度を高めることが可能となる。
なお、動画像の場合、符号量は、ビットレートで指定することとなり、例えば、1秒当たり1500kbps(bit per second)とすると、30fps(frame per second)の動画では、フレーム1枚当たりの符号量が平均で50kbpsとなり、当該符号量となるように量子化係数が設定されることになる。すなわち、指定するビットレートを変えることにより、それに伴って量子化係数も変わるため、符号量分布の特性も変化する。したがって、動画像の場合、摩耗している場合に多くみられる符号量の小さいCUが多く表れるビットレートを予め調べておき、当該ビットレートでマンホールの蓋100の動画像を撮影することで、摩耗の判定の精度をより高めることが可能となる。
また、上記の実施形態では、マンホールの蓋100を撮像装置3の被写体とし、マンホールの蓋100の表面の摩耗の状態を検出するようにしているが、本発明は、当該実施の形態に限られない。使用によって表面が摩耗する、すなわち画像上のエッジが際立っていて、エッジが徐々になくなっていく物体であれば、どのような物体を被写体としてもよく、例えば、タイヤの表面を被写体として、タイヤのグリッドパターンの摩耗状態を判定するようにしてもよいし、靴底を被写体として、靴底の摩耗状態を判定するようにしてもよい。
また、上記の実施形態の構成では、図11に示すステップSc3,Sc4,Sc5に示す処理において、不等号を用いた判定処理を行っている。しかしながら、本発明は、当該実施の形態に限られるものではなく、「超過するか否か」、「未満であるか否か」、「以上であるか否か」、「以下であるか否かを」という判定処理は一例に過ぎず、閾値の定め方に応じて、ぞれぞれ「以上であるか否か」、「以下であるか否かを」、「超過するか否か」、「未満であるか否か」という判定処理に置き換えられてもよい。また、判定処理に用いた閾値についても、一例を示したものであり、それぞれにおいて異なる閾値が適用されてもよい。すなわち、上記の閾値判定処理については、判定対象の値が、閾値以上であるか否かを判定するようにしてもよい。
上記の実施形態では、図3のようなマンホールの蓋100の異常を検出することを目的としているため、被写体が円でありマンホールの蓋100の画像が楕円であることを前提としているが、本発明は四角形のマンホールの蓋などにも適用することができる。すなわち、本発明は、画像のエッジが徐々になくなっていく、若しくは徐々に明確になっていくことをトリガに異常であるか否かを判定できる被写体であれば適用することができる。
上述した実施形態における異常判定装置1をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1…異常判定装置,10…位置情報入力部,11…符号化情報入力部,12…解析部,13…スコア閾値入力部,14…判定部,20…符号量分布生成部,21…判定用スコア算出部

Claims (8)

  1. 少なくともマンホールの蓋が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析する解析部と、
    前記解析部の解析結果に基づき前記マンホールの蓋の異常の有無を判定する判定部と、
    を備える異常判定装置。
  2. 前記特徴量は、前記画像を分割した分割画像ごとの符号量である、請求項1に記載の異常判定装置。
  3. 前記解析部は、
    前記符号量の分布に基づいて前記特徴量の解析を行う、請求項2に記載の異常判定装置。
  4. 前記符号量の分布とは、前記符号量を変量とし、変量の値を予め定められる一定間隔で区切った区間の各々に属する前記分割画像を含む情報である分割画像情報の個数を示すヒストグラムであり、
    前記解析部は、
    前記符号量の分布に基づいて、最小の符号量が含まれる前記区間の前記分割画像情報の個数と、前記符号量が、予め定められる一定量以上となる前記分割画像情報の個数の割合とを判定用のスコアとして算出し、
    前記判定部は、
    予め定められる閾値と、前記判定用のスコアとに基づいて、前記マンホールの蓋が異常を有するか否かを判定する、請求項3に記載の異常判定装置。
  5. 前記異常は、前記マンホールの蓋が摩耗していること、水漏れがあること、ひび割れがあること、前記マンホールの蓋が外れていることのいずれか1つ又は複数である、請求項4に記載の異常判定装置。
  6. 前記画像は、前記マンホールの蓋が、所望の被写体に置き換えられた画像である、請求項1に記載の異常判定装置。
  7. 少なくともマンホールの蓋が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析するステップと、
    解析した解析結果に基づき前記マンホールの蓋の異常の有無を判定するステップと、
    を含む異常判定方法。
  8. コンピュータを、
    請求項1から6のいずれか一項に記載の異常判定装置として機能させるための異常判定プログラム。
JP2018032432A 2018-02-26 2018-02-26 異常判定装置、異常判定方法及び異常判定プログラム Active JP7092989B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018032432A JP7092989B2 (ja) 2018-02-26 2018-02-26 異常判定装置、異常判定方法及び異常判定プログラム
US16/971,762 US11436740B2 (en) 2018-02-26 2019-02-19 Manhole cover abnormity determination apparatus, method, and computer readable medium
PCT/JP2019/006105 WO2019163776A1 (ja) 2018-02-26 2019-02-19 異常判定装置、異常判定方法及び異常判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018032432A JP7092989B2 (ja) 2018-02-26 2018-02-26 異常判定装置、異常判定方法及び異常判定プログラム

Publications (2)

Publication Number Publication Date
JP2019148921A true JP2019148921A (ja) 2019-09-05
JP7092989B2 JP7092989B2 (ja) 2022-06-29

Family

ID=67687731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018032432A Active JP7092989B2 (ja) 2018-02-26 2018-02-26 異常判定装置、異常判定方法及び異常判定プログラム

Country Status (3)

Country Link
US (1) US11436740B2 (ja)
JP (1) JP7092989B2 (ja)
WO (1) WO2019163776A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118538309A (zh) * 2024-07-24 2024-08-23 曲阜市东原铸造材料有限公司 一种用于覆膜砂加热固化过程的模拟分析方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015059768A (ja) * 2013-09-17 2015-03-30 株式会社Ntec 段差計測装置、段差計測方法及びプログラム
JP2015099563A (ja) * 2013-11-20 2015-05-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2015099112A (ja) * 2013-11-20 2015-05-28 日本電信電話株式会社 マンホール鉄蓋最大段差量測定装置および方法、並びにこれに用いられる画素分解能算出装置、マンホール鉄蓋最大段差箇所検知装置、画素分解能算出方法、マンホール鉄蓋最大段差箇所検知方法
JP2015191572A (ja) * 2014-03-28 2015-11-02 株式会社パスコ マンホール検出装置、マンホール検出方法及びプログラム
JP2015197376A (ja) * 2014-04-01 2015-11-09 日本電信電話株式会社 摩耗検出装置、方法、及びプログラム
JP2016095235A (ja) * 2014-11-14 2016-05-26 日本電信電話株式会社 摩耗推定装置、摩耗推定器学習装置、画像特徴選択装置、方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9533539B2 (en) * 2011-10-20 2017-01-03 GM Global Technology Operations LLC Vehicle suspension system and method of using the same
US10771786B2 (en) * 2016-04-06 2020-09-08 Intel Corporation Method and system of video coding using an image data correction mask
US10916129B2 (en) * 2017-01-30 2021-02-09 International Business Machines Corporation Roadway condition predictive models

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015059768A (ja) * 2013-09-17 2015-03-30 株式会社Ntec 段差計測装置、段差計測方法及びプログラム
JP2015099563A (ja) * 2013-11-20 2015-05-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2015099112A (ja) * 2013-11-20 2015-05-28 日本電信電話株式会社 マンホール鉄蓋最大段差量測定装置および方法、並びにこれに用いられる画素分解能算出装置、マンホール鉄蓋最大段差箇所検知装置、画素分解能算出方法、マンホール鉄蓋最大段差箇所検知方法
JP2015191572A (ja) * 2014-03-28 2015-11-02 株式会社パスコ マンホール検出装置、マンホール検出方法及びプログラム
JP2015197376A (ja) * 2014-04-01 2015-11-09 日本電信電話株式会社 摩耗検出装置、方法、及びプログラム
JP2016095235A (ja) * 2014-11-14 2016-05-26 日本電信電話株式会社 摩耗推定装置、摩耗推定器学習装置、画像特徴選択装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
村崎 和彦,外2名: "鉛直面セグメンテーションによるマンホール鉄蓋摩耗推定", 電子情報通信学会技術研究報告 VOL.117 NO.211, JPN6021009389, 2017, JP, pages 205 - 215, ISSN: 0004772807 *

Also Published As

Publication number Publication date
US11436740B2 (en) 2022-09-06
WO2019163776A1 (ja) 2019-08-29
JP7092989B2 (ja) 2022-06-29
US20210027474A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
KR101780761B1 (ko) 비디오 카메라 내의 비디오 스트림을 프로세싱하는 방법 및 디바이스
JP5701005B2 (ja) 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
KR101223046B1 (ko) 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
CN103460249B (zh) 图像处理装置以及图像处理方法
US20070071282A1 (en) Digital watermark embedding apparatus and method, and digital watermark detection apparatus and method
CN109509166B (zh) 印刷电路板图像检测方法和装置
JP5363656B2 (ja) ビデオ画像のブラーを計算する方法及び装置
CN104284192A (zh) 图像处理设备和图像处理方法
JP6809613B2 (ja) 画像前景の検出装置、検出方法及び電子機器
CN103229208A (zh) 图像处理系统、图像处理方法和图像处理程序
WO2019163776A1 (ja) 異常判定装置、異常判定方法及び異常判定プログラム
CN115272336A (zh) 基于梯度向量的金属零件缺陷精准检测方法
CN117496560A (zh) 一种基于多维向量的指纹纹线识别方法及装置
Christodoulou et al. Advanced statistical and adaptive threshold techniques for moving object detection and segmentation
US10033904B2 (en) Information processing apparatus for multiplexing information in an image, information processing method, and storage medium storing program
US9826142B2 (en) Image pickup apparatus and method of controlling image pickup apparatus
JP4525064B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2014238789A (ja) 画像処理プログラム、画像処理方法及び画像処理装置
JP2017123641A (ja) デジタル画像の圧縮比を制御する方法及び装置
JP2006099241A (ja) 異常検知装置、異常検知方法および異常検知プログラム
JP5754931B2 (ja) 画像解析装置、画像解析方法及びプログラム
CN109936741B (zh) 视频编码方法和系统
JP7209278B2 (ja) 鋼材成分識別装置、鋼材成分識別方法、及び鋼材成分識別プログラム
JPWO2017216884A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2014127763A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R150 Certificate of patent or registration of utility model

Ref document number: 7092989

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150