JP2023168950A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2023168950A
JP2023168950A JP2022080353A JP2022080353A JP2023168950A JP 2023168950 A JP2023168950 A JP 2023168950A JP 2022080353 A JP2022080353 A JP 2022080353A JP 2022080353 A JP2022080353 A JP 2022080353A JP 2023168950 A JP2023168950 A JP 2023168950A
Authority
JP
Japan
Prior art keywords
image
deformation information
layer
setting
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022080353A
Other languages
English (en)
Inventor
剛徳 月川
Takenori Tsukikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022080353A priority Critical patent/JP2023168950A/ja
Priority to EP23165884.0A priority patent/EP4280159A1/en
Priority to US18/303,685 priority patent/US20230368449A1/en
Priority to CN202310535258.0A priority patent/CN117074411A/zh
Publication of JP2023168950A publication Critical patent/JP2023168950A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0118Apparatus with remote processing
    • G01N2021/0143Apparatus with remote processing with internal and external computer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/888Marking defects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像解析を行った画像に重畳表示される画像解析結果としての変状情報の視認性を従来よりも向上させる技術を実現する。【解決手段】画像処理装置は、検査対象を撮影した画像を取得する取得手段と、前記取得手段で取得した画像に対して画像解析を行い変状情報を検出する解析手段と、前記取得手段により取得した画像を、所定の透過率で前記画像解析により得られた変状情報に重畳して表示する制御手段と、を有する。【選択図】図2

Description

本発明は、検査対象を撮影した画像から変状を検出し表示する技術に関する。
コンクリート構造物の壁面等の検査対象を撮影した画像に対して、コンピュータ装置が画像解析を行うことでひび割れ等の変状を検出する方法がある。画像解析結果としての変状情報は表示され、専門家によって確認される。特許文献1には、画像解析により得られた変状情報を、画像解析を行った画像に重畳して表示する方法が記載されている。
特許第6569002号公報
しかしながら、特許文献1では、画像解析を行った画像に変状情報を単純に重畳して表示されるため、画像に重畳して表示される変状が小さい場合に変状情報の視認性が低下する。また、変状情報を表示する色と、変状情報に重なる画像領域の色が似ている場合にも変状情報の視認性が低下する。変状情報の視認性の低下は、専門家が変状情報を見逃す原因となったり、構造物の点検が不十分になったりする可能性がある。
本発明は、上記課題に鑑みてなされ、その目的は、画像解析を行った画像に重畳表示される画像解析結果としての変状情報の視認性を従来よりも向上させる技術を実現することである。
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、検査対象を撮影した画像を取得する取得手段と、前記取得手段で取得した画像に対して画像解析を行い変状情報を検出する解析手段と、前記取得手段により取得した画像を、所定の透過率で前記画像解析により得られた変状情報に重畳して表示する制御手段と、を有する。
本発明によれば、画像解析を行った画像に重畳表示される画像解析結果としての変状情報の視認性を従来よりも向上させることができる。
実施形態1の画像処理装置のハードウェア構成を示すブロック図。 実施形態1の画像処理装置の機能ブロック図。 実施形態1の画像解析処理を示すフローチャート。 図3のS306における画像解析結果を表示する処理を示すフローチャート。 実施形態1の画像解析結果の表示例を示す図。 実施形態1の強調表示設定を行うGUIを例示する図フェース。 図3のS305における変状の傾向から画像可視透過率を決定する処理を示すフローチャート。 図7のS704における画像可視透過率を決定する処理を示すフローチャート。 実施形態1の画像可視透過率の設定を行うGUIを例示する図。 実施形態2の変状の傾向から画像可視透過率を決定する処理を示すフローチャート。 図10のS1007における画像可視透過率を決定する処理を示すフローチャート。 実施形態2の画像解析結果を表示する処理を示すフローチャート。 実施形態2のレイヤー表示設定を行うGUIを例示する図。 実施形態2の変状情報レイヤー一覧表を例示する図。 実施形態2の画像解析結果の表示例を示す図。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[実施形態1]
以下では、本発明の画像処理装置を、コンクリート構造物などのインフラ構造物の点検に用いられるコンピュータ装置に適用した実施形態について説明する。
実施形態1では、コンピュータ装置が画像処理装置として動作し、検査対象を撮影した解析用画像に対して画像解析を行って得られた変状情報を、所定の画像可視透過率の解析用画像に重畳して表示するように制御する例について説明する。
なお、本実施形態において、「検査対象」とは、自動車専用道路、橋梁、トンネル、ダムなどの点検を行う対象のコンクリート構造物である。画像処理装置は、ユーザが検査対象を撮像した画像を用いてひび割れなどの変状の有無や状態を検出する変状検出処理を行う。また、「変状」とは、例えば、コンクリート構造物の場合、コンクリートのひび割れや浮き、剥落である。その他、エフロレッセンス(白華現象)、鉄筋露出、錆、漏水、水垂れ、腐食、損傷(欠損)、コールドジョイント、析出物、ジャンカなどを含む。
<ハードウェア構成>
まず、図1を参照して、実施形態1の画像処理装置100のハードウェア構成について説明する。
図1は、実施形態1の画像処理装置としてのコンピュータ装置100のハードウェア構成を示すブロック図である。
なお、以下に説明する実施形態1及び後述する実施形態2の処理は単一のコンピュータ装置で実現してもよいし、必要に応じて複数のコンピュータ装置に各機能を分散して実現してもよい。複数のコンピュータ装置は、互いに通信可能に接続されている。
コンピュータ装置100は、制御部101、不揮発性メモリ102、ワークメモリ103、記憶デバイス104、入力インターフェース105、出力インターフェース106、ネットワークインターフェース107、システムバス108を備える。
制御部101は、コンピュータ装置100の全体を統括して制御するCPU、MPU等の演算処理プロセッサを含む。不揮発性メモリ102は、制御部101のプロセッサが実行するプログラムやパラメータを格納するROMである。ここで、プログラムとは、後述する実施形態1、2の処理を実行するためのプログラムのことである。ワークメモリ103は、外部装置等から供給されるプログラムやデータを一時記憶するRAMである。記憶デバイス104は、コンピュータ装置100に内蔵されたハードディスクやメモリカード等の内部機器又はコンピュータ装置100に着脱可能に接続されたハードディスクやメモリカード等の外部機器である。記憶デバイス104は、半導体メモリや磁気ディスク等から構成されるメモリカードやハードディスク等を含む。また、記憶デバイス104は、CD,DVD,Blue-ray Disc等の光ディスクに対してデータの読み出し/書き込みを行うディスクドライブから構成される記憶媒体を含む。
入力インターフェース105は、マウス、キーボード、タッチパネル等の入力デバイス109に対するユーザ操作を受け付け、操作指示を制御部101に出力する。出力インターフェース106は、LCDや有機ELから構成されるディスプレイやモニタ等の出力デバイス110に、コンピュータ装置100が保有するデータや外部機器から供給されたデータを表示する。ネットワークインターフェース107は、インターネットやLAN(Local Area Network)等の通信回線111に通信可能に接続する。システムバス108は、コンピュータ装置100の各構成要素101~107をデータの授受が可能に接続する。
不揮発性メモリ102または記憶デバイス104には、制御部101が実行する基本的なソフトウェアであるOS(オペレーティングシステム)や、このOSと協働して応用的な機能を実現するアプリケーションが記録されている。また、本実施形態では、不揮発性メモリ102または記憶デバイス104には、画像処理装置100が、後述する検査対象を撮影した画像から変状を検出する画像解析処理を実現するアプリケーションが格納されている。
本実施形態の画像処理装置100の処理は、アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、アプリケーションは画像処理装置100にインストールされたOSの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、画像処理装置100のOSが本実施形態における処理を実現するためのソフトウェアを有していてもよい。
<機能構成>
次に、図2を参照して、実施形態1の画像処理装置100の機能ブロックについて説明する。
図2は、実施形態1の画像処理装置100の機能ブロック図である。
画像処理装置100は、画像取得部201、解析用パラメータ取得部202、画像解析部203、変状情報分析部204および解析結果表示部205を備える。画像処理装置100の各機能は、ハードウェア及びソフトウェアにより構成される。なお、各機能部が、1つまたは複数のコンピュータ装置やサーバ装置で構成され、ネットワークにより接続されたシステムとして構成されてもよい。
画像取得部201は、ユーザが指定した情報に基づいて検査対象を撮影した解析用画像を取得する。
解析用パラメータ取得部202は、解析用画像に対して画像解析処理を行うためにユーザ操作により指定された解析用パラメータを取得する。
画像解析部203は、画像取得部201が取得した解析用画像に対して、解析用パラメータ取得部202が取得した解析用パラメータを用いて、画像解析処理を実行する。
変状情報分析部204は、画像解析部203により得られた画像解析結果としての変状情報の傾向を分析し、変状情報と解析用画像を表示するための表示条件を決定する。
解析結果表示部205は、変状情報分析部204により決定された表示条件に基づいて、画像取得部201が取得した解析用画像と、画像解析部203が取得した画像解析結果としての変状情報とを表示する制御を行う。
<画像解析処理>
図3は、実施形態1の画像処理装置による画像解析処理を示すフローチャートである。
なお、図3の処理は、図1に示す画像処理装置100の制御部101が不揮発性メモリ102に格納されているプログラムをワークメモリ103に展開して実行して各構成要素を制御し、図2に示す機能を実行することにより実現される。後述する図7、図8、図10~12も同様である。
S301では、制御部101は、入力デバイス109を介して検査対象の構造物を撮影した複数の画像中から解析用画像を指定するユーザ操作と、解析用パラメータを指定するユーザ操作を受け付ける。
S302では、画像取得部201は、S301で指定された解析用画像を記憶デバイス104から読み出しまたはネットワークインターフェース107を介して取得する。
S303では、解析用パラメータ取得部202は、S301で指定された解析用パラメータを取得する。
S304では、画像解析部203は、S302で取得した解析用画像に対して、S303で取得した解析用パラメータを用いて、画像解析処理を実行する。
S305では、変状情報分析部204は、S304で得られた画像解析結果としての少なくとも1つの変状情報の傾向を分析し、S302で取得した解析用画像を表示するときの画像可視透過率を決定する。画像可視透過率を決定する処理の詳細は図7を用いて後述する。なお、画像可視透過率は、変状情報が重畳表示された状態で解析用画像が変状情報を透過して視認可能なレベルを示す値である。例えば、表示画像に、表示画像の幅と高さが等しくかつ透明度0%の白色単色で塗られた白色画像を重ねた場合、白色画像しか視認できない状態になり、表示画像は全く見えないことになる。このような状態が画像可視透過率0%の状態となる。画像可視透過率が0%の他の例としては、表示画像自体の透明度を100%とし、透明な状態にして表示する方法もある。また、画像可視透過率が30%の場合は、表示画像に、白色画像の透明度を30%にして重ねた場合や、画像の透明度を70%にして表示する場合に相当する。
S306では、解析結果表示部205は、S305で決定された画像可視透過率に基づいて、S302で取得した解析用画像と、S304で得られた画像解析結果としての変状情報とを重畳表示する。
図4は、図3のS306における画像解析結果を表示する処理を示すフローチャートである。
S401では、解析結果表示部205は、解析用画像を表示するために、解析用画像を含む解析用画像レイヤーを作成する。図5(a)は解析用画像レイヤーを例示している。図5(a)の例は、解析用画像は検査対象としてのコンクリート構造物の壁面を撮影した画像であり、壁面にはひび割れなどの変状が発生している。
S402では、解析結果表示部205は、S401で作成した解析用画像レイヤーを表示する。
S403では、解析結果表示部205は、変状情報の強調表示設定が有効か否かを判定する。判定の結果、強調表示設定が有効の場合はS404へ、強調表示設定が無効の場合はS409へ処理を進める。なお、強調表示設定は、変状情報を解析用画像に重畳表示したときに変状情報を視認しやすくする設定であり、例えば、図6に示すような本実施形態のアプリケーションにより提供されるGUI(Graphical User Interface)を用いてユーザによって設定される。強調表示設定処理の詳細は図6で後述する。
S404では、解析結果表示部205は、解析用画像の透過レベルを調整するための透過率調整レイヤーを作成する。図5(b)は透過率調整レイヤーを例示している。透過率調整レイヤーは、例えば、解析用画像レイヤーと同じサイズで、白色単色の背景色だけを含むレイヤーであり、解析用画像レイヤーに重畳表示される。このように透過率調整レイヤーの背景色の透明度を変更することで解析用画像の透過率を調整することができる。
S405では、解析結果表示部205は、ユーザ操作により画像可視透過率が指定されているか否かを判定する。判定の結果、可視画像透過率が指定されている場合はS406へ、指定されていない場合はS407へ処理を進める。画像可視透過率の指定方法は図6で後述する。
S406では、解析結果表示部205は、ユーザ操作により指定された画像可視透過率を、透過率調整レイヤーの背景色の透明度として設定する。
S407では、解析結果表示部205は、変状情報分析部204により決定された画像可視透過率を、透過率調整レイヤーの背景色の透明度として設定する。
S408では、解析結果表示部205は、透過率調整レイヤーを解析用画像レイヤーに重畳表示する。図5(c)は、解析用画像レイヤーに透過率調整レイヤーを表示した状態を例示している。図5(c)の例では、解析用画像レイヤーに透過率調整レイヤーを重畳表示することで、解析用画像レイヤーに含まれる解析用画像に半透明のフィルターがかけられた状態となり、画像可視透過率が低下している。よって、図5(c)に示す画像にさらに変状情報を重畳表示することで、変状情報が単純に解析用画像に重畳されるよりも視認性が良好な状態となる。
S409では、解析結果表示部205は、画像解析部203により得られた画像解析結果としての変状情報を含む変状情報レイヤーを作成する。図5(d)は、変状情報レイヤーを例示している。図5(d)の例では、変状情報としてひび割れ情報を示している。また、背景色は透明となっている。なお、図5(d)の例では、ひび割れ情報を点線で示しているが、これは、図5(a)の解析用画像に含まれるひび割れとの違いを明確にするための図面における表現であり、ひび割れが断続的に発生していることを表現しているのではない。
S410では、解析結果表示部205は、S409で作成した変状情報レイヤーを透過率調整レイヤーに重畳表示する。図5(e)は、変状情報レイヤーを透過率調整レイヤーに重畳表示した状態を例示している。このように、解析用画像レイヤーに透過率調整レイヤーを重畳することで、変状情報レイヤーに含まれる変状情報の視認性が向上する。
次に、図6を参照して、図4のS403における変状情報の強調表示設定方法について説明する。
以下では、本実施形態のアプリケーションにより提供されるGUIを用いて設定する方法の例を説明するが、これに限定されない。例えば、テキストファイルに設定情報を記載したファイルを用いてもよい。図6(a)は、変状情報の強調表示設定ダイアログ600を例示している。
強調表示設定ダイアログ600は、変状情報強調表示設定チェックボックス610、画像可視透過率指定チェックボックス620、画像可視透過率指定スライダー621、画像可視透過率指定テキストボックス622、キャンセルボタン630、OKボタン640を含む。変状情報強調表示設定チェックボックス610がチェックされている場合、強調表示設定が有効となる。反対に、変状情報強調表示設定チェックボックス610がチェックされていない場合、強調表示設定が無効となる。画像可視透過率指定チェックボックス620は、画像可視透過率をユーザが指定する場合に設定する。画像可視透過率指定チェックボックス620がチェックされている場合は、画像可視透過率を自動で調整するわけではなく、ユーザが指定した画像可視透過率とする。ユーザが画像可視透過率を指定する場合は画像可視透過率指定スライダー621または画像可視透過率指定テキストボックス622を用いる。画像可視透過率指定スライダー621と画像可視透過率指定テキストボックス622の値は連動しており、いずれか一方を変更すると、他方も変更した値に変更される。キャンセルボタン630は強調表示設定ダイアログ600で変更した設定を、確定せずに処理を中断するときに用いる。キャンセルボタン630を操作した場合、強調表示設定ダイアログ600の設定が変更されていたとしても、変更を確定せず、強調表示設定ダイアログ600を閉じる。OKボタン640は強調表示設定ダイアログ600内で変更した設定を確定するときに用いる。OKボタン640を操作した場合、強調表示設定ダイアログ600の設定が変更されている場合は、変更後の設定を確定し、強調表示設定ダイアログ600を閉じる。なお、変状情報強調表示設定チェックボックス610がチェックされていない場合、つまり強調表示設定が無効な場合は、画像可視透過率指定の指定はできない。図6のGUIでは、例えば図6(b)に示すように、画像可視透過率指定チェックボックス620、画像可視透過率指定スライダー621、画像可視透過率指定テキストボックス622が無効となる。また、変状情報強調表示設定チェックボックス610がチェックされているが、画像可視透過率指定チェックボックス620がチェックされていない場合は、画像可視透過率指定スライダー621、画像可視透過率指定テキストボックス622が無効となる。図6(c)は、画像可視透過率指定チェックボックス620がチェックされていない場合のGUIを例示している。
次に、図7を参照して、変状情報分析部204が変状情報の傾向を分析して解析用画像の画像可視透過率を決定する処理について説明する。
図7は、図3のS305における変状の傾向から画像可視透過率を決定する処理を示すフローチャートである。
S701では、変状情報分析部204は、画像取得部201から取得した解析用画像の幅と高さから解析用画像の面積を算出する。
S702では、変状情報分析部204は、画像解析部203の画像解析結果としての変状情報を解析結果表示部205で表示するための表示条件を、解析結果表示部205から取得する。そして、変状情報分析部204は、変状情報を描画したときの変状情報の総面積を算出する。変状情報を表示するための表示条件は、例えば、ひび割れを表示する太さや、エフロレッセンスが発生している領域を塗り潰すのか否かなどの情報を含む。
S703では、変状情報分析部204は、S701で算出した解析用画像の面積に対する、S702で算出した変状情報の描画面積の比率を表す変状情報面積比率を算出する。変状情報面積比率はパーセントで表され、変状情報の描画面積を解析用画像の面積で除算し、100を乗算することで算出できる。
S704では、変状情報分析部204は、S703で算出した変状情報面積比率に基づいて画像可視透過率を算出する。画像可視透過率の算出処理の詳細は図8で説明する。なお、変状情報の傾向として解析用画像の面積と変状情報の描画面積の比率の例を説明したが、変状情報の傾向は、これに限定されない。例えば、変状情報の数、変状情報の種類、変状情報の表示位置、変状情報の描画色と変状情報の表示位置に対応する解析用画像の色との差などを用いてもよい。
次に、図8を参照して、図7のS704における画像可視透過率決定処理について説明する。
以下では、ユーザによって3つの閾値が設定されている場合の例を説明する。なお、3つの閾値の関係は、第1閾値は第2閾値より大きく、第2閾値は第3閾値より大きいものとする(第1閾値>第2閾値>第3閾値)。
S801では、変状情報分析部204は、S703で算出した変状情報面積比率が第1閾値以上であるか否かを判定する。判定の結果、第1閾値以上であった場合はS804へ、第1閾値未満であった場合はS802へ、処理を進める。ここで第1閾値とは、図9に示す自動設定ダイアログ900を用いてユーザにより設定される。
図9に示す自動設定ダイアログ900は、変状情報の強調表示設定が有効な場合に画像可視透過率の上限と下限を指定する領域と、閾値を設定する領域と、キャンセルボタン940とOKボタン950を含む。画像可視透過率の上限と下限を指定する領域は画像可視透過率上限テキストボックス910と画像可視透過率下限テキストボックス920を含む。
閾値を設定する領域は閾値一覧930、閾値追加ボタン934、閾値削除ボタン935を含む。閾値一覧930は、閾値がユーザによって選択されているか否かを示す選択状態列931と、閾値の番号を示す閾値番号列932と、閾値として設定する変状情報面積比率を表す変状情報面積比率値列933を含む。
画像可視透過率上限テキストボックス910で設定した値と画像可視透過率下限テキストボックス920で指定した値は、変状情報分析部204で画像可視透過率を算出する場合の画像可視透過率の上限と下限となる。画像可視透過率の上限は最も画像を透過して表示した場合の上限値になり、画像可視透過率の下限は最も画像を透過させずに表示した場合の下限値になる。
閾値一覧930はユーザが設定した閾値を変状情報面積比率値列933の値によって降順にソートして表示される。ユーザが閾値を追加する場合は、閾値追加ボタン934を操作する。閾値追加ボタン934を操作すると閾値一覧930に新しい行が追加される。ユーザは新しく追加された行の変状情報面積比率値列933に値を入力することで閾値を設定することができる。この場合、閾値番号列932の値は、変状情報面積比率値列933の値でソートされた結果として自動的に決定する。つまり変状情報面積比率値列933で最も大きな値を持つ行が常に閾値番号1の閾値となる。また、第1閾値は閾値番号1の閾値である。したがって、第1閾値は閾値の中で最も大きな変状情報面積比率値を持つ。
また、ユーザが既存の閾値を削除する場合は、各行の選択状態列931にあるチェックボックスをチェックした状態で閾値削除ボタン935を操作する。
閾値追加ボタン934、閾値削除ボタン935で閾値の設定を変更した場合、設定を確定する場合はOKボタン950を操作し、設定を破棄する場合はキャンセルボタン940を操作する。
以下では、ユーザによって3つの閾値が設定されている場合として説明する。
S802では、変状情報分析部204は、S703で算出した変状情報面積比率が第2閾値以上であるか否かを判定する。判定の結果、第2閾値以上であった場合はS805へ、第2閾値未満であった場合はS803へ、処理を進める。
S803では、変状情報分析部204は、S703で算出した変状情報面積比率が第3閾値以上であるか否かを判定する。判定の結果、第3閾値以上であった場合はS806へ、第3閾値未満であった場合はS807へ、処理を進める。
S804では、変状情報分析部204は、画像可視透過率を画像可視透過率上限テキストボックス910で設定した上限値と同じ値に決定する。図9の例では100%が指定されているので、画像可視透過率は100%となる。
S805では、変状情報分析部204は、画像可視透過率上限テキストボックス910で設定した上限値から画像可視透過率下限テキストボックス920で設定した下限値を減算し、閾値の総数で除算した値を調整値として算出する。そして、上限値から調整値を減算する減算回数を決定する。減算回数は、S802で判定に用いた閾値の閾値番号から1減算した数とする。最後に上限値から調整値を減算回数分減算した値を画像可視透過率として決定する。図9の例では、上限値が100%、下限値が40%、閾値の総数が3つなので、上限値と下限値の差である60%を3で除算することになり、調整値は20%となる。また、減算回数はS802で判定に用いた閾値の閾値番号が2であるので、2から1を減算して1となる。このようにして上限値である100%から調整値の20%を1回減算した結果として得られる80%が画像可視透過率となる。
S806では、変状情報分析部204は、S805と同様に調整値を算出し、S803で判定に用いた閾値の閾値番号から算出する。図9の例では、調整値はS805と同じで20%となり、減算回数はS803の判定で用いた閾値の閾値番号は3であるので、3から1を減算して2となる。このようにして上限値である100%から調整値の20を2回減算した結果として得られる60%が画像可視透過率となる。
S807では、変状情報分析部204は、画像可視透過率を画像可視透過率下限テキストボックス920で設定した下限値と同じ値に決定する。
以上のように、実施形態1によれば、解析用画像に変状情報を重畳表示する場合に、変状情報を基準とした場合に背景となる解析用画像の画像可視透過率を100%よりも低くすることで、相対的に変状情報の視認性を向上することが可能となる。また、画像解析結果としての変状情報の傾向に応じて、解析用画像の画像可視透過率の値を変化させることで、ユーザが変状情報をより見逃しやすい状況の場合に画像可視透過率をより低く設定することが可能となる。これにより、専門家が変状情報を見逃す原因となったり、構造物の点検が不十分になったりする可能性を低減することができる。
[実施形態2]
実施形態2の画像処理装置のハードウェア構成は図1と同様であり、機能構成は図2の構成における変状情報分析部204と解析結果表示部205の機能が異なっている。
まず、図10を参照して、変状情報分析部204が変状情報の傾向を分析して画像可視透過率を決定する処理について説明する。
図10は、図3のS305における変状の傾向から画像可視透過率を決定する処理を示すフローチャートである。
S1001では、変状情報分析部204は、画像取得部201から取得した解析用画像の幅と高さから解析用画像の面積を算出する。
S1002では、変状情報分析部20は、画像解析部203により得られた画像解析結果としての変状情報を、変状情報の特性に応じてグループ化する。なお、変状情報の特性とは、例えば、ひび割れやエフロレッセンスなどの変状情報の種別、変状情報の面積、変状情報を表示する座標などである。また、変状情報の種別に応じた特性を用いてもよい。例えば、変状情報の種別がひび割れである場合は、ひび割れの太さや長さ、ひび割れの形状などを特性として用いてもよい。さらに、解析パラメータを変更し、複数回画像解析処理を実行した場合の解析用パラメータを変状情報の特性としてもよい。
S1003では、変状情報分析部204は、S1002で作成したグループを数えるためのグループカウンターiを0に設定する。
S1004では、変状情報分析部204は、グループカウンターiの値についてS1002でグループ化したグループ数未満であるか否かを判定する。判定の結果、グループカウンターiがグループ数未満である場合はS1005へ、グループ数以上である場合は処理を終了する。
S1005では、変状情報分析部204は、S1002でグループ化したグループのうち、グループカウンターの値をiとした場合にi番目のグループを表すグループiに対して、グループiに含まれる変状情報を解析結果表示部205で表示するための表示条件を、解析結果表示部205から取得する。そして、変状情報分析部204は、変状情報を描画したときの変状情報の総面積を算出する。変状情報を表示するための表示条件は、例えば、ひび割れを表示する太さや、エフロレッセンスが発生している領域を塗り潰すのか否かなどの情報を含む。
S1006では、変状情報分析部204は、S1001で算出した解析用画像の面積に対する、S1005で算出したグループiに含まれる変状情報の面積の比率を示す変状情報面積比率を算出する。変状情報面積比率はパーセントで表され、変状情報の描画面積を解析用画像の面積で除算し、100を乗算することで算出できる。
S1007では、変状情報分析部204は、S1006で算出したグループiの面積比率に基づいてグループiの画像可視透過率を算出する。グループ内の画像可視透過率の算出処理の詳細は図11で後述する。なお、変状情報の傾向として解析用画像の面積に対する変状情報を描画面積の比率の例を説明したが、変状情報の傾向はこれに限定されない。例えば、変状情報の数、変状情報の種類、変状情報の表示位置、変状情報の描画色と変状情報の表示位置に対応する解析用画像の色との差などを用いてもよい。
S1008では、変状情報分析部204は、グループカウンターiを1インクリメントして、処理はS1004へ進む。
次に、図11を参照して、図10のS1007における変状情報グループごとの画像可視透過率を決定する処理について説明する。
図11では1つの変状情報グループの処理を説明するが、複数の変状情報グループが存在する場合は、図11の処理を変状情報グループ数だけ繰り返す。また、以下ではユーザによって2つ閾値が設定されている場合として説明する。なお、2つの閾値の関係は、第1閾値は第2閾値より大きい(第1閾値>第2閾値)。
S1101では、変状情報分析部204は、S1006で算出した任意の変状情報グループの変状情報面積比率が第1閾値以上であるか否かを判定する。判定の結果、第1閾値以上であった場合はS1103へ、第1閾値未満であった場合はS1102へ、処理を進める。第1閾値は、図9に示した自動設定ダイアログ900を用いてユーザにより設定される。
S1102では、変状情報分析部204は、S1006で算出した任意の変状情報グループの変状情報面積比率が第2閾値以上であるか否かを判定する。判定の結果、第2閾値以上であった場合はS1104へ、第1閾値未満であった場合はS1105へ、処理を進める。
S1103では、変状情報分析部204は、任意の変状情報グループの画像可視透過率を画像可視透過率上限テキストボックス910で設定した上限値と同じ値に決定する。図9の例では、100%が指定されているので、任意の変状情報グループの画像可視透過率は100%となる。画像可視透過率が100%では、解析用画像に変状情報を重畳表示した場合に解析用画像が全て透過して表示される。これは解析用画像に単純に変状情報を重畳表示する場合と同等である。
S1104では、変状情報分析部204は、画像可視透過率上限テキストボックス910で設定した上限値から画像可視透過率下限テキストボックス920で設定した下限値を減算し、閾値の総数で除算した値を調整値として算出する。そしてに、上限値から調整値を減算する減算回数を決定する。減算回数はS1102で判定に用いた閾値の閾値番号から1減算した数とする。最後に上限値から調整値を減算回数分減算して画像可視透過率として決定する。図9の例では、上限値が100%、下限値が40%、閾値の総数が2つであるので、上限値と下限値の差である60%を2で除算することにより、調整値は30%となる。また、減算回数はS1102で判定に用いた閾値の閾値番号が2であるので、2から1を減算して1となる。このようにして上限値である100%から調整値の30%を1回減算して得られる70%が任意の変状情報グループの画像可視透過率となる。
S1105では、変状情報分析部204は、任意の変状情報グループの画像可視透過率を画像可視透過率下限テキストボックス920で設定した下限値と同じ値に決定する。
次に、図12を参照して、解析用画像と、画像解析結果としての変状情報とを重畳表示する処理について説明する。
S1201では、解析結果表示部205は、解析用画像を表示するために、解析用画像を含む解析用画像レイヤーを作成する。
S1202では、解析結果表示部205は、S1201で作成した解析用画像レイヤーを表示する。
S1203では、解析結果表示部205は、変状情報の強調表示設定が有効か否かを判定する。判定の結果、強調表示設定が有効の場合はS1207へ、強調表示設定が無効の場合はS1204へ処理を進める。なお、強調表示設定は、例えば、図13に示すような本実施形態のアプリケーションにより提供されるGUIを用いてユーザによって設定される。強調表示設定処理の詳細は図13で後述する。
S1204では、解析結果表示部205は、画像解析部203により得られた画像解析結果としての変状情報を全て含む全変状情報レイヤーを作成する。
S1205では、解析結果表示部205は、S1204で作成した全変状情報レイヤーの背景色の透明度を100%に設定する。その結果、全変状情報レイヤーの背景色は透明となる。
S1206では、解析結果表示部205は、S1204で作成し、S1205で設定した全変状情報レイヤーを画像解析レイヤーに重畳表示する。この場合、全変状情報レイヤーの背景色の透明度が100%であるので、解析用画像に単純に変状情報を重畳表示した状態になり、変状情報の強調表示が行われない状態で表示される。
S1207では、解析結果表示部205は、変状情報レイヤーの表示設定が有効であるか否かを判定する。判定の結果、変状情報レイヤーの表示設定が有効である場合はS1211へ、無効である場合はS1208へ、処理を進める。なお、変状情報レイヤーの表示設定は、例えば、図13に示すGUIを用いてユーザにより設定される。変状情報レイヤーの表示設定方法の詳細は図13で後述する。
S1208では、解析結果表示部205は、画像解析部203により得られた画像解析結果としての変状情報を全て含む全変状情報レイヤーを作成する。
S1209では、解析結果表示部205は、図10で説明したように変状情報をグループに分けるのではなく、図7で説明したように全変状情報を利用して算出された画像可視透過率を全変状情報レイヤーの背景色の透明度として設定する。
S1210では、解析結果表示部205は、S1208で作成し、S1209で設定した全変状情報レイヤーを画像解析レイヤーに重畳表示する。これにより、変状情報をグループ分けしないで全ての変状情報の傾向に応じて決定された画像可視透過率で解析用画像が表示されるので、実施形態1で説明したように変状情報が相対的に強調表示された状態となり、専門家が変状情報を見逃す原因となったり、構造物の点検が不十分になったりする可能性を低減することができる。
S1211では、解析結果表示部205は、図10で説明した変状情報グループごとに変状情報グループレイヤーを作成する。
S1212では、解析結果表示部205は、変状情報グループレイヤーに含まれる変状情報グループごとに算出した画像可視透過率を変状情報グループレイヤーの背景色の透明度として設定する。
S1213では、解析結果表示部205は、S1212で作成した少なくとも1つの変状情報グループレイヤーを、優先度が高いレイヤーほど上位に配置されるように解析用画像レイヤーに重畳表示する。変状情報グループレイヤーを重畳表示する処理は図14および図15で後述する。レイヤーの優先度は、変状情報をグループ化したときの指標を評価値として用いて決定する。例えば、レイヤーに含まれる変状情報を表示する場合の面積をグループ化の指標とした場合は、変状情報を表示する場合の面積が大きいものを優先度が高くする。他にもひび割れの幅でグループ化した場合は、ひび割れの幅が太いものほど優先度を高くする。なお、優先度を決めるための指標は一例であり、これに限定されない。
次に、図13を参照して、変状情報レイヤーの強調表示設定方法について説明する。なお、以下では、GUIを用いて設定する例を説明するが、これに限定されない。例えば、テキストファイルに設定情報を記載したファイルを用いてもよい。
図13(a)は変状情報レイヤー表示設定ダイアログ1300を例示している。変状情報レイヤー表示設定ダイアログ1300は変状情報強調表示設定チェックボックス1310、変状情報レイヤー表示設定チェックボックス1320、キャンセルボタン1330、OKボタン1340を含む。変状情報強調表示設定チェックボックス1310がチェックされている場合、強調表示設定が有効となる。反対に、変状情報強調表示設定チェックボックス1310がチェックされていない場合、強調表示設定が無効となる。変状情報レイヤー表示設定チェックボックス1320は、変状情報ごとにグループ化されたレイヤーを表示する場合に設定する。変状情報レイヤー表示設定チェックボックス1320がチェックされている場合は、レイヤー表示設定が有効となる。反対に、変状情報レイヤー表示設定チェックボックス1320がチェックされていない場合は、レイヤー表示設定が無効となる。キャンセルボタン1330は変状情報レイヤー表示設定ダイアログ1300で変更した設定を、確定せずに処理を中断するときに用いる。キャンセルボタン1330を操作した場合、変状情報レイヤー表示設定ダイアログ1300の設定が変更されていても、変更を確定せず、変状情報レイヤー表示設定ダイアログ1300を閉じる。OKボタン1340は、変状情報レイヤー表示設定ダイアログ1300で変更した設定を確定するときに用いる。OKボタン1340を操作した場合、変状情報レイヤー表示設定ダイアログ1300の設定が変更されている場合は、変更後の設定が確定し、変状情報レイヤー表示設定ダイアログ1300を閉じる。なお、変状情報強調表示設定チェックボックス1310がチェックされていない場合、つまり強調表示設定が無効の場合は、レイヤー表示の設定はできない。GUIでは、例えば、図13(b)に示すように、変状情報レイヤー表示設定チェックボックス1320が無効となる。
次に、図14および図15を参照して、解析用画像に変状情報グループレイヤーを重畳表示する例を説明する。
図14は変状情報レイヤー一覧表1400を例示している。図14の例では、変状情報レイヤー一覧表1400には4つのレイヤーがあり、変状情報レイヤー1が行1410、変状情報レイヤー2が行1420、変状情報レイヤー3が行1430、解析用画像レイヤーNは行1440、に配列されている。変状情報レイヤー1、変状情報レイヤー2、変状情報レイヤー3はそれぞれ、変状情報の種別としてひび割れを含み、ひび割れの幅でグループ化された変状情報を持つレイヤーとなる。また、ひび割れの幅が太いほど優先度が高いレイヤーと設定される。図15(a)は解析用画像レイヤーを例示している。図15(b)は変状情報レイヤー1を例示している。図15(c)は変状情報レイヤー2を例示している。図15(d)は変状情報レイヤー3を例示している。
図15(e)は変状情報レイヤーの中で最も優先度が低い変状情報レイヤー3を解析用画像レイヤーに重畳表示した例を示している。変状情報レイヤー3に含まれる変状情報グループから算出した画像可視透過率は、図14に示す変状情報レイヤー一覧表1400の行1430を参照すると80%となる。そのため、図15(e)の解析用画像は画像可視透過率80%の状態で表示される。図15(f)は、変状情報レイヤー3の次に優先度が低い変状情報レイヤー2を図15(e)の解析用画像に重畳表示した状態を例示している。変状情報レイヤー2に含まれる変状情報グループから算出された画像可視透過率は変状情報レイヤー一覧表1400の行1420を参照すると60%である。そのため、図15(f)の解析用画像は変状情報レイヤー3の画像可視透過率80%と変状情報レイヤー2の画像可視透過率60%の影響を受けた状態で表示される。つまり、画像可視透過率60%と画像可視透過率80%を乗算して得られる48%の画像可視透過率で表示される。また、変状情報レイヤー3に含まれる変状情報も変状情報レイヤー2の影響を受けて、画像可視透過率が60%の状態で表示される。これにより、背景となる解析用画像に加えて、優先度の低い変状情報にもフィルターがかかった状態で表示されるため、優先度の高い変状情報をより早く発見することが可能となる。図15(g)は、変状情報レイヤー2の次に優先度が低い変状情報レイヤー1を図15(f)で表示した状態に重畳表示した状態を例示している。図15(g)に示す解析用画像は変状情報レイヤー3の画像可視透過率80%、変状情報レイヤー2の画像可視透過率60%、変状情報レイヤー1の画像可視透過率80%の影響を受けた状態で表示される。つまり画像可視透過率80%、画像可視透過率60%、画像可視透過率80%を乗算して得られる38%の画像可視透過率で表示される。また、図15(f)と同様に、変状情報レイヤーに含まれる変状情報も、それぞれ重畳表示された変状情報レイヤーの影響を受ける。つまり変状情報レイヤー3に含まれる変状情報は画像可視透過率48%で表示され、変状情報レイヤー2に含まれる変状情報は画像可視透過率80%で表示される。変状情報レイヤー1に含まれる変状情報は、重畳表示されたレイヤーがないため、特に影響は受けず画像可視透過率100%の状態、つまりフィルターがかかっていない状態で表示される。
以上のように、実施形態2によれば、背景となる解析用画像の画像可視透過率を100%よりも低くすることで、相対的に変状情報の視認性を向上することに加えて、より重要な変状情報を相対的に強調表示することが可能となる。これにより、専門家が変状情報を見逃す原因となったり、構造物の点検が不十分になったりする可能性を低減することができる。
[他の実施形態]
本発明は、各実施形態の1以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本明細書の開示は、以下の画像処理装置、制御方法およびプログラムを含む。
[構成1]
検査対象を撮影した画像を取得する取得手段と、
前記取得手段で取得した画像に対して画像解析を行い変状情報を検出する解析手段と、
前記取得手段により取得した画像を、所定の透過率で前記画像解析により得られた変状情報に重畳して表示する制御手段と、を有することを特徴とする画像処理装置。
[構成2]
前記画像解析により検出された変状情報の傾向を分析し、前記分析した結果に基づいて前記画像の透過率を決定する分析手段を有し、
前記制御手段は、前記分析手段により決定された透過率の画像に前記画像解析により検出された変状情報を重畳表示することを特徴とする構成1に記載の画像処理装置。
[構成3]
前記制御手段は、前記画像を含む第1のレイヤーを作成し、
前記所定の透過率に設定された第2のレイヤーを作成し、
前記変状情報を含む第3のレイヤーを作成し、
前記第1のレイヤーと前記第2のレイヤーと前記第3のレイヤー、または前記第1のレイヤーと前記第3のレイヤーを重畳表示することを特徴とする構成2に記載の画像処理装置。
[構成4]
前記制御手段は、
前記変状情報を強調表示する第1の設定が有効か否かを判定し、当該第1の設定が有効の場合は、前記第2のレイヤーを作成し、
前記第1の設定が無効の場合は、前記第2のレイヤーを作成せずに、前記第3のレイヤーを作成し、
前記第1のレイヤーと前記第2のレイヤーと前記第3のレイヤー、または前記第1のレイヤーと前記第3のレイヤーを重畳表示することを特徴とする構成3に記載の画像処理装置。
[構成5]
前記第1の設定を有効または無効に設定する第1の設定手段と、
前記透過率を設定する第2の設定手段と、をさらに有し、
前記制御手段は、前記第2のレイヤーの透過率を前記第2の設定手段により設定された透過率に設定することを特徴とする構成4に記載の画像処理装置。
[構成6]
前記変状情報の傾向は、前記画像の面積に対する前記変状情報の面積の比率であり、
前記比率が第1閾値以上の場合は、前記透過率を上限に設定し、
前記比率が第1閾値より小さい第2閾値以上または第3閾値以上の場合は、前記透過率を上限と下限の間に設定し、
前記比率が第3閾値未満の場合は、前記透過率を下限に設定することを特徴とする構成2から4のいずれか1項に記載の画像処理装置。
[構成7]
前記透過率の上限および下限、前記第1閾値、前記第2閾値および前記第3閾値を設定する第3の設定手段をさらに有することを特徴とする構成6に記載の画像処理装置。
[構成8]
前記分析手段は、前記変状情報の特性に応じて前記画像解析により検出された変状情報をグループ化し、前記変状情報のグループごとの透過率を決定することを特徴とする構成2に記載の画像処理装置。
[構成9]
前記制御手段は、前記画像を含む第1のレイヤーを作成し、
前記変状情報のグループごとに透過率に設定された第2のレイヤーを作成し、
前記第1のレイヤーと前記第2のレイヤーを重畳表示することを特徴とする構成8に記載の画像処理装置。
[構成10]
前記制御手段は、
前記変状情報を強調表示する第1の設定が有効か否かを判定し、当該第1の設定が有効であって、前記変状情報のグループごとにレイヤーを表示する第2の設定が有効である場合は、前記第2のレイヤーを作成し、
前記第1の設定が有効であって、前記第2の設定が無効である場合または前記第1の設定が無効の場合は、前記変状情報の全てを含む所定の透過率が設定された第3のレイヤーを作成し、
前記第1のレイヤーと前記第2のレイヤー、または前記第1のレイヤーと前記第3のレイヤーを重畳表示することを特徴とする構成9に記載の画像処理装置。
[構成11]
前記第1の設定を有効または無効に設定する第1の設定手段と、
前記第2の設定を有効または無効に設定する第2の設定手段と、をさらに有する構成10に記載の画像処理装置。
[構成12]
前記制御手段は、前記変状情報のグループごとに前記変状情報のグループの傾向に基づいて前記第2のレイヤーの透過率を設定する構成9から11のいずれか1項に記載の画像処理装置。
[構成13]
前記変状情報のグループの傾向は、前記画像の面積に対する前記変状情報のグループの面積の比率であり、
前記比率が第1閾値以上の場合は、前記第2のレイヤーの透過率を上限に設定し、
前記比率が第1閾値より小さい第2閾値以上の場合は、前記第2のレイヤーの透過率を上限と下限の間に設定し、
前記比率が第2閾値未満の場合は、前記第2のレイヤーの透過率を下限に設定することを特徴とする構成12に記載の画像処理装置。
[構成14]
前記第2のレイヤーの透過率の上限および下限、前記第1閾値および前記第2閾値を設定する第3の設定手段をさらに有することを特徴とする構成13に記載の画像処理装置。
[構成15]
前記第3のレイヤーの所定の透過率は、前記画像の面積に対する前記変状情報の全ての面積の比率に基づいて決定されることを特徴とする構成10に記載の画像処理装置。
[構成16]
前記制御手段は、前記変状情報の特性によって前記変状情報のグループごとのレイヤーの優先度を決定し、前記優先度が高いレイヤーほど上位に配置されるように制御することを特徴とする構成8から15のいずれか1項に記載の画像処理装置。
[構成17]
取得手段が、検査対象を撮影した画像を取得するステップと、
解析手段が、前記取得手段で取得した画像に対して画像解析を行い変状情報を検出するステップと、
制御手段が、前記取得手段により取得した画像を、所定の透過率で前記画像解析により得られた変状情報に重畳して表示するステップと、を有することを特徴とする画像処理方法。
[構成18]
コンピュータを、構成1から16のいずれか1項に記載された画像処理装置の各手段として機能させるためのプログラム。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100…画像処理装置、101…制御部、102…不揮発性メモリ、104…記憶デバイス、201…画像取得部、202…解析用パラメータ取得部、203…画像解析部、204…変状情報分析部、205…解析結果表示部

Claims (18)

  1. 検査対象を撮影した画像を取得する取得手段と、
    前記取得手段で取得した画像に対して画像解析を行い変状情報を検出する解析手段と、
    前記取得手段により取得した画像を、所定の透過率で前記画像解析により得られた変状情報に重畳して表示する制御手段と、を有することを特徴とする画像処理装置。
  2. 前記画像解析により検出された変状情報の傾向を分析し、前記分析した結果に基づいて前記画像の透過率を決定する分析手段を有し、
    前記制御手段は、前記分析手段により決定された透過率の画像に前記画像解析により検出された変状情報を重畳表示することを特徴とする請求項1に記載の画像処理装置。
  3. 前記制御手段は、前記画像を含む第1のレイヤーを作成し、
    前記所定の透過率に設定された第2のレイヤーを作成し、
    前記変状情報を含む第3のレイヤーを作成し、
    前記第1のレイヤーと前記第2のレイヤーと前記第3のレイヤー、または前記第1のレイヤーと前記第3のレイヤーを重畳表示することを特徴とする請求項2に記載の画像処理装置。
  4. 前記制御手段は、
    前記変状情報を強調表示する第1の設定が有効か否かを判定し、当該第1の設定が有効の場合は、前記第2のレイヤーを作成し、
    前記第1の設定が無効の場合は、前記第2のレイヤーを作成せずに、前記第3のレイヤーを作成し、
    前記第1のレイヤーと前記第2のレイヤーと前記第3のレイヤー、または前記第1のレイヤーと前記第3のレイヤーを重畳表示することを特徴とする請求項3に記載の画像処理装置。
  5. 前記第1の設定を有効または無効に設定する第1の設定手段と、
    前記透過率を設定する第2の設定手段と、をさらに有し、
    前記制御手段は、前記第2のレイヤーの透過率を前記第2の設定手段により設定された透過率に設定することを特徴とする請求項4に記載の画像処理装置。
  6. 前記変状情報の傾向は、前記画像の面積に対する前記変状情報の面積の比率であり、
    前記比率が第1閾値以上の場合は、前記透過率を上限に設定し、
    前記比率が第1閾値より小さい第2閾値以上または第3閾値以上の場合は、前記透過率を上限と下限の間に設定し、
    前記比率が第3閾値未満の場合は、前記透過率を下限に設定することを特徴とする請求項2に記載の画像処理装置。
  7. 前記透過率の上限および下限、前記第1閾値、前記第2閾値および前記第3閾値を設定する第3の設定手段をさらに有することを特徴とする請求項6に記載の画像処理装置。
  8. 前記分析手段は、前記変状情報の特性に応じて前記画像解析により検出された変状情報をグループ化し、前記変状情報のグループごとの透過率を決定することを特徴とする請求項2に記載の画像処理装置。
  9. 前記制御手段は、前記画像を含む第1のレイヤーを作成し、
    前記変状情報のグループごとに透過率に設定された第2のレイヤーを作成し、
    前記第1のレイヤーと前記第2のレイヤーを重畳表示することを特徴とする請求項8に記載の画像処理装置。
  10. 前記制御手段は、
    前記変状情報を強調表示する第1の設定が有効か否かを判定し、当該第1の設定が有効であって、前記変状情報のグループごとにレイヤーを表示する第2の設定が有効である場合は、前記第2のレイヤーを作成し、
    前記第1の設定が有効であって、前記第2の設定が無効である場合または前記第1の設定が無効の場合は、前記変状情報の全てを含む所定の透過率が設定された第3のレイヤーを作成し、
    前記第1のレイヤーと前記第2のレイヤー、または前記第1のレイヤーと前記第3のレイヤーを重畳表示することを特徴とする請求項9に記載の画像処理装置。
  11. 前記第1の設定を有効または無効に設定する第1の設定手段と、
    前記第2の設定を有効または無効に設定する第2の設定手段と、をさらに有する請求項10に記載の画像処理装置。
  12. 前記制御手段は、前記変状情報のグループごとに前記変状情報のグループの傾向に基づいて前記第2のレイヤーの透過率を設定する請求項9に記載の画像処理装置。
  13. 前記変状情報のグループの傾向は、前記画像の面積に対する前記変状情報のグループの面積の比率であり、
    前記比率が第1閾値以上の場合は、前記第2のレイヤーの透過率を上限に設定し、
    前記比率が第1閾値より小さい第2閾値以上の場合は、前記第2のレイヤーの透過率を上限と下限の間に設定し、
    前記比率が第2閾値未満の場合は、前記第2のレイヤーの透過率を下限に設定することを特徴とする請求項12に記載の画像処理装置。
  14. 前記第2のレイヤーの透過率の上限および下限、前記第1閾値および前記第2閾値を設定する第3の設定手段をさらに有することを特徴とする請求項13に記載の画像処理装置。
  15. 前記第3のレイヤーの所定の透過率は、前記画像の面積に対する前記変状情報の全ての面積の比率に基づいて決定されることを特徴とする請求項10に記載の画像処理装置。
  16. 前記制御手段は、前記変状情報の特性によって前記変状情報のグループごとのレイヤーの優先度を決定し、前記優先度が高いレイヤーほど上位に配置されるように制御することを特徴とする請求項8に記載の画像処理装置。
  17. 取得手段が、検査対象を撮影した画像を取得するステップと、
    解析手段が、前記取得手段で取得した画像に対して画像解析を行い変状情報を検出するステップと、
    制御手段が、前記取得手段により取得した画像を、所定の透過率で前記画像解析により得られた変状情報に重畳して表示するステップと、を有することを特徴とする画像処理方法。
  18. コンピュータを、請求項1から16のいずれか1項に記載された画像処理装置の各手段として機能させるためのプログラム。
JP2022080353A 2022-05-16 2022-05-16 画像処理装置、画像処理方法およびプログラム Pending JP2023168950A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022080353A JP2023168950A (ja) 2022-05-16 2022-05-16 画像処理装置、画像処理方法およびプログラム
EP23165884.0A EP4280159A1 (en) 2022-05-16 2023-03-31 Image processing apparatus, image processing method, storage medium, and program
US18/303,685 US20230368449A1 (en) 2022-05-16 2023-04-20 Image processing apparatus and image processing method
CN202310535258.0A CN117074411A (zh) 2022-05-16 2023-05-12 图像处理设备、图像处理方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022080353A JP2023168950A (ja) 2022-05-16 2022-05-16 画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2023168950A true JP2023168950A (ja) 2023-11-29

Family

ID=85795398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022080353A Pending JP2023168950A (ja) 2022-05-16 2022-05-16 画像処理装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US20230368449A1 (ja)
EP (1) EP4280159A1 (ja)
JP (1) JP2023168950A (ja)
CN (1) CN117074411A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017168737A1 (ja) 2016-03-31 2017-10-05 株式会社 ニコン・トリンブル 欠陥画像表示制御装置及びプログラム
JP6833366B2 (ja) * 2016-07-06 2021-02-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP2019132637A (ja) * 2018-01-30 2019-08-08 株式会社日立ハイテクノロジーズ 欠陥観察装置
CN109584224B (zh) * 2018-11-21 2023-01-13 苏州安路特汽车部件有限公司 一种用于对铸件的x射线图像进行分析和显示的方法
JP6892197B1 (ja) * 2020-03-31 2021-06-23 日本電気株式会社 劣化表示システム、劣化表示方法、及び、プログラム

Also Published As

Publication number Publication date
EP4280159A1 (en) 2023-11-22
US20230368449A1 (en) 2023-11-16
CN117074411A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
US11105749B2 (en) Information processing apparatus, information processing method and program
Wei et al. Instance-level recognition and quantification for concrete surface bughole based on deep learning
Arena et al. A new computational approach to cracks quantification from 2D image analysis: Application to micro-cracks description in rocks
JP5145116B2 (ja) 表面欠陥データ表示管理装置および表面欠陥データ表示管理方法
JP2019533805A (ja) 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー
KR20110044848A (ko) 팬 및 줌 컨트롤
JP2021196705A (ja) 画像処理装置、画像処理方法およびプログラム
JP2008227028A (ja) データ処理装置、およびデータ処理方法
JP2023168950A (ja) 画像処理装置、画像処理方法およびプログラム
JP2024019350A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023168548A (ja) 点検支援装置、方法及びプログラム
JP2015111326A (ja) 電力見積方法、電力見積装置及びプログラム
US20160154874A1 (en) Method for determining condition of category division of key performance indicator, and computer and computer program therefor
CN113052174B (zh) 车牌数据样本生成方法、装置、电子设备和存储介质
JP6947098B2 (ja) 画像処理装置、方法、及びプログラム
JP2014123260A (ja) システム監視画面の画像作成装置
JP7154172B2 (ja) 付帯設備状態評価装置、付帯設備状態評価方法、および付帯設備状態評価プログラム
JP5041986B2 (ja) コンポーネント分割支援装置、及びその方法とプログラム
WO2024042702A1 (ja) コンピュータシステム、寸法計測方法、および半導体装置製造システム
US20230368364A1 (en) Image processing apparatus and control method
JP2022187407A (ja) 検査装置用情報処理装置、検査装置用情報処理方法、及び検査装置システム
JP2022170152A (ja) 情報処理装置、情報処理方法、及びプログラム
US20240078720A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium
JP7152972B2 (ja) 検査条件作成支援装置、検査条件作成支援方法、検査条件作成支援プログラムおよび記録媒体
JP7103908B2 (ja) エレベーターの納まり判定装置、納まり判定方法、及び納まり判定プログラム