JP2019047461A - 画像処理プログラム、画像処理方法および画像処理装置 - Google Patents

画像処理プログラム、画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP2019047461A
JP2019047461A JP2017172101A JP2017172101A JP2019047461A JP 2019047461 A JP2019047461 A JP 2019047461A JP 2017172101 A JP2017172101 A JP 2017172101A JP 2017172101 A JP2017172101 A JP 2017172101A JP 2019047461 A JP2019047461 A JP 2019047461A
Authority
JP
Japan
Prior art keywords
image
image processing
captured
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017172101A
Other languages
English (en)
Inventor
博 山上
Hiroshi Yamagami
博 山上
菊地 英幸
Hideyuki Kikuchi
英幸 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017172101A priority Critical patent/JP2019047461A/ja
Priority to US16/121,687 priority patent/US10567632B2/en
Publication of JP2019047461A publication Critical patent/JP2019047461A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】画像データの圧縮を効率よく行うこと。【解決手段】画像処理装置100は、構造物の撮像画像を解析して損傷部分を特定する。画像処理装置100は、撮像画像のうち、損傷部分を含む部分領域を特定する。画像処理装置100は、記憶部に記憶された構造物の過去の撮像画像のうち特定した部分領域を除く領域を対象に圧縮処理を施した圧縮画像を生成する。【選択図】図3

Description

本発明は、画像処理プログラム等に関する。
構造物等のインフラを点検し、異常を検出した場合には修理等の作業を行うことでインフラを維持しているが、かかる作業を行う場合に、人手不足や費用不足といった問題がある。この問題を解消するべく、ICT(Information and Communication Technology)技術を利用するものがある。
ICT技術を利用するものとして、画像センサ、ドローン、ロボット等を用いて構造物の画像を撮影し、点検の効率化や精度を向上させる技術がある。たとえば、従来技術1では、測定車両やセンサによって撮影した画像データをデータベースに格納し、データベースに格納した画像データを解析することにより、異常検知や経年変化を予測し、構造物の点検作業等を効率化している。なお、画像データを用いて、構造物の異常を精度よく検知するためには、高解像度の画像データを用いることが好ましい。
ここで、画像データをデータベースに格納して保存する場合には、相応のストレージ容量を用意することになり、ストレージコストが高くなる。たとえば、従来技術2では、大容量のデータを格納するために、データを複数の装置に分散して格納している。
特開昭62−281582号公報 特開2005−136594号公報
しかしながら、上述した従来技術では、画像データの圧縮を効率よく行うことができないという問題がある。
たとえば、単に画像データのデータ容量を削減する場合には、画像データを圧縮すればよいが、画像データを圧縮することで、画像データの画質が劣化し、構造物の異常を検知するための精度が低下する場合がある。
1つの側面では、本発明は、画像データの圧縮を効率よく行うことができる画像処理プログラム、画像処理方法および画像処理装置を提供することを目的とする。
第1の案では、コンピュータに下記の処理を実行させる。コンピュータは、構造物の撮像画像を解析して損傷部分を特定する。コンピュータは、撮像画像のうち、損傷部分を含む部分領域を特定する。コンピュータは、記憶部に記憶された構造物の過去の撮像画像のうち特定した部分領域を除く領域を対象に圧縮処理を施した圧縮画像を生成する。
画像データの圧縮を効率よく行うことができる。
図1は、本実施例に係る画像処理装置の処理の一例を説明するための図である。 図2は、画像の撮影場面の一例を示す図である。 図3は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。 図4は、画像DBのデータ構造の一例を示す図である。 図5は、関連データDBのデータ構造の一例を示す図である。 図6は、損傷箇所情報のデータ構造の一例を示す図である。 図7は、損傷特定部の処理を説明するための図である。 図8は、領域特定部の処理を説明するための図である。 図9は、圧縮部の処理を説明するための図である。 図10は、位置補正パラメータを算出する処理を説明するための図である。 図11は、本実施例に係る画像処理装置の処理手順を示すフローチャート(1)である。 図12は、本実施例に係る画像処理装置の処理手順を示すフローチャート(2)である。 図13は、画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
以下に、本願の開示する画像処理プログラム、画像処理方法および画像処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例に係る画像処理装置の処理の一例を説明するための図である。カメラ(図示略)は、撮影対象となる構造物を撮影することで、画像データ10a〜15aを生成する。画像データ10a〜15aを撮影順に並べると、画像データ10a,11a,12a,13a,14a,15aの順となる。ベクターデータ(関連データ)10b〜15bはそれぞれ、画像データ10a〜15aに対応するデータである。ここで、画像データ10a〜15aと、ベクターデータ(関連データ)10b〜15bとは、異なる時期に撮影された同一箇所の画像であることを前提とする。たとえば、ある箇所の画像データ10a、ベクターデータ10bを撮影し、数年後に、同一箇所の画像データ11a、11bを取得する。
たとえば、画像処理装置は、画像データ10a〜15aを複製および画像解析することで、ベクターデータ10b〜15bを生成してもよい。または、ベクターデータ10b〜15bは、画像データ10a〜15aを撮影した第1のカメラとは異なる第2のカメラで撮影された画像データであってもよい。この場合には、ユーザが、第1のカメラで撮影した画像データと、第2のカメラで撮影したベクターデータとを参照して、画像データとベクターデータとを対応づける。なお、ベクターデータ10b〜15bは、画像に限定されるものではなく、損傷箇所の位置情報を示すデータであってもよい。たとえば、物理量センサ等任意の手段によって取得した損傷箇所の位置情報を、ベクターデータ10b〜15bとして生成してもよい。「ひび割れ」であれば、ひび割れの線がベクターデータとなる。
ここでは一例として、画像データ12aとベクターデータ14bとを用いて、画像処理装置の処理の一例について説明する。画像データ12aの撮影時刻をTとし、ベクターデータ14bに対応する画像データ14aの撮影時刻をTとする。ここで、撮影時刻Tは、撮影時刻Tよりも過去の時刻である。
画像処理装置は、ベクターデータ14bを解析して損傷部分等の有意な部分を特定する(ステップS10)。たとえば、画像処理装置は、画像データ12aを複数の部分画像20〜25に分割する(ステップS11)。
画像処理装置は、ステップS10で特定した有意な部分の座標を含まない部分画像を部分画像20〜25から特定し、特定した部分画像を、圧縮する(ステップS12)。たとえば、画像処理装置は、部分画像22,23,25を、圧縮する。
画像処理装置は、圧縮した部分画像22,23,25と、圧縮していない部分画像20,21,24を結合することで、元の画像形式の画像データ12cを生成する(ステップS13)。画像処理装置は、画像データ12cを、画像データ12aの代わりに、データベースで保存する。
上記のように、画像処理装置は、ある時刻に撮影された画像データから有意な部分を特定し、ある時刻よりも過去に撮影された画像データのうち、有意な部分対応する領域以外の領域を圧縮し、データベースで保存する。このように、今後損傷(有意な部分)の発生が予測される領域については、圧縮せず、その他の領域については、圧縮するので、異常等の検出精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。
図2は、画像の撮影場面の一例を示す図である。たとえば、ドローン5にカメラ4を取り付け、所定の期間において、ドローン5を移動させながら、構造物6の画像を連続して撮影させる。図2では一例として、2台のドローン5を用いて構造物6の画像を撮影する例を示すが、3台以上のドローン5を用いて、画像を撮影しても良いし、単一のドローン5を用いて、画像を撮影してもよい。ドローン5のカメラ4により撮影された画像のデータは、後述する画像処理装置の記憶部に格納される。また、カメラ4は、画像を撮影した場合に、撮影箇所を一意に示す位置情報を、画像データに付加する。図2では、ドローン5にカメラ4を取り付けて、画像を撮影する場合について説明したが、これに限定されるものではない。たとえば、地上設置の高解像度望遠カメラを使用して、画像を撮影してもよい。
図3は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。図3に示すように、この画像処理装置100は、インタフェース部110、通信部120、入力部130、表示部140、記憶部150、制御部160を有する。
インタフェース部110は、カメラ4のインタフェースと接続し、カメラ4が撮影した画像データを取得する装置である。後述する制御部160は、インタフェース部110を介して、カメラ4とデータをやり取りする。
通信部110は、ネットワークを介して、図示しない外部装置とデータ通信を行う装置である。制御部160は、通信部110を介して、外部装置とデータをやり取りする。制御部160は、ネットワークを介して、カメラ4と接続し、画像データを取得してもよい。
入力部130は、画像処理装置100に各種の情報を入力するための入力装置である。たとえば、入力部130は、キーボードやマウス、タッチパネルなどに対応する。
表示部140は、制御部160から出力される情報を表示するための表示装置である。たとえば、表示部140は、液晶ディスプレイやタッチパネルなどに対応する。
記憶部150は、画像DB150a、関連データDB150bを有する。記憶部140は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
画像DB150aは、画像データに関する情報を保持するデータベースである。図4は、画像DBのデータ構造の一例を示す図である。図4に示すように、この画像DB150aは、識別番号と、位置情報と、時刻情報と、画像データとを対応づける。識別番号は、画像データを一意に識別する情報である。位置情報は、画像データの撮影箇所を示す情報である。時刻情報は、画像データを撮影した時刻を示す情報である。画像データは、該当する撮影箇所、撮影時刻にカメラ4に撮影された画像のデータである。
関連データDB150bは、ベクターデータに関する情報を保持するデータベースである。図5は、関連データDBのデータ構造の一例を示す図である。図5に示すように、この関連データDB150bは、識別番号と、位置情報と、時刻情報と、ベクターデータとを対応づける。識別番号は、ベクターデータを一意に識別する情報である。位置情報は、ベクターデータの撮影箇所を示す情報である。時刻情報は、ベクターデータを撮影した時刻を示す情報である。ベクターデータは、該当する撮影箇所、撮影時刻にカメラ4に撮影された画像のデータに対応するものであり、以下に説明する、損傷箇所情報に対応するものである。
たとえば、ベクターデータ10bは、画像データ10aの撮影範囲と同じサイズの領域を持ち、画像データの位置情報と対応づけられる。また、対応づけられた画像データ10aのアドレス情報と、ベクターデータ10bの損傷箇所情報のアドレス情報とが対応づけられる。アドレス情報は、ベクターデータ10bを所定の大きさに分割したセル(部分画像)の位置を示す情報である。他のベクターデータ、画像データについても同様に対応付けされる。
図6は、損傷箇所情報のデータ構造の一例を示す図である。図6に示すように、この損傷箇所情報は、アドレス情報と、損傷有無とを対応づける。アドレス情報は、ベクターデータを所定の大きさに分割したセルの位置を一意に示す情報である。損傷有無は、該当するアドレス情報のセルに、損傷が有るか否かを示す情報である。たとえば、セルに損傷がない場合には、損傷有無は「true」となる。セルに損傷がある場合には、損傷有無は「false」となる。
図3の説明に戻る。制御部160は、受付部160a、損傷特定部160b、領域特定部160c、圧縮部160dを有する。制御部160は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部160は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
受付部160aは、インタフェース部110または通信部120を介して、画像データに関する情報を取得し、取得した画像データに関する情報を画像DB150aに格納する。また、受付部160aは、インタフェース部110または通信部120を介して、ベクターデータに関する情報を取得し、取得したベクターデータに関する情報を関連データDB150bに格納する。なお、関連データDB150bに含まれる損傷箇所情報は、初期値に設定される。たとえば、受付部160aは、損傷箇所情報の全アドレス情報に対応する損傷有無を「false」に設定することで、損傷箇所情報を初期化する。
損傷特定部160bは、損傷の解析対象となる時刻Tの指定を受け付けると、時刻Tに対応するベクターデータを、関連データDB150bから取得し、取得したベクターデータを解析して、損傷部分を特定する処理部である。
図7は、損傷特定部の処理を説明するための図である。たとえば、時刻Tに対応するベクターデータを、ベクターデータ14bとして説明を行う。損傷特定部160bは、ベクターデータ14bに対して2値化処理およびエッジ検出処理等を実行し、予め指定された亀裂等の損傷部分の特徴に対応するエッジ部分を、損傷部分をして特定する。図7に示す例では、損傷特定部160bは、損傷部分7a,7bを特定する。損傷特定部160bは、特定した損傷部分の情報を、領域特定部160cに出力する。
領域特定部160cは、ベクターデータを複数のセルに分割し、損傷特定部160bから受け付ける損傷部分の情報と、分割した各セルを比較し、損傷部分を含むセルを特定する処理部である。領域特定部160cは、関連データDB150bを参照し、該当するベクターデータの損傷箇所情報を更新する。領域特定部160cは、損傷箇所情報について、損傷部分を含むセルに対応するアドレス情報の損傷有無を「false」に設定する。領域特定部160cは、損傷箇所情報について、損傷部分を含まないセルに対応するアドレス情報の損傷有無を「true」に設定する。
図8は、領域特定部の処理を説明するための図である。図8に示すように、領域特定部160cは、ベクターデータ14bをn×m個のセルに分割する(ステップS21)。ここでは一例として、n=9、m=16とする。
領域特定部160cは、各セルと、損傷部分7a,7bとを比較することで、各セルを、損傷部分を含むセルと、損傷部分を含まないセルに分類する(ステップS22)。たとえば、アドレス情報(4,5)、(4,6)、(4,8)、(4,9)、(5,5)、(5,6)、(5,7)、(5,9)、(5,10)、(5,11)のセルは、損傷部分を含むセルとなる。また、アドレス情報(6,7)、(6,8)、(6,11)、(7,7)、(7,8)のセルは、損傷部分を含むセルとなる。その他のセルは、損傷部分を含まないセルとなる。
圧縮部160dは、画像DB150bの画像データを複数の部分画像に分割し、分割した複数の部分画像のうち、所定時間後に損傷部分の発生する部分画像を除く部分画像を圧縮する処理部である。圧縮部160dは、圧縮処理対象となる画像データ(撮影時刻:時刻T)よりも後に撮影されたベクターデータ(撮影時刻:時刻T)の損傷箇所情報を基にして、所定時間後に損傷部分の発生する部分画像を判定する。
図9は、圧縮部の処理を説明するための図である。たとえば、圧縮部160dは、時刻Tに撮影された画像データ12aを、画像DB150aから取得する(ステップS31)。圧縮部160dは、画像データ12aを、n×m個の部分画像に分割する(ステップS32)。ここでは一例として、n=9、m=16とする。
圧縮部160dは、時刻Tに対応づけられる損傷箇所情報を参照し、圧縮対象とする部分画像と、非圧縮対象となる部分画像を判定する。圧縮部160dは、損傷有無「true」となるアドレス情報に対応する部分画像を、圧縮対象とする。圧縮部160dは、損傷有無「false」となるアドレス情報に対応する部分画像を、非圧縮対象とする。
たとえば、図8で説明した例ではアドレス情報(4,5)、(4,6)、(4,8)、(4,9)、(5,5)、(5,6)、(5,7)、(5,9)、(5,10)、(5,11)に対応する損傷有無が「false」となる。また、アドレス情報(6,7)、(6,8)、(6,11)、(7,7)、(7,8)に対応する損傷有無が「false」となる。他のアドレス情報に対応する損傷有無が「true」となる。
この場合には、圧縮部160dは、各部分画像(1,1)〜(9,16)のうち、アドレス情報(4,5)、(4,6)、(4,8)、(4,9)、(5,5)、(5,6)、(5,7)、(5,9)、(5,10)、(5,11)に対応する部分画像を非圧縮対象とする。また、圧縮部160dは、アドレス情報(6,7)、(6,8)、(6,11)、(7,7)、(7,8)に対応する部分画像を圧縮対象とする。圧縮部160dは、残りの部分画像を圧縮対象とする(ステップS33)。
圧縮部160dは、圧縮対象となる部分画像を圧縮し、非圧縮対象となる部分画像をそのままとする。圧縮部160dは、圧縮した部分画像と、圧縮していない部分画像とをアドレス情報を基にして結合することで、画像データ12cを生成する(ステップS34)。たとえば、画像データ12cのデータ形式は、画像データ12aと同型式とする。圧縮部160dは、関連データDB150bに格納された画像データ12aを、画像データ12cによって上書きする。圧縮部160dは、他の画像データについても、上記処理を繰り返し実行する。
ところで、同一箇所を撮影した画像データ同士に位置ずれがある場合や、対応する画像データとベクターデータとの間に位置ずれがある場合には、圧縮対象、非圧縮対象となる部分画像を適切に特定できない。このため、たとえば、損傷特定部160bは、後述する位置補正パラメータP1、P2を算出し、算出した位置補正パラメータP1、P2によって、ベクターデータの損傷部分の位置を補正してもよい。損傷部分を修正したベクターデータを用いて、上記の領域特定部160cは、損傷部分を含むセルを特定し、圧縮部160dは、圧縮対象となる部分領域と、非圧縮対象となる部分領域とを特定する。
図10は、位置補正パラメータを算出する処理を説明するための図である。たとえば、図10で説明する画像データ12aは、時刻Tに撮影された画像データである。画像データ14aは、時刻Tに撮影された画像データである。ベクターデータ14bは、画像データ14aに対応する関連データである。
損傷特定部160bは、画像DB150aから、画像データ12aと、画像データ14aを取得する。損傷特定部160bは、画像データ12aを解析することで、特徴点50a、50b、50cを検出する。損傷特定部160bは、画像データ14aを解析することで、特徴点51a,51b,51cを検出する。損傷特定部160bは、式(1)によって、位置補正パラメータP1を算出する(ステップS41)。
P1=特徴点51a,51b,51c全体の平均位置−特徴点50a,50b,50cの平均位置・・・(1)
式(1)において、対応する特徴点は、図10のステップS41に示す例では、特徴点50aと特徴点51a、特徴点50bと特徴点51b、特徴点50cと特徴点51cとなる。損傷特定部160bは、位置の近い特徴点同士を、対応する特徴点として選択する。式(1)において、特徴点の数は、一つの画像データから抽出した特徴点の数である。たとえば、図10のステップS41に示す例では、特徴点の数は「3」となる。
続いて、損傷特定部160bは、画像データ14aに対して画像解析を実行することで、損傷箇所8aを抽出する(ステップS42)。損傷特定部160bは、ベクターデータ14bに対して画像解析を実行することで、損傷箇所8bを抽出する。損傷特定部160bは、損傷箇所8aと損傷箇所8bとを比較することで、位置補正パラメータP2を算出する。たとえば、損傷特定部160bは、式(2)によって、位置補正パラメータP2を算出する。
P2=損傷箇所8a全体の平均位置−損傷箇所8b全体の平均位置・・・(2)
損傷特定部160bは、位置補正パラメータP1、P2を基にして、ベクターデータ14bの損傷部分8bの位置を補正し、ベクターデータ14b’を生成する。たとえば、損傷特定部160bは、損傷部分8b位置を、「P1+P2」分だけ移動させることで、損傷部分8bの位置を補正する。
次に、本実施例に係る画像処理装置100の処理手順の一例について説明する。図11、図12は、本実施例に係る画像処理装置の処理手順を示すフローチャートである。図11に示すように、画像処理装置100は、画面分割数(n×m)の定義を受け付ける(ステップS101)。画像処理装置100は、ベクターデータ処理対象世代を定義する(ステップS102)。画像処理装置100は、画像データ処理対象世代を定義する(ステップS103)。図1で説明した例では、ベクターデータの処理対象世代が、ベクターデータ14bであり、画像データ処理対象世代が、画像データ12aである場合について説明した。ここで、ベクターデータ処理対象世代、画像データ処理対象世代をどのように定義してもよい。たとえば、画像処理装置100は、カメラ4に最後に撮影されたベクターデータを、ベクターデータ処理対象世代として選択し、選択したベクターデータの時刻よりも、所定時間前の時刻に撮影された画像データを、画像データ処理対象世代として定義してもよい。
画像処理装置100の損傷特定部160bは、ベクターデータの損傷部分を特定する(ステップS104)。画像処理装置100の領域特定部160cは、ベクターデータをn×m個のセル領域に分割し、各セルにアドレス情報を付与する(ステップS105)。画像処理装置100は、xの値を1から順にインクリメントしつつ、xの値がmとなるまで、ステップS106〜S112の処理を繰り返し実行した後、図12のステップS113に移行する。画像処理装置100は、yの値を1から順にインクリメントしつつ、yの値がnとなるまで、ステップS107〜S111の処理を繰り返し実行した後、ステップS112に移行する。
画像処理装置100の領域特定部160cは、セル(x,y)が有意なデータ(損傷部分)を含むか否かを判定する(ステップS108)。領域特定部160cは、セル(x,y)が有意なデータを含む場合には(ステップS108,Yes)、ステップS109に移行する。領域特定部160cは、セルのアドレス情報と、「true」とを対応づけて、損傷箇所情報に登録し、ステップS111に移行する(ステップS109)。
一方、領域特定部160cは、セル(x,y)が有意なデータを含まない場合には(ステップS108,No)、ステップS110に移行する。領域特定部160cは、セルのアドレス情報と、「false」とを対応づけて、損傷箇所情報に登録し、ステップS111に移行する(ステップS110)。
図12の説明に移行する。画像処理装置100の圧縮部160dは、処理対象となる画像データを取得する(ステップS113)。圧縮部160dは、取得した画像データをn×m個の部分画像に分割し、各部分画像にアドレス情報を付与する(ステップS114)。
画像処理装置は、xの値を1から順にインクリメントしつつ、xの値がmとなるまで、ステップS115〜S120の処理を繰り返し実行した後、ステップS121に移行する。画像処理装置100は、yの値を1から順にインクリメントしつつ、yの値がnとなるまで、ステップS116〜S119の処理を繰り返し実行した後、ステップS120に移行する。
圧縮部160dは、損傷箇所情報を参照し、部分画像に対応するアドレス情報の損傷有無が「true」であるか否かを判定する(ステップS117)。圧縮部160dは、部分画像に対応するアドレス情報の損傷有無が「true」である場合には(ステップS117,Yes)、該当部分画像を圧縮処理し(ステップS118)、ステップS119に移行する。
一方、圧縮部160dは、部分画像に対応するアドレス情報の損傷有無が「true」でない場合には(ステップS117,No)、ステップS119に移行する。圧縮部160dは、分割した部分画像を、アドレス情報を基にして結合する(ステップS121)。圧縮部160dは、画像DB150aの画像データを更新する(ステップS122)。
次に、本実施例にかかる画像処理装置100の効果について説明する。画像処理装置100は、画像処理装置は、ある時刻に撮影された画像データから有意な部分を特定し、ある時刻よりも過去に撮影された画像データのうち、有意な部分対応する領域以外の領域を圧縮し、データベースで保存する。このように、今後損傷(有意な部分)の発生が予測される領域については、圧縮せず、その他の領域については、圧縮するので、画像データの圧縮を効率よく行うことができる。たとえば、異常等の検出精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。また、画像処理装置100によれば、画像データの撮像目的に対して有意な部分を残しつつ、画像データを効率よく圧縮できる。
画像処理装置100は、圧縮した各部分画像と、圧縮していない各部分画像を結合することで、元の画像形式の画像データを生成し、生成した画像データによって、画像DB150aの該当する画像データを上書きする。これにより、画像データのデータ容量を削減することができる。
画像処理装置100は、所定の期間において、構造物を継時的に撮影したベクターデータを複数のセルに分割し、所定の期間に撮影されたベクターデータに含まれる特定の撮像画像において、分割したそれぞれのセルから特徴のある領域を、損傷部分として特定するため、損傷部分の有無をセル毎に区別することができ、効率的に圧縮対象となる部分画像と対応づけることができる。
画像処理装置100は、所定の期間に撮像された複数のベクターデータのうち、最後に撮像されたベクターデータと、このベクターデータよりも所定期間前の画像データとを基にして、画像データに対して圧縮処理を行う。このため、画像データが非圧縮の状態となる期間を少なくできる。
次に、上記実施例に示した画像処理装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図13は、画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図13に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る読み取り装置204と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置205とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM206と、ハードディスク装置207とを有する。そして、各装置201〜207は、バス208に接続される。
ハードディスク装置207は、損傷特定プログラム207a、領域特定プログラム207b、圧縮プログラム207cを有する。CPU201は、損傷特定プログラム207a、領域特定プログラム207b、圧縮プログラム207cを読み出してRAM206に展開する。
損傷特定プログラム207aは、損傷特定プロセス206aとして機能する。領域特定プログラム207bは、領域特定プロセス206bとして機能する。圧縮プログラム207cは、圧縮プロセス206cとして機能する。損傷特定プロセス206aの処理は、損傷特定部160bの処理に対応する。領域特定プロセス206bの処理は、領域特定部160cの処理に対応する。圧縮プロセス206cの処理は、圧縮部160dの処理に対応する。
なお、各プログラム207a〜207cについては、必ずしも最初からハードディスク装置207に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム207a〜207cを読み出して実行するようにしても良い。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)構造物の撮像画像を解析して損傷部分を特定し、
前記撮像画像のうち、損傷部分を含む部分領域を特定し、
記憶部に記憶された前記構造物の過去の撮像画像のうち特定した前記部分領域を除く領域を対象に圧縮処理を施した圧縮画像を生成する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
(付記2)生成した前記圧縮画像により前記記憶部に記憶された前記過去の撮像画像を上書きする、
処理を前記コンピュータに実行させることを特徴とする付記1に記載の画像処理プログラム。
(付記3)前記損傷部分を特定する処理は、所定の期間において、前記構造物を継時的に撮影した複数の撮像画像を所定の大きさの領域に分割し、前記所定の期間に撮影された複数の撮像画像に含まれる特定の撮像画像において、分割したそれぞれの領域から特徴のある領域を、前記損傷部分として特定することを特徴とする付記1または2に記載の画像処理プログラム。
(付記4)前記損傷部分を特定する処理は、前記特徴のある領域を、ベクターデータに基づいて抽出することを特徴とする付記3に記載の画像処理プログラム。
(付記5)前記特定の撮像画像は、前記所定の期間に撮像された複数の撮像画像のうち、最後に撮像された撮像画像であることを特徴とする付記3または4に記載の画像処理プログラム。
(付記6)撮影時間の異なる複数の撮像画像に含まれる特徴点の位置ずれを基にして、前記損傷部分の位置を補正する処理を前記コンピュータに実行させることを特徴とする付記1に記載の画像処理プログラム。
(付記7)コンピュータが実行する画像処理方法であって、
構造物の撮像画像を解析して損傷部分を特定し、
前記撮像画像のうち、損傷部分を含む部分領域を特定し、
記憶部に記憶された前記構造物の過去の撮像画像のうち特定した前記部分領域を除く領域を対象に圧縮処理を施した圧縮画像を生成する、
処理を実行することを特徴とする画像処理方法。
(付記8)生成した前記圧縮画像により前記記憶部に記憶された前記過去の撮像画像を上書きする、
処理を実行することを特徴とする付記7に記載の画像処理方法。
(付記9)前記損傷部分を特定する処理は、所定の期間において、前記構造物を継時的に撮影した複数の撮像画像を所定の大きさの領域に分割し、前記所定の期間に撮影された複数の撮像画像に含まれる特定の撮像画像において、分割したそれぞれの領域から特徴のある領域を、前記損傷部分として特定することを特徴とする付記7または8に記載の画像処理方法。
(付記10)前記損傷部分を特定する処理は、前記特徴のある領域を、ベクターデータに基づいて抽出することを特徴とする付記7に記載の画像処理方法。
(付記11)前記特定の撮像画像は、前記所定の期間に撮像された複数の撮像画像のうち、最後に撮像された撮像画像であることを特徴とする付記7または8に記載の画像処理方法。
(付記12)撮影時間の異なる複数の撮像画像に含まれる特徴点の位置ずれを基にして、前記損傷部分の位置を補正する処理を実行することを特徴とする付記7に記載の画像処理方法。
(付記13)構造物の撮像画像を解析して損傷部分を特定する損傷特定部と、
前記撮像画像のうち、損傷部分を含む部分領域を特定する領域特定部と、
記憶部に記憶された前記構造物の過去の撮像画像のうち特定した前記部分領域を除く領域を対象に圧縮処理を施した圧縮画像を生成する圧縮部と
を有することを特徴とする画像処理装置。
(付記14)前記圧縮部は、生成した前記圧縮画像により前記記憶部に記憶された前記過去の撮像画像を上書きする、
ことを特徴とする付記13に記載の画像処理装置。
(付記15)前記領域特定部は、所定の期間において、前記構造物を継時的に撮影した複数の撮像画像を所定の大きさの領域に分割し、前記所定の期間に撮影された複数の撮像画像に含まれる特定の撮像画像において、分割したそれぞれの領域から特徴のある領域を、前記損傷部分として特定することを特徴とする付記13または14に記載の画像処理装置。
(付記16)前記損傷特定部は、前記特徴のある領域を、ベクターデータに基づいて抽出することを特徴とする付記13に記載の画像処理装置。
(付記17)前記特定の撮像画像は、前記所定の期間に撮像された複数の撮像画像のうち、最後に撮像された撮像画像であることを特徴とする付記13または14に記載の画像処理装置。
(付記18)前記損傷特定部は、撮影時間の異なる複数の撮像画像に含まれる特徴点の位置ずれを基にして、前記損傷部分の位置を補正する処理を実行することを特徴とする付記13に記載の画像処理装置。
100 画像処理装置
160 制御部
160a 受付部
160b 損傷特定部
160c 領域特定部
160d 圧縮部
この場合には、圧縮部160dは、各部分画像(1,1)〜(9,16)のうち、アドレス情報(4,5)、(4,6)、(4,8)、(4,9)、(5,5)、(5,6)、(5,7)、(5,9)、(5,10)、(5,11)に対応する部分画像を非圧縮対象とする。また、圧縮部160dは、アドレス情報(6,7)、(6,8)、(6,11)、(7,7)、(7,8)に対応する部分画像を圧縮対象とする。圧縮部160dは、残りの部分画像を圧縮対象とする(ステップS33)。
画像処理装置100の領域特定部160cは、セル(x,y)が有意なデータ(損傷部分)を含むか否かを判定する(ステップS108)。領域特定部160cは、セル(x,y)が有意なデータを含む場合には(ステップS108,Yes)、ステップS109に移行する。領域特定部160cは、セルのアドレス情報と、「false」とを対応づけて、損傷箇所情報に登録し、ステップS111に移行する(ステップS109)。
一方、領域特定部160cは、セル(x,y)が有意なデータを含まない場合には(ステップS108,No)、ステップS110に移行する。領域特定部160cは、セルのアドレス情報と、「true」とを対応づけて、損傷箇所情報に登録し、ステップS111に移行する(ステップS110)。

Claims (8)

  1. 構造物の撮像画像を解析して損傷部分を特定し、
    前記撮像画像のうち、損傷部分を含む部分領域を特定し、
    記憶部に記憶された前記構造物の過去の撮像画像のうち特定した前記部分領域を除く領域を対象に圧縮処理を施した圧縮画像を生成する、
    処理をコンピュータに実行させることを特徴とする画像処理プログラム。
  2. 生成した前記圧縮画像により前記記憶部に記憶された前記過去の撮像画像を上書きする、
    処理を前記コンピュータに実行させることを特徴とする請求項1に記載の画像処理プログラム。
  3. 前記損傷部分を特定する処理は、所定の期間において、前記構造物を継時的に撮影した複数の撮像画像を所定の大きさの領域に分割し、前記所定の期間に撮影された複数の撮像画像に含まれる特定の撮像画像において、分割したそれぞれの領域から特徴のある領域を、前記損傷部分として特定することを特徴とする請求項1または2に記載の画像処理プログラム。
  4. 前記損傷部分を特定する処理は、前記特徴のある領域を、ベクターデータに基づいて抽出することを特徴とする請求項3に記載の画像処理プログラム。
  5. 前記特定の撮像画像は、前記所定の期間に撮像された複数の撮像画像のうち、最後に撮像された撮像画像であることを特徴とする請求項3または4に記載の画像処理プログラム。
  6. 撮影時間の異なる複数の撮像画像に含まれる特徴点の位置ずれを基にして、前記損傷部分の位置を補正する処理を前記コンピュータに実行させることを特徴とする請求項1に記載の画像処理プログラム。
  7. コンピュータが実行する画像処理方法であって、
    構造物の撮像画像を解析して損傷部分を特定し、
    前記撮像画像のうち、損傷部分を含む部分領域を特定し、
    記憶部に記憶された前記構造物の過去の撮像画像のうち特定した前記部分領域を除く領域を対象に圧縮処理を施した圧縮画像を生成する、
    処理を実行することを特徴とする画像処理方法。
  8. 構造物の撮像画像を解析して損傷部分を特定する損傷特定部と、
    前記撮像画像のうち、損傷部分を含む部分領域を特定する領域特定部と、
    記憶部に記憶された前記構造物の過去の撮像画像のうち特定した前記部分領域を除く領域を対象に圧縮処理を施した圧縮画像を生成する圧縮部と
    を有することを特徴とする画像処理装置。
JP2017172101A 2017-09-07 2017-09-07 画像処理プログラム、画像処理方法および画像処理装置 Pending JP2019047461A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017172101A JP2019047461A (ja) 2017-09-07 2017-09-07 画像処理プログラム、画像処理方法および画像処理装置
US16/121,687 US10567632B2 (en) 2017-09-07 2018-09-05 Non-transitory computer-readable storage medium, image processing method, and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017172101A JP2019047461A (ja) 2017-09-07 2017-09-07 画像処理プログラム、画像処理方法および画像処理装置

Publications (1)

Publication Number Publication Date
JP2019047461A true JP2019047461A (ja) 2019-03-22

Family

ID=65518448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017172101A Pending JP2019047461A (ja) 2017-09-07 2017-09-07 画像処理プログラム、画像処理方法および画像処理装置

Country Status (2)

Country Link
US (1) US10567632B2 (ja)
JP (1) JP2019047461A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333416A (ja) * 2000-05-19 2001-11-30 Fujitsu General Ltd ネットワーク監視カメラシステム
JP2002330951A (ja) * 2001-05-11 2002-11-19 Canon Inc 画像符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体
JP2004046594A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像診断支援装置
JP2005102862A (ja) * 2003-09-29 2005-04-21 Konica Minolta Medical & Graphic Inc 画像診断支援装置及び画像診断支援方法
WO2013042413A1 (ja) * 2011-09-21 2013-03-28 富士フイルム株式会社 放射線動画処理装置、放射線動画撮影装置、放射線動画撮影システム、放射線動画撮影方法、及び放射線動画撮影プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4947447A (en) 1986-04-24 1990-08-07 Hitachi, Ltd. Method for data coding
JPS62281582A (ja) 1986-05-30 1987-12-07 Hitachi Ltd 画像デ−タ圧縮方式
JP2005136594A (ja) 2003-10-29 2005-05-26 Canon Inc 画像処理装置及びその制御方法
JP2007278928A (ja) * 2006-04-10 2007-10-25 Olympus Corp 欠陥検査装置
JPWO2014049761A1 (ja) * 2012-09-26 2016-08-22 富士通株式会社 システム、情報処理装置および画像処理方法
US20180159469A1 (en) * 2016-12-01 2018-06-07 Bt Imaging Pty Ltd Determining the condition of photovoltaic modules
US11836911B2 (en) * 2017-07-26 2023-12-05 Canon Kabushiki Kaisha Image data management method, production apparatus, production system, image data management method for production system, and non-transitory computer-readable recording medium
CN111566696A (zh) * 2017-12-25 2020-08-21 富士通株式会社 图像处理程序、图像处理方法以及图像处理装置
TWI653605B (zh) * 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333416A (ja) * 2000-05-19 2001-11-30 Fujitsu General Ltd ネットワーク監視カメラシステム
JP2002330951A (ja) * 2001-05-11 2002-11-19 Canon Inc 画像符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体
JP2004046594A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像診断支援装置
JP2005102862A (ja) * 2003-09-29 2005-04-21 Konica Minolta Medical & Graphic Inc 画像診断支援装置及び画像診断支援方法
WO2013042413A1 (ja) * 2011-09-21 2013-03-28 富士フイルム株式会社 放射線動画処理装置、放射線動画撮影装置、放射線動画撮影システム、放射線動画撮影方法、及び放射線動画撮影プログラム

Also Published As

Publication number Publication date
US20190075228A1 (en) 2019-03-07
US10567632B2 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
JP4772839B2 (ja) 画像識別方法および撮像装置
US9760999B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN110796600B (zh) 一种图像超分重建方法、图像超分重建装置及电子设备
CN107909569B (zh) 一种花屏检测方法、花屏检测装置及电子设备
WO2018228310A1 (zh) 图像处理方法、装置及终端
JP2017198671A (ja) 画像処理装置および画像処理方法
US11908183B2 (en) Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system
EP2764325A1 (en) Using videogrammetry to fabricate parts
KR20150126768A (ko) 이미지 합성 방법 및 그 전자 장치
CN111080571A (zh) 摄像头遮挡状态检测方法、装置、终端和存储介质
US20200013170A1 (en) Information processing apparatus, rebar counting apparatus, and method
JP6758237B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN111885371A (zh) 图像遮挡检测方法、装置、电子设备和计算机可读介质
US10657626B2 (en) Image processing apparatus, image processing system, and recording medium
JP2019047461A (ja) 画像処理プログラム、画像処理方法および画像処理装置
KR101559338B1 (ko) 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법
CN116430069A (zh) 机器视觉流体流速测量方法、装置、计算机设备及存储介质
JP6716769B1 (ja) 画像検査方法、画像検査装置、及び画像検査プログラム
JP2021111928A (ja) 異常検知装置、および異常検知方法
CN112580379A (zh) 数据处理系统和方法、电子设备以及计算机可读存储介质
JP2012104053A (ja) 背景差分処理装置、背景差分処理方法及びコンピュータプログラム
US9449251B2 (en) Image processing apparatus, image processing method, and medium
JP2004354234A (ja) 写真計測用カメラキャリブレーション方法
US20210281763A1 (en) Image processing apparatus and control method of the same, orientation adjustment system and non-transitory computer-readable medium storing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211019