JP2021157600A - 画像処理装置、画像処理方法 - Google Patents

画像処理装置、画像処理方法 Download PDF

Info

Publication number
JP2021157600A
JP2021157600A JP2020058310A JP2020058310A JP2021157600A JP 2021157600 A JP2021157600 A JP 2021157600A JP 2020058310 A JP2020058310 A JP 2020058310A JP 2020058310 A JP2020058310 A JP 2020058310A JP 2021157600 A JP2021157600 A JP 2021157600A
Authority
JP
Japan
Prior art keywords
image
region
images
defocus
overlapping region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020058310A
Other languages
English (en)
Other versions
JP2021157600A5 (ja
Inventor
信一 三ツ元
Shinichi Mitsumoto
信一 三ツ元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020058310A priority Critical patent/JP2021157600A/ja
Priority to US17/191,861 priority patent/US11790583B2/en
Publication of JP2021157600A publication Critical patent/JP2021157600A/ja
Publication of JP2021157600A5 publication Critical patent/JP2021157600A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 複数の画像を位置合わせして合成することで合成画像を生成する場合に、該位置合わせにより発生する画像間の重複領域について、該重複領域の画質の劣化を軽減させるための技術を提供すること。【解決手段】 複数の画像を位置合わせして合成することで合成画像を生成する。該位置合わせにより発生する画像間の重複領域について、該重複領域を共有するそれぞれの画像のデフォーカスマップを生成する。合成画像の重複領域に合成する画像を、それぞれの画像と、それぞれの画像のデフォーカスマップと、に基づいて取得し、該取得した画像を合成画像の重複領域に合成する。【選択図】 図1

Description

本発明は、複数の画像を位置合わせして合成することで合成画像を生成する技術に関するものである。
建造物の点検において、撮影した画像からひび割れなどの変状を検出する手法では、ピントが合っており、鮮明であることが求められている。また、点検の対象範囲から細かい変状を検出するためには、高解像度な画像(高解像度画像)が必要であるため、複数の高解像度画像を合成して、一枚の合成画像を生成する手法が取られる。合成画像を生成する際は、特許文献1や特許文献2のように、隣り合う画像に対して、撮影時に設定した重なり合う領域を用いて位置合わせを行い、画像の合成を行う。
特開2006−175620号公報 特許第6513309号公報
しかしながら、特許文献1や特許文献2に開示されるような技術は、風景写真のようなパノラマ写真として合成画像を生成することを目的としており、画像間の繋ぎ目が目立たないように滑らかに見える処理を行う。この時、位置合わせ用の重複領域に対し、ブレンド処理(画素毎に各画像の画素値の平均を取る処理)を行うが、片方の領域がボケなどの劣化要因を含むと、重複領域の画質に影響が出る。その結果、画像からの細かい変状の検出に影響が出る。
本発明では、複数の画像を位置合わせして合成することで合成画像を生成する場合に、該位置合わせにより発生する画像間の重複領域について、該重複領域の画質の劣化を軽減させるための技術を提供する。
本発明の一様態は、複数の画像を位置合わせして合成することで合成画像を生成する画像処理装置であって、前記位置合わせにより発生する画像間の重複領域について、該重複領域を共有するそれぞれの画像のデフォーカスマップを生成する生成手段と、前記合成画像の前記重複領域に合成する画像を、前記それぞれの画像と、前記それぞれの画像のデフォーカスマップと、に基づいて取得し、該取得した画像を前記合成画像の前記重複領域に合成する合成手段とを備えることを特徴とする。
本発明の構成によれば、複数の画像を位置合わせして合成することで合成画像を生成する場合に、該位置合わせにより発生する画像間の重複領域について、該重複領域の画質の劣化を軽減させることができる。
画像処理装置100のハードウェア構成例を示すブロック図。 合成画像の生成について説明する図。 (a)はテーブルの構成例を示す図、(b)は重複領域情報の構成例を示す図。 複数の画像を位置合わせして合成することで合成画像を生成するために画像処理装置100が行う処理のフローチャート。 ステップS403における処理の詳細を示すフローチャート。 デフォーカスマップの一例を示す図。 (a)は画像201のデフォーカスマップの一例を示す図、(b)は画像202のデフォーカスマップの一例を示す図。 合成画像の一例を示す図。 (a)は画像801のデフォーカスマップ901を示す図、(b)は画像802のデフォーカスマップ902を示す図。 画像801と画像802を位置合わせして合成することで合成画像803を生成するために画像処理装置100が行う処理のフローチャート。 選択画像が画像801である場合に、該画像801に対応する部分領域を取得するための処理を説明する図。 第3の実施形態を説明する図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1の実施形態]
本実施形態では、複数の画像を位置合わせして合成することで合成画像を生成する。その際、該位置合わせにより発生する画像間の重複領域を共有するそれぞれの画像のデフォーカスマップを生成し、該それぞれの画像のうち合成画像の重複領域に用いる画像を、該それぞれの画像のデフォーカスマップに基づいて選択する。そして、該選択された画像において重複領域に対応する部分画像を取得し、該取得した部分画像を合成画像における重複領域に合成する。先ず、本実施形態に係る画像処理装置100のハードウェア構成例について、図1のブロック図を用いて説明する。
CPU101は、RAM103やROM102に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりCPU101は、画像処理装置100全体の動作制御を行うとともに、画像処理装置100が行うものとして後述する各処理を実行もしくは制御する。
ROM102には、書き換え不要の画像処理装置100の設定データ、画像処理装置100の基本動作に係るコンピュータプログラムやデータ、画像処理装置100の起動に係るコンピュータプログラムやデータが格納されている。
RAM103は、ROM102やHDD(ハードディスクドライブ)104からロードされたコンピュータプログラムやデータ、通信部107により外部装置から受信したコンピュータプログラムやデータ、を格納するためのエリアを有する。さらにRAM103は、CPU101が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM103は、各種のエリアを適宜提供することができる。
HDD104には、OS(オペレーティングシステム)や、画像処理装置100が行うものとして後述する各処理をCPU101に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。HDD104に保存されているコンピュータプログラムやデータは、CPU101による制御に従って適宜RAM103にロードされ、CPU101による処理対象となる。
なお、HDD104は、記憶装置の一例として挙げたものであり、HDD104に加えて若しくは代えて、他の種類の記憶装置を用いてもよい。このような記憶装置は、例えば、メディア(記録媒体)と、該メディアに対するコンピュータプログラムやデータの読み書きを行うドライブ装置と、で実現することができる。このようなメディアとしては、例えば、フレキシブルディスク(FD)、CD−ROM、DVD、USBメモリ、MO、フラッシュメモリ等が知られている。また、このような記憶装置としては、USBメモリなどのフラッシュメモリや、画像処理装置100と通信可能に接続されているサーバ装置であってもよい。
表示部105は、CPU101による処理結果を画像や文字などでもって表示する装置であり、例えば、液晶ディスプレイ(LCD)、有機ELディスプレイ(OLED)、タッチパネル画面等で実装される。なお、図1では、画像処理装置100が表示部105を有する構成としているが、このような構成に限らず、例えば、表示部105は、画像処理装置100と有線もしくは無線で通信可能な外部装置であってもよい。また、表示部105は、画像や文字を投影するプロジェクタなどの投影装置であってもよい。
操作部106は、キーボード、マウス、タッチパネル画面などのユーザインターフェースであり、ユーザが操作することで各種の指示をCPU101に対して入力することができる。
通信部107は、外部装置との間のデータ通信を行うための通信インターフェースとして機能し、画像処理装置100は通信部107により外部装置との間のデータ通信を行うことができる。
CPU101、ROM102、RAM103、HDD104、表示部105、操作部106、通信部107、は何れも、バス110に接続されている。なお、図1に示したハードウェア構成は、以下に説明する各処理を実行可能な構成の一例にすぎず、定義変形/変更しても構わない。
次に、複数の画像を位置合わせして合成することで合成画像を生成するために画像処理装置100が行う処理について、図4のフローチャートに従って説明する。
ステップS401では、CPU101は先ず、合成対象となる複数の画像(入力画像)を取得する。複数の画像の取得元は特定の取得元に限らない。例えば、CPU101は、HDD104から合成対象となる複数の画像を読みだしてもよいし、通信部107によって外部装置から合成対象となる複数の画像をダウンロードしてもよい。また、画像処理装置100の内部若しくは外部に撮像部を設け、CPU101は、該撮像部により撮像された複数の画像(撮像画像)を合成対象として取得してもよい。
本実施形態では、HDD104には、図3(a)に例示する、合成画像の縦横サイズ(幅および高さ)と、合成対象となる画像のファイル名と、を規定したテーブル301が予め登録されているものとする。テーブル301には、合成画像の幅が5000画素であり、該合成画像の高さが2000画素であること、が規定されている。また、テーブル301には、合成対象となる画像のファイル名が、ファイル名「IMG_0013.jpg」、「IMG_0014.jpg」であることが規定されている。
よって、ステップS401では、CPU101は、テーブル301に登録されている合成対象の画像のファイル名を参照し、ファイル名「IMG_0013.jpg」の画像およびファイル名「IMG_0014.jpg」の画像をHDD104等から取得する。以下では、ファイル名「IMG_0013.jpg」の画像およびファイル名「IMG_0014.jpg」の画像のそれぞれの幅は3000画素、高さは2000画素であるものとする。また、合成対象となる画像は、歪み補正やあおり補正を行った画像であっても良い。
そしてCPU101は、合成対象として取得した複数の画像(ファイル名「IMG_0013.jpg」の画像およびファイル名「IMG_0014.jpg」の画像)の位置合わせを行って、合成画像における該複数の画像のそれぞれの位置を決定する。なお、複数の画像の位置合わせは既知の方法で行うことができる。例えば、SIFT(Scale Invariant Feature Transform)手法を用いて各画像から特徴点を算出し、特徴点の画像間マッチングを行うことで、画像間の位置合わせを行う。
ステップS402では、CPU101は、ステップS401で行った画像の位置合わせにより発生した画像間の重複領域について、該重複領域を特定するための情報を生成し、該生成した情報を含む重複領域情報を生成する。
ここで、ファイル名「IMG_0013.jpg」の画像およびファイル名「IMG_0014.jpg」の画像を位置合わせして合成することで合成画像を生成するケースについて、図2を用いて説明する。
図2(a)には、合成対象となる画像201(ファイル名「IMG_0013.jpg」の画像)および画像202(ファイル名「IMG_0014.jpg」の画像)を示している。図2(b)には、画像201と画像202を位置合わせして合成することで生成された合成画像203を示している。ここで、図2(c)に示す如く、画像201における画像領域211に含まれている画像内容と、画像202における画像領域212に含まれている画像内容と、は同じ(もしくは類似度が高い)である。然るに、画像201と画像202を位置合わせした結果、画像領域211および画像領域212は互いに重なる領域(重複領域)となる。画像領域211および画像領域212は、画像201と画像201とを合成する際の位置合わせ領域として使用され、その結果、図2(d)に示す如く、画像領域211および画像領域212は、合成画像203における重複領域213に該当することになる。
よって、ステップS402では、CPU101は、画像201において重複領域213に該当する画像領域211を規定する情報と、画像202において重複領域213に該当する画像領域212を規定する情報と、を含む重複領域情報を生成する。重複領域情報の構成例を図3(b)に示す。
「重複領域ID」は、画像201と画像202の位置合わせにより発生した重複領域ごとにCPU101が発行した、重複領域ごとに固有の識別子である。図2に示す如く、画像201と画像202の位置合わせにより発生した重複領域は、重複領域213の1つのみであるため、図3(b)では、この1つの重複領域213についてCPU101が発行した重複領域ID=「0」が登録されている。
「合成領域座標」は、合成画像203の左上隅の位置を原点としたときの該合成画像203における重複領域213の左上隅の座標(2000,0)および右下隅の座標(3000,2000)である。なお、図3(b)では、重複領域が矩形である例を示しているため、合成領域座標は、この矩形領域を特定可能な座標情報となっている。しかし、重複領域の形状は矩形に限らず、どのような形状であっても、重複領域座標には、合成画像における重複領域を規定する情報が登録される。
「画像1_ファイル名」は、画像201のファイル名「IMG_0013.jpg」である。「画像1_重複領域座標」は、画像201の左上隅の位置を原点としたときの、画像201において重複領域213に該当する画像領域211の左上隅の座標(2000,0)および右下隅の座標(3000,2000)である
「画像2_ファイル名」は、画像202のファイル名「IMG_0014.jpg」である。「画像2_重複領域座標」は、画像202の左上隅の位置を原点としたときの、画像202において重複領域213に該当する画像領域212の左上隅の座標(0,0)および右下隅の座標(1000,2000)である。
このように、重複領域ID=「0」に対応する重複領域を共有する画像の数がN(Nは2以上の整数)の場合、i=1,…,Nについて「画像i_ファイル名」および「画像i_重複領域座標」のセットが、重複領域ID=「0」と対応付けて重複領域情報に含められる。
ステップS403では、CPU101は、画像201および画像202から、重複領域213に用いる画像を選択する処理を行う。ステップS403における処理の詳細については、図5のフローチャートを用いて後述する。
ステップS404ではCPU101は、ステップS403で選択された画像から、重複領域213に対応する画像領域内の画像(部分画像)、つまり、画像201であれば画像領域211内の画像、画像202であれば画像領域212内の画像、を抽出する。そしてCPU101は、該抽出した部分画像を、合成画像203における重複領域213に合成し、該合成を行った合成画像203を出力する。合成画像203の出力先は特定の出力先に限らない。例えば、CPU101は、合成画像203を表示部105に出力することで該合成画像203を該表示部105に表示させてもよいし、該合成画像203をHDD104に出力して該合成画像203を該HDD104に保存させてもよい。また、CPU101は、通信部107を制御して該合成画像203を外部装置に対して出力(送信)しても良い。
次に、上記のステップS403における画像の選択処理の詳細について、図5のフローチャートに従って説明する。図5のフローチャートでは、重複領域情報に登録されているそれぞれの重複領域IDについて、ステップS503〜S508の処理を行う。本実施形態では、重複領域情報に登録されている重複領域IDは1つのみであるため、この1つの重複領域IDについて、ステップS503〜S508の処理を行うことになる。
ステップS503では、CPU101は、重複領域情報に登録されている重複領域IDにおいて未選択の1つを選択重複領域IDとして選択し、該選択重複領域IDと対応付けて重複領域情報に登録されているファイル名を特定する。図3(b)の例では、選択重複領域ID=「0」と対応付けて重複領域情報に登録されているファイル名「IMG_0013.jpg」および「IMG_0014.jpg」を特定する。そしてCPU101は、ファイル名「IMG_0013.jpg」の画像201および「IMG_0014.jpg」の画像202をHDD104等から取得する。
ステップS504では、CPU101は、ステップS503でHDD104等から取得した画像201および画像202のそれぞれについて、該画像の各画素に対応する合焦度を表すデフォーカスマップを生成する。
ある画像(着目画像)について生成したデフォーカスマップの一例を図6に示す。デフォーカスマップ601の幅および高さはそれぞれ、着目画像の幅および高さと同じである。また、デフォーカスマップ601の画素位置(x、y)における値(デフォーカス値)は、着目画像の画素位置(x、y)に写っている対象物に対するピントの前後のズレ量を絶対値として数値化した値である。
デフォーカス値は、例えば、着目画像の撮像を行う際に、像面位相差撮像センサを用いることで、画素の位置におけるデフォーカス量の情報として取得することが可能である。なお、デフォーカス値の情報の取得方法に関しては、公知の技術を利用することが可能である。例えば、像面位相差撮像センサから検出したピントの前後のズレ量を用いたオートフォーカス技術が既に広く実用化されている。
図6のデフォーカスマップ601において「0」が割り当てられている領域は、デフォーカス値「0」を有する画素の集合から成る領域0を示す。図6のデフォーカスマップ601において「1」が割り当てられている領域は、デフォーカス値「1」を有する画素の集合から成る領域1を示す。図6のデフォーカスマップ601において「2」が割り当てられている領域は、デフォーカス値「2」を有する画素の集合から成る領域2を示す。境界線603は、領域(領域0、領域1、領域2)間の境界線を表す。
領域0は、着目画像を撮像した撮像装置の合焦単位においてピンボケの無い領域である。領域1は、領域0よりも合焦度が低い(ボケの程度が大きい)領域であり、領域2は、領域1よりも合焦度が低い領域である。このように、より高いデフォーカス値の領域は、より合焦度が低い領域となっている。
画像201および画像202のそれぞれについて生成したデフォーカスマップの一例を、図7(a)、図7(b)に示す。画像201について生成したデフォーカスマップ701において、重複領域213(画像領域211)に対応する対応領域711には、領域0、領域1、領域2が含まれている。画像202について生成したデフォーカスマップ702において、重複領域213(画像領域212)に対応する対応領域712には、領域0のみが含まれている。
ステップS505では、CPU101は、画像201および画像202のうち未選択の1つを選択画像として選択する。そしてCPU101は、選択画像に対応するデフォーカスマップにおいて重複領域213に対応する対応領域内のデフォーカス値を取得する。
ステップS506では、CPU101は、画像201および画像202の両方を選択画像として選択したか否かを判断する。この判断の結果、画像201および画像202の両方を選択画像として選択した場合には、処理はステップS508に進む。一方、画像201および画像202のうち未だ選択画像として選択してない画像が残っている場合には、処理はステップS505に進む。
このような処理により、CPU101は、デフォーカスマップ701において重複領域213に対応する対応領域711内のデフォーカス値を取得する。対応領域711は、重複領域情報中の「画像1_重複領域座標」によって特定される画像領域211に対応するデフォーカスマップ701の領域である。また、CPU101は、デフォーカスマップ702において重複領域213に対応する対応領域712内のデフォーカス値を取得する。対応領域712は、重複領域情報中の「画像2_重複領域座標」によって特定される画像領域212に対応するデフォーカスマップ702の領域である。
ステップS508では、CPU101は、画像201および画像202のうち合成画像203の重複領域213に用いる画像を、デフォーカスマップ701の対応領域711内のデフォーカス値と、デフォーカスマップ702の対応領域712内のデフォーカス値と、に基づいて選択する。
画像201および画像202のうち合成画像203の重複領域213に用いる画像を、対応領域711内のデフォーカス値と対応領域712内のデフォーカス値とに基づいて選択する方法には様々な方法が考えられる。
例えば、CPU101は、対応領域711内でデフォーカス値が「0」の画素の数N1、対応領域712内でデフォーカス値が「0」の画素の数N2、を計数する。そしてCPU101は、N1>N2であれば、合成画像203の重複領域213に用いる画像として画像201を選択し、N1<N2であれば、合成画像203の重複領域213に用いる画像として画像202を選択する。図7(a)、(b)の例では、上記の如く、対応領域711内には、デフォーカス値が「0」以外の画素が含まれているのに対し、対応領域712はデフォーカス値「0」の画素のみで構成されているため、N1<N2となる。よってこの場合、合成画像203の重複領域213に用いる画像として画像202が選択される。
なお、N1=N2の場合は、例えば、CPU101は、対応領域711内でデフォーカス値が「1」の画素の数M1、対応領域712内でデフォーカス値が「1」の画素の数M2、を計数する。そしてCPU101は、M1>M2であれば、合成画像203の重複領域213に用いる画像として画像201を選択し、M1<M2であれば、合成画像203の重複領域213に用いる画像として画像202を選択する。
また、M1=M2の場合は、CPU101は、対応領域711内でデフォーカス値が「2」の画素の数P1、対応領域712内でデフォーカス値が「2」の画素の数P2、を計数する。そしてCPU101は、P1>P2であれば、合成画像203の重複領域213に用いる画像として画像201を選択し、P1<P2であれば、合成画像203の重複領域213に用いる画像として画像202を選択する。
また、P1=P2の場合は、合成画像203の重複領域213に用いる画像として、画像201および画像202のどちらを選択してもよく、その場合の選択基準は特定の選択基準に限らない。例えば、画像201および画像202のうち撮影日時がより古い方/より新しい方を選択しても良いし、ランダムに選択してもよい。
また、画像201および画像202のうち合成画像203の重複領域213に用いる画像を、対応領域711内のデフォーカス値と対応領域712内のデフォーカス値とに基づいて選択する他の方法には、例えば、次のような方法も考えられる。
例えば、CPU101は、対応領域711内のデフォーカス値の合計値/平均値AV1、対応領域712内のデフォーカス値の合計値/平均値AV2、を求める。そしてCPU101は、AV1<N2であれば、合成画像203の重複領域213に用いる画像として画像201を選択し、AV1>AV2であれば、合成画像203の重複領域213に用いる画像として画像202を選択する。
また、画像201および画像202のそれぞれのデフォーカスマップにおいて対応領域以外の領域内(非対応領域内)におけるデフォーカス値に基づいて、合成画像203の重複領域213に用いる画像を選択するようにしてもよい。
例えば、CPU101は、上記のN1に「デフォーカスマップ701において対応領域711以外の領域の画素数に対する該領域におけるデフォーカス値「0」の画素の数の割合」を適用し、上記のN2に「デフォーカスマップ702において対応領域712以外の領域の画素数に対する該領域におけるデフォーカス値「0」の画素の数の割合」を適用してもよい。
また例えば、CPU101は、上記のN1に「デフォーカスマップ701において対応領域711以外の領域におけるデフォーカス値「0」の画素の数」を適用し、上記のN2に「デフォーカスマップ702において対応領域712以外の領域におけるデフォーカス値「0」の画素の数」を適用してもよい。
また、画像201および画像202のそれぞれのデフォーカスマップから、デフォーカス値が0でない画素の分布を取得し、合成画像203の重複領域213に用いる画像の選択候補を、該分布を用いて絞ってもよい。着目画像のデフォーカスマップにおいて0でないデフォーカス値が分散している場合、該着目画像の撮像時にノイズが発生しているなど、該着目画像は信頼できない可能性があるため、該着目画像は選択候補から除外する。そして選択候補として残った画像から、上記の何れかの方法でもって、合成画像203の重複領域213に用いる画像を選択する。
また、画像201および画像202のうち合成画像203の重複領域213に用いる画像を、対応領域711、712内のデフォーカス値に基づいて選択することに限らず、例えば、次のような選択方法が考えられる。
例えば、合成画像の画像領域において、検出対象となるひび割れなどの変状が写るであろう被写体領域を予め特定しておき、該被写体領域に対応する画像201および画像202のデフォーカス値に基づいて、上記と同様にして画像選択を行ってもよい。
このように、本実施形態では、複数の画像を位置合わせして合成する際に重複する画像領域(重複領域)に、ピンボケの少ない画像を適用した合成画像を生成することができる。これにより、鮮明な画像で構成された重複領域を持つ合成画像が得られるため、このような合成画像からより細かいひび割れなどの変状を検出することができる。
なお、合成画像からひび割れなどの変状を検出する、いわゆる点検の処理は、画像処理装置100が行ってもよいし、外部装置が行ってもよい。前者の場合、画像処理装置100は、このような点検の処理を行った後、該点検の処理の結果を画像や文字でもって表示部105に表示する。なお、後者の場合、画像処理装置100は、生成した合成画像を外部装置もしくは外部装置がアクセス可能な装置に転送する。
[第2の実施形態]
以下では、第1の実施形態との差分について説明し、以下で特に触れない限りは、第1の実施形態と同様であるものとする。第1の実施形態では、合成画像203の重複領域213に用いる画像を、画像201および画像202の何れか一方としていた。本実施形態では、画像201および画像202のデフォーカスマップにおいて重複領域213に対応する対応領域から所定のデフォーカス値を有する部分領域を取得する。そして、画像201および画像202において該部分領域に対応する画像を組み合わせたものを、合成画像203の重複領域213に合成する。
図8に、本実施形態に係る合成画像の一例を示す。図8では、画像801と画像802を位置合わせして合成して合成画像803を生成している。位置合わせの際に画像801と画像802とで重複領域が発生する。該重複領域において領域811には画像801において領域811に対応する部分領域内の画像が合成されており、該重複領域において領域812には画像802において領域812に対応する部分領域内の画像が合成されている。
図9(a)は、画像801のデフォーカスマップ901を示しており、図9(b)は、画像802のデフォーカスマップ902を示している。デフォーカスマップ901において対応領域911は、画像801と画像802との重複領域に対応する領域であり、デフォーカスマップ902において対応領域912は、画像801と画像802との重複領域に対応する領域である。
本実施形態では、画像801において領域811に対応する領域を、対応領域911内のデフォーカス値に基づいて決定し、該決定した領域内の画像を領域811に合成する。同様に、画像802において領域812に対応する領域を、対応領域912内のデフォーカス値に基づいて決定し、該決定した領域内の画像を領域812に合成する。
画像801と画像802を位置合わせして合成することで合成画像803を生成するために画像処理装置100が行う処理について、図10のフローチャートに従って説明する。なお、図10において、図5に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。
ステップS1001では、CPU101は、ステップS505で取得した「選択画像に対応するデフォーカスマップにおいて重複領域213に対応する対応領域内のデフォーカス値」を参照し、該対応領域から「デフォーカス値が「0」の画素から成る領域」を部分領域として取得する。
選択画像が画像801である場合に、該画像801に対応する部分領域を取得するための処理について、図11を用いて説明する。ステップS1001では、CPU101は、図11(a)に示す対応領域911から、図11(b)に示す「デフォーカス値が0ではない画素の領域を囲む矩形領域1102」を省いた残りの領域を、図11(c)に示す部分領域1103として取得する。同様の処理は、画像802についても行われ、その結果、画像802に対応する部分領域を取得する。
ステップS1002では、CPU101は、デフォーカスマップ901についてステップS1001で取得した部分領域に対応する画像801内の部分画像と、デフォーカスマップ902についてステップS1001で取得した部分領域に対応する画像802内の部分画像と、を組み合わせ(つなぎ合わせ)て、合成画像803の重複領域に合成する画像を生成する。デフォーカスマップ901についてステップS1001で取得した部分領域に対応する画像801内の部分画像は領域811に合成される。また、デフォーカスマップ902についてステップS1001で取得した部分領域に対応する画像802内の部分画像は領域812に合成される。
なお、部分画像を組み合わせ(つなぎ合わせ)た際に、部分画像間で重複する部分が発生してしまった場合、該部分には、どの部分画像を用いてもよい。例えば、第1の実施形態で説明したように、撮像日時がより古い画像の部分領域を用いてもよいし、ランダムに選択して用いてもよい。
また、合成画像803における重複領域で部分画像が存在しない部分(デフォーカス値が0以外の画素の集合)については、合成に使用する画像の該部分のうち、デフォーカス値が最も低い部分を選択する。
このように、本実施形態によれば、重複領域を細かく分割した領域毎に、より鮮明な画像を割り当てることが可能となり、その結果、より正確にひび割れなどの変状を検出することができる。
なお、本実施形態では、「デフォーカス値が0でない画素の領域」を、該領域を囲む矩形領域1102で表し、対応領域911から矩形領域1102を省いて部分領域1103を得た。しかし、「デフォーカス値が0でない画素の領域」を囲む領域は矩形領域に限らず、他の形状の領域であってもよい。また、デフォーカス値が0でない領域Aに対して、他の画像において該領域Aに対応する領域Bのデフォーカス値が0であれば、領域Aを領域Bに置き換えても良い。
[第3の実施形態]
上記の各実施形態では、図2や図8に示す如く、隣り合う2つの画像を合成する例を示したが、これに限定するものでなく、2枚以上の画像を合成する場合においても、同様の処理が適用できる。
例えば、図12(a)に示す合成画像1211は、画像1201、画像1202、画像1203、画像1204を位置合わせして合成した合成画像である。このような位置合わせの結果、図12(b)に示す如く、2つの画像が重複する重複領域1221〜1224、3つの画像が重複する重複領域1231、1232、4つの画像が重複する重複領域1241が発生する。このような場合、重複領域1221と重複領域1231と重複領域1241に合成する画像には、画像1201が使用され、重複領域1222と重複領域1223と重複領域1232に合成する画像には、画像1203が使用される。なお、第2の実施形態のように、1つの重複領域に合成する画像を、複数の画像から生成してもよい。
なお、上記の説明において使用した数値、処理タイミング、処理順、情報の構成などは、具体的な説明を行うために一例として挙げたものであり、これらの数値、処理タイミング、処理順、情報の構成などに限定することを意図したものではない。
また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:画像処理装置 101:CPU 102:ROM 103:RAM 104:HDD 105:表示部 106:操作部 107:通信部 110:バス

Claims (11)

  1. 複数の画像を位置合わせして合成することで合成画像を生成する画像処理装置であって、
    前記位置合わせにより発生する画像間の重複領域について、該重複領域を共有するそれぞれの画像のデフォーカスマップを生成する生成手段と、
    前記合成画像の前記重複領域に合成する画像を、前記それぞれの画像と、前記それぞれの画像のデフォーカスマップと、に基づいて取得し、該取得した画像を前記合成画像の前記重複領域に合成する合成手段と
    を備えることを特徴とする画像処理装置。
  2. 前記合成手段は、前記合成画像の前記重複領域に合成する画像を、前記それぞれの画像のデフォーカスマップの前記重複領域に対応する対応領域内のデフォーカス値に基づいて取得することを特徴とする請求項1に記載の画像処理装置。
  3. 前記合成手段は、より小さいデフォーカス値をより多く含む対応領域を有するデフォーカスマップに対応する画像において前記重複領域に対応する部分画像を、前記合成画像の前記重複領域に合成する画像として取得することを特徴とする請求項2に記載の画像処理装置。
  4. 前記合成手段は、対応領域内のデフォーカス値の合計値がより小さいデフォーカスマップに対応する画像において前記重複領域に対応する部分画像を、前記合成画像の前記重複領域に合成する画像として取得することを特徴とする請求項2に記載の画像処理装置。
  5. 前記合成手段は、対応領域内のデフォーカス値の平均値がより小さいデフォーカスマップに対応する画像において前記重複領域に対応する部分画像を、前記合成画像の前記重複領域に合成する画像として取得することを特徴とする請求項2に記載の画像処理装置。
  6. 前記合成手段は、前記それぞれの画像のデフォーカスマップにおいて前記重複領域に対応する領域以外の領域を非対応領域とし、前記合成画像の前記重複領域に合成する画像を、前記それぞれの画像のデフォーカスマップの非対応領域内のデフォーカス値に基づいて取得することを特徴とする請求項1に記載の画像処理装置。
  7. 前記合成手段は、前記それぞれの画像のうち前記合成画像の前記重複領域に合成する画像として選択する選択候補を、前記それぞれの画像のデフォーカスマップの前記重複領域に対応する対応領域内のデフォーカス値の分布に基づいて決定することを特徴とする請求項1ないし6の何れか1項に記載の画像処理装置。
  8. 前記合成手段は、前記それぞれの画像のデフォーカスマップの対応領域から所定のデフォーカス値を有する領域を取得し、前記それぞれの画像の該領域に対応する画像を、前記合成画像の前記重複領域に合成する画像として取得することを特徴とする請求項1に記載の画像処理装置。
  9. 前記複数の画像のそれぞれは、撮像により得られる撮像画像であることを特徴とする請求項1ないし8の何れか1項に記載の画像処理装置。
  10. 複数の画像を位置合わせして合成することで合成画像を生成する画像処理装置が行う画像処理方法であって、
    前記画像処理装置の生成手段が、前記位置合わせにより発生する画像間の重複領域について、該重複領域を共有するそれぞれの画像のデフォーカスマップを生成する生成工程と、
    前記画像処理装置の合成手段が、前記合成画像の前記重複領域に合成する画像を、前記それぞれの画像と、前記それぞれの画像のデフォーカスマップと、に基づいて取得し、該取得した画像を前記合成画像の前記重複領域に合成する合成工程と
    を備えることを特徴とする画像処理方法。
  11. コンピュータを、請求項1ないし9の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
JP2020058310A 2020-03-27 2020-03-27 画像処理装置、画像処理方法 Pending JP2021157600A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020058310A JP2021157600A (ja) 2020-03-27 2020-03-27 画像処理装置、画像処理方法
US17/191,861 US11790583B2 (en) 2020-03-27 2021-03-04 Image processing apparatus, image processing method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020058310A JP2021157600A (ja) 2020-03-27 2020-03-27 画像処理装置、画像処理方法

Publications (2)

Publication Number Publication Date
JP2021157600A true JP2021157600A (ja) 2021-10-07
JP2021157600A5 JP2021157600A5 (ja) 2023-03-31

Family

ID=77856446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020058310A Pending JP2021157600A (ja) 2020-03-27 2020-03-27 画像処理装置、画像処理方法

Country Status (2)

Country Link
US (1) US11790583B2 (ja)
JP (1) JP2021157600A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415215B1 (ja) 2023-09-05 2024-01-17 ダイトロン株式会社 外観検査装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020000969B1 (pt) * 2017-07-18 2023-03-21 Vallourec Oil And Gas France Processo de fabricação de uma peça de conexão
WO2019031086A1 (ja) * 2017-08-09 2019-02-14 富士フイルム株式会社 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム
JP2021157600A (ja) * 2020-03-27 2021-10-07 キヤノン株式会社 画像処理装置、画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006175620A (ja) 2004-12-21 2006-07-06 Seiko Epson Corp 印刷装置、データ処理装置、および、印刷方法
WO2018105097A1 (ja) 2016-12-09 2018-06-14 三菱電機株式会社 画像合成装置、画像合成方法、及び画像合成プログラム
IL271518B2 (en) * 2019-12-17 2023-04-01 Elta Systems Ltd Radiometric corrections in the Mozika image
JP2021157600A (ja) * 2020-03-27 2021-10-07 キヤノン株式会社 画像処理装置、画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415215B1 (ja) 2023-09-05 2024-01-17 ダイトロン株式会社 外観検査装置

Also Published As

Publication number Publication date
US20210304471A1 (en) 2021-09-30
US11790583B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
JP2021157600A (ja) 画像処理装置、画像処理方法
US10187546B2 (en) Method and device for correcting document image captured by image pick-up device
JP2009165106A (ja) 画像の歪み補正
JP2017198671A (ja) 画像処理装置および画像処理方法
JP5825256B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP2013005258A (ja) ブレ補正装置、ブレ補正方法及び帳票
JP2019004305A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2012029658A1 (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
US11416978B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP2008217526A (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JPWO2009090727A1 (ja) 表示装置
JP4776983B2 (ja) 画像合成装置及び画像合成方法
US11830177B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP4321251B2 (ja) 合成画像を生成・表示する装置及び方法
US11551339B2 (en) Information processing apparatus, information processing method, and storage medium
WO2018003090A1 (ja) 画像処理装置、画像処理方法、および、プログラム
JP5563390B2 (ja) 画像処理装置およびその制御方法、及びプログラム
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
JP2015204576A (ja) 複数枚画像に対する画像処理装置および方法
US20230130917A1 (en) Image processing apparatus and image processing method
JP2014155086A (ja) 画角調整装置および画角調整方法
CN110692235A (zh) 图像处理装置、图像处理程序及图像处理方法
JP2014182034A (ja) 蛍光画像観察装置
JP2014010806A (ja) 光源情報抽出装置、光源情報抽出方法、および光源情報抽出プログラム
JPWO2018030386A1 (ja) 位置指定装置および位置指定方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240301