JP2019135642A - 画像処理方法、装置、およびコンピュータ読み取り可能な媒体 - Google Patents

Abstract

【課題】セマンティックセグメンテーションモデルレーニングシステムへ正確に注釈されたトレーニング画像を提供することで、その後の画像セグメンテーションの精度を向上させることができる画像処理方法、装置及びコンピュータ読み取り可能な媒体を提供する。【解決手段】方法は、入力画像における処理しようとする第１の領域及び第２の領域を確定するステップを含む。第１の領域は、少なくとも部分的に第１の色で充填され、第２の領域は、少なくとも部分的に第２の色で充填され、第１の領域及び第２の領域は、共通の境界領域を備える隣接した領域である。この方法は、縮小された第１の領域と第２の領域が全て境界領域を含まないように、第１の領域及び第２の領域を縮小するステップをさらに含む。この方法は、境界領域が第１の色と第２の色のうちの少なくとも１つの色で充填されるように、縮小された第１の領域及び第２の領域を拡張するステップをさらに含む。【選択図】図４

Description

本開示の実施形態は、一般的に、コンピュータビジョンの分野に関するもので、より具体的に、画像処理方法、装置、およびコンピュータ読み取り可能な媒体に関するものである。

画像セマンティックセグメンテーションは、画像理解の基本的な技術として、これは、通常、表現されたセマンティックに基づいて、画像中のピクセルをグループ化することにより、画像中の内容を認識することができることを指す。早期のイメージセマンティックセグメンテーション方法は、一般的に、画像中のピクセル自体のサブビジョン情報に基づいて、画像セグメンテーションを行い、そのセグメンテーション精度は、多くの場合に、満足できなくなる。コンピュータビジョンが深層学習時代に接する後、深層学習によるイメージセマンティックセグメンテーション技術が広く利用されている。

深層学習によるイメージセマンティックセグメンテーション技術は、早期の方法に比べて飛躍的なセグメンテーションの効果を獲得することができるが、これらの技術は、データのマークに対する要求は相対的に高い。深層学習によるイメージセマンティックセグメンテーション技術は、モデルのトレーニングデータとして大量の画像が必要になるのみならず、これらの画像に存在する異なる対象物にピクセルレベルのマークを行うことを要求する。通常、画像中の異なる対象物は、異なる色を利用して、マークすることができる。しかし、マークされた色のブロックの境界が平滑でない場合や、任意の対象物が間違った色を利用してマークされる場合、トレーニングされたセマンティックセグメンテーションモデルが必要なセマンティックセグメンテーションの結果を実現できない可能性がある。

本開示の例示的実施形態によれば、画像処理方法を提供する。
本開示の第１の態様において、画像処理方法を提供する。この方法は、入力画像における処理しようとする第１の領域及び第２の領域を確定するステップであって、前記第１の領域は、少なくとも部分的に第１の色で充填され、前記第２の領域は、少なくとも部分的に第２の色で充填され、前記第１の領域と前記第２の領域は、共通の境界領域を備える隣接した領域である、ステップと、縮小された前記第１の領域及び前記第２の領域の両方ともすべて前記境界領域を含まないように、前記第１の領域及び前記第２の領域を縮小するステップと、前記境界領域が前記第１の色及び前記第２の色のうちの少なくとも１つの色で充填されるように、縮小された前記第１の領域及び前記第２の領域を拡張するステップとを含む。

本開示の第２の態様において、画像処理装置を提供する。この装置は、入力画像における処理しようとする第１の領域及び第２の領域を確定するように構築される領域確定モジュールであって、前記第１の領域は、少なくとも部分的に第１の色で充填され、前記第２の領域は、少なくとも部分的に第２の色で充填され、前記第１の領域と前記第２の領域は、共通の境界領域を備える隣接した領域である、領域確定モジュールと、縮小された前記第１の領域及び前記第２の領域の両方ともすべて前記境界領域を含まないように、前記第１の領域及び前記第２の領域を縮小するように構築される第１の画像処理モジュールと、前記境界領域が前記第１の色及び前記第２の色のうちの少なくとも１つの色で充填されるように、縮小された前記第１の領域及び前記第２の領域を拡張するように構築される第２の画像処理モジュールとを含む。

本開示の第３の態様において、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置とを含み、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合第１の態様の方法を実現する電子機器を提供する。
本開示の第６の態様において、１つまたは複数のプロセッサと１つまたは複数のプログラムを記憶するための記憶装置を含み、前記１つまたは複数のプログラム被前記１つまたは複数のプロセッサによって実行される場合には、前記いずれかまたは複数のプロセッサが、本開示の第２の態様による方法を実現するようにする機器を提供する。

本開示の第４の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、第１の態様の方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。

発明の内容の部分で説明した内容は、本発明の実施形態のポイントまたは重要な特徴を限定しようとするものではなく、本発明の範囲を限定するためのものではないことを理解されたい。本発明の他の特徴は、下の説明を介して容易に理解できるだろう。

以下の図面を参照してなされた制限的でない実施形態に対する詳細的な説明により、本発明の他の特徴、目的及び利点はより明らかになる。
図１は、本発明の実施形態を実現することができる例示的な環境の概略図を示す。 図２は、本発明の実施形態に係るトレーニング画像の例を示す。 図３は、本発明の実施形態に係るマークされた色分布図の例を示す。 図４は、本発明の実施形態に係る隣接カラーブロックの境界を平滑にするための方法のフローチャートを示す。 図５は、本発明の実施形態に係る画像エッチングの概略図を示す。 図６は、本発明の実施形態に係るエッチングされた色分布図の例を示す。 図７は、本発明の実施形態に係る画像拡張の概略図を示す。 図８は、本発明の実施形態に係る拡張された色分布図の例を示す。 図９は、本発明の実施形態による間違った色を変更するための方法のフローチャートを示す。 図１０は、本発明の実施形態に係る画像処理装置の概略ブロック図を示す。 図１１は、本発明の複数の実施形態を実現することができるコンピューティング機器のブロック図を示す。

以下、説明の詳細を参照しながら本発明の様々な実施形態及び態様を説明し、図面には、上記様々な実施形態が示される。以下の説明及び図面は、本発明を例示するためのものであり、限定するものとして解釈されるべきではない。本発明の様々な実施形態を全面的に理解するために、多くの特定の詳細を説明する。ところが、いくつかの場合には、本発明の実施形態に対する簡単な説明を提供するために、周知又は従来技術の詳細について説明していない。

本発明の実施形態を説明することにおいて、用語「含む」及び似ている用語は、開放的な「含む」に理解すべきである。つまり、「．．．を含むが、これらに限定されない」と理解すべきである。用語「に基づいて」は、「少なくとも部分的に．．．に基づいて」と理解すべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第１」、「第２」などは、異なるか、同じ対象物を示す可能性もある。以下、他の明確な定義と暗黙的定義を含める可能性もある。

前述したように、従来の深層学習によるイメージセマンティックセグメンテーション技術は、モデルのトレーニングデータとして大量の画像が要求されるのみならず、これらの画像の中に存在する異なる対象物に対して、ピクセルのマークを行うことも要求される。これらのマークは、マーク手段によって人為的に完了することができる。通常、上述したマークは異なる色を使用して、異なる対象物を代表する画像領域を充填することにより、完了する。本願において、色で充填された画像領域は、「色のブロック」と呼ぶこともできる。人為的にマークされた画像は、セマンティックセグメンテーションモデルをトレーニングするために、セマンティックセグメンテーションモデルトレーニングシステムに提供されることができる。本明細書に使用されるような用語「モデル」は、トレーニングデータから、相応の入力と出力の間の関連性を学習し、トレーニングが完了した後、指定された入力を対象として対応する出力を生成することができる。例えば、トレーニングされたセマンティックセグメンテーションモデルは、特定しようとする画像を対象としてセマンティックセグメンテーション結果を生成することができ、つまり、そのイメージに含まれている各種の対象物を認識することができる。

しかし、トレーニング画像に対して人為的なマークを進めるときに、エラーが発生する可能性がある。例えば、ある対象物は、間違った色でマークされる可能性がある。このような場合に、トレーニングされたセマンティックセグメンテーションモデルは、誤ったセマンティックセグメンテーション結果を得る可能性があり、例えば、画像に含まれている該当対象物を正確に認識することができなくなる。また、人為的に充填された色のブロック境界は平滑していない可能性がある。例えば、色のブロックには、鋸歯型境界が発生する可能性が存在し、隣接する色のブロックの境界には十分に充填されていなかったファジー領域などが発生する可能性も存在する。このような場合に、トレーニングされたセマンティックセグメンテーションモデルは、満足できるセグメンテーション精度を実現しない可能性がある。

本発明の実施形態によれば、画像処理のための方案を提出する。この案は、マークされたトレーニング画像の中の有効色のブロックを対象にして色辞典を構築し、異なる色のブロックに異なる優先順位を分配する。この案は、色のブロックの歯型境界またはファジー境界を除去して、異なる色のブロックの異なる優先順位に基づいて、各色のブロックに対して拡張（拡大）と重畳を進めることにより、平滑な色のブロックの境界を備えるトレーニング画像を取得する。また、当該案は、画像のマーク（ラベルとも呼ばれる）中のエラーを自動的に修正することもできる。

画像のマーク中のエラーを自動的に校正し、マークされたトレーニング画像の中の色のブロックの境界を平滑にすることにより、当該案はその後のセマンティックセグメンテーションモデルトレーニングシステムに正確にマークされたトレーニング画像を提供することにより、その後の画像セグメンテーションの精度を向上させることができる。したがって、当該案は、各種のセマンティックセグメンテーションアプリケーションに広く適用することができ、これらのセマンティックセグメンテーションアプリケーションは、自律走行システム（例えば、距離情景認識と理解）、無人機応用（例えば、着地点判断）とウェアラブル機器応用などを含むが、これらに限定されない。

以下、添付された図面を参照して、本発明の実施形態を具体的に説明する。

図１は、本発明の複数の実施形態を実現可能な例示的環境１００の概略図を示す。環境１００は、一般的に、画像マークモジュール１２０、画像処理モジュール１３０とモデルトレーニングモジュール１４０を含むことができる。環境１００の構造と機能は、単に例示的な目的のために説明されるだけで、本発明の範囲の何限定を暗示するものではないことを理解されたい。本発明の実現は異なる構造および／または機能を備える環境に適用することもできる。

画像マークモジュール１２０は、トレーニング画像１０２に対してマークを進むように、ユーザ１１０によって操作されることができる。トレーニング画像１０２は、セグメンテーションしようとする複数の対象物を含むことができる。例えば、図２は、本発明の実施形態に係るトレーニング画像１０２の例を示す。図２に示すように、例示的トレーニング画像１０２は、空２０１、木２０２（道路左右両側の木を含む）、道路２０３、車両２０４、道路の両側のガードレール２０５などを含むことができる。例示と簡略化の目的のために、図２には、トレーニング画像１０２中のすべての対象物が表示されるのではなく、単に部分的な対象物だけが表示される。

ユーザ１１０は、画像マークモジュール１２０を介して異なる色によりトレーニング画像１０２中の異なる対象物についてマークを進めることができる。具体的には、ユーザ１１０は、既成された異なる色で異なる対象物に対応する領域を充填して、トレーニング画像１０２に対応する色分布図１０４を生成することができる。例えば、図３は、図２に示すようなトレーニング画像１０２に対応する色分布図１０４の例を示す。図３において、例えば、トレーニング画像１０２中の空２０１に対応する領域３０１は、カラーＡで充填され、トレーニング画像１０２中の木２０２に対応する領域３０２は、カラーＢで充填され、トレーニング画像１０２中の道路２０３に対応する領域３０３は、カラーＣで充填され、トレーニング画像１０２中の車両２０４に対応する領域３０４は、カラーＤで充填され、トレーニング画像１０２中のガードレール２０５に対応する領域３０５は、カラーＥで充填される。本明細書に説明される色Ａ−Ｅは、予め定義された任意の色であることを理解されたい。

上述したように、ユーザ１１０がマークした色分布図１０４には、様々な問題が存在する可能性がある。一部の場合、ユーザ１１０が間違った色である対象物をマークする可能性が存在し、例えば、ガードレールがピンク色にマークする必要があるが、ユーザ１１０がこれを指定されていない濃い赤色などでマークする可能性がある。例えば、いくつかのケースでは、ユーザ１１０により充填された色のブロックの境界は平滑していない可能性がある。例えば、色のブロックには、鋸歯型境界が発生する可能性が存在し、隣接する色のブロックの境界には、十分に充填されていないファジー（Ｆｕｚｚｙ）領域などが発生する可能性もある。画像処理モジュール１３０は、カラー分布図１０４に表示される可能性がある上述した問題点を修正することができる。

一部の実施形態において、画像処理モジュール１３０は、カラー分布図１０４を対象とする色辞典を獲得することができる。その色辞典は、データベース、テーブル、ファイル等の任意の適切な形式で記憶されることができ、これは色分布図１０４中の複数の有効色を示すことができる。例えば、図３に示すような色分布図１０４を対象として、色辞典は色Ａ、色Ｂ、色Ｃ、色Ｄと色Ｅを有効色に示すことができる。その色辞典に基づいて、画像処理モジュール１３０は、カラー分布図１０４で有効色に充填されていない色のブロックを最もマッチングする有効色で充填されるように変更することができる。この方法により、人為的なマークに発生したエラーは、削除されることができる。

また、一部の実施形態において、色辞典は異なる有効色が異なる優先順位を備えるように示すこともできる。具体的には、実際の環境中の異なる色のブロックの間のセマンティック関係に基づいて、異なる有効色に異なる優先順位を分配することができる。例えば、前景の優先順位は、背景の優先順位よりも高くなるようにする。図３に示された色分布図１０４を例にすると、色Ａで充填された領域３０１は、図２に示すような天２０１に対応し、色Ｂで充填された領域３０２は、図２に示すような木２０２に対応する。空２０１は、木２０２の背景なので、領域３０１を充填した色Ａは、領域３０２を充填した色Ｂよりも低い優先順位を備える。同様に、色Ｃで充填された領域３０３は、図２に示すような道路２０３に対応し、色Ｄで充填された領域３０４は、図２に示すような車両２０４に対応する。道路２０３が車両２０４の背景なので、領域３０３を充填した色Ｃは、領域３０４を充填した色Ｄよりも低い優先順位を備える。その他のルールを利用して、異なる有効色に対応した優先順位を分配することもでき、本発明の範囲は、このような方面で限定されないことを理解されたい。

色辞典に基づいて、画像処理モジュール１３０は、カラー分布図１０４に存在する隣接する有効色ブロック（つまり、両者はいずれも有効色を利用して充填した隣接する色のブロックである）を確認することができる。画像処理モジュール１３０は、まず、隣接する有効色のブロックの間の境界領域（例えば、これは鋸歯型またはファジー型である）を削除することができる。続いて、画像処理モジュール１３０は、隣接する有効色のブロックの異なる優先順位に基づいて、隣接する有効色ブロックに対して画像拡張と重畳を実行して、有効色で前記境界領域を充填することができる。この方法により、隣接する色のブロックの間に存在可能な鋸歯型境界領域またはファジー境界領域は平滑化されることができる。

色分布図１０４に存在する問題点を修正することで、画像処理モジュール１３０は、修正された色分布図１０６を生成することができる。修正された色分布図１０６は、セマンティックセグメンテーションモデル１０８を生成するように、モデルトレーニングモジュール１４０に提供されることができる。トレーニングされたセマンティックセグメンテーションモデル１０８は、識別しようとする画像を対象としてセマンティックセグメンテーション結果を生成することができ、つまり、そのイメージに含まれている各種の対象物を認識することができる。以下、図４を組み合わせて、画像処理モジュール１３０の作業原理をさらに説明する。

図４は、本発明の実施形態に係る画像処理方法４００のフローチャートを示す。例えば、方法４００は、図１に示すような画像処理モジュール１３０によって実行されることができる。方法４００は、図示されていない付加的なステップをさらに含み、および／または図示されたステップを省略することができることを理解されたい。本発明の範囲は、これらの方面で限定されない。

ブロック４１０において、画像処理モジュール１３０は、カラー分布図１０４のうち、処理しようとする第１の領域及び第２の領域を確定する。本願において、色分布図１０４は、画像処理モジュール１３０の「入力画像」と呼ばれることもできる。第１の領域及び第２の領域は、共通の境界領域を備える連続した領域である。また、第１の領域は、少なくとも部分的に第１の色で充填し、第２の領域は、少なくとも部分的に第２の色で充填することができる。

一部の実施形態において、処理しようとする第１の領域及び第２の領域を確定するために、画像処理モジュール１３０は、色辞典を獲得することができる。例えば、色辞典は、入力画像中の領域を充填する複数の有効色を示すことができる。一部の実施形態において、色辞典は、予め定義されたものであってもよい。他のいくつかの実施形態において、色分布図１０４に間違った色が存在しない場合には、画像処理モジュール１３０は、カラー分布図１０４中の色分布を学習して、色辞典を自動的に取得することもできる。画像処理モジュール１３０は、取得した色辞典に基づいて、有効色で充填された互いに隣接する２つの領域を、処理しようとする第１の領域及び第２の領域に利用することができる。

図３に説明されたような色分布図１０４を例にとると、画像処理モジュール１３０は、カラー分布図１０４を対象とする色辞典を獲得することができる。例えば、その色辞典は色Ａ、色Ｂ、色Ｃ、色Ｄと色Ｅを有効色で示すことができる。画像処理モジュール１３０は、互いに隣接する領域３０１、３０２）を、処理しようとする第１の領域及び第２の領域とそれぞれ確定することができる。代替的に、画像処理モジュール１３０は、互いに隣接する領域３０２、３０５をそれぞれ処理待しようとする第１の領域及び第２の領域と確定することができる。代替的に、画像処理モジュール１３０は、互いに隣接する領域３０２、３０４をそれぞれ処理待ちしようとする（処理待ち）第１の領域及び第２の領域と確定することができる。

ブロック４２０において、画像処理モジュール１３０は、縮小された第１の領域と第２の領域がすべて境界領域を含まないように、第１の領域及び第２の領域を縮小する。一部の例において、第１の領域及び第２の領域との間の境界領域には、第１の色と第２色と異なる他の１つの色が備えられることができる。例えば、境界領域は、２つの色のブロックの境界に位置する一のファジー領域である可能性がある。また、人為的なマークの原因のために、第１の領域及び第２の領域との間の境界は十分に明確ではなく平滑していない可能性がある。

一部の実施形態において、画像処理モジュール１３０は、第１の領域及び第２の領域から境界領域を直接除去することができる。例えば、画像処理モジュール１３０は、境界領域を予め定義された任意の無効色（例えば、黒色）で充填することができる。つまり、処理を介して、第１の領域及び第２の領域は無効色で充填された領域によって分離されることができる。

代替案として、または付加的に、いくつかの実施形態において、画像処理モジュール１３０は、第１の領域及び第２の領域の境界の周囲に位置する複数のピクセルを除去するように、第１の領域及び第２の領域について画像エッチングをそれぞれ実行することができる。この方法により、エッチングされた第１の領域及び第２の領域は、すべて上述した鋸歯型境界領域またはファジー境界領域を含んでいない。

図５は、本発明の実施形態に係る画像エッチングの概略図を示す。図５には、エッチング待ち入力画像５１０と、画像５１０に対して画像エッチングを行うための構造的な要素５２０とが示されている。画像５１０は、特定の有効色で充填されている、例えば上述したような第１の領域または第２の領域であることができる。図５において、構造要素５２０は、３×３ピクセルの相対的に小さな画像であり、その原点５２１は、五角星符号で表示され、原点５２１は、その後のエッチングの操作で基準点の役割をする。

一部の実施形態において、画像５１０に対して画像エッチングを行うための構造的な要素は、エッチング係数に基づいて確定することができる。エッチング係数は、画像５１０がエッチングされる程度を表示することができる。例えば、エッチング係数が３である場合、図５に示すような３×３ピクセルの構造要素が使用されることができる。エッチング係数が２である場合、２×２ピクセルの構造要素が使用されることができる。一部の実施形態において、エッチング待ちの第１の領域及び第２の領域を対象として、画像処理モジュール１３０は、異なるエッチング係数をそれぞれ利用することができる。つまり、画像処理モジュール１３０は、異なる構造的な要素を利用して、第１の領域及び第２の領域に対して画像エッチングをそれぞれ行うことができる。代替的に、いくつかの実施形態において、エッチング待ちの第１の領域及び第２の領域を対象として、画像処理モジュール１３０は、同じエッチング係数を利用することができる。つまり、画像処理モジュール１３０は、同一の構造的な要素を利用して、第１の領域及び第２の領域に対して画像エッチングをそれぞれ行うことができる。

また、図５に示すような構造的な要素５２０は、正方形であり、原点５２１がちょうどその中心点であるが、これは単に例示的な目的であるだけで、本発明の範囲を限定しようとするものではないことを理解しなければならする。一部の実施形態において、画像処理モジュール１３０は、他の形状の構造要素を利用することができ、構造的要素の原点位置は、任意の位置であることができる。

画像５１０に対して画像エッチングを行うために、画像処理モジュール１３０は、まず、画像５１０において構造的な要素５２０と完全にマッチングする部分を見つけることができる。これらの部分を見つけたら、画像処理モジュール１３０は、ソースイメージ５１０を充填する有効色で、空白の出力画像（例えば、完全に黒い画像、「真空図」とも呼ばれる）上の原点５２１に対応するピクセルを充填することができる。画像処理モジュール１３０は、画像５１０に存在する構造的な要素５２０にマッチングされているすべての部分が処理完了するまで、上述した過程を繰り返し実行することができる。生成された出力画像は、図５中の画像５３０に示された通りである。

図５に示すような二値（バイナリ値）（つまり、出力画像５３０中のピクセルは、有効色と無効色のいずれかを備える）画像エッチングの方法は、単に画像エッチング操作の一の例示的実現であることを理解されたい。一部の実施形態において、図５に図示された画像エッチング方法と異なる既存のまたは将来の開発される他の画像エッチング方法を利用して、第１の領域及び第２の領域に対して処理を行うこともでき、本発明の範囲は、これらの方面で限定されない。

図６は、図３に示すような色分布図１０４に対して画像エッチング操作を経由して生成された色分布図６００を示す。図６００に示すように、隣接する領域に対して、図５に示すような画像エッチングを実行することにより、隣接する領域間の境界領域を除去する。例えば、隣接する領域が無効の色で充填された領域によって分離されるように、当該境界領域は、予め定義された無効の色（例えば、黒色）で充填される。

帰って図４を参照すると、ブロック４３０において、画像処理モジュール１３０は、境界領域が第１の色と第２色のうちの少なくとも１つの色で充填されるように、縮小された第１の領域及び第２の領域を拡張する。一部の実施形態において、第１の領域及び第２の領域を拡張するために、画像処理モジュール１３０は、色辞典が示す異なる領域の異なる優先順位に基づいて、第１の領域及び第２の領域に対して拡張と重畳を行うことができる。

一部の実施形態において、画像処理モジュール１３０は、縮小された第１の領域の第１境界付近に対して第１の色を備える複数のピクセルを追加するように、縮小された第１の領域に対して画像拡張を実行することができる。付加的に、画像処理モジュール１３０は、縮小された第２の領域の第２境界付近に第２の色を備える複数のピクセルを追加するように、縮小された第２の領域に対して画像拡張を実行することもできる。

図７は、本発明の実施形態に係る画像拡張の概略図を示す。図７には、拡張しようとする入力画像７１０と画像７１０に対して画像拡張を進めるための構造的な要素７２０とが示されている。画像７１０は、特定の有効色で充填されている、例えば上述したような拡張しようとする第１の領域または第２の領域であることができる。図７において、構造要素７２０は、３×３ピクセルの相対的に小さな画像であり、その原点５２１は、五角星符号で表示され、原点５２１は、その後のエッチングの操作で基準点の役割をする。

一部の実施形態において、画像７１０に対して画像拡張を進めるための構造的な要素は、拡張係数に基づいて確定することができる。拡張係数は、画像７１０が拡張される程度を表示することができる。例えば、拡張係数が３である場合、図７に示すような３×３ピクセルの構造要素が使用されることができる。拡張係数が２である場合、２×２ピクセルの構造要素が使用されることができる。一部の実施形態において、第１の領域及び第２の領域を対象として、画像処理モジュール１３０は、異なる膨張係数をそれぞれ利用することができる。つまり、画像処理モジュール１３０は、異なる構造的な要素を利用して、第１の領域及び第２の領域に対して画像拡張をそれぞれ行うことができる。代替的に、いくつかの実施形態において、第１の領域及び第２の領域を対象として、画像処理モジュール１３０は、同じ拡張係数を利用することができる。つまり、画像処理モジュール１３０は、同一の構造的な要素を利用して、第１の領域及び第２の領域に対して画像拡張をそれぞれ行うことができる。付加的にまたは代替的に、特定の領域を対象とする拡張係数は、先に説明した、その領域を対象とするエッチング係数と同一または異なることができる。

また、図７に示すような構造的な要素７２０は、正方形であり、原点７２１がちょうどその中心点であるが、これは単に例示的な目的のためであり、本発明の範囲を限定しようとするものではないことを理解されたい。一部の実施形態において、画像処理モジュール１３０は、他の形状の構造要素を利用することができ、構造的要素の原点位置は、任意の位置であることができる。

画像７１０に対して画像拡張を進めるため、画像処理モジュール１３０は、構造的な要素７２０の原点７２１が順次画像７１０中の各ピクセルを経由するようにすることができる。原点７２１が画像７１０中の任意のピクセルを経由する場合に、画像処理モジュール１３０は、ソースイメージ６１０を充填する有効色で空白へ出力する画像（例えば、完全に黒い画像、「真空図」とも呼ばれる）上で構造的な要素７２０に対応するすべてのピクセル（例えば、９個のピクセルの）を充填することができる。画像処理モジュール１３０は、原点７２１が画像７１０中のすべてのピクセルを遍歴するまで、上述した過程を繰り返し実行することができる。生成された出力画像は、図７中の画像７３０に示された通りである。

図７に示された二値（つまり、出力画像７３０中のピクセルは、有効色と無効色のいずれかを備える）画像拡張は、単に画像拡張操作の一の例示的実現であることを理解されたい。一部の実施形態において、図７に図示された画像の拡張方法と異なる既存のまたは将来の開発される他の画像拡張方法を用いて縮小された第１の領域及び第２の領域に対して処理を行うこともでき、本発明の範囲は、これらの方面で限定されない。

さらに、画像処理モジュール１３０は、画像拡張された第１の領域及び第２の領域に対して画像重畳を行うことができる。一部の実施形態において、色辞典は異なる色ブロック（または異なる色のブロックを充填する異なる色）が異なる優先順位を備えることを示すことができる。例えば、色辞典は、第１の色で充填された第１の領域が第１の優先順位を備え、第２の色で充填された第２の領域が第２の優先順位を備えることを示すことができる。一部の実施形態において、画像処理モジュール１３０は、色辞典に示された異なる有効色の異なる優先順位に応じて、拡張された第１の領域及び第２の領域に対して画像重畳を行うことができる。具体的には、拡張された第１の領域及び第２の領域には、相互に重畳された領域が存在することができる。第１の領域の第１の優先順位が第２の領域の第２の優先順位よりも高い場合に、その相互重畳された領域で第１の領域は、第２の領域をカバーする。つまり、相互重畳された領域は、第１の色で充填される。第２の領域の第２の優先順位が第１の領域の第１の優先順位よりも高い場合に、その相互重畳された領域で第２の領域は第１の領域をカバーする。つまり、相互重畳された領域は、第２の色で充填される。前述したように、異なる色のブロックの優先順位は、一般的に、実際の環境中の異なる色のブロックの間のセマンティック関係に基づいて分配されることができ、例えば、前景の優先順位は、背景の優先順位よりも高くなる。この方法により、縮小された隣接する領域に対して画像拡張や画像重畳を進めることにより、隣接する領域中の、優先度の高い領域は、優先順位の低い領域を少なくとも部分的にカバーする。

図８は、図６に示すような色分布図６００に対して画像拡張操作を経由して生成された色分布図８００を示す。図８００に示すように、隣接する領域に対して、図７に示すような画像拡張を実行することにより、図６に示すような連続した領域との間の黒色領域（つまり、削除された境界領域）は、隣接する領域を充填する有効色で充填される。この方法により、図１に示すようなモデルトレーニングモジュール１４０を利用できるように、平滑な色のブロックの境界を備えるトレーニング画像を獲得することができる。

先に画像処理モジュール１３０がトレーニング画像の隣接する色のブロックの間の境界を平滑にするために実行する相応の操作を説明した。付加的にまたは代替的に、画像処理モジュール１３０は、カラー分布図１０４に存在する可能性がある間違ってマークされた色のブロックを変更することもできる。

図９は、本発明の実施形態による間違った色を変更するための方法９００のフローチャートを示す。例えば、方法９００は、図１に示すような画像処理モジュール１３０に実行されることができる。方法９００は、図示されていない付加的なステップをさらに含むことができ、および／または図示されたステップを省略することができることを理解されたい。本明細書に説明された主題の範囲は、これらの方面で限定されない。

ブロック９１０において、画像処理モジュール１３０は、入力画像中の領域を充填する複数の有効色を示す入力画像（つまり、色分布図１０４）を対象とする色辞典を獲得する。図３に示すような色分布図１０４を例にとると、当該辞書は色Ａ、色Ｂ、色Ｃ、色Ｄと色Ｅを有効色で示すことができている。

ブロック９２０において、入力画像が第３の領域を含み、第３の領域が複数の有効色に含まれていない第３の色で充填されることに応答して、画像処理モジュール１３０は、複数の有効色のから第３の色に最もマッチングされる第４の色を選択する。例えば、画像処理モジュール１３０は、複数の有効色に含まれていない第３の色で充填された第３の領域が存在するかどうかを確定するために、入力画像中の色のブロックを検査することができる。

一部の実施形態において、入力画像に複数の有効色に含まれていない第３の色で充填された第３の領域が存在することが確定された場合、画像処理モジュール１３０は、第３の色と複数の有効色それぞれとの距離を確定することができる。この距離は、第３の色と複数の有効色の間の相応する差異の程度を示すことができる。

例えば、赤、緑、青（ＲＧＢ）のカラースペースを例にとると、１つの色は、３つのカラーチャンネルの値の組み合わせ（Ｒ値、Ｇ値、Ｂ値）を利用して表示することができ、これは３次元の座標系の一つのベクトルに対応する。第３の色が第１のベクトルを利用して表示すると仮定すると、複数の有効色うちの一つの有効色は第２のベクトルを利用して表示し、このような場合、画像処理モジュール１３０は、第３の色と前記有効色との間の距離として、第１のベクトルと第２ベクトルとの間のユークリッド距離を算出することができる。この方法により、画像処理モジュール１３０は、第３の色と複数の有効色それぞれとの距離を確定することができる。先にＲＧＢカラースペースを例に挙げて、ＲＧＢカラースペースの中の２つの色の間の距離をどのように確定するかについて説明を行った。しかし、これは単に例示的な目的であり、本発明の範囲について任意に限定しようとするものではないことを理解されたい。本発明の実施形態は、ＹＵＶ色空間など他の色空間に適用されることもできる。また、２つの色の差異の程度は、任意の従来のまたは将来開発される方法を用いて確定することができ、本発明の範囲は、これらの方面で限定されない。

さらに、画像処理モジュール１３０は、複数の有効色から第４色として、第３の色との距離が最も小さい有効色を選択することができる。

ブロック９３０において、画像処理モジュール１３０は、第３の色の代わりに、第４の色で第３の領域を充填することができる。この方法で、人為的なマークにより発生された間違った色は自動的に修正されることができる。

一部の実施形態において、方法９００は、方法４００前に実行されることができる。つまり、画像処理モジュール１３０は、まず、色分布図１０４中の間違った色に対して修正を行った後、その中の隣接する色のブロック境界に対して平滑化を行う。他のいくつかの実施形態において、方法９００は、方法４００の後に実行されるか、または方法４００と並列に実行することもできる。また、一部の実施形態において、方法９００は、方法４００と相互に独立して実行されることができる。例えば、異なる場合について、画像処理モジュール１３０は、単に方法４００または方法９００を実行することができる。本発明の範囲は、これらの方面で限定されない。

前述した内容からわかるように、本発明の実施形態は、人為的にマークしたトレーニング画像の中の隣接する色のブロックの間の歯型境界またはファジー境界を除去し、異なる色のブロックの異なる優先順位に基づいて、各色のブロック対して拡張と重畳を進めることにより、平滑な色のブロックの境界を備えるトレーニング画像を獲得することができる。また、本発明の実施形態は、画像のマーク中のエラーを自動的に修正することもできる。画像のマーク中のエラーを自動的に校正し、マークされたトレーニング画像の中の色のブロックの境界を平滑にすることにより、本発明の実施形態は、その後のセマンティックセグメンテーションモデルトレーニングシステムに正確にマークされたトレーニング画像を提供することができる。これにより、後続のイメージセグメンテーションの精度を向上させることができる。したがって、本発明の実施形態は、各種のセマンティックセグメンテーションアプリケーションに広く適用することができ、各種のセマンティックセグメンテーションアプリケーションは、自律走行システム（例えば、距離情景認識と理解）、無人機応用（例えば、着地点判断）と着用式機器応用などを含むが、これらに限定されない。

図１０は、本発明の実施形態に係る画像処理装置１０００の概略ブロック図を示す。図１０に示すように、装置１０００は、インプットされた画像の中で処理しようとする第１の領域及び第２の領域を確定するように構築された領域確定モジュール１０１０を含むことができる。第１の領域は、少なくとも部分的に第１の色で充填され、第２の領域は、少なくとも部分的に第２の色で充填され、第１の領域及び第２の領域は、共通の境界領域を備える連続した領域である。装置１０００は、縮小された第１の領域と第２の領域のいずれかが境界領域を含まないように、第１の領域及び第２の領域を縮小するように構築された第１の画像処理モジュール１０２０をさらに含むことができる。装置１０００は、境界領域が第１の色と第２色のうちの少なくとも１つの色で充填されるように、縮小された第１の領域及び第２の領域を拡張するように構築された第２の画像処理モジュール１０３０をさらに含むことができる。

一部の実施形態において、領域確定モジュール１０１０は、入力画像の中の領域を充填する複数の有効色を示す色辞典を取得するように構築された色辞典取得ユニットと、第１の色と第２色が複数の有効色に含まれていることに応答して、互いに隣接する第１の領域及び第２の領域を確定するように構築された領域確定ユニットをさらに含む。

一部の実施形態において、第１の画像処理モジュール１０２０は、第１の領域及び第２の領域から境界領域を除去するように、さらに構築される。

一部の実施形態において、第１の画像処理モジュール１０２０は、第１の領域中の第１の領域の第１境界の近くに位置する複数のピクセルを除去するように、第１の領域に対して画像エッチングを実行するように構築された第１の画像エッチングユニットと、第２の領域中の第２の領域の第２境界付近に位置する複数の画素を除去するように、第２の領域に対して画像エッチングを実行するように構築された第２の画像エッチングユニットをより含む。

一部の実施形態において、色辞典は、第１の色と第１の優先順位が相互に関連し、第２の色と第２の優先順位が相互に関連されることをさらに示す。第２画像処理モジュール１０３０は、縮小された第１の領域の第１境界付近に対して第１の色を備える複数のピクセルを追加するように、縮小された第１の領域に対して画像拡張を実行するように構築された第１の画像拡張ユニットと、縮小された第２の領域の第２境界付近に第２の色を備える複数のピクセルを追加するように、縮小された第２の領域に対して画像拡張を実行するように構築された第２の画像拡張ユニットと、第１の優先順位と第２の優先順位に基づいて、画像拡張された第１の領域及び第２の領域に対して画像重畳を行うよう構築された画像重畳ユニットをさらに含む。

一部の実施形態において、画像重畳ユニットは、第１の優先順位が第２の優先順位を超えたことに応答して、画像拡張された第１の領域が画像拡張された第２の領域を少なくとも部分的にカバーするように、さらに構築される。

一部の実施形態においては、入力画像は、複数の有効色に含まれていない第３の色で充填された第３の領域を含む。装置１０００は、複数の有効色から第３の色に最もマッチング第４の色を選択するように構築された色選択モジュールと、第３の色の代わりに、第４の色で第３の領域を充填するように構築された色代替モジュールをさらに含む。

一部の実施形態において、色の選択モジュールは、第３の色と複数の有効色のそれぞれとの距離を確定するために構築された距離確定ユニットであって、前記距離は、前記第３の色と前記複数の有効色との間の相応する差異の程度を示すものである、距離確定ユニットと、第４色として、複数の有効色から第３の色との距離が一番小さい有効色を選択するように構築された色選択ユニットを含む。

一部の実施形態において、第３の色は、第１のベクトルで表示され、第４の色は、第２のベクトルで表示され、第３の色と第４色の間の距離は、第１のベクトルと第２ベクトルとの間のユークリッド距離である。

図１１は、本発明の複数の実施形態を実施することができるコンピューティング機器１１００のブロック図を示す。機器１１００は、図１１の点群データを処理するための装置１１１０を実現するのに使用することができる。図示されたように、機器１１００は、中央処理ユニット１１０１（ＣＰＵ）を含み、ＣＰＵ１１０１は、読み取り専用メモリ１１０２（ＲＯＭ）に記憶されたコンピュータプログラム指令、または記憶ユニット１１０８からランダムアクセスメモリ１１０３（ＲＡＭ）にロードされたコンピュータプログラム指令に基づいて、各種の適切な動作と処理を実行することができる。ＲＡＭ１１０３には、機器１１００の動作に必要な各種のプログラムやデータが記憶されることができる。ＣＰＵ１１０１、ＲＯＭ１１０２とＲＡＭ１１０３、バス１１０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース１１０５もバス１１０４に接続される。

機器１１００中のＩ／Ｏインターフェース１１０５に接続されている複数の部品として、キーボード、マウスなどの入力ユニット１１０６と、様々なタイプの表示装置、スピーカーなどの出力ユニット１１０７と、磁気ディスク、コンパクトディスクなどの記憶ユニット１１０８と、ＬＡＮカード、モデム、無線通信トランシーバなどの通信ユニット１１０９が含まれる。通信ユニット１１０９は、機器１１００がインターネットなどのコンピュータネットワークおよび／または各種の電気通信網を介して他の機器と情報／データを交換することを可能にする。

中央処理ユニット１１０１は、前述した各方法と処理、例えば、方法５００および／または方法９００を実行する。例えば、いくつかのの実施形態において、方法５００および／または方法９００は、コンピュータソフトウェアプログラムとして実現されることができ、これは機械可読媒体（例えば、記憶ユニット１１０８）に含まれている。一部の実施形態において、コンピュータプログラムの一部または全部は、ＲＯＭ１１０２、および／または通信ユニット１１０９を経由して機器１１００上にロードおよび／またはインストールすることができる。コンピュータプログラムは、ＲＡＭ１１０３にロードされてＣＰＵ１１０１により実行される場合、前述した方法５００および／または方法９００の１つまたは複数のステップを実行することができる。選択可能に、その他の実施形態において、ＣＰＵ１１０１は、ギターの任意の適切な方法で（例えば、ファームウェアの助けを借りて）方法５００および／または方法９００を実行するように構築することができる。

本明細書に説明されて複数の機能は、少なくとも部分的に１つまたは複数のハードウェアロジック部材で実行することができる。例えば、使用可能な模式的なタイプのハードウェアロジック部材は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、オンデマンド標準製品（ＡＳＳＰ）、システム−オン−チップシステム（ＳＯＣ）、複合プログラマブルロジック素子（ＣＰＬＤ）などを含むが、これに限定されない。

本発明の方法を実施するためのプログラムコードは、１つまたは複数のプログラマブル言語の任意の組み合わせを利用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、オンデマンドコンピュータ又はその他のプログラマブルデータ処理装置のプロセッサまたは制御装置に提供されることができ、プログラムコードがプロセッサまたは制御装置により実行される場合には、フローチャート、および／またはブロック図に規定された機能／操作が実施される。プログラムコードは、完全に機械上で実行されるか、部分的に機械上で実行されるか、独立したソフトウェアパッケージとして部分的に機械上で実行されて、部分的にリモートマシン上で実行されたり、または完全にリモートマシンまたはサービスで実行されることができる。

本発明の文脈において、機械可読媒体は、あるタイプの媒体であることができ、コマンドを実行するシステム、装置又は機器によって使用されるか、またはコマンドの実行システム、装置または機器と組み合わせて使用されるプログラムを含むまたは記憶することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であることができる。機械可読媒体は、電子、磁気、光学、電磁、赤外線または半導体システム、装置、または機器、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。機械可読記憶媒体のより具体的な例は、１つまたは複数のワイヤベースの電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去およびプログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光学ストレージ装置、磁気記憶装置、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。

また、特定の順序を利用して、各操作ウルルル説明したが、これはこのような操作が図示された特定の順序またはシーケンスで実行されることを要求したり、目的の結果を実現するために図示されたすべての操作が実行されることを要求すると理解してはならない。一定の環境において、マルチタスクと並列処理は、有利であることができる。同様に、上記説明に様々な具体的な実現の詳細が含まれているが、これらは本発明の範囲の限定と解釈してはならない。別の実施形態の文脈で説明されたいくつかの特徴は、組み合わせの方法で単一の実現に実現されることができる。逆に、単一の実現のコンテキストで説明された各種の特徴も個別にまたは任意の適切なサブ組み合わせの方法で複数の実現に実現されることもできる。

構造の特徴および／または方法のロジックの動作に固有の言語を使用して本主題を説明したが、特許請求の範囲に限定された主題は、必ずしも前述した特定の特徴または動作に限定されるべきではないことを理解すべきである。逆に、前述した特定の特徴または動作は、単に特許請求の範囲を実現する例示的形式である。

本開示の第３の態様において、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置とを含み、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合第１の態様の方法を実現する電子機器を提供する。

Claims (20)

1. 画像処理方法であって、
   入力画像における処理しようとする第１の領域及び第２の領域を確定するステップであって、前記第１の領域は、少なくとも部分的に第１の色で充填され、前記第２の領域は、少なくとも部分的に第２の色で充填され、前記第１の領域と前記第２の領域は、共通の境界領域を備える隣接した領域である、ステップと、
   縮小された前記第１の領域及び前記第２の領域の両方ともすべて前記境界領域を含まないように、前記第１の領域及び前記第２の領域を縮小するステップと、
   前記境界領域が前記第１の色及び前記第２の色のうちの少なくとも１つの色で充填されるように、縮小された前記第１の領域及び前記第２の領域を拡張するステップとを含む画像処理方法。
2. 請求項１において、
   入力画像における処理しようとする第１の領域及び第２の領域を確定するステップは、
   前記入力画像中の領域を充填する複数の有効色を示す色辞典を取得するステップと、
   前記第１の色及び前記第２の色が前記複数の有効色に含まれていることが確定されたことに応答して、互いに隣接した前記第１の領域及び前記第２の領域を確定するステップを含む画像処理方法。
3. 請求項１又は請求項２において、
   前記第１の領域及び前記第２の領域を縮小するステップは、
   前記第１の領域及び前記第２の領域から前記境界領域を除去するステップを含む画像処理方法。
4. 請求項１又は請求項２において、
   前記第１の領域及び前記第２の領域を縮小するステップは、
   第１の領域に対して画像エロージョンを実行して、前記第１の領域中の、前記第１の領域の第１の境界付近に位置する複数の画素を除去するステップと、
   前記第２の領域に対して画像エロージョンを実行して、前記第２の領域中の、前記第２の領域の第２の境界付近に位置する複数の画素を除去するステップとを含む画像処理方法。
5. 請求項２において、
   前記色辞典は、前記第１の色と第１の優先順位が相互に関連され、前記第２の色と第２の優先順位が相互に関連されることをさらに示し、
   縮小された前記第１の領域及び前記第２の領域を拡張するステップは、
   縮小された前記第１の領域の第１の境界付近に前記第１の色を備える複数の画素を追加するように、縮小された前記第１の領域に対して画像拡張を実行するステップと、
   縮小された前記第２の領域の第２の境界付近に前記第２の色を備える複数の画素を追加するように、縮小された前記第２の領域に対して画像拡張を実行するステップと、
   前記第１の優先順位と前記第２の優先順位に基づいて、画像拡張された前記第１の領域と前記第２の領域に対して画像重畳を行うステップとを含む画像処理方法。
6. 請求項５において、
   画像拡張された前記第１の領域及び前記第２の領域に対して画像重畳を行うステップは、
   前記第１の優先順位が前記第２の優先順位を超えたことに応答して、画像拡張された前記第１の領域が画像拡張された前記第２の領域を少なくとも部分的にカバーするようにするステップを含む画像処理方法。
7. 請求項２において、
   前記入力画像は、
   前記複数の有効色に含まれていない第３の色で充填された第３の領域を含み、
   前記方法は、
   前記複数の有効色から前記第３の色に最もマッチングする第４の色を選択するステップと、
   前記第３の色の代わりに、前記第４の色で前記第３の領域を充填するステップとをさらに含む画像処理方法。
8. 請求項７において、
   前記第４の色を選択するステップは、
   前記第３の色と前記複数の有効色のそれぞれとの距離を確定するステップであって、前記距離は、前記第３の色と前記複数の有効色との間の相応する差異の程度を示すものである、ステップと、
   前記第４の色として、前記複数の有効色から前記第３の色との前記距離が一番小さい有効色を選択するステップとを含む画像処理方法。
9. 請求項８において、
   前記第３の色は、第１のベクトルで表示し、前記第４の色は、第２のベクトルで表示し、前記第３の色と前記第４の色の間の前記距離は、前記第１のベクトルと前記第２のベクトルとの間のユークリッド距離である画像処理方法。
10. 画像処理装置であって、
    入力画像における処理しようとする第１の領域及び第２の領域を確定するように構築される領域確定モジュールであって、前記第１の領域は、少なくとも部分的に第１の色で充填され、前記第２の領域は、少なくとも部分的に第２の色で充填され、前記第１の領域と前記第２の領域は、共通の境界領域を備える隣接した領域である、領域確定モジュールと、
    縮小された前記第１の領域及び前記第２の領域の両方ともすべて前記境界領域を含まないように、前記第１の領域及び前記第２の領域を縮小するように構築される第１の画像処理モジュールと、
    前記境界領域が前記第１の色及び前記第２の色のうちの少なくとも１つの色で充填されるように、縮小された前記第１の領域及び前記第２の領域を拡張するように構築される第２の画像処理モジュールとを含む画像処理装置。
11. 請求項１０において、
    前記領域確定モジュールは、
    前記入力画像中の領域を充填する複数の有効色を示す色辞典を取得するように構築される色辞典取得ユニットと、
    前記第１の色及び前記第２の色が前記複数の有効色に含まれていることが確定されたことに応答して、互いに隣接した前記第１の領域及び前記第２の領域を確定するように構築される領域確定ユニットとをさらに含む画像処理装置。
12. 請求項１０又は請求項１１において、
    前記第１の画像処理モジュールは、
    前記第１の領域及び前記第２の領域から前記境界領域を除去するように、さらに構築される画像処理装置。
13. 請求項１０又は請求項１１において、
    前記第１の画像処理モジュールは、
    第１の領域に対して画像エロージョンを実行して、前記第１の領域中の、前記第１の領域の第１の境界付近に位置する複数の画素を除去するように構築される第１の画像エロージョンユニットと、
    前記第２の領域に対して画像エロージョンを実行して、前記第２の領域中の、前記第２の領域の第２の境界付近に位置する複数の画素を除去するように構築される第２の画像エロージョンユニットとをさらに含む画像処理装置。
14. 請求項１１において、
    前記色辞典は、前記第１の色と第１の優先順位が相互に関連され、前記第２の色と第２の優先順位が相互に関連されることをさらに示し、
    前記第２の画像処理モジュールは、
    縮小された前記第１の領域の第１の境界付近に前記第１の色を備える複数の画素を追加するように、縮小された前記第１の領域に対して画像拡張を実行するように構築される第１の画像拡張ユニットと、
    縮小された前記第２の領域の第２の境界付近に前記第２の色を備える複数の画素を追加するように、縮小された前記第２の領域に対して画像拡張を実行するように構築される第２の画像拡張ユニットと、
    前記第１の優先順位と前記第２の優先順位に基づいて、画像拡張された前記第１の領域と前記第２の領域に対して画像重畳を行うように構築される画像重畳ユニットとをさらに含む画像処理装置。
15. 請求項１４において、
    前記画像重畳ユニットは、
    前記第１の優先順位が前記第２の優先順位を超えたことに応答して、画像拡張された前記第１の領域が画像拡張された前記第２の領域を少なくとも部分的にカバーするように、さらに構築される画像処理装置。
16. 請求項１１において、
    前記入力画像は、
    前記複数の有効色に含まれていない第３の色で充填された第３の領域を含み、
    前記装置は、
    前記複数の有効色から前記第３の色に最もマッチングする第４の色を選択するように構築される色選択モジュールと、
    前記第３の色の代わりに、前記第４の色で前記第３の領域を充填するように構築される色置き換えモジュールとをさらに含む画像処理装置。
17. 請求項１６において、
    前記色選択モジュールは、
    前記第３の色と前記複数の有効色のそれぞれとの距離を確定するように構築される距離確定ユニットであって、前記距離は、前記第３の色と前記複数の有効色との間の相応する差異の程度を示すものである、距離確定ユニットと、
    前記第４の色として、前記複数の有効色から前記第３の色との前記距離が一番小さい有効色を選択するように構築される色選択ユニットとを含む画像処理装置。
18. 請求項１７において、
    前記第３の色は、第１のベクトルで表示し、前記第４の色は、第２のベクトルで表示し、前記第３の色と前記第４の色の間の前記距離は、前記第１のベクトルと前記第２のベクトルとの間のユークリッド距離である画像処理装置。
19. １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを記憶するための記憶装置とを含む電子機器であって、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、請求項１から請求項９のうちいずれか１項に記載の方法を実現する電子機器。
20. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合、請求項１から請求項９のうちいずれか１項に記載の方法を実現するコンピュータ読み取り可能な記憶媒体。