JP2022130034A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 入力画像におけるそれぞれの画素ブロックに対するデモザイクの推論結果を結合する際に行われる画素値のブレンドのための計算コストを低減させるための技術を提供すること。【解決手段】 画素ブロックに対するデモザイクの推論で行うパディングによる誤差が該画素ブロックの端部から侵食する領域をパディング領域とする。隣り合う画素ブロックのうち一方の画素ブロックの推論結果ブロックの該パディング領域に対応する第１対応領域と、他方の画素ブロックの推論結果ブロックの該パディング領域に対応する第２対応領域と、が重複する重複領域に対して画素値のブレンドを行う。【選択図】 図４

Description

本発明は、モザイク画像に対するデモザイクの推論技術に関するものである。

デジタルカメラなどのデジタル撮像装置に利用される撮像素子には、例えばＲＧＢ配列からなるカラーフィルタが装着され、各画素に特定の波長光を入射する構成となっている。具体的には、例えばベイヤ（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。ベイヤ配列の撮像画像は、各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像となる。デジタル撮像装置の現像処理部は、このモザイク画像に対して残り二色の画素値を補間するデモザイク処理などの様々な信号処理を施して、カラー画像を生成して出力する。デモザイク処理の従来手法として、まばらのＲＧＢ各色の画素値に対して線形フィルタを適用して周囲の同一色の画素値の線形補間を実行して各画素に対応するＲＧＢ各色を算出して設定する手法がある。この手法は補間精度が低いため、これまでに数多くの非線形補間手法が提案されてきた。しかしながら、何れの手法においても、それぞれが苦手とする画像領域においては、偽色やアーティファクトが発生するという課題があった。

そこで近年、深層学習技術を応用したデータ駆動型の補間手法が提案されている。非特許文献１は、ＣＮＮベースのデモザイクネットワークを学習させる手法を開示している。この手法では、まず、大量のＲＧＢ形式の教師画像を取得し、これを用いてＣＮＮを学習させる。学習が完了すると、モザイク画像（入力画像）をＣＮＮに入力してＲＧＢ画像に変換する推論（入力データに対する回帰のタスク）を行う。

Ｄｅｅｐ Ｊｏｉｎｔ Ｄｅｍｏｓａｉｃｋｉｎｇ ａｎｄ Ｄｅｎｏｉｓｉｎｇ， Ｓｉｇｇｒａｐｈ Ａｓｉａ ２０１６．

上記の手法では、ＧＰＵのメモリ量の制約上、一度にＧＰＵに入力できる画像のサイズは限られている。従って、入力画像のサイズが大きいときは、該入力画像を複数の画素ブロックに分割し、分割した画素ブロックごとにＧＰＵに入力して推論を行う、といった対策が求められる。そして、各推論結果が得られた後、それらを結合して、最終的な出力画像を再構成する。

この時に、画素ブロック同士の結合境界を滑らかにするため、分割時には画素ブロック端部が互いにオーバーラップするように分割しておき、結合時にはオーバーラップ領域同士をブレンド等により混ぜる、等の処理が考えられる。しかし、ブレンドすべき領域が大きいため、計算コストも大きくなるという課題が存在する。

本発明では、入力画像におけるそれぞれの画素ブロックに対するデモザイクの推論結果を結合する際に行われる画素値のブレンドのための計算コストを低減させるための技術を提供する。

本発明の一様態は、入力画像を、隣り合う画素ブロックが互いに重複するように複数の画素ブロックに分割する分割手段と、前記複数の画素ブロックのそれぞれについて、該画素ブロックに対するデモザイクの推論結果である推論結果ブロックを取得する取得手段と、前記取得手段が取得したそれぞれの推論結果ブロックを、隣り合う画素ブロックの推論結果ブロックが互いに重複するように結合させた結合画像を生成する生成手段とを備え、前記生成手段は、画素ブロックに対するデモザイクの推論で行うパディングによる誤差が該画素ブロックの端部から侵食する領域をパディング領域とし、隣り合う画素ブロックのうち一方の画素ブロックの推論結果ブロックにおいて該パディング領域に対応する第１対応領域と、他方の画素ブロックの推論結果ブロックにおいて該パディング領域に対応する第２対応領域と、が重複する重複領域に対して画素値のブレンドを行うことを特徴とする。

本発明の構成によれば、入力画像におけるそれぞれの画素ブロックに対するデモザイクの推論結果を結合する際に行われる画素値のブレンドのための計算コストを低減させることができる。

画像処理装置１００のハードウェア構成例を示すブロック図。 第１の実施形態の概要を説明する図。 ネットワークアーキテクチャを示す図。 画像処理装置１００の機能構成例を示すブロック図。 画像処理装置１００が行う処理のフローチャート。 システムの機能構成例を示すブロック図。 システムの動作を示すフローチャート。 ステップＳ５０４を説明する図。 オーバーラップ幅の設定例を示す図。 入力画像の分割例を示す図。 畳み込み演算を説明する図。 アルファマップを求める方法の一例を示す図。 第３の実施形態を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、図２に示す如く、入力画像２０１を分割して複数の画素ブロック２０２を生成する。入力画像２０１は、各画素にＲＧＢいずれかの色に対応する画素値のみが設定されたいわゆるモザイク画像であり、例えば、周知のＲＡＷ画像である。そして、該複数の画素ブロック２０２のそれぞれに対してデモザイクの推論を行うことで複数の「ＲＧＢ形式の推論結果ブロック２０３」を生成する。そして、それぞれの推論結果ブロック２０３を結合して、入力画像２０１と同サイズの結合画像２０４を生成するが、該結合の際には、「画素値のブレンド」を行う領域を定め、該定められた領域のみに対して「画素値のブレンド」を行う。

（画像処理装置の構成について）
まず、本実施形態に係る画像処理装置１００のハードウェア構成例について、図１のブロック図を用いて説明する。本実施形態に係る画像処理装置１００には、ＰＣ（パーソナルコンピュータ）、タブレット端末装置、スマートフォンなどのコンピュータ装置が適用可能である。

ＣＰＵ１０１は、ＲＡＭ１０２やＲＯＭ１０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０１は、画像処理装置１００全体の動作制御を行うと共に、画像処理装置１００が行うものとして説明する各処理を実行もしくは制御する。

ＲＡＭ１０２は、ＲＯＭ１０３，二次記憶装置１０４、外部記憶装置１０８などからロードされたコンピュータプログラムやデータを格納するためのエリア、撮像装置１１１から出力された入力画像（ＲＡＷ画像）などの情報を格納するためのエリア、を有する。さらにＲＡＭ１０２は、ＣＰＵ１０１やＧＰＵ１１０が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０２は、各種のエリアを適宜提供することができる。

ＲＯＭ１０３には、画像処理装置１００の設定データ、画像処理装置１００の起動に係るコンピュータプログラムやデータ、画像処理装置１００の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

二次記憶装置１０４は、ハードディスクドライブなどの不揮発性メモリである。二次記憶装置１０４には、ＯＳ（オペレーティングシステム）、画像処理装置１００が行うものとして説明する各種の処理をＣＰＵ１０１やＧＰＵ１１０に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。二次記憶装置１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０２にロードされ、ＣＰＵ１０１やＧＰＵ１１０による処理対象となる。なお、二次記憶装置１０４には、ハードディスクドライブの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。

ＧＰＵ１１０は、ＲＡＭ１０２にロードされたコンピュータプログラムやデータに基づいて動作することで、ＣＰＵ１０１から受け取ったデータに対して各種の演算処理を行い、該演算の結果をＣＰＵ１０１に通知する。

撮像装置１１１は、ベイヤ（Ｂａｙｅｒ）配列などの配列を有するカラーフィルタが装着された撮像素子を有し、該撮像素子から出力されるＲＡＷ画像をシステムバス１０７に対して出力する。

入力インターフェース１０５は、ＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。画像処理装置１００は、入力インターフェース１０５を介して外部からデータや命令等を取得する。

出力インターフェース１０６は、入力インターフェース１０５と同様にＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。なお、出力インターフェース１０６は、ＤＶＩやＨＤＭＩ（登録商標）等の映像出力端子であってもよい。画像処理装置１００は、出力インターフェース１０６を介して外部に対してデータ等を出力する。

ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、ＧＰＵ１１０、撮像装置１１１、入力インターフェース１０５、出力インターフェース１０６、は何れもシステムバス１０７に接続されている。

操作部１１２は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで、各種の指示を入力インターフェース１０５を介してＣＰＵ１０１に対して入力することができる。

外部記憶装置１０８は、ハードディスクドライブ、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの、画像処理装置１００に接続／装着されるメモリ装置である。外部記憶装置１０８から読み出されたコンピュータプログラムやデータは、入力インターフェース１０５を介して画像処理装置１００に入力されて、ＲＡＭ１０２や二次記憶装置１０４に格納される。また、外部記憶装置１０８に保存するコンピュータプログラムやデータは、出力インターフェース１０６を介して外部記憶装置１０８に書き込まれる。

表示装置１０９は、液晶画面やタッチパネル画面を有し、ＣＰＵ１０１やＧＰＵ１１０による処理結果を画像や文字などで表示する。また表示装置１０９は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

なお、図１に示した構成は、以下に説明する各処理を実現可能な装置の構成の一例であり、以下に説明する各処理を実現可能な構成は、図１に示した構成にかぎらない。例えば、図１では、撮像装置１１１は画像処理装置１００に内蔵されたデバイスとして該画像処理装置１００に組み込まれていた。しかし、これに限るものではなく、たとえば、このような撮像装置１１１を画像処理装置１００の外部装置として入力インターフェース１０５に接続するようにしても良い。

本実施形態では、画像処理装置１００は画像処理アプリケーションを実行することで、次のように動作する。つまり画像処理装置１００は、撮像装置１１１から出力された入力画像（ＲＡＷ画像）を分割して複数の画素ブロックを生成し、該複数の画素ブロックのそれぞれに対してデモザイクの推論を行うことで複数の「ＲＧＢ形式の推論結果ブロック２０３」を生成する。そして画像処理装置１００は、それぞれの推論結果ブロック２０３を結合して「入力画像２０１と同サイズの結合画像２０４」を生成するが、該結合の際には、「画素値のブレンド」を行う領域を定め、該定められた領域のみに対して「画素値のブレンド」を行う。

（ＣＮＮについて）
本実施形態では、画素ブロックに対するデモザイクの推論を畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）を用いて行う。ここで、非特許文献１をはじめ、深層学習技術を応用した画像処理技術全般で用いられているＣＮＮについて説明する。

ＣＮＮとは、学習（ｔｒａｉｎｉｎｇまたはｌｅａｒｎｉｎｇ）により生成したフィルタを画像に対して畳み込んだ（ｃｏｎｖｏｌｕｔｉｏｎ）後に非線形演算を行うことを繰り返す、学習型の画像処理技術である。フィルタは、局所受容野（Ｌｏｃａｌ Ｒｅｃｅｐｔｉｖｅ Ｆｉｅｌｄ：ＬＲＦ）とも呼ばれる。画像に対してフィルタを畳み込んだ後に非線形演算して得られる画像は、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）と呼ばれる。また、学習は入力画像と出力画像のペアからなる学習データ（ｔｒａｉｎｉｎｇ ｉｍａｇｅｓまたはｄａｔａ ｓｅｔｓ）を用いて行われる。簡単には、入力画像から対応する出力画像へ高精度に変換可能なフィルタの値を、学習データから生成することが学習である。この詳細については後述する。

画像がＲＧＢカラーチャネルを有する場合や、特徴マップが複数枚の画像から構成されている場合、畳み込みに用いるフィルタも、それに応じて複数のチャネルを有する。すなわち、畳み込みフィルタは、縦横サイズと枚数の他に、チャネル数を加えた、４次元配列で表現される。画像（または特徴マップ）にフィルタを畳み込んだ後に非線形演算を行う処理は、層（ｌａｙｅｒ）という単位で表現される。例えば、ｎ層目の特徴マップやｎ層目のフィルタなどと呼ばれる。また、例えばフィルタの畳み込みと非線形演算を３回繰り返すようなＣＮＮは、３層のネットワーク構造を有するという。この処理は、以下の式（１）のように定式化することができる。

式（１）において、Ｗｎはｎ層目のフィルタ、ｂｎはｎ層目のバイアス、Ｇは非線形演算子、Ｘｎはｎ層目の特徴マップ、＊は畳み込み演算子である。なお、右肩の（ｌ）はｌ番目のフィルタまたは特徴マップであることを表している。フィルタおよびバイアスは、後述する学習により生成され、まとめてネットワークパラメータとも呼ばれる。非線形演算には、例えばシグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）やＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）が用いられる。ＲｅＬＵは、以下の式（２）で与えられる。

すなわち、入力したベクトルＸの要素のうち負のものはゼロ、正のものはそのままとする非線形な処理である。次に、ＣＮＮの学習について説明する。ＣＮＮの学習は、入力学習画像（生徒画像）と対応する出力学習画像（教師画像）の組からなる学習データに対して、一般に以下の式（３）で表される目的関数を最小化することで行われる。

ここで、Ｌは正解とその推定との誤差を測る損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）である。また、Ｙｉはｉ番目の出力学習画像、Ｘｉはｉ番目の入力学習画像である。また、ＦはＣＮＮの各層で行う式（１）を、まとめて表した関数である。また、θはネットワークパラメータ（フィルタおよびバイアス）である。また、

はＬ２ノルムであり、簡単にはベクトルＺの要素の２乗和の平方根である。また、ｎは学習に用いる学習データの全枚数である。しかし、一般に学習データの全枚数は多いため、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ：ＳＧＤ）では、学習画像の一部をランダムに選び学習に用いている。これにより、多くの学習データを用いた学習における、計算負荷が低減できる。 また、目的関数の最小化（＝最適化）法として、モーメンタム（ｍｏｍｅｎｔｕｍ）法やＡｄａＧｒａｄ法、ＡｄａＤｅｌｔａ法、Ａｄａｍ法など、様々な方法が知られている。 Ａｄａｍ法は、以下の式（４）で与えられる。

式（４）において、θｉ^ｔは反復ｔ回目におけるｉ番目のネットワークパラメータ、ｇはθｉ^ｔに関する損失関数Ｌの勾配である。また、ｍ、ｖはモーメントベクトル、αは基本学習率（ｂａｓｅ ｌｅａｒｎｉｎｇ ｒａｔｅ）、β１、β２はハイパーパラメータ、εは小さい定数である。なお、学習における最適化法の選択指針は存在しないため、基本的に何を用いても良いが、方法ごとの収束性には違いがあるため、学習時間の違いが生じることが知られている。

ＣＮＮを用いたネットワークとしては、画像認識分野のＲｅｓＮｅｔや超解像分野におけるその応用ＲＥＤ－Ｎｅｔが有名である。いずれもＣＮＮを多層にして、フィルタの畳み込みを何度も行うことで、処理の高精度化を図っている。例えば、ＲｅｓＮｅｔは畳み込み層をショートカットする経路を設けたネットワーク構造を特徴とし、これにより１５２層もの多層ネットワークを実現し、人間の認識率に迫る高精度な認識を実現している。なお、多層ＣＮＮにより処理が高精度化する理由は、簡単には非線形演算を何度も繰り返すことで、入出力間の非線形な関係を表現できるためである。

本実施形態に係るＣＮＮは、画素ブロックが入力されると、該画素ブロックに対するデモザイクの推論結果（推論結果ブロック）を出力するよう学習された学習済みのＣＮＮである。

（画像処理装置の機能構成例）
画像処理装置１００の機能構成例を図４のブロック図に示す。入力画像に対するデモザイクの推論結果である結合画像を生成するために画像処理装置１００が行う処理について、図５のフローチャートに従って説明する。

以下では、図４に示した各機能部を処理の主体として説明するが、実際には、該機能部の機能をＣＰＵ１０１やＧＰＵ１１０に実行させるためのコンピュータプログラムを該ＣＰＵ１０１や該ＧＰＵ１１０が実行することで、該機能部の機能が実現される。なお、図４に示した機能部のうち１以上をハードウェアで実装しても良い。

ステップＳ５０１では、入力画像取得部４０１は、デモザイク処理を行う対象となる入力画像を取得する。入力画像の取得方法は特定の取得方法に限らない。

例えば、入力画像取得部４０１は撮像装置１１１を制御し、該制御によって該撮像装置１１１が撮像したＲＡＷ画像を入力画像として取得しても良い。また例えば、入力画像取得部４０１は、二次記憶装置１０４に保存されているＲＡＷ画像を入力画像として取得しても良いし、外部記憶装置１０８に保存されているＲＡＷ画像を入力インターフェース１０５を介して入力画像として取得しても良い。また、画像処理装置１００がネットワーク（インターネットやＬＡＮ等の有線／無線ネットワーク）に接続されている場合には、入力画像取得部４０１は、該ネットワークを介して外部装置からＲＡＷ画像を入力画像として取得しても良い。

また、ここでは、ＲＡＷ画像は、カラーフィルタ配列としてベイヤ配列を採用した撮像装置により撮像されたＲＡＷ画像であるものとするが、カラーフィルタ配列はベイヤ配列に限らず、Ｘ－Ｔｒａｎｓなどの他のカラーフィルタ配列を用いても構わない。

ステップＳ５０２では、推論環境取得部４０２は、画像に対するデモザイクの推論を行うのに必要な情報である推論環境情報を取得する。推論環境情報は、「推論に用いるモデル」と「推論に用いるＧＰＵ１１０のメモリ量」の２つを含む。

「推論に用いるモデル」とは、「ＣＮＮのネットワークパラメータ」と「ＣＮＮのネットワークアーキテクチャ」の組である。「ＣＮＮのネットワークパラメータ」とは、ＣＮＮを規定するパラメータであり、重み係数、バイアス値などのパラメータを含む。また、「ＣＮＮのネットワークアーキテクチャ」とは、どのような層がどのような順番で繋がってＣＮＮが構成されているか等、ＣＮＮの構造を示す情報である。

「推論に用いるＧＰＵ１１０のメモリ量」とは、ＲＡＭ１０２、二次記憶装置１０４、外部記憶装置１０８、ＧＰＵ１１０が有する内部メモリ、などのメモリにおいてＧＰＵ１１０が利用可能なメモリ量である。

なお、推論環境情報の取得方法は、特定の取得方法に限らない。例えば、推論環境取得部４０２は、二次記憶装置１０４に保存されている類論環境情報を取得するようにしても良いし、外部記憶装置１０８に保存されている推論環境情報を入力インターフェース１０５を介して取得するようにしても良い。また、例えば、推論環境取得部４０２は、ユーザが操作部１１２を操作して入力した推論環境情報を取得するようにしても良い。また、画像処理装置１００がネットワーク（インターネットやＬＡＮ等の有線／無線ネットワーク）に接続されている場合には、推論環境取得部４０２は、該ネットワークを介して外部装置から推論環境情報を取得しても良い。

ステップＳ５０３では、幅算出部４０３は、画素ブロックに対するデモザイクの推論で行うパディングによる誤差が該画素ブロックの端部から侵食する領域（パディング領域）の幅（該パディングの影響が該画素ブロックの端部から侵食する幅（パディング幅））を、上記の推論環境情報に含まれている「ＣＮＮのネットワークアーキテクチャ」に基づいて求める。

ＣＮＮは、畳み込みフィルタの積み重ねで構成されており、各畳み込みフィルタは特徴マップに対して畳み込み演算を適用する。その例を図１１に示す。簡単のため、畳み込みフィルタのサイズは３ｘ３とする。

図１１（ａ）では、特徴マップ（画像）１１０１内のある３ｘ３の領域１１０２に対して、畳み込みフィルタを適用する場面を表している。領域１１０２内に表示している値は特徴の値（入力値）であり、３ｘ３の畳み込みフィルタにおいて該入力値に対応するフィルタ係数を該入力値に乗算し、それぞれの乗算結果の総和がフィルタリング結果として得られる。

この畳み込みフィルタを特徴マップ１１０１の右上隅の画素に適用する場面を図１１（ｂ）に示す。この場合、畳み込みフィルタを適用する領域１１０２は特徴マップ１１０１の外側（入力値が存在しない部分）を含む。そのため、このような領域１１０２に対して畳み込みフィルタを適用する場合、一般的には該外側の画素には適当な値を補填（パディング）してから、該領域１１０２に対して畳み込みフィルタを適用する。代表的なパディング方法としては、欠損値（入力値が存在しない部分の値）を０で補填するゼロパディングが用いられる。パディングされた領域に対して畳み込みフィルタを適用するが、そのフィルタリング結果は、入力値に０が混入することによって本来とは異なる値となる。同様の現象が特徴マップの外周（端部）の画素全てで発生し、フィルタリング結果（出力値）に誤差が重畳される。

そうして出力された特徴マップに、次の層の畳み込みフィルタを適用する際は、図１１（ｃ）のように、誤差の乗ったフィルタリング結果（「＊」を記した矩形）が畳み込みの入力値として利用される。従って、画像端から距離「２」（画像端から画像の中心方向に向かって２画素分の距離）の画素に対するフィルタリング結果にも誤差が重畳される。これを繰り返すと、畳み込み層１層ごとに、画像端から誤差が１画素ずつ侵食する。例えば３×３の畳み込み層５０層からなるＣＮＮの場合、推論結果の画像において画像端から５０画素以内の領域は、パディングによる誤差が発生することになる。パディングによる誤差が侵食する領域の幅をパディング幅と呼ぶ（この例ではパディング幅＝５０）。例えば、パディング領域が画像上端に沿って位置している場合、該画像の上端から該画像の中心に向かう方向における該パディング領域内の画素数が「該パディング領域のパディング幅」となる。

パディング幅はネットワークアーキテクチャごとに固有の値となっており、幅算出部４０３はこれを計算する。例として、非特許文献１のネットワークのパディング幅の算出法を示す。

非特許文献１のネットワークアーキテクチャは、図３に示す通りである。まず、画素ブロック２０２を３チャネル（Ｒチャネル、Ｇチャネル、Ｂチャネル）の欠損画像３０６に変換する。欠損画像のＲチャネルには、生徒画像のＲ成分の画素のみが入っており、他の画素の画素値は欠損値（０）に設定されている。欠損画像のＧチャネルには、生徒画像のＧ成分の画素のみが入っており、他の画素の画素値は欠損値（０）に設定されている。欠損画像のＢチャネルには、生徒画像のＢ成分の画素のみが入っており、他の画素の画素値は欠損値（０）に設定されている。なお、ｂｉｌｉｎｅａｒ補間等の手法により、欠損値を補間しても構わない。次に、サブサンプリング層３０１においてＲＧＢのチャネルごとに、欠損画像３０６の空間解像度を２分の１に落とす。次に、畳み込み層３０２を経た後、アップサンプリング層３０３において特徴マップのサイズを２倍に拡大し、画素ブロック２０２と同じ解像度にする。得られた特徴マップを、結合層３０４において画素ブロック２０２自身とチャネル方向に結合した後、畳み込み層３０５を経て、それぞれのチャネルに対応する推論結果ブロック２０３が出力される。

３×３の畳み込みフィルタを、特徴マップが２分の１の空間解像度である区間で適用した場合、パディングによる誤差は、入力ブロックのスケールで１層につき２画素ずつ侵食する。また、畳み込みフィルタが５ｘ５など大きいサイズであった場合には、侵食する画素数も大きくなる。ＣＮＮ内でｉ番目の層のフィルタサイズがｌｉで、その位置での特徴マップの解像度が入力ブロックのｋｉ分の１であった場合、そのＣＮＮのパディング幅ｐは以下のように計算される。

なお、画素ブロックに対するパディングの影響が該画素ブロックの端部から侵食する幅を「パディング幅」として求めることができるのであれば、パディング幅を求める方法は上記の方法に限らない。

ステップＳ５０４では分割部４０４は、ステップＳ５０３で求めたパディング幅ｐとステップＳ５０２で取得した推論環境情報とに基づき、ステップＳ５０１で取得した入力画像を、隣り合う画素ブロックが互いに重複するように複数の画素ブロックに分割する。このような分割を行うためには、画素ブロックのサイズと、画素ブロック同士のオーバーラップ幅と、を定める必要がある。

画素ブロックのサイズについては、分割部４０４は、推論環境情報に含まれている「推論に用いるＧＰＵ１１０のメモリ量」を参照し、分割後の全ての画素ブロックがＧＰＵ１１０が使用するメモリに収まる範囲で最大のサイズ（メモリオーバーフローとならない最大のサイズ）に設定する。

オーバーラップ幅については、分割部４０４は、図８に示す如く、ステップＳ５０３で求めたパディング幅ｐに基づいて設定する。図８の例では、画素ブロック８０１において端部からパディング幅８０２（ｐ画素）以内の領域がパディング領域８０３である。一方、図８の例では、パディングによる影響を受けない領域（画素ブロック８０１においてパディング領域８０３を除く残りの領域）が非パディング領域８０４である。非パディング領域は、常にパディングの誤差の影響を受けないため、推論結果がブロック分割方法に依存しないことが保証されている。この性質を利用し、分割部４０４は、図９（ａ）に示す如く、画素ブロック９０１における非パディング領域９１１と、該画素ブロック９０１と隣り合う画素ブロック９０２における非パディング領域９１２と、が隣接するようにオーバーラップ幅を設定する。すなわち、分割部４０４は、オーバーラップ幅（重複幅）＝２ｐと設定する。前述のように、非パディング領域の推論結果はブロック分割方法に依存しないため、非パディング領域同士の継ぎ目は推論結果が滑らかとなる。

このような設定で入力画像を複数の画素ブロックに分割した結果を図１０に示す。図１０では、入力画像２０１を６つの画素ブロックに分割しており、隣り合う画素ブロックにおいてそれぞれの非パディング領域同士は隣接している。なお、ブロック分割方法は上記の方法には限定されない。例えば、図９（ｂ）のように、非パディング領域９１１および非パディング領域９１２が一定距離（一定画素数）だけ離間するようにオーバーラップ幅を設定しても良い。

ステップＳ５０５では、算出部４０５は、ステップＳ５０３で求めたパディング幅ｐを用いて、画素値のブレンドを行う領域（ブレンド領域）の位置情報を取得する。以下では、それぞれの画素ブロックについて、該画素ブロックと同サイズの「該画素ブロックに対するデモザイクの推論結果を示す推論結果ブロック」を生成する。そして、それぞれの推論結果ブロックを、隣り合う推論結果ブロックをオーバーラップ幅＝２ｐで重複させながら、対応する画素ブロックの並び順に従って並べて結合することで「入力画像と同サイズの結合画像」を生成する。このような結合画像において、非パディング領域に対応する領域については、画素値のブレンドは不要である（非ブレンド領域）。一方、このような結合画像において、「隣り合う画素ブロックにおいて一方の画素ブロックのパディング領域と他方の画素ブロックのパディング領域とが重複する重複領域に対応する対応領域」はブレンド領域である。よって、該一方の画素ブロックの推論結果ブロックの画素値と該他方の画素ブロックの推論結果ブロックの画素値とを用いた「画素値のブレンド」を行って該ブレンド領域の画素値を決定する。

よって、ステップＳ５０５では、算出部４０５は、隣り合う画素ブロックにおいて、一方の画素ブロックにおけるパディング領域（該一方の画素ブロックの端部からパディング幅ｐで規定される領域）と、他方の画素ブロックのパディング領域（該他方の画素ブロックの端部からパディング幅ｐで規定される領域）と、が重複する重複領域をブレンド領域とし、該ブレンド領域の位置情報を特定する。「ブレンド領域の位置情報」は、例えば、該ブレンド領域の四隅の画像座標であっても良いし、該ブレンド領域において対向するそれぞれの隅の画像座標であっても良いし、該ブレンド領域の中心における画像座標と該ブレンド領域の縦横サイズとを含むセットであっても良い。

ステップＳ５０６では、推論部４０６は、推論環境情報に含まれている「推論に用いるモデル」によって規定されるＣＮＮに対し、ステップＳ５０４における分割で得られたそれぞれの画素ブロックを入力ブロックとして入力する。そして推論部４０６は、画素ブロックが入力されたＣＮＮの出力を、「該画素ブロックに対するデモザイクの推論結果である推論結果ブロック」として取得する。一例として、上記の図３を用いて説明した方法で推論結果ブロックを求める。

ステップＳ５０７では、マップ算出部４０７は、結合画像におけるブレンド領域（結合画像において、上記の「ブレンド領域の位置情報」で特定される領域）で重複するそれぞれの推論結果ブロックの画素値のブレンドに用いるアルファ値のマップ（アルファマップ）を求める。アルファマップを求める方法の一例を、図１２を用いて説明する。

一例としては、ブレンド領域１００１で重複する推論結果ブロックのうち左側の推論結果ブロックのブレンド領域１００１内のアルファ値が左端から右端に向けて下降するようなスロープ状のアルファマップ１２０１を算出する。このアルファマップ１２０１は、左側の推論結果ブロックのブレンド領域１００１内の横方向の各位置におけるアルファ値を表している。より白い部分ほどアルファ値が高く、より暗い部分ほどアルファ値が低いことを表している。

グラフ１２０２における横軸は、左側の推論結果ブロックのブレンド領域１００１内の横方向の位置を示しており、縦軸は該位置におけるアルファ値を示しており、左端から右端にかけて線形にアルファ値が減少していることを表している。なお、アルファ値の減少は線形でなくても良く、また単調減少でなくても良い。なお、減少する方向は左端から右端に限らず、右端から左端であっても良い。つまり、アルファマップは、アルファマップ（ブレンド領域）の一端から他端に向けてアルファ値が減少するように構成されている。

また、アルファ値を、その画素の推論誤差に基づいて定めても良い。例えば、画素ブロック中の位置（ｘ、ｙ）におけるＲ画素の画素値ｑ、該画素ブロックの推論結果ブロック中（推論結果ブロック内）の位置（ｘ、ｙ）におけるＲ画素の画素値ｑ’、を用いて、位置（ｘ、ｙ）における画素での推論誤差ε（画素値の差分）＝｜ｑ－ｑ’｜を求める。そして、該求めた推論誤差に基づき、位置（ｘ，ｙ）におけるアルファ値α（ｘ，ｙ）を以下のように求める。

式（６）では、推論誤差εが大きくなるほどその画素の信用度を低く設定（＝ブレンド時にその画素の値が優先される度合いを小さくする、つまりアルファ値を小さく設定）しており、推論誤差の逆数をアルファ値とすることでこの設定を実現している。また、アルファ値を［０，１］の区間に収めるため、正規化を行っている。なお、式（６）ではｑ、ｑ’の差分の絶対値の逆数をアルファ値として算出したが、別の式を用いてアルファ値を求めても構わない。つまり、画素ブロックにおける画素の画素値と、該画素ブロックの推論結果ブロックにおける該画素の画素値と、の差分に基づいて、該画素に対応するアルファ値を求める方法であって、該差分が大きいほどアルファ値が小さくなるような計算によってアルファ値を求める方法であれば、どのような方法であっても良い。

ここで、位置（ｘ，ｙ）の画素がＲチャネルの画素であるという前提で式（６）を示したが、Ｇチャネルの画素またはＢチャネルの画素である場合にも同様にこの式を適用する。これにより、アルファマップ１２０３が得られ、グラフ１２０４のようにアルファ値はブレンド領域における左端から右端へかけて単調減少ではなくなる。

なお、アルファマップの決定方法として、所与のスロープ状のマップを採用する方法や、その画素の推論誤差に基づいて算出する方法を示したが、それ以外の方法を用いても構わない。また、複数の方法で求めたアルファマップを重み付け加算などにより合成して最終的なアルファマップを求める方法を用いても良い。

ステップＳ５０８では、結合部４０８は、それぞれの推論結果ブロックを、隣り合う推論結果ブロックをオーバーラップ幅＝２ｐで重複させながら、対応する画素ブロックの並び順に従って並べて結合する（図１０と同様の構成になるように結合する）ことで「入力画像と同サイズの結合画像」を生成する。

その際、結合部４０８は、結合画像において「ブレンド領域の位置情報」で規定されるブレンド領域の画素値は、上記のアルファマップを用いて、該ブレンド領域で重複しているそれぞれの推論結果ブロックの画素値のブレンドを行うことで決定する（求める）。より詳しくは、結合部４０８は、結合画像における画素位置（ｘ，ｙ）の画素値を、以下の条件に基づいて決定する。

結合部４０８は、結合画像における画素位置（ｘ，ｙ）が、単一の推論結果ブロックに含まれる画素位置である場合には、該単一の推論結果ブロックの画素位置（ｘ、ｙ）における画素値を、結合画像における画素位置（ｘ，ｙ）の画素値とする。例えば、結合画像における画素位置（ｘ，ｙ）が図１０の画素位置１００２に対応する場合、該画素位置１００２について求めた推論結果ブロックの画素値を、結合画像における画素位置（ｘ，ｙ）に設定する。

結合部４０８は、結合画像における画素位置（ｘ，ｙ）が、一方の推論結果ブロックにおいて非パディング領域に対応する対応領域Ａと、他方の推論結果ブロックにおいてパディング領域に対応する対応領域Ｂと、が重複している重複領域内の画素位置である場合には、該対応領域Ａ内の該画素位置（ｘ、ｙ）における画素値を、結合画像における画素位置（ｘ、ｙ）の画素値とする。例えば、結合画像における画素位置（ｘ、ｙ）が、図１０の画素位置１００３に対応する場合、該画素位置１００３における非パディング領域の画素値を、結合画像における画素位置（ｘ，ｙ）に設定する。

結合部４０８は、結合画像における画素位置（ｘ，ｙ）が、一方の推論結果ブロックにおいてパディング領域に対応する対応領域Ｃと、他方の推論結果ブロックにおいてパディング領域に対応する対応領域Ｄと、が互いに重複している重複領域内の画素位置である場合には、該対応領域Ｃ内の該画素位置（ｘ，ｙ）の画素値ｑ１と、該対応領域Ｄ内の該画素位置（ｘ，ｙ）の画素値ｑ２と、を該画素位置（ｘ，ｙ）に対応するアルファ値に応じてブレンドしたブレンド結果である画素値ｑ＊を、結合画像における画素位置（ｘ，ｙ）の画素値に設定する。このブレンドの一例を、以下の式（７）に示す。

そして結合部４０８は、このようにして生成した結合画像を「入力画像に対する最終的なデモザイク結果」として出力する。なお、結合画像の出力先は特定の出力先に限らない。例えば、結合部４０８は、結合画像を二次記憶装置１０４に保存しても良いし、結合画像を入力インターフェース１０５を介して外部記憶装置１０８に保存しても良いし、結合画像を出力インターフェース１０６を介して表示装置１０９に表示させても良い。また、画像処理装置１００が上記のネットワークに接続されている場合には、結合部４０８は、結合画像を該ネットワークを介して外部装置に対して送信しても良い。

上記のステップＳ５０１～Ｓ５０８の処理は、デモザイクの推論を行うべき全ての入力画像について行われ、全ての入力画像についてデモザイクの推論を行った場合には、図５のフローチャートに従った処理は終了する。

このように、本実施形態によれば、入力画像を複数の画素ブロックに分割し、画素ブロックごとに推論結果ブロックを生成して結合することで結合画像を生成する場合に、パディング領域が重複する領域のみについて画素値のブレンドを行う。これにより、入力画像のデモザイク結果を取得するための計算コストを低減させることができる。

［第２の実施形態］
本実施形態を含む以下の各実施形態や変形例では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態では、推論に使用するＧＰＵが予め決まっており、かつ入力画像のサイズも一定であるという条件下で、複数の入力画像を順次デモザイクする例について説明する。

本実施形態に係るシステムの機能構成例を図６のブロック図に示す。図６に示す如く、本実施形態に係るシステムは、算出部６０１と、画像処理装置６９０と、を有し、算出部６０１と画像処理装置６９０との間は、ＬＡＮやインターネットなどのネットワークを介して接続されている。この接続は有線であっても無線であってもよく、その接続形態は特定の接続形態に限らない。

本実施形態では、算出部６０１も画像処理装置６９０も図１に示したハードウェア構成を有するコンピュータ装置であるものとして説明する。しかし、これに限らず、算出部６０１および画像処理装置６９０は図１に示したハードウェア構成以外のハードウェア構成を採用しても良い。また、算出部６０１および画像処理装置６９０はそれぞれ異なるハードウェア構成を採用しても良い。

本実施形態に係るシステムの動作（入力画像に対するデモザイクの結果を取得するための動作）について、図７のフローチャートに従って説明する。ステップＳ７０１における処理は算出部６０１にて行われる処理である。

ステップＳ７０１では、算出部６０１は、システム情報を取得する。システム情報は、前述の推論環境情報、パディング幅ｐ、ブレンド領域の位置情報の３つを含み、これらはＧＰＵ１１０のメモリ量と入力画像のサイズが定まっていれば不変である。そこで本実施形態では、推論のための前処理として、一括でシステム情報のみを算出して取得しておく。さらに算出部６０１は、入力画像のサイズを取得し、該入力画像のサイズを画像処理装置６９０に対して送信する。画像処理装置６９０に対して送信されたシステム情報および入力画像のサイズは、画像処理装置６９０における保持部６０２に格納される。以下では、入力画像のサイズはシステム情報に含められて保持部６０２に格納されているものとして説明する。

そして、ステップＳ５０１～Ｓ５０８の処理が画像処理装置６９０において上記の如く行われる。ここで、使用するＧＰＵ１１０のメモリ量や入力画像のサイズ等が変更された場合には、処理はステップＳ７０１に進み、再度、システム情報や入力画像のサイズの収集を行う。一方、使用するＧＰＵ１１０のメモリ容や入力画像のサイズ等が変更されていない場合、デモザイクの推論を行うべき入力画像が残っている場合には、処理はステップＳ５０１に進み、残っていない場合には、図７のフローチャートに従った処理は終了する。

なお、ＧＰＵ１１０のメモリ量と入力画像のサイズが事前に一意に定まっていない場合にも、本実施形態を適用可能である。その場合には、算出部６０１は、ＧＰＵ１１０のメモリ量と入力画像のサイズの組み合わせを複数列挙し、様々なケースについてシステム情報を算出して保持部６０２に登録する。そして画像処理装置６９０は、入力画像を処理する時点でのＧＰＵ１１０のメモリ量と入力画像のサイズを参照して、対応するシステム情報を保持部６０２から読み出して使用する。

また、ＧＰＵ１１０のメモリ量および入力画像のサイズのいずれかが固定されていなくても構わない。その場合、算出部６０１は、システム情報のうち、固定されている情報から算出可能な情報のみを出力する。保持部６０２は、システム情報のうち、残りの情報を随時算出して出力する。

このように、本実施形態によれば、状況が変わらない限りは固定されている情報については再計算することなく使用するので、不要な情報の再計算を省き、入力画像毎のデモザイクに係る計算コストをより低減させることができる。

［第３の実施形態］
本実施形態では、ステップＳ５０７で生成するアルファマップに関し、ブレンド領域の端部におけるアルファ値の不連続性を低減する例について説明する。図１３（ａ）は、ブレンド領域１００１の周囲を拡大した図である。ブレンド領域１００１は、左ブロック１３０１と右ブロック１３０２と隣接している。これらの領域について、ある高さｙ＝ｙ０においてスライスした直線１３００上のアルファ値を示したグラフが図１３（ｂ）である。ブレンド領域１００１におけるアルファ値はアルファマップ１３０３のようになっており、アルファ値が１に近づくほどブレンド時に左ブロック１３０１が優先され、アルファ値が０に近づくほど右ブロック１３０２が優先されることを表している。

ここで、左領域１３０４ではブレンドは行われず、左ブロック１３０１の推論結果のみが使用される。これは、この左領域１３０４においてアルファ値がα＝１に設定されていると表現できる。同様に、右領域１３０５においてはα＝０であると言える。このような場合、ブレンド領域１００１の左端部１３０６や右端部１３０７において、アルファ値が急激かつ不連続的に変化しうる。これにより、結合画像中に不自然なエッジが発生し、アーティファクトとして人間の目に知覚されうる。

これに対処するため、ブレンド領域の端部において、アルファ値が連続的に繋がるよう処理を行う。ブレンド領域を０≦ｘ≦ｘｍａｘ（ｘは入力画像／結合画像における水平方向の画素位置）の範囲とした場合、ブレンド領域において端部から幅Δの領域に対してアルファ値の補正を行う。これにより、アルファマップ１３０３であるα（ｘ，ｙ）に基づいて、補正後のアルファマップ１３０８であるα’（ｘ，ｙ）を、以下のように計算する。

ブレンド領域の左端部に対しては式（８ａ）の補正を適用し、右端部に対しては式（８ｂ）の補正を適用する。何れの式においても、アルファマップにおける端部のアルファ値を用いて、該端部を含む部分領域のアルファ値を補正する。これにより、図１３（ｃ）のように、ブレンド領域１００１の端部でアルファ値が急激に変化せず、連続的に繋がるようなアルファマップ１３０８となる。なお、この補正を行うための式は上記の式に限らず、他の補正方法も適用可能である。

＜変形例＞
図４や図６に示した構成は適宜変形／変更が可能である。例えば、１つの機能部を機能別に複数の機能部に分割しても良いし、２つ以上の機能部を１つの機能部に統合しても良い。また、図４に示した構成は、２以上の装置によって構成しても良いし、図６に示した構成は、３以上の装置によって構成しても良い。その場合、各装置は回路や有線若しくは無線のネットワークを介して接続され、互いにデータ通信を行って協調動作を行うことで、上記の各実施形態で説明した処理を実現する。

また、上記の各実施形態や変形例で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の構成／送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態や変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

４０１：入力画像取得部 ４０２：推論環境取得部 ４０３：幅算出部 ４０４：分割部 ４０５：算出部 ４０６：推論部 ４０７：マップ算出部 ４０８：統合部

Claims (20)

1. 入力画像を、隣り合う画素ブロックが互いに重複するように複数の画素ブロックに分割する分割手段と、
   前記複数の画素ブロックのそれぞれについて、該画素ブロックに対するデモザイクの推論結果である推論結果ブロックを取得する取得手段と、
   前記取得手段が取得したそれぞれの推論結果ブロックを、隣り合う画素ブロックの推論結果ブロックが互いに重複するように結合させた結合画像を生成する生成手段と
   を備え、
   前記生成手段は、
   画素ブロックに対するデモザイクの推論で行うパディングによる誤差が該画素ブロックの端部から侵食する領域をパディング領域とし、隣り合う画素ブロックのうち一方の画素ブロックの推論結果ブロックにおいて該パディング領域に対応する第１対応領域と、他方の画素ブロックの推論結果ブロックにおいて該パディング領域に対応する第２対応領域と、が重複する重複領域に対して画素値のブレンドを行う
   ことを特徴とする画像処理装置。
2. 前記分割手段は、隣り合う画素ブロックが前記パディング領域の幅に応じた重複幅で互いに重複するように前記入力画像を複数の画素ブロックに分割することを特徴とする請求項１に記載の画像処理装置。
3. 前記分割手段は、隣り合う画素ブロックの非パディング領域が隣接するように、前記入力画像を複数の画素ブロックに分割することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記分割手段は、隣り合う画素ブロックにおけるそれぞれの非パディング領域が一定距離だけ離間するように、前記入力画像を複数の画素ブロックに分割することを特徴とする請求項１または２に記載の画像処理装置。
5. さらに、
   前記推論を行うモデルの構造を示す情報に基づいて前記幅を求める手段を備えることを特徴とする請求項２に記載の画像処理装置。
6. 前記取得手段は、前記推論を行うモデルに前記複数の画素ブロックのそれぞれを入力することで該モデルから出力される、該画素ブロックの推論結果ブロックを取得することを特徴とする請求項１ないし５の何れか１項に記載の画像処理装置。
7. 前記生成手段は、前記第１対応領域における画素値と、前記第２対応領域における画素値と、をブレンドして前記重複領域の画素値を求めることを特徴とする請求項１ないし６の何れか１項に記載の画像処理装置。
8. 前記生成手段は、前記重複領域の各位置におけるアルファ値を表すアルファマップを用いて前記ブレンドを行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記アルファマップでは、前記重複領域における一端から他端にかけてアルファ値が減少していることを表していることを特徴とする請求項８に記載の画像処理装置。
10. 前記生成手段は、前記画素ブロックにおける画素の画素値と、該画素ブロックの推論結果ブロックにおける該画素の画素値と、の差分に基づいて、該画素に対応するアルファ値を求めることを特徴とする請求項８または９に記載の画像処理装置。
11. 前記生成手段は、前記差分が大きいほど前記アルファ値が小さくなるような計算によって、前記アルファ値を求めることを特徴とする請求項１０に記載の画像処理装置。
12. 前記生成手段は、前記差分の逆数を前記アルファ値として求めることを特徴とする請求項１１に記載の画像処理装置。
13. さらに、
    前記アルファマップにおける端部のアルファ値を用いて、該端部を含む部分領域のアルファ値を補正することを特徴とする請求項８ないし１２の何れか１項に記載の画像処理装置。
14. 前記生成手段は、隣り合う画素ブロックのうち一方の画素ブロックの推論結果ブロックにおいてパディング領域に対応する対応領域と、他方の画素ブロックの推論結果ブロックにおいて非パディング領域に対応する対応領域と、が重複する領域の画素値には、該他方の画素ブロックの推論結果ブロックにおいて非パディング領域に対応する対応領域の画素値を設定することを特徴とする請求項１ないし１３の何れか１項に記載の画像処理装置。
15. 前記生成手段は、単一の推論結果ブロックに含まれる領域の画素値には、該単一の推論結果ブロックにおける画素値を設定することを特徴とする請求項１ないし１４の何れか１項に記載の画像処理装置。
16. 前記入力画像はＲＡＷ画像であることを特徴とする請求項１ないし１５の何れか１項に記載の画像処理装置。
17. 入力画像を、隣り合う画素ブロックが互いに重複するように複数の画素ブロックに分割する分割手段と、
    前記複数の画素ブロックのそれぞれについて、該画素ブロックに対するデモザイクの推論結果である推論結果ブロックを取得する取得手段と、
    前記取得手段が取得したそれぞれの推論結果ブロックを、隣り合う画素ブロックの推論結果ブロックが互いに重複するように結合させた結合画像を生成する生成手段と
    を備え、
    前記生成手段は、
    前記推論結果ブロックに応じて、前記結合の対象としない領域を前記推論結果ブロック内で決定し、対象とされた領域を用いて前記結合を行う
    ことを特徴とする画像処理装置。
18. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の分割手段が、入力画像を、隣り合う画素ブロックが互いに重複するように複数の画素ブロックに分割する分割工程と、
    前記画像処理装置の取得手段が、前記複数の画素ブロックのそれぞれについて、該画素ブロックに対するデモザイクの推論結果である推論結果ブロックを取得する取得工程と、
    前記画像処理装置の生成手段が、前記取得工程で取得したそれぞれの推論結果ブロックを、隣り合う画素ブロックの推論結果ブロックが互いに重複するように結合させた結合画像を生成する生成工程と
    を備え、
    前記生成工程では、
    画素ブロックに対するデモザイクの推論で行うパディングによる誤差が該画素ブロックの端部から侵食する領域をパディング領域とし、隣り合う画素ブロックのうち一方の画素ブロックの推論結果ブロックにおいて該パディング領域に対応する第１対応領域と、他方の画素ブロックの推論結果ブロックにおいて該パディング領域に対応する第２対応領域と、が重複する重複領域に対して画素値のブレンドを行う
    ことを特徴とする画像処理方法。
19. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の分割手段が、入力画像を、隣り合う画素ブロックが互いに重複するように複数の画素ブロックに分割する分割工程と、
    前記画像処理装置の取得手段が、前記複数の画素ブロックのそれぞれについて、該画素ブロックに対するデモザイクの推論結果である推論結果ブロックを取得する取得工程と、
    前記画像処理装置の生成手段が、前記取得工程で取得したそれぞれの推論結果ブロックを、隣り合う画素ブロックの推論結果ブロックが互いに重複するように結合させた結合画像を生成する生成工程と
    を備え、
    前記生成工程では、
    前記推論結果ブロックに応じて、前記結合の対象としない領域を前記推論結果ブロック内で決定し、対象とされた領域を用いて前記結合を行う
    ことを特徴とする画像処理方法。
20. コンピュータを、請求項１ないし１７の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images