JP2017103756A

JP2017103756A - 画像データ処理装置及び方法

Info

Publication number: JP2017103756A
Application number: JP2016195495A
Authority: JP
Inventors: 伸田中; Shin Tanaka
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-11-24
Filing date: 2016-10-03
Publication date: 2017-06-08
Anticipated expiration: 2036-10-03
Also published as: JP6838918B2

Abstract

【課題】拡大された画像データにおける各画素の情報の信頼度を高精度かつ少ない計算量で生成する。【解決手段】低解像度画像データと当該低解像度画像データをアップサンプリングした画像データである高解像度画像データとを取得する画像データ取得手段と、前記高解像度画像データの画素値の信頼度を表す信頼度データを決定する信頼度データ決定手段と、を備え、前記信頼度データ決定手段は、前記高解像度画像データの対象画素の画素位置に対応する前記低解像度画像データにおける画素位置の近傍画素の画素値に基づいて決定される第１の評価値と、前記第１の評価値とは異なる方法によって前記近傍画素の画素値に基づいて決定される第２の評価値と、の比較に基づいて、前記高解像度画像データの前記対象画素の画素値の信頼度を決定する。【選択図】図２

Description

本発明は、画像データ処理装置及び方法に関する。

撮影画像を取得する際に同時に、撮像機器から被写体までの距離情報の分布を表す距離画像や撮像機器と被写体の相対的な動き情報の分布を表す動き画像を取得または算出する手法が提案されている。取得された情報は撮影画像と比較して空間分解能が低いことが多く、そのために撮影画像に合わせてアップサンプリング処理（拡大処理）を行って情報量を増やす必要がある。ただし、アップサンプリングを行うと、特に距離や動きの境界部での情報が正しく得られないという問題が生じる。この問題を解決する手法が提案されている。

特許文献１ではジョイントバイラテラルフィルタを用いて、アップサンプリングと同時に距離情報の補正を行っている。非特許文献１では距離画像のエッジ強度にガウシアンフィルタを掛け、その値に応じて情報の信頼性を表す信頼度マップを生成している。距離情報・信頼度マップ・輝度情報を用いて、距離情報のアップサンプリングと補正を行っている。特許文献２では、互いに異なる複数の補間方法を用いて低解像度画像データをアップサンプリングすることにより高解像度画像データを生成している。

米国特許第７８８９９４９号明細書特開平１１−１６８６２１号公報

Garcia, F, et. al., "Pixel weighted average strategy for depth sensor data fusion", 17th IEEE International Conference on Image Processing (ICIP) 2010, 2805-2808

しかしながら、特許文献１では距離境界部がぼけてしまうという問題がある。これは、輝度画像中の類似色に対応した画素を用いて平均化処理を行う際に、境界部近傍の間違った距離（類似色を有する異なる物体の距離）を用いた平均化処理が行われてしまう事が主たる原因である。

さらに非特許文献１では信頼度情報という形で特許文献１のようなエラーを回避しているものの、エッジ抽出手法やガウシアンフィルタ、閾値処理のパラメータ設定の影響を受け精度が低下するという問題がある。また、エッジ抽出やフィルタ処理など計算量が多くなってしまうという問題もある。

本発明の目的は、拡大された画像データにおける各画素の情報の信頼度を高精度かつ少ない計算量で生成可能な画像データ処理装置を提供することである。

本発明の一態様に係る画像データ処理装置は、低解像度画像データと当該低解像度画像データをアップサンプリングした画像データである高解像度画像データとを取得する画像
データ取得手段と、前記高解像度画像データの画素値の信頼度を表す信頼度データを決定する信頼度データ決定手段と、を備え、前記信頼度データ決定手段は、前記高解像度画像データの対象画素の画素位置に対応する前記低解像度画像データにおける画素位置の近傍画素の画素値に基づいて決定される第１の評価値と、前記第１の評価値とは異なる方法によって前記近傍画素の画素値に基づいて決定される第２の評価値と、の比較に基づいて、前記高解像度画像データの前記対象画素の画素値の信頼度を決定する、ことを特徴とする。

本発明の一態様に係る画像データ処理装置は、低解像度画像データと当該低解像度画像データをアップサンプリングした画像データである高解像度画像データを取得する画像データ取得手段と、前記高解像度画像データの画素値の信頼度を表す信頼度データを決定する信頼度データ決定手段と、を備え、前記信頼度データ決定手段は、前記低解像度画像データの局所領域内の画素値の最大値と最小値の差に基づいて、前記局所領域に対応する前記高解像度画像データの画素の信頼度を決定する、ことを特徴とする。

本発明の一態様に係る画像データ処理方法は、画像データ処理装置が行う画像データ処理方法であって、低解像度画像データと当該低解像度画像データをアップサンプリングした画像データである高解像度画像データを取得する画像データ取得ステップと、前記高解像度画像データの画素値の信頼度を表す信頼度データを決定する信頼度データ決定ステップと、を含み、前記信頼度データ決定ステップでは、前記高解像度画像データの対象画素の画素位置に対応する前記低解像度画像データにおける画素の近傍画素から第１評価値を決定し、前記高解像度画像データの対象画素の画素位置に対応する前記低解像度画像データにおける前記画素の前記近傍画素から、前記第１評価値とは異なる方法により、第２評価値を決定し、前記第１評価値と前記第２評価値の比較に基づいて、前記高解像度画像データの前記対象画素についての信頼度を決定する、ことを特徴とする。

本発明の一態様に係る画像データ処理方法は、画像データ処理装置が行う画像データ処理方法であって、低解像度画像データと当該低解像度画像データをアップサンプリングした画像データである高解像度画像データを取得する画像データ取得ステップと、前記高解像度画像データの画素値の信頼度を表す信頼度データを決定する信頼度データ決定ステップと、を含み、前記信頼度データ決定ステップでは、前記低解像度画像データの局所領域内の画素値の最大値と最小値の差に基づいて、前記局所領域に対応する前記高解像度画像データの画素の信頼度を決定する、ことを特徴とする。

本発明によれば、拡大された画像データにおける各画素の情報の信頼度を高精度かつ少ない計算量で生成することが可能となる。

実施形態に係る画像データ処理装置を含む撮像装置の一例のブロック図。実施形態１に係る画像データ処理方法のフローチャートの一例。実施形態１における撮影画像データおよび距離画像データの一例。実施形態１における信頼度決定方法を説明する図。実施形態１における信頼度決定方法を説明する図。実施形態２に係る画像データ処理方法のフローチャートの一例。実施形態２における信頼度決定方法を説明する図。実施形態３に係る画像データ処理方法のフローチャートの一例。実施形態３における近傍４画素を用いた信頼度決定方法を説明する図。実施形態３における近傍２画素を用いた信頼度決定方法を説明する図。実施形態４におけるデータ処理装置の一例を示す模式図。

本明細書において「画像データ」とは、数値データが論理的に２次元配列された２次元配列データを意味する。また、本明細書において「画像データ」は「マップ」とも称される。画像データの「画素」とは、画像データの２次元配列内での位置を意味する。画像データを構成する数値データは、特定の情報を表すデータに限定されず、例えば、輝度情報、距離情報、動き情報、信頼度情報を表すデータが含まれる。また、数値データの形式は、特定の形式に限られず、スカラー、ベクトル、行列などであってよい。取り扱う情報に応じて画像データは、輝度画像データ、距離画像データ、動き画像データ、信頼度画像データなどと称される。

本明細書における距離情報は、フォーカス位置から被写体までの相対的な距離、または撮影時の撮像装置から被写体までの絶対距離であってもよい。なお、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間距離で表されてもよいし、デフォーカス量や視差量など実空間距離に換算できる量で表されていてもよい。

本発明について、実施形態、図面を用いて詳細に説明するが、本発明は各実施形態の構成に限らない。また、各実施形態を適宜組み合わせてもよい。

（実施形態１）
＜構成＞
図１は、本発明の実施形態１に係る撮像装置１の構成を模式的に示している。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、画像データ処理装置１３、記憶部１４、入力部１５、表示部１６を有している。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。撮像素子１１は、カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。

画像データ処理装置１３は、信号処理部１３０、メモリ１３１、距離マップ生成部１３２、アップサンプリング部１３３、信頼度データ決定部１３４、距離マップ補正部１３５を有している。信号処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う機能部である。信号処理部１３０から出力されるデジタル画像データはメモリ１３１に蓄積され、表示部１６への表示、記憶部１４への記録（保存）、距離情報の算出、距離画像データの生成などに使用される。なお、距離画像データとは、距離情報の分布を表すものである。

距離マップ生成部１３２は、信号処理部１３０から撮影画像データ（輝度画像データ）を取得し、その撮影画像データから被写体の距離情報、距離画像データを取得する。被写体の距離情報の取得方法は特に限定されない。距離情報を取得する方法の例として、撮影条件を変えて撮影したぼけ方の異なる撮影画像データを用いる方法（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ法：ＤＦＤ法）や、視差の異なる撮影画像データを用いる方法（ステレオ法）が挙げられる。その他の例として、ＴｉｍｅｏｆＦｌｉｇｈｔ法やＤｅｐｔｈＦｒｏｍＦｏｃｕｓ方法（ＤＦＦ法）が挙げられる。距離マップ生成部１３２で生成された距離画像データは、記憶部１４に格納、またはメモリ１３１に一時的に格納され、後段の処理に利用される。また距離画像データはその取得方法に応じた補正処理が行われていてもよい。

本実施形態においては、距離マップ生成部１３２が生成する距離マップの解像度は、撮影画像データの解像度よりも低い（図３Ａ、図３Ｂ）。すなわち、本実施形態における距離マップ生成部１３２は、撮影画像データの全ての画素について距離情報を求めるのではなく、所定間隔ごとの画素についてのみ距離情報を求める。

アップサンプリング部１３３は、距離マップ生成部１３２で生成された距離マップをアップサンプリングする機能を有する。アップサンプリングは、画像データを高解像度化する処理であり、アップスケーリング、アップコンバート、画像拡大処理とも称される。アップサンプリング部１３３は、アップサンプリングによって距離マップをどのようなサイズにしても構わない。ただし、アップサンプリング後のサイズが距離画像データの生成元の撮影画像データより大きいと、距離マップ補正時に補正効果が十分に得られない。アップサンプリング後のサイズが撮影画像データより小さいと、距離マップ補正時に撮影画像データをダウンサンプリングするなどの操作が必要となる。本実施形態では、アップサンプリング部１３３は、距離マップを、当該距離マップの生成元の撮影画像データと同じサイズに拡大するものとする。

本明細書では、アップサンプリング前の距離画像データを、低解像度距離画像データあるいは低解像度画像データとも称する。また、アップサンプリング後の距離画像データを、高解像度距離画像データ、高解像度画像データ、拡大距離画像データ、あるいは拡大画像データとも称する。

アップサンプリング部１３３は、２つ以上の異なるアルゴリズムによってアップサンプリング処理を実行可能である。アップサンプリング（画像拡大）のアルゴリズムは、既存の任意のアルゴリズムであって良い。アップサンプリングのアルゴリズムの例として、ニアレストネイバー、バイニリア、バイキュービック、Ｌａｎｃｚｏｓ−３などが挙げられる。なお、アルゴリズムとして、バイキュービックよりも高次の多項式近似を用いた補間や、Ｌａｎｃｚｏｓ以外の非多項式近似を用いた補間を用いてもよい。

信頼度データ決定部１３４は、アップサンプリング部１３３で生成された距離マップの信頼度データ（信頼度マップ）を算出する機能を有する。信頼度データは、距離マップの各画素の信頼度からなるデータ（マップ）である。信頼度は、距離マップの各画素の距離情報の確からしさの指標となる情報である。信頼度は、多値であってもよいし、二値であってもよい。本実施形態では、信頼度は二値（信頼できるか信頼できないか）とする。

距離マップをアップサンプリングすると、特に距離境界部の画素が信頼できない値を持つようになる。信頼度データ決定部１３４は、アップサンプリング後の距離マップの各画素についての信頼度を決定する。信頼度データ決定部１３４による、信頼度決定方法は後述する。

距離マップ補正部１３５は、距離画像データの各画素の距離情報を補正する機能を有する。距離情報の補正は、取得された撮影画像データと、アップサンプリング部１３３で撮影画像データと同サイズにされた距離画像データと、信頼度データ決定部１３４で生成された信頼度データを用いて行われる。具体的な補正の方法は後述する。

記憶部１４は、撮影画像データ、距離画像データ、信頼度データ、補正後距離画像データ、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例えばフラッシュメモリなどが好ましい。

入力部１５はユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを入力部１５として利用することができる。

表示部１６は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される。表示部１６は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。

制御部１２は、撮像装置１の各部を制御する機能である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッタやフラッシュ（いずれも不図示）の制御、記憶部１４や入力部１５や表示部１６の制御などがある。

＜方法＞
図２は、本実施形態の画像処理の流れを示すフローチャートである。図３Ａは処理対象の撮影画像データの例、図３Ｂは処理対象の距離画像データの例である。図４は、信頼度計算処理における、画素の一部におけるデータフローを示す図である。図５Ａ〜５Ｃは、それぞれ、第１のアップサンプリング後の距離画像データ、第２のアップサンプリング後の距離画像データ、信頼度マップの例である。以下、これらの図面を参照しながら、本実施形態に係る画像データ処理装置１３が行う画像処理を説明する。

ステップＳ２０において、アップサンプリング部１３３は、撮影画像データ３０１（図３Ａ）と距離画像データ３０２（図３Ｂ）を取得する。具体的には、撮影画像データ３０１は信号処理部１３０から、距離画像データ３０２は距離マップ生成部１３２から取得できる。

図３Ａおよび図３Ｂにおいて、濃淡は画素値（輝度値または距離値）を表す。図３Ｂにおいては説明の簡略化のために、人物（前景）は全て同じ距離を持ち、背景は全て同じ距離を持つものとしている。ただし、距離画像データ３０２は実際には多値の距離情報を保持している。また、上述したように、距離マップ生成部１３２が生成する距離画像データ３０２は、元となる撮影画像データ３０１よりも解像度が低い。

次にステップＳ２１において、アップサンプリング部１３３が、距離画像データ３０２に対して第１のアップサンプリング処理を行う。本実施形態では、第１のアップサンプリング処理にニアレストネイバー補間を用いる。ニアレストネイバー補間では、アップサンプリング後に情報の無い画素に、情報を持った最近接画素の値を設定する。

図４における画像４０１は、距離画像データ３０２の一部の領域（４×４画素）を表している。第１のアップサンプリング処理において、ニアレストネイバー補間を用いて３×３倍のアップサンプリングを行うと、画像４０１は画像４０２のようになる。画像４０２中の太線で囲まれた画素４１１は、画像４０１の画素に対応する画素であり、対応画素と同じ画素値を有する。それ以外の画素には、画素４１１のうち最近接の画素と同じ画素値が設定される。

このように、画像４０２においては、画像４０１に対応しない画素が補間により生成・挿入される。特に距離境界部に着目した場合、前述したように最近接画素の値を選択しているため、アップサンプリング後の画像４０２における距離境界は、画素４１１の中間位置（等距離位置）となる。これは必ずしも正しくなく、画像４０２における距離境界の位置および距離境界付近の画素値は誤っている可能性が高い。

図５Ａは、距離画像データ３０２に第１のアップサンプリング処理（ニアレストネイバー補間）を施して得られる、アップサンプリング後の距離画像データ５０１を示す。

次にステップＳ２２において、アップサンプリング部１３３が、距離画像データ３０２に対して第２のアップサンプリング処理を行う。本実施形態では、第２のアップサンプリング処理にバイリニア補間を用いる。第２のアップサンプリング処理のアルゴリズムもどのような方法でも構わないが、第１のアップサンプリング処理のアルゴリズムとは異なる手法である必要がある。バイリニア補間では、アップサンプリング後に情報の無い画素に、情報を持った近傍画素の画素値の重み付き平均値が設定される。重み付き平均では、補間画素と近傍画素との距離が重みとして用いられる。

図４における画像４０３は、画像４０１にバイリニア補間を用いて３×３倍のアップサンプリングを行って得られる画像である。図４における濃淡は画素値（距離値）の大きさを表す。距離境界部に着目すると、直線的（線形的）に距離が変化する。アップサンプリング後の画像４０３には、距離値がぼかされて、明確な距離境界は存在しない。これは必ずしも正しくなく、画像４０３における上記領域の画素値は誤っている可能性が高い。

図５Ｂは、距離画像データ３０２に第２のアップサンプリング処理（バイリニア補間）を施して得られる、アップサンプリング後の距離画像データ５０２を示す。

アップサンプリング手法は様々あるが、ステップＳ２１およびＳ２２で用いる手法はどのような手法でも構わない。採用するアップサンプリング手法において重要な点は、画素数を増やすことにより発生する情報の無い画素の補間方法である。補間方法には、一般的な手法としてニアレストネイバー補間、バイリニア補間、バイキュービック補間といった方法が挙げられる。

次にステップＳ２３において、信頼度データ決定部１３４が、距離画像データの各画素について信頼度を求めて信頼度データを生成する。上述したように、本実施形態では、信頼度データは二値（信頼できるか信頼できないか）とする。信頼度データ決定部１３４は、第１および第２のアップサンプリング後の２つの距離画像データの同じ画素位置の距離値を比較し、差が閾値より大きければ距離値が信頼できないと判断し、閾値以下であれば距離値が信頼できると判断する。このような信頼度の決定方法が有効なのは、アップサンプリングの手法が異なると結果が異なる画素は、正しい距離値をアップサンプリングによって算出できていないと考えられるからである。なお、画素位置とは、画像における画素の座標を意味する。

より具体的には、信頼度データ決定部１３４は、画素位置ｐの信頼度Ｗ（ｐ）を次のようにして求める。

ここで、Ｄ_ｕ１は第１のアップサンプリング後の距離画像データ、Ｄ_ｕ２は第２のアップサンプリング後の距離画像データを表す。Ｄ_ｕ１（ｐ）およびＤ_ｕ２（ｐ）は、それぞれ画素位置ｐにおける画素値を表す。Ｅは、第１および第２のアップサンプリング後の２つの距離画像データの同じ画素位置の距離値の差を表す。Ｕは、信頼度の判定閾値である。

この場合、Ｗ＝１は信頼できることを表し、Ｗ＝０は信頼できないことを表す。判定閾値Ｕは距離画像データの距離分解能（データ分解能）等から決定することができる。例えば、距離値のばらつき精度がガウス分布として近似できる場合には３σ（標準偏差の３倍）、を判定閾値Ｕとすることができる。また許容する距離境界部のエラー量に基づいても判定閾値Ｕを決定することができる。例えば、距離境界部の許容エラー量を計測最大距離差の１％以内にしたい場合には閾値Ｕを計測最大距離差の１％の値に設定すればよい。

図５Ｃは、図５Ａおよび図５Ｂのアップサンプリング後の距離画像データに基づいて求められる信頼度マップを示す。なお、図５Ｃでは、黒で描いた部分が信頼できない画素であり、白で描いた部分が信頼できる画素である。図４の画像４０４は、信頼度マップの一部分（画像４０１、４０２、４０３に対応する部分）を拡大した図である。図４の画像４０５は対応する撮影画像データを表す。距離画像データ４０５の輝度境界が正しい距離境界を表しているとすると、信頼度マップ４０４は距離境界付近を距離値が信頼できない領域であると正しく判別できている（信頼度マップ４０４中の点線４１２は実際の正しい距離境界を表す）。

本実施形態では信頼度を二値で表しているが、信頼度は多値であってもよい。信頼度を多値とする場合には、差分量Ｅが大きいほど信頼度が低くなるように信頼度を決定するとよい。

ステップＳ２４において、距離マップ補正部１３５が、ステップＳ２３で算出された信頼度マップに少なくとも部分的に基づいて、アップサンプリング後の距離画像データを補正する。補正対象は、第１および第２のアップサンプリングのいずれが施された距離画像データであってもよいが、これらのうちより高精度な手法を用いてアップサンプリングされた距離画像データを補正対象とするとよい。本実施形態では、バイリニア補間を用いてアップサンプリングされた距離画像データ５０２に対して、補正処理が施される。

補正処理は例えば一例として、以下のようなフィルタ処理が挙げられる。

式（３）において、Ｄは補正前の距離情報、Ｄ’は補正後の距離情報である。Ｉは撮影画像データ内の画素の輝度値または色情報である。ｐは距離画像データ内の補正対象画素の位置、ｑは補正対象画素ｐの周辺画素の位置である。Ｇはガウス関数（σは分散値）で、Ｇ_σｓ、Ｇ_σｒは異なるガウス関数でもよいし、同じガウス関数でもよい。Ｑは計算範囲であり、アップサンプリングの割合に合わせて適宜設定される。

このフィルタ処理により、信頼できない距離情報を使わず信頼できる距離情報のみを用いて距離データが補正できる。また、撮影画像データにおける輝度情報または色情報が類似するほど重みが大きく設定されるので、撮影画像データにおける輝度境界または色境界に合わせて、距離データを精度良く補正することができる。またＷ（ｐ）が１の場合、つまり信頼できる画素が補正対象画素である場合には、補正を行わなくてもよいので、Ｗ（ｐ）が０となる画素ｐのみを補正することで計算量を削減することができる。

上記の式（３）によるフィルタ処理（補正処理）は、信頼度が多値である場合にも同様
に適用可能である。

＜本実施形態の有利な効果＞
本実施形態によれば、異なるアップサンプリング手法を用いてアップサンプリングを行い、アップサンプリング後の画素値の差分を解析することで距離境界（画素値の信頼度が低い領域）を精度良く抽出できる。

既存のエッジ抽出手法ではエッジ画素を抽出するが、図４に示す信頼度マップ４０４のようにエラーを含んでいる可能性のある画素をすべて抽出することはできない。またＤｉｆｆｅｒｅｎｃｅｏｆＧａｕｓｓｉａｎのように分散値が異なるガウシアンフィルタの適用結果の差分を用いる場合は距離境界付近を抽出することができるが、正確な抽出のためには各分散値を適切に設定する必要がある。適切な分散値の設定は困難であり、不適切な分散値を用いると信頼度マップ４０４のような正しい距離境界は抽出されず、正解よりも広いまたは狭い範囲が距離境界付近として選択されてしまう。また、距離境界の抽出にフィルタ処理が必要とするため、計算量も多い。

本実施形態によれば、アップサンプリングに対する距離境界部のエラーを補正する上で必要な信頼度を正しく決定することができるため、より高精度な距離画像データに補正することが可能となる。また、エッジ抽出処理やフィルタ処理が不要なため計算量を少なくすることができる。

（実施形態２）
実施形態１では異なるアップサンプリング手法を用いて信頼度を決定し、距離情報の補正を行っていた。それに対して、本実施形態ではアップサンプリング前の距離マップの近傍画素の関係を解析することで、信頼度データの生成を行う。画像データ処理装置の構成は実施形態１のデータ処理装置（図１）と同じで、アップサンプリング部１３３と信頼度データ決定部１３４の処理内容が異なる。その処理内容を、図６のフローチャートを用いて説明する。本実施形態の画像処理方法を、実施形態１と異なる点を中心に説明する。

ステップＳ６０において、アップサンプリング部１３３は、撮影画像データ３０１（図３Ａ）、距離画像データ３０２（図３Ｂ）を取得する。この処理は実施形態１（図３のステップＳ２０）と同様である。

ステップＳ６１では、アップサンプリング部１３３が、距離画像データ３０２に対してアップサンプリング処理を行う。実施形態１ではアップサンプリングと共に行う補間が重要であった。本実施形態では、信頼度データを求めるという観点からは、補間処理は必須ではない。本実施形態のアップサンプリング処理Ｓ６１では、画像データのサイズ（全画素数）を増加するが、そのうち値を有する画素の数はアップサンプリング前の画像データの画素数と同じであり、その他の画素は値を持たない。なお、「画素が値を持たない」というのは、当該画素が「値無し」を意味する値を持つことも含む。もっとも、ステップＳ６１において、アップサンプリング部１３３が補間（例えば、バイリニア補間）を伴うアップサンプリング処理を実行して、拡大距離画像データを生成してもよい。

図７を参照してよりステップＳ６１の処理を具体的に説明する。図７において、画像７０１は距離画像データ３０２の一部の領域（４×４画素）を表し、画像７０２はアップサンプリング処理後の距離画像データのうち画像７０１に対応する領域を表す。なお、ここではアップサンプリング処理により、３×３倍に拡大されたものとする。画像７０２において、画像７０１の画素と対応する１６個の画素のみが値を持ち、その他の画素は値を持たない。値を持たない画素は画像７０２においてグレーで示されている。

次にステップＳ６２において、信頼度データ決定部１３４が、距離画像データの各画素について信頼度を求めて信頼度データを生成する。本実施形態では、アップサンプリング後の距離画像データの計算対象画素ｐに対して、その近傍の値を持つ画素を用いて、２通りの方法で評価値を求めて、この評価値を比較することにより画素ｐに対する信頼度を求める。

画素ｐについての評価値Ｈ（ｐ）は、以下のように、画素ｐ近傍の値のある画素のみを使用して、画素間距離に応じた重み係数を用いた重み付け平均値とする。具体的には、評価値Ｈ（ｐ）は以下のように定義できる。

式（４）において、Ｑ’は画素ｐの近傍の画素であって値の持つ画素の集合を表す。集合Ｑ’は適宜設定すればよく、画素ｐからの距離が所定値以内の画素とすることができる。例えば、画素ｐの左上、右上、左下、右下にある値を持つ画素からなる集合、または画素ｐが縦方向または横方向に隣接する２画素の間にある場合はこれら２画素からなる集合とすることができるが、より多数の画素を含むように設定してもよい。Ｆは画素間距離（｜ｐ−ｑ｜）に応じた重みを計算する関数を表す。Ｆは例えば、ガウス関数や、Ｑ’の集合の中で最も距離の近い画素のみを１とするような関数が挙げられる。このような関数Ｆによって求められるＦ（｜ｐ−ｑ｜）は、画素ｑについての重み係数を計算していると捉えられる。

信頼度データ決定部１３４は、各画素について、異なる２つの関数Ｆ（Ｆ１とＦ２とする）により求められる重み係数を用いて２つの評価値Ｈ（Ｈ１とＨ２とする）を決定する。信頼度データ決定部１３４は、２つの評価値Ｈ１およびＨ２の差分｜Ｈ１−Ｈ２｜が判定閾値より大きければ画素ｐの距離値が信頼できないと判断し、差分｜Ｈ１−Ｈ２｜が判定閾値以下であれば画素ｐの距離値が信頼できると判断する。

例えば、一方の関数Ｆ１が分散σを有するガウス関数であり、他方の関数Ｆ２が画素集合Ｑ’の中で最近接画素のみを１とする関数であるとする。また、集合Ｑ’は、周囲の４つの値を持つ画素からなる集合とする。また簡単のため、図７の画像７０１，７０２に示すように、白で示す画素の画素値（距離値）を１，黒で示す画素の画素値（距離値）を０とする。

図７の画像７０２内の画素ｐ１に対応する集合Ｑ’に含まれる近傍４点の画素値は全て１である。つまり、画素ｐに対する評価値は、ガウス関数Ｆ１に基づく重みを用いた評価値Ｈ１も、最近接画素のみを選択する関数Ｆ２に基づく重みを用いた評価値Ｈ２も、いずれも１となる（Ｈ１＝Ｈ２＝１）。したがって、評価値Ｈ１とＨ２の差は０なので、画素ｐ１の画素値（距離値）は信頼できると判断される。

一方、画素ｐ２においては、対応する集合Ｑ’に含まれる近傍４点は、２画素が画素値「１」を持ち、２画素が画素値「０」を有する。したがって、ガウス関数Ｆ１に基づく重みを用いた評価値Ｈ１は、０と１の中間値を取る。一方、画素ｐの最近接画素の画素値は０なので、最近接画素のみを選択する関数Ｆ２に基づく重みを用いた評価値Ｈ２は０となる。評価値Ｈ１とＨ２の差｜Ｈ１−Ｈ２｜が閾値より大きければ、画素ｐ２の画素値（距離値）は信頼できないと判断される。

上述の判定閾値は０とすることができる。この場合、集合Ｑ’に含まれる近傍画素が有する値が異なる（全てが同一ではない）場合に、アップサンプリング後の距離画像データの画素は信頼できないと判断される。

ただし、判定閾値は０よりは大きな、ある程度の大きさを有する値とすることが好ましい。判定閾値が小さすぎると、緩やかな距離変化を持つ領域が、距離境界すなわち信頼できない領域として判断されてしまうためである。したがって、許容する距離変化に合わせて閾値を設定することが望ましい。

図７における画像７０３は、補間を伴うアップサンプリング後の距離マップのうち画像７０１，７０２に対応する部分を示す。図７における画像７０４は、画像７０２（７０３）の全ての画素に対して上記のようにして信頼度を求めて得られる信頼度マップの例である。図から分かるように、距離値が信頼できない領域として、距離境界付近が適切に抽出されている。

ステップＳ６３では、距離マップ補正部１３５が、ステップＳ６２で求められた信頼度マップを用いて、拡大された距離画像データを補正する。距離マップ補正処理Ｓ６３は、実施形態１（図２のステップＳ２４）と同様であるため、繰り返しの説明は省略する。

関数Ｆは、上述したようなガウス関数や最近接画素を選択する関数でなくてもよく、距離に反比例するような定められた重みを出力する関数であってもよい。また集合Ｑ’も近傍４画素である必要はなく、近傍９画素や１６画素など適宜設定することができる。

また、本実施形態においては信頼度が二値であるものとして説明したが、実施形態１と同様に信頼度を多値としてもよい。この場合、２つの評価値の差（｜Ｈ１−Ｈ２｜）が大きいほど信頼度が低くなるように信頼度を決定するとよい。

また、実施形態１のように補間を用いてアップサンプリング後の画像データの画素値を求める場合、補間によって求められる値は本実施形態における評価値Ｈに相当すると捉えることができる。補間により求められる画素値は、補間手法がニアレストネイバー、バイリニア、バイキュービックなどどのような手法であっても、アップサンプリング前の近傍画素（値を持つ画素に相当）の重み付け平均値であるとみなせるためである。

（実施形態３）
実施形態２は、信頼度算出対象画素の近傍に対応するアップサンプリング前の距離画像データの画素値（集合Ｑ’）に基づいて、信頼度を求めている。本実施形態においても、同様に集合Ｑ’に基づいて信頼度を求めるが、より単純に集合Ｑ’内の画素値の同一性に基づいて、信頼度を求める。

画像データ処理装置の構成は実施形態２のデータ処理装置と同じであり、信頼度データ決定部１３４の処理内容が異なる。その処理内容を、図８Ａのフローチャートを用いて説明する。本実施形態の画像処理方法を、実施形態２と異なる点を中心に説明する。

ステップＳ８０において、アップサンプリング部１３３は、撮影画像データ３０１（図３Ａ）、距離画像データ３０２（図３Ｂ）を取得する。この処理は実施形態２（図６のステップＳ６０）と同様である。

ステップＳ８１では、アップサンプリング部１３３が、距離画像データ３０２に対してアップサンプリング処理を行う。本実施形態では、信頼度データを求めるという観点から
は、アップサンプリング処理Ｓ８１は不要である。画像データ処理装置は、例えば、ステップＳ８０で取得した距離画像データをアップサンプリング（拡大）した距離画像データを、外部の装置から取得するようにしてもよい。

ステップＳ８２では、信頼度データ決定部１３４が、信頼度マップを用意する。信頼度マップは、アップサンプリング後の距離画像データと同じサイズを有する。本実施形態では信頼度は二値とし、ステップＳ８２で用意される信頼度マップの各画素の信頼度の初期値は０（信頼できないことを表す）とする。

ステップＳ８３では、信頼度データ決定部１３４が、アップサンプリング前の距離画像データの局所領域（例えば、４画素）ごとに、画素値の最大差分（局所領域内の画素値の最大値と最小値の差分）を求め、この最大差分に基づいて信頼度を決定する。より具体的には、信頼度データ決定部１３４は、局所領域内の画素値の最大差分が閾値以下であれば、当該局所領域に対応する信頼度マップ中の領域の信頼度を１（信頼できることを表す）に更新する。局所領域内の画素値の最大差分が閾値よりも大きければ、信頼度マップは更新されない。信頼度データ決定部１３４は、アップサンプリング前の距離画像データ内で局所領域をシフトさせつつ、上記の処理を距離画像データ全体に対して行う。信頼度データ決定部１３４は、局所領域をシフトさせる際には、重複を許可し、１画素単位でシフトさせるとよい。

図９Ａ〜９Ｄを参照して、より具体的に説明する。図９Ａ〜９Ｄにおいて、画像９０１は、アップサンプリング前の距離画像データ（距離マップ）の一部の領域（４×４画素）を表す。画像９０２〜９０５は、画像９０１に対応する部分の信頼度マップを表す。図中の信頼度マップにおいて、グレーの画素は信頼度０（信頼できない）、白色の画素は信頼度１（信頼できる）であることを表す。また、図中の距離マップにおいては、説明の簡略化のため、白色の画素の画素値（距離値）を１，黒色の画素の画素値（距離値）を０とする。

また、以下の説明では、簡単のため、判定閾値は０に近い十分小さい値とする。しかしながら実際には、被写体距離が徐々に変化している場合も考慮して、判定閾値はある程度の大きさを有する値とすることが好ましい。判定閾値を小さすぎる値に設定すると、緩やかな距離変化を持つ領域が、距離境界すなわち信頼できない領域として判断されてしまう。したがって、許容する距離変化に合わせて閾値を設定することが望ましい。

図９Ａの距離マップ９０１中の局所領域ｐ３内の４画素の画素値は全て１である。したがって、局所領域ｐ３内での画素値の最大差分は０、すなわち判定閾値以下である。そこで、距離マップ９０２内の領域ｐ４（局所領域ｐ３に対応する領域）の信頼度が１に更新される。なお、領域ｐ４は、局所領域ｐ３（２×２画素）に含まれる４画素に対応するアップサンプリング後の４画素を頂点とする正方形領域（４×４画素）である。

図９Ｂの距離マップ９０１中の局所領域ｐ５内の４画素のうち、３画素が１であり１画素が０であり、したがって、局所領域ｐ５内での画素値の最大差分は１、すなわち判定閾値より大きい。そこで、距離マップ９０３内の領域ｐ６（局所領域ｐ５に対応する領域）の信頼度は更新されない。

図９Ｃの距離マップ９０１中の局所領域ｐ７内の４画素の画素値は全て０である。したがって、局所領域ｐ７内での画素値の最大差分は０、すなわち判定閾値以下である。そこで、距離マップ９０４内の領域ｐ８（局所領域ｐ７に対応する領域）の信頼度が１に更新される。

図９Ｄは、上記の処理を距離マップ全体に対して行って最終的に得られる信頼度マップ９０５を示す。距離マップにおける距離境界が信頼できない領域として適切に抽出できていることが分かる。なお、図９Ａ〜９Ｄに示す距離マップおよび信頼度マップは各々一部の領域を示したものであり、信頼度マップ９０５の周辺部の信頼度は、距離マップ９０１と図示しない距離マップにまたがる局所領域から決定される。

ステップＳ８４では、距離マップ補正部１３５が、ステップＳ８３で求められた信頼度マップを用いて、拡大された距離画像データを補正する。距離マップ補正処理Ｓ８４は、実施形態１（図２のステップＳ２４）と同様であるため、繰り返しの説明は省略する。

上記の説明では、距離マップの初期値を信頼度０とし、局所領域内の画素値の最大値が閾値以下の場合（すなわち、信頼できる場合）に、距離マップ内の対応する領域の信頼度を１に更新している。しかしながら、距離マップの初期値を信頼度１とし、局所領域内の画素値の最大値が閾値より大きい場合（すなわち、信頼できない場合）に、距離マップ内の対応する領域の信頼度を０に更新してもよい。

また、上記の説明では、局所領域が４画素からなる正方形としたが、局所領域の形状はこれに限られない。例えば、局所領域をより大きな正方形とすることもできる。また、局所領域は、正方形ではなくて長方形としてもよい。例えば、隣接する２画素からなる領域を局所領域としてもよい。この場合は、横方向に並ぶ２画素からなる局所領域と、縦方向に並ぶ２画素からなる局所領域を、それぞれシフトさせて信頼度マップを生成するとよい。また、信頼度を更新する領域（局所領域に対応する領域）は、上述のように局所領域をアップサンプリングして得られる領域の一部とする必要はなく、その他の形状としてもよい。

以下、図８Ｂおよび図１０Ａ〜１０Ｆを参照して、局所領域が隣接する２画素からなる場合の動作例を説明する。図８Ｂは、本実施形態の変形例に係る画像処理方法のフローチャートである。図８Ａのフローチャートとの違いは、ステップＳ８５において初期値が１の信頼マップを用意し、ステップＳ８６において最大差分が閾値よりも大きい場合に信頼度を０に更新する点である。

図１０Ａ〜１０Ｆにおいて、画像１００１は、アップサンプリング前の距離画像データ（距離マップ）の一部の領域（４×４画素）を表す。画像１００２〜１００７は、画像１００１に対応する部分の信頼度マップを表す。図中の信頼度マップにおいて、グレーの画素は信頼度０（信頼できない）、白色の画素は信頼度１（信頼できる）であることを表す。また、図中の距離マップにおいては、説明の簡略化のため、白色の画素の画素値（距離値）を１，黒色の画素の画素値（距離値）を０とする。また、簡単のため判定閾値は０に近い十分小さい値とする。

ここでは、まず横方向に並んだ２画素からなる局所領域を用いて判定を行い（図１０Ａ〜１０Ｃ）、次に縦方向に並んだ２画素からなる局所領域を用いて判定を行っている（図１０Ｄ〜１０Ｆ）。ただし、この順序はどちらが先でもよく、また、横方向と縦方向の局所画素を交互に用いて判定を行ってもよい。

図１０Ａにおいて、局所領域ｐ９内の画素値はいずれも１であるので、信頼度マップ１００２の更新は行われない。図１０Ｂにおいて、局所領域ｐ１０内の画素値は異なるので、信頼度マップ１００３を更新して、局所領域ｐ１０に対応する領域ｐ１１内の信頼度を０（信頼できない）とする。ここで領域ｐ１１は、局所領域ｐ１０の２つ画素に対応する２つの画素ｐ１０’に挟まれ、局所領域ｐ１０の２つの画素の上下の４つの隣接画素に対応する４画素を頂点とする長方形領域の内部に含まれる（周辺部分を除いた）領域（２×
５画素）とする。これは、横方向に並んだ局所領域を採用する場合、縦方向のエッジの有無を判定していることになるためである。図１０Ｃに示す信頼度マップ１００４は、上記の操作を距離画像データ全体に対して得られる信頼度マップを示す。

次に、縦方向に並んだ局所領域を用いて同様の操作を行う。図１０Ｄにおいて、局所領域ｐ１２内の画素値はいずれも１であるので、信頼度マップ１００５の更新は行われない。図１０Ｅにおいて、局所領域ｐ１３内の画素値は異なるので、信頼度マップ１００６を更新して、局所領域ｐ１３に対応する領域ｐ１４内の信頼度を０（信頼できない）とする。個々で、局所領域ｐ１３に対応する領域ｐ１４は、局所領域ｐ１０に対応する領域ｐ１１と同様に定義される。図１０Ｆに示す信頼度マップ１００７は、上記の操作を距離画像データ全体に対して得られる最終的な信頼度マップである。

本実施形態によれば、距離画像データにおける近傍画素の最大差分を求めるだけでアップサンプリング後の距離境界を抽出できる。すなわち、より少ない計算量で信頼度を決定することができる。

本実施形態は、実施形態２における２つの評価値をそれぞれ次のように決定した実施形態と捉えることができる。すなわち、本実施形態では、信頼度算出対象画素に対応するアップサンプリング前の距離画像データの局所領域（近傍画素）内の画素値の最大差分を一方の評価値とし、信頼度算出対象画素にかかわらずに０を他方の評価値としていると捉えることができる。

ただし、本実施形態では、アップサンプリング後の距離画像データの１つの画素（信頼度算出対象画素）に対して、対応するアップサンプリング前の距離画像データの局所領域（近傍領域）が複数存在することがある。したがって、本実施形態では、１つの信頼度算出対象画素について、複数の近傍領域（局所領域）の評価値差分に基づいて信頼度が決定される場合がある。なお、初期値として信頼度が０の信頼度マップを用意する場合（図８Ａ）は、複数の近傍領域の評価値差分のうち、いずれか１つでも閾値以下のものがあれば、信頼度算出対象画素の信頼度が１として決定される。一方、初期値として信頼度が１の信頼度マップを用意する場合（図８Ｂ）は、複数の近傍領域の評価値差分のうち、いずれか１つでも閾値より大きいものがあれば、信頼度算出対象画素の信頼度が０として決定される。

（実施形態４）
実施形態１〜３では、撮影画像データと距離画像データを使用し、信頼度データの生成および距離情報の補正を行っている。それに対して、本実施形態では、撮影画像データと距離画像データ以外を用いて、信頼度データの生成及び補正処理が行えることを示す。図１１は、本実施形態に係る画像データ処理装置１１１の機能ブロック図を表す。本実施形態に係る画像データ処理装置１１１が行う画像処理方法のフローチャートは、実施形態１〜３のフローチャートと同じである。本実施形態の画像処理方法を、実施形態１〜３と異なる点を中心に説明する。

画像データ処理装置１１１は、第１画像データ入力部１１１０、第２画像データ入力部１１１１、アップサンプリング部１１１２、信頼度データ決定部１１１３、第２画像データ補正部１１１４を有している。第１画像データ入力部１１１０には、基準となるべき画像データ（以下、第１画像データと称する）が入力される。第１画像データは、任意の画像データであってよい。第１画像データは、輝度画像データ以外に、例えば既にアップサンプリングおよび補正された距離画像データであってもよい。第１画像データのその他の例は、赤外光や偏光等の情報を持つ画像データである。輝度画像等を入力する場合には、図１のように撮像装置とすることもでき、距離画像データ等の場合にはデータ入力部には
データ生成部を含んでもよい。

第２画像データ入力部１１１１には、第１画像データに対応し、第１画像データよりも低解像度な画像データ（以下、第２画像データと称する）が入力される。第２画像データは、上記の条件を満たせばどのような画像データであってもよく、例えば、距離画像データ、赤外光や偏光等の情報を持つ画像データ、動き画像（ＯｐｔｉｃａｌＦｌｏｗ）、セグメンテーション画像が挙げられる。動き画像は被写体（時にはカメラの動きも含む）の動きを表すデータである。動き画像は、例えば、横方向（ｘ方向）と縦方向（ｙ方向）の速度を各画素で保持するデータ形式を有する。動き画像は、一般的に、ある時間間隔で輝度画像を二枚撮影し、その二枚の画像のテンプレートマッチングによって尤もらしい位置を計算することにより生成できる。
セグメンテーション画像は被写体のオブジェクト毎に分割されたデータである。例えば、被写体中の人と車とビルといったようなものが画素単位で分割され、それぞれにインデックスが付与されているような画像である。また、人や車といったオブジェクトの単位ではなく、似た色等の属性に従って分割されたデータもセグメンテーション画像である。また前景と背景、またはその中間層といったように距離値は用いないが、距離に応じて分割したデータもセグメンテーション画像と呼ぶ。
第２画像データは、画像データ処理装置１１１以外の装置から入力されてもよいし、画像データ処理装置１１１によって第１画像データを含むその他情報から算出されてもよい。

以上のように、第２画像データが第１画像データに対して低解像度であり、第１画像データが補正に対する基準となるデータであれば、実施形態１〜３と同様にデータ処理を施すことができる。データに依っては、補正対象データが複数になることはあるがそれぞれ基本的な処理は変わらない。例えば、動き画像の場合には横方向の動き画像の補正処理と縦方向の画像の補正処理は独立に同様の手法を用いて行われる。

本実施形態によれば、距離画像データに依らずアップサンプリングによるエラーを持ったデータに適用することで、信頼度を設定することができ、それを基に補正処理を行うことにより、効率的にかつより高精度なデータに補正することが可能となる。

（実施形態５）
実施形態１〜４では、画像データ処理装置が、第１画像データ（例えば輝度画像データ）と、第１画像データよりも低解像度の第２画像データ（例えば距離画像データ）を取得または生成し、第２画像データに対してアップサンプリングを施していた。言い換えると、実施形態１〜４では、距離マップ生成部１３２とアップサンプリング部１３３が画像データ取得手段に相当し、高解像度の第２画像データを取得している。

しかしながら、拡大された高解像度の第２画像データが利用できればよく、その取得方法は特に限定されない。例えば、画像データ処理装置が、低解像度の第２画像データを取得してこれを拡大して高解像度の第２画像データを生成してもよい。また、画像データ処理装置が、拡大までされた第２画像データを外部装置から取得してもよい。この場合は、２種類の手法でアップサンプリングを行って信頼度を行う実施形態１，２においては、画像データ処理装置は、入力データとは異なる１つの手法のみによるアップサンプリング処理を行ってもよい。入力されたアップサンプリング後画像データと、生成したアップサンプリング後画像データを用いて、信頼度マップを生成できるためである。また、信頼度マップの生成にアップサンプリング後の画像データが必要ない実施形態３においては、画像データ処理装置はアップサンプリング部を有しなくてもよい。

また、信頼度マップを生成するだけでアップサンプリング後の第２画像データの補正処
理を施さない場合や、補正処理に第１画像データを用いない場合には、画像データ処理装置は必ずしも第１画像データを取得する必要はない。

（実施形態６）
上述した本発明の画像処理方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。上記実施形態では撮像装置の本体に画像処理装置の機能を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。例えば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて上記画像処理方法を実行するようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて上記画像処理方法を実行するようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置などに内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

１３画像データ処理装置
１３２距離マップ生成部
１３４信頼度データ決定部

Claims

低解像度画像データと当該低解像度画像データをアップサンプリングした画像データである高解像度画像データとを取得する画像データ取得手段と、
前記高解像度画像データの画素値の信頼度を表す信頼度データを決定する信頼度データ決定手段と、
を備え、
前記信頼度データ決定手段は、
前記高解像度画像データの対象画素の画素位置に対応する前記低解像度画像データにおける画素位置の近傍画素の画素値に基づいて決定される第１の評価値と、前記第１の評価値とは異なる方法によって前記近傍画素の画素値に基づいて決定される第２の評価値と、の比較に基づいて、前記高解像度画像データの前記対象画素の画素値の信頼度を決定する、
画像データ処理装置。
画像データをアップサンプリングするアップサンプリング手段をさらに備え、
前記画像データ取得手段は、前記低解像度画像データを第１の補間方法を用いて前記アップサンプリング手段によってアップサンプリングすることで第１の高解像度画像データを取得し、かつ、前記低解像度画像データを前記第１の補間方法とは異なる第２の補間方法を用いて前記アップサンプリング手段によってアップサンプリングすることで第２の高解像度画像データを取得し、
前記信頼度データ決定手段は、前記第１の高解像度画像データの前記対象画素の画素値を前記第１評価値として用い、前記対象画素に対応する前記第２の高解像度画像データの画素値を前記第２評価値として用いる、
請求項１に記載の画像データ処理装置。
撮影画像データと前記信頼度データとに基づいて、前記第１の高解像度画像データを補正する補正手段を更に備える、
請求項２に記載の画像データ処理装置。
前記第１の補間方法はバイリニア補間であり、前記第２の補間方法はニアレストネイバー補間である、
請求項２または３に記載の画像データ処理装置。
前記画像データ取得手段は、前記第１の高解像度画像データまたは前記第２の高解像度画像データのいずれかを、前記高解像度画像データとして取得する、
請求項２から４のいずれか１項に記載の画像データ処理装置。
前記低解像度画像データおよび高解像度画像データは、距離画像データ、動き画像データ、又は、セグメンテーション画像である、
請求項１から５のいずれか１項に記載の画像データ処理装置。
前記信頼度データ決定手段は、
前記低解像度画像データにおける前記近傍画素の画素値の、第１の重み係数を用いた重み付け平均値を前記第１評価値として決定し、
前記低解像度画像データにおける前記近傍画素の画素値の、前記第１の重み係数とは異なる第２の重み係数を用いた重み付け平均値を前記第２評価値として決定する、
請求項１に記載の画像データ処理装置。
前記第１の重み係数および前記第２の重み係数は、前記高解像度画像データの前記対象
画素に対応する前記低解像度画像データにおける画素からの距離に応じて決定される、
請求項７に記載の画像データ処理装置。
前記第１の重み係数および前記第２の重み係数の一方は、前記近傍画素のうち、前記高解像度画像データの前記対象画素に対応する前記低解像度画像データにおける前記画素から、最も近い画素の重みが１であり、その他の画素の重みが０であるように決定される、
請求項８に記載の画像データ処理装置。
前記第１の重み係数および前記第２の重み係数の少なくとも一方は、前記高解像度画像データの前記対象画素に対応する前記低解像度画像データにおける前記画素からの距離に応じたガウス関数により決定される、
請求項８または９に記載の画像データ処理装置。
前記第１の重み係数および前記第２の重み係数の一方は、前記高解像度画像データの前記対象画素に対応する前記低解像度画像データにおける前記画素からの距離に反比例した値として決定される、
請求項８から１０のいずれか１項に記載の画像データ処理装置。
前記信頼度データ決定手段は、前記高解像度画像データの対象画素に対応する前記低解像度画像データにおける画素の近傍画素の画素値の最大値と最小値の差を前記第１評価値とし、対象画素にかかわらずに０を前記第２評価値とする、
請求項１に記載の画像データ処理装置。
前記信頼度は、画素値が信頼できるか信頼できないかを表す二値の情報であり、
前記信頼度データ決定手段は、前記第１の評価値と前記第２の評価値の差が所定の閾値以下であれば、前記対象画素の信頼度を信頼できることを表す信頼度として決定し、前記差が前記所定の閾値よりも大きければ、前記対象画素の信頼度を信頼できないことを表す信頼度として決定する、
請求項１から１２のいずれか１項に記載の画像データ処理装置。
前記信頼度データ決定手段は、前記第１の評価値と前記第２の評価値の差が大きいほど信頼度が低くなるように、前記対象画素の信頼度を決定する、
請求項１から１２のいずれか１項に記載の画像データ処理装置。
低解像度画像データと当該低解像度画像データをアップサンプリングした画像データである高解像度画像データを取得する画像データ取得手段と、
前記高解像度画像データの画素値の信頼度を表す信頼度データを決定する信頼度データ決定手段と、
を備え、
前記信頼度データ決定手段は、前記低解像度画像データの局所領域内の画素値の最大値と最小値の差に基づいて、前記局所領域に対応する前記高解像度画像データの画素の信頼度を決定する、
画像データ処理装置。
前記信頼度は、画素値が信頼できるか信頼できないかを表す二値の情報であり、
前記信頼度データ決定手段は、
全画素について信頼できないことを表す信頼度を有する信頼度データを用意し、
前記局所領域内の画素値の最大値と最小値の差が所定の閾値以下の場合に、前記局所領域に対応する前記高解像度画像データの信頼度を、信頼できることを表す信頼度に更新する、
請求項１５に記載の画像データ処理装置。
前記信頼度は、画素値が信頼できるか信頼できないかを表す二値の情報であり、
前記信頼度データ決定手段は、
全画素について信頼できることを表す信頼度を有する信頼度データを用意し、
前記局所領域内の画素値の最大値と最小値の差が所定の閾値より大きい場合に、前記局所領域に対応する前記高解像度画像データの信頼度を、信頼できないことを表す信頼度に更新する、
請求項１５に記載の画像データ処理装置。
前記局所領域は、隣接する４画素からなる正方形の領域であり、
前記局所領域に対応する前記高解像度画像データの画素とは、前記４画素に対応する前記高解像度画像データの４画素を頂点とする正方形の領域に含まれる画素である、
請求項１５から１７のいずれか１項に記載の画像データ処理装置。
前記局所領域は、横方向に並んだ２画素からなる長方形の第１領域および、縦方向に並んだ２画素からなる長方形の第２領域であり、
前記第１領域に対応する前記高解像度画像データの画素とは、前記２画素に縦方向に隣接する４画素に対応する前記高解像度画像データの４画素を頂点とする長方形の領域の内部に含まれる画素であり、
前記第２領域に対応する前記高解像度画像データの画素とは、前記２画素に横方向に隣接する４画素に対応する前記高解像度画像データの４画素を頂点とする長方形の領域の内部に含まれる画素である、
請求項１５から１７のいずれか１項に記載の画像データ処理装置。
前記所定の閾値は、前記低解像度画像データのデータ分解能に基づいて設定される、
請求項１３、１６、１７のいずれか１項に記載の画像データ処理装置。
前記所定の閾値は、許容できるエラー量に基づいて設定される、
請求項１３、１６、１７のいずれか１項に画像記載のデータ処理装置。
前記所定の閾値は、許容できる距離変化に基づいて設定される、
請求項１３、１６、１７のいずれか１項に記載の画像データ処理装置。
前記信頼度に少なくとも部分的に基づいて、前記高解像度画像データを補正する補正手段をさらに備える、
請求項１から２２のいずれか１項に記載の画像データ処理装置。
前記補正手段は、前記高解像度画像データの画素のうち、前記信頼度が閾値以下の画素のみを補正する、
請求項２３に記載の画像データ処理装置。
前記補正手段は、前記低解像度画像データおよび前記高解像度画像データに対応する画像データであって、前記高解像度画像データと同じ解像度を有する画像データにも基づいて、前記高解像度画像データを補正する、
請求項２３または２４に記載の画像データ処理装置。
撮像素子と、
請求項１から２５のいずれか１項に記載の画像データ処理装置と、
を備え、
前記画像データ取得手段は、前記撮像素子から撮影画像データを取得し、前記撮影画像データから前記低解像度画像データを生成し、前記低解像度画像データを拡大して前記高解像度画像データを取得する、
撮像装置。
画像データ処理装置が行う画像データ処理方法であって、
低解像度画像データと当該低解像度画像データをアップサンプリングした画像データである高解像度画像データとを取得する画像データ取得ステップと、
前記高解像度画像データの画素値の信頼度を表す信頼度データを決定する信頼度データ決定ステップと、
を含み、
前記信頼度データ決定ステップでは、
前記高解像度画像データの対象画素の画素位置に対応する前記低解像度画像データにおける画素の近傍画素から第１評価値を決定し、
前記高解像度画像データの対象画素の画素位置に対応する前記低解像度画像データにおける前記画素の前記近傍画素から、前記第１評価値とは異なる方法により、第２評価値を決定し、
前記第１評価値と前記第２評価値の比較に基づいて、前記高解像度画像データの前記対象画素についての信頼度を決定する、
画像データ処理方法。
画像データ処理装置が行う画像データ処理方法であって、
低解像度画像データと当該低解像度画像データをアップサンプリングした画像データである高解像度画像データを取得する画像データ取得ステップと、
前記高解像度画像データの画素値の信頼度を表す信頼度データを決定する信頼度データ決定ステップと、
を含み、
前記信頼度データ決定ステップでは、前記低解像度画像データの局所領域内の画素値の最大値と最小値の差に基づいて、前記局所領域に対応する前記高解像度画像データの画素の信頼度を決定する、
画像データ処理方法。
請求項２７または２８に記載の画像データ処理方法の各ステップを、コンピュータに実行させるためのプログラム。