JP2008021163A - 画像処理装置 - Google Patents

Abstract

【課題】動画での奥行き感を強調する効果を向上させると同時にちらつき等の画質劣化を抑制する。
【解決手段】画像データについての奥行きデータを奥行きデータ分布平滑化部４で平滑化し、それに対応したゲインデータをゲインデータ算出部５で算出し、そのゲインデータにより画像データの輪郭補正を行うことにより、前景と背景の割合に関わらず、最適な奥行き感強調を実現する。また、フレーム相関を考慮した平滑化を行うことで、ちらつき等の時間変動を抑制する。
【選択図】図１

Description

本発明はＴＶに映像を高画質に表示するための画像処理技術を用いた画像処理装置に関するものであり、特に２次元映像における奥行き感を強調する技術を用いた画像処理装置に関するものである。

従来の奥行き感強調技術としては、輪郭成分の強い部分と弱い部分との差を明確にすることで物体と周囲の背景との差を視覚的に大きくする手法がある（例えば、特許文献１参照）。「奥行き感」とは、前景と背景の距離の差の感覚、すなわち遠近感のことをいう。奥行き感を向上させる処理手法としては、前景はくっきりさせ、背景はぼかす処理手法や、前景は彩度を強調し、背景は彩度を抑制する処理手法や、前景はコントラストを上げ、背景はコントラストを下げる処理手法や、前景は大きくし、背景は小さくする処理や、前景は明るくし背景は暗くする処理手法や、前景では陰影を強調し、背景では強調しない処理手法などがある。このように通常、奥行き認識の単眼手がかりとよばれるものを強調したり抑制したりする処理を行うことで奥行き感を向上させることができる。
図１１は、特許文献１に記載された従来の奥行き感補正技術を示すものである。
図１１において、データ入力端子７００から入力されたデータは、平均化回路７０１と輪郭強調処理部７１０に送られる。輪郭強調処理部７１０は、遅延回路７０４と、輪郭抽出部７０５と、輪郭補正処理部７０６と、加算回路７０８とから構成される。前記平均化回路７０１は、データの平均化処理を行い、平均化処理がなされたデータは、遅延回路７０２を介してセレクタ７０３に入力される。一方、輪郭強調処理部７１０では、輪郭抽出部７０５で輪郭部をデジタルフィルタにより抽出し、その結果を輪郭補正処理部７０６と閾値処理部７０７に出力する。閾値処理部７０７は、閾値設定信号入力端子７２０からの閾値設定信号によりセレクタ７０３の選択を決める信号をセレクタ７０３に出力する。遅延回路７０２で遅延された原信号と、輪郭補正処理部７０６でゲイン調整された輪郭成分とは加算回路７０８で加算され、セレクタ７０３へ入力される。セレクタ７０３では、入力された２つの信号、すなわち、平均化データと輪郭強調データとを閾値処理部７０７の選択信号によりどちらか一方を選択し、出力データ端子７３０に出力する。

このような構成で、輪郭強調された信号と平均化された信号とを適応的に選択することにより、近景となる輪郭の強い部分と遠景となる弱い部分との差を明確にし、画像を立体的に見せることができる。
特開２００４−１５９１８４号公報（第９頁、第１図）

しかしながら、前述した従来技術では、１つの画像（例えば、１フレームで構成される画像）における近景部分と遠景部分とが占める面積比率によっては、適切な輪郭強調処理がなされず、画像を立体的に見せる効果が少ない場合がある。特に、１つの画像の大部分が近景部分である場合や、あるいは大部分が遠景部分である場合、画像を立体的に見せる効果は少なくなる。また、従来技術で動画処理を行う場合、閾値を固定にして処理を行うと、フレーム間で処理を変更する構成になっていないので、処理対象となる画像によって、輪郭強調された部分が画像の大部分を占めたり、逆に輪郭を弱められた部分（周辺の画素と平均化処理がなされた部分）が画像の大部分を占めたりする。このため、輪郭の強められた部分と弱められた部分との差を明確にして画像を立体的に見せようとしても片方の部分が占める領域が狭く、その効果が十分でない場合がある。また、閾値を画像により可変にして処理する場合は、連続するフレーム間で閾値が大きく異なるものとなる場合があり、同じ物体に対して、一方のフレームでは輪郭が強調され、別のフレームでは輪郭がぼかされ、ちらつきが生じるという問題も発生する。
本発明が解決しようとする第１の課題は、１つの画像における近景部分と遠景部分との占める面積比率に関わらず最適な奥行き感強調処理を行うことができる画像処理装置を実現することである。

また、本発明が解決しようとする第２の課題は、動画を対象として処理を行った場合でも同一物体に対して、ちらつきの発生を抑制することができる画像処理装置を実現することである。

前記課題を解決するために、第１の発明は、画像データが入力される画像データ入力部と、奥行きデータ取得部と、奥行きデータ分布平滑化部と、ゲインデータ算出部と、輪郭補正部と、画像データ出力部とを備える画像処理装置である。奥行きデータ取得部は、撮影時における撮影部から被撮影対象までの距離を奥行きデータとして、被撮影対象に対応する部分の画像データに対応させて取得する。奥行きデータ分布平滑化部は、奥行きデータの値の分布が平滑化されるように奥行きデータの値を変換する。ゲインデータ算出部は、奥行きデータ分布平滑化部により変換された奥行きデータの値に応じたゲインデータの値を算出する。輪郭補正部は、ゲインデータ算出部により算出されたゲインデータの値により画像データの輪郭補正を行う。画像データ出力部は、輪郭補正部で輪郭補正された画像データを出力する。
これにより、画像データについての奥行きデータの分布が平滑化され、入力画像データに対して輪郭補正を行うゲインデータが算出されるので、１つの画像における近景部分と遠景部分との占める面積比率に関わらず最適な奥行き感強調処理を行うことができる。なお、「平滑化」とは、データ分布の偏りをなくす方向にデータを変換する処理のことをいい、データ分布を、単に拡張する処理、均等化する処理、緩和化する処理および平均化する処理等をも含む概念である。「撮影部から被撮影対象までの距離」とは、撮影部から被撮影対象までの実際の距離、あるいはその実際の距離を推定した距離のことをいう。また、奥行きデータ取得部は、画像データ入力部から奥行きデータが添付されている画像データが入力されている場合は、単に、画像データに添付されている奥行きデータを、画像データから分離して、取得するだけであり、別途、演算等の処理により取得するわけではない。

第２の発明は、第１の発明であって、奥行きデータ格納部と、画像データ格納部と、画像データ相関検出部とをさらに備える。奥行きデータ格納部は、少なくとも１つの画像を構成できる単位画像に対応する分量の奥行きデータを格納する。画像データ格納部は、単位画像分量の画像データを格納する。画像データ相関検出部は、連続する単位画像の画像データ間の相関を検出する。第２の発明において、奥行きデータ分布平滑化部は、画像データ相関検出部により、連続する画像データについて相関があると判断された場合、奥行きデータ格納部に格納されている１画像単位前の奥行きデータの値と奥行きデータ取得部で取得されている奥行きデータの値とを用いて奥行きデータの値の分布が平滑化されるように奥行きデータの値を変換する。また、奥行きデータ分布平滑化部は、画像データ相関検出部により、連続する画像データについて相関がないと判断された場合、奥行きデータ取得部で取得されている奥行きデータの値を用いて奥行きデータの値の分布が平滑化されるように奥行きデータの値を変換する。
これにより、動画におけるシーンチェンジのように連続する画像間に相関がない場合は、処理対象画像内での処理を行うことができ、効果的な奥行き感強調処理を実現できる。また、連続する画像間に相関がある場合は、連続する画像両方の奥行きデータを用いて奥行きデータ分布の平滑化を行い、輪郭補正を行うので、同一物体に対して、連続する画像間でちらつきの発生を抑制することができる。

第３の発明は、第２の発明であって、奥行きデータ分布平滑化部は、奥行きデータ分析部と、奥行きデータ変換部とを有する。奥行きデータ分析部は、単位画像における奥行きデータの値の最大値と最小値とを取得する。奥行きデータ変換部は、奥行きデータの最大値と最小値とが、ゲインデータ算出部の入力許容範囲内に収まるように奥行きデータの値を変換する。
これにより、奥行きデータがとる範囲がゲインデータ算出部の入力許容範囲内に収まるように拡張され、それに対応したゲインデータが算出され、輪郭補正がなされるので、ゲインデータの有効範囲を効果的に使うことができ、簡単な処理で、奥行き感強調処理を実現することができる。
第４の発明は、第２又は第３の発明であって、奥行きデータ分布平滑化部は、奥行きデータ分析部と、奥行きデータ変換部とを有する。奥行きデータ分析部は、単位画像における奥行きデータの値についてのヒストグラムを取得する。奥行きデータ変換部は、ヒストグラムが奥行きデータの値について平滑化さされるように奥行きデータの値を変換する。
これにより、奥行きデータのとる範囲がゲインデータ算出部の入力許容範囲内に収まるように拡張され、かつ、変換後の奥行きデータの分布が平滑化されるので、効果的な奥行き感強調処理を実現することができる。特に、近景（又は遠景）が大部分であるような入力画像データに対しても効果的な奥行き感強調処理を実現できる。

第５の発明は、第２から第４のいずれかの発明であって、単位画像は、１フレーム分の画像である。
第６の発明は、画像データが入力される画像データ入力部と、奥行きデータ取得部と、ゲインデータ算出部と、ゲインデータ分布平滑化部と、輪郭補正部と、画像データ出力部とを備える画像処理装置である。奥行きデータ取得部は、撮影時における撮影部から被撮影対象までの距離を奥行きデータとして、被撮影対象に対応する部分の画像データに対応させて取得する。ゲインデータ算出部は、奥行きデータの値に応じたゲインデータの値を算出する。ゲインデータ分布平滑化部は、ゲインデータの値の分布が平滑化されるようにゲインデータの値を変換する。輪郭補正部は、ゲインデータ分布平滑化部により変換されたゲインデータの値により画像データの輪郭補正を行う。画像データ出力部は、輪郭補正部で輪郭補正された画像データを出力する。
これにより、画像データについての奥行きデータに応じたゲインデータの分布が平滑化され、入力画像データに対して輪郭補正がなされるので、１つの画像における近景部分と遠景部分との占める面積比率に関わらず最適な奥行き感強調処理を行うことができる。なお、「平滑化」、「撮影部から被撮影対象までの距離」については、第１の発明のものと同様である。また、奥行きデータ取得部についても第１の発明のものと同様である。

第７の発明は、第６の発明であって、ゲインデータ格納部と、画像データ格納部と、画像データ相関検出部とをさらに備える。ゲインデータ格納部は、少なくとも１つの画像を構成できる単位画像に対応する分量のゲインデータの値を格納する。画像データ格納部は、単位画像分量の画像データを格納する。画像データ相関検出部は、連続する単位画像の画像データ間の相関を検出する。ゲインデータ分布平滑化部は、画像データ相関検出部により、連続する画像データについて相関があると判断された場合、ゲインデータ格納部に格納されている１画像単位前のゲインデータの値とゲインデータ算出部で算出されているゲインデータの値とを用いてゲインデータの値の分布が平滑化されるようにゲインデータの値を変換する。また、ゲインデータ分布平滑化部は、画像データ相関検出部により、連続する画像データについて相関がないと判断された場合、ゲインデータ算出部で算出されているゲインデータの値を用いてゲインデータの値の分布が平滑化されるようにゲインデータの値を変換する。
これにより、動画におけるシーンチェンジのように連続する画像間に相関がない場合は、処理対象画像内での処理を行うことができ、効果的な奥行き感強調処理を実現できる。また、連続する画像間に相関がある場合は、連続する画像両方の奥行きデータに対応するゲインデータを用いてゲインデータ分布の平滑化を行い、輪郭補正を行うので、同一物体に対して、連続する画像間でちらつきの発生を抑制することができる。

第８の発明は、第７の発明であって、ゲインデータ分布平滑化部は、ゲインデータ分析部と、ゲインデータ変換部とを有する。ゲインデータ分析部は、単位画像におけるゲインデータの値の最大値と最小値とを取得する。ゲインデータ変換部は、ゲインデータの最大値と最小値とが、ゲインデータ算出部の出力許容範囲内に収まるようにゲインデータの値を変換する。
これにより、ゲインデータのとる範囲がゲインデータ算出部の出力許容範囲内に収まるように拡張され、輪郭補正がなされるので、ゲインデータの有効範囲を効果的に使うことができ、簡単な処理で、奥行き感強調処理を実現することができる。
第９の発明は、第７又は第８の発明であって、ゲインデータ分布平滑化部は、ゲインデータ分析部と、ゲインデータ変換部とを有する。ゲインデータ分析部は、単位画像におけるゲインデータの値についてのヒストグラムを取得する。ゲインデータ変換部は、ヒストグラムがゲインデータの値について平滑化さされるようにゲインデータの値を変換する。
これにより、ゲインデータのとる範囲がゲインデータ算出部の出力許容範囲内に収まるように拡張され、かつ、変換後のゲインデータの分布が平滑化されるので、効果的な奥行き感強調処理を実現することができる。特に、近景（又は遠景）が大部分であるような入力画像データに対しても効果的な奥行き感強調処理を実現できる。

第１０の発明は、第７から第９のいずれかの発明であって、単位画像は、１フレーム分の画像である。

本発明の画像処理装置によれば、１つの画像における近景部分と遠景部分との占める面積比率に関わらず最適な奥行き感強調処理を行うことができ、また、動画を対象として処理を行った場合でも同一物体に対して、ちらつきの発生を抑制することができる。

以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜画像処理装置の全体構成＞
図１に本発明の第１実施形態に係る画像処理装置１００の全体構成図を示す。この画像処理装置１００は、主に、画像データが入力される画像データ入力部１と、画像データに対応する奥行きデータを取得する奥行きデータ取得部２と、奥行きデータを格納する奥行きデータ格納部３と、奥行きデータの値の分布が平滑化されるように奥行きデータの値を変換する奥行きデータ分布平滑化部４と、奥行きデータ分布平滑化部４により変換された奥行きデータの値に応じたゲインデータの値を算出するゲインデータ算出部５と、ゲインデータ算出部５により算出されたゲインデータの値により入力画像データに対して輪郭補正を行う輪郭補正部６と、輪郭補正部６で輪郭補正された画像データを出力する画像データ出力部７とから構成されている。また、画像処理装置１００は、画像データ入力部１に入力された画像データを格納する画像データ格納部８と、連続する単位画像間（例えば、フレーム間）で画像データの相関があるか否かを検出する画像データ相関検出部９とを備えている。なお、単位画像は、１フレーム分の画像として、以下説明する。

画像データ入力部１は、カメラ等の撮影部（不図示）から入力された画像データを奥行きデータ取得部２、輪郭補正部６、画像データ格納部８および画像データ相関検出部９に出力する。また、奥行きデータ取得を能動的計測法により行う場合、画像データ入力部１には、カメラ等の撮影部で実際に撮影した時の撮影部から被撮影対象までの実際の距離情報（実際の距離を推定した距離情報）が入力され、この距離情報は奥行きデータ取得部２へ出力される。この距離情報は、例えば、光パルスを投影し、被撮影対象で反射して返ってくるまでの時間を計測し、計測された光の飛行時間から被撮影対象までの距離を求めるパルス光投影法を用いることでカメラ等の撮影部（不図示）により取得される。奥行きデータ取得を受動的計測法（例えば、ステレオマッチングによる方法）により行う場合、画像データ入力部１には、ステレオペアの２枚の画像に相当する画像データが入力される。
奥行きデータ取得部２は、奥行きデータ取得を能動的計測法により行う場合、画像データ入力部１に入力された撮影時の撮影部から被撮影対象までの距離情報を、被撮影対象に該当する部分の画像データに対応させて奥行きデータとして取得する。また、奥行きデータ取得を受動的計測法（例えば、ステレオマッチングによる方法）により行う場合、奥行きデータ取得部２は、画像データ入力部１からステレオペアの２枚に相当する画像データを取得し、ステレオマッチングにより、ステレオペアの２枚の画像上の対応点を探索し、対応点の仮想投影面座標より対応点の対象物空間上の３次元座標を計算することにより距離を求め、その距離を対応点に該当する画像データの奥行きデータとして取得する。

奥行きデータ格納部３は、奥行きデータ取得部２で取得した１フレーム分の奥行きデータを格納し、保持する。
奥行きデータ分布平滑化部４は、主に、奥行きデータ分析部４１と、奥行きデータ変換部４２とから構成される。処理対象フレームの画像データと処理対象フレームの１フレーム前の画像データとの相関（以下、「フレーム相関」という。）が低い場合、奥行きデータ分析部４１は、奥行きデータ取得部２から入力された処理対象フレームの奥行きデータの最大値と最小値とを取得し、奥行きデータ変換部４２に出力する。奥行きデータ変換部４２は、処理対象フレームの奥行きデータの最大値と最小値、及び処理対象フレームの奥行きデータを入力として、処理対象フレームの奥行きデータがゲインデータ算出部の入力許容範囲内に収まるように奥行きデータの値を拡張する変換を行い、変換後の奥行きデータをゲインデータ算出部５に出力する。一方、フレーム相関が高い場合、奥行きデータ分析部４１は、奥行きデータ取得部２から出力される処理対象フレームの奥行きデータと、奥行きデータ格納部３から出力される処理対象フレームの１フレーム前の奥行きデータとを入力として、処理対象フレームの奥行きデータの最大値と最小値、および処理対象フレームの１フレーム前のフレームの奥行きデータの最大値と最小値を取得し、奥行きデータ変換部４２に出力する。奥行きデータ変換部４２は、処理対象フレームの奥行きデータと、処理対象フレームの奥行きデータの最大値と最小値、および処理対象フレームの１フレーム前のフレームの奥行きデータの最大値と最小値とを入力として、処理対象フレームの奥行きデータがゲインデータ算出部５の入力許容範囲内に収まるように奥行きデータの値を拡張する変換を行い、変換後の奥行きデータをゲインデータ算出部５に出力する。なお、奥行きデータ分布平滑化部４でのフレーム相関による動作の選択は、奥行きデータ分析部４１および奥行きデータ変換部４２に入力される画像データ相関検出部９での検出結果に基づいて、行われる。

ゲインデータ算出部５は、主に、ゲイン設定部５１と、ゲイン関数格納部５２とから構成される。ゲイン設定部５１は、ゲイン関数格納部５２に格納されているゲイン関数にしたがって、奥行きデータ変換部４２から出力された変換後の奥行きデータに対応するゲインデータの値を算出して、ゲイン調整部６３へ出力する。ゲイン関数格納部５２は、奥行きデータと輪郭補正するためのゲインデータの値を対応づけたゲイン関数を格納している。なお、ゲイン関数は、ルックアップテーブルとして固定値として予め保持されていても良いし、演算により求められるようになっていても良い。
輪郭補正部６は、主に、遅延部６１と、輪郭抽出部６２と、ゲイン調整部６３と、加算部６４とから構成されている。輪郭抽出部６２は、画像データ入力部１から出力された画像データにハイパスフィルタ処理を行い、画像データの高域成分である輪郭部を抽出し、ゲイン調整部６３に出力する。ゲイン調整部６３は、輪郭抽出部６２から出力された輪郭部の画像データに、ゲイン設定部５１から出力されたゲインデータの値に基づきゲイン調整処理を行い、加算部６４へ出力する。遅延部６１は、画像データ入力部１から出力された画像データを、輪郭抽出部６２およびゲイン調整部６３の処理による遅延と同じ分だけ遅延させて加算部６４へ出力する。加算部６４は、遅延部６１から出力された画像データと、ゲイン調整部６３で輪郭部がゲイン調整された画像データとを加算して、画像データ出力部７に出力する。

画像データ出力部７は、輪郭補正部６から出力された画像データを、例えば、ＴＶモニタ等のディスプレイ（不図示）に出力する。
画像データ格納部８は、画像データ入力部１から出力された画像データを１フレーム分格納し保持する。
画像データ相関検出部９は、画像データ入力部１から出力された、処理対象となっているフレームの１フレーム分の画像データと、画像データ格納部８で格納されている処理対象となっているフレームの１フレーム前のフレームの画像データとの相関を検出し、フレーム間の相関があるか否かを示す情報を出力する。
以上の構成により、１つの画像における近景部分と遠景部分との占める面積比率に関わらず最適な奥行き感強調処理を行うことができ、また、動画を対象として処理を行った場合でも同一物体に対して、ちらつきの発生を抑制することができる画像処理装置１００を実現することができる。
＜画像処理装置の動作＞
次に第１実施形態に係る画像処理装置１００の動作について図１から図４を用いて説明する。図２に、本発明の第１実施形態に係る画像処理装置１００の動作フロー図を示す。

能動的計測法であるパルス光計測法を用いて奥行きデータを取得する場合、カメラ等の撮影部（不図示）で実際に撮影した時の撮影部から被撮影対象までの距離情報（３次元空間における実際の距離（実際の距離を推定した距離情報）についての情報）が画像データ入力部１を介して、奥行きデータ取得部２に入力される。そして、その距離情報を対応する画像データの奥行きデータｚ（ｘ、ｙ）として、奥行きデータ取得部２で取得する（Ｓ２０１）。つまり、１フレーム分の画像データを２次元画像として２次元座標で表現した場合において、Ｘ座標がｘで、Ｙ座標がｙである画素に対応する実際の被撮影対象と撮影部（カメラ等）との撮影時の距離（３次元空間における実際の距離（実際の距離を推定した距離情報））を、奥行きデータｚ（ｘ、ｙ）として、画素の座標（ｘ、ｙ）に対応させて、奥行きデータ取得部２で取得する。
また、受動的計測法であるステレオマッチングにより奥行きデータを取得する場合、奥行きデータ取得部２は、画像データ入力部１から出力されるステレオペアの２枚の１フレーム分の画像から、ステレオマッチングにより、ステレオペアの２枚の画像上の対応点を探索し、対応点の仮想投影面座標より対応点の対象物空間上の３次元座標を計算することにより距離を求め、その距離を対応点に該当する画像データの奥行きデータｚ（ｘ、ｙ）として取得する（Ｓ２０１）。

なお、例えば、奥行きデータを８ビットデータ（０〜２５５）とした場合、奥行きデータの値が所定の距離Ｚａより小さい場合は、奥行きデータの値を０とし、所定の距離Ｚｂより大きい場合は、奥行きデータの値を２５５として、処理効率を上げるようにしても良い。
次に、画像データ相関検出部９により、処理対象となっている現フレームの画像データと処理対象となっている現フレームの１フレーム前のフレーム（以下、「前フレーム」という。）の画像データとのフレーム相関の有無が検出される（Ｓ２０２）。画像データ相関検出部９におけるフレーム相関の有無の検出は、例えば、次のように行う。連続する２フレーム分の画像データにおいて、それぞれのフレームにおいて、ブロック単位に分割し（例えば、８画素×６画素のブロックや８画素×８画素のブロックに分割）、ブロック単位ごとの輝度信号レベルや色信号レベル（例えば、クロマ信号、色差信号のレベル）の値についての発生頻度ヒストグラムを１フレーム分生成し、現フレームの発生頻度ヒストグラムと前フレームの発生頻度ヒストグラムとの差分の２乗平均が所定のしきい値を超えるか否かでフレーム相関の有無を検出する。このフレーム相関の有無の検出結果により、画像データにおけるシーンチェンジなどのカット変化点を検出することができる。

画像データ相関検出部９により、現フレームと前フレームとのフレーム相関がないと判断された場合、奥行きデータ分析部４１は、現フレームにおける奥行きデータｚ（ｘ、ｙ）の最大値Ｚ_MAX（＝ｍａｘ（ｚ（ｘ、ｙ）））と最小値Ｚ_MIN（＝ｍｉｎ（ｚ（ｘ、ｙ）））とを取得する（Ｓ２０３）。そして、奥行きデータ変換部４２において、（数式１）に相当する変換処理を行い、奥行きデータの値ｚ（ｘ、ｙ）をＴｚ（ｘ、ｙ）に変換する。

ここで、ＴＺ_MINからＴＺ_MAXまでの範囲を、ゲインデータ算出部５に入力される奥行きデータの値の入力許容最大範囲と一致させれば、ゲインデータ算出部５の入力許容範囲を最大限に使用することができるので、ゲインデータ算出部５での処理効果を最大にすることができる。すなわち、奥行きデータがとりうる値の範囲である奥行きデータ分布を拡張することができる（Ｓ２０４）。以下、ゲインデータ算出部５の入力許容範囲を８ビット、すなわち、０〜２５５の範囲の値をとるものとして、説明する。
次に、奥行きデータ変換部４２により拡張変換された奥行きデータは、ゲインデータ算出部５に入力され、拡張変換された奥行きデータの値に対応するゲインデータの値が算出される（Ｓ２０７）。図３は、ゲイン関数格納部５２に格納されているゲイン関数を示したものである。図３中のＺ０からＺ１までの範囲がゲイン関数の入力許容範囲であり、０〜２５５の値に対応する。なお、奥行きデータの値がＺ０以下の部分およびＺ１以上の部分は、実際の３次元空間での距離が所定距離Ｚａより近いまたは所定距離Ｚｂより遠い被撮影対象についての奥行きデータに対応する部分であり、図３に示すようにクリップ処理を行っても問題ないと判断される部分である。

図３のゲイン関数は、奥行きデータの値がＺ０からＺ１の範囲において、対応するゲインデータの値が線形的に単調減少する右下がりの直線となっている。このゲイン関数は、奥行きデータの値が小さい値（近距離に相当）であるほど、より大きなゲインデータの値を、奥行きデータの値が大きな値（遠距離に相当）であるほど、より小さなゲインデータの値を出力することを意味する。
次に、ゲインデータ算出部５で算出されたゲインデータにより、画像データ入力部１からの画像データに対して輪郭補正が輪郭補正部６で行われる（Ｓ２０８）。ゲイン関数が図３に示すような特性を有しているので、近距離の輪郭部分に対しては、大きな値のゲインデータの値がゲインデータ算出部５から出力され、ゲイン調整部６３でより輪郭が強調される。一方、遠距離の輪郭部分に対しては、小さな値のゲインデータの値がゲインデータ算出部５から出力され、ゲイン調整部６３でより輪郭が強調されないよう輪郭補正がなされる。また、ゲインデータ算出部５の入力許容最大範囲（０〜２５５のゲインデータの値）をとるように奥行きデータ分布平滑化部４で拡張変換された奥行きデータを用いるので、例えば、大部分が近景（あるいは大部分が遠景）である画像であっても、奥行きデータの値として、図３のＺ０からＺ１の範囲をとるので、ゲインデータの値もＧ０からＧ１をとり、輪郭補正部６により、奥行き感が強調された画像に補正することができる。

一方、画像データ相関検出部９により、現フレームの画像データと前フレームの画像データフレームの相関があると判断された場合（Ｓ２０２）、奥行きデータ分析部４１は、現フレームにおける奥行きデータｚ（ｘ、ｙ）の最大値Ｚ^t _MAXと最小値Ｚ^t _MINと、前フレームにおける奥行きデータｚ（ｘ、ｙ）の最大値Ｚ^t-1 _MAXと最小値Ｚ^t-1 _MINとを取得する（Ｓ２０５）。なお、ここで、奥行きデータ分析部４１は、奥行きデータ格納部３に格納されている前フレームの奥行きデータにより、前フレームの最大値Ｚ^t-1 _MAXと最小値Ｚ^t-1 _MINとを求める。そして、奥行きデータ変換部４２において、（数式１）のＺ_MAXとＺ_MINとを（数式２）の値として、（数式１）に相当する変換処理を行い、奥行きデータの値ｚ（ｘ、ｙ）をＴｚ（ｘ、ｙ）に変換する。

これにより、奥行きデータの値のとりうる範囲が拡張されることになる（Ｓ２０６）。現フレームと前フレームの奥行きデータの最小値の平均値から最大値の平均値までの範囲が、ゲインデータ算出部５の入力許容最大範囲となるように、奥行きデータが変換されることになる。つまり、図４におけるＺ^t _MINとＺ^t-1 _MINとの平均値であるＺ_MINからＺ^t _MAXとＺ^t-1 _MAXとの平均値であるＺ_MAXの範囲がゲインデータ算出部５の入力許容最大範囲となるように、奥行きデータが変換される。なお、ゲインデータ算出部５の入力許容最大範囲にまで拡張する変換でなくても（拡張する変換をしない場合であっても）、同一物体に相当する画像データに対して、連続するフレーム間で、ちらつきの発生を抑制する効果を実現することは可能である。
この奥行きデータの値の拡張変換により、フレーム間で奥行きデータの値のとりうる範囲にバラツキがあっても拡張変換された奥行きデータの値のとりうる範囲が極端に変化することがなくなり、拡張変換された奥行きデータの値に対応するゲインデータの値もフレーム間で極端に変化することがなくなる。したがって、輪郭補正のゲインデータの値の変化によるちらつきの発生を抑制することが可能となる。なお、Ｓ２０６以降の処理として、Ｓ２０７、Ｓ２０８の処理が行われるが、これらの処理は、フレーム相関があると判断された場合と同様である。

以上のようにフレーム相関がある場合とない場合とで処理を分けることで、フレーム間で奥行きデータの値のレンジ（奥行きデータの値の最大値から最小値までの範囲）にばらつきがあっても、適切に奥行き感強調処理を行うことができる。さらに、同一物体に相当する画像データに対して、連続するフレーム間で、ゲインデータの値が極端に異なる輪郭補正がなされることがないので、ちらつきの発生を抑制することができる。
＜変形例＞
奥行きデータの値のヒストグラムを用いて奥行きデータ分布の平滑化を行う画像処理装置１００について、図１、図５および図６を用いて説明する。なお、本変形例に係る画像処理装置１００において、奥行きデータ分布平滑化部４の奥行きデータ分析部４１および奥行きデータ変換部４２での処理が前述した画像処理装置１００についての処理とは異なり、その他の処理は同じである。
以下、奥行きデータ分析部４１および奥行きデータ変換部４２での処理を中心に説明する。なお、奥行きデータの値は８ビット、つまり０〜２５５の値をとるものとして説明する。
奥行きデータ分析部４１は、奥行きデータ取得部２から入力された処理対象フレームの奥行きデータの値、および奥行きデータ格納部３から入力された前フレームの奥行きデータについて、それぞれヒストグラムを算出し、奥行きデータ変換部４２に出力する。奥行きデータ変換部４２は、奥行きデータ分析部４１から出力されたヒストグラムを用いて、ヒストグラムが平滑化されるように、奥行きデータ取得部２から出力された奥行きデータを変換する。また、このとき、奥行きデータ変換部４２から出力される変換後奥行きデータがゲインデータ算出部５の入力許容最大範囲（０〜２５５）となるように変換前の奥行きデータを変換する。そして、奥行きデータ変換部４２は、変換後の奥行きデータをゲインデータ算出部５に出力する。

次に、本変形例に係る画像処理装置１００の動作の詳細について図５および図６を用いて説明する。
図５において、Ｓ５０１、Ｓ５０２、Ｓ５０７およびＳ５０８の処理は、それぞれ、図２のＳ２０１、Ｓ２０２、Ｓ２０７およびＳ２０８の処理と同様である。以下、Ｓ５０３、Ｓ５０４、Ｓ５０５およびＳ５０６の処理を中心に説明する。
画像データ相関検出部９において、フレーム相関がないと判断された場合（Ｓ５０２）、奥行きデータ分析部４１は、現フレームにおける奥行きデータの値ｚ（ｘ、ｙ）について、奥行きデータの値がとりうる範囲（０〜２５５）を１６分割してから、１フレーム分の奥行きデータの値についてのヒストグラムＨ（Ｚ）（Ｚ＝ｚ（ｘ、ｙ）、Ｚ：０〜２５５）を算出する。つまり、奥行きデータの値が０〜１５、１６〜３１、・・・、２４０〜２５５の値をとる画素数を算出することでヒストグラムＨ（Ｚ）（Ｚ：０〜２５５）を算出する（Ｓ５０３）。なお、１６分割するのは、処理効率を上げるためである。
ここで、１６分割することにより生成された１６個のヒストグラムをH₁₆（ｊ）（ｊ：０〜１５）（以下、ｊを「ヒストグラムH₁₆の番号」という。）とする。つまり、Ｈ₁₆（０）はＺが０〜１５までの値をとる画素数を算出して得られたヒストグラム、Ｈ₁₆（１）はＺが１６〜３１までの値をとる画素数を算出して得られたヒストグラム、・・・、Ｈ₁₆（１５）はＺが２４０〜２５５までの値をとる画素数を算出して得られたヒストグラムとなる。

次に、奥行きデータ変換部４２により、（数式３）および（数式４）に相当する処理を行い、奥行きデータの値を変換する（Ｓ５０４）。

（数式３）および（数式４）において、Ｚは変換前の奥行きデータの値、Ｚ’は変換後の奥行きデータの値、Ｈ₁₆（ｉ）は、奥行きデータの値がｉである画素数、Ｎは１フレームの画素数であり、ｊは、Ｚが含まれるヒストグラムH₁₆の番号である。ｍｏｄ（Ｚ、１６）は、Ｚについての１６の剰余を表す。
（数式３）および（数式４）に相当する処理を行うことで、例えば、図６（ａ）に示すような変換前の奥行きデータの値によるヒストグラムが、図６（ｃ）に示すような変換後の奥行きデータの値によるヒストグラムに変換されることになる。つまり、（数式３）および（数式４）に相当する処理を行うことで、変換後の奥行きデータの値は０から２５５の範囲に拡張され、かつ、それぞれの奥行きデータの値をとる画素数がほぼ均等になる。また、図６（ｂ）に示すように近景が大部分であるような画像データに対しても図６（ｃ）に示すような変換後の奥行きデータの値によるヒストグラムに変換されることになる。つまり、変換後の奥行きデータの値のとる範囲が拡張され、かつ変換後の奥行きデータの値によるヒストグラムが平滑化されることになる。なお、図６（ａ）〜（ｃ）は、説明の便宜のため、簡略化したものを示しており、厳密なヒストグラムを示しているものではない。実際のヒストグラムの分布によっては、変換後の奥行きデータの値によるヒストグラムがほぼ均等な分布にならない場合もあるが、変換前の奥行きデータの値のヒストグラムに対して、平滑化される方向に奥行きデータの値が変換されるのは、間違いない。

次に、ゲインデータ算出部５により、変換後の奥行きデータの値からゲインデータの値が算出され（Ｓ５０７）、そのゲインデータの値により、輪郭補正部６で輪郭補正処理が行われる（Ｓ５０８）。
これにより、奥行きデータの値の分布が図６（ａ）のような場合であっても、図６（ｃ）のような大部分が近景であるような場合であっても、また、図示していないが大部分が遠景であるような場合であっても、奥行きデータ分布平滑化部４で、奥行きデータは、ゲインデータ算出部５の入力許容最大範囲（０〜２５５）に拡張され、かつ、図６（ｃ）のようなヒストグラムになるように平滑化された奥行きデータに変換される。したがって、ゲインデータ算出部５におけるゲイン関数（図３に示した特性を持つゲイン関数）の有効特性部分（線形特性を示す部分）を最大限に利用することができ、ゲインデータ算出部５から輪郭補正部６に出力されるゲインデータの値は、最大範囲の分布を持つものとなる。これにより、画像データにおける近景部分と遠景部分との比率に関わらず、効果的な輪郭補正処理を行うことが可能となる。
画像データ相関検出部９において、フレーム相関があると判断された場合（Ｓ５０２）、奥行きデータ分析部４１は、奥行きデータの値がとりうる範囲（０〜２５５）を１６分割して、現フレームにおける奥行きデータの値についてのヒストグラムＨ^t（Ｚ）（Ｚ：０〜２５５）、および前フレームにおける奥行きデータの値についてのヒストグラムＨ^t-1（Ｚ）（Ｚ：０〜２５５）を算出する（Ｓ５０５）。

ここで、１６分割することにより生成された１６個の、現フレームにおける奥行きデータの値についてのヒストグラムをＨ₁₆ ^t（ｊ）（ｊ：０〜１５）と、前フレームにおける奥行きデータの値についてのヒストグラムをＨ₁₆ ^t-1（ｊ）（ｊ：０〜１５）とする。
次に、奥行きデータ変換部４２により、（数式５）および（数式６）に相当する処理を行い、奥行きデータの値を変換する（Ｓ５０６）。

（数式５）および（数式６）において、Ｚは処理対象フレーム（現フレーム）の変換前の奥行きデータの値、Ｚ’は現フレームの変換後の奥行きデータの値、Ｈ₁₆ ^t（ｉ）は現フレームで奥行きデータの値がｉである画素数、Ｈ₁₆ ^t-1（ｉ）は前フレームで奥行きデータの値がｉである画素数、Ｎは１フレームの画素数であり、ｊは、Ｚが含まれるヒストグラムＨ₁₆ ^t又はＨ₁₆ ^t-1の番号である。
（数式５）および（数式６）に相当する処理を行うことで、変換後の奥行きデータの値は、奥行きデータの値のとりうる範囲が拡張され、フレーム間で極端にとりうる範囲が異ならず、かつ、変換後の奥行きデータの値についてのヒストグラムが平滑化されたものとなる。
これにより、変換後のゲインデータの値により、ゲインデータ算出部５で算出されるゲインデータの値もフレーム間で極端に変化することがない。したがって、同一物体に相当する画像データに対して、連続するフレーム間で、ゲインデータの値が極端に異なる輪郭補正がなされることがなく、ちらつきの発生を抑制することができる。
［第２実施形態］
＜画像処理装置の全体構成＞
図７に本発明の第２実施形態に係る画像処理装置１００’の全体構成図を示す。この画像処理装置１００’は、主に、画像データが入力される画像データ入力部１と、画像データに対応する奥行きデータを取得する奥行きデータ取得部２と、奥行きデータの値からゲインデータを算出するゲインデータ算出部５と、ゲインデータを格納するゲインデータ格納部１０と、ゲインデータの値の分布が平滑化されるようにゲインデータの値を変換するゲインデータ分布平滑化部１１と、ゲインデータ分布平滑化部１１により平滑化されたゲインデータの値により入力画像データに対して輪郭補正を行う輪郭補正部６と、輪郭補正部６で輪郭補正された画像データを出力する画像データ出力部７とから構成されている。また、画像処理装置１００’は、画像データ入力部に入力された画像データを格納する画像データ格納部８と、連続する単位画像間（例えば、フレーム間）で画像データの相関があるか否かを検出する画像データ相関検出部９とを備えている。なお、単位画像は、１フレーム分の画像として、以下説明する。

画像データ入力部１、奥行きデータ取得部２、画像データ格納部８、画像データ相関検出部９、輪郭補正部６および画像データ出力部７は、第１実施形態のものと同じであるので、説明を省略する。
ゲインデータ算出部５は、第１実施形態のものと同じであるが、奥行きデータ取得部２から平滑化されていない奥行きデータが入力される点が異なる。ゲインデータ算出部５は、平滑化されていない奥行きデータの値からゲインデータの値を算出し、算出したゲインデータをゲインデータ格納部１０およびゲインデータ分布平滑化部１１に出力する。
ゲインデータ格納部１０は、ゲインデータ算出部５から出力されたゲインデータを１フレーム分格納し、保持する。
ゲインデータ分布平滑化部１１は、主に、ゲインデータ分析部１１１と、ゲインデータ変換部１１２とから構成される。フレーム相関が低い場合、ゲインデータ分析部１１１は、ゲインデータ算出部５から入力された処理対象フレームのゲインデータの最大値と最小値とを取得し、ゲインデータ変換部１１２に出力する。ゲインデータ変換部１１２は、処理対象フレームのゲインデータの最大値と最小値、及び処理対象フレームのゲインデータを入力として、処理対象フレームのゲインデータがゲインデータ算出部５の出力許容範囲内（図３におけるＧ１〜Ｇ０の範囲内）に収まるようにゲインデータの値を拡張する変換を行い、変換後のゲインデータを輪郭補正部６のゲイン調整部６３に出力する。一方、フレーム相関が高い場合、ゲインデータ分析部１１１は、ゲインデータ算出部５から出力される処理対象フレームのゲインデータと、ゲインデータ格納部１０から出力される処理対象フレームの１フレーム前のゲインデータとを入力として、処理対象フレームのゲインデータの最大値と最小値、および前フレームのゲインデータの最大値と最小値を取得し、ゲインデータ変換部１１２に出力する。ゲインデータ変換部１１２は、処理対象フレームのゲインデータと、処理対象フレームのゲインデータの最大値と最小値、および前フレームのゲインデータの最大値と最小値とを入力として、処理対象フレームのゲインデータがゲインデータ算出部５の出力許容範囲内（図３におけるＧ１〜Ｇ０の範囲内）に収まるようにゲインデータの値を拡張する変換を行い、ゲイン調整部６３に出力する。なお、ゲインデータ分布平滑化部１１でのフレーム相関による動作の選択は、ゲインデータ分析部１１１およびゲインデータ変換部１１２に入力される画像データ相関検出部９での検出結果に基づいて、行われる。

以上の構成により、１つの画像における近景部分と遠景部分との占める面積比率に関わらず、ゲインデータの値がとりうる範囲（図３のＧ１〜Ｇ０の範囲）を有効に使うことができるので、最適な奥行き感強調処理を行うことができ、また、動画を対象として処理を行った場合でも同一物体に対して、ちらつきの発生を抑制することができる画像処理装置１００を実現することができる。
＜画像処理装置の動作＞
次に第２実施形態に係る画像処理装置１００’の動作について図７および図８を用いて説明する。図８に、本発明の第２実施形態に係る画像処理装置１００’の動作フロー図を示す。図８のＳ８０１の処理は、第１実施形態の画像処理装置１００の動作フローを示した図２のＳ２０１の処理と同じであるので、説明を省略する。
Ｓ８０１で取得された奥行きデータからゲインデータ算出部５により、ゲインデータが算出される（Ｓ８０２）。
次に、画像データ相関検出部９により、現フレームの画像データと前フレームの画像データとにフレーム相関がないと判断された場合（Ｓ８０３）、ゲインデータ分析部１１１は、現フレームにおけるゲインデータｇ（ｘ、ｙ）の最大値Ｇ_MAX（＝ｍａｘ（ｇ（ｘ、ｙ）））と最小値Ｇ_MIN（＝ｍｉｎ（ｇ（ｘ、ｙ）））とを取得する（Ｓ８０４）。そして、ゲインデータ変換部１１２において、（数式７）に相当する変換処理を行い、ゲインデータの値ｇ（ｘ、ｙ）をＴｇ（ｘ、ｙ）に変換し、ゲインデータの値の範囲を拡張する（Ｓ８０５）。

ここで、ＴＧ_MINからＴＧ_MAXまでの範囲を、ゲインデータ算出部５から出力することができるゲインデータの値の出力許容最大範囲（図３のＧ１〜Ｇ０の範囲に相当）と一致させれば、ゲインデータの値の利用範囲を最大限に使用することができるので、奥行き感強調処理の効果を最大にすることができる。なお、ゲインデータ算出部５で使用するゲイン関数は、第１実施形態で説明したものと同じであり、図３に示す特性を示すものである。
次に、ゲインデータ算出部５で算出されたゲインデータにより、輪郭補正部６が画像データ入力部１からの画像データに対して輪郭補正が行われる（Ｓ８０８）。なお、これにより奥行き感が強調されるが、原理については、第１実施形態で説明したものと同様であるので、説明は省略する。
一方、画像データ相関検出部９により、現フレームの画像データと前フレームの画像データフレームの相関があると判断された場合（Ｓ８０３）、ゲインデータ分析部１１１は、現フレームにおけるゲインデータｇ（ｘ、ｙ）の最大値Ｇ^t _MAXと最小値Ｇ^t _MINと、前フレームにおけるゲインデータｇ（ｘ、ｙ）の最大値Ｇ^t-1 _MAXと最小値Ｇ^t-1 _MINとを取得する（Ｓ８０６）。なお、ここで、ゲインデータ分析部１１１は、ゲインデータ格納部１０に格納されている前フレームのゲインデータにより、前フレームの最大値Ｇ^t-1 _MAXと最小値Ｇ^t-1 _MINとを求める。そして、ゲインデータ変換部１１２において、（数式７）のＧ_MAXとＧ_MINとを（数式８）の値として、（数式７）に相当する変換処理を行い、ゲインデータの値ｇ（ｘ、ｙ）をＴｇ（ｘ、ｙ）に変換する（Ｓ８０７）。

これにより、ゲインデータの値のとりうる範囲が拡張されることになる。現フレームと前フレームのゲインデータの最小値の平均値から最大値の平均値までの範囲が、ゲインデータ算出部５の出力許容最大範囲となるように、ゲインデータが変換されることになる。つまり、フレーム間でゲインデータの値のとりうる範囲にバラツキがあっても拡張変換されたゲインデータの値のとりうる範囲が極端に変化することがなくなり、拡張変換されたゲインデータの値に対応するゲインデータの値もフレーム間で極端に変化することがなくなる。したがって、輪郭補正のゲインデータの値の変化によるちらつきの発生を抑制することが可能となる。なお、Ｓ８０７以降の処理として、Ｓ８０８の処理が行われるが、Ｓ８０８の処理は、フレーム相関があると判断された場合と同様である。
以上のようにフレーム相関がある場合とない場合とで処理を分けることで、フレーム間でゲインデータの値のレンジ（ゲインデータの値の最大値から最小値までの範囲）にばらつきがあっても、適切に奥行き補正処理を行うことができる。さらに、同一物体に相当する画像データに対して、連続するフレーム間で、ゲインデータの値が極端に異なる輪郭補正がなされることがないので、ちらつきの発生を抑制することができる。
＜変形例＞
ゲインデータの値のヒストグラムを用いてゲインデータ分布の平滑化を行う画像処理装置１００’について、図７、図９および図１０を用いて説明する。なお、ゲインデータ分布平滑化部１１のゲインデータ分析部１１１およびゲインデータ変換部１１２での処理が前述した画像処理装置１００’についての処理とは異なり、その他の処理は同じである。

以下、ゲインデータ分析部１１１およびゲインデータ変換部１１２での処理を中心に説明する。なお、ゲインデータの値は８ビット、つまり０〜２５５の値をとるもの（図３のＧ１〜Ｇ０の範囲が０〜２５５となる）として説明する。
ゲインデータ分析部１１１は、ゲインデータ算出部５から入力された処理対象フレームのゲインデータの値、およびゲインデータ格納部１０から入力された前フレームのゲインデータについて、それぞれヒストグラムを算出し、ゲインデータ変換部１１２に出力する。ゲインデータ変換部１１２は、ゲインデータ分析部１１１から出力されたヒストグラムを用いて、ヒストグラムが平滑化されるように、ゲインデータ算出部５から出力されたゲインデータを変換する。また、このとき、ゲインデータ変換部１１２から出力される変換後ゲインデータがゲインデータ算出部５の出力許容最大範囲（図３におけるＧ１〜Ｇ０の範囲）となるように変換前のゲインデータを変換する。そして、ゲインデータ変換部１１２は、変換後のゲインデータを輪郭補正部６のゲイン調整部６３に出力する。
次に、本変形例に係る画像処理装置１００の動作の詳細について図９および図１０を用いて説明する。
図９において、Ｓ９０１、Ｓ９０２およびＳ９０８の処理は、それぞれ、図８のＳ８０１、Ｓ８０２およびＳ８０８の処理と同様である。以下、Ｓ９０４、Ｓ９０５、Ｓ９０６およびＳ９０７の処理を中心に説明する。

画像データ相関検出部９において、フレーム相関がないと判断された場合（Ｓ９０３）、ゲインデータ分析部１１１は、現フレームにおけるゲインデータの値ｇ（ｘ、ｙ）について、ゲインデータの値がとりうる範囲（０〜２５５）を１６分割してから、１フレーム分のゲインデータの値についてのヒストグラムＨ（Ｇ）（Ｇ＝ｇ（ｘ、ｙ）、Ｇ：０〜２５５）を算出する。つまり、ゲインデータの値が０〜１５、１６〜３１、・・・、２４０〜２５５の値をとる画素数を算出することでヒスとグラムＨ（Ｇ）（Ｇ：０〜２５５）を算出する（Ｓ９０６）。なお、１６分割するのは、処理効率を上げるためである。
ここで、１６分割することにより生成された１６個のヒストグラムをH₁₆（ｊ）（ｊ：０〜１５）とする。つまり、Ｈ₁₆（０）はＧが０〜１５までの値をとる画素数を算出して得られたヒストグラム、Ｈ₁₆（１）はＧが１６〜３１までの値をとる画素数を算出して得られたヒストグラム、・・・、Ｈ₁₆（１５）はＧが２４０〜２５５までの値をとる画素数を算出して得られたヒストグラムとなる。
次に、ゲインデータ変換部１１２により、（数式９）および（数式１０）に相当する処理を行い、ゲインデータの値を変換する（Ｓ９０７）。

（数式９）および（数式１０）において、Ｇは変換前のゲインデータの値、Ｇ’は変換後のゲインデータの値、Ｈ₁₆（ｉ）は、ゲインデータの値がｉである画素数、Ｎは１フレームの画素数であり、ｊは、Ｇが含まれるヒストグラムH₁₆の番号である。ｍｏｄ（Ｇ、１６）は、Ｇについての１６の剰余を表す。
（数式９）および（数式１０）に相当する処理を行うことで、例えば、図１０（ａ）に示すような変換前のゲインデータの値によるヒストグラムが、図１０（ｃ）に示すような変換後のゲインデータの値によるヒストグラムに変換されることになる。つまり、（数式７）および（数式１０）に相当する処理を行うことで、変換後のゲインデータの値は０から２５５の範囲（図３のＧ１〜Ｇ０の範囲）に拡張され、かつ、それぞれのゲインデータの値をとる画素数がほぼ均等になる。また、図１０（ｂ）に示すように遠景が大部分であるような画像データに対しても変換後のゲインデータの値のとる範囲が拡張され、かつ変換後のゲインデータの値によるヒストグラムが平滑化されることになる（図１０（ｃ）のヒストグラムを持つゲインデータに変換される）。なお、図１０（ａ）〜（ｃ）は、説明の便宜のため、簡略化したものを示しており、厳密なヒストグラムを示しているものではない。

次に、変換後のゲインデータの値により、輪郭補正部６で輪郭補正処理が行われる（Ｓ９０８）。
これにより、ゲインデータの値の分布が図１０（ａ）のような場合であっても、図１０（ｃ）のような大部分が遠景であるような場合であっても、また、図示していないが大部分が近景であるような場合であっても、ゲインデータ分布平滑化部１１で、ゲインデータは、ゲイン関数の出力最大範囲（０〜２５５）に拡張され、かつ、図１０（ｃ）のようなヒストグラムになるように平滑化されたゲインデータに変換される。したがって、ゲイン関数（図３に示した特性を持つゲイン関数）の有効特性部分（線形特性を示す部分）を最大限に利用することができ、ゲインデータ分布平滑化部１１から輪郭補正部６に出力されるゲインデータの値は、最大範囲のものとなる。これにより、画像データにおける近景部分と遠景部分との比率に関わらず、効果的な輪郭補正処理を行うことが可能となる。
画像データ相関検出部９において、フレーム相関があると判断された場合（Ｓ９０３）、ゲインデータ分析部１１１は、ゲインデータの値がとりうる範囲（０〜２５５）を１６分割して、現フレームにおけるゲインデータの値についてのヒストグラムＨ^t（Ｇ）（Ｇ：０〜２５５）、および前フレームにおけるゲインデータの値についてのヒストグラムＨ^t-1（Ｇ）（Ｇ：０〜２５５）を算出する（Ｓ９０６）。

次に、ゲインデータ変換部１１２により、（数式１１）および（数式１２）に相当する処理を行い、ゲインデータの値を変換する（Ｓ９０７）。

（数式１１）および（数式１２）において、Ｇは処理対象フレーム（現フレーム）の変換前のゲインデータの値、Ｇ’は現フレームの変換後のゲインデータの値、Ｈ₁₆ ^t（ｉ）は現フレームでゲインデータの値がｉである画素数、Ｈ₁₆ ^t-1（ｉ）は前フレームでゲインデータの値がｉである画素数、Ｎは１フレームの画素数であり、ｊは、Ｇが含まれるヒストグラムＨ₁₆ ^t又はＨ₁₆ ^t-1の番号である。
（数式１１）および（数式１２）に相当する処理を行うことで、変換後のゲインデータの値は、ゲインデータの値のとりうる範囲が拡張され、フレーム間で極端にとりうる範囲が異ならず、かつ、変換後のゲインデータの値についてのヒストグラムが平滑化されたものとなる。
これにより、同一物体に相当する画像データに対して、連続するフレーム間で、ゲインデータの値が極端に異なる輪郭補正がなされることがなく、ちらつきの発生を抑制することができる。
［他の実施形態］
上記実施形態では、画素単位の処理について説明したが、複数の画素からなるブロック単位で上記実施形態の処理を行ってもよい。

また、上記実施形態では、画像単位を１フレームとして説明したが、これに限定されるものではなく、例えば、画像単位を１フィールドとして処理を行ってもよい。
また、奥行きデータの平滑化処理およびゲインデータの平滑化処理については、奥行きデータ又はゲインデータについての分布が平滑化される処理であれば、他の処理であっても良く、上記実施形態の処理に限定されるものではない。
また、上記実施形態で示したゲイン関数は、図３の特性のものに限定されるものではなく、奥行き感を強調する処理を実現するものであればよく、例えば、図３における右下がりの直線部分の特性が、曲線となる特性をもつものや折れ線となる特性をもつものであってもよい。
また、上記実施形態では、奥行きデータの値やゲインデータの値等を８ビットデータとして説明したが、これに限定されるものではない。
また、上記実施形態では、ヒストグラムを対象となるデータ（奥行きデータまたはゲインデータ）を１６分割して算出していたが、これに限定されるものではなく、例えば、分割せずにヒストグラムを算出してもよいし、１６分割以外の数による分割によりヒストグラムを算出してもよい。なお、分割せずにヒストグラムを算出する場合は、（数式３）の代わりに（数式１３）を、（数式５）の代わりに（数式１４）を、（数式９）の代わりに（数式１５）を、（数式１１）の代わりに（数式１６）を、それぞれ用いて、上記実施形態で説明した処理を行えばよい。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
また、上記実施形態において、輪郭補正による奥行き感強調処理について説明したが、輪郭補正に縛られず、彩度補正、コントラスト補正、又は色相補正等の単眼の奥行き手がかりに関連した画像特徴を補正対象として、それら単独あるいは複数組み合わせて補正する処理により奥行き感強調処理を実現しても良い。

本発明にかかる画像処理装置は、奥行き感強調を動画で違和感なく行えるという特徴を有し、ＴＶなどの表示系の画像処理等として有用である。また個人の撮影したムービーや、ＤＶＤ、ビデオ等の後処理として奥行き感を強調するという用途にも応用できる。

本発明の第１実施形態における画像処理装置の全体構成図 本発明の第１実施形態における画像処理装置の動作フロー図 奥行きデータと輪郭補正ゲインデータの関係を示す図 奥行きデータ変換のための説明図 本発明の第１実施形態の変形例における画像処理装置の動作フロー図 ヒストグラムによる奥行きデータ分布平滑化処理についての説明図 本発明の第２実施形態における画像処理装置の全体構成図 本発明の第２実施形態における画像処理装置の動作フロー図 本発明の第２実施形態の変形例における画像処理装置の動作フロー図 ヒストグラムによるゲインデータ分布平滑化処理についての説明図 従来の奥行き感強調回路のブロック図

符号の説明

１００、１００’ 画像処理装置
１ 画像データ入力部
２ 奥行きデータ取得部
３ 奥行きデータ格納部
４ 奥行きデータ分布平滑化部
４１ 奥行きデータ解析部
４２ 奥行きデータ変換部
５ ゲインデータ算出部
６ 輪郭補正部
７ 画像データ出力部
８ 画像データ格納部
９ 画像データ相関検出部
１０ ゲインデータ格納部
１１ ゲインデータ分布平滑化部
１１１ ゲインデータ分析部
１１２ ゲインデータ変換部

Claims (10)

1. 画像データが入力される画像データ入力部と、
   撮影時における撮影部から被撮影対象までの距離を奥行きデータとして、前記被撮影対象に対応する部分の前記画像データに対応させて取得する奥行きデータ取得部と、
   前記奥行きデータの値の分布が平滑化されるように前記奥行きデータの値を変換する奥行きデータ分布平滑化部と、
   前記奥行きデータ分布平滑化部により変換された奥行きデータの値に応じたゲインデータの値を算出するゲインデータ算出部と、
   前記ゲインデータ算出部により算出されたゲインデータの値により前記画像データの輪郭補正を行う輪郭補正部と、
   前記輪郭補正部で輪郭補正された画像データを出力する画像データ出力部と、
   を備える画像処理装置。
2. 少なくとも１つの画像を構成できる単位画像に対応する分量の前記奥行きデータを格納する奥行きデータ格納部と、
   前記単位画像分量の画像データを格納する画像データ格納部と、
   連続する前記単位画像の画像データ間の相関を検出する画像データ相関検出部と、
   をさらに備え、
   前記奥行きデータ分布平滑化部は、前記画像データ相関検出部により、連続する画像データについて相関があると判断された場合、前記奥行きデータ格納部に格納されている１画像単位前の前記奥行きデータの値と前記奥行きデータ取得部で取得されている前記奥行きデータの値とを用いて奥行きデータの値の分布が平滑化されるように前記奥行きデータの値を変換し、前記画像データ相関検出部により、連続する画像データについて相関がないと判断された場合、前記奥行きデータ取得部で取得されている前記奥行きデータの値を用いて奥行きデータの値の分布が平滑化されるように前記奥行きデータの値を変換する、
   請求項１に記載の画像処理装置。
3. 前記奥行きデータ分布平滑化部は、奥行きデータ分析部と、奥行きデータ変換部とを有し、
   前記奥行きデータ分析部は、前記単位画像における奥行きデータの値の最大値と最小値とを取得し、
   前記奥行きデータ変換部は、前記奥行きデータの前記最大値と前記最小値とが、前記ゲインデータ算出部の入力許容範囲内に収まるように前記奥行きデータの値を変換する、
   請求項２に記載の画像処理装置。
4. 前記奥行きデータ分布平滑化部は、奥行きデータ分析部と、奥行きデータ変換部とを有し、
   前記奥行きデータ分析部は、前記単位画像における奥行きデータの値についてのヒストグラムを取得し、
   前記奥行きデータ変換部は、前記ヒストグラムが前記奥行きデータの値について平滑化さされるように前記奥行きデータの値を変換する、
   請求項２又は３に記載の画像処理装置。
5. 前記単位画像は、１フレーム分の画像である、
   請求項２から４のいずれかに記載の画像処理装置。
6. 画像データが入力される画像データ入力部と、
   撮影時における撮影部から被撮影対象までの距離を奥行きデータとして、前記被撮影対象に対応する部分の前記画像データに対応させて取得する奥行きデータ取得部と、
   前記奥行きデータの値に応じたゲインデータの値を算出するゲインデータ算出部と、
   前記ゲインデータの値の分布が平滑化されるように前記ゲインデータの値を変換するゲインデータ分布平滑化部と、
   前記ゲインデータ分布平滑化部により変換されたゲインデータの値により前記画像データの輪郭補正を行う輪郭補正部と、
   前記輪郭補正部で輪郭補正された画像データを出力する画像データ出力部と、
   を備える画像処理装置。
7. 少なくとも１つの画像を構成できる単位画像に対応する分量の前記ゲインデータの値を格納するゲインデータ格納部と、
   前記単位画像分量の画像データを格納する画像データ格納部と、
   連続する前記単位画像の画像データ間の相関を検出する画像データ相関検出部と、
   をさらに備え、
   前記ゲインデータ分布平滑化部は、前記画像データ相関検出部により、連続する画像データについて相関があると判断された場合、前記ゲインデータ格納部に格納されている１画像単位前の前記ゲインデータの値と前記ゲインデータ算出部で算出されている前記ゲインデータの値とを用いてゲインデータの値の分布が平滑化されるように前記ゲインデータの値を変換し、前記画像データ相関検出部により、連続する画像データについて相関がないと判断された場合、前記ゲインデータ算出部で算出されている前記ゲインデータの値を用いてゲインデータの値の分布が平滑化されるように前記ゲインデータの値を変換する、
   請求項６に記載の画像処理装置。
8. 前記ゲインデータ分布平滑化部は、ゲインデータ分析部と、ゲインデータ変換部とを有し、
   前記ゲインデータ分析部は、前記単位画像におけるゲインデータの値の最大値と最小値とを取得し、
   前記ゲインデータ変換部は、前記ゲインデータの前記最大値と前記最小値とが、前記ゲインデータ算出部の出力許容範囲内に収まるように前記ゲインデータの値を変換する、
   請求項７に記載の画像処理装置。
9. 前記ゲインデータ分布平滑化部は、ゲインデータ分析部と、ゲインデータ変換部とを有し、
   前記ゲインデータ分析部は、前記単位画像におけるゲインデータの値についてのヒストグラムを取得し、
   前記ゲインデータ変換部は、前記ヒストグラムが前記ゲインデータの値について平滑化さされるように前記ゲインデータの値を変換する、
   請求項７又は８のいずれかに記載の画像処理装置。
10. 前記単位画像は、１フレーム分の画像である、
    請求項７から９のいずれかに記載の画像処理装置。
    
    

Images