JP2018019326A - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

Abstract

【課題】撮影画像の一部のチャンネルを低解像度で取り扱うことが可能なマップ整形処理を実行できる画像処理装置を提供する。【解決手段】被写体の評価値分布に関連する情報を基に評価値マップを生成する距離マップ生成部と、解像度が異なる複数のチャンネルを有する被写体に係る画像が格納される遅延部と、遅延部から出力される画像に応じてフィルタ係数を変化させ、距離マップ生成部により生成された評価値マップにフィルタ処理を施し評価値マップを整形する距離マップ整形部とを有し、距離マップ整形部は、第１のチャンネルと第２のチャンネルの解像度比に応じて画像の参照範囲を設定する。【選択図】図２

Description

本発明は、画像処理装置、撮像装置、及び画像処理方法に関する。

撮影画像に係る距離マップの被写体輪郭を、撮影画像を用いて正しい輪郭に合わせる、距離マップ整形処理が知られている。例えば、特許文献１には、低解像度の距離マップと高解像度の撮影画像を用いてジョイントバイラテラルアップサンプリングを実行し高解像度の距離マップを生成する手法が開示されている。特許文献１に記載の手法を用いると、高解像度の撮影画像の被写体輪郭情報を用いて距離マップの被写体輪郭を鮮明にして、輪郭が正しく合った高解像度の距離マップを生成することができる。

ジョイントバイラテラルアップサンプリングはアップサンプリング率が高くなるとフィルタ範囲が広がるが、任意サイズのフィルタ範囲のフィルタリングを実現する手法については一般によく知られている手法を用いればよい。例えば、特許文献２には、有限なフィルタ範囲を持つ空間フィルタを用いて、任意サイズを持つフィルタ範囲のフィルタリングを実現する手法が開示されている。

特開２０１４−１５０５２１号公報 特開２００４−１４５６１５号公報

しかしながら、前述の特許文献に開示された手法においては、撮影画像のすべてのチャンネルを高解像度で取り扱う必要があり、回路規模が増大してしまう。また、フィルタリングの対象範囲を複数のサブフィルタ範囲に分割して処理を行う場合、サブフィルタの信号読み出し画素開始位置が奇数になる場合がある。その場合、例えば、撮影画像がＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式のＹＵＶ画像であると、ＵチャンネルとＶチャンネルとの位相関係（画素の対応関係）が崩れてしまい、フィルタ処理が破たんしてしまう。本発明の目的は、撮影画像の一部のチャンネルを低解像度で取り扱うことが可能なマップ整形処理を実行できる画像処理装置を提供することである。

本発明に係る画像処理装置は、被写体の評価値分布に関連する情報を画像信号から取得して評価値マップを生成する生成手段と、第１のチャンネルと前記第１のチャンネルよりも低い解像度の第２のチャンネルとを少なくとも有する、前記被写体に係る画像が格納される遅延手段と、前記遅延手段から出力される前記画像に応じてフィルタ係数を変化させ、前記生成手段により生成された前記評価値マップにフィルタ処理を施し前記評価値マップを整形する整形手段とを有し、前記整形手段は、前記第１のチャンネルと前記第２のチャンネルの解像度比に応じて前記画像の参照範囲を設定することを特徴とする。

本発明によれば、撮影画像の一部のチャンネルを低解像度で取り扱うことが可能なマップ整形処理を提供することができる。

本発明の実施形態における撮像装置の構成例を示す図である。 本実施形態における画像処理部の構成例を示す図である。 本実施形態における距離マップ整形部の動作を説明する図である。 本実施形態におけるＹＵＶ画像の例を示す図である。 本実施形態における遅延部に格納された画像データの例を示す図である。 本実施形態における補間部の動作を説明する図である。 本実施形態における距離マップ整形部の動作を説明する図である。 本実施形態における被写体抽出マップを説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。以下では、本発明の実施形態における画像処理装置を有するデジタルカメラやビデオカメラ等の撮像装置を一例として説明するが、これに限定されるものではない。本発明は、デジタルカメラやビデオカメラ等の撮像装置に限らず、例えば、スマートフォンやタブレット等の各種携帯機器や、工業用カメラ、車載用カメラ、医療用カメラ等にも適用可能である。

図１は、本発明の一実施形態における撮像装置１００の構成例を示すブロック図である。制御部１０１は、例えばＣＰＵ（Central Processing Unit）である。制御部１０１は、撮像装置１００が有する各ブロック（機能部）の動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより、撮像装置１００が有する各ブロックの動作を制御する。

ＲＯＭ（Read Only Memory）１０２は、不揮発性メモリであり、例えば撮像装置１００が有する各ブロックの動作プログラムを記憶する。また、ＲＯＭ１０２は、撮像装置１００が有する各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ（Random Access Memory）１０３は、書き換え可能な揮発性メモリであり、例えば撮像装置１００が有する各ブロックの動作において出力されたデータ等の一時的な記憶領域として用いられる。

光学系１０４は、レンズ等で構成された光学系である。撮像部１０５は、ＣＭＯＳセンサ等の撮像素子を有し、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をアナログ／デジタル変換部（Ａ／Ｄ変換部）１０６に出力する。アナログ画像信号は、光学系１０４の射出瞳上の異なる領域を通過する光束をそれぞれ受光することで得られる一対の画像信号として出力される。

Ａ／Ｄ変換部１０６は、入力されるアナログ画像信号にアナログデジタル変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。画像処理部１０７は、デジタル画像データに係る各種画像処理を行う。画像処理部１０７は、例えばデジタル画像データから被写体の距離分布に関連する情報を取得して距離マップを生成する。また、画像処理部１０７は、マップ整形処理を行い、生成された距離マップを整形する。記録媒体１０８は、着脱可能なメモリカード等であり、例えばＲＡＭ１０３に記憶されている、画像処理部１０７で処理された動画やＡ／Ｄ変換部１０６でアナログデジタル変換された動画等が記録動画として記録される。

図２は、本実施形態における画像処理部１０７の構成例を示す図である。なお、図２においては、画像処理部１０７における距離マップの生成処理及び整形処理に係る構成を図示している。図２（Ａ）において、距離マップ生成部２０１は、ＲＡＭ１０３から読み出された、撮像部１０５で取得された一対の画像信号２０８、２０９から被写体の距離分布に関連する情報を取得して距離マップを生成する。また、距離マップ生成部２０１は、入力される一対の画像信号２０８、２０９に基づいて生成した距離マップ２１２をＲＡＭ１０３に書き出す。

距離マップ生成部２０１での距離マップの生成手法については公知の手法を用いればよい。例えば、特開２００８−１５７５４号公報には、光学系の射出瞳上の異なる領域を通過する光束をそれぞれ受光することで得られる一対の画像信号から距離マップを生成する技術が開示されている。本実施形態においては、光学系の射出瞳上の異なる領域を通過する光束をそれぞれ受光することで得られる一対の画像信号２０８、２０９から距離マップを生成するが、これに限定されるものではない。被写体の距離分布に関連する情報を、例えばＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式で取得し距離マップを生成するようにしてもよい。

画像加算部２０２は、一対の画像信号２０８、２０９を加算して、光学系の射出瞳上の全領域を通過する光束を受光することで得られる画像信号をデジタル的に再構成する。現像部２０３は、画像加算部２０２で再構成されたＲＡＷ画像からＹＵＶ画像を生成する。本実施形態において、現像部２０３は、ＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式のＹＵＶ画像を生成する。また、現像部２０３は、生成したＹＵＶ画像２１３をＲＡＭ１０３に書き出す。

図２（Ｂ）において、ＲＡＭ１０３から読み出されたＵＹＶＹ形式のＹＵＶ画像２１０は、距離マップ整形部２０７でのフィルタ処理のタップ数に応じた遅延ラインを有する遅延部２０５に格納された後に補間部２０６に入力される。補間部２０６は、ＵＹＶＹ形式のＹＵＶ画像のＵチャンネル及びＶチャンネルを２倍にアップサンプリングする。

距離マップ整形部２０７は、補間部２０６によってＵチャンネル及びＶチャンネルが補間されたＹＵＶ画像と、ＲＡＭ１０３から読み出した、距離マップ生成部２０１で生成された距離マップ２１１を用いてマップ整形処理を行い、距離マップを整形する。また、距離マップ整形部２０７は、整形した距離マップ２１４をＲＡＭ１０３に書き出す。

距離マップ整形部２０７は、補間部２０６によってＵチャンネル及びＶチャンネルが補間された画像を参照しながら画像に応じてフィルタ係数を変化させ、距離マップ生成部２０１で生成された距離マップ２１１にジョイントバイラテラルフィルタ処理を施す。ジョイントバイラテラルフィルタ処理は、特許文献１に開示されており、着目画素位置ｐのフィルタ結果Ｊｐは、以下の式（１）で表される。
Ｊｐ＝（１／Ｋｐ）ΣＩ１ｑ・ｆ（｜ｐ−ｑ｜）・ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）…（１）

ここで式（１）において、Σはｑ∈Ω範囲の積算を示し、Ωは着目画素位置ｐを中心とする積算対象領域である。Ｉ１ｑは周辺画素位置ｑの距離マップ画素値であり、ｆは着目画素位置ｐを中心とするガウシアン関数であり、ｇは着目画素位置ｐの画像画素値Ｉ２ｐを中心とするガウシアン関数である。Ｋｐは正規化係数であり、ｆ・ｇ重みの積算値である。着目画素位置ｐの画像画素値Ｉ２ｐと周辺画素位置ｑの画像画素値Ｉ２ｑの差が小さい、つまり画像において着目画素と周辺画素との画素値が近いと、その周辺画素のｆ・ｇ重み（平滑化の重み）は大きくなる。このように着目画素位置ｐの画像画素値Ｉ２ｐと周辺画素位置ｑの画像画素値Ｉ２ｑの一致度を判定して一致度の高い周辺画素について平滑化の重みを大きくする。

図３は、距離マップ整形部２０７のフィルタ積算対象領域Ωを説明するための図である。図３において、３１１は画像の全領域であり、３１３は距離マップ整形部２０７が距離マップを出力する領域である。３１４は整形距離マップの開始位置であり、３１０は画素位置３１４の整形距離マップ値を計算するときのフィルタ積算対象領域Ωであり、３０１〜３０９はサブフィルタが画像を参照する領域である。

すなわち、本例において、メインフィルタのフィルタサイズは１５画素×１５画素であり、サブフィルタのサイズは６画素×６画素である。９個のサブフィルタ結果を加算することで、メインフィルタ結果を計算する。図示の例では、サブフィルタ３０１〜３０９でのフィルタ処理結果を加算することでメインフィルタ３１０の処理結果である画素位置３１４の整形距離マップ値が計算される。メインフィルタの参照領域３１０の外側は参照不要なので、対応する各サブフィルタの係数はゼロに設定される。

ここで、１５画素×１５画素のフィルタサイズでのフィルタ処理を実現する場合、通常、遅延部２０５には１４ライン分の遅延ラインが必要になる。しかし、本実施形態では、このように複数のサブフィルタ範囲に分割することでフィルタサイズをサブフィルタの６画素×６画素に抑えることができ、遅延部２０５が有する遅延ラインも５ライン分に削減することができ、回路規模を削減することができる。

各サブフィルタのサイズを５画素×５画素としても、１５画素×１５画素サイズのメインフィルタを実現可能であるが、その場合にはサブフィルタ３０２、３０５、３０８の水平画素開始位置が奇数の５になる。サブフィルタの水平画素開始位置が奇数である場合、画像がＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式のＹＵＶ画像であると、ＵチャンネルとＶチャンネルの位相関係が崩れてしまい、フィルタ処理が破たんしてしまう。

本実施形態では、各サブフィルタのサイズが６画素×６画素であるので、サブフィルタ３０２、３０５、３０８の水平画素開始位置は偶数の６になる。このように、画像のＵチャンネル及びＶチャンネルの水平ダウンサンプリング率が（１／２）であるのに対して、サブフィルタの水平サイズを２の倍数（偶数）に設定している。これにより、ＵチャンネルとＶチャンネルの位相関係が崩れることなく、正しいフィルタ処理を施すことができる。

図４は、図３の画像の、９ライン目の画像データを示す図である。図４に示すように、ＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式のＹＵＶ画像である。図５は、図４に示した画像データがＲＡＭ１０３から読み出されて遅延部２０５に格納された後の画像データを示す図である。画像データ５０１は、図３に示したサブフィルタ３０４に対応しており、画像データ５０２は図３に示したサブフィルタ３０５に対応している。

図６は、図５に示した画像データが補間部２０６で補間された後の画像データを示す図である。画像データ６０１は図５に示した画像データ５０１を補間処理した後の画像データを示しており、画像データ６０２は図５に示した画像データ５０２を補間処理した後の画像データを示している。画像データ６０１、６０２におけるデータＵ０＿２及びデータＵ６＿８は、左右のＵ画素から画素補間した結果である。例えば、データＵ０＿２は、画素Ｕ０の画素値と画素Ｕ２の画素値との平均（＝（Ｕ０＋Ｕ２）／２）である。同様に、画像データ６０１、６０２におけるデータＶ０＿２、Ｖ６＿８は、左右のＶ画素から画素補間した結果である。例えば、データＶ０＿２は、画素Ｖ０の画素値と画素Ｖ２の画素値との平均（＝（Ｖ０＋Ｖ２）／２）である。

このようにすることで、遅延部２０５が有する遅延ラインをＹＵＶのサンプル比が４：２：２であるＵＹＶＹ形式に対応する構成としても、距離マップ整形部２０７にはＹＵＶのサンプル比が４：４：４であるＩＹＵ２形式のＹＵＶ画像を入力することができる。前述した式（１）のｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）の値を計算するためにはＹＵＶのサンプル比が４：４：４である必要があるが、図２に示したような構成にすることで、この演算を正しく行うことができる。これにより、本実施形態によれば、ＹＵＶ画像におけるＵチャンネル及びＶチャンネルを低解像度で取り扱っても適切にマップ整形処理を実行することができ、距離マップの輪郭精度を向上させることができる。

本実施形態において、遅延部２０５が有する遅延ラインは、ＹＵＶ各チャンネルのサンプル比が４：２：２であるＵＹＶＹ形式に対応する構成としているが、本発明はこれに限定されるものではない。例えばＹＵＶ各チャンネルのサンプル比が４：１：１であるＩＹＵ１形式のような形式にも対応可能である。その場合、距離マップ整形部２０７のフィルタ積算対象領域Ωは、図７に示すようになる。

図７は、画像がＩＹＵ１形式のＹＵＶ画像であるときの距離マップ整形部２０７のフィルタ積算対象領域Ωを説明するための図である。図７において、７１４は画像の全領域であり、７１５は距離マップ整形部２０７が距離マップを出力する領域である。７１６は整形距離マップの開始位置であり、７１３は画素位置７１６の整形距離マップ値を計算するときのフィルタ積算対象領域Ωであり、７０１〜７１２はサブフィルタが画像を参照する領域である。

すなわち、図７に示す例では、メインフィルタのフィルタサイズは１５画素×１５画素であり、サブフィルタのサイズは４画素×６画素である。１２個のサブフィルタ結果を加算することで、メインフィルタ結果を計算する。図示の例では、サブフィルタ７０１〜７１２でのフィルタ処理結果を加算することでメインフィルタ７１３の処理結果である画素位置７１６の整形距離マップ値が計算される。メインフィルタ参照領域７１３の外側は参照不要なので、対応する各サブフィルタの係数はゼロに設定される。

このように、Ｕチャンネル及びＶチャンネルの水平ダウンサンプリング率が（１／４）であるのに対して、サブフィルタの水平サイズを４の倍数に設定している。これにより、ＵチャンネルとＶチャンネルの位相関係が崩れることなく、正しいフィルタ処理を施すことができる。つまり、本実施形態では、ＹチャンネルとＵチャンネル及びＶチャンネルとの解像度比がＮ（Ｎは２以上の整数）である場合、サブフィルタの水平サイズ（参照範囲の画素数）をＮの倍数に設定する。これにより、ＹＵＶ画像におけるＵチャンネル及びＶチャンネルを低解像度で取り扱ってもＵチャンネルとＶチャンネルの位相が崩れることなく、適切にマップ整形処理を実行することができる。

また、前述した説明では、マップ整形処理の対象として被写体に係る距離情報を評価値とする距離マップを一例に説明したが、本発明はこれに限定されるものではなく、被写体の評価値分布に関連する情報を取得して生成した評価値マップに適応可能である。例えば、被写体に係る領域分割情報を評価値とする被写体抽出マップのような評価値マップでもよい。

図８は、被写体抽出マップを説明するための図である。図８（Ａ）において、８０１は画像であり、８０３は被写体である。被写体抽出マップは、例えばユーザーがタッチパネル操作で領域８０４のように領域指定することで作成され、図８（Ｂ）に示すような２値マップの形式で被写体抽出マップ８０２が作成される。この被写体抽出マップ８０２に対して、画像８０１を参照しながら前述した距離マップの整形処理と同等の処理を施すことで、被写体抽出マップ８０２の輪郭精度を向上させることができる。

本実施形態によれば、サブフィルタでのフィルタ処理において読み出すＹＵＶのサンプル比が４：２：２であるＵＹＶＹ形式でのＵＶ位相を常に正しく保つことができる。すなわち、サブフィルタでのフィルタ処理において読み出すＹＵＶ画像のＵチャンネルとＶチャンネルとの位相関係は崩れず、Ｕチャンネルから開始されるようにすることができる。このようにすることで、遅延部２０５における遅延ラインをＵチャンネル及びＶチャンネルを間引いた構成とすることができ、遅延部２０５が有する遅延ラインの回路規模を削減することができる。また、遅延部２０５から出力された後にＵチャンネル及びＶチャンネルを補間したＹＵＶ画像を距離マップ整形部２０７に供給するので、距離マップ整形部２０７はマップ整形処理を適切に実行することが可能である。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像装置 １０１：制御部 １０５：撮像部 １０７：画像処理部 ２０１：距離マップ生成部 ２０２：画像加算部 ２０３：現像部 ２０５：遅延部 ２０６：補間部 ２０７：距離マップ整形部

Claims (10)

1. 被写体の評価値分布に関連する情報を画像信号から取得して評価値マップを生成する生成手段と、
   第１のチャンネルと前記第１のチャンネルよりも低い解像度の第２のチャンネルとを少なくとも有する、前記被写体に係る画像が格納される遅延手段と、
   前記遅延手段から出力される前記画像に応じてフィルタ係数を変化させ、前記生成手段により生成された前記評価値マップにフィルタ処理を施し前記評価値マップを整形する整形手段とを有し、
   前記整形手段は、前記第１のチャンネルと前記第２のチャンネルの解像度比に応じて前記画像の参照範囲を設定することを特徴とする画像処理装置。
2. 前記整形手段は、前記第１のチャンネルと前記第２のチャンネルの解像度比がＮ（Ｎは２以上の整数）である場合、前記画像の参照範囲の画素数をＮの倍数に設定することを特徴とする請求項１記載の画像処理装置。
3. 前記遅延手段から出力される前記画像の前記第２のチャンネルを補間する補間手段を有し、
   前記整形手段は、前記補間手段により前記第２のチャンネルが補間された前記画像に応じてフィルタ係数を変化させることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記整形手段は、前記評価値マップの着目画素に対する周辺画素の値を平滑化し、前記画像の着目画素と周辺画素との画素値の一致度を判定して一致度の高い周辺画素について平滑化の重みを大きくすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記整形手段は、対象領域を複数に分割してフィルタ処理を行い、複数のフィルタ処理結果を加算して前記対象領域の処理結果を得ることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記評価値マップの評価値は、前記被写体に係る距離情報であることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記評価値マップの評価値は、前記被写体に係る領域分割情報であることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
8. 請求項１〜７の何れか１項に記載の画像処理装置と、
   前記被写体の光学像を光電変換し前記被写体に係る画像を出力する撮像手段とを有する撮像装置。
9. 被写体の評価値分布に関連する情報を画像信号から取得して評価値マップを生成する生成工程と、
   第１のチャンネルと前記第１のチャンネルよりも低い解像度の第２のチャンネルとを少なくとも有する、前記被写体に係る画像を遅延手段に格納する格納工程と、
   前記遅延手段から出力される前記画像に応じてフィルタ係数を変化させ、前記生成工程で生成された前記評価値マップにフィルタ処理を施し前記評価値マップを整形する整形工程とを有し、
   前記整形工程では、前記第１のチャンネルと前記第２のチャンネルの解像度比に応じて前記画像の参照範囲を設定することを特徴とする画像処理方法。
10. 被写体の評価値分布に関連する情報を画像信号から取得して評価値マップを生成する生成ステップと、
    第１のチャンネルと前記第１のチャンネルよりも低い解像度の第２のチャンネルとを少なくとも有する、前記被写体に係る画像を遅延手段に格納する格納ステップと、
    前記遅延手段から出力される前記画像に応じてフィルタ係数を変化させ、前記生成ステップで生成された前記評価値マップにフィルタ処理を施し前記評価値マップを整形する整形ステップとをコンピュータに実行させ、
    かつ前記整形ステップでは、前記第１のチャンネルと前記第２のチャンネルの解像度比に応じて前記画像の参照範囲を設定することを特徴とするプログラム。

Images