JP2014041425A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】少ない処理量で、高精度に各画素を前景画素および背景画素に区分することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。
【解決手段】実施形態によれば、画像処理装置は、縮小部と、第１のセグメンテーション部と、第２のセグメンテーション部と、スムージング部とを備える。第２のセグメンテーション部は、前記入力画像における画素のそれぞれを、前景画素および背景画素のいずれかに区分する。すなわち、第２のセグメンテーション部は、前記縮小画像における前景画素と背景画素との境界画素と対応する前記入力画像における複数の画素のそれぞれに対してはセグメンテーション処理を行って前景画素および背景画素のいずれかに区分し、前記縮小画像における前記境界画素でない非境界画素と対応する前記入力画像における複数の画素のそれぞれについては前記非境界画素と同じ区分とする。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、画像処理方法および画像処理プログラムに関する。

画像を立体表示するためには、画像における各画素がどの程度表示装置より手前または奥に見えるべきか、という奥行き情報が必要である。奥行き情報を生成する１つの手法として、各画素を前景画素および背景画素のいずれかにセグメンテーションし、セグメンテーション結果を用いて奥行き情報を生成することができる。

しかしながら、一般にセグメンテーション処理は複雑であり、処理量が多くなってしまうという問題がある。

特開２００８−１４６６４７号公報

C. Rother, V. Kolmogorov and A. Blake: "GrabCut - Interactive Foreground Extraction using Iterated Graph Cuts," ACM Trans. Graphics, 23(3), pp.309-314 (2004).

少ない処理量で、高精度に各画素を前景画素および背景画素に区分することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。

実施形態によれば、画像処理装置は、縮小部と、第１のセグメンテーション部と、第２のセグメンテーション部と、スムージング部と、を備える。前記縮小部は、入力画像を縮小して縮小画像を生成する。前記第１のセグメンテーション部は、前記縮小画像に対してセグメンテーション処理を行い、前記縮小画像における各画素を前景画素および背景画素のいずれかに区分する。前記第２のセグメンテーション部は、前記入力画像における画素のそれぞれを、前景画素および背景画素のいずれかに区分する。すなわち、前記第２のセグメンテーション部は、前記縮小画像における前景画素と背景画素との境界画素と対応する前記入力画像における複数の画素のそれぞれに対してはセグメンテーション処理を行って前景画素および背景画素のいずれかに区分し、前記縮小画像における前記境界画素でない非境界画素と対応する前記入力画像における複数の画素のそれぞれについては前記非境界画素と同じ区分とする。前記スムージング部は、前記第２のセグメンテーション部による区分の結果を平滑化する。

第１の実施形態に係る画像処理システムの概略構成を示すブロック図。 図１の縮小部１の処理動作を説明する図。 図１のセグメンテーション部２の処理動作を説明する図。 図１のセグメンテーション部３の処理動作を説明する図。 図１のセグメンテーション部３の処理動作を説明する図。 図１のセグメンテーション部３の処理動作を説明する図。 図１のセグメンテーション部３の処理動作を説明するフローチャート。 セグメンテーション処理の具体的な処理手順を示すフローチャート。 グラフの一例を示す図。

以下、実施形態について、図面を参照しながら具体的に説明する。

図１は、第１の実施形態に係る画像処理システムの概略構成を示すブロック図である。画像処理システムは、画像処理装置１０と、表示部２０とを備えている。画像処理装置１０は入力画像２１を立体表示するための画像処理を行い、表示部２０は入力画像２１を立体表示する。入力画像２１は２次元画像でよく、例えば放送波をチューニングおよびデコードしたものでもよいし、記憶媒体から読み出したものでもよい。

画像処理装置１０は、縮小部１と、セグメンテーション部２，３と、スムージング部４と、奥行き生成部５と、視差画像生成部６とを有する。以下、画像処理装置１０内各部の処理について詳細に説明する。

図２は、図１の縮小部１の処理動作を説明する図である。縮小部１は入力画像２１を縮小して縮小画像２２を生成し、これをセグメンテーション部２に供給する。縮小率は任意であるが、本実施形態では垂直方向および水平方向ともに１／４に縮小する例を示す。この場合、縮小画像２２における１画素は、入力画像２１における１６画素と対応する。縮小の手法は特に問わないが、組み込み機器向け用途等、速度が重要視される場合には最近傍法（nearest neighbor）やバイリニア法（bi-linear）等が望ましい。

続いて、図３は、図１のセグメンテーション部（第１のセグメンテーション部）２の処理動作を説明する図である。セグメンテーション部２は、縮小画像２２に対してセグメンテーション処理を行って、縮小画像２２における各画素を前景画素および背景画素のいずれかに区分し、縮小セグメンテーションマップ２３を生成する。セグメンテーション処理とは、各画素が前景画素であるか背景画素であるかを判断する処理である。

縮小セグメンテーションマップ２３は、縮小画像２２と等しい解像度を有し、縮小画像２２の各画素が前景画素であるか、背景画素であるか、を示す２値化データである。以下では、前景画素を１（ハイ）、背景画素を０（ロウ）で表す。解像度が低い縮小画像２２に対してセグメンテーション処理を行うため、入力画像２１に対してセグメンテーション処理を行うより、画像処理装置１０の処理量を低減できる。図３は、縮小画像２２の中央付近になんらかのオブジェクトがある例を示している。なお、セグメンテーション処理の具体的な手法は特に問わないが、一例を後述する。

続いて、図４〜図６は、図１のセグメンテーション部（第２のセグメンテーション部）３の処理動作を説明する図である。セグメンテーション部３は、入力画像２１における画素のそれぞれを、前景画素および背景画素のいずれかに区分して、仮のセグメンテーションマップ２４を生成する。仮のセグメンテーションマップ２４は、入力画像２１と等しい解像度を有する。以下、図７のフローチャートを用いてより具体的にセグメンテーション部３について説明する。

まず、図４に示すように、セグメンテーション部３は、縮小セグメンテーションマップ２３を用いて、縮小画像２２における前景画素と背景画素との境界画素を検出する（ステップＳ１）。一例として、セグメンテーション部３は、縮小セグメンテーションマップ２３における前景画素であって所定範囲内に背景画素がある画素、あるいは、縮小セグメンテーションマップ２３における背景画素であって所定範囲内に前景画素がある画素を、境界画素とする。そして、境界画素でない画素を非境界画素とする。図４は、図３の縮小セグメンテーションマップ２３を用いて、上述の所定範囲を「斜め方向を含む隣接１画素の範囲」に設定して検出される境界画素および非境界画素を示している。

その後、図５（ａ）に示すように、セグメンテーション部３は、縮小画像２２における境界画素については（ステップＳ１のＹＥＳ）、対応する入力画像２１における画素のそれぞれについてセグメンテーション処理を行う（ステップＳ２）。上述のように、縮小部１により入力画像２１を水平方向および水平方向に１／４に縮小する本実施形態では、縮小画像２２における１画素は、入力画像２１における１６画素と対応する。よって、セグメンテーション部３は、縮小画像２２の境界画素１つにつき、対応する入力画像２１の１６画素のそれぞれが前景画素であるか背景画素であるかを判断する。

一方、図５（ｂ）に示すように、セグメンテーション部３は、縮小画像２２における非境界画素については（ステップＳ１のＮＯ）、対応する入力画像２１における画素のすべてを、当該非境界画素と同じ区分とする（ステップＳ３）。すなわち、セグメンテーション部３は、非境界画素が前景画素であれば対応する入力画像２１における画素のすべてを前景画素に区分し、非境界画素が背景画素であれば対応する入力画像２１における画素のすべてを背景画素に区分する。

このように、縮小画像２２における非境界画素と対応する入力画像２１の各画素については、セグメンテーション処理を行うことなく、一律に当該非境界画素と同じ区分とする。そのため、画像処理装置１０の処理量を低減できる。

以上のようにして、図６に示すような仮のセグメンテーションマップ２４が生成され、スムージング部４に供給される。なお、便宜上図６では解像度を落として描いている。

続いて、図１のスムージング部４は、仮のセグメンテーションマップ２４を平滑化し、セグメンテーションマップ２５を生成する。仮のセグメンテーションマップ２４は、入力画像２１そのものではなく、縮小画像２２を用いて生成されており、細かいノイズが存在する等必ずしも正確に前景画素および背景画素に区分されているとは限らないためである。より具体的には、 スムージング部４は、仮のセグメンテーションマップ２４の画素を１つずつ平滑化対象画素とし、これを前景画素および背景画素のいずれかに設定する。この際、平滑化対象画素の周囲の画素の情報が考慮される。

スムージング部４は、例えば平均値フィルタである。すなわち、スムージング部４は、平滑化対象画素から所定範囲内に、前景画素の方が多く存在する場合には当該平滑化対象画素を前景画素とし、背景画素の方が多く存在する場合には当該平滑化対象画素を背景画素とする。例えば、平滑化対象画素から水平方向および垂直方向とも±３画素を所定範囲とし、合計４９画素内に前景画素および背景画素のいずれが２５画素以上存在するか、に応じて、スムージング部４は平滑化処理を行う。言い換えると、前景画素が１（ハイ）、背景画素が０（ロウ）で表される場合、合計４９画素の平均値が０．５以上であれば当該平滑化対象画素を前景画素とし、平均値が０．５未満であれば当該平滑化対象画素を背景画素とする。

これにより平滑化されたセグメンテーションマップ２５が生成され、奥行き生成部５に供給される。

奥行き生成部５は、セグメンテーションマップ２５に基づいて、入力画像２１における画素のそれぞれに奥行き情報２６を付す。奥行き情報は、表示部２０に表示されたときに、当該画素がどの程度表示部２０より手前または奥に見えるべきかを示す。奥行き情報の生成手法は特に問わない。簡易な手法として、前景画素に対しては、一律に表示部２０より所定量だけ手前に見えるよう奥行き情報を付し、背景画素に対しては、一律に表示部２０より所定量だけ奥に見えるよう奥行き情報を付してもよい。あるいは、前景画素が人物である可能性が高い場合は、予め定めた人物形状のモデルに基づいて奥行き情報を付してもよい。生成された奥行き情報２６は視差画像生成部６に供給される。

視差画像生成部６は、奥行き情報２６を用いて、入力画像２１から複数の視差画像２７を生成する。本実施形態の表示部２０がめがね式の立体映像表示装置に用いられる場合、視差画像生成部６は左目用および右目用の２個の視差画像を生成する。また、裸眼式立体映像表示装置に用いられる場合、視差画像生成部６は、例えば９方向から見た９個の視差画像を生成する。例えば、左の方向から見た視差画像の場合、手前に見えるべき画素は、奥に見えるべき画素より右側にずれて見える。そのため、奥行き情報２６に基づき、視差画像生成部６は入力画像２１における手前にある画素を右側にずらす処理を行う。より手前に見えるべき画素ほどずらす量を大きくする。そして、もともと画素があった場所を周辺の画素を用いて適宜補間する。

このようにして生成された視差画像２７を、表示部２０は立体表示する。例えば、めがね式立体映像表示装置の場合、所定のタイミングで右目用の視差画像と左目用の視差画像を順繰りに表示する。また、裸眼式立体映像表示装置の場合、表示部２０上に例えばレンチキュラレンズ（不図示）が貼り付けられる。そして、表示部２０には複数の視差画像が同時に表示され、視聴者はレンチキュラレンズを介して、ある１つの視差画像を右目で見て、他の１つの視差画像を左目で見る。いずれの場合でも、右目と左目で異なる視差画像を見ることで、映像が立体的に見える。

このように、本実施形態では、縮小画像２２に対してセグメンテーション処理を行うため、処理量を低減できる。また、前景画素と背景画素との境界画素についてのみ入力画像２１に対してセグメンテーション処理を行うとともに平滑化処理を行う。そのため、入力画像２１に対してセグメンテーション処理を行ったのと同等の高精度なセグメンテーション結果を得ることができる。結果として、より高品位な立体表示を行うことができる。

最後に、上記非特許文献１に記載されているセグメンテーション処理の一例を説明する。画像における各画素を前景画素と背景画素の２値に分離するセグメンテーション処理をエネルギー最小化問題と捉え、各画素をノードとするグラフの最小カットアルゴリズムを用いることができる。

縮小画像２２に対してセグメンテーション処理を行うセグメンテーション部２は、縮小画像２２の画素ごとにデータ項エネルギーＵおよび平滑化項エネルギーＶを計算する。データ項エネルギーＵは前景領域色モデルとの類似度と、背景領域色モデルとの類似度との差である。また、平滑化項エネルギーＶは隣接画素との類似度を示す。

なお、前景領域色モデルおよび背景領域色モデルは、予め定めておいてもよいし、入力画像２１あるいは縮小画像２２から自動的に生成してもよい。例えば、画像中に人物がいる場合、顔の色に基づいて前景領域色モデルを生成することができる。

そして、縮小画像２２全体のエネルギーＥを下記（１）式で定義する。
Ｅ＝ΣＵ＋λΣＶ ・・・（１）
ここでΣは全画素について加算することを示し、λは予め定めた重み係数である。そして、エネルギーＥを最小とする最小カットを求めることにより、各画素を前景画素および背景画素のいずれかに区分できる。

なお、セグメンテーション部２は縮小画像２２全体についてセグメンテーション処理を行うため、上記（１）式のようにエネルギーＥを定義する。これに対して、セグメンテーション部３は縮小画像２２の境界画素に対応する画素にのみセグメンテーション処理を行うため、データ項エネルギーＵのみを考慮してもよい。すなわち、セグメンテーション部３は、当該画素が前景領域色モデルに類似していれば前景画素と判断し、背景領域色モデルに類似していれば背景画素と判断してもよい。

より具体的に説明する。縮小画像２２の各画素をノード（頂点）とする有向グラフを考える。各ノードは隣接する周囲８ノード（上下左右のみを考慮して４ノードとしてもよい）とエッジ（枝）で接続されており、エッジには容量Ｖが定義される。また、２つの特別なターミナルノードｓとｔとが存在し、各ノードはｓおよびｔのいずれかとエッジで接続されている。このエッジには容量Ｕが定義され、背景領域色モデルよりも前景領域色モデルとの類似度が高ければｓと、そうでなければｔと接続される。各エッジには定義されている容量以下のフローを流すことができる。エッジに流れるフローが容量と等しい時、そのエッジは飽和していると言う。

ｓおよびｓと接続されたノードの集合をＳ、ｔおよびｔと接続されたノードの集合をＴとする。Ｓに属するノードが前景画素、Ｔに属するノードが背景画素となる。セグメンテーションとはノードをＳまたはＴに二分する（グラフを切断する）ことである。ＳとＴとの境界をまたぐエッジの容量の和が切断に必要なエネルギーであり、これが最小となる切断を見つけることが目的である。ここで、最大フロー・最小カットの定理より、エネルギーが最小となる切断を求めることは、ｓからｔへの最大フローを求めることと同義である。

図８は、セグメンテーション処理の具体的な処理手順を示すフローチャートである。また、図９は、グラフの一例を示す図である。ここで、ＳおよびＴのいずれにも属さないノードをフリーノードと呼ぶ。ＳまたはＴに属するノードのうち、葉ノードをアクティブ（active）、その他のノードをパッシブ（passive）と呼ぶ。

まず、フリーノードをＳおよびＴに取り入れ、各集合を成長させていく（ステップＳ１１）。ＳとＴとが接したとき、すなわち、パスが存在するとき（ステップＳ１２のＹＥＳ）、ステップＳ１１で見つかったパスのフローを、少なくとも１つのエッジが飽和するまで増加させる（ステップＳ１３）。飽和したエッジは切断される。切断の結果孤立ノードが生じた場合、孤立ノードの新たな親ノードを探索し再接続する（ステップＳ１４）。親ノードが見つからなかった場合はフリーとなる。以上の処理を、アクティブノードがなくなるまで（パスが存在しなくなるまで）繰り返すことにより、切断エネルギーが最小となるセグメンテーション結果が得られる。

上述した実施形態で説明した画像処理システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、画像処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 縮小部
２，３ セグメンテーション部
４ スムージング部
５ 奥行き生成部
６ 視差画像生成部
１０ 画像処理装置
２０ 表示部

Claims (13)

1. 入力画像を縮小して縮小画像を生成する縮小部と、
   前記縮小画像に対してセグメンテーション処理を行い、前記縮小画像における各画素を前景画素および背景画素のいずれかに区分する第１のセグメンテーション部と、
   前記入力画像における画素のそれぞれを、前景画素および背景画素のいずれかに区分する第２のセグメンテーション部であって、前記縮小画像における前景画素と背景画素との境界画素と対応する前記入力画像における複数の画素のそれぞれに対してはセグメンテーション処理を行って前景画素および背景画素のいずれかに区分し、前記縮小画像における前記境界画素でない非境界画素と対応する前記入力画像における複数の画素のそれぞれについては前記非境界画素と同じ区分とする、第２のセグメンテーション部と、
   前記第２のセグメンテーション部による区分の結果を平滑化するスムージング部と、を備える画像処理装置。
2. 前記第２のセグメンテーション部は、前記縮小画像における前記非境界画素と対応する前記入力画像における複数の画素のそれぞれについては、セグメンテーション処理を行うことなく、前記非境界画素と同じ区分とする、請求項１に記載の画像処理装置。
3. 前記スムージング部は、平均値フィルタである、請求項１または２に記載の画像処理装置。
4. 前記スムージング部は、前記入力画像における平滑化対象画素から所定範囲内に存在する前景画素の数および背景画素の数に応じて、平滑化を行う、請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記スムージング部は、前記入力画像における平滑化対象画素から所定範囲内にある画素のうち、
   前景画素である画素数より背景画素である画素数が多い場合は、前記平滑化対象画素を背景画素とし、
   背景画素である画素数より前景画素である画素数が多い場合は、前記平滑化対象画素を前景画素とする、請求項４に記載の画像処理装置。
6. 前記第２のセグメンテーション部は、前記縮小画像における画素であって、当該画素と区分が異なる画素が所定範囲内に存在する場合に、当該画素を前景画素と背景画素との境界画素とする、請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記第１のセグメンテーション部は、前記縮小画像における各画素と前景領域色モデルとの類似度、当該画素と背景領域色モデルとの類似度、および、隣接する画素との類似度に基づいて、セグメンテーション処理を行う、請求項１乃至６のいずれかに記載の画像処理装置。
8. 前記第２のセグメンテーション部は、前記縮小画像における前景画素と背景画素との境界画素と対応する前記入力画像における複数の画素のそれぞれに対して、当該画素と前景領域色モデルとの類似度、および、当該画素と背景領域色モデルとの類似度に基づいて、セグメンテーション処理を行う、請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記スムージング部の出力に基づいて、前記入力画像における画素のそれぞれに奥行き情報を付す奥行き生成部を備える、請求項１乃至８に記載の画像処理装置。
10. 前記奥行き情報を用いて、前記入力画像を立体表示するための複数の視差画像を生成する視差画像生成部を備える、請求項９に記載の画像処理装置。
11. 前記複数の視差画像を表示する表示部を備える、請求項１０に記載の画像処理装置。
12. 入力画像を縮小して縮小画像を生成する縮小ステップと、
    前記縮小画像に対してセグメンテーション処理を行い、前記縮小画像における各画素を前景画素および背景画素のいずれかに区分する第１のセグメンテーションステップと、
    前記入力画像における画素のそれぞれを、前景画素および背景画素のいずれかに区分する第２のセグメンテーションステップであって、前記縮小画像における前景画素と背景画素との境界画素と対応する前記入力画像における複数の画素のそれぞれに対してはセグメンテーション処理を行って前景画素および背景画素のいずれかに区分し、前記縮小画像における前記境界画素でない非境界画素と対応する前記入力画像における複数の画素のそれぞれについては前記非境界画素と同じ区分とする、第２のセグメンテーションステップと、
    前記第２のセグメンテーションステップによる区分の結果を平滑化するスムージング部と、を備える画像処理方法。
13. 入力画像を縮小して縮小画像を生成する縮小ステップと、
    前記縮小画像に対してセグメンテーション処理を行い、前記縮小画像における各画素を前景画素および背景画素のいずれかに区分する第１のセグメンテーションステップと、
    前記入力画像における画素のそれぞれを、前景画素および背景画素のいずれかに区分する第２のセグメンテーションステップであって、前記縮小画像における前景画素と背景画素との境界画素と対応する前記入力画像における複数の画素のそれぞれに対してはセグメンテーション処理を行って前景画素および背景画素のいずれかに区分し、前記縮小画像における前記境界画素でない非境界画素と対応する前記入力画像における複数の画素のそれぞれについては前記非境界画素と同じ区分とする、第２のセグメンテーションステップと、
    前記第２のセグメンテーションステップによる区分の結果を平滑化するスムージング部と、をコンピュータに実行させる画像処理プログラム。