JP2013246460A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】画像において、１回の処理で適切な絵画感を得ることができるようにする。
【解決手段】ベクトル検出部は、入力画像からフローベクトルの検出を行い、各画素に対してのベクトルMapを生成する。ベクトルコヒーレンシ演算部は、ベクトル検出部からのベクトルMapに基づいて、ベクトルのコヒーレンシを解析し、各画素に対してのベクトルコヒーレンシMapを生成する。変形特性演算部は、ベクトル検出部からのベクトルMapと、ベクトルコヒーレンシ演算部からのベクトルコヒーレンシMapとを用いて、絵画調変換部で用いられるフィルタのタップ形状を変形する変形特性を演算する。本開示は、例えば、入力画像を絵画調の画像に変換する画像処理装置に適用することができる。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、画像における局所的な絵画調効果を１回の処理で得ることができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

従来、画像データのノイズを除去する目的から、画像データにLPF(Low-pass filter)処理を施すことがよく知られている。しかしながら、近年、画像処理のニーズも多様化し、よりコントラストを強調するためにバイラテラルフィルタに代表されるエッジを保存するような特殊なLPFも開発され、それを応用した絵画調フィルタなどが開発されている。

絵画調フィルタとは入力された画像を基に、絵画風に変換された出力画像を得る手法であり、このような手法は、Non Photorealistic Rendering(NPR)と呼ばれている。NPR手法としえは、バイラテラルフィルタやkuwaharaフィルタを利用してエッジを保存しつつ平滑化することで水彩画のような風合いを持った画像を得る手法や、筆のストロークに似たパターンを画像に与えることで、油彩画のような風合いを持った画像を得る手法が知られている。

例えば、特許文献１においては、入力画像に対して、ある楕円領域をその中央の画素値で置き換える処理を繰り返すことで、筆のストロークに似たパターンを生成し、油彩画風の出力画像を得るアルゴリズムが記載されている。なお、この手法においては、生成されるストロークの風合いが単調なため、実現できる画風の種類が少なかった。

一方、非特許文献１においては、出力画像にブラシのパターン画像を繰り返し描画していき、入力画像と出力画像の間の２乗誤差を小さくしていくことで、油彩画風の出力画像を得るアルゴリズムが提案されている。この手法では、描画するブラシの形状を変更することで、出力画像の画風を変更することが可能である。例えば、円形のブラシを用いることにより、点描風の出力画像を得ることができ、自由な軌跡のブラシパターン（Curved Brush Stroke）を用いることにより、印象派風の出力画像を得ることができる。

なお、筆触調整するものとしては、特許文献２に記載のように、画像の距離に応じて筆の大きさを変化させたり、特許文献３に記載のように、主要被写体の面積に応じて筆の大きさを変化させたりする手法も提案されている。

特開平８−４４８６７号公報 特開２０１１−１６０３０６号公報 特開２０１１−１６６２１７号公報

A. Hertzmann, "Painterly Rendering with Curved Brush Strokes of Multiple Sizes," Proc. Sgigraph 98, ACM Press, 1998, pp.453-460

しかしながら、特許文献１に記載の提案および非特許文献１に記載の提案の場合、望ましい出力画像を得るまでに繰り返しブラシの描画を行う必要があった。例えば、ある画素の出力値を決めるまでに、何度も値を更新する必要があった。

このため、特許文献１に記載の提案および非特許文献１に記載の提案においては、望ましい出力画像を得るまでに、処理時間が長くかかっていた。

特許文献２および３に記載の提案は、特許文献１および非特許文献１と比して処理時間のかからない手法であるが、これらの手法では、絵画に適した筆触をコントロールすることが難しかった。

本開示は、このような状況に鑑みてなされたものであり、画像において、１回の処理で適切な絵画感を得ることができるものである。

本開示の一側面の画像処理装置は、入力画像における各画素のフローベクトルを検出するベクトル検出部と、前記ベクトル検出部により検出されたフローベクトルに基づいて、ベクトルコヒーレンシを算出するベクトルコヒーレンシ算出部と、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記各画素に用いるフィルタのタップ形状を変形する変形特性を演算する変形特性演算部と、前記変形特性演算部より演算された変形特性に基づいて、前記入力画像を変換する絵画調変換部とを備える。

前記変形特性演算部は、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記フィルタのタップサイズを求めるブラシサイズ選択演算部と、前記ベクトル検出部により検出されたフローベクトルと、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシとを用いて、前記フィルタのタップ長さを求めるストローク選択演算部と、前記ブラシサイズ選択演算部により求められたタップサイズと、前記ストローク選択演算部により求められたタップ長さとに基づいて、前記変形特性を生成する変形特性生成部とを備えることができる。

前記ブラシサイズ選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップサイズを求め、前記ストローク選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップ長さを求めることができる。

前記変形特性演算部は、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記フィルタのタップサイズを求めるブラシサイズ選択演算部と、前記ブラシサイズ選択演算部により求められたタップサイズに基づいて、前記変形特性を生成する変形特性生成部とを備えることができる。

前記ブラシサイズ選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップサイズを求めることができる。

前記変形特性演算部は、前記ベクトル検出部により検出されたフローベクトルと、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシとを用いて、前記フィルタのタップ長さを求めるストローク選択演算部と、前記ストローク選択演算部により求められたタップ長さに基づいて、前記変形特性を生成する変形特性生成部とを備えることができる。

前記ストローク選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップ長さを求めることができる。

前記ベクトル検出部は、前記入力画像における各画素のフローベクトルの方向を検出し、前記ベクトルコヒーレンシ算出部は、前記ベクトル検出部により検出されたフローベクトルの方向に基づいて、ベクトルの方向のコヒーレンシを算出することができる。

前記ベクトル検出部は、前記入力画像における各画素のフローベクトルの方向および大きさを検出し、前記ベクトルコヒーレンシ算出部は、前記ベクトル検出部により検出されたフローベクトルの方向および大きさに基づいて、ベクトルの方向および大きさのコヒーレンシを算出することができる。

本開示の一側面の画像処理方法は、画像処理装置が、入力画像における各画素のフローベクトルを検出し、検出されたフローベクトルに基づいて、ベクトルコヒーレンシを算出し、少なくとも、算出されたベクトルコヒーレンシを用いて、前記各画素に用いるフィルタのタップ形状を変形する変形特性を演算し、演算された変形特性に基づいて、前記入力画像を変換する。

本開示の一側面のプログラムは、入力画像における各画素のフローベクトルを検出するベクトル検出部と、前記ベクトル検出部により検出されたフローベクトルに基づいて、ベクトルコヒーレンシを算出するベクトルコヒーレンシ算出部と、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記各画素に用いるフィルタのタップ形状を変形する変形特性を演算する変形特性演算部と、前記変形特性演算部より演算された変形特性に基づいて、前記入力画像を変換する絵画調変換部としてコンピュータを機能させる。

本開示の一側面においては、入力画像における各画素のフローベクトルが検出され、検出されたフローベクトルに基づいて、ベクトルコヒーレンシが算出され、少なくとも、算出されたベクトルコヒーレンシを用いて、前記各画素に用いるフィルタのタップ形状を変形する変形特性が演算される。そして、演算された変形特性に基づいて、前記入力画像が変換される。

本開示によれば、画像を絵画調に変換させることができる。特に、画像において、１回の処理で適切な絵画感を得ることができる。

本技術を適用した画像処理装置の構成例を示すブロック図である。 ベクトル方向Mapの例を示す図である。 ベクトル方向コヒーレンシMapの例を示す図である。 ベクトル方向コヒーレンシの求め方を説明する図である。 変形特性演算部の構成例を示すブロック図である。 ブラシストローク調整LUTとブラシサイズ調整LUTの例を示す図である。 ブラシストローク調整LUTとブラシサイズ調整LUTの例を示す図である。 ブラシストローク調整LUTとブラシサイズ調整LUTの例を示す図である。 ブラシサイズについて説明する図である。 筆触ストロークの長さについて説明する図である。 画像処理を説明するフローチャートである。 変形特性演算処理について説明するフローチャートである。 本技術を適用した画像処理装置の他の構成例を示すブロック図である。 変形特性演算処理について説明するフローチャートである。 本技術を適用した画像処理装置のさらに他の構成例を示すブロック図である。 変形特性演算処理について説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（コンピュータ）

＜１．第１の実施の形態（画像処理装置）＞
[画像処理装置の構成]
図１は、本技術を適用した画像処理装置の構成例を示す図である。

図１の画像処理装置１００は、入力画像を基に、入力画像を絵画調の画像に変換する処理を行う。

図１の例においては、画像処理装置１００は、ベクトル検出部１１１、ベクトルコヒーレンシ演算部１１２、変形特性演算部１１３、および絵画調変換部１１４を含むように構成されている。

前段からの入力画像（実画像）は、ベクトル検出部１１１および絵画調変換部１１４に入力される。なお、ベクトル検出部１１１には、入力画像の縮小画像が入力されてもよい。ベクトル検出部１１１および絵画調変換部１１４に、入力画像の縮小画像が入力されてもよい。ただし、後者の場合、絵画調変換部１１４から画像が出力される際に、拡大処理が行われる。

ベクトル検出部１１１は、入力画像から各画素に対してのフローベクトルの検出を行い、各画素に対してのフローベクトルの集合であるベクトルMapを生成する。ベクトル検出部１１１は、生成したベクトルMapを、ベクトルコヒーレンシ演算部１１２および変形特性演算部１１３に出力する。

ベクトルコヒーレンシ演算部１１２は、ベクトル検出部１１１からのベクトルMap、すなわち、各画素に対してのフローベクトルの集合に基づいて、各画素に対するベクトルのコヒーレンシ（一様性）を解析し、各画素に対してのコヒーレンシのベクトルコヒーレンシMapを生成する。ベクトルコヒーレンシ演算部１１２は、生成したベクトルコヒーレンシMapを、変形特性演算部１１３に出力する。

変形特性演算部１１３は、ベクトル検出部１１１からのベクトルMapと、ベクトルコヒーレンシ演算部１１２からのベクトルコヒーレンシMapとを用いて、絵画調変換部１１４で用いられるフィルタの各画素に対応するタップ形状を変形する変形特性を演算する。変形特性演算部１１３は、演算された各画素に対応する変形特性の集合である変形特性Mapを生成し、生成された変形特性Mapを、絵画調変換部１１４に出力する。

絵画調変換部１１４は、入力画像に対して、変形特性演算部１１３からの変形特性Mapに基づいて絵画調変換を行い、絵画調変換後の画像を、出力画像として後段に出力する。

［フローベクトル検出部の動作］
まず、図２を参照して、ベクトル検出部１１１によるフローベクトルの検出について説明する。

ベクトル検出部１１１においては、入力画像の全画素に対してフローベクトル方向を検出する。図２の例においては、入力画像１３１における検出エリア１３２の各画素に対して、フローベクトル方向を検出した場合のベクトル方向Map１３３の出力例が示されている。入力画像１３１においては、滝が岩にあたり水しぶきがあたっているあたりが、検出エリア１３２として、フローベクトル方向が検出されている。なお、このとき検出されるベクトル方向は、０乃至１８０度である。

また、図２の例においては、ベクトル方向のみが検出される場合の例が示されている。これに対して、ベクトルコヒーレンシ演算部１１２がベクトルの方向および大きさを用いる場合には、ベクトル方向および大きさ（力）が検出され、ベクトルコヒーレンシ演算部１１２に出力される。

［ベクトルコヒーレンシ演算部の動作］
次に、図３を参照して、ベクトルコヒーレンシ演算部１１２によるベクトルコヒーレンシ演算処理について説明する。

ベクトルコヒーレンシ演算部１１２は、ベクトル検出部１１１からのベクトル方向Map１３３を基に、周辺画素のベクトル方向を確認し、ベクトル方向コヒーレンシ（一様性）の強弱を判定する。周辺画素のベクトル方向が、中心画素のベクトル方向と同一方向を向いている数が多い場合は、コヒーレンシが強いと判定される。また、周辺画素のベクトル方向が離散している数が多い場合は、コヒーレンシが弱いと判定される。

ベクトルコヒーレンシ演算部１１２は、ベクトル方向Map１３３を基に、画素毎にコヒーレンシの強弱を判定し、判定された結果を、画素毎のベクトル方向コヒーレンシMap１４１として、変形特性演算部１１３に出力する。

図３の例のベクトル方向コヒーレンシMap１４１において、上位部分はベクトル方向が一定であるためコヒーレンシが強いが、下位部分はベクトル方向がばらついているためコヒーレンシが弱い。

なお、ベクトルコヒーレンシ演算部１１２におけるコヒーレンシ算出法としては、structure tensorという近傍のグラディエント情報からコヒーレンシを算出する手法がある。このstructure tensorの手法は、image processingやcomputer visionにおいてよく用いられている。

また、その他のアルゴリズムのコヒーレンシ算出方法としては、近傍ベクトルの分散により算出する手法があげられる。コヒーレンシ情報は、図４に示されるように、ある一定の近傍範囲でのベクトルの分散をとることにより算出可能である。

なお、コヒーレンシを演算する際に、ベクトル情報を用いるが、その際、上記説明においては、ベクトル方向のみでコヒーレンシMapを生成する例を示したがそれに限らない。すなわち、ベクトル方向とベクトルの大きさ（力）も考慮して、コヒーレンシMapを生成することも可能である。

［変形特性演算部の構成］
図５は、変形特性演算部の構成例を示すブロック図である。

図５の例において、変形特性演算部１１３は、ブラシサイズ選択演算部１６１、ストローク選択演算部１６２、および変形特性生成部１６３を含むように構成されている。

ベクトル検出部１１１からのベクトルMapは、ストローク選択演算部１６２に入力される。ベクトルコヒーレンシ演算部１１２からのベクトルコヒーレンシMapは、ブラシサイズ選択演算部１６１およびストローク選択演算部１６２に入力される。

ブラシサイズ選択演算部１６１は、ベクトルコヒーレンシ演算部１１２からのベクトルコヒーレンシMapによって、各画素をどのブラシサイズで変換するかを決定する。すなわち、ブラシサイズ選択演算部１６１においては、絵画調変換部１１４で各画素に対して用いられるフィルタのタップサイズが決定される。なお、タップサイズは、フィルタサイズに対応した値となる。

ブラシサイズ選択演算部１６１は、ベクトルコヒーレンシMapの値から、ブラシサイズ調整LUT(ルックアップテーブル)により、対応したブラシサイズを選択し、ブラシサイズ形状Mapを生成する。ブラシサイズ選択演算部１６１は、生成されたブラシサイズ形状Mapを変形特性生成部１６３に出力する。

ストローク選択演算部１６２は、ベクトル検出部１１１からのベクトルMapと、ベクトルコヒーレンシ演算部１１２からのベクトルコヒーレンシMapとを用いて、各画素をどの筆触のストロークに変換するかを決定する。すなわち、ストローク選択演算部１６２においては、絵画調変換部１１４で用いられるフィルタのタップ長さとその向きが決定される。

ストローク選択演算部１６２は、ベクトルコヒーレンシMapの値から、ブラシストローク調整LUT(ルックアップテーブル)により、対応した筆触ストローク（長さ）を選択し、ベクトルMapにおける方向を参照して、ストローク形状Mapを生成する。ストローク選択演算部１６２は、生成されたストローク形状Mapを変形特性生成部１６３に出力する。

変形特性生成部１６３は、ブラシサイズ選択演算部１６１からのブラシサイズ形状Mapと、ストローク選択演算部１６２からのストローク形状Mapとに基づいて、絵画調変換部１１４で各画素に対して用いられるフィルタのタップ形状を変形する変形特性を生成する。変形特性生成部１６３は、各画素に対して生成した変形特性の集合としての情報である変形特性Mapを、絵画調変換部１１４に出力する。

［調整ルックアップテーブルの例］
ブラシサイズ選択演算部１６１およびストローク選択演算部１６２においては、コヒーレンシによってストロークの長さとブラシの太さとが制御可能であるが、調整LUTを複数有する。これにより、入力画像のタイプによって調整LUTを変更することが可能となる。

例えば、図６の例においては、高周波が少ない画像に適したブラシストローク調整LUTとブラシサイズ調整LUTの例が示されている。

ブラシストローク調整LUTにおいては、縦軸がストロークの長さを表し、横軸がベクトル方向コヒーレンシの強弱を表している。ブラシストローク調整LUTにおいては、ベクトル方向コヒーレンシが弱いほど、短いストロークが対応している。

ブラシサイズ調整LUTにおいては、縦軸がブラシの太さを表し、横軸がベクトル方向コヒーレンシの強弱を表している。ブラシサイズ調整LUTにおいては、ベクトル方向コヒーレンシが弱いほど、細いブラシの長さが対応している。

高周波が少ない画像においては、比較的平坦な部分が多いため、図６のブラシストローク調整LUTとブラシサイズ調整LUTにおいては、できるだけ、図７の例よりも、ストロークが長く、ブラシサイズが太くなるように設定されている。図６のブラシストローク調整LUTとブラシサイズ調整LUTにより、筆触を派手に見せることができる。

例えば、図７の例においては、高周波が少なくも多くもない標準的な画像に適したブラシストローク調整LUTとブラシサイズ調整LUTの例が示されている。図７のブラシストローク調整LUTとブラシサイズ調整LUTにおいては、リニアに設定されている。

例えば、図８の例においては、高周波が多い画像に適したブラシストローク調整LUTとブラシサイズ調整LUTの例が示されている。

高周波が多い画像においては、図８のブラシストローク調整LUTとブラシサイズ調整LUTにおいては、できるだけ、図７の例よりも、筆触によって画像の細かい部分を塗りつぶさないように、細かいブラシで、ストロークが短くなるように設定されている。図８のブラシストローク調整LUTとブラシサイズ調整LUTにより、画像の細部までつぶさず表現することができる。

以上のように、ストロークの長さとブラシの太さとを調整するための調整LUTを複数有することで、入力画像の種類によって使い分けを行うことが可能である。

［ブラシサイズの例］
図９は、ベクトルコヒーレンシの強弱に応じて選択されるブラシサイズのイメージを示す図である。

ベクトルコヒーレンシが弱い場合、図９の左側のような細い（小さい）ブラシサイズが選択され、ベクトルコヒーレンシが強い場合、図９の右側のような太い（大きい）ブラシサイズが選択される。

［ストロークの長さの例］
図１０は、ベクトルコヒーレンシの強弱に応じて選択される筆触ストロークの長さのイメージを示す図である。

ベクトルコヒーレンシが弱い場合、図１０の左側のような短いストロークが選択され、ベクトルコヒーレンシが強い場合、図１０の右側のような長いストロークが選択される。

［画像処理装置の動作］
次に、図１１のフローチャートを参照して、画像処理装置１００の画像処理について説明する。

前段からの入力画像は、ベクトル検出部１１１および絵画調変換部１１４に入力される。ベクトル検出部１１１は、ステップＳ１１１において、入力画像からフローベクトルの検出を行い、各画素に対してのベクトルMapを生成する。生成されたベクトルMapは、ベクトルコヒーレンシ演算部１１２および変形特性演算部１１３に出力される。

ステップＳ１１２において、ベクトルコヒーレンシ演算部１１２は、ベクトル検出部１１１からのベクトルMapに基づいて、ベクトルのコヒーレンシ（一様性）を解析し、各画素に対してのベクトルコヒーレンシMapを生成する。生成されたベクトルコヒーレンシMapは、変形特性演算部１１３に出力される。

ステップＳ１１３において、変形特性演算部１１３は、絵画調変換部１１４で用いられるフィルタのタップ形状を変形する変形特性の演算処理を行う。この変形特性の演算処理については、図１２を参照して後述される。

ステップＳ１１３の処理により、変形特性Mapが生成され、生成された変形特性Mapは、絵画調変換部１１４に出力される。

ステップＳ１１４において、絵画調変換部１１４は、入力画像に対して、変形特性演算部１１３からの変形特性Mapに基づいて絵画調変換を行う。絵画調変換後の画像は、出力画像として後段に出力される。

［変形特性演算処理の例］
次に、図１２のフローチャートを参照して、図１１のステップＳ１１３の変形特性演算処理について説明する。

ブラシサイズ選択演算部１６１は、ステップＳ１６１において、ブラシサイズ形状Mapを生成する。すなわち、ブラシサイズ選択演算部１６１は、図１１のステップＳ１１２により生成されたベクトルコヒーレンシMapの値から、ブラシサイズ調整LUTにより、対応したブラシサイズを選択し、ブラシサイズ形状Mapを生成する。生成されたブラシサイズ形状Mapは、変形特性生成部１６３に出力される。

ストローク選択演算部１６２は、ステップＳ１６２において、ストローク形状Mapを生成する。すなわち、ストローク選択演算部１６２は、図１１のステップＳ１１２により生成されたベクトルコヒーレンシMapの値から、ブラシストローク調整LUTにより、対応した筆触ストロークを選択する。そして、ストローク選択演算部１６２は、図１１のステップＳ１１１により生成されたベクトルMapにおける方向を参照して、ストローク形状Mapを生成する。生成されたストローク形状Mapは、変形特性生成部１６３に出力される。

ステップＳ１６３において、変形特性生成部１６３は、絵画調変換部１１４で用いられるフィルタのタップ形状を変形する変形特性を生成する。すなわち、変形特性生成部１６３は、ステップＳ１６１により生成されたブラシサイズ形状Mapと、ステップＳ１６２により生成されたストローク選択演算部１６２からのストローク形状Mapとに基づいて、変形特性を生成する。生成された変形特性の情報である変形特性Mapは、絵画調変換部１１４に出力される。

以上のように、ベクトルのコヒーレンシ情報を用いて、筆触（フィルタのタップ形状）を制御するようにしたので、１回の処理で、画像において適切な絵画感を得ることができる。すなわち、画像全体ではなく、部分的に筆触が制御された適切な絵画感のある画像を得ることができる。

例えば、葉がかなり長く一定の方向を持っている木の場合、コヒーレンシが強いため、本技術によれば、ブラシサイズが大きく、ストロークが長いタップ形状が選択される。これにより、木の葉が物切れにならずに心地よい筆触を再現することができる。

また、例えば、細かい葉が不特定な方向へ伸びている木の場合、コヒーレンシが弱いため、本技術によれば、比較的ブラシサイズが小さく、ストロークが短いタップ形状が選択される。これにより、細かい筆触により葉の細部までを再現することができる。

すなわち、変換後の画像においては、筆触の長さや大きさが単調ではなくなり、絵画としての完成度を高めることができる。

また、筆の流れ（コヒーレンシ）を検波として利用しているため、よりまとまった筆触表現を行うことができる。

このように、本技術によれば、１回の処理により、局所的に適切な筆触表現が選択され、あたかも画家が描くような筆触を持つ絵画表現が可能となる。

また、入力画像によって検波したコヒーレンシを用いるため、その画像に合った適切な筆触コントロールを実現することができる。

さらに、コヒーレンシによって筆触のフィルタを変更するため、必要のない部分には、小さなフィルタ範囲を適用することができるため、全体的な処理の高速化も実現することができる。

［変形特性演算部の他の構成］
図１３は、変形特性演算部の他の構成例を示すブロック図である。

図１３の例において、変形特性演算部１１３は、ブラシサイズ選択演算部１６１および変形特性生成部２０１を含むように構成されている。なお、図１３の例においては、ベクトルコヒーレンシ演算部１１２からのベクトルコヒーレンシMapは、ブラシサイズ選択演算部１６１に入力されるが、ベクトル検出部１１１からのベクトルMapは、入力されない。

図１３の変形特性演算部１１３は、ブラシサイズ選択演算部１６１を備える点が、図５の変形特性演算部１１３と共通している。図１３の変形特性演算部１１３は、ストローク選択演算部１６２が除かれた点と、変形特性生成部１６３が変形特性生成部２０１に入れ替えられた点とが図５の変形特性演算部１１３と異なっている。

変形特性生成部２０１は、ブラシサイズ選択演算部１６１からのブラシサイズ形状Mapに基づいて、絵画調変換部１１４で用いられるフィルタのタップ形状（サイズ）を変形する変形特性を生成する。すなわち、変形特性生成部２０１は、画像を点描風の絵画調に変換する変形特性を生成する。変形特性生成部２０１は、生成した変形特性の情報である変形特性Mapを、絵画調変換部１１４に出力する。

［変形特性演算処理の例］
次に、図１４のフローチャートを参照して、図１３の変形特性演算部１１３により行われる変形特性演算処理について説明する。この変形特性演算処理は、図１４を参照して上述した図１１のステップＳ１１３の変形特性演算処理の他の例である。

ブラシサイズ選択演算部１６１は、ステップＳ２０１において、ブラシサイズ形状Mapを生成する。すなわち、ブラシサイズ選択演算部１６１は、図１１のステップＳ１１２により生成されたベクトルコヒーレンシMapの値から、ブラシサイズ調整LUTにより、対応したブラシサイズを選択し、ブラシサイズ形状Mapを生成する。生成されたブラシサイズ形状Mapは、変形特性生成部２０１に出力される。

ステップＳ２０２において、変形特性生成部２０１は、絵画調変換部１１４で用いられるフィルタのタップ形状を変形する変形特性を生成する。すなわち、変形特性生成部２０１は、ステップＳ２０１により生成されたブラシサイズ形状Mapに基づいて、画像を点描風の絵画調に変換するための変形特性を生成する。生成された変形特性の情報である変形特性Mapは、絵画調変換部１１４に出力される。

以上のように、ベクトルのコヒーレンシ情報を用いて、点描の大きさ（フィルタのタップ形状）を制御するようにしたので、点描風の画像の場合にも、１回の処理で、画像において適切な絵画感を得ることができる。

［変形特性演算部のさらに他の構成］
図１５は、変形特性演算部のさらに他の構成例を示すブロック図である。

図１５の例において、変形特性演算部１１３は、ストローク選択演算部１６２および変形特性生成部２５１を含むように構成されている。

図１５の変形特性演算部１１３は、ストローク選択演算部１６２を備える点が、図５の変形特性演算部１１３と共通している。図１５の変形特性演算部１１３は、ブラシサイズ選択演算部１６１が除かれた点と、変形特性生成部１６３が変形特性生成部２５１に入れ替えられた点とが図５の変形特性演算部１１３と異なっている。

変形特性生成部２５１は、ストローク選択演算部１６２からのストローク形状Mapに基づいて、絵画調変換部１１４で用いられるフィルタのタップ形状（長さと方向）を変形する変形特性を生成する。すなわち、変形特性生成部２５１は、画像を細いストロークの絵画調に変換する変形特性を生成する。変形特性生成部２５１は、生成した変形特性の情報である変形特性Mapを、絵画調変換部１１４に出力する。

［変形特性演算処理の例］
次に、図１６のフローチャートを参照して、図１５の変形特性演算部１１３により行われる変形特性演算処理について説明する。この変形特性演算処理は、図１４を参照して上述した図１１のステップＳ１１３の変形特性演算処理のさらに他の例である。

ストローク選択演算部１６２は、ステップＳ２５１において、ストローク形状Mapを生成する。すなわち、ストローク選択演算部１６２は、図１１のステップＳ１１２により生成されたベクトルコヒーレンシMapの値から、ブラシストローク調整LUTにより、対応した筆触ストロークを選択する。そして、ストローク選択演算部１６２は、図１１のステップＳ１１１により生成されたベクトルMapにおける方向を参照して、ストローク形状Mapを生成する。生成されたストローク形状Mapは、変形特性生成部２５１に出力される。

ステップＳ２５２において、変形特性生成部２５１は、絵画調変換部１１４で用いられるフィルタのタップ形状を変形する変形特性を生成する。すなわち、変形特性生成部１６３は、ステップＳ２５１により生成されたストローク選択演算部１６２からのストローク形状Mapに基づいて、画像を細いストロークの絵画調に変換するための変形特性を生成する。生成された変形特性の情報である変形特性Mapは、絵画調変換部１１４に出力される。

以上のように、ベクトルのコヒーレンシ情報を用いて、細いストロークの長さ（フィルタのタップ形状）を制御するようにしたので、細いストロークの画像の場合にも、１回の処理で、画像において適切な絵画感を得ることができる。

なお、上記説明においては、画像処理装置の例を説明したが、画像処理装置に限定されない。すなわち、本技術は、画像処理装置だけでなく、例えば、画像を撮像する撮像機能を有するカメラ、携帯電話機、またはパーソナルコンピュータなどにも適用することができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

＜２．第２の実施の形態（コンピュータ）＞
[コンピュータの構成例]
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。

コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 入力画像における各画素のフローベクトルを検出するベクトル検出部と、
前記ベクトル検出部により検出されたフローベクトルに基づいて、ベクトルコヒーレンシを算出するベクトルコヒーレンシ算出部と、
前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記各画素に用いるフィルタのタップ形状を変形する変形特性を演算する変形特性演算部と、
前記変形特性演算部より演算された変形特性に基づいて、前記入力画像を変換する絵画調変換部と
を備える画像処理装置。
（２） 前記変形特性演算部は、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記フィルタのタップサイズを求めるブラシサイズ選択演算部と、
前記ベクトル検出部により検出されたフローベクトルと、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシとを用いて、前記フィルタのタップ長さを求めるストローク選択演算部と、
前記ブラシサイズ選択演算部により求められたタップサイズと、前記ストローク選択演算部により求められたタップ長さとに基づいて、前記変形特性を生成する変形特性生成部と
を備える前記（１）に記載の画像処理装置。
（３） 前記ブラシサイズ選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップサイズを求め、
前記ストローク選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップ長さを求める
前記（２）に記載の画像処理装置。
（４） 前記変形特性演算部は、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記フィルタのタップサイズを求めるブラシサイズ選択演算部と、
前記ブラシサイズ選択演算部により求められたタップサイズに基づいて、前記変形特性を生成する変形特性生成部と
を備える前記（１）に記載の画像処理装置。
（５） 前記ブラシサイズ選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップサイズを求める
前記（４）に記載の画像処理装置。
（６） 前記変形特性演算部は、前記ベクトル検出部により検出されたフローベクトルと、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシとを用いて、前記フィルタのタップ長さを求めるストローク選択演算部と、
前記ストローク選択演算部により求められたタップ長さに基づいて、前記変形特性を生成する変形特性生成部と
を備える前記（１）に記載の画像処理装置。
（７） 前記ストローク選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップ長さを求める
前記（６）に記載の画像処理装置。
（８）前記ベクトル検出部は、前記入力画像における各画素のフローベクトルの方向を検出し、
前記ベクトルコヒーレンシ算出部は、前記ベクトル検出部により検出されたフローベクトルの方向に基づいて、ベクトルの方向のコヒーレンシを算出する
前記（１）に記載の画像処理装置。
（９）前記ベクトル検出部は、前記入力画像における各画素のフローベクトルの方向および大きさを検出し、
前記ベクトルコヒーレンシ算出部は、前記ベクトル検出部により検出されたフローベクトルの方向および大きさに基づいて、ベクトルの方向および大きさのコヒーレンシを算出する
前記（８）に記載の画像処理装置。
（１０）画像処理装置が、
入力画像における各画素のフローベクトルを検出し、
検出されたフローベクトルに基づいて、ベクトルコヒーレンシを算出し、
算出されたベクトルコヒーレンシを用いて、前記各画素に用いるフィルタのタップ形状を変形する変形特性を演算し、
演算された変形特性に基づいて、前記入力画像を変換する
画像処理方法。
（１１） 入力画像における各画素のフローベクトルを検出するベクトル検出部と、
前記ベクトル検出部により検出されたフローベクトルに基づいて、ベクトルコヒーレンシを算出するベクトルコヒーレンシ算出部と、
前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記各画素に用いるフィルタのタップ形状を変形する変形特性を演算する変形特性演算部と、
前記変形特性演算部より演算された変形特性に基づいて、前記入力画像を変換する絵画調変換部と
してコンピュータを機能させるプログラム。

１００ 画像処理装置， １１１ ベクトル検出部， １１２ ベクトルコヒーレンシ演算部， １１３ 変形特性演算部， １１４ 絵画調変換部， １３３ ベクトル方向Map， １４１ ベクトル方向コヒーレンシMap， １６１ ブラシサイズ選択演算部， １６２ ストローク選択演算部， １６３ 変形特性生成部， ２０１ 変形特性生成部， ２５１ 変形特性生成部

Claims (11)

1. 入力画像における各画素のフローベクトルを検出するベクトル検出部と、
   前記ベクトル検出部により検出されたフローベクトルに基づいて、ベクトルコヒーレンシを算出するベクトルコヒーレンシ算出部と、
   前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記各画素に用いるフィルタのタップ形状を変形する変形特性を演算する変形特性演算部と、
   前記変形特性演算部より演算された変形特性に基づいて、前記入力画像を変換する絵画調変換部と
   を備える画像処理装置。
2. 前記変形特性演算部は、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記フィルタのタップサイズを求めるブラシサイズ選択演算部と、
   前記ベクトル検出部により検出されたフローベクトルと、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシとを用いて、前記フィルタのタップ長さを求めるストローク選択演算部と、
   前記ブラシサイズ選択演算部により求められたタップサイズと、前記ストローク選択演算部により求められたタップ長さとに基づいて、前記変形特性を生成する変形特性生成部と
   を備える請求項１に記載の画像処理装置。
3. 前記ブラシサイズ選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップサイズを求め、
   前記ストローク選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップ長さを求める
   請求項２に記載の画像処理装置。
4. 前記変形特性演算部は、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記フィルタのタップサイズを求めるブラシサイズ選択演算部と、
   前記ブラシサイズ選択演算部により求められたタップサイズに基づいて、前記変形特性を生成する変形特性生成部と
   を備える請求項１に記載の画像処理装置。
5. 前記ブラシサイズ選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップサイズを求める
   請求項４に記載の画像処理装置。
6. 前記変形特性演算部は、前記ベクトル検出部により検出されたフローベクトルと、前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシとを用いて、前記フィルタのタップ長さを求めるストローク選択演算部と、
   前記ストローク選択演算部により求められたタップ長さに基づいて、前記変形特性を生成する変形特性生成部と
   を備える請求項１に記載の画像処理装置。
7. 前記ストローク選択演算部は、複数のルックアップテーブルを有しており、前記入力画像に応じたルックアップテーブルを用いて、前記フィルタのタップ長さを求める
   請求項６に記載の画像処理装置。
8. 前記ベクトル検出部は、前記入力画像における各画素のフローベクトルの方向を検出し、
   前記ベクトルコヒーレンシ算出部は、前記ベクトル検出部により検出されたフローベクトルの方向に基づいて、ベクトルの方向のコヒーレンシを算出する
   請求項１に記載の画像処理装置。
9. 前記ベクトル検出部は、前記入力画像における各画素のフローベクトルの方向および大きさを検出し、
   前記ベクトルコヒーレンシ算出部は、前記ベクトル検出部により検出されたフローベクトルの方向および大きさに基づいて、ベクトルの方向および大きさのコヒーレンシを算出する
   請求項８に記載の画像処理装置。
10. 画像処理装置が、
    入力画像における各画素のフローベクトルを検出し、
    検出されたフローベクトルに基づいて、ベクトルコヒーレンシを算出し、
    算出されたベクトルコヒーレンシを用いて、前記各画素に用いるフィルタのタップ形状を変形する変形特性を演算し、
    演算された変形特性に基づいて、前記入力画像を変換する
    画像処理方法。
11. 入力画像における各画素のフローベクトルを検出するベクトル検出部と、
    前記ベクトル検出部により検出されたフローベクトルに基づいて、ベクトルコヒーレンシを算出するベクトルコヒーレンシ算出部と、
    前記ベクトルコヒーレンシ算出部により算出されたベクトルコヒーレンシを用いて、前記各画素に用いるフィルタのタップ形状を変形する変形特性を演算する変形特性演算部と、
    前記変形特性演算部より演算された変形特性に基づいて、前記入力画像を変換する絵画調変換部と
    してコンピュータを機能させるプログラム。

Images