JP2013055472A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2013055472A
JP2013055472A JP2011191760A JP2011191760A JP2013055472A JP 2013055472 A JP2013055472 A JP 2013055472A JP 2011191760 A JP2011191760 A JP 2011191760A JP 2011191760 A JP2011191760 A JP 2011191760A JP 2013055472 A JP2013055472 A JP 2013055472A
Authority
JP
Japan
Prior art keywords
deformation
deformation characteristic
stroke
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011191760A
Other languages
English (en)
Inventor
Masafumi Wakazono
雅史 若園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011191760A priority Critical patent/JP2013055472A/ja
Priority to US13/592,470 priority patent/US9396558B2/en
Priority to CN 201210315372 priority patent/CN102984526A/zh
Publication of JP2013055472A publication Critical patent/JP2013055472A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation

Abstract

【課題】画像に対して絵画調の効果を高速で与えることができるようにする。
【解決手段】ストローク変形特性計算部は、ストローク方向計算部からのブラシのストローク方向を示す信号を用いて、探索範囲を計算し、計算した探索範囲上で、点描変形特性計算部から供給される点描パターンの画像が最小値となる位置を検出する。ストローク変形特性計算部は、最小値の探索が終了したら、最小値となった画素位置への変形特性(相対位置)を計算して、計算した変形特性を、変形特性マップとして変形処理部に供給する。本開示は、例えば、撮像した画像を処理して表示するデジタルビデオカメラに適用することができる。
【選択図】図2

Description

本開示は、画像処理装置および方法、並びにプログラムに関し、特に、画像に対して絵画調の効果を高速で与えることができるようにした画像処理装置および方法、並びにプログラムに関する。
入力された画像を元に、絵画風に変換された出力画像を得る手法がある。このような手法は、Non Phtotorealistic Rendering(NPR)と呼ばれる。NPR手法の1つとして、筆のストロークに似たパターンを画像に与えることで、油彩画のような風合いを持った画像を得る手法が知られている。
例えば、特許文献1においては、入力画像に対して、ある楕円領域をその中央の画素値で置き換える処理を繰り返すことで、筆のストロークに似たパターンを生成し、油彩画風の出力画像を得るアルゴリズムが提案されている。
また、非特許文献1においては、出力画像にブラシのパターン画像を繰り返し描画していき、入力画像と出力画像の間の二乗誤差を小さくしていくことで、油彩画風の出力画像を得るアルゴリズムが提案されている。この手法では、描画するブラシの形状を変更することで、出力画像の画風を変更することが可能である。例えば、円形のブラシを用いることにより、点描風の出力画像を得ることができ、自由な軌跡のブラシパターン(Curved Brush Stroke)を用いることにより、印象派風の出力画像を得ることができる。
特開平8−44867号公報
A. Hertzmann, "Painterly Rendering with Curved Brush Strokes of Multiple Sizes," Proc. Sgigraph 98, ACM Press, 1998, pp.453-460
しかしながら、特許文献1に記載の提案および非特許文献1に記載の提案の場合、望ましい出力画像を得るまでに繰り返しブラシの描画を行う必要があった。例えば、ある画素の出力値を決めるまでに、何度も値を更新する必要があった。
このため、特許文献1に記載の提案および非特許文献1に記載の提案においては、望ましい出力画像を得るまでに、処理時間が長くかかっていた。
本開示は、このような状況に鑑みてなされたものであり、画像に対して絵画調の効果を高速で与えることができるものである。
本開示の一側面の画像処理装置は、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部を備える。
前記変形特性情報を生成する変形特性生成部をさらに備えることができる。
前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する点描変形特性生成部と、ストローク方向の情報から求められる探索範囲を用いて、ストロークの変形特性情報を生成するストローク変形特性生成部とを備えることができる。
前記点描変形特性生成部は、前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部とを備え、前記ストローク変形特性生成部は、前記ストローク方向の情報から前記探索範囲を決定する探索範囲決定部と、前記点描座標検出部により座標が検出された画素の値からなる点描パターン画像上の画素についての前記探索範囲内で、最小値または最大値となる画素の座標を検出するストローク座標検出部と、前記点描パターン画像上の画素と、前記ストローク座標検出部により座標が検出された画素との位置関係を計算し、前記ストロークの変形特性情報を生成するストローク変形特性計算部とを備えることができる。
前記点描の変形特性情報と、前記ストロークの変形特性情報とを合成する変形特性合成部をさらに備え、前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形することができる。
前記変形処理部は、前記点描変形特性生成部により生成された前記点描の変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する点描変形処理部と、前記ストローク変形特性生成部により生成された前記ストロークの変形特性情報に基づいて、前記点描変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記点描変形処理部により変形された画像を変形するストローク変形処理部とを備えることができる。
前記点描の変形特性情報が示す特性の調整を行う点描変形特性調整部と、前記ストロークの変形特性情報が示す特性の調整を行うストローク変形特性調整部とをさらに備えることができる。
前記点描の変形特性情報が示す特性の調整の度合いと前記ストロークの変形特性情報が示す特性の調整の度合いの複数の組み合わせを選択するための選択手段をさらに備え、前記点描変形特性調整部および前記ストローク変形特性調整部は、ユーザによる前記組み合わせの選択に応じて、前記点描の変形特性情報が示す特性の調整および前記ストロークの変形特性情報が示す特性の調整をそれぞれ行うことができる。
前記変形特性生成部は、ランダムパターン画像と第1のストローク方向の情報から求められる第1の探索範囲とを用いて、第1のストロークの変形特性情報を生成する第1のストローク変形特性生成部と、前記第1のストローク方向の情報が回転された情報である第2のストローク方向の情報から求められる第2の探索範囲を用いて、第2のストロークの変形特性情報を生成する第2のストローク変形特性生成部とを備えることができる。
前記第1のストローク変形特性生成部は、前記第1のストローク方向の情報から前記第1の探索範囲を決定する第1の探索範囲決定部と、前記ランダムパターン画像上の画素についての前記第1の探索範囲内で、最小値または最大値となる画素の座標を検出する第1の座標検出部と、前記ランダムパターン画像上の画素と、前記第1の座標検出部により座標が検出された画素との位置関係を計算し、前記第1のストロークの変形特性情報を生成する第1のストローク変形特性計算部とを備え、前記第2のストローク変形特性生成部は、前記第2のストローク方向の情報から前記第2の探索範囲を決定する第2の探索領域決定部と、前記第1の座標検出部により座標が検出された画素の値からなるストロークパターン画像上の画素についての前記第2の探索範囲内で、最小値または最大値となる画素の座標を検出する第2の座標検出部と、前記ストロークパターン画像上の画素と、前記第2の座標検出部により座標が検出された画素の位置関係を計算し、前記第2のストロークの変形特性情報を生成する第2のストローク変形特性計算部とを備えることができる。
前記第1のストロークの変形特性情報と、前記第2のストロークの変形特性情報とを合成する変形特性合成部をさらに備え、前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形することができる。
前記変形処理部は、前記第1のストローク変形特性生成部により生成された前記第1のストロークの変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する第1の変形処理部と、前記第2のストローク変形特性生成部により生成された前記第2のストロークの変形特性情報に基づいて、前記第1のストロークの変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記第1のストロークの変形処理部により変形された画像を変形する第2の変形処理部とを備えることができる。
前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成することができる。
前記変形特性生成部は、前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部とを備えることができる。
前記変形処理部に入力される前記入力画像に対してジッタを加算するジッタ加算部と、前記変形処理部により変形された画像に対して高域強調処理を行う鮮鋭化処理部とをさらに備えることができる。
前記変形特性情報が示す特性を調整する変形特性調整部と、前記ジッタおよび前記高域強調処理の強弱の調整を行う強弱調整部とをさらに備えることができる。
前記変形特性情報が示す特性の調整の度合い、並びに前記ジッタおよび前記高域強調処理の調整の度合いの複数の組み合わせを選択するための選択手段をさらに備え、前記変形特性調整部および前記強弱調整部は、ユーザによる前記組み合わせの選択に応じて、前記変形特性情報が示す特性の調整、並びに前記ジッタおよび前記高域強調処理の前記強弱の調整をそれぞれ行うことができる。
前記変形特性生成部により生成された前記変形特性情報を保持するメモリをさらに備えることができる。
前記変形特性情報を保持するメモリをさらに備えることができる。
前記変形特性情報は、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成される。
本開示の一側面の画像処理方法は、画像処理装置が、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する。
本開示の一側面のプログラムは、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部として、コンピュータを機能させる。
本開示の一側面においては、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像が変形される。
本開示によれば、画像に対して絵画調の効果を高速で与えることができる。
本技術を適用した画像処理装置としてのデジタルビデオカメラの構成例を示すブロック図である。 DSPの構成例を示すブロック図である。 絵画調変換処理部の構成例を示すブロック図である。 点描変形特性計算部の構成例を示すブロック図である。 変形特性計算および変形処理を説明する図である。 変形処理部の構成例を示すブロック図である。 画像処理の例を説明するフローチャートである。 絵画調変形処理の例を説明するフローチャートである。 変形特性計算処理の例を説明するフローチャートである。 画素単位の変形特性計算処理の例を説明するフローチャートである。 変形処理の例を説明するフローチャートである。 絵画調変換処理部の他の構成例を示すブロック図である。 鮮鋭化処理部の他の構成例を示すブロック図である。 フィルタ特性の設定例を示す図である。 探索範囲の広さに応じたフィルタ特性を説明する図である。 絵画調変形処理の例を説明するフローチャートである。 鮮鋭化処理の例を説明するフローチャートである 調整ボタンとパラメータとの関係を示す図である。 調整ボタンとパラメータとの関係を示す図である。 絵画調変換処理部の他の構成例を示すブロック図である。 絵画調変換処理部の他の構成例を示すブロック図である。 点描変形特性計算部の構成例を示すブロック図である。 ストローク変形特性計算部の構成例を示すブロック図である。 変形特性計算および変形処理を説明する図である。 絵画調変形処理の例を説明するフローチャートである。 変形処理を説明する図である。 ストロークパターン変形特性計算処理の例を説明するフローチャートである。 ストロークパターン変形特性計算処理を説明する図である。 本技術の効果を説明するための従来技術を説明する図である。 本技術の効果を説明する図である。 探索範囲の例を示す図である。 絵画調変換処理部の他の構成例を示すブロック図である。 絵画調変形処理の例を説明するフローチャートである。 絵画調変換処理部の他の構成例を示すブロック図である。 絵画調変形処理の例を説明するフローチャートである。 絵画調変換処理部の他の構成例を示すブロック図である。 絵画調変形処理の例を説明するフローチャートである。 調整ボタンとパラメータとの関係を示す図である。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(点描処理)
2.第2の実施の形態(油絵処理(点描処理+ストローク処理))
3.第3の実施の形態(コンピュータ)
<第1の実施の形態>
[デジタルビデオカメラの構成例]
図1は、本開示を適用した画像処理装置としての、デジタルビデオカメラの一実施の形態を示すブロック図である。
図1に示されるデジタルビデオカメラ100は、被写体を撮像し、その被写体の画像を表示したり、画像データを記録したりする。また、図1に示されるデジタルビデオカメラ100は、入力画像を元に、絵画調に変換された出力画像を得る。
デジタルビデオカメラ100は、レンズ101、絞り102、画像センサ103、および相関2重サンプリング回路(CDS(Correlated Double Sampling circuit))104を有する。デジタルビデオカメラ100は、A/D(Analog/Digital)コンバータ105、DSP(Digital Signal Processor)ブロック106、およびタイミングジェネレータ(TG(Timing Generator))107を有する。また、デジタルビデオカメラ100は、LCD(Liquid Crystal Display)ドライバ108、LCD109、およびCODEC(coder/decoder)110を有する。さらに、デジタルビデオカメラ100は、メモリ111、CPU(Central Processing Unit)112、入力デバイス113、およびバス114を有する。
なお、DSPブロック106は、信号処理用のプロセッサ(例えば、DSP)と画像データを保持するRAM(Random Access Memory)などのメモリなどにより構成されるブロックである。DSPブロック106は、プロセッサが所定のプログラムを実行することにより、後述する画像処理を行う。また、以下、DSPブロック106を、単にDSP106と称する。
レンズ101および絞り102などからなる光学系を通過した被写体からの入射光は、まず画像センサ103に到達する。画像センサ103は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等、任意の撮像素子を有する。画像センサ103は、入射光を電気信号に光電変換する。
画像センサ103は、光電変換できるものであればどのようなものであってもよい。
画像センサ103から出力された電気信号は、相関2重サンプリング回路104によってノイズが除去され、A/Dコンバータ105によってデジタル化される。A/Dコンバータ105は、どのようなものであってもよいが、より多くの階調数のデジタルデータに変換できる方が望ましい。例えば、A/Dコンバータ105は、入力される電気信号を、通常のデジタルビデオカメラの階調数(例えば、10乃至12ビット程度のデータにより表現できる階調数)よりも多い階調数(例えば、14乃至16ビット程度のデータにより表現できる階調数)の画像データに変換するようにしてもよい。
A/Dコンバータ105によりデジタル化された画像データは、DSP106内のメモリに一時的に格納される。タイミングジェネレータ107は、一定のフレームレートにより画像データが取り込まれるように、相関2重サンプリング回路104、A/Dコンバータ105、および、DSP106により構成される信号処理系を制御する。すなわち、DSP106には、一定のフレームレートで画像データのストリームが供給される。
DSP106は、後述する絵画調変換処理を画像データに施した後、画像処理を施した画像データを、必要に応じて、LCDドライバ108またはCODEC110に供給する。
LCDドライバ108は、DSP106から供給される画像データをアナログの画像信号に変換する。LCDドライバ108は、デジタルビデオカメラのファインダであるLCD109にアナログの画像信号を供給し、画像信号に基づく画像を表示させる。
CODEC110は、DSP106から供給される画像データを所定の方式により符号化し、符号化した画像データを、例えば、半導体、磁気記録媒体、光磁気記録媒体、または光記録媒体などの任意の記録媒体よりなるメモリ111に記録させる。
CPU112は、例えば、ユーザがシャッタボタン等の操作ボタンなどにより構成される入力デバイス113を操作することにより入力された指令などに基づいて、デジタルビデオカメラ100の全体の処理を制御する。また、DSP106、タイミングジェネレータ107、CODEC110、メモリ111、LCD109、CPU112、および入力デバイス113は、バス114を介して相互に接続されている。
[DSPの構成例]
図2は、DSP106の内部のプロセッサ(演算ユニット)が、所定のプログラムを実行することにより実現される機能の構成の例を示すブロック図である。DSP106の内部のプロセッサが所定のプログラムを実行することにより、図2のDSP106の各部を含む機能が実現される。DSP106は、ホワイトバランス処理部131、デモザイク処理部132、階調補正処理部133、ガンマ補正処理部134、YC変換処理部135、および絵画調変換処理部136を含むように構成されている。
ホワイトバランス処理部131は、A/Dコンバータ105によりA/D変換された、動画像などの画像データであるモザイク画像を取得する。モザイク画像は、R,G,Bのうちのいずれかの色成分に対応するデータが1つの画素に格納され、ベイヤ配列と呼ばれる色配列に従って各画素が配置されている画像であり、RAWデータとも呼ばれている。
ホワイトバランス処理部131は、取得したモザイク画像の各画素の画素値に適切な係数をかけることにより、被写体の無彩色の部分の色バランスが実際に無彩色となるように、モザイク画像のホワイトバランスを調整する。ホワイトバランス処理部131は、ホワイトバランスを調整したモザイク画像をデモザイク処理部132に供給する。なお、以下、ホワイトバランスが調整されたモザイク画像をMwとする。
デモザイク処理部132は、ホワイトバランス処理部131から供給されたモザイク画像Mwに対して、1つの画素がR,G,B成分を全て有するようにするデモザイク処理を施す。これにより、R,G,Bの3つの色成分にそれぞれ対応するR画像、G画像、B画像の3つの画像データが生成される。デモザイク処理部132は、生成したR画像、G画像、B画像の3つの画像データを階調補正処理部133に供給する。
なお、以下において、R画像、G画像、B画像の3つの画像データをまとめてRGB画像とも称する。また、以下において、モザイク画像の画素位置pにおける画素値をM(p)とする。さらに、以下において、デモザイク処理が施された画像データの画素位置pにおける画素値を[Rw(p),Gw(p),Bw(p)]とする。ここで、Rw(p)はR成分の画素値であり、Gw(p)はG成分の画素値であり、Bw(p)はB成分の画素値である。
階調補正処理部133は、RGB画像に階調補正処理を施し、階調補正処理を施したRGB画像をガンマ補正処理部134に供給する。なお、以下において、階調補正処理が施された画像データの画素位置pにおける画素値を[Ru(p),Gu(p),Bu(p)]とする。ここで、Ru(p)はR成分の画素値であり、Gu(p)はG成分の画素値であり、Bu(p)はB成分の画素値である。
ガンマ補正処理部134は、階調変換されたRGB画像にガンマ補正を施す。ガンマ補正処理部134は、ガンマ補正を施したRGB画像をYC変換処理部135に供給する。なお、以下、ガンマ補正が施された画像データの画素位置pにおける画素値を[Ruγ(p),Guγ(p),Buγ(p)]とする。ここで、Ruγ(p)はR成分の画素値であり、Guγ(p)はG成分の画素値であり、Buγ(p)はB成分の画素値である。
YC変換処理部135は、ガンマ補正が施されたRGB画像に対して、YCマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度成分(Y成分)により構成されるY画像、および、色差成分(CbまたはCr成分)により構成されるC画像を生成する。YC変換処理部135は、生成したY画像およびC画像を、絵画調変換処理部136に供給する。なお、以下、YC変換処理部135から出力される画像データの画素位置pにおける画素値を[Y(p),C(p)]とする。ここで、Y(p)はY画像における輝度成分の値であり、C(p)はC画像における色差成分の値である。また、以下、C画像のCb成分をCb(p)と称し、C画像のCr成分をCr(p)と称する。
絵画調変換処理部136は、YC変換処理部135からのY画像およびC画像である入力画像に対して、絵画調変換処理を行い、絵画調に変形された画像を、保存画像として、必要に応じて、LCDドライバ108またはCODEC110に供給する。なお、入力画像は、Y画像およびC画像に限らない。絵画調変換処理部136においては、例えば、点描画風の空間パターンや印象派風のブラシのストロークの空間パターンを生成するための変形特性が計算され、それに従って、絵画調の画像への変換が行われる。
この変形特性とは、画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための特性のことである。点描画風の空間パターンを生成するための変形特性は、基本となる単純な図形パターン(例えば、円形や多角形)からなる領域への2次元の変形特性であって、ランダムパターン画像と所定の探索範囲とを用いて生成される。この2次元の変形特性により、入力画像が、点描画像に変形される。
印象派風のブラシのストロークの空間パターンを生成するための変形特性は、1次元の変形特性であって、ストローク方向の情報から求められる探索範囲を用いて生成される。この1次元の変形特性により、2次元の変形特性により変形された点描画像が、さらに、長い筆触の画像に変形される。
[絵画調変換処理部の構成例]
図3は、絵画調変換処理部136の構成例を示すブロック図である。図3に示される絵画調変換処理部136は、点描風の空間パターン(以下、適宜、点描パターンとも称する)を生成するための変形特性を計算し、計算された変形特性を用いた変形を入力画像に対して行う。
絵画調変換処理部136は、変形処理部141および点描変形特性計算部142を含むように構成される。
変形処理部141には、YC変換処理部135からの入力画像と、点描変形特性計算部142からの変形特性マップが供給される。変形処理部141は、点描変形特性計算部142からの変形特性マップが示す変形特性に従って、YC変換処理部135からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
点描変形特性計算部142には、例えば、図1のCPU112や入力デバイス113などからランダムパターンと探索範囲が供給される。点描変形特性計算部142は、供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンを生成するための変形特性を計算する。すなわち、点描変形特性計算部142は、探索範囲が示す領域の中でランダムパターンが最小値となる画素への変形特性(相対位置、位置関係)を計算する。
点描変形特性計算部142は、計算した変形特性を、変形特性マップとして、変形処理部141に供給する。
[点描変形特性計算部の構成例]
図4は、点描変形特性計算部142の構成例を示すブロック図である。図4の例においては、点描変形特性計算部142は、LPF(Low-pass filter)151、最小値座標検出部152、および変形特性計算部153を含むように構成される。
ランダムパターンを示す画像は、LPF151に供給される。このランダムパターンのサイズは任意である。例えば、入力画像より小さいサイズのランダムパターンの場合、パターンをタイル状に複数個並べて用いればよい。
LPF151は、ランダムパターンの画像に対して高周波成分をカットし、高周波成分をカットしたランダムパターンの画像を、最小値座標検出部152に供給する。
探索範囲を示す領域は、最小値座標検出部152に供給される。最小値座標検出部152に入力される探索範囲の右側に示される中心に+がある丸は、ある画素(+で表わされている)を中心とする探索範囲を表している。探索範囲は、点描で描かれる点(円形領域)のサイズに相当する。例えば、探索範囲は、大きさの異なるものを複数持つようにして、入力画像の領域毎に切り替えて使うようにしてもよい。
最小値座標検出部152は、選択した画素についての探索範囲が示す領域において、最小値を与える画素の座標(位置)を検出する。探索範囲が示す領域における最小値のことを、以下、局所最小値とも称する。最小値座標検出部152は、選択した画素の座標と検出した座標とを、変形特性計算部153に供給する。図4の最小値座標検出部21から出力される座標の下に示される中心に+がある丸は、上述したように探索範囲を表しており、探索範囲内の他の+は、探索範囲における最小値の座標を表している。
変形特性計算部153は、点描風の空間パターンを生成するために、選択した画素の座標と検出した座標との差を計算し、計算された差を示す相対位置を変形特性マップとして、変形処理部141に供給する。図4の変形特性計算部153から出力される相対位置の下に示される矢印は、相対位置を表している。この出力(相対位置)は、入力画像の各画素に対してそれぞれ定義される。
図5を参照して具体的に説明する。図5の例においては、変形処理部141に入力される入力画像161が示されている。図中左の入力画像161上には、局所最小値を持つ画素162が示されている。なお、変形特性は、変形処理が選択する入力画素の位置を表しているので、図5の例において、変形特性164を示す矢印の方向は、変形処理による値の伝播方向とは逆方向を向いている。
矢印1に示されるように、入力画像161上の画素162の周辺の画素(探索範囲の領域163内の画素)では、変形特性164に従った変形が行われて、画素162の画素が出力される。その結果、矢印2が示す図中右の入力画像161上に示されるように、画素162の値が、探索範囲の領域163に広げられる(伝播される)。
すなわち、変形特性計算部153は、変形処理部141に入力される入力画像161において局所最小値を持つ画素162の値を、探索範囲の領域163に広げる変形特性164を計算する。
そして、変形処理部141においては、入力画像において局所最小値を持つ画素162の値を、計算された変形特性164に従って、探索範囲の領域163に広げる変形が行われる。
なお、変形特性164の各画素の変形特性には順番がある。探索範囲の領域163に、他の局所最小値の影響がなければ、探索範囲の領域163に示されるように点描状(円形状)をしているが、探索範囲の領域163にて他のより小さい局所最小値の領域との重なりがある場合には、円形状ではなく、他の局所最小値による画素の変形特性により欠けた歪な形となる。これは、つまり、より値の小さい局所最小値からつくられた変形特性ほど、より上層(表面側)に塗られた筆触を表していると解釈できる。下層の筆触は、より上層の筆触が塗られることによって裏に隠される。
したがって、基となる形状は、領域163に示されるような円形であるが、実際には、変形処理部141は、下層に位置する画素については、上述したような歪な形に広げる変形を行う。ただし、この歪な形状は、すべての画素に対しての変形が行われることにより、上層に位置する画素の変形特性結果の円形状の領域が上にあるので、結果として、円形状の集まり(点描)に見える。なお、このことは、説明は省略するが、図21以降に説明するブラシストロークの画像(長い筆触の画像)についても同様のことがいえる。
また、上記説明においては、点描の説明として、円形状として説明したが、必ずしも、円や楕円でなくてもよく、結果として点描状に見えるのであれば、多角形や、矩形に近い形を用いることもできる。
さらに、上述した図4の例の点描変形特性計算部142においては、LPF151が備えられている。ただし、点描変形特性計算部142から出力されるのは、変形特性マップであって、画像が出力されることはないので、LPF151は除かれてもよい。
[変形処理部の構成例]
図6は、変形処理部141の構成例を示すブロック図である。図6の例においては、変形処理部141は、変形部171を含むように構成される。なお、変形部171は、本開示を適用した画像処理装置の最小単位の構成である。
変形部171には、YC変換処理部135から、変形処理を行う対象の入力画像が供給される。また、変形部171には、点描変形特性計算部142から、変形特性マップが供給される。
変形部171は、変形特性マップが示す変形特性(相対位置)に従って、入力画像を変形し、変形処理後の出力画像を、後段に出力する。点描風の効果の変形特性が入力されることにより、変形部171においては、点描処理が実現される。
[画像処理の流れ]
次に、図7のフローチャートを参照して、デジタルビデオカメラ100のDSP106により実行される画像処理について説明する。なお、この処理は、例えば、図1のデジタルビデオカメラ100による撮影が開始され、A/Dコンバータ105からDSP106への画像データ(モザイク画像)の供給が開始されたときに開始される。また、DSP106に供給された画像データは、DSP106の図示せぬ内部のメモリに格納される。
ステップS101において、ホワイトバランス処理部131は、モザイク画像を読み込む。具体的には、ホワイトバランス処理部131は、DSP106の図示せぬ内部のメモリに格納されている先頭のフレームのモザイク画像を読み込む。
ステップS102において、ホワイトバランス処理部131は、取得したモザイク画像のホワイトバランスを調整し、デモザイク処理部132に供給する。
ステップS103において、デモザイク処理部132は、デモザイク処理を行う。すなわち、デモザイク処理部132は、ホワイトバランス処理部131からのモザイク画像にデモザイク処理を施してRGB画像を生成し、階調補正処理部133に供給する。
ステップS104において、階調補正処理部133は、階調補正処理を行い、デモザイク処理部132からのRGB画像の階調を補正する。そして、階調補正処理部133は、階調の補正されたRGB画像をガンマ補正処理部134に供給する。
ステップS105において、ガンマ補正処理部134は、階調補正処理部133からのRGB画像にガンマ補正を施してYC変換処理部135に供給する。
ステップS106において、YC変換処理部135は、YC変換処理を行う。例えば、YC変換処理部135は、ガンマ補正処理部134からのRGB画像に対してYCマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、RGB画像からY画像およびC画像を生成する。YC変換処理部135は、Y画像およびC画像を、絵画調変換処理部136に供給する。
ステップS107において、絵画調変換処理部136は、絵画調変換処理を行う。この絵画調変換処理の詳細は、図8を参照して後述される。
ステップS108において、絵画調変換処理部136は、絵画調に変換された画像を、保存画像として、LCDドライバ108またはCODEC110に出力する。
これに対応して、例えば、LCDドライバ108は、DSP106から供給される画像データをアナログの画像信号に変換し、LCD109にアナログの画像信号を供給し、画像信号に基づく画像を表示させる。
または、これに対応して、例えば、CODEC110は、DSP106から供給される画像データを所定の方式により符号化し、符号化した画像データを、メモリ111に記録させる。
以上のようにして、デジタルビデオカメラ100により画像処理が行われる。
[絵画調変換処理の流れ]
次に、図8のフローチャートを参照して、図7のステップS107における絵画調変換処理について説明する。
点描変形特性計算部142には、例えば、図1のCPU112や入力デバイス113などからランダムパターンと探索範囲が供給される。
ステップS111において、点描変形特性計算部142は、供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンである点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図9を参照して後述される。点描変形特性計算部142は、計算した変形特性を、変形特性マップとして、変形処理部141に供給する。
また、変形処理部141には、YC変換処理部135からの入力画像が供給される。
ステップS112において、変形処理部141は、点描変形特性計算部142からの変形特性マップが示す変形特性に従って、YC変換処理部135からの入力画像を変形する。この変形処理は、図11を参照して後述される。変形処理部141は、変形後の画像を、出力画像として後段に供給する。
[変形特性計算処理の流れ]
次に、図9のフローチャートを参照して、図8のステップS111における変形特性計算処理について説明する。
ステップS121において、LPF151は、ランダムパターンを、最小値座標検出部152は、探索範囲を入力する。
ステップS122において、LPF151は、ランダムパターンの画像に、ローパスフィルタをかけ、ローパスフィルタ後の画像を、最小値座標検出部152に供給する。
ステップS123において、最小値座標検出部152は、各画素の周囲(探索範囲が示す領域)で、最小値を与える画素の位置(座標)を探索し、探索した座標を、変形特性計算部153に供給する。
ステップS124において、変形特性計算部153は、探索対象の画素から、探索した最小値の画素位置への変形特性(相対位置)を計算し、計算された変形特性を、変形特性マップとして、変形部171に出力する。
ここで、上述したステップS123およびS124の処理は、画素単位の処理であり、その詳細については、次の図10を参照して説明する。図10は、画素単位の変形特性計算処理を説明するフローチャートである。
最小値座標検出部152は、ステップS131において、LPF151からの画像のうち、未処理の画素を選択し、ステップS132において、供給された探索範囲に基づいて、選択した画素を中心とした探索範囲を決定する。
最小値座標検出部152は、ステップS133において、選択した画素を中心とした探索範囲が示す領域から、最小値の画素を探索する。最小値座標検出部152は、選択した画素の座標と検出した最小値の座標とを、変形特性計算部153に供給する。
ステップS134において、変形特性計算部153は、最小値座標検出部152からの座標情報を用いて、最小値の画素位置と、選択した画素の位置の差を計算し、計算された差を示す相対位置を、変形特性マップに記憶する。
ステップS135において、最小値座標検出部152は、未処理の画素があるか否かを判定し、未処理の画素があると判定した場合、ステップS131に戻り、それ以降の処理を繰り返す。
一方、ステップS135において、未処理の画素がないと判定された場合、画素単位の変形特性計算処理は終了される。
[変形処理の流れ]
次に、図11のフローチャートを参照して、図8のステップS112における変形処理について説明する。
変形部171には、YC変換処理部135から、変形処理を行う対象の入力画像が供給される。また、変形部171には、点描変形特性計算部142から、変形特性マップが供給される。
変形部171は、ステップS141において、入力画像のうち、未処理の画素を選択し、ステップS142において、変形特性マップが示す変形特性(相対位置)から、選択した画素での変形特性(相対位置)(例えば、図5の変形特性164)を取得する。
ステップS143において、変形部171は、その選択した画素の代わりに、取得した変形特性が示す先の入力画素(例えば、図5の最小値の画素162)を出力する。すなわち、選択した画素の画素値の代わりに、最小値の画素の画素値が出力される。
変形部171は、ステップS144において、未処理の画素があるか否かを判定し、未処理の画素があると判定した場合、ステップS141に戻り、それ以降の処理を繰り返す。
一方、ステップS144において、未処理の画素がないと判定された場合、変形処理は終了される。
以上のように、点描風の空間パターンを生成するための変形特性が計算され、計算された変形特性を用いた変形が入力画像に対して行われる。すなわち、計算された変形特性に従って、画素値が伝播される。これにより、簡単かつ高速に点描風の画像を得ることができる。
[絵画調変換処理部の他の構成例]
図12は、絵画調変換処理部136の構成例を示すブロック図である。図12に示される絵画調変換処理部136は、図3の絵画調変換処理部136を拡張した例であり、出力の筆触(タッチ)の強さを調整可能な構成を有している。
絵画調変換処理部136は、図3の絵画調変換処理部136と同様に、変形処理部141および点描変形特性計算部142を含むように構成される。
さらに、図12の絵画調変換処理部136は、ジッタ加算部181と鮮鋭化処理部182を有している。
絵画調変換処理部136において、ジッタ加算部181は、変形処理部141の前段に備えられ、鮮鋭化処理部182は、変形処理部141の後段に備えられる。
YC変換処理部135からの入力画像は、ジッタ加算部181に供給される。また、ジッタ加算部181には、例えば、図1のCPU112などからランダムパターンが供給される。ジッタ加算部181は、ランダムパターンを用いて、入力画像に対してジッタを付与し、ジッタの付与された画像を、変形処理部141に供給する。
変形処理部141は、点描変形特性計算部142からの変形特性マップに従って、ジッタ加算部181からのジッタの付与された画像に変形を行い、変形が行われた画像を、鮮鋭化処理部182に供給する。
鮮鋭化処理部182は、変形が行われた画像に対して鮮鋭化処理を行い、鮮鋭化された画像を、出力画像として後段に供給する。
このように構成することにより、ジッタの強さを調整して、点描のそれぞれの点の色のばらつきを大きくすることができるので、点の間のコントラストが高くなり、強い筆触が得られるようになる。すなわち、点の間のコントラストと、境界の明瞭さの2つの特性により、筆触の強さを調整することができる。
[鮮鋭化処理部の他の構成例]
図13は、鮮鋭化処理部182の構成例を示すブロック図である。
図13の鮮鋭化処理部182は、ハイパスフィルタ191、減算器192、乗算器193、および加算器194を含むように構成される。
変形処理部141からの画像の信号は、ハイパスフィルタ191と加算器194に入力される。ハイパスフィルタ191には、図1のCPU112や入力デバイス113からのフィルタ係数などが供給される。ハイパスフィルタ191は、フィルタ係数などに対応してフィルタ特性を設定する。ハイパスフィルタ191は、入力画像の信号に対して、設定したフィルタ特性でのハイパスフィルタを行い、フィルタ後の高周波成分の信号を、乗算器193に出力する。
減算器192には、1と、図1のCPU112や入力デバイス113などからのゲインとが供給される。減算器192は、1からゲインを減算し、その値を乗算器193に出力する。
乗算器193は、ハイパスフィルタ191の高周波成分の信号に対して、1からゲインを減算した値を乗算することで、高周波成分をゲインで強調し、ゲインで強調された高周波成分の信号を、加算器194に出力する。
加算器194は、入力画像の信号と、強調された高周波成分の信号とを合成して、合成された画像を、変形処理部141に出力する。
ここで、筆触の強調を実現するための鮮鋭化処理においては、筆触の特性(強さなど)に応じて、ハイパスフィルタ191のフィルタ特性(すなわち、周波数帯域)が設定される。
例えば、図14に示されるように、「筆触の強調」に適した帯域のフィルタ特性が設定される。図14の例においては、筆触の強さは、絵画調処理の種類と点描の半径によって表されている。すなわち、点描の半径とフィルタ特性には相関がある。
図14の例においては、絵画調処理が点描処理であって、探索範囲(点描の半径)が2ピクセルである場合、フィルタ特性(カットオフ周波数)は、4ピクセルに設定されることが示されている。また、絵画調処理が点描処理であって、探索範囲(点描の半径)が3ピクセルである場合、フィルタ特性(カットオフ周波数)は、5ピクセルに設定されることが示されている。
さらに、絵画調処理が点描処理であって、探索範囲(点描の半径)が4ピクセルである場合、フィルタ特性(カットオフ周波数)は、7ピクセルに設定されることが示されている。また、絵画調処理が油絵処理であって、探索範囲(点描の半径)が2ピクセルである場合、フィルタ特性(カットオフ周波数)は、5ピクセルに設定されることが示されている。
なお、油絵処理は、図21以降に後述される点描処理とストローク処理が組み合わされた処理のことである。
筆触の強さを調整するときには、途中結果を保持するメモリを備えるようにして、そこに保持しておくことにより、高速に再処理が可能である。例えば、鮮鋭化処理部182だけを調整するときには、変形処理部141からの出力を、そのメモリに保持しておき、再利用すればよい。また、例えば、ジッタ加算部181の強さを調整する際には点描変形特性計算部142の出力を、そのメモリに保持しておき、再利用することが可能である。このようにすることで、筆触の強さの調整時には、一部の演算を省くことができるので、処理が高速化される。
また、筆触の強さ以外にも、探索範囲の大きさを変更することなとでも、出力画像の筆触の風合いを変化させることが可能である。例えば、図15に示されるように、探索範囲を大きくするほど、フィルタ特性のピクセルも大きくなり、粗い描写の筆触画像となる。
図15の例においては、左から順に、探索範囲を徐々に広く(大きく)した変形後の画像A、画像B、および画像Cが示されている。すなわち、3つの画像のうち、探索範囲が一番狭い画像Aは、一番細かい筆触の画像であり、探索範囲が一番広い画像Cは、一番粗い筆触の画像である。また、探索範囲が画像Aより広く画像Cより狭い画像Bの筆触は、画像Aよりも粗く、画像Cよりも細かい。
このように、点描変形特性計算部142に入力される探索範囲を調整するための調整部を点描変形特性計算部142や絵画調変換処理部136に備えるようにしてもよい。
[絵画調変換処理の流れ]
次に、図16のフローチャートを参照して、図12の絵画調変換処理部136が実行する絵画調変換処理について説明する。なお、この絵画調変換処理は、図7のステップS107における絵画調変換処理の一例であり、図8の絵画調変換処理の他の例である。
点描変形特性計算部142には、例えば、図1のCPU112や入力デバイス113などからランダムパターンと探索範囲が供給される。
ステップS161において、点描変形特性計算部142は、供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンである点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図9を参照して上述された変形特性計算処理と基本的に同様の処理であり、その説明は繰り返しになるので省略する。
点描変形特性計算部142は、計算した変形特性を、変形特性マップとして、変形処理部141に供給する。
ジッタ加算部181は、ステップS162において、CPU112などからのランダムパターンを用いて、YC変換処理部135から入力画像に対してジッタを加算(付与)する。ジッタ加算部181は、ジッタが付与された画像を、変形処理部141に供給する。
ステップS163において、変形処理部141は、点描変形特性計算部142からの変形特性マップに従って、ジッタ加算部181からの入力画像を変形する。この変形処理は、図11を参照して上述された変形処理と基本的に同様の処理であり、その説明は繰り返しになるので省略する。変形処理部141は、変形後の画像を、鮮鋭化処理部182に供給する。
鮮鋭化処理部182は、ステップS164において、変形後の画像に対して鮮鋭化処理を行う。この鮮鋭化処理は、図17を参照して後述される。ステップS164の処理により鮮鋭化された画像は、出力画像として後段に供給される。
[鮮鋭化処理の流れ]
次に、図17のフローチャートを参照して、図16のステップS164における鮮鋭化処理について説明する。
ステップS181において、ハイパスフィルタ191は、上述した図14の例に示される絵画調処理の種類や、タップ数に対応するフィルタ特性を設定する。
ステップS182において、ハイパスフィルタ191は、設定したフィルタ特性を用いて、入力画像の信号から高周波成分を抽出し、抽出した高周波成分の信号を、乗算器193に出力する。
ステップS183において、乗算器193は、ハイパスフィルタ191の高周波成分の信号に対して、減算器192からの1からゲインを減算した値を乗算することで、高周波成分をゲインで強調する。乗算器193は、ゲインで強調された高周波成分の信号を、加算器194に出力する。
ステップS184において、加算器194は、入力画像の信号と、強調された高周波成分の信号とを合成して、合成された画像を、変形処理部141に出力する。
以上のように、点描処理後の画像の筆触の強さも調整することができる。すなわち、点の間のコントラストと境界の明瞭さの、2つの特性で筆触の強さを調整することができる。換言するに、絵画調変換処理部136においては、これら2つの特性で筆触の強さを調整可能な調整部を備えることができる。
なお、筆触の風合いの調整は、画像処理に慣れていないユーザによっては非直感的である。そこで、画像処理に慣れていないユーザにも簡単に扱えるように、ユーザにとって直感的な観点で扱える、ユーザにより選択可能な、図18または図19に示すような調整ボタンを提示する。そして、ユーザの調整ボタンの選択に応じて、例えば、入力デバイス113などから得られる値がジッタや鮮鋭化や探索範囲の内部パラメータに変換される。この変換は、例えば、上述した調整部などにより、一次関数やテーブル演算により行われる。
図18は、ユーザが選択する調整ボタンと、探索範囲(点描半径)、ジッタ量(強さ)、および鮮鋭化(高域ゲイン)の各パラメータの関係を示す図である。
図18の例においては、ユーザにより「効果:強」ボタンが選択されると、その選択の入力は、探索範囲が5ピクセルであり、ジッタ量が±32であり、鮮鋭化が×1.5のパラメータに変換されることが示されている。すなわち、「効果:強」ボタンの入力は、強い筆触の効果が得られるようなパラメータに変換される。
また、ユーザにより「効果:中」ボタンが選択されると、その選択の入力は、探索範囲が3ピクセルであり、ジッタ量が±16であり、鮮鋭化が×1.4のパラメータに変換されることが示されている。すなわち、「効果:中」ボタンの入力は、筆触の効果が中ぐらいになるようなパラメータに変換される。
さらに、ユーザにより「効果:弱」ボタンが選択されると、その選択の入力は、探索範囲が2ピクセルであり、ジッタ量が0であり、鮮鋭化が×1.0のパラメータに変換されることが示されている。すなわち、「効果:弱」ボタンの入力は、弱い筆触の効果が得られるようなパラメータに変換される。
図19は、ユーザが選択する調整ボタンと、探索範囲(点描半径)、ジッタ量(強さ)、および鮮鋭化(高域ゲイン)の各パラメータの関係の他の例を示す図である。
図19の例においては、ユーザにより「繊細」ボタンが選択されると、その選択の入力は、探索範囲が2ピクセルであり、ジッタ量が±32であり、鮮鋭化が×1.0のパラメータに変換されることが示されている。すなわち、「繊細」ボタンの入力は、繊細な筆触の効果が得られるようなパラメータに変換される。
また、ユーザにより「大胆」ボタンが選択されると、その選択の入力は、探索範囲が5ピクセルであり、ジッタ量が±16であり、鮮鋭化が×1.2のパラメータに変換されることが示されている。すなわち、「大胆」ボタンの入力は、大胆な筆触の効果が得られるようなパラメータに変換される。
さらに、ユーザにより「明確」ボタンが選択されると、その選択の入力は、探索範囲が3ピクセルであり、ジッタ量が±32であり、鮮鋭化が×1.5のパラメータに変換されることが示されている。すなわち、「明確」ボタンの入力は、明確な筆触の効果が得られるようなパラメータに変換される。
以上のような調整ボタンを備える(表示制御する)ようにすることで、ユーザにも直感的に筆触の調整を行うことができる。
なお、上述した図3や図12の絵画調変換処理部136においては、変形処理部141と点描変形特性計算部142を別々のブロックとして示したが、変形処理部141と点描変形特性計算部142を1つのブロックとして実装してもよい。すなわち、図示は省略されているが、変形処理部141と点描変形特性計算部142には変形特性マップを記憶するメモリが備えられているが、このようにすることで、変形特性マップをメモリ上に保存する必要がなくなり、処理メモリを節約することができる。
また、上記説明においては、変形特性マップの生成と変形特性の適用の両方を組み合わせた処理を説明したが、変形特性マップを予め作成してメモリに記憶しておき、それを用いるように構成してもよい。すなわち、変形特性マップの生成と、変形特性マップの適用を分割した実装にしてもよい。なお、このメモリは、内部メモリであってもよいし、外部メモリであってもよい。
[絵画調変換処理部の他の構成例]
図20は、絵画調変換処理部136の構成例を示すブロック図である。図20に示される絵画調変換処理部136は、変換処理部141を備える点は、図3の絵画調変換処理部136と共通している。
絵画調変換処理部136は、点描変形特性計算部142が、メモリ195に入れ替わった点が、図3の絵画調変換処理部136と異なっている。
メモリ195は、本処理の前、あるいは、装置の出荷前など事前に、他の画像処理装置などに設けられた図4の構成の点描変形特性計算部142などにより予め計算された変形特性マップを記憶している。すなわち、変形特性マップは、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成されたものである。
変形処理部141には、YC変換処理部135からの入力画像と、メモリ195からの変形特性マップが供給される。変形処理部141は、メモリ195からの変形特性マップが示す変形特性に従って、YC変換処理部135からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
図20のように絵画調変形処理部を構成することもできる。このように構成することで、変形特性マップを生成するための計算の負荷を軽減したり、処理時間を短縮することができる。
さらに、上記説明においては、点描風の画像に変形する点描処理について説明したが、上述した点描処理だけでは、出力画像の点描にブラシの流れが感じられず、絵画らしさに乏しい。また、印象派風のブラシのストロークの表現が困難であるなど、表現力にも劣る。なお、ストロークとは、例えば、上述した印象派の画家に代表される、画家の手の動きや筆遣いの躍動感(リズム)を伝える運動感のある筆触のことをいう。
これに対して、次に、点描処理と筆の流れの表現を与える処理(ブラシストローク処理)とを組み合わせることで、より絵画らしい印象を持った出力を得る手法について説明する。なお、この点描処理とブラシストローク処理とを組み合わせた処理を、以下、油絵処理とも称する。また、以下、単に、ストロークと称しても、それは、ブラシストロークを意味しているものとする。
<第2の実施の形態>
[絵画調変換処理部の他の構成例]
図21は、絵画調変換処理部136の構成例を示すブロック図である。図21に示される絵画調変換処理部136は、点描風の空間パターンを生成するための変形特性を計算し、筆の流れに似た空間パターン(ストロークの空間パターン)を生成するための変形特性を計算し、計算された変形特性を用いた変形を入力画像に対して行う。
絵画調変換処理部136は、点描変形特性計算部201、ストローク変形特性計算部202、変形処理部203、変形処理部204、およびストローク方向計算部205を含むように構成される。
点描変形特性計算部201は、図3の点描変形特性計算部142と同様に、図1のCPU112などから供給されるランダムパターンと探索範囲を用いて、点描画風の空間パターンを生成するための変形特性を計算する。すなわち、点描変形特性計算部201は、探索範囲の中でランダムパターンが最小値となる画素への変形特性(相対位置)を計算する。点描変形特性計算部201は、計算した変形特性を、変形特性マップとして、変形処理部203に供給する。
点描変形特性計算部201は、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部202に出力するようにした点が、図3の点描変形特性計算部142と異なる。
ストローク変形特性計算部202には、点描変形特性計算部201からの点描パターンの画像と、ストローク方向計算部205からのブラシのストローク方向を示す信号(フローベクトル情報とも称する)が供給される。
ストローク変形特性計算部202は、フローベクトルを用いて、探索範囲を計算し、計算した探索範囲上で、供給される点描パターンの画像が最小値となる位置を検出する。ストローク変形特性計算部202は、最小値の探索が終了したら、最小値となった画素位置への変形特性(相対位置)を計算して、計算した変形特性を、変形特性マップとして変形処理部204に供給する。
変形処理部203は、図3の変形処理部141と同様に、図6で示したように構成される。変形処理部203は、点描変形特性計算部201からの変形特性マップに従って、YC変換処理部135からの入力画像に変形を行い、変形が行われた画像(点描画像)を、変形処理部204に供給する。
変形処理部204は、図3の変形処理部141と同様に、図6で示したように構成される。変形処理部204は、ストローク変形特性計算部202からの変形特性マップに従って、変形処理部203からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
ストローク方向計算部205は、YC変換処理部135からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部205は、計算したストローク方向の情報を、ストローク変形特性計算部202に供給する。ストローク方向計算部205においては、例えば、H.Kang,”Flow-based Image Abstraction”,2009や、J.E.Kyprianidis,”Image and Video Abstraction by Coherence-Enhancing Filtering”,2011などに記載されている手法が用いられる。
ストローク変形特性計算部202においては、このようにして計算されるフローベクトルを用いることにより、単に画像の輝度勾配を用いるのに比して、方向の安定した筆触を得ることができる。
[点描変形特性計算部の構成例]
図22は、点描変形特性計算部201の構成例を示すブロック図である。図22の点描変形特性計算部201は、LPF151、変形特性計算部153、および最小値座標検出部211を含むように構成されている。
図22の点描変形特性計算部201は、LPF151と変形特性計算部153を備えている点が図4の点描変形特性計算部142と共通している。なお、共通している部分については、繰り返しになるのでその説明を省略する。
図22の点描変形特性計算部201は、最小値座標検出部152の代わりに、最小値座標検出部211が追加されている点が図4の点描変形特性計算部142と異なっている。
最小値座標検出部211は、図4の最小値座標検出部152と同様に、選択した画素についての探索範囲が示す領域において、最小値を与える画素の座標(位置)を検出する。最小値座標検出部211は、選択した画素の座標と検出した座標とを、変形特性計算部153に供給する。
最小値座標検出部211は、図4の最小値座標検出部152と異なり、さらに、局所最小値をその探索範囲の領域に広げた、局所最小値の画像である点描パターンを、ストローク変形特性計算部202に出力する。
[ストローク変形特性計算部の構成例]
図23は、ストローク変形特性計算部202の構成例を示すブロック図である。図23の例においては、ストローク変形特性計算部202は、経路決定部221、最小値座標検出部222、および変形特性計算部223を含むように構成される。
経路決定部221には、ストローク方向計算部205からブラシのストローク方向の情報として、フローベクトル情報が供給される。フローベクトル情報は、各画素に対してそれぞれ定義されており、以降、画像に対するフローベクトル情報の集合を、フローベクトル画像とも適宜称する。経路決定部221は、ストローク方向計算部205からのフローベクトル情報から、探索範囲を計算し、計算した探索範囲を最小値座標検出部222に供給する。
さらに、最小値座標検出部222には、点描変形特性計算部201からの点描パターンが、入力画像として供給される。最小値座標検出部222は、探索範囲の経路上で、点描パターン画像が、最小値を与える画素の座標(位置)を検出する。最小値座標検出部222は、選択した画素の座標と検出した座標とを、変形特性計算部223に供給する。
変形特性計算部223は、ストロークの空間パターン(以下、単にストロークパターンとも称する)を生成するために、選択した画素の座標と検出した座標との差を計算し、計算された差を示す相対位置を変形特性マップとして、変形処理部204に供給する。
図24を参照して具体的に説明する。図24の例の左側には、図23の最小値座標検出部222に入力される局所最小値を持つ領域232を有する入力画像231と、図22の経路決定部221に入力されるフローベクトル情報233が示されている。
矢印1に示されるように、入力画像231に、選択画素(経路始点)234を通る、経路決定部221により決定された探索経路235(矢印)が示されている。最小値座標検出部222は、入力画像の局所最小値を持つ領域232における探索経路235上の画素を検出し、選択画素234の座標と、局所最小値の領域232の探索経路上の座標(以下、局所最小値の座標と称する)を、変形特性計算部223に供給する。
矢印2に示されるように、変形特性計算部223は、対象画素234の座標と、局所最小値の座標との差236を計算し、計算された差236を示す相対位置を変形特性マップとして、変形処理部204に供給する。
変形処理部204には、点描パターンにより局所最小値の画素が、局所最小値の領域232に変形された画像237が入力される。変形処理部204は、差236を示す相対位置である変形特性マップに従って、画像237に対して変形を行う。これにより、矢印3に示されるように、画像237の局所最小値の領域232が探索経路に沿った領域238に広げられる。
すなわち、処理全体を通して適用される変形を考えると、まず、変形処理部203においては、図5を参照して上述したように、入力画像161において局所最小値を持つ画素162の周辺の画素に変形特性164に従った変形が行われ、画素162の値が、探索範囲の領域163に広げられる(画素値を伝播させる)変形が行われる。
そして、変形処理部204においては、図24に示されるように、入力画像において、変形処理部203により広げられた局所最小値を持つ領域232の周辺の画素(探索経路に沿った領域238内の画素)では、差236を示す相対位置である変形特性マップに従った変形が行われて、領域232の画素が出力される。その結果、画像237に示されるように、領域232の値が、探索経路に沿った領域238に広げられる。すなわち、変形処理部204においては、入力画像において、変形処理部203により広げられた局所最小値を持つ領域232を、計算された変形特性236に従って、探索経路に沿った領域238に広げる変形が行われる。
以上のように構成することで、入力画像のランダムな位置の画素値を周囲に広げて、長さと幅とを持った筆触パターンを生成することができる。
[絵画調変換処理の流れ]
次に、図25のフローチャートを参照して、図21の絵画調変換処理部136による絵画調変換処理について説明する。なお、図25の絵画調変換処理は、図7のステップS107における絵画調変換処理の一例であり、図8および図16の絵画調変換処理の他の例である。
ストローク方向計算部205は、ステップS201において、YC変換処理部135からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部205からのストローク方向の情報は、ストローク変形特性計算部202に供給される。
点描変形特性計算部201には、例えば、図1のCPU112や入力デバイス113などからランダムパターンと探索範囲が供給される。点描変形特性計算部201は、ステップS202において、点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図9を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
ただし、点描変形特性計算部201は、図3の点描変形特性計算部142と異なり、計算した変形特性を、変形特性マップとして変形処理部141に供給するだけでなく、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部202に出力する。
ストローク変形特性計算部202には、点描変形特性計算部201からの点描パターンの画像と、ストローク方向計算部205からのブラシのストローク方向を示す信号(フローベクトルとも称する)が供給される。
ストローク変形特性計算部202は、ステップS203において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理については、図27を参照して後述する。
ストローク変形特性計算部202は、最小値となった画素位置への変形特性(相対位置)を計算して、計算した変形特性を、変形特性マップとして変形処理部204に供給する。
変形処理部203は、ステップS204において、点描変形特性計算部201からの変形特性マップが示す点描の変形特性に従って、YC変換処理部135からの入力画像に変形を行い、点描画像(変形が行われた画像)を得る。変形処理部203は、得た点描画像を、変形処理部204に供給する。
変形処理部204は、ステップS205において、ストローク変形特性計算部202からのストロークの変形特性マップに従って、変形処理部203からの入力画像(点描画像)を変形する。そして、変形処理部204は、変形が行われた画像を、出力画像として後段に供給する。
ここで、図26を参照して、ステップS204およびS205の変形処理について具体的に説明する。
図26の例においては、変形処理部203に入力される入力画像241、変形処理部203により変形され、変形処理部204に入力される点描画像242、変形処理部204により変形された画像243が示されている。
図26に示されるように、変形処理部203に入力される入力画像241の局所最小値の画素241aは、変形処理部203による変形(画素値の伝播)により領域242aに示されるように空間的に広げられる。
そして、領域242aは、変形処理部204による変形(画素値の伝播)により、領域243aに示されるように、供給されたフローベクトルの方向へこすったように引き延ばされる。
すなわち、画素が面状(2次元的)に変形されることで、粗いストロークパターン(長い筆触の画像)が完成する。
ステップS204およびS205においては、以上のように絵画調変形処理が行われる。
なお、ステップS204およびS205の各変形処理の詳細は、図11を参照して上述した変形処理と基本的に同様の処理を行うため、それらの詳細な説明は繰り返しになるので省略する。
次に、図27のフローチャートを参照して、図25のステップS203におけるストロークパターン変形特性処理について説明する。なお、本処理の説明においては、適宜、図28が参照される。
ステップS211において、最小値座標検出部222は、未処理画素(位置P)と、その画素Pに対応するフローの方向Dを取得する。
すなわち、最小値座標検出部222は、点描変形特性計算部201からの点描パターンである入力画像から未処理画素Pを取得する。また、最小値座標検出部222は、経路決定部221により決定された探索範囲から、その画素Pに対応するフローの方向Dを取得する。
なお、図28の例は、後述するステップS216直後の例が示されている。Pは始点の画素を表している。Dp,Dp´,Dm,Dm´は、フローベクトルであり、角度は180度しか持っていない。Ppは、プラス側の画素位置、Pmは、マイナス側の画素位置を表している。Pminは、最小値画素の位置を表している。
ステップS212において、最小値座標検出部222は、PpをPとし、PmをPとし、DpをDとし、Dmを−Dとし、PminをPとする。
ステップS213において、最小値座標検出部222は、次のサンプリング位置を計算する。具体的には、Pp+DpをPpとし、Pm+DmをPmにする。
最小値座標検出部222は、ステップS214において、I(Pp)<I(Pmin)、すなわち、Ppの画素値よりPminの画素値が小さいならば、PminをPbで更新する。
最小値座標検出部222は、ステップS215において、I(Pm)<I(Pmin)、すなわち、Ppの画素値よりPminの画素値が小さいならば、PminをPmで更新する。
最小値座標検出部222は、ステップS216において、PpおよびPmでのフローの方向Dp´およびDm´をそれぞれ取得する。
ステップS217において、最小値座標検出部222は、Dp´およびDm´の方向を整列して、DpおよびDmを更新する。すなわち、フローベクトルだけでは、次のトラッキング方向が定まらないので、フローを整列させる必要がある。
例えば、内積Dp・Dp´<0ならば、Dp←−Dp´とし、内積Dp・Dp´≧0ならば、Dp←Dp´とし、Dmについても同様に、内積Dm・Dm´<0ならば、Dm←−Dm´とし、内積Dm・Dm´≧0ならば、Dm←Dm´として、フローを整列させる。
なお、上記説明においては、フローの整列方法として内積を用いる方法を説明したが、他の方法を用いるようにしてもよい。
ステップS218において、最小値座標検出部222は、ストローク長さ分の計算が終了したか否かを判定する。ステップS218において、まだストローク長さ分の計算が終了していないと判定された場合、処理はステップS213に戻りそれ以降の処理が繰り返される。
ステップS218において、ストローク長さ分の計算が終了したと判定された場合、処理はステップS219に進む。変形特性計算部223は、ステップS219において、変形特性(Pmin−P)を、変形特性マップとして変形処理部204に出力する。
ステップS220において、最小値座標検出部222は、入力画像における全画素の計算が完了したか否かを判定する。ステップS220において、まだ全画素の計算が終了していないと判定された場合、処理はステップS201に戻りそれ以降の処理が繰り返される。
ステップS220において、ストローク長さ分の計算が終了したと判定された場合、ストロークパターン変形特性処理は終了される。
[効果の説明]
以上のようにして変形処理を行うことにより、上述した特許文献1および非特許文献1に記載の提案のように、望ましい出力画像を得るまでに繰り返しブラシの描画を行う方法(以下、繰り返し処理法と称する)と比して、処理時間を短縮することができる。
また、特許文献1および非特許文献1に記載の提案においては、筆触の方向を、対象画素での信号レベルの勾配(輝度勾配)に直交する方向にとっていた。このため、楕円や長い筆触の形状のブラシを用いると、画像に含まれるノイズが原因で筆触の方向が乱されて、美しいストロークが得られないことがあった。また、円形のブラシを用いた場合(=点描の場合)、ノイズによる筆触の方向の乱れの影響は受けないが、筆の流れが表現されないため、絵画感に乏しい結果になっていた。
これに対して、本技術によれば、フローベクトルを用いるようにしたので、単に画像の輝度勾配を用いるのに比して、方向の安定した筆触を得ることができる。
また、上述した繰り返し法以外のアルゴリズムとして、出力対象の画素に対して線分の経路上の最大値を移動させる処理と考えて、この移動特性を入力画像に適用できるようにした手法がR.Lukac,”Computational Photography:Methods and Applications,”CRC Press,2011,pp.386-387に記載されている。この手法は、Cross Continuous Glass Patterns(以下、CCGP)と呼ばれている。CCGPを用いると、任意の入力画像に対して、高速に筆触のパターンを与えることができる。
図29は、本技術と比較するための従来のCCGPの手法を説明する図である。図29の例においては、入力画像251、変形処理画像252、および出力画像253が示されている。
従来のCCGPにおいては、入力画像251におけるある画素251aについて、矢印252aのように長さが変形されることで、画素251aがライン253aに変形された出力画像253が得られる。
ただし、このCCGPでは、曲線状の変形を行うことができるが、細い筆触パターンしか得ることができなかった。すなわち、筆触の長さは調整可能であるが、筆触の幅(太さ)を調整することが困難であった。そのため、例えば、点描が表現できない、あるいは、効果が調整しにくいなど、実現可能な絵画効果が限定されてしまっていた。
図30の例においては、本技術による変形処理画像261および出力画像262が示されている。
図29を参照して上述したCCGPの手法に対して、本技術においては、図29の入力画像251における画素251aについて、長さと幅を有する面状の2次元領域262aに広げるための変形特性261aを生成することが可能である。これにより、画素251aが、2次元領域262aに変形された出力画像262を得ることができる。
すなわち、本技術においては、筆触パターンが幅を持つことができるので、CCGP手法よりも絵画らしい表現が可能になる。また、点描の大きさと筆触パターンの長さとを調整することにより、例えば、画家のジョルジュ・スーラの画風に似た点描風の処理や、印象派風の長い筆触(ブラシストロークの処理など、さまざまな筆触のバリエーションを、簡単に高速に実現することができる。
図31は、経路決定部221における探索範囲の例を示している。経路決定部221において、ストロークパターンの探索範囲を短く設定することにより、左側に示されるような点描風の短い筆触パターンを実現することができる。一方、ストロークパターンの探索範囲を長く設定することにより、右側に示されるようなストロークの長い筆触パターンを実現することができる。
図31の例においては、左から順に、探索範囲を徐々に長くした変形後の画像A、画像B、および画像Cが示されている。すなわち、3つの画像のうち、探索範囲が一番短い画像Aは、一番短い筆触の画像であり、探索範囲が一番長い画像Cは、一番長い筆触の画像である。また、探索範囲が画像Aより長く画像Cより短い画像Bの筆触は、画像Aよりも長く、画像Cよりも短い。
このように、経路決定部221で決定される探索範囲を設定することが可能な調整部をストローク変形特性計算部202や絵画調変換処理部136に備えるようにしてもよい。
なお、上記説明においては、点描の変形処理とストロークの変形処理とを行う例を説明したが、次に説明するように、変形特性を合成することにより、変形処理を1度だけ行うことも可能である。
[絵画調変換処理部の他の構成例]
図32は、絵画調変換処理部136の構成例を示すブロック図である。
図32の例において、絵画調変換処理部136は、点描変形特性計算部201、ストローク変形特性計算部202、ストローク方向計算部205、変形特性合成部301、および変形処理部302を含むように構成される。
図32の絵画調変換処理部136は、点描変形特性計算部201、ストローク変形特性計算部202、およびストローク方向計算部205を備える点は、図21の絵画調変換処理部136と共通している。なお、共通している部については、その説明が繰り返しになるので省略する。
図32の絵画調変換処理部136は、変形特性合成部301が追加された点、並びに、変形処理部203および204が、変形処理部302に入れ替わった点が、図21の絵画調変換処理部136と異なっている。
すなわち、変形特性合成部301は、点描変形特性計算部201により計算された点描の変形特性と、ストローク変形特性計算部202により計算されたストロークの変形特性とを入力し、その2つの特性を合成する。合成処理としては、例えば、変形特性のベクトルの足し算が行われる。変形特性合成部301は、合成した変形特性を、変形特性マップとして、変形処理部302に供給する。
変形処理部302は、図3の変形処理部141と同様に、図6で示したように構成される。変形処理部302は、変形特性合成部301からの変形特性マップに従って、YC変換処理部135からの入力画像に変形を行い、変形が行われた画像を、出力画像として後段に供給する。
[絵画調変換処理の流れ]
次に、図33のフローチャートを参照して、図32の絵画調変換処理部136による絵画調変換処理について説明する。なお、図32の絵画調変換処理は、図7のステップS107における絵画調変換処理の一例であり、図8、図16、および図25の絵画調変換処理の他の例である。
ストローク方向計算部205は、ステップS301において、YC変換処理部135からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部205からのストローク方向の情報(信号)は、ストローク変形特性計算部202に供給される。
点描変形特性計算部201には、例えば、図1のCPU112や入力デバイス113などからランダムパターンと探索範囲が供給される。点描変形特性計算部201は、ステップS302において、点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図9を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
ただし、点描変形特性計算部201は、図3の点描変形特性計算部142と異なり、計算した変形特性を、変形特性マップとして、変形処理部141に供給するだけでなく、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部202に出力する。
ストローク変形特性計算部202には、点描変形特性計算部201からの点描パターンの画像と、ストローク方向計算部205からのブラシのストローク方向を示す情報(フローベクトル)が供給される。
ストローク変形特性計算部202は、ステップS303において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理については、図27を参照して上述したストロークパターン変形特性計算処理と基本的に同様の処理を行い、繰り返しになるのでその説明は省略する。
ストローク変形特性計算部202は、最小値となった画素位置への変形特性(相対位置)を計算して、計算した変形特性を、変形特性マップとして変形処理部204に供給する。
変形特性合成部301は、ステップS304において、点描変形特性計算部201からの点描の変形特性と、ストローク変形特性計算部202からのストロークの変形特性を合成する。変形特性合成部301は、合成した変形特性を、変形特性マップとして変形処理部302に供給する。
変形処理部302は、ステップS305において、変形特性合成部301からの合成された変形特性マップに従って、YC変換処理部135からの入力画像を変形する。そして、変形処理部302、変形が行われた画像を、出力画像として後段に供給する。
以上のように、点描の変形特性と、ストロークの変形特性とを合成して、変形処理を1回で済ませてしまうことも可能である。このように構成することで、処理をさらに高速化することが可能である。
なお、上記説明においては、点描の変形を行うために点描の変形特性計算を行う例を示してきたが、次に説明するように、例えば、点描処理の代わりに、複数の方向の異なるストローク変形を組み合わせるようにすることも可能である。
[絵画調変換処理部の他の構成例]
図34は、絵画調変換処理部136の構成例を示すブロック図である。
図34の例において、絵画調変換処理部136は、ストローク変形特性計算部202、ストローク方向計算部205、変形特性合成部301、変形処理部302、90度回転部311、およびストローク変形特性計算部312を含むように構成される。
図34の絵画調変換処理部136は、ストローク変形特性計算部202、ストローク方向計算部205、変形特性合成部301、および変形処理部302を備える点は、図21の絵画調変換処理部136と共通している。なお、共通している部については、その説明が繰り返しになるので省略する。
図34の絵画調変換処理部136は、点描変形特性計算部201が除かれた点、並びに、90度回転部311およびストローク変形特性計算部312が追加された点が、図32の絵画調変換処理部136と異なっている。
すなわち、ストローク方向計算部205からのブラシのストローク方向の情報は、ストローク変形特性計算部202の他に、90度回転部311にも供給される。
90度回転部311は、ストローク方向計算部205からのブラシのストローク方向の情報を、90度回転する。なお、90度回転部311による回転角度は、ブラシのストローク方向と異なる方向となる角度であって、ストローク方向に対して厚みが付く角度であれば、90度に限定されない。90度回転部311は、90度に回転したブラシのストローク方向の情報を、ストローク変形特性計算部312に供給する。
ストローク変形特性計算部312には、さらに、例えば、図1のCPU112や入力デバイス113などからランダムパターンが供給される。
ストローク変形特性計算部312は、ストローク変形特性計算部202と同様に構成される。すなわち、ストローク変形特性計算部312は、図21を参照して上述したストローク変形特性計算部202の構成と基本的に同様に構成される。
ストローク変形特性計算部312は、90度回転されたフローベクトルを用いて、探索範囲を計算し、計算した探索範囲上で、供給されるランダムパターンの画像が最小値となる位置を検出する。ストローク変形特性計算部312は、最小値の探索が終了したら、最小値となった画素位置への変形特性(相対位置)を計算して、計算した変形特性を、変形特性マップとして変形特性合成部301に供給する。
また、ストローク変形特性計算部312は、局所最小値の画像からなる筆触パターン(すなわち、局所最小値をその探索範囲の領域に広げた、局所最小値の画像である筆触パターン)を、ストローク変形特性計算部202に出力する。
なお、図34の例においては、ストローク変形特性計算部312へ入力されるフローベクトルに対して回転させるように構成したが、それに代えて、ストローク変形特性計算部202へ入力されるフローベクトルを回転させるように構成してもよい。
[絵画調変換処理の流れ]
次に、図35のフローチャートを参照して、図34の絵画調変換処理部136による絵画調変換処理について説明する。なお、図35の絵画調変換処理も、図7のステップS107における絵画調変換処理の一例であり、図8、図16、図25、および図33の絵画調変換処理の他の例である。
ストローク方向計算部205は、ステップS311において、YC変換処理部135からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部205からのストローク方向の情報は、90度回転部311およびストローク変形特性計算部202に供給される。
90度回転部311は、ステップS312において、ストローク方向計算部205からのストローク方向の情報(フローベクトル)を90度回転する。90度回転部311は、90度回転したブラシのストローク方向の情報を、ストローク変形特性計算部312に供給する。
ストローク変形特性計算部312には、例えば、図1のCPU112や入力デバイス113などからランダムパターンが供給される。ストローク変形特性計算部312は、ステップS312において、90度回転後のブラシのストロークパターンを生成するための変形特性を計算する。この変形特性計算処理は、図27を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
ただし、ストローク変形特性計算部312は、計算した変形特性を、変形特性マップとして、変形特性合成部301に供給するだけでなく、局所最小値の画像からなる筆触パターンを、ストローク変形特性計算部202に出力する。
ストローク変形特性計算部202には、ストローク変形特性計算部312からの筆触パターンの画像と、ストローク方向計算部205からのブラシのストローク方向を示す信号が供給される。
ストローク変形特性計算部202は、ステップS314において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理については、図27を参照して上述したストロークパターン変形特性計算処理と基本的に同様の処理を行い、繰り返しになるのでその説明は省略する。
ストローク変形特性計算部202は、最小値となった画素位置への変形特性(相対位置)を計算して、計算した変形特性を、変形特性マップとして変形特性合成部301に供給する。
変形特性合成部301は、ステップS315において、ストローク変形特性計算部312からの90度回転したストロークの変形特性と、ストローク変形特性計算部202からのストロークの変形特性を合成する。変形特性合成部301は、合成した変形特性を、変形特性マップとして変形処理部302に供給する。
変形処理部302は、ステップS316において、変形特性合成部301からの合成された変形特性マップに従って、YC変換処理部135からの入力画像を変形する。そして、変形処理部302、変形が行われた画像を、出力画像として後段に供給する。
以上のように、2次元領域の変形特性を作るにあたり、点描の変形特性(2次元)とストロークの変形特性(1次元)を用いる代わりに、複数の方向の異なるストローク変形(1次元)を組み合わせて用いるようにしてもよい。
なお、点描の変形特性の代わりに、ストロークを回転させたものの変形特性を生成する場合でも、変形特性を合成せずに、変形処理を2回行う構成にすることも可能である。
[絵画調変換処理部の他の構成例]
図36は、絵画調変換処理部136の構成例を示すブロック図である。図36に示される絵画調変換処理部136は、図21の絵画調変換処理部136を拡張した例であり、図12の例と同様に、出力の筆触の強さを調整可能な構成を有している。
絵画調変換処理部136は、図21の絵画調変換処理部136と同様に、点描変形特性計算部201、ストローク変形特性計算部202、変形処理部203、変形処理部204、およびストローク方向計算部205を含むように構成される。
さらに、図36の絵画調変換処理部136は、図12の絵画調変換処理部136と同様に、ジッタ加算部181と鮮鋭化処理部182を有している。
図36の絵画調変換処理部136において、ジッタ加算部181は、変形処理部203の前段に備えられ、鮮鋭化処理部182は、変形処理部204の後段に備えられる。
YC変換処理部135からの入力画像は、ジッタ加算部181に供給される。また、ジッタ加算部181には、例えば、図1のCPU112などからランダムパターンが供給される。ジッタ加算部181は、ランダムパターンを用いて、入力画像に対してジッタを加算し、ジッタが加算された画像を、変形処理部203に供給する。
変形処理部203は、点描変形特性計算部201からの変形特性マップに従って、ジッタ加算部181からのジッタが加算された画像に変形を行い、変形が行われた画像を、変形処理部204に供給する。
変形処理部204は、図3の変形処理部141と同様に、図6で示したように構成される。変形処理部204は、ストローク変形特性計算部202からの変形特性マップに従って、変形処理部203からの入力画像に変形を行い、変形が行われた画像を、鮮鋭化処理部182に供給する。
鮮鋭化処理部182は、変形が行われた画像に対して鮮鋭化処理を行い、鮮鋭化された画像を、出力画像として後段に供給する。
このように構成すると、点描処理とストローク処理が組み合わされた油絵処理の場合においても、ジッタの強さを調整して、点描のそれぞれの点の色のばらつきを大きくすることができる。したがって、点の間のコントラストが高くなり、強い筆触が得られるようになる。すなわち、点の間のコントラストと、境界の明瞭さの2つの特性により、筆触の強さを調整することができる。
なお、図36の例においては、図21の絵画調変換処理部136を拡張し、出力の筆触の強さを調整可能な構成を有する例を示したが、図32や図34の絵画調変換処理部136を拡張し、出力の筆触の強さを調整可能な構成を有するようにすることも可能である。
[絵画調変換処理の流れ]
次に、図37のフローチャートを参照して、図36の絵画調変換処理部136が実行する絵画調変換処理について説明する。なお、図37の絵画調変換処理も、図7のステップS107における絵画調変換処理の一例である。また、図37の絵画調変換処理も、図8、図16、図25、図33、および図35の絵画調変換処理の他の例である。
ストローク方向計算部205は、ステップS351において、YC変換処理部135からの入力画像を用いて、ノイズの影響を受けにくいストローク方向の情報を計算する。ストローク方向計算部205からのストローク方向の情報は、ストローク変形特性計算部202に供給される。
点描変形特性計算部201には、例えば、図1のCPU112や入力デバイス113などからランダムパターンと探索範囲が供給される。点描変形特性計算部201は、ステップS352において、点描パターンを生成するための変形特性を計算する。この変形特性計算処理は、図9を参照して上述した変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
点描変形特性計算部201は、計算した変形特性を、変形特性マップとして、変形処理部141に供給し、局所最小値の画像からなる点描パターンを、ストローク変形特性計算部202に出力する。
ストローク変形特性計算部202には、点描変形特性計算部201からの点描パターンの画像と、ストローク方向計算部205からのブラシのストローク方向を示す信号が供給される。
ストローク変形特性計算部202は、ステップS353において、ブラシのストロークパターンを生成するための変形特性を計算する。このストロークパターン変形特性計算処理は、図27を参照して上述したストロークパターン変形特性計算処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。
ストローク変形特性計算部202は、最小値となった画素位置への変形特性(相対位置)を計算して、計算した変形特性を、変形特性マップとして変形処理部204に供給する。
ジッタ加算部181は、ステップS354において、CPU112などからのランダムパターンを用いて、YC変換処理部135から入力画像に対してジッタを加算する。ジッタ加算部181は、ジッタが加算された画像を、変形処理部203に供給する。
ステップS355において、変形処理部203は、点描変形特性計算部201からの変形特性マップが示す点描の変形特性に従って、ジッタ加算部181からの入力画像に変形を行い、点描画像(変形が行われた画像)を得る。変形処理部203は、得た点描画像を、変形処理部204に供給する。
変形処理部204は、ステップS356において、ストローク変形特性計算部202からのストロークの変形特性マップに従って、変形処理部203からの入力画像(点描画像)を変形する。そして、変形処理部204は、変形が行われた画像を、鮮鋭化処理部182に供給する。
鮮鋭化処理部182は、ステップS357において、変形後の画像に対して鮮鋭化処理を行う。この鮮鋭化処理は、図17を参照して上述した鮮鋭化処理と基本的にほぼ同様の処理を行うので、その詳細な説明は省略する。ステップS164の処理により鮮鋭化された画像は、出力画像として後段に供給される。
図38は、ユーザが選択する調整ボタンと、探索範囲(点描半径)、ジッタ量(強さ)、および鮮鋭化(高域ゲイン)の各パラメータの関係の他の例を示す図である。なお、図38の例は、図18および図19を参照して上述した調整ボタンの他の例である。
図38の例においては、ユーザによる「点描」ボタンの選択の入力は、探索範囲(点描半径)が3ピクセルであり、探索範囲(ストローク長さ)が3ピクセルであり、ジッタ量(強さ)が±32であり、鮮鋭化(高域ゲイン)が×1.2のパラメータに変換されることが示されている。すなわち、「点描」ボタンの入力は、点描の効果が得られるようなパラメータに変換される。
また、ユーザによる「印象派」ボタンの選択の入力は、探索範囲(点描半径)が3ピクセルであり、探索範囲(ストローク長さ)が15ピクセルであり、ジッタ量(強さ)が±16であり、鮮鋭化(高域ゲイン)が×1.4のパラメータに変換されることが示されている。すなわち、「印象派」ボタンの入力は、印象派風な効果が得られるようなパラメータに変換される。
さらに、ユーザにより「印象派(強)」ボタンの選択の入力は、探索範囲(点描半径)が5ピクセルであり、探索範囲(ストローク長さ)が21ピクセルであり、ジッタ量(強さ)が±32であり、鮮鋭化(高域ゲイン)が×1.4のパラメータに変換されることが示されている。すなわち、「印象派」ボタンの入力は、印象派風な効果が得られるようなパラメータに変換される。
点描処理とストローク処理とを組み合わせた場合でも、以上のような調整ボタンを備える(表示制御する)ようにすることで、ユーザにも直感的に筆触の調整を行うことができる。
以上のように、本技術においては、ある画素の値が、2次元領域に広がるような変形特性(相対位置)に従って画像が変形される。すなわち、変形特性に従って、局所最小値がその局所に伝播される。
これにより、従来のような繰り返し処理と比して、絵画調の効果を高速に得ることができる。特に、安定した流れのある絵画の効果を高速に得ることができる。
また、点描分の絵画効果から、長い筆触での絵画効果まで、効果を連続的に選ぶことも可能である。さらに、パラメータの調整により、絵画調の効果に、様々なバリエーションを付けることができる。
また、メモリを備えることで、途中計算結果を再利用できる。これにより、処理パラメータを変更した際の結果を高速に得ることができる。
なお、上記説明においては、例えば、図18、図19、および図38などを参照して、ユーザ入力に対して、内部パラメータに変換し、絵画調効果を調整する例を説明した。しかしながら、例えば、画像に複数の被写体(例えば、人物と風景)が含まれる場合など、画像の部分部分に応じて絵画調効果を調整したい場合がある。
このような場合には、画像の画素毎に内部パラメータを切り替えてもよい。この内部パラメータの切替により、被写体に応じた好ましい処理結果が得られる。すなわち、各画素に対してパラメータを定義したデータを予め記憶しておけばよい。
この方法を用いることにより、例えば、エッジ近辺では筆触の幅・長さを小さくして細かい描写とすることができたり、顔の領域では筆触を弱く(ジッタ量と鮮鋭化強度を減らす)して滑らかな出力を得ることができるようになる。
なお、本技術の根幹は、ある画素の値が幅・長さを持った2次元領域に広がる(伝播する)ような変形特性で画像を変形する点、および、2次元領域に広がる(伝播する)ような変形特性を生成する点にあり、上述した構成はあくまで一例であり、他の構成もとることができる。
また、上記説明においては、デジタルビデオカメラにおいて変形処理を行う例を説明したが、デジタルビデオカメラに限定されない。例えば、画像処理を行うコンピュータや、パーソナルコンピュータで上述した処理が行われるようにしてもよい。さらに、上述した処理をサーバで行うようにしてもよい。例えば、画像データを、ネットワークを介して、サーバに転送して、サーバ上で変形処理を行うようにすることも可能である。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
<第3の実施の形態>
[コンピュータの構成例]
図39は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図39の例においては、コンピュータの一例として、パーソナルコンピュータ700の構成例が示されている。パーソナルコンピュータ700において、CPU(Central Processing Unit)701、ROM(Read Only Memory)702、RAM(Random Access Memory)703は、バス704により相互に接続されている。
バス704には、さらに、入出力インタフェース710が接続されている。入出力インタフェース710には、入力部711、出力部712、記憶部713、通信部714、およびドライブ715が接続されている。
入力部711は、キーボード、マウス、マイクロホンなどよりなる。出力部712は、ディスプレイ、スピーカなどよりなる。記憶部713は、ハードディスクや不揮発性のメモリなどよりなる。通信部714は、ネットワークインタフェースなどよりなる。ドライブ715は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア721を駆動する。
以上のように構成されるパーソナルコンピュータ700では、CPU701が、例えば、記憶部713に記憶されているプログラムを入出力インタフェース710及びバス704を介してRAM703にロードして実行することにより、上述した一連の処理が行われる。
パーソナルコンピュータ700(CPU701)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア721に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
パーソナルコンピュータ700では、プログラムは、リムーバブルメディア721をドライブ715に装着することにより、入出力インタフェース710を介して、記憶部713にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部714で受信し、記憶部713にインストールすることができる。その他、プログラムは、ROM702や記憶部713に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムの用語は、複数の装置、ブロック、手段などにより構成される全体的な装置を意味するものである。
なお、本技術における実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
(1) 画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部を
備える画像処理装置。
(2) 前記変形特性情報を生成する変形特性生成部を
さらに備える前記(1)に記載の画像処理装置。
(3) 前記変形特性生成部は、
ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する点描変形特性生成部と、
ストローク方向の情報から求められる探索範囲を用いて、ストロークの変形特性情報を生成するストローク変形特性生成部と
を備える前記(2)に記載の画像処理装置。
(4) 前記点描変形特性生成部は、
前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
を備え、
前記ストローク変形特性生成部は、
前記ストローク方向の情報から前記探索範囲を決定する探索範囲決定部と、
前記点描座標検出部により座標が検出された画素の値からなる点描パターン画像上の画素についての前記探索範囲内で、最小値または最大値となる画素の座標を検出するストローク座標検出部と、
前記点描パターン画像上の画素と、前記ストローク座標検出部により座標が検出された画素との位置関係を計算し、前記ストロークの変形特性情報を生成するストローク変形特性計算部と
を備える前記(3)に記載の画像処理装置。
(5) 前記点描の変形特性情報と、前記ストロークの変形特性情報とを合成する変形特性合成部
をさらに備え、
前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
前記(3)または(4)に記載の画像処理装置。
(6) 前記変形処理部は、
前記点描変形特性生成部により生成された前記点描の変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する点描変形処理部と、
前記ストローク変形特性生成部により生成された前記ストロークの変形特性情報に基づいて、前記点描変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記点描変形処理部により変形された画像を変形するストローク変形処理部と
を備える前記(3)または(4)に記載の画像処理装置。
(7) 前記点描の変形特性情報が示す特性の調整を行う点描変形特性調整部と、
前記ストロークの変形特性情報が示す特性の調整を行うストローク変形特性調整部と
をさらに備える前記(3)乃至(6)のいずれかに記載の画像処理装置。
(8) 前記点描の変形特性情報が示す特性の調整の度合いと前記ストロークの変形特性情報が示す特性の調整の度合いの複数の組み合わせを選択するための選択手段
をさらに備え、
前記点描変形特性調整部および前記ストローク変形特性調整部は、ユーザによる前記組み合わせの選択に応じて、前記点描の変形特性情報が示す特性の調整および前記ストロークの変形特性情報が示す特性の調整をそれぞれ行う
前記(7)に記載の画像処理装置。
(9) 前記変形特性生成部は、
ランダムパターン画像と第1のストローク方向の情報から求められる第1の探索範囲とを用いて、第1のストロークの変形特性情報を生成する第1のストローク変形特性生成部と、
前記第1のストローク方向の情報が回転された情報である第2のストローク方向の情報から求められる第2の探索範囲を用いて、第2のストロークの変形特性情報を生成する第2のストローク変形特性生成部と
を備える前記(2)に記載の画像処理装置。
(10) 前記第1のストローク変形特性生成部は、
前記第1のストローク方向の情報から前記第1の探索範囲を決定する第1の探索範囲決定部と、
前記ランダムパターン画像上の画素についての前記第1の探索範囲内で、最小値または最大値となる画素の座標を検出する第1の座標検出部と、
前記ランダムパターン画像上の画素と、前記第1の座標検出部により座標が検出された画素との位置関係を計算し、前記第1のストロークの変形特性情報を生成する第1のストローク変形特性計算部と
を備え、
前記第2のストローク変形特性生成部は、
前記第2のストローク方向の情報から前記第2の探索範囲を決定する第2の探索領域決定部と、
前記第1の座標検出部により座標が検出された画素の値からなるストロークパターン画像上の画素についての前記第2の探索範囲内で、最小値または最大値となる画素の座標を検出する第2の座標検出部と、
前記ストロークパターン画像上の画素と、前記第2の座標検出部により座標が検出された画素の位置関係を計算し、前記第2のストロークの変形特性情報を生成する第2のストローク変形特性計算部と
を備える前記(9)に記載の画像処理装置。
(11) 前記第1のストロークの変形特性情報と、前記第2のストロークの変形特性情報とを合成する変形特性合成部
をさらに備え、
前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
前記(9)または(10)に記載の画像処理装置。
(12) 前記変形処理部は、
前記第1のストローク変形特性生成部により生成された前記第1のストロークの変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する第1の変形処理部と、
前記第2のストローク変形特性生成部により生成された前記第2のストロークの変形特性情報に基づいて、前記第1のストロークの変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記第1のストロークの変形処理部により変形された画像を変形する第2の変形処理部と
を備える前記(9)または(10)に記載の画像処理装置。
(13) 前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する
前記(2)に記載の画像処理装置。
(14) 前記変形特性生成部は、
前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
を備える前記(13)に記載の画像処理装置。
(15) 前記変形処理部に入力される前記入力画像に対してジッタを加算するジッタ加算部と、
前記変形処理部により変形された画像に対して高域強調処理を行う鮮鋭化処理部と
をさらに備える前記(1)乃至(14)のいずれかに記載の画像処理装置。
(16) 前記変形特性情報が示す特性を調整する変形特性調整部と、
前記ジッタおよび前記高域強調処理の強弱の調整を行う強弱調整部と
をさらに備える前記(15)に記載の画像処理装置。
(17) 前記変形特性情報が示す特性の調整の度合い、並びに前記ジッタおよび前記高域強調処理の調整の度合いの複数の組み合わせを選択するための選択手段を
さらに備え、
前記変形特性調整部および前記強弱調整部は、ユーザによる前記組み合わせの選択に応じて、前記変形特性情報が示す特性の調整、並びに前記ジッタおよび前記高域強調処理の前記強弱の調整をそれぞれ行う
前記(16)に記載の画像処理装置。
(18) 前記変形特性生成部により生成された前記変形特性情報を保持するメモリ
をさらに備える前記(2)乃至(17)のいずれかに記載の画像処理装置。
(19) 前記変形特性情報を保持するメモリ
をさらに備える前記(1)に記載の画像処理装置。
(20) 前記変形特性情報は、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成される
前記(19)に記載の画像処理装置。
(21) 画像処理装置が、
画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
画像処理方法。
(22) 画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部
として、コンピュータを機能させるプログラム。
100 デジタルビデオカメラ, 112 CPU, 113 入力デバイス, 136 絵画調変換処理部, 141 変形処理部, 142 点描変形特性計算部, 151 LPF, 152 最小値座標検出部, 153 変形特性計算部, 171 変形部, 181 ジッタ加算部、 182 鮮鋭化処理部, 191 ハイパスフィルタ, 192 減算器, 193 乗算器, 194 加算器, 201 点描変形特性計算部, 202 ストローク変形特性計算部, 203 変形処理部, 204 変形処理部, 205 ストローク方向計算部, 211 最小値座標検出部, 221 経路決定部, 222 最小値座標検出部, 223 変形特性計算部, 301 変形特性合成部, 302 変形処理部, 311 90度回転部, 312 ストローク変形特性計算部

Claims (22)

  1. 画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部を
    備える画像処理装置。
  2. 前記変形特性情報を生成する変形特性生成部を
    さらに備える請求項1に記載の画像処理装置。
  3. 前記変形特性生成部は、
    ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する点描変形特性生成部と、
    ストローク方向の情報から求められる探索範囲を用いて、ストロークの変形特性情報を生成するストローク変形特性生成部と
    を備える請求項2に記載の画像処理装置。
  4. 前記点描変形特性生成部は、
    前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
    前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
    を備え、
    前記ストローク変形特性生成部は、
    前記ストローク方向の情報から前記探索範囲を決定する探索範囲決定部と、
    前記点描座標検出部により座標が検出された画素の値からなる点描パターン画像上の画素についての前記探索範囲内で、最小値または最大値となる画素の座標を検出するストローク座標検出部と、
    前記点描パターン画像上の画素と、前記ストローク座標検出部により座標が検出された画素との位置関係を計算し、前記ストロークの変形特性情報を生成するストローク変形特性計算部と
    を備える請求項3に記載の画像処理装置。
  5. 前記点描の変形特性情報と、前記ストロークの変形特性情報とを合成する変形特性合成部
    をさらに備え、
    前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
    請求項3に記載の画像処理装置。
  6. 前記変形処理部は、
    前記点描変形特性生成部により生成された前記点描の変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する点描変形処理部と、
    前記ストローク変形特性生成部により生成された前記ストロークの変形特性情報に基づいて、前記点描変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記点描変形処理部により変形された画像を変形するストローク変形処理部と
    を備える請求項3に記載の画像処理装置。
  7. 前記点描の変形特性情報が示す特性の調整を行う点描変形特性調整部と、
    前記ストロークの変形特性情報が示す特性の調整を行うストローク変形特性調整部と
    をさらに備える請求項3に記載の画像処理装置。
  8. 前記点描の変形特性情報が示す特性の調整の度合いと前記ストロークの変形特性情報が示す特性の調整の度合いの複数の組み合わせを選択するための選択手段
    をさらに備え、
    前記点描変形特性調整部および前記ストローク変形特性調整部は、ユーザによる前記組み合わせの選択に応じて、前記点描の変形特性情報が示す特性の調整および前記ストロークの変形特性情報が示す特性の調整をそれぞれ行う
    請求項7に記載の画像処理装置。
  9. 前記変形特性生成部は、
    ランダムパターン画像と第1のストローク方向の情報から求められる第1の探索範囲とを用いて、第1のストロークの変形特性情報を生成する第1のストローク変形特性生成部と、
    前記第1のストローク方向の情報が回転された情報である第2のストローク方向の情報から求められる第2の探索範囲を用いて、第2のストロークの変形特性情報を生成する第2のストローク変形特性生成部と
    を備える請求項2に記載の画像処理装置。
  10. 前記第1のストローク変形特性生成部は、
    前記第1のストローク方向の情報から前記第1の探索範囲を決定する第1の探索範囲決定部と、
    前記ランダムパターン画像上の画素についての前記第1の探索範囲内で、最小値または最大値となる画素の座標を検出する第1の座標検出部と、
    前記ランダムパターン画像上の画素と、前記第1の座標検出部により座標が検出された画素との位置関係を計算し、前記第1のストロークの変形特性情報を生成する第1のストローク変形特性計算部と
    を備え、
    前記第2のストローク変形特性生成部は、
    前記第2のストローク方向の情報から前記第2の探索範囲を決定する第2の探索領域決定部と、
    前記第1の座標検出部により座標が検出された画素の値からなるストロークパターン画像上の画素についての前記第2の探索範囲内で、最小値または最大値となる画素の座標を検出する第2の座標検出部と、
    前記ストロークパターン画像上の画素と、前記第2の座標検出部により座標が検出された画素の位置関係を計算し、前記第2のストロークの変形特性情報を生成する第2のストローク変形特性計算部と
    を備える請求項9に記載の画像処理装置。
  11. 前記第1のストロークの変形特性情報と、前記第2のストロークの変形特性情報とを合成する変形特性合成部
    をさらに備え、
    前記変形処理部は、前記変形特性合成部により合成された変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
    請求項9に記載の画像処理装置。
  12. 前記変形処理部は、
    前記第1のストローク変形特性生成部により生成された前記第1のストロークの変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する第1の変形処理部と、
    前記第2のストローク変形特性生成部により生成された前記第2のストロークの変形特性情報に基づいて、前記第1のストロークの変形処理部により変形された画像の各画素の値を前記伝播領域に伝播することで、前記第1のストロークの変形処理部により変形された画像を変形する第2の変形処理部と
    を備える請求項9に記載の画像処理装置。
  13. 前記変形特性生成部は、ランダムパターン画像と所定の探索範囲とを用いて、点描の変形特性情報を生成する
    請求項2に記載の画像処理装置。
  14. 前記変形特性生成部は、
    前記ランダムパターン画像上の画素についての前記所定の探索範囲内で、最小値または最大値となる画素の座標を検出する点描座標検出部と、
    前記ランダムパターン画像上の画素と、前記点描座標検出部により座標が検出された画素との位置関係を計算し、前記点描の変形特性情報を生成する点描変形特性計算部と
    を備える請求項13に記載の信号処理装置。
  15. 前記変形処理部に入力される前記入力画像に対してジッタを加算するジッタ加算部と、
    前記変形処理部により変形された画像に対して高域強調処理を行う鮮鋭化処理部と
    をさらに備える請求項1に記載の画像処理装置。
  16. 前記変形特性情報が示す特性を調整する変形特性調整部と、
    前記ジッタおよび前記高域強調処理の強弱の調整を行う強弱調整部と
    をさらに備える請求項15に記載の画像処理装置。
  17. 前記変形特性情報が示す特性の調整の度合い、並びに前記ジッタおよび前記高域強調処理の調整の度合いの複数の組み合わせを選択するための選択手段を
    さらに備え、
    前記変形特性調整部および前記強弱調整部は、ユーザによる前記組み合わせの選択に応じて、前記変形特性情報が示す特性の調整、並びに前記ジッタおよび前記高域強調処理の前記強弱の調整をそれぞれ行う
    請求項16に記載の画像処理装置。
  18. 前記変形特性生成部により生成された前記変形特性情報を保持するメモリ
    をさらに備える請求項2に記載の画像処理装置。
  19. 前記変形特性情報を保持するメモリ
    をさらに備える請求項1に記載の画像処理装置。
  20. 前記変形特性情報は、ランダムパターン画像上の画素についての所定の探索範囲内で、最小値または最大値となる画素の座標が検出され、前記座標が検出された画素と、前記ランダムパターン画像上の画素との位置関係が計算されることにより生成される
    請求項19に記載の画像処理装置。
  21. 画像処理装置が、
    画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する
    画像処理方法。
  22. 画素位置毎にランダムに異なる変形特性で入力画像を変形するための情報であって、各画素を大きさと方向がランダムに異なる2次元の伝播領域に伝播させるための変形特性情報に基づいて、前記入力画像の各画素の値を前記伝播領域に伝播することで、前記入力画像を変形する変形処理部
    として、コンピュータを機能させるプログラム。
JP2011191760A 2011-09-02 2011-09-02 画像処理装置および方法、並びにプログラム Withdrawn JP2013055472A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011191760A JP2013055472A (ja) 2011-09-02 2011-09-02 画像処理装置および方法、並びにプログラム
US13/592,470 US9396558B2 (en) 2011-09-02 2012-08-23 Image processing apparatus and method, and program
CN 201210315372 CN102984526A (zh) 2011-09-02 2012-08-27 图像处理装置和方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011191760A JP2013055472A (ja) 2011-09-02 2011-09-02 画像処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2013055472A true JP2013055472A (ja) 2013-03-21

Family

ID=47753236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011191760A Withdrawn JP2013055472A (ja) 2011-09-02 2011-09-02 画像処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US9396558B2 (ja)
JP (1) JP2013055472A (ja)
CN (1) CN102984526A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022511064A (ja) * 2018-12-05 2022-01-28 ソニーグループ株式会社 パッチャーツール

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10544905B2 (en) 2014-09-28 2020-01-28 Zhejiang Super Lighting Electric Appliance Co., Ltd. LED bulb lamp
US10240724B2 (en) 2015-08-17 2019-03-26 Zhejiang Super Lighting Electric Appliance Co., Ltd. LED filament
US9995474B2 (en) 2015-06-10 2018-06-12 Jiaxing Super Lighting Electric Appliance Co., Ltd. LED filament, LED filament assembly and LED bulb
US10473271B2 (en) 2015-08-17 2019-11-12 Zhejiang Super Lighting Electric Appliance Co., Ltd. LED filament module and LED light bulb
US10677396B2 (en) 2006-07-22 2020-06-09 Jiaxing Super Lighting Electric Appliance Co., Ltd LED light bulb with symmetrical filament
US10655792B2 (en) 2014-09-28 2020-05-19 Zhejiang Super Lighting Electric Appliance Co., Ltd. LED bulb lamp
US10487987B2 (en) 2015-08-17 2019-11-26 Zhejiang Super Lighting Electric Appliance Co., Ltd. LED filament
JP2013246460A (ja) * 2012-05-23 2013-12-09 Sony Corp 画像処理装置、画像処理方法、およびプログラム
KR20150090634A (ko) * 2014-01-29 2015-08-06 삼성전자주식회사 디스플레이 구동 집적회로, 디스플레이 장치 및 디스플레이 구동 집적회로의 동작 방법
US10982816B2 (en) 2014-09-28 2021-04-20 Zhejiang Super Lighting Electric Appliance Co., Ltd LED light bulb having uniform light emmision
US11259372B2 (en) 2015-06-10 2022-02-22 Zhejiang Super Lighting Electric Appliance Co., Ltd High-efficiency LED light bulb with LED filament therein
US10784428B2 (en) 2014-09-28 2020-09-22 Zhejiang Super Lighting Electric Appliance Co., Ltd. LED filament and LED light bulb
US11525547B2 (en) 2014-09-28 2022-12-13 Zhejiang Super Lighting Electric Appliance Co., Ltd LED light bulb with curved filament
US11690148B2 (en) 2014-09-28 2023-06-27 Zhejiang Super Lighting Electric Appliance Co., Ltd. LED filament and LED light bulb
US11015764B2 (en) 2014-09-28 2021-05-25 Zhejiang Super Lighting Electric Appliance Co., Ltd LED light bulb with flexible LED filament having perpendicular connecting wires
US10845008B2 (en) 2014-09-28 2020-11-24 Zhejiang Super Lighting Electric Appliance Co., Ltd. LED filament and LED light bulb
US11073248B2 (en) 2014-09-28 2021-07-27 Zhejiang Super Lighting Electric Appliance Co., Ltd. LED bulb lamp
US11085591B2 (en) 2014-09-28 2021-08-10 Zhejiang Super Lighting Electric Appliance Co., Ltd LED light bulb with curved filament
US11686436B2 (en) 2014-09-28 2023-06-27 Zhejiang Super Lighting Electric Appliance Co., Ltd LED filament and light bulb using LED filament
US11421827B2 (en) 2015-06-19 2022-08-23 Zhejiang Super Lighting Electric Appliance Co., Ltd LED filament and LED light bulb
US10976009B2 (en) 2014-09-28 2021-04-13 Zhejiang Super Lighting Electric Appliance Co., Ltd LED filament light bulb
US11543083B2 (en) 2014-09-28 2023-01-03 Zhejiang Super Lighting Electric Appliance Co., Ltd LED filament and LED light bulb
US11028970B2 (en) 2014-09-28 2021-06-08 Zhejiang Super Lighting Electric Appliance Co., Ltd LED filament light bulb having organosilicon-modified polyimide resin composition filament base layer
CN104463795B (zh) * 2014-11-21 2017-03-01 高韬 一种点阵式dm二维码图像处理方法及装置
US11168844B2 (en) 2015-08-17 2021-11-09 Zhejiang Super Lighting Electric Appliance Co., Ltd LED light bulb having filament with segmented light conversion layer
GB2543139B (en) 2015-08-17 2018-05-23 Jiaxing Super Lighting Electric Appliance Co Ltd LED light bulb and LED filament thereof
US10359152B2 (en) 2015-08-17 2019-07-23 Zhejiang Super Lighting Electric Appliance Co, Ltd LED filament and LED light bulb
WO2019129034A1 (zh) 2017-12-26 2019-07-04 嘉兴山蒲照明电器有限公司 发光二极管灯丝及发光二极管球泡灯
US10790419B2 (en) 2017-12-26 2020-09-29 Jiaxing Super Lighting Electric Appliance Co., Ltd LED filament and LED light bulb
CN108846793B (zh) * 2018-05-25 2022-04-22 深圳市商汤科技有限公司 基于图像风格转换模型的图像处理方法和终端设备
US11270474B2 (en) * 2018-12-05 2022-03-08 Sony Corporation Screen-tone look generator
CN109859165B (zh) * 2018-12-24 2023-06-09 新绎健康科技有限公司 一种取脉点的定位方法及装置
US11295494B2 (en) * 2019-06-26 2022-04-05 Adobe Inc. Image modification styles learned from a limited set of modified images

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661463B1 (en) * 1983-05-09 2003-12-09 David Michael Geshwind Methods and devices for time-varying selection and arrangement of data points with particular application to the creation of NTSC-compatible HDTV signals
US4979380A (en) * 1989-09-12 1990-12-25 Sakowski And Robbins Corporation Automated dye pattern application system
US5035018A (en) * 1989-09-12 1991-07-30 Sakowski And Robbins Corporation Method of applying dye
US5033700A (en) * 1989-09-12 1991-07-23 Sakowski & Robbins Corp. Automated dye pattern application system
GB9316214D0 (en) * 1993-08-05 1993-09-22 Philips Electronics Uk Ltd Image processing
US5778105A (en) * 1994-01-14 1998-07-07 R.R. Donnelley & Sons Company Method of and apparatus for removing artifacts from a reproduction
US5621868A (en) 1994-04-15 1997-04-15 Sony Corporation Generating imitation custom artwork by simulating brush strokes and enhancing edges
JP2910588B2 (ja) * 1994-10-20 1999-06-23 ブラザー工業株式会社 デ−タ変換装置
US6081621A (en) * 1996-10-01 2000-06-27 Canon Kabushiki Kaisha Positioning templates in optical character recognition systems
US6948794B2 (en) * 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
US6268865B1 (en) * 1998-01-13 2001-07-31 Disney Enterprises, Inc. Method and apparatus for three-dimensional painting
US6011536A (en) * 1998-04-17 2000-01-04 New York University Method and system for generating an image having a hand-painted appearance
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
CA2364601A1 (en) * 2001-12-03 2003-06-03 Utar Scientific Inc. Computer-assisted hologram forming method and apparatus
US6784856B2 (en) * 2001-12-13 2004-08-31 International Business Machines Corp. System and method for anti-moire display
US6934422B2 (en) * 2001-12-18 2005-08-23 Honeywell International Inc. Methods, data, and systems to warp an image
JP4329409B2 (ja) * 2003-05-23 2009-09-09 株式会社ニコン 電子カメラのシェーディング補正回路
US7322664B2 (en) * 2003-09-04 2008-01-29 Seiko Epson Corporation Printing with limited types of dots
US7822233B2 (en) * 2003-11-14 2010-10-26 Fujifilm Corporation Method and apparatus for organizing digital media based on face recognition
JP4328224B2 (ja) * 2004-01-26 2009-09-09 オリンパス株式会社 結像光学系の結像性能評価方法及び装置
US8131108B2 (en) * 2005-04-22 2012-03-06 Broadcom Corporation Method and system for dynamic contrast stretch
US20070115270A1 (en) * 2005-11-23 2007-05-24 Rai Barinder S Image manipulation apparatus
JP4337857B2 (ja) * 2006-09-28 2009-09-30 ソニー株式会社 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置
US20090153811A1 (en) * 2007-11-11 2009-06-18 Mark Stephen Braiman Cooperative Pointillistic Projection of a Graphical Image on a Pre-Selected Remote Surface by Using a Multiplicity of Lasers
JP4849073B2 (ja) * 2008-01-16 2011-12-28 セイコーエプソン株式会社 画像処理コントローラおよび印刷装置
JP4569680B2 (ja) * 2008-07-14 2010-10-27 コニカミノルタビジネステクノロジーズ株式会社 解像度変換方法
KR20120046103A (ko) * 2009-07-30 2012-05-09 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 이미지를 톤 매핑하기 위한 방법
US8766999B2 (en) * 2010-05-20 2014-07-01 Aptina Imaging Corporation Systems and methods for local tone mapping of high dynamic range images
US9392267B2 (en) * 2010-12-15 2016-07-12 Tektronix, Inc. System and methods to measure noise and to generate picture quality prediction from source having no reference

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022511064A (ja) * 2018-12-05 2022-01-28 ソニーグループ株式会社 パッチャーツール
JP7367023B2 (ja) 2018-12-05 2023-10-23 ソニーグループ株式会社 パッチャーツール

Also Published As

Publication number Publication date
US20130058580A1 (en) 2013-03-07
US9396558B2 (en) 2016-07-19
CN102984526A (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
JP2013055472A (ja) 画像処理装置および方法、並びにプログラム
Chaudhury et al. Fast $ O (1) $ bilateral filtering using trigonometric range kernels
JP2011170840A (ja) 画像処理装置及び電子機器
JP4902837B2 (ja) モノクロ画像への変換方法
Han et al. A novel image interpolation method using the bilateral filter
JP2013513318A (ja) オプティカル効果を生成させるためのデジタル画像合成
JP5418777B2 (ja) 画像処理装置及び画像処理プログラム
TWI520101B (zh) 美化影像中人體膚色的方法、美化影像中人體膚色的裝置、調整影像中人體膚色亮度的方法及調整影像中人體膚色亮度的裝置
JP2011134204A (ja) 画像処理装置、画像処理方法、及びプログラム
US8488899B2 (en) Image processing apparatus, method and recording medium
JP2006114005A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
Ratner et al. Denoising-enhancing images on elastic manifolds
KR20140142542A (ko) 전자 장치에서 이미지를 편집하기 위한 장치 및 방법
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
US9036938B2 (en) Image processing apparatus, image processing method, and program
JP4828479B2 (ja) 合成画像生成装置および合成画像生成プログラム
TW200931947A (en) Image processing apparatus and image processing method
JP2024037722A (ja) コンテンツに基づく画像処理
JP2007034724A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2006114006A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
JP2011120299A (ja) 階調変換装置、プログラム、電子カメラ、及びその方法
Hiraoka et al. A high-speed method for generating stripe-patchwork image
JP2005004506A (ja) 画像処理プログラム
JPH1153534A (ja) 画像の修復方法及び装置
JP5967829B2 (ja) テーマ色の割当割合を調整可能な色変換処理プログラム、装置及び方法

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141104