JP2010081350A - Method and program for generating oil painting tone image - Google Patents

Method and program for generating oil painting tone image Download PDF

Info

Publication number
JP2010081350A
JP2010081350A JP2008248219A JP2008248219A JP2010081350A JP 2010081350 A JP2010081350 A JP 2010081350A JP 2008248219 A JP2008248219 A JP 2008248219A JP 2008248219 A JP2008248219 A JP 2008248219A JP 2010081350 A JP2010081350 A JP 2010081350A
Authority
JP
Japan
Prior art keywords
image
input
component
undercoat
density component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008248219A
Other languages
Japanese (ja)
Inventor
Shigeru Matsuda
繁 松田
Shigeru Daimatsu
繁 大松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Osaka Prefecture University PUC
Original Assignee
Osaka University NUC
Osaka Prefecture University PUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC, Osaka Prefecture University PUC filed Critical Osaka University NUC
Priority to JP2008248219A priority Critical patent/JP2010081350A/en
Publication of JP2010081350A publication Critical patent/JP2010081350A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide techniques in which even a user not familiar with image processing can obtain an oil painting tone image without any unnatural finish irrespective of the content of an original image. <P>SOLUTION: A method for generating an oil painting tone image includes: a step of: acquiring an original image as an input; an undercoating step of separating the input into a density component and a color component, reducing the number of gradations of the density component to a predetermined number of gradations allowing each gradation level to be visually recognized, and generating an undercoat image composed of the density component having the reduced number of gradations and the color component; a drawing step of emphasizing an outline of the input, smoothing a region excluding the outline portion, and generating a stroke image; and a superposition step of superposing the generated undercoat image and the stroke image, each of the step being performed by a computer. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、原画像を画像処理して油彩画調の画像を生成するための生成方法および生成プログラムに関する。   The present invention relates to a generation method and a generation program for generating an oil-tone image by performing image processing on an original image.

近年、パーソナルコンピュータ、デジタルカメラの普及、高性能化に伴い、デジタル画像に接する機会が増加している。同時に、Photoshop(Adobe Systems社製ソフトウェア)、Painter(COREL CORPORATION社製ソフトウェア)等の画像編集ソフトを用いたデジタル画像の加工、編集は、専門家のみならず一般ユーザの間にも浸透しつつある。これら画像編集ソフトを用いれば、高水準なコンピュータ・グラフィックスを作成可能である。
しかし、これらを用いたデジタル画像の変換や描画には専門的な知識や技術が求められ、時として多くの労力が必要とされる。
したがって、画像編集ソフトの扱いに不慣れなユーザにとっては、たとえその機能が限定されたものであったとしても、自動化された画像変換フィルタを用いて簡便に結果を得られる方がより有用であるかもしれない。
In recent years, with the spread of personal computers and digital cameras and higher performance, opportunities to come into contact with digital images are increasing. At the same time, digital image processing and editing using image editing software such as Photoshop (software from Adobe Systems) and Painter (software from COREL CORPORATION) is spreading not only to professionals but also to general users. . Using these image editing software, high-level computer graphics can be created.
However, conversion and drawing of digital images using them requires specialized knowledge and techniques, and sometimes requires a lot of labor.
Therefore, it may be more useful for users who are unfamiliar with the handling of image editing software to easily obtain results using an automated image conversion filter, even if their functions are limited. unknown.

実写の写真や映像を絵画調に変換する処理(ノン・フォト・リアリスティック・レンダリング、あるいはNPR))に関し、いくつかのものが提案されている(例えば、特許文献1、2参照)。また、ノン・フォト・リアリスティック・レンダリングは、日常的に映画や宣伝に用いられている。   Several processes have been proposed for the process of converting live-action photographs and videos into painting style (non-photo-realistic rendering or NPR) (see, for example, Patent Documents 1 and 2). Non-photorealistic rendering is routinely used for movies and advertising.

特許文献1には、スキャナで取り込んだ写真データに、45°傾斜した複数の白線が重なり合って構成されたフィルタ層と、所定の文字等が記された付加装飾層を重畳させ、鉛筆デッサン調の画像等を生成する手法が開示されている。
特許文献2には、原画像に所定の濃淡パターンで作成されたフィルタ画像を合成して絵画調の画像を生成する手法が開示されている。
特開平10−243211号公報 特開2002−298136号公報
In Patent Document 1, a filter layer formed by overlapping a plurality of white lines inclined at 45 ° and an additional decorative layer on which predetermined characters or the like are superimposed are superimposed on photo data captured by a scanner, and a pencil drawing-like tone is obtained. A method for generating an image or the like is disclosed.
Patent Document 2 discloses a technique for generating a painting-like image by synthesizing an original image with a filter image created with a predetermined shading pattern.
Japanese Patent Laid-Open No. 10-243211 JP 2002-298136 A

前述のように、画像編集ソフトの扱いに不慣れなユーザにとって扱い易いものとするためには、人物、風景等画像の内容が限定されないこと、即ち、汎用性が高いことと、処理の過程が単純で高速処理が可能であることが求められる。かつ、ノン・フォト・リアリスティック・レンダリングの特性上、「視覚的に興味深い」ものが求められる。
特許文献1、2等の従来手法を適用することにより、ある用途については意図した結果がえられるかもしれない。しかし、ノン・フォト・リアリスティック・レンダリングが創作的な側面を有するものであることから、前述の「視覚的に興味深い」の価値は、用途により、また、ユーザの嗜好によって事案ごとに異なる。種々の観点から、技術的な見地とエンターテインメント性の見地の双方から新規で有用なノン・フォト・リアリスティック・レンダリング手法が求められている。
As described above, in order to make it easy for a user unfamiliar with the handling of image editing software, the contents of images such as people and landscapes are not limited, that is, they are highly versatile and the process of processing is simple. Therefore, high-speed processing is required. In addition, because of the characteristics of non-photorealistic rendering, what is “visually interesting” is required.
By applying the conventional methods such as Patent Documents 1 and 2, an intended result may be obtained for a certain application. However, since non-photo-realistic rendering has creative aspects, the above-mentioned “visually interesting” value varies from case to case depending on applications and user preferences. From various viewpoints, a new and useful non-photorealistic rendering technique is demanded from both a technical viewpoint and an entertainment viewpoint.

この発明は、以上のような事情を考慮してなされたものであって、油彩画独特の風合いや筆触がよく表現された画像、換言すれば、いかにも機械的に処理がなされたという印象を観察者に与えることがなく、かつ、原画像のモチーフの特徴を損なわない油彩画調画像の生成を目標とする。そして、画像処理に不慣れなユーザであっても、原画像の内容を問わず、不自然さのない油彩画調の画像を得ることのできる手法を提供するものである。   The present invention has been made in consideration of the above-mentioned circumstances, and observes the impression that the texture and the unique touch of the oil painting are well expressed, in other words, the impression that it was mechanically processed. The goal is to generate an oil painting-like image that is not given to the user and that does not impair the characteristics of the motif of the original image. In addition, the present invention provides a technique that enables even an unfamiliar user of image processing to obtain an oil painting-like image without unnaturalness, regardless of the content of the original image.

この発明は、原画像を入力として取得する工程と、前記入力を濃度成分と色成分とに分離し、前記濃度成分を各階調レベルが視認できる程度の所定階調数に減じ、階調数が減じられた濃度成分と前記色成分とからなる下塗り画像を生成する下塗り工程と、前記入力の輪郭を強調しかつ輪郭部を除く領域の平滑化を行ってストローク画像を生成する描き込み工程と、生成された下塗り画像とストローク画像とを重畳する重畳工程とを備え、各工程をコンピュータが実行することを特徴とする油彩画調画像の生成方法を提供する。   According to the present invention, an original image is acquired as an input, the input is separated into a density component and a color component, and the density component is reduced to a predetermined number of gradations such that each gradation level can be visually recognized. An undercoating step for generating an undercoating image composed of a reduced density component and the color component; a drawing step for generating a stroke image by enhancing the contour of the input and smoothing an area excluding the contour portion; There is provided a method for generating an oil painting tone image, comprising: a superimposing step of superimposing a generated undercoat image and a stroke image, and a computer executing each step.

また、異なる観点から、この発明は、原画像を入力として取得する処理と、前記入力を濃度成分と色成分とに分離し、前記濃度成分を各階調レベルが視認できる程度の所定階調数に減じ、階調数が減じられた濃度成分と前記色成分とからなる下塗り画像を生成する下塗り処理と、前記入力の輪郭を強調しかつ輪郭部を除く領域の平滑化を行ってストローク画像を生成する描き込み処理と、生成された下塗り画像とストローク画像とを重畳する重畳処理の各処理をコンピュータに実行させることを特徴とする油彩画調画像の生成プログラムを提供する。   Further, from a different point of view, the present invention separates the input image processing into a density component and a color component, and obtains the density component into a predetermined number of gradations such that each gradation level can be visually recognized. A stroke image is generated by generating an undercoat image that includes a subtracted density component with a reduced number of gradations and the color component, and smoothing a region excluding the contour portion while enhancing the input contour. An oil painting tone image generation program is provided that causes a computer to execute a drawing process to perform and a superimposition process to superimpose a generated undercoat image and a stroke image.

この発明の油彩画調画像の生成方法は、下塗り画像を生成する下塗り工程とストローク画像を生成する描き込み工程とを備えるので、油彩画の描画手順に対応する下塗り工程、描き込み工程の各工程で作成された下塗り画像およびストローク画像を重畳することにより、原画像の内容を問わず、不自然さのない油彩画調の画像を得ることができる。また、油彩画独特の風合いや筆触がよく表現された画像を得ることができる。   Since the oil painting tone image generation method of the present invention includes an undercoating process for generating an undercoating image and a drawing process for generating a stroke image, each process of the undercoating process and the drawing process corresponding to an oil painting drawing procedure By superimposing the undercoat image and the stroke image created in step 1, an oil painting-like image free from unnaturalness can be obtained regardless of the content of the original image. In addition, it is possible to obtain an image in which the texture and brushstroke unique to oil paintings are well expressed.

この発明において、濃度成分は、カラー画像から色相の情報を除いたものである。画像処理の分野では、いわゆるグレースケール変換の結果として濃度成分を得ることができる。また、YUV変換の結果のY成分として濃度成分に対応する情報を得ることができる。さらに、Lab変換の結果としてのL成分として濃度成分に対応する情報を得ることもできる。   In the present invention, the density component is obtained by removing hue information from a color image. In the field of image processing, density components can be obtained as a result of so-called gray scale conversion. Further, information corresponding to the density component can be obtained as the Y component as a result of YUV conversion. Furthermore, information corresponding to the density component can be obtained as the L component as a result of the Lab conversion.

これに対し、色成分は、カラー画像の色相に係る情報である。例えば、前述のYUV変換の結果としてのUおよびV成分が色情報を提供する。あるいは、Lab変換の結果としてのaおよびb成分が色情報を提供する。   On the other hand, the color component is information relating to the hue of the color image. For example, the U and V components as a result of the aforementioned YUV conversion provide color information. Alternatively, the a and b components as a result of the Lab conversion provide color information.

階調数を減じる処理は、油彩画制作過程における下塗りの粗いグラディエーションの風合いを再現するためのものである。この発明においては、グレースケール画像から階調数を減じる処理を行っているので、RGBの各色成分の階調数をそれぞれ減じた場合に比べて原画像にない不自然な色相(偽色)の発生を抑制することができる。   The process of reducing the number of gradations is for reproducing the texture of rough undercoat in the oil painting production process. In the present invention, since the number of gradations is reduced from the grayscale image, an unnatural hue (false color) that does not exist in the original image compared to the case where the number of gradations of each RGB color component is reduced. Occurrence can be suppressed.

また、ストローク画像は、油彩画の筆触の再現を目的としたものであり、このために、原画像の輪郭を保持してそれを強調する一方で、ある程度濃淡を減じる処理をおこなうものである。
このように、この発明の特徴的な一側面は、油絵の作成過程の各段階で描かれる絵に対応させて複数の画像を生成し、それらの画像を重畳する点にある。
以下、この発明の好ましい態様について説明する。
The stroke image is intended to reproduce the stroke of an oil painting. For this purpose, the outline of the original image is retained and emphasized, while the process of reducing the shade to some extent is performed.
Thus, one characteristic aspect of the present invention is that a plurality of images are generated in correspondence with the pictures drawn at each stage of the oil painting creation process, and these images are superimposed.
Hereinafter, preferred embodiments of the present invention will be described.

前記描き込み工程は、前記入力にクワハラ・フィルタを適用し、かつ、輪郭強調処理を行ってもよい。前述のように、描き込み工程は油彩画の筆触に似たストローク画像を生成するための工程である。この態様によれば、Kuwahara-filterを入力に適用することにより輪郭を保ちつつ入力の平滑化を行うことができ、さらに、平滑化後の画像の輪郭を強調することにより、油彩画の筆触を再現することができる。   In the drawing step, a Kuwahara filter may be applied to the input, and contour enhancement processing may be performed. As described above, the drawing process is a process for generating a stroke image resembling the stroke of an oil painting. According to this aspect, by applying the Kuwahara-filter to the input, it is possible to smooth the input while maintaining the contour, and further, by emphasizing the contour of the image after smoothing, the stroke of the oil painting can be improved. Can be reproduced.

さらに、前記描き込み工程は、前記画像から輪郭を抽出し、抽出された輪郭をクワハラ・フィルタと輪郭強調処理とが適用された画像にさらに重畳してもよい。このようにすれば、クワハラ・フィルタと輪郭強調処理とが適用された画像に輪郭画像をさらに重畳することにより、より油彩画の筆触に似たストローク画像を得ることができる。   Furthermore, the drawing step may extract a contour from the image, and further superimpose the extracted contour on an image to which the quahara filter and the contour enhancement processing are applied. In this way, by further superimposing the contour image on the image to which the Kuwahara filter and the contour enhancement processing are applied, it is possible to obtain a stroke image more resembling an oil painting.

また、前記下塗り工程は、前記入力の濃度成分を平滑化し、平滑化された濃度成分を所定の階調数に減じてモノクロ・ポスタリゼーション画像を得、かつ前記入力をYUV表色系に変換してUおよびV成分からなる色成分を得、前記モノクロ・ポスタリゼーション画像の濃度成分と前記色成分とからなる下塗り画像を生成してもよい。下塗り工程は、粗い濃淡の彩色と輪郭で描かれる下塗り画像を生成するための工程である。この態様によれば、モノクロ・ポスタリゼーション画像に前記色成分を適用することにより、下塗り画像を再現することができる。即ち、入力の濃度成分を抽出してその諧調数を減ずることにより粗い濃淡のモノクロ・ポスタリゼーション画像を得、入力をYUV変換して得られる色成分UおよびYを得、得られた色成分を前記モノクロ・ポスタリゼーション画像に提供することにより下塗り画像を再現することができる。   In the undercoating step, the input density component is smoothed, the smoothed density component is reduced to a predetermined number of gradations to obtain a monochrome posterized image, and the input is converted into a YUV color system. A color component composed of U and V components may be obtained, and an undercoat image composed of the density component of the monochrome posterized image and the color component may be generated. The undercoating process is a process for generating an undercoating image drawn with rough shading and outlines. According to this aspect, an undercoat image can be reproduced by applying the color component to the monochrome posterization image. That is, by extracting the density component of the input and reducing the number of gradations thereof, a rough monochrome posterization image is obtained, and the color components U and Y obtained by YUV conversion of the input are obtained. By providing a monochrome posterized image, an undercoat image can be reproduced.

さらに、前記入力をグレースケール変換した結果を前記濃度成分としてもよい。
あるいは、前記入力をYUV表色系に変換して得られるY成分を前記入力の濃度成分としてもよい。Y成分は、入力の輝度成分、換言すれば、濃度成分を与える。従って、入力をYUV変換することにより、下塗り画像の生成に必要な濃度成分、色成分を一度に得ることができる。
Furthermore, the result of gray scale conversion of the input may be the density component.
Alternatively, a Y component obtained by converting the input into a YUV color system may be used as the density component of the input. The Y component gives an input luminance component, in other words, a density component. Therefore, by performing YUV conversion on the input, it is possible to obtain density components and color components necessary for generating an undercoat image at a time.

また、前記重畳工程は、前記下塗り画像とストローク画像に加え、予め用意された油彩画用キャンバスの地模様を重畳してもよい。このようにすれば、仕上がりの画像にキャンバスの地模様が反映され、より油彩画の特徴に似た画像が生成される。   Further, in the superimposing step, a ground pattern of an oil painting canvas prepared in advance may be superimposed in addition to the undercoat image and the stroke image. In this way, the ground pattern of the canvas is reflected in the finished image, and an image more similar to the characteristics of the oil painting is generated.

さらにまた、前記重畳工程は、重畳された画像に対し、予め定められた階調特性を適用して階調補正を行ってもよい。重畳後の画像の階調特性を補正することにより、原画像に対して不自然さのない油彩画調の画像を得ることができる。
ここで示した種々の好ましい態様は、それら複数を組み合わせることもできる。
Furthermore, the superimposing step may perform gradation correction by applying a predetermined gradation characteristic to the superimposed image. By correcting the gradation characteristics of the superimposed image, it is possible to obtain an oil painting-like image having no unnaturalness with respect to the original image.
The various preferable aspects shown here can also be combined.

以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
この発明は、油絵の作成過程の各段階で描かれる絵に対応させて複数の画像を生成し、それらの画像を重畳する。そこで、この実施形態の説明に先立ち、油絵の特徴とその描画手順について簡単に述べる。
Hereinafter, the present invention will be described in more detail with reference to the drawings. In addition, the following description is an illustration in all the points, Comprising: It should not be interpreted as limiting this invention.
The present invention generates a plurality of images corresponding to the pictures drawn at each stage of the oil painting creation process, and superimposes these images. Therefore, prior to the description of this embodiment, the characteristics of the oil painting and its drawing procedure will be briefly described.

≪油絵の基礎知識≫
1.1 油絵の特徴
油絵は展色剤である油と顔料を練り合わせて得られる油絵具によって描画される。油絵具は油と顔料の屈折率の差、また、顔料自体の粒子径によって透過性を持つ。そのため、油絵では下地の色を反映した透明な塗り重ねが可能である。展色剤である油の中で顔料は浮いた状態となり、顔料と顔料の隙間を光が通り抜ける。このような透明性を持った構造は重層彩色法構と呼ばれ、油絵という技法の大きな特徴の一つである。重層彩色法構の一例として、ヨハネス・フェルメール(Johannes Vermeer,1632-1675)作「二人の紳士と女(Woman and two men)」が挙げられる。この作品では、赤色のドレスの下地にウルトラ・マリンブルーを用いることにより、ドレスの赤が一層鮮やかになるという効果が得られている。
≪Basic knowledge of oil painting≫
1.1 Features of oil painting Oil painting is drawn with oil paints obtained by kneading oil and pigment, which are colorants. Oil paints are transparent due to the difference in refractive index between the oil and the pigment and the particle size of the pigment itself. Therefore, in oil paintings, it is possible to paint transparently reflecting the color of the groundwork. The pigment floats in the oil as the color extender, and light passes through the gap between the pigment. Such a transparent structure is called a multi-layer coloring scheme, and is one of the major features of the technique of oil painting. An example of a multi-layered coloring scheme is Johannes Vermeer (1632-1675) “Woman and two men”. In this work, the effect of making the red of the dress brighter is obtained by using Ultra Marine Blue as the base of the red dress.

1.2 油絵の描画手順
油絵の描画手順は、おおまかに以下の四段階である。
[step1] キャンバスの準備
下地や絵具層を物理的に保持する部分を支持体と呼ぶ。油絵では多くの場合キャンバスがこれにあたる。支持体自体の色を消しておく、素描を描いておく等の前処理を必要に応じて行う(図1(a))。
[step2] 下塗り
素描に沿い、モチーフの持つ明暗を暗褐色の絵具(バーントシェンナ)を用いた4段階程度のグラデーションで描く。その上から水彩画のように薄くモチーフ固有の色をつける(図1(b))。
[step3] 描き込み
下塗りの段階に比べ多量の絵具を用い、モチーフの持つ色、明暗を再現する。多量の絵具を使用する事により、筆による独特の塗りあとが生まれる(図1(c))。
[step4] 仕上げ
部分的な手直しを行う。変色、退色防止のため、保存用ニスを塗布する場合もある(図1(d))。
1.2 Oil Painting Drawing Procedure The oil painting drawing procedure is roughly divided into the following four steps.
[step1] Preparation of the canvas The part that physically holds the foundation and the paint layer is called the support. In oil paintings, this is often the canvas. Pre-processing such as erasing the color of the support itself or drawing a drawing is performed as necessary (FIG. 1A).
[step2] Undercoat Draw the light and darkness of the motif with a four-step gradation using dark brown paint (Burnschenna) along the drawing. From the top, a unique motif color is applied like a watercolor (Fig. 1 (b)).
[step3] Draw Reproduce the colors, lightness and darkness of the motif using a larger amount of paint than the undercoat stage. By using a large amount of paint, a unique painting with a brush is born (Fig. 1 (c)).
[step4] Finish Perform a partial rework. In order to prevent discoloration and fading, a storage varnish may be applied (FIG. 1 (d)).

≪画像処理の各工程≫
続いて、前述した油絵の描画手順をコンピュータ上で擬似的に再現する手順を説明する。具体的には、キャンバス画像、下塗り画像、ストローク(筆の塗りあと)画像を作成した後、それらを合成するという手順である。また、この実施形態で述べる手順は前述の重層彩色法構から発明者が着想を得て具体化したものである。
なお、以下の実施形態で画像の処理に用いたコンピュータの仕様は、OSがMicrosoft社製 Windows XP(登録商標)、CPUはインテル社製 Pentium(登録商標)4、動作周波数2.53GHz、メモリ容量は512MBのものである。
≪Each process of image processing≫
Next, a procedure for reproducing the above-described oil painting drawing procedure on a computer in a pseudo manner will be described. Specifically, the procedure is to create a canvas image, an undercoat image, and a stroke (after brush painting) image, and then synthesize them. In addition, the procedure described in this embodiment is realized by the inventor based on the above-described multi-layer coloring method.
The specifications of the computer used for image processing in the following embodiment are as follows: OS is Microsoft Windows XP (registered trademark), CPU is Intel Pentium (registered trademark) 4, operating frequency is 2.53 GHz, memory capacity is It's 512MB.

2.1 この実施形態の概要
この実施形態において、原画像を以下の手順で処理して出力を得る。
[step1] キャンバスの準備
キャンバス地模様の画像データを取り込む。
[step2] 下塗り工程
原画像から下塗り画像を作成する。
[step3] 描き込み工程
原画像からストローク画像を作成する。
[step4] 仕上げ
前記step1,step2,step3に係る画像を重畳し、適切な補正を施して出力画像を得る。
2.1 Outline of this embodiment In this embodiment, an original image is processed in the following procedure to obtain an output.
[step1] Preparation of the canvas Capture the canvas pattern image data.
[step2] Create an undercoat image from the original image of the undercoat process.
[step3] Create a stroke image from the original drawing process image.
[step 4] Finish The images related to step 1, step 2, and step 3 are superimposed and an appropriate correction is performed to obtain an output image.

2.2 原画像
この実施形態のシミュレーションには、図2〜4に示す「人物」(図2参照)、「動物」(図3参照)、「風景」(図4参照)の3種を用いる。いずれの要素も写真の被写体となりやすく、それぞれを比較することでこの発明の手法の汎用性を確認する。
なお、この実施形態では以下変数blockを用いる。blockの値は各種フィルタの適用領域に影響し、大きいほどフィルタの適用領域は広くなる。blockの値は原画像の画素数に応じて以下の式(1)で定める。
2.2 Original Image Three types of “person” (see FIG. 2), “animal” (see FIG. 3), and “scenery” (see FIG. 4) shown in FIGS. Both elements are likely to be subjects of photographs, and the versatility of the method of the present invention is confirmed by comparing each element.
In this embodiment, the variable block is used below. The value of block affects the application area of various filters. The larger the value, the wider the application area of the filter. The value of block is determined by the following formula (1) according to the number of pixels of the original image.

(1) 2.3 [step1] キャンバスの準備
市販のキャンバスをスキャンし、キャンバス画像を取得した。2400×2400画素のBitmap画像である(図5参照)。
(1) 2.3 [step1] Preparation of canvas A commercially available canvas was scanned to obtain a canvas image. It is a bitmap image of 2400 × 2400 pixels (see FIG. 5).

2.4 [step2] 下塗り工程
以下の手順で、原画像から下塗り画像を作成する。
1. ガウシアン・フィルタ(Gaussian filter)
2. グレースケール変換
3. ポスタリゼーション
4. YUV表色系を用いた原画像との合成
以下、各手順の詳細を説明する。
2.4 [step2] Undercoat process Create an undercoat image from the original image using the following procedure.
1. Gaussian filter
2. Grayscale conversion
3. Posterization
4. Composition with original image using YUV color system The details of each procedure are described below.

2.4.1 ガウシアン・フィルタ
ガウシアン・フィルタは正規分布を用いた重み付き平滑化フィルタである。注目画素からi離れた画素の正規分布G(i)は標準偏差をσとすると、(2)式で与えられる。
2.4.1 Gaussian filter The Gaussian filter is a weighted smoothing filter using a normal distribution. The normal distribution G (i) of the pixels i apart from the target pixel is given by equation (2), where σ is the standard deviation.

(2) また、注目画素を中心とした局所領域の大きさを(2N+1)×(2N+1)と表す場合、N=3σであるものとする。これは、正規分布はσの3倍でほぼ収束するためである。 (2) Further, when the size of the local region centered on the target pixel is expressed as (2N + 1) × (2N + 1), it is assumed that N = 3σ. This is because the normal distribution almost converges at 3 times σ.

まず、水平方向の重み付け平均を行う。仮に、block=1とした場合、図6に相当する領域が対象となる。
ここで、符合11で示す画素P3は注目画素である。重み付け平均後の画素値P3’は(3)式で求まる。
First, a weighted average in the horizontal direction is performed. If block = 1, the area corresponding to FIG. 6 is targeted.
Here, the pixel P3 indicated by reference numeral 11 is the target pixel. The pixel value P3 ′ after the weighted average is obtained by equation (3).

(3) 続いて、同様の手順で垂直方向の重み付け平均を行う。 (3) Subsequently, the weighted average in the vertical direction is performed in the same procedure.

以上の処理によって、図7〜9に示す平滑化画像を得た。なお、距離に応じた2次元正規分布による重み付け平均は、水平、垂直方向それぞれに1次元正規分布による重み付け平均を施すことと等価であり、F.Waltz、W.Millerによって数学的に証明されている(Frederick M. Waltz, John W. V. Miller, "An efficient algorithm for Gaussian blur using finite-state machines," Proc. SPIE Conf. on Machine Vision Systems for Inspection and Metrology VII pp. 3521-37 (1998) 参照)。   The smoothed image shown in FIGS. 7-9 was obtained by the above process. The weighted average based on the two-dimensional normal distribution according to the distance is equivalent to applying the weighted average based on the one-dimensional normal distribution in the horizontal and vertical directions, and is mathematically proved by F. Waltz and W. Miller. (See Frederick M. Waltz, John WV Miller, “An efficient algorithm for Gaussian blur using finite-state machines,” Proc. SPIE Conf. On Machine Vision Systems for Inspection and Metrology VII pp. 3521-37 (1998)).

2.4.2 グレースケール変換
前項目2.4.1で得られた平滑化画像をグレースケール画像に変換する。平滑化画像の各画素におけるR,G,B各値がそれぞれR’,G’,B’に変換されるとすると、(4)式のようになる。
2.4.2 Grayscale conversion Convert the smoothed image obtained in the previous item 2.4.1 to a grayscale image. If the R, G, and B values in each pixel of the smoothed image are converted to R ′, G ′, and B ′, respectively, Equation (4) is obtained.

(4) 以上から、図10〜12のグレースケール画像を得た。 (4) From the above, the gray scale images of FIGS.

2.4.3 グレースケール画像のポスタリゼーション
ポスタリゼーションとは、画像の階調数を任意に変更する処理である。本研究では、より滑らかな輪郭線を得るため、前処理として局所領域における画素値の平均値をとる。局所領域の大きさは、(2block+1)×(2block+1)である。
続けて、得られた画素値の平均値Pを(5)で画素値P’に変換する。
2.4.3 Posterization of a grayscale image Posterization is a process of arbitrarily changing the number of gradations in an image. In this research, in order to obtain a smoother contour line, the average value of the pixel values in the local region is taken as preprocessing. The size of the local area is (2block + 1) × (2block + 1).
Subsequently, the average value P of the obtained pixel values is converted into a pixel value P ′ in (5).

(5) 階調数pos=8で処理した結果、モノクロ・ポスタリゼーション画像、図13〜15を得た。 (5) As a result of processing with the number of gradations pos = 8, monochrome posterized images, FIGS.

2.4.4 YUV表色系への変換を用いた原画像との合成
YUV表色系は、輝度信号Y、輝度信号と青の差分信号U(Cb)、輝度信号と赤の差分信号V(Cr)から成る。RGB表色系からの変換式を(6)式に示す。
2.4.4 Composition with original image using conversion to YUV color system The YUV color system has a luminance signal Y, a luminance signal and blue difference signal U (Cb), and a luminance signal and red difference signal V (Cr ). Equation (6) shows the conversion formula from the RGB color system.

(6) (6)

輝度信号(Y)を項目2.4.3におけるポスタリゼーション画像から、色情報(U,V)を原画像から取得する。ただし、グレースケール画像においてR,G,B各値は同値であるため、今、Y=R=G=Bである。これらのYUV値をR,G,B値に変換することから、項目2.4.3におけるポスタリゼーション画像の輪郭及び原画像の色彩を持つ下塗り画像、図16〜18が得られた。
なお、この実施形態においては、RGB表色系の原画像からグレースケール画像を生成し、それを処理してモノクロ・ポスタリゼーション画像を得たが、YUV表色系の輝度情報Yを用いてモノクロ・ポスタリゼーション画像を生成するようにしてもよい。
YUV表色系からRGB表色系への変換式を(7)式に示す。
The luminance signal (Y) is obtained from the posterization image in item 2.4.3, and the color information (U, V) is obtained from the original image. However, since the R, G, and B values are the same in the grayscale image, now Y = R = G = B. By converting these YUV values into R, G, and B values, the undercoat images having the outline of the posterization image and the color of the original image in items 2.4.3 were obtained, as shown in FIGS.
In this embodiment, a gray scale image is generated from an RGB color system original image and processed to obtain a monochrome posterized image. However, the luminance information Y of the YUV color system is used to generate a monochrome / colorized image. A posterization image may be generated.
Expression (7) shows a conversion formula from the YUV color system to the RGB color system.

(7) (7)

2.5 [step3] 描き込み工程
続いて、描き込み工程の詳細な手順を説明する。描き込み工程においては、以下の手順で、原画像からストローク画像を作成する。
1. クワハラ・フィルタ(Kuwahara filter)
2. アンシャープ・マスク
3. 輪郭フィルタ
4. 乗算合成
各手順の詳細を説明する。
2.5 [step3] Drawing process Next, the detailed procedure of the drawing process is explained. In the drawing process, a stroke image is created from the original image in the following procedure.
1. Kuwahara filter
2. Unsharp mask
3. Contour filter
4. Multiply synthesis The details of each procedure are explained.

2.5.1 クワハラ・フィルタ(Kuwahara filter)
クワハラ・フィルタはMaximum Homogeneity Neighbour(MHN)フィルタの一種であり、輪郭を保ちつつ平滑化を行う点に特徴がある(例えば、"MemoNyanDum : C# GDI+"、[online]、[平成18年6月18日検索]、インターネット<URL: http://junki.lix.jp/csgdip.html>参照)。
2.5.1 Kuwahara filter
The Kuwahara filter is a type of Maximum Homogeneity Neighbor (MHN) filter and is characterized by smoothing while maintaining the contour (for example, "MemoNyanDum: C # GDI +", [online], [June 18, 2006 Day search], Internet <URL: http://junki.lix.jp/csgdip.html>).

クワハラ・フィルタは、まず、注目画素を中心として(block+1)×(block+1)の局所領域を4つ設ける。block=2であるとすると、図19のようになる。符号21で示す中央の画素が注目画素であり、4つの局所領域23、24、25、26は、それぞれが一つの頂点を注目画素として配置されている。
続いて、これら4領域それぞれにおけるR,G,B各値の最大値、最小値を求め、その差を合計する。これら4つの合計値が最小である領域が、これら4領域において最大均一度を持つ。最大均一度領域におけるR,G,B各値の平均値をそれぞれ求め、求めた平均値を注目画素の値として採用する。このクワハラ・フィルタを適用して、図20〜22の画像を得た。
The Kwahara filter first provides four (block + 1) × (block + 1) local regions centered on the pixel of interest. If block = 2, the result is as shown in FIG. The central pixel indicated by reference numeral 21 is the target pixel, and each of the four local regions 23, 24, 25, and 26 is arranged with one vertex as the target pixel.
Subsequently, the maximum value and the minimum value of each value of R, G, and B in each of these four regions are obtained, and the differences are summed. The region where the total value of these four is the smallest has the maximum uniformity in these four regions. Average values of R, G, and B values in the maximum uniformity region are obtained, and the obtained average value is adopted as the value of the target pixel. The image of FIGS. 20-22 was obtained by applying this Kuwahara filter.

2.5.2 アンシャープ・マスク(Unsharp mask)
アンシャープ・マスクは輪郭とコントラストを強調し、画像を鮮明にする処理である。対象画像と平滑化画像における画素値の差分を対象画像に加算する。
この実施形態では、項目2.5.1の出力画像と2.4.1で得られた原画像の平滑化画像の差分を用いる。すなわち、これらの対応する画素における画素値をそれぞれP0 ,P1とおくと、出力画像の画素値P2は (8)式で得られる。
2.5.2 Unsharp mask
The unsharp mask is a process that enhances the outline and contrast and sharpens the image. The pixel value difference between the target image and the smoothed image is added to the target image.
In this embodiment, the difference between the output image of item 2.5.1 and the smoothed image of the original image obtained in 2.4.1 is used. That is, if the pixel values in these corresponding pixels are P0 and P1, respectively, the pixel value P2 of the output image can be obtained by equation (8).

(8) per=150で処理した結果、図23〜25を得た。 (8) As a result of processing at per = 150, FIGS.

2.5.3 輪郭フィルタ(Contour filter)による輪郭線の抽出
輪郭フィルタはR,G,B各値をそれぞれ一次独立な直交座標とみたて、色の距離を測ることで輪郭を抽出するフィルタである(図26参照)。図26で、符合31で示すP10が注目画素である。
まず、注目画素とその右上、右、右下、下の画素との色の距離Dをそれぞれ(9)式で求める。
2.5.3 Extraction of contour line by contour filter The contour filter is a filter that extracts the contour by measuring the distance of the color, considering each value of R, G, B as primary independent orthogonal coordinates ( (See FIG. 26). In Figure 26, the P 10 indicated by a symbol 31 is a pixel of interest.
First, the color distances D between the pixel of interest and its upper right, right, lower right, and lower pixels are determined by Equation (9).

(9) 続いて、D01, D11 ,D21 ,D20 の最大値maxを求め、注目画素のR,G,B値を以下で定める。 (9) Subsequently, the maximum value max of D 01 , D 11 , D 21 , D 20 is obtained, and the R, G, B values of the target pixel are determined as follows.

(10) 以上から、図27〜29を得た。 (10) From the above, FIGS.

2.5.4 乗算合成
2.5.2の出力画像と2.5.3で得られた輪郭線画像を合成する。これらの対応する画素における画素値をそれぞれP0 ,P1とおくと、出力画像の画素値P2は (11)式で得られる。
2.5.4 Multiply synthesis
Synthesize the output image of 2.5.2 and the contour image obtained in 2.5.3. If the pixel values in these corresponding pixels are P0 and P1, respectively, the pixel value P2 of the output image can be obtained by equation (11).

(11) 以上から、ストローク画像、図30〜32を得た。 (11) From the above, stroke images, FIGS.

2.6 [step4] 仕上げ
仕上げの工程においては、以下の手順で、出力画像を得る。
1. [step1],[step2],[step3]における出力画像の重畳
2.6 [step4] Finishing In the finishing step, an output image is obtained by the following procedure.
1. Superimposition of output image at [step1], [step2], [step3]

2. ガンマ補正
2.6.1 [step1],[step2],[step3]における出力画像の重畳
項目2.3で得られたキャンバス画像、項目2.4.4で得られた下塗り画像、項目2.5.4で得られたストローク画像を重畳した重畳画像を得る。これらの対応する画素における画素値をそれぞれP0 ,P1,P2とおくと、重畳画像の画素値P3は(12)式で得られる。
2. Gamma correction
2.6.1 Superimposition of output images in [step1], [step2], [step3] The canvas image obtained in item 2.3, the undercoat image obtained in item 2.4.4, and the stroke image obtained in item 2.5.4 A superimposed image is obtained. When the pixel values in these corresponding pixels are P0, P1, and P2, respectively, the pixel value P3 of the superimposed image is obtained by Expression (12).

(12) 以上から、重畳画像、図33〜35を得た。 (12) From the above, superimposed images, FIGS.

2.6.2 ガンマ補正
ガンマ補正は画像入出力装置間の輝度補正に広く用いられている。
前項目2.6.1で得られた統合画像は、キャンバス画像と合成されたために原画像と比べ暗くなっているため、補正をかける。R,G,B各値がそれぞれR’,G’,B’に変換されるとすると、(13)式のようになる。
2.6.2 Gamma correction Gamma correction is widely used for brightness correction between image input / output devices.
Since the integrated image obtained in the previous item 2.6.1 is darker than the original image because it was synthesized with the canvas image, it is corrected. If the R, G, and B values are converted into R ′, G ′, and B ′, respectively, Equation (13) is obtained.

(13)
γ=2.0で処理した結果、油彩画調の出力画像、図36〜38を得た。
(13)
As a result of processing with γ = 2.0, an oil painting-like output image, FIGS.

≪処理手順≫
前述した油彩画調画像を生成した各工程の流れを、ここで改めて説明する。
図43は、この実施形態に係る画像処理の各工程の流れを示す説明図である。図43に沿って説明する。
まず、入力としての原画像を読み込む(ステップS11)。サンプル画像は図2〜4である。読み込まれた画像は、下塗り画像の生成と、ストローク画像の生成に用いられる。
≪Processing procedure≫
Here, the flow of each process for generating the above-mentioned oil painting tone image will be described again.
FIG. 43 is an explanatory diagram showing the flow of each step of image processing according to this embodiment. This will be described with reference to FIG.
First, an original image as input is read (step S11). Sample images are shown in FIGS. The read image is used to generate an undercoat image and a stroke image.

下塗り画像を生成する工程(下塗り工程)においては、ガウシアン・フィルタを用いて入力を平滑化し、平滑化画像を得る(ステップS21)。サンプル画像は図7〜9である。
続いて、平滑化された画像をグレースケール変換する(ステップS23)。サンプル画像は図9〜11である。
そして、グレースケール変換された画像の階調数を所定の数に減じる(ステップS25)。サンプル画像は図13〜15である。
一方、入力をYUV変換し、色成分としてU,V成分を得る(ステップS27)。
In the step of generating an undercoat image (undercoat step), the input is smoothed using a Gaussian filter to obtain a smoothed image (step S21). Sample images are shown in FIGS.
Subsequently, the smoothed image is subjected to gray scale conversion (step S23). Sample images are shown in FIGS.
Then, the number of gradations of the grayscale-converted image is reduced to a predetermined number (step S25). Sample images are shown in FIGS.
On the other hand, the input is YUV converted to obtain U and V components as color components (step S27).

前記ステップS25のポスタリゼーション画像の各領域に、前記ステップS27の色成分を適用し、下塗り画像を得る(ステップS29)。サンプル画像は図16〜18である。
なお、変形例として、ステップS27のYUV変換により得られた輝度成分(Y成分)を前記ステップS21の入力として用いてもよい。この場合、S23のグレースケール変換は不要である。
The color component of step S27 is applied to each region of the posterization image of step S25 to obtain an undercoat image (step S29). Sample images are shown in FIGS.
As a modification, the luminance component (Y component) obtained by the YUV conversion in step S27 may be used as the input in step S21. In this case, the gray scale conversion of S23 is not necessary.

一方、ストローク画像を生成する描き込み工程においては、クワハラ・フィルタを用いて入力を平滑化する(ステップS41)。サンプル画像は図20〜22である。クワハラ・フィルタにより平滑化された画像は、ガウシアン・フィルタによる平滑化画像に比べて輪郭線が保持されている点が特徴である。
そして、クワハラ・フィルタ適用後の画像に対して、アンシャープ・マスクを用いて輪郭線をさらに強調する(ステップS43)。ここで、アンシャープ・マスクは、前記ステップS41でクワハラ・フィルタにより得られた平滑化画像と前記ステップS21でガウシアン・フィルタにより得られた平滑化画像の差分を用いる。サンプル画像は図23〜25である。
また、入力に輪郭フィルタを適用して輪郭を抽出する(ステップS45)。サンプル画像は、図30〜32である。
On the other hand, in the drawing process for generating the stroke image, the input is smoothed by using the Kuwahara filter (step S41). Sample images are shown in FIGS. The image smoothed by the Kuwahara filter is characterized in that the contour line is retained compared to the smoothed image by the Gaussian filter.
Then, the contour line is further emphasized using an unsharp mask on the image after the application of the Kuwahara filter (step S43). Here, the unsharp mask uses the difference between the smoothed image obtained by the Kuwahara filter in step S41 and the smoothed image obtained by the Gaussian filter in step S21. Sample images are shown in FIGS.
Further, a contour filter is applied to the input to extract a contour (step S45). Sample images are shown in FIGS.

得られた輪郭を前記ステップS43のアンシャープ・マスクで得られた画像と合成してより輪郭が明確になったストローク画像を得る(ステップS47)。サンプル画像は、図33〜35である。
なお、変形例として、ステップS45、47を省略し、アンシャープ・マスクの結果をストローク画像としてもよい。しかし、より油彩画らしい筆触を再現するためステップS45、47の処理を行うことが好ましい。
The obtained contour is combined with the image obtained by the unsharp mask in step S43 to obtain a stroke image with a clearer contour (step S47). Sample images are shown in FIGS.
As a modification, steps S45 and 47 may be omitted, and the unsharp mask result may be a stroke image. However, it is preferable to perform the processing of steps S45 and 47 in order to reproduce a brush-like touch that is more oily.

以上のようにして得られた下塗り画像、ストローク画像を重畳する。また、予め用意されたキャンパス地模様の画像を読み込んでおき(ステップS13)、下塗り画像、ストローク画像と共に重畳するようにしてもよい(ステップS61)。サンプル画像は、図33〜35である。
そして、前記ステップS61で得た画像の階調特性を整えるためにガンマ補正を行う(ステップS63)。ガンマ補正は、所定の特性を用いて補正を行うようにしてもよい。あるいは、前記ステップS61で得た画像のヒストグラムをとり、その結果に基づいて特性を決定するようにしてもよい。
以上のようにして得られた画像を処理結果として出力する。サンプル画像は図36〜38である。
The undercoat image and stroke image obtained as described above are superimposed. Alternatively, a campus pattern image prepared in advance may be read (step S13) and superimposed with the undercoat image and the stroke image (step S61). Sample images are shown in FIGS.
Then, gamma correction is performed to adjust the gradation characteristics of the image obtained in step S61 (step S63). The gamma correction may be performed using a predetermined characteristic. Alternatively, a histogram of the image obtained in step S61 may be taken and characteristics may be determined based on the result.
The image obtained as described above is output as a processing result. Sample images are shown in FIGS.

≪市販ソフトウェアの処理結果との比較≫
本章では、市販のソフトウェア製品とこの実施形態の比較、検討を行う。代表的な画像編集ソフトとしてはAdobe Systems社のPhotoshop、Corel社のPainterが挙げられるが、本研究では前者を比較対象とする。Painterによる絵画調への自動変換は、ゴッホタッチ、スーラタッチなど個性が強く、それに比べて、Photoshopには汎用的に組み合わせ可能な変換フィルタが多く用意されているためである。
≪Comparison with processing result of commercial software≫
In this chapter, a comparison is made between a commercially available software product and this embodiment. Typical image editing software includes Adobe Systems' Photoshop and Corel's Painter. In this study, the former is used for comparison. This is because automatic conversion to painterly by Painter has strong individuality such as Van Gogh touch and Surah touch, and in comparison, Photoshop has many conversion filters that can be combined for general purposes.

3.1 手順
Adobe Systems社のPhotoshopCS2を用い、この実施形態の各段階に比較的近いフィルタ処理を順に施す。原画像として図2の画像を用いる。
1. テクスチャライザ
2. ポスタリゼーション
3. パレットナイフ、アンシャープ・マスク
4. 手順1〜3レイヤーの統合、明るさの補正
各段階の出力画像を図39〜42に示す。図39は、テクスチャライザ適用後の画像、図40は、ポスタリゼーション適用後の画像、図41はパレットナイフおよびアンシャープ・マスク適用後の画像である。そして、図42は、上記1〜3の各レイヤーの画像を重畳し、明るさの補正を行った結果の画像である。
3.1 Procedure
Using Photoshop CS2 from Adobe Systems, filter processing that is relatively close to each stage of this embodiment is performed in order. The image shown in FIG. 2 is used as the original image.
1. Texture riser
2. Posterization
3. Palette knife, unsharp mask
4. Procedure 1-3 Integration of layers and brightness correction Output images at each stage are shown in FIGS. 39 shows an image after applying the textureizer, FIG. 40 shows an image after applying posterization, and FIG. 41 shows an image after applying the palette knife and unsharp mask. FIG. 42 shows an image obtained by superimposing the images of the layers 1 to 3 and correcting the brightness.

3.2 検討
この実施形態と比較すると、PhotoshopCS2のフィルタ変換にはいくつかの問題点が挙げられる。
まず、テクスチャライザ(図39)にはテクスチャの配列に規則性が存在するため、いかにも機械的な印象を受ける。そのため、油絵調変換には不向きである。また、ポスタリゼーション(図40)では、不自然な色むらが散見される。これはおそらく、R,G,B各値に対して個別に階調数変換を行っているためであると思われる。加えて、色の境界も滑らかではない。Corel社のPainter Essentials3でポスタリゼーションを試みたところ、PhotoshopCS2と同様の結果であった。
続いて、パレットナイフ(図41)はクワハラ・フィルタと比較すると輪郭線の損傷が激しい。
レイヤーの統合、明るさの補正(図42)に関しては、手作業の占める割合が大きく手間がかかる。
3.2 Study Compared with this embodiment, PhotoshopCS2 filter conversion has several problems.
First, since the textureizer (FIG. 39) has regularity in the texture arrangement, it has a mechanical impression. Therefore, it is not suitable for oil painting tone conversion. In posterization (FIG. 40), unnatural color irregularities are sometimes found. This is probably because the number of gradations is individually converted for each value of R, G, and B. In addition, the color boundaries are not smooth. Attempting posterization with Corel's Painter Essentials 3, the result was similar to PhotoshopCS2.
Subsequently, the pallet knife (FIG. 41) has more severe damage to the contour line compared to the Kuwahara filter.
Regarding the integration of layers and correction of brightness (FIG. 42), the ratio of manual work is large and time-consuming.

Photoshopは多機能な画像処理ソフトウェアであり、フィルタ処理の機能に特化したものではない。まして、本願発明のように油彩画調の画像生成に特化したものではない。従って、自動変換を旨としたこの実施形態と比較して手作業が多くなるのは当然であろう。しかし、この実施形態の各段階、結果画像は、市販製品と比較して遜色はないものと思われる。   Photoshop is a versatile image processing software and is not specialized for filtering functions. In addition, the present invention is not specialized in oil painting-like image generation as in the present invention. Therefore, it is natural that manual work is increased as compared with this embodiment for automatic conversion. However, each stage of this embodiment, the resulting image appears to be comparable to the commercial product.

以上のように、この発明の方法は、ユーザの補助入力なしに写真から油絵調画像への変換が可能であり、写真の種類を選ばない汎用性を持つことが確かめられた。また、油絵調画像への自動変換という点においては、市販製品と比べて高い性能を有している。   As described above, it has been confirmed that the method of the present invention can convert a photograph into an oil painting-like image without any auxiliary input from the user, and has versatility regardless of the type of photograph. Moreover, in terms of automatic conversion to an oil painting-like image, it has higher performance than a commercially available product.

今後の課題としては、ポスタリゼーションに閾値を用いることからくる不自然な分断が挙げられる(例えば、図15の空や海の部分を参照)。ポスタリゼーション後の階調数を32などの高い値に設定すればこの問題は概ね避けられるものと考えられる。より自然な仕上がりを優先すれば、対象画像の最適階調数は実際に結果画像を出力してから決定することが好ましい。しかし、それでは、ユーザの操作が複雑になってします。そのため、ポスタリゼーション後の階調数を実施形態よりも多段階の32階調に固定する、もしくは、なんらかの処理を加え最適階調数を自動で判別する、などの改善が考えられる。   Future challenges include unnatural fragmentation resulting from the use of thresholds for posterization (see, for example, the sky and sea portions of FIG. 15). If the number of gradations after posterization is set to a high value such as 32, this problem can be generally avoided. If priority is given to a more natural finish, it is preferable to determine the optimum gradation number of the target image after actually outputting the result image. However, this makes the user's operation complicated. For this reason, improvements such as fixing the number of gradations after posterization to 32 gradations that are more stages than in the embodiment, or automatically discriminating the optimum number of gradations by adding some processing can be considered.

前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。   In addition to the embodiments described above, there can be various modifications of the present invention. These modifications should not be construed as not belonging to the scope of the present invention. The present invention should include the meaning equivalent to the scope of the claims and all modifications within the scope.

この発明の着想に係る油彩画の描画手順の例を示す説明図である。It is explanatory drawing which shows the example of the drawing procedure of the oil painting based on the idea of this invention. この実施形態に係る入力画像の一例を示す説明図である(人物、1500×2000画素:block=5)。It is explanatory drawing which shows an example of the input image which concerns on this embodiment (a person, 1500x2000 pixel: block = 5). この実施形態に係る入力画像の異なる一例を示す説明図である(動物、2000×1500画素:block=5)。It is explanatory drawing which shows a different example of the input image which concerns on this embodiment (animal, 2000x1500 pixel: block = 5). この実施形態に係る入力画像のさらに異なる一例を示す説明図である(風景、2000×1500画素:block=5)。It is explanatory drawing which shows another example of the input image which concerns on this embodiment (landscape, 2000x1500 pixel: block = 5). この実施形態に係るキャンバス画像の一例を示す説明図である。It is explanatory drawing which shows an example of the canvas image which concerns on this embodiment. この実施形態に係るガウシアン・フィルタの水平方向の適用画素を示す説明図である。It is explanatory drawing which shows the application pixel of the horizontal direction of the Gaussian filter which concerns on this embodiment. この実施形態に係る平滑化画像の一例を示す説明図である(人物)。It is explanatory drawing which shows an example of the smoothed image which concerns on this embodiment (person). この実施形態に係る平滑化画像の異なる一例を示す説明図である(動物)。It is explanatory drawing which shows an example from which the smoothed image which concerns on this embodiment differs (animal). この実施形態に係る平滑化画像のさらに異なる一例を示す説明図である(風景)。It is explanatory drawing which shows another example of the smoothed image which concerns on this embodiment (landscape). この実施形態に係るグレースケール画像の一例を示す説明図である(人物)。It is explanatory drawing which shows an example of the gray scale image which concerns on this embodiment (person). この実施形態に係るグレースケール画像の異なる一例を示す説明図である(動物)。It is explanatory drawing which shows an example from which the gray scale image which concerns on this embodiment differs (animal). この実施形態に係るグレースケール画像のさらに異なる一例を示す説明図である(風景)。It is explanatory drawing which shows a further different example of the gray scale image which concerns on this embodiment (landscape). この実施形態に係るモノクロ・ポスタリゼーション画像の一例を示す説明図である(人物)。It is explanatory drawing which shows an example of the monochrome posterization image which concerns on this embodiment (person). この実施形態に係るモノクロ・ポスタリゼーション画像の異なる一例を示す説明図である(動物)。It is explanatory drawing which shows an example from which the monochrome posterization image which concerns on this embodiment differs (animal). この実施形態に係るモノクロ・ポスタリゼーション画像のさらに異なる一例を示す説明図である(風景)。It is explanatory drawing which shows another example of the monochrome posterization image which concerns on this embodiment (landscape). この実施形態に係る下塗り画像の一例を示す説明図である(人物)。It is explanatory drawing which shows an example of the undercoat image which concerns on this embodiment (person). この実施形態に係る下塗り画像の異なる一例を示す説明図である(動物)。It is explanatory drawing which shows an example from which the undercoat image which concerns on this embodiment differs (animal). この実施形態に係る下塗り画像のさらに異なる一例を示す説明図である(風景)。It is explanatory drawing which shows another example of the undercoat image which concerns on this embodiment (landscape). この実施形態に係るクワハラ・フィルタ(Kuwahara filter)の詳細を示す説明図である。block=2。中央の画素が注目画素である。It is explanatory drawing which shows the detail of the Kuwahara filter (Kuwahara filter) which concerns on this embodiment. block = 2. The center pixel is the target pixel. この実施形態に係るクワハラ・フィルタ適用後の画像の一例を示す説明図である(人物)。It is explanatory drawing (example) which shows an example of the image after the Kuwahara filter which concerns on this embodiment is applied. この実施形態に係るクワハラ・フィルタ適用後の画像の異なる一例を示す説明図である(動物)。It is explanatory drawing which shows an example from which the image after the Kuwahara filter which concerns on this embodiment is applied differs (animal). この実施形態に係るクワハラ・フィルタ適用後の画像のさらに異なる一例を示す説明図である(風景)。It is explanatory drawing which shows a further different example of the image after the Kuwahara filter which concerns on this embodiment is applied (landscape). この実施形態に係るアンシャープ・マスク適用後の画像の一例を示す説明図である(人物)。It is explanatory drawing which shows an example of the image after unsharp mask application concerning this embodiment (person). この実施形態に係るアンシャープ・マスク適用後の画像の異なる一例を示す説明図である(動物)。It is explanatory drawing which shows an example from which the image after an unsharp mask application concerning this embodiment differs (animal). この実施形態に係るアンシャープ・マスク適用後の画像のさらに異なる一例を示す説明図である(風景)。It is explanatory drawing which shows a further different example of the image after unsharp mask application concerning this embodiment (landscape). 輪郭フィルタの詳細を示す説明図である。It is explanatory drawing which shows the detail of a contour filter. この実施形態に係る輪郭フィルタ適用後の画像の一例を示す説明図である(人物)。It is explanatory drawing which shows an example of the image after the outline filter application concerning this embodiment (person). この実施形態に係る輪郭フィルタ適用後の画像の異なる一例を示す説明図である(動物)。It is explanatory drawing which shows an example from which the image after the outline filter application concerning this embodiment differs (animal). この実施形態に係る輪郭フィルタ適用後の画像のさらに異なる一例を示す説明図である(風景)。It is explanatory drawing which shows a further different example of the image after the outline filter application concerning this embodiment (landscape). この実施形態に係るストローク画像の一例を示す説明図である(人物)。It is explanatory drawing which shows an example of the stroke image which concerns on this embodiment (person). この実施形態に係るストローク画像の異なる一例を示す説明図である(動物)。It is explanatory drawing which shows an example from which the stroke image which concerns on this embodiment differs (animal). この実施形態に係るストローク画像のさらに異なる一例を示す説明図である(風景)。It is explanatory drawing which shows a further different example of the stroke image which concerns on this embodiment (landscape). この実施形態に係る重畳画像の一例を示す説明図である(人物)。It is explanatory drawing which shows an example of the superimposed image which concerns on this embodiment (person). この実施形態に係る重畳画像の異なる一例を示す説明図である(動物)。It is explanatory drawing which shows a different example of the superimposed image which concerns on this embodiment (animal). この実施形態に係る重畳画像のさらに異なる一例を示す説明図である(風景)。It is explanatory drawing which shows another example of the superimposed image which concerns on this embodiment (landscape). この実施形態に係る出力画像の一例を示す説明図である(人物)。It is explanatory drawing which shows an example of the output image which concerns on this embodiment (person). この実施形態に係る出力画像の異なる一例を示す説明図である(動物)。It is explanatory drawing which shows a different example of the output image which concerns on this embodiment (animal). この実施形態に係る出力画像のさらに異なる一例を示す説明図である(風景)。It is explanatory drawing which shows another example of the output image which concerns on this embodiment (landscape). 市販ソフトウェアを用いたフィルタ処理の一例を示す説明図である。テクスチャライザ適用後の画像である。It is explanatory drawing which shows an example of the filter process using commercial software. It is an image after applying the texture riser. 市販ソフトウェアを用いたフィルタ処理の一例を示す説明図である。ポスタリゼーション適用後の画像である。It is explanatory drawing which shows an example of the filter process using commercial software. It is the image after posterization application. 市販ソフトウェアを用いたフィルタ処理の一例を示す説明図である。パレットナイフ、アンシャープ・マスク適用後の画像である。It is explanatory drawing which shows an example of the filter process using commercial software. It is an image after applying a palette knife and unsharp mask. 市販ソフトウェアを用いたフィルタ処理の一例を示す説明図である。レイヤー重畳後に明るさ調整を行った画像である。It is explanatory drawing which shows an example of the filter process using commercial software. It is an image in which brightness adjustment is performed after layer superposition. この実施形態に係る画像処理の各工程の流れを示す説明図である。It is explanatory drawing which shows the flow of each process of the image processing which concerns on this embodiment.

符号の説明Explanation of symbols

11、21、31:注目画素
23、24、25、26:局所領域
11, 21, 31: pixel of interest 23, 24, 25, 26: local region

Claims (9)

原画像を入力として取得する工程と、
前記入力を濃度成分と色成分とに分離し、前記濃度成分を各階調レベルが視認できる程度の所定階調数に減じ、階調数が減じられた濃度成分と前記色成分とからなる下塗り画像を生成する下塗り工程と、
前記入力の輪郭を強調しかつ輪郭部を除く領域の平滑化を行ってストローク画像を生成する描き込み工程と、
生成された下塗り画像とストローク画像とを重畳する重畳工程と
を備え、各工程をコンピュータが実行することを特徴とする油彩画調画像の生成方法。
Acquiring an original image as input;
The input is separated into a density component and a color component, the density component is reduced to a predetermined number of gradations such that each gradation level can be visually recognized, and an undercoat image composed of the density component with the reduced number of gradations and the color component An undercoating step to produce
A drawing step of generating a stroke image by emphasizing the input contour and smoothing a region excluding the contour portion;
An oil painting tone image generation method comprising: a superimposition step of superimposing a generated undercoat image and a stroke image, and a computer executing each step.
前記描き込み工程は、前記入力にクワハラ・フィルタを適用し、かつ、輪郭強調処理を行う請求項1に記載の生成方法。   The generation method according to claim 1, wherein in the drawing step, a Kuwahara filter is applied to the input and an edge enhancement process is performed. 前記描き込み工程は、前記画像から輪郭を抽出し、抽出された輪郭をクワハラ・フィルタと輪郭強調処理とが適用された画像にさらに重畳する請求項2に記載の生成方法。   The generation method according to claim 2, wherein the drawing step extracts a contour from the image, and further superimposes the extracted contour on an image to which a Kuwahara filter and a contour enhancement process are applied. 前記下塗り工程は、前記入力の濃度成分を平滑化し、平滑化された濃度成分を所定の階調数に減じてモノクロ・ポスタリゼーション画像を得、かつ前記入力をYUV表色系に変換してUおよびV成分からなる色成分を得、前記モノクロ・ポスタリゼーション画像の濃度成分と前記色成分とからなる下塗り画像を生成する請求項1〜3のいずれか一つに記載の生成方法。   The undercoating step smoothes the input density component, reduces the smoothed density component to a predetermined number of gradations to obtain a monochrome posterized image, and converts the input into a YUV color system to convert U and The generation method according to claim 1, wherein a color component including a V component is obtained, and an undercoat image including the density component of the monochrome posterized image and the color component is generated. 前記入力をグレースケール変換した結果を前記濃度成分とする請求項4に記載の生成方法。   The generation method according to claim 4, wherein the density component is a result of grayscale conversion of the input. 前記入力をYUV表色系に変換して得られるY成分を前記入力の濃度成分とする請求項4に記載の生成方法。   The generation method according to claim 4, wherein a Y component obtained by converting the input into a YUV color system is the density component of the input. 前記重畳工程は、前記下塗り画像とストローク画像に加え、予め用意された油彩画用キャンバスの地模様を重畳する請求項1〜6に記載の生成方法。   The generation method according to claim 1, wherein the superimposing step superimposes a ground pattern of an oil painting canvas prepared in advance in addition to the undercoat image and the stroke image. 前記重畳工程は、重畳された画像に対し、予め定められた階調特性を適用して階調補正を行う請求項1〜7に記載の生成方法。   The generation method according to claim 1, wherein the superimposing step performs tone correction by applying a predetermined tone characteristic to the superimposed image. 原画像を入力として取得する処理と、
前記入力を濃度成分と色成分とに分離し、前記濃度成分を各階調レベルが視認できる程度の所定階調数に減じ、階調数が減じられた濃度成分と前記色成分とからなる下塗り画像を生成する下塗り処理と、
前記入力の輪郭を強調しかつ輪郭部を除く領域の平滑化を行ってストローク画像を生成する描き込み処理と、
生成された下塗り画像とストローク画像とを重畳する重畳処理
の各処理をコンピュータに実行させることを特徴とする油彩画調画像の生成プログラム。
Processing to acquire the original image as input,
The input is separated into a density component and a color component, the density component is reduced to a predetermined number of gradations such that each gradation level can be visually recognized, and an undercoat image composed of the density component with the reduced number of gradations and the color component Undercoat processing to generate
A drawing process for generating a stroke image by emphasizing the input contour and smoothing a region excluding the contour portion;
An oil painting-tone image generation program that causes a computer to execute each of superimposition processing for superimposing a generated undercoat image and a stroke image.
JP2008248219A 2008-09-26 2008-09-26 Method and program for generating oil painting tone image Pending JP2010081350A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008248219A JP2010081350A (en) 2008-09-26 2008-09-26 Method and program for generating oil painting tone image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008248219A JP2010081350A (en) 2008-09-26 2008-09-26 Method and program for generating oil painting tone image

Publications (1)

Publication Number Publication Date
JP2010081350A true JP2010081350A (en) 2010-04-08

Family

ID=42211274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008248219A Pending JP2010081350A (en) 2008-09-26 2008-09-26 Method and program for generating oil painting tone image

Country Status (1)

Country Link
JP (1) JP2010081350A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122196A1 (en) 2010-03-31 2011-10-06 三菱重工業株式会社 Expendable component sales system, electronic store provision device, control method, and program
JP2012058800A (en) * 2010-09-06 2012-03-22 Spray Art Exin Co Ltd Method of creating pictorial original picture
CN110675463A (en) * 2019-08-23 2020-01-10 河南工业大学 Local color pencil drawing generation method and device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011122196A1 (en) 2010-03-31 2011-10-06 三菱重工業株式会社 Expendable component sales system, electronic store provision device, control method, and program
JP2012058800A (en) * 2010-09-06 2012-03-22 Spray Art Exin Co Ltd Method of creating pictorial original picture
CN110675463A (en) * 2019-08-23 2020-01-10 河南工业大学 Local color pencil drawing generation method and device
CN110675463B (en) * 2019-08-23 2023-05-23 河南工业大学 Method and device for generating partial color pencil drawing

Similar Documents

Publication Publication Date Title
US11532173B2 (en) Transformation of hand-drawn sketches to digital images
AU2003204466B2 (en) Method and system for enhancing portrait images
Pei et al. Virtual restoration of ancient Chinese paintings using color contrast enhancement and lacuna texture synthesis
US7212657B2 (en) Method and system for enhancing portrait image that are processed in a batch mode
US8289342B2 (en) Image processing apparatus and storage medium having stored therein an image processing program
US8379972B1 (en) Color decontamination for image compositing
US8422776B2 (en) Transparency and/or color processing
Kumar et al. A comprehensive survey on non-photorealistic rendering and benchmark developments for image abstraction and stylization
US8406566B1 (en) Methods and apparatus for soft edge masking
JP2010146264A (en) Image processing device, method, and program
US20080150946A1 (en) Method and system for image editing
KR0134701B1 (en) Image generating method and device
JP2010081350A (en) Method and program for generating oil painting tone image
Chang et al. A self-adaptive single underwater image restoration algorithm for improving graphic quality
US8760723B2 (en) Image processing device superimposing supplemental image on original image
Bangham et al. The Art of Scale-Space.
KR20020084321A (en) real-time character composition method using template
KR0151918B1 (en) Image generation apparatus and method for image processing
Xiao et al. Optimization‐Based Gradient Mesh Colour Transfer
JP2009301585A (en) Image processor, image processing method and image processing program
JP2009301584A (en) Image processor, image processing method and image processing program
JP2009301583A (en) Image processor, image processing method and image processing program
Haslam et al. Color Restoration Survey and an Overdetermined System for Color Retrieval from Faded Images
Karthik et al. A Real-Time Multimodal Deep Learning for Image-to-Cartoon Conversion
JP2005094452A (en) Method, system, and program for processing image